JP2008537627A - 複合ニュース・ストーリーの合成 - Google Patents

複合ニュース・ストーリーの合成 Download PDF

Info

Publication number
JP2008537627A
JP2008537627A JP2008503666A JP2008503666A JP2008537627A JP 2008537627 A JP2008537627 A JP 2008537627A JP 2008503666 A JP2008503666 A JP 2008503666A JP 2008503666 A JP2008503666 A JP 2008503666A JP 2008537627 A JP2008537627 A JP 2008537627A
Authority
JP
Japan
Prior art keywords
video
segment
story
segments
common
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008503666A
Other languages
English (en)
Other versions
JP4981026B2 (ja
Inventor
アニホトリ,ラリサ
ディミトロワ,ネヴェンカ
バルビエリ,マウロ
ハニャリク,アラン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2008537627A publication Critical patent/JP2008537627A/ja
Application granted granted Critical
Publication of JP4981026B2 publication Critical patent/JP4981026B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/735Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Television Systems (AREA)
  • Studio Circuits (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

方法およびシステムが個々のニュース・ストーリーを特徴付け(220)、この特徴付けに基づいて多様なストーリーのうちから共通のニュース・ストーリーを識別する(230)。その共通のニュース・ストーリーについて複合ストーリーが生成される。その際、好ましくはそのストーリーの種々のバージョンの共通構造に基づく構造が使用される。そのストーリーの種々のバージョンから複合ストーリーに含めるビデオ・セグメント(110)を選択するのは、諸ビデオ・セグメントのビデオおよびオーディオ内容の決定されたランキング(260、270)に基づく。

Description

本発明はビデオ画像処理に、より詳細にはさまざまなソースからのビデオ・ニュース・ストーリーを解析して共通ストーリーを識別し、該さまざまなソースからのストーリーの複合ビデオを生成するシステムおよび方法に関する。
しばしば異なるニュース・ソースは同じニュース・ストーリーを異なる観点から呈示する。こうした異なる観点は異なる政治的見解あるいはその他の要因に基づくものでありうる。たとえば、同じ事件について、あるソースは好意的に呈示し、別のソースは否定的に呈示することがありうる。それは、その事件の帰結が所与の政治エンティティにとって好都合か不都合かに依存する。同様に、ある事件のうち呈示される個別的な側面が、科学中心のニュース・ソースと、一般ニュース中心のニュース・ソースとでは異なりうる。同様にして、同じストーリーが同じソースからでも、たとえばそのストーリーがニュース番組の「エンターテインメント・ニュース」セグメントの間に呈示されているか「金融ニュース」セグメントの間に呈示されているかに依存して、異なる仕方で呈示されることがありうる。
個々のニュース・ストーリーを区別し、ストーリーを識別およびカテゴリー化し、ユーザーの嗜好に基づいてユーザーに呈示するためのストーリーをフィルタリングするための方法およびシステムが利用可能である。しかしながら、ストーリーの各呈示は一般には、受領されたとおりの、その独自の個別的観点をもった記録されたストーリーの再生である。
同じストーリーの複数呈示をみつけることは時間のかかるプロセスとなることがある。ユーザーが従来システムを使って複数ソースにアクセスして、ユーザーの一般的な嗜好に基づいてストーリーをみつけようとするならば、結果は典型的にはあらゆるソースからのストーリーが入り交じった「洪水」となるであろう。ユーザーが特に関心のあるストーリーをみつけると、ユーザーはそのストーリーに付随するキーワードまたはフレーズを同定し、その関心のあるストーリーのキーワードまたはフレーズを使って多様なソースからのニュース・ストーリーの別の検索を提出する。あらゆるソースからのストーリーが入り交じるため、利用可能な選択肢のうちのどれが単に同じ(関心のない)ストーリーの異なるソースからの選択肢であるかが明確でないと、ユーザーは関心のあるストーリーを関心のないストーリーから区別するためにあらゆる選択肢をフィルタリングしていくのに苦労することがありうる。さらに、ユーザーの技量および/または検索エンジンの品質に依存して、ユーザーが定義するキーワードおよびフレーズに基づく検索は、利用可能なストーリーの過剰フィルタリングまたは過少フィルタリングにつながることがある。それにより、ユーザーは望ましかったはずのいくつかの観点を呈示されないこともありうるし、あるいは単に選択されたキーワードまたはフレーズに一致しただけの異なるストーリーを呈示されたりすることがありうる。
多様なストーリー・ソースのうちから共通のストーリーを効率的に識別する方法およびシステムを提供することが本発明の一つの目的である。同じストーリーの種々のバージョンから複合ニュース・ストーリーを合成することが本発明のさらなる目的である。該複合ニュース・ストーリーを把握しやすいように効率的に構造化することが本発明のさらなる目的である。
これらの目的およびその他の目的は、個々のニュース・ストーリーを特徴付け、この特徴付けに基づいて多様なストーリーのうちから共通のニュース・ストーリーを識別する方法およびシステムによって達成される。その共通のニュース・ストーリーについて複合ストーリーが生成される。その際、好ましくはそのストーリーの種々のバージョンの共通構造に基づく構造が使用される。そのストーリーの種々のバージョンから複合ストーリーに含めるセグメントを選択するのは、諸セグメントのビデオおよびオーディオ内容の決定されたランキングに基づく。
本発明について、例として、付属の図面を参照しつつさらに詳細に説明する。
図面を通じて、同じ参照符号は同じ要素または実質的に同じ機能を実行する要素を指す。図面は解説の目的のために収められているのであり、本発明の範囲を限定することは意図していない。
図1は、本発明に基づくストーリー合成器システムのブロック図を示している。複数のビデオ・セグメント110が読み取り器120によってアクセスされる。本発明の典型的な実施形態では、ビデオ・セグメント110は記録されたニュース・クリップに対応する。あるいはまた、セグメント110は、「TiVo」レコーディングのような連続的なビデオ記録を含むディスク・ドライブ上に位置していてもよく、そこからビデオ・セグメント110を当技術分野で一般的な諸技法を使って区別することができる。ビデオ・セグメント110は、複数の機器にわたって広がる分散メモリ・システムまたはデータベースに記憶されていてもよい。たとえば、セグメント110の一部または全部はインターネット・サイトに位置していてもよく、読み取り器120はインターネット・アクセス機能を含んでいる。一般に、ビデオ・セグメント110は画像および音声の両方を含むが、これらは参照の便のためビデオ・コンテンツおよびオーディオ・コンテンツと称される。ただし、内容によっては、ビデオ・セグメント110は画像のみ、あるいは音声のみを含んでいることもありうる。ここではビデオ・セグメント110の用語は一般的な意味に使い、画像もしくは音声のいずれかまたはその両方を含む。
特徴付け器130は、各セグメントおよび任意的には各セグメント内のサブセグメントを特徴付けるためにビデオ・セグメント110を解析するよう構成されている。特徴付けは、ストーリー・セグメントについての代表用語の生成を含む。代表用語は、日時、ニュース・ソース、トピック、名前、場所、組織、キーワード、話者の名前/肩書きなどといった項目を含む。さらに、特徴付けは、色のヒストグラム、形の位置、シーンの種別などといったビジュアル・コンテンツの特徴付け、および/または発話、無音、音楽、雑音などのいずれかといったオーディオ・コンテンツの特徴付けを含んでいてもよい。
比較器140は、各セグメント110の特徴付けに基づいて、同じストーリーの異なるバージョンに対応するセグメント110を識別するよう構成されている。たとえば、異なるニュース・ソースからの、共通のシーンを含む、および/または共通の地名に言及する、および/または共通のキーワードを含むなどのセグメント110は共通のストーリーに関係するセグメント110である可能性が高く、ストーリー・セグメントのセットとして同定されることになる。セグメント110は複数のストーリーに関連していることがありうるので、セグメント110をあるストーリーに関係したあるセットに含めることは、それを別のストーリーに関係したセットに含めることを排除しない。
複合器150は、各ストーリーに関係したセグメントのセットを編成して、そのさまざまなセグメントを反映するストーリーの呈示を形成するよう構成されている。複合器150の機能および特徴は、本発明の個別的な実施形態に依存する。
本発明のストレートな実施形態では、複合器150は、たとえばセット中のセグメントの一つまたは複数から導出されるキャプションを使ったストーリーの識別子と、セット中のセグメントへのアクセスを容易にするインデックスとを生成する。好ましくは、そのようなインデックスは、ユーザーが各セグメントを簡単に「クリックして閲覧」できるよう、セグメント110へのリンクを使って形成される。
本発明のより包括的な実施形態では、複合器150は、セットのセグメント110から複合ビデオを生成するよう構成される。これについてはのちにさらに詳述する。典型的には、多様なソースからのニュース・ストーリーのセグメントは、共通の内容を示すのみならず、セグメント110における素材の呈示のための、ストーリーの導入からより詳細なシーンの呈示、そしてストーリーのまとめへといった共通の構造をも示す。さまざまなソースからのセグメント110を単に連結したものでは、各ソースからのそれぞれの「導入:ルポルタージュ・シーン:まとめ」シーケンスの繰り返しになり、そのような構造反復はばらばらで、一体性を欠くことがありうる。本発明のこの側面の好ましい実施形態では、複合器150は、ソース素材の一般的な構造に合致する複合ビデオを形成するようにセットからセグメント110を選択および編成するよう構成される。すなわち、上の例の構造を使うと、複合ビデオは導入部を含み、それに詳細なシーンが続き、それにまとめが続くのである。三つの構造セクション(導入、シーン、まとめ)のそれぞれは、セットにおける多様なセクション110の対応するサブセクションに基づく。これについてはのちにさらに詳述する。
当業者は、複合器150は、上で論じた例示的なストレートな実施形態および包括的な実施形態の諸特徴の範囲の中間にある呈示またはその範囲を超える呈示、さらにはそのような諸特徴の任意的な組み合わせを生成するよう構成されてもよいことを認識するであろう。たとえば、一体性のある複合物を生成する複合器150のある実施形態は、独立して、あるいはその複合物が呈示されているときの対話を介して、個々のセグメントへのインデックスによるアクセスをも提供するよう構成されてもよい。同様にして、複合器150が単にセグメントへのインデックスによるアクセスを提供するシステムの実施形態は、所与のセグメントのリストからのビデオを逐次的に呈示するよう構成されたメディア・プレーヤーへのリンクを含んでいてもよい。
呈示器150は、複合器150から呈示を受領し、それをユーザーに呈示するよう構成されている。呈示器150は従来式のメディア再生装置であってもよいし、あるいは本システムのさまざまな特徴およびオプション、そして特に複合器150によって提供される対話オプションへのアクセスを容易にするために本システムに統合されていてもよい。
図1のシステムは、好ましくは、ビデオ処理および選択システムにとって一般的に利用可能だが本発明の著しい側面の理解を助けるため図示されていない他の構成要素および機能をも含む。たとえば、本システムは、本システムにセグメント110を提供するソースの選択を管理するよう構成されていてもよいし、および/または、本システムはユーザーに呈示されるストーリーの選択の呈示を管理するよう構成されていてもよい。同様にして、本システムは好ましくは、ユーザーの嗜好に基づいて、セグメントの特徴付けおよび/または各ストーリーの複合特徴付けに基づいて、セグメントまたはストーリーをフィルタリングするよう構成された一つまたは複数のフィルタを含む。
図2は、本発明に基づくストーリー合成システムの例示的な流れ図を示している。上記したように、本発明は多様な側面を含み、多様な特徴および機能を使って実施できる。図2および以下の記述は必須の包含も明示的な除外も含意することを意図しておらず、本発明の精神または範囲を限定することも意図していない。
210において、諸ストーリーに関連したビデオ・セグメント110が識別される。これには多様な技法のどれを使ってもよい。2002年3月26日にNevenka Dimotrovaに発行され、ここに参照によって組み込まれる米国特許6,363,380、“Multimedia Computer System with Story Segmentation Capability and Operating Program Therefor Including Finite Video Parser”は、連続的なビデオをビデオの切れ目または不連続によって弁別される「ビデオ・ショット」に区分するセグメント分割を行い、ショット内のビジュアル・コンテンツおよびオーディオ・コンテンツに基づいて関係するショットをグループ化する技法を教示している。
220では、セグメントが特徴付けされる。それには、ビデオ・セグメント内の弁別特徴を識別するために利用可能な多様な技法のいずれを使ってもよい。典型的には、ビジュアル・コンテンツ(色、特徴的な形、顔の数、特定のシーンなど)、オーディオ・コンテンツ(音の種類、発話など)およびグローズドキャプションのテキスト、各セグメントに付随するメタデータなどといったその他の情報に基づいて行われる。この特徴付けまたは特徴識別は、210におけるストーリー・セグメントの識別と組み合わされたり、あるいは一体化されたりしてもよい。2002年1月9日にRadu S. Jasinschi and Nevenka Dimitrovaのために出願された逐次番号10/042,891でここに参照によって組み込まれる米国の公開特許出願2003/0131362、“A Method and Apparatus for Multimodal Story Segmentation for Linking Multimedia Content”は、セグメントのコンテンツの共通の特性または特徴に基づいて、ニュース・ショーをテーマ上ひとつながりのセグメントに区分するシステムを教示している。
225では、主として、現在のユーザーにとって関心がないものである可能性が高いセグメントをさらなる考慮から除外するために、任意的にセグメントがフィルタリングされる。このフィルタリングは上記のストーリー・セグメント分割210および特徴付け220と統合されてもよい。1998年12月23日にJan H. Elenbaas et al.のために出願された逐次番号10/932,460で、09/220,277の分割出願であり、ここに参照によって組み込まれる米国の公開特許出願“Personalized News Retrieval System”は、ユーザーの明示的および暗黙的嗜好に基づいて、ユーザーに関心がありそうなニュース・ストーリーを識別および呈示するセグメント分割・特徴付け・フィルタリング・システムを教示している。
230では、特徴付けされ、任意的にフィルタリングされたセグメントが互いに比較され、どのセグメントが同じストーリーに関係している可能性があるかを判別する。好ましくは、この照合は、220で決定されたセグメントの特徴の一部または全部に基づく。ただし、特に留意すべきこととして、二つのセグメントが共通のストーリーに関係しているかどうかを判別する際のこれらの特徴のそれぞれの重要性は、上記のプロセス210および220でどのビデオ・ショットまたはシーケンスがセグメントを形成するかを判別する際の各特徴の重要性とは異なる可能性が高い。
本発明のある好ましい実施形態では、二つのセグメントA、Bは、次の一致パラメータMが所与の閾値を超える場合に同じストーリーに対応していると判別される:
Figure 2008537627
ここで、VAはセグメントAの特徴ベクトルであり、VBはセグメントBの特徴ベクトルであり、Wiはベクトル中の各特徴iに与えられる重みである。たとえば、共通のストーリーを識別するための名前特徴に与えられる重みWは典型的には、トピック特徴に与えられる重みよりも著しく大きい。これは、名前がストーリーを区別する力のためである。比較器関数Fiは個々の特徴に依存し、一般には0から1までの間で変化する類似性指標を返す。たとえば、名前を比較するために使われる関数Fは名前が一致すれば「1」、そうでなければ「0」を返すのでよい。あるいは名字と名前が一致すれば1.0、肩書きと名字が一致すれば0.9、名字のみが一致すれば0.75などでもよい。もう一つの例では、色ヒストグラムを比較するために使用される関数Fは、ヒストグラム・ベクトルの規格化されたドット積のような数学的に決定される指標を返すのでよい。
共通のストーリーに対応するセグメントの各セットを決定することは、セグメント対の間での一致パラメータMの組み合わせに基づく。単純な実施形態では、少なくとも一つの共通した一致を有するセグメントすべてが共通ストーリーに対応するセグメントのセットとして定義される。たとえば、AがBに一致し、BがCに一致すれば、AがCに一致するかどうかにかかわりなく、{A,B,C}が共通ストーリーのセグメントのセットとして定義される。制限の強い実施形態では、各セグメントが他の各セグメントに一致するようなセグメントのみでセットが定義されうる。すなわち、{A,B,C}がセットを定義するのは、AがBに一致し、BがCに一致し、CがAに一致したとき、かつそのときのみである。他の実施形態は異なるセット定義規則を使うこともありうる。たとえば、AがBに一致し、BがCに一致する場合、Cがセットに含まれるものとして定義できるのは、AとCの間の一致パラメータが少なくとも何らかの第二のより低い閾値を超える場合とする。同様にして、最初はセット定義規則はゆるいが、結果として得られるセットが大きすぎる場合にはセット定義規則のパラメータもしくは一致閾値レベルまたは両方をより厳しくできる、動的な閾値処理規則を使うことができる。双方向比較に基づいてセットを形成するためのこれらおよびその他の技法は当技術分野において一般的なものである。
あるいはまた、共通する特徴を有するセグメントをみつけるためにその他の技法を使うこともできる。それには、これに限られないが、クラスタリング技法のほか、ニューラル・ネットワークなどのようなトレーニング可能システムが含まれる。
上記したように、ある共通ストーリーに対応するセグメントの各セットを定義すると、そのストーリーの識別情報およびセグメントへのインデックスを本発明の出力として与えることができる。ただし、好ましくは、本発明のシステムは、図2のプロセス240〜290に示されるような複合ビデオの合成をも含む。
240では、単一のストーリーに対応する諸セグメントがさらなる処理のためにサブセグメントに区分または再区分される。サブセグメントはオーディオ・サブセグメント242およびビデオ・サブセグメント246の両方を含む。そのようなサブセグメントの組み合わせによって形成される結果的な複合ビデオが、中途半端な文、不完全なショットなどといった重大な不連続を示さないよう、これらのサブセグメントは好ましくは自己完結である。一般に、ビデオ・サブセグメント間の切れ目は元のビデオ・ソースの切れ目に対応し、オーディオ・サブセグメント間の切れ目は自然言語の切れ目に一致する。好ましい実施形態では、セグメントのオーディオ部分がビデオ・画像に直接一致するかどうか、あるいは「ボイスオーバー」のような関連しない音であるかどうかについての判別が行われる。オーディオとビデオが直接関係していれば、オーディオ242およびビデオ246のサブセグメントについて共通の切れ目が定義される。
250では、複合ストーリーを呈示するための好ましい構造を決定するため、元のセグメントの構造が解析される。この決定は主として、ビデオ・サブセクション246から推論できる構造に基づくが、オーディオ・サブセクション242の構造もこの決定に影響してもよい。上記の米国特許6,363,380は、「開始:ホスト:ゲスト:ホスト:終了」のような典型的な呈示構造のモデル化に取り組んでいる。ニュース・ストーリーについての共通構造は「アンカー:リポーター:シーン:リポーター:アンカー」を含む。ここで、最初のアンカー・サブセグメントは導入または見出しに対応し、最後のアンカー・サブセグメントはまとめまたは論評に対応する。同様に、金融ニュースについての共通構造は「アンカー:グラフィック:評論家:シーン:アンカー」を含む。
本発明のある典型的な実施形態では、構造解析250およびセグメント区分240は統合されたプロセスまたは逐次的なプロセスとして実行される。元のビデオの区分に基づく構造解析250における全体的な構造の決定は、この全体的な構造に基づいて複合ビデオを生成するために使われる各セグメントの最終的なビデオおよびオーディオ区分に対する影響をもつことができるからである。
280では、選ばれたサブセクションが配列されて、ストーリーに対応する複合ビデオが形成される。これらのサブセクションの選択のベースとなるのは、好ましくは、ビデオ・サブセクション246およびオーディオ・サブセクション242のランキングまたはそのようなランキングの組み合わせまたはビデオ・サブセクションとオーディオ・サブセクションの組み合わせに基づくランキングである。
オーディオ・サブセクション242およびビデオ・サブセクション246を270、260においてランク付けするためには、多様な技法のいずれを使ってもよい。本発明のある好ましい実施形態によれば、それぞれのランキングは次の形を取る:
Figure 2008537627
ここで、I(i)はサブセクションiのオーディオ・コンテンツまたはビデオ・コンテンツの内在的な重要性であり、たとえばビデオ中のテキスト、グラフィック、顔またはその他の項目ならびにオーディオ中の名前、場所およびその他の項目の生起に基づいている。jランキング項Rijのそれぞれは、サブセクションをランク付けするための種々のオーディオまたはビデオ指標に基づく。たとえば、ビデオ・サブセクションをランク付けする際、ランキングの一つはそのビデオ・サブセクションに現れるオブジェクトに基づくことができ、一方、別のランキングはそのビデオ・サブセクション中のフレームの一般的な配色といった視覚的な類似性に基づくことができる。同様に、オーディオ・サブセクションをランク付けする際、ランキングの一つはそのオーディオ・サブセクション中に生起する単語に基づいていてもよく、一方、別のランキングは、同じ人物によって話された文といったオーディオ類似性に基づいていてもよい。当業者には、本開示に鑑みて他のランキング方式も明らかであろう。Wj項は、各ランキング方式に与えられる重みに対応する。
各サブセクションのランキングを容易にするため、セグメントは、たとえばk平均クラスタリング・アルゴリズムを使ってクラスタリングされる。各クラスターにはいくつかのセグメントがあり、クラスター内のセグメントの総数がそのクラスターの重要性の指標を与える。その後は、サブセクションのランクは、そのサブセクションのセグメントが含まれるクラスターの重要性に基づく。
上記したように、サブセクションを呈示のために選択および編成するのは、複合ビデオの決定された好ましい構造に基づいて行われる。一般に、ストーリーの導入部に対応してサブセグメントの一つのみが含められるべく選択される。そしてこの選択は好ましくは、元のセクションにおいて導入部に対応するサブセクションのオーディオ・コンテンツのランキングに基づく。その後、構造の「詳細な」諸部分は一般にサブセグメントのビデオ・コンテンツのランキングに基づくが、ランクの高かったオーディオ・サブセグメントも選択プロセスに影響してもよい。上で論じたようにオーディオ・サブセクションおよびビデオ・サブセクションが直接関係していると判別された場合は、一方の選択は好ましくは他方の選択に影響し、両サブセクションは揃って呈示される。
複合ビデオ形式280は290でユーザーに呈示される。この呈示は、対話機能および対話を向上させるまたは案内する機能を含みうる。たとえば、ストーリー中のある特定の側面または事象が多様なソースが扱っていることに基づいて特に重要であると判別される場合、対応するサブセクションが表現されている間、この重要な側面または事象に関係した他のオーディオまたはビデオ・サブセグメントへの対話的アクセスとともに、この重要性の指標が呈示されてもよい。
以上は本発明の原理を単に解説するものである。よって、当業者が、ここに明示的に記述や図示はされていなくても本発明の原理を具現し、よって本発明の精神および範囲内であるさまざまな構成を考案できるであろうことは理解されるであろう。たとえば、本発明は、同じニュース・ストーリーの種々のバージョンを見ることを背景に呈示されている。当業者はこのニュース関係のアプリケーションが他の情報アクセス関係のアプリケーションに統合され、あるいはそうしたアプリケーションへのアクセスを与えられることができることを認識するであろう。たとえば、現在のストーリーに関係した他のセグメント110にアクセスできることに加えて、呈示器290は、現在のストーリーに関係した他の情報ソースにもアクセスするよう構成されていてもよい。他の情報ソースとは、そのストーリーを特徴付ける特徴に基づいて背景情報を提供できるインターネット・サイトなどである。これらおよびその他のシステム構成および最適化特徴は、本開示に鑑みて当業者には明らかであり、請求項の範囲に含まれる。
請求項を解釈する際には、以下のことを理解しておくべきである:
a)「有する」の語は所与の請求項に挙げられている以外の要素または動作の存在を排除しない。
b)要素の単数形の表現はそのような要素の複数の存在を排除しない。
c)請求項に参照符号があったとしてもそれは特許請求の範囲を限定するものではない。
d)いくつかの「手段」は同一の項目、すなわちハードウェアまたはソフトウェアで実装される構造または機能によって表現されていてもよい。
e)開示される要素のそれぞれは、ハードウェア部分(たとえば別個の電子回路および集積電子回路を含む)、ソフトウェア部分(たとえばコンピュータプログラミング)およびその任意の組み合わせから構成されうる。
f)ハードウェア部分はアナログ部分およびデジタル部分の一方または両方から構成されうる。
g)特別に断りのない限り、開示される装置またはその部分のいずれも、一緒に組み合わせたり、あるいはさらなる部分に分割したりされてもよい。
h)特に示さない限り、動作のいかなる特定の序列も必要であるとは意図されていない。
i)「複数の」要素という用語は請求される要素の二つ以上を含むのであり、要素数のいかなる特定の範囲も含意しない。すなわち、複数の要素は最低で2つの要素であることもできる。
本発明に基づくストーリー合成システムの例示的なブロック図を示している。 本発明に基づくストーリー合成システムの例示的な流れ図を示している。

Claims (14)

  1. 複数のビデオ・セグメントへのアクセスを提供するよう構成された読み取り器と;
    前記読み取り器に動作的に結合され、前記複数のビデオ・セグメントの各セグメントを特徴付けるよう構成された特徴付け器と;
    前記特徴付け器に動作的に結合され、各セグメントの特徴を比較してある共通ストーリーの複数のバージョンを識別するよう構成された比較器、
    とを有するシステム。
  2. 前記比較器に動作的に結合され、前記共通ストーリーの前記複数のバージョンに基づいて呈示を提供するよう構成された呈示器をさらに含む、請求項1記載のシステム。
  3. 前記比較器および前記読み取り器に動作的に結合され、前記複数のバージョンのビデオ・セグメントの内容に基づいて、前記呈示を生成するよう構成された複合器をさらに含む、請求項2記載のシステム。
  4. 前記複合器が、前記ビデオ・セグメントのビデオおよびオーディオ内容に基づいて前記ビデオ・セグメントの内容をランク付けするよう構成されている、請求項3記載のシステム。
  5. 前記複合器が:
    前記複数のバージョンの前記ビデオ・セグメントの内容の一つまたは複数の構造に基づいて、ある共通構造を決定し;
    前記共通構造に基づいて前記呈示を生成する、
    よう構成されている、請求項3記載のシステム。
  6. 前記複合器がさらに、前記ビデオ・セグメントのビデオ内容およびオーディオ内容のうちの少なくとも一方の一つまたは複数のランキングに基づいて、前記ビデオ・セグメントのうち前記呈示に含めるための一つまたは複数を選択するよう構成されている、請求項5記載のシステム。
  7. 前記比較器が、ユーザーの一つまたは複数の嗜好に基づいて、前記共通ストーリーの複数のバージョンの識別を容易にするよう構成されているフィルタを含む、
    請求項1記載の方法。
  8. 複数のビデオ・セグメントの各セグメントを特徴付けて複数のセグメント特徴付けを生成する段階と;
    前記セグメント特徴付けを互いに比較してある共通ストーリーの複数のバージョンを識別するよう比較する段階、
    とを有する方法。
  9. 前記共通ストーリーの前記複数のバージョンに基づいて呈示を生成する段階をさらに含む、請求項8記載の方法。
  10. 前記呈示が前記複数のバージョンのビデオ・セグメントの内容に基づいている、請求項9記載の方法。
  11. 前記呈示の生成が、前記ビデオ・セグメントのビデオおよびオーディオ内容に基づいて前記ビデオ・セグメントの内容をランク付けすることを含む、請求項9記載の方法。
  12. 前記呈示を生成する段階が:
    前記複数のバージョンの前記ビデオ・セグメントの内容の一つまたは複数の構造に基づいて、ある共通構造を決定する段階と;
    前記共通構造に基づいて前記呈示を生成する段階、
    とを含む、請求項9記載の方法。
  13. 前記呈示を生成する段階がさらに、前記ビデオ・セグメントのビデオ内容およびオーディオ内容のうちの少なくとも一方の一つまたは複数のランキングに基づいて、前記ビデオ・セグメントのうち前記呈示に含めるための一つまたは複数を選択する段階を含む、請求項9記載のシステム。
  14. 前記セグメント特徴付けおよびユーザーの一つまたは複数の嗜好に基づいて、前記共通ストーリーの複数のバージョンを識別するのを容易にするようビデオ・セグメントをフィルタリングする段階をさらに含む、請求項8記載の方法。
JP2008503666A 2005-03-31 2006-03-29 複合ニュース・ストーリーの合成 Expired - Fee Related JP4981026B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US66691905P 2005-03-31 2005-03-31
US60/666,919 2005-03-31
US70152705P 2005-07-21 2005-07-21
US60/701,527 2005-07-21
PCT/IB2006/050956 WO2006103633A1 (en) 2005-03-31 2006-03-29 Synthesis of composite news stories

Publications (2)

Publication Number Publication Date
JP2008537627A true JP2008537627A (ja) 2008-09-18
JP4981026B2 JP4981026B2 (ja) 2012-07-18

Family

ID=36809045

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008503666A Expired - Fee Related JP4981026B2 (ja) 2005-03-31 2006-03-29 複合ニュース・ストーリーの合成

Country Status (6)

Country Link
US (1) US20080193101A1 (ja)
EP (1) EP1866924A1 (ja)
JP (1) JP4981026B2 (ja)
KR (1) KR20070121810A (ja)
CN (1) CN101151674B (ja)
WO (1) WO2006103633A1 (ja)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7818350B2 (en) 2005-02-28 2010-10-19 Yahoo! Inc. System and method for creating a collaborative playlist
US7844820B2 (en) * 2005-10-10 2010-11-30 Yahoo! Inc. Set of metadata for association with a composite media item and tool for creating such set of metadata
US7810021B2 (en) * 2006-02-24 2010-10-05 Paxson Dana W Apparatus and method for creating literary macramés
US8091017B2 (en) * 2006-07-25 2012-01-03 Paxson Dana W Method and apparatus for electronic literary macramé component referencing
US8689134B2 (en) 2006-02-24 2014-04-01 Dana W. Paxson Apparatus and method for display navigation
US8010897B2 (en) * 2006-07-25 2011-08-30 Paxson Dana W Method and apparatus for presenting electronic literary macramés on handheld computer systems
US20110179344A1 (en) * 2007-02-26 2011-07-21 Paxson Dana W Knowledge transfer tool: an apparatus and method for knowledge transfer
US9304994B2 (en) * 2007-08-30 2016-04-05 At&T Intellectual Property Ii, L.P. Media management based on derived quantitative data of quality
CN101616264B (zh) * 2008-06-27 2011-03-30 中国科学院自动化研究所 新闻视频编目方法及系统
JP5267115B2 (ja) * 2008-12-26 2013-08-21 ソニー株式会社 信号処理装置、その処理方法およびプログラム
KR101644789B1 (ko) * 2009-04-10 2016-08-04 삼성전자주식회사 방송 프로그램 연관 정보 제공 장치 및 방법
US20110145275A1 (en) * 2009-06-19 2011-06-16 Moment Usa, Inc. Systems and methods of contextual user interfaces for display of media items
US20110173570A1 (en) * 2010-01-13 2011-07-14 Microsoft Corporation Data feeds with peripherally presented interesting content
WO2011127140A1 (en) * 2010-04-06 2011-10-13 Statsheet, Inc. Systems for dynamically generating and presenting narrative content
KR101952260B1 (ko) * 2012-04-03 2019-02-26 삼성전자주식회사 다수의 동영상 썸네일을 동시에 표시하기 위한 영상 재생 장치 및 방법
US9064184B2 (en) 2012-06-18 2015-06-23 Ebay Inc. Normalized images for item listings
US8942542B1 (en) * 2012-09-12 2015-01-27 Google Inc. Video segment identification and organization based on dynamic characterizations
US9554049B2 (en) 2012-12-04 2017-01-24 Ebay Inc. Guided video capture for item listings
US9384242B1 (en) 2013-03-14 2016-07-05 Google Inc. Discovery of news-related content
EP3022663A1 (en) * 2013-07-18 2016-05-25 Longsand Limited Identifying stories in media content
US9058845B2 (en) * 2013-07-30 2015-06-16 Customplay Llc Synchronizing a map to multiple video formats
US9537811B2 (en) 2014-10-02 2017-01-03 Snap Inc. Ephemeral gallery of ephemeral messages
US9396354B1 (en) 2014-05-28 2016-07-19 Snapchat, Inc. Apparatus and method for automated privacy protection in distributed images
US9113301B1 (en) 2014-06-13 2015-08-18 Snapchat, Inc. Geo-location based event gallery
US10824654B2 (en) 2014-09-18 2020-11-03 Snap Inc. Geolocation-based pictographs
US9385983B1 (en) 2014-12-19 2016-07-05 Snapchat, Inc. Gallery of messages from individuals with a shared interest
US10311916B2 (en) 2014-12-19 2019-06-04 Snap Inc. Gallery of videos set to an audio time line
US10133705B1 (en) 2015-01-19 2018-11-20 Snap Inc. Multichannel system
KR102035405B1 (ko) 2015-03-18 2019-10-22 스냅 인코포레이티드 지오-펜스 인가 프로비저닝
US10135949B1 (en) * 2015-05-05 2018-11-20 Snap Inc. Systems and methods for story and sub-story navigation
CN106470363B (zh) 2015-08-18 2019-09-13 阿里巴巴集团控股有限公司 对比赛进行文字直播的方法及装置
US10354425B2 (en) 2015-12-18 2019-07-16 Snap Inc. Method and system for providing context relevant media augmentation
US10581782B2 (en) 2017-03-27 2020-03-03 Snap Inc. Generating a stitched data stream
US10582277B2 (en) 2017-03-27 2020-03-03 Snap Inc. Generating a stitched data stream
US10410060B2 (en) * 2017-12-14 2019-09-10 Google Llc Generating synthesis videos
CN111225274B (zh) * 2019-11-29 2021-12-07 成都品果科技有限公司 一种基于深度学习的照片音乐视频编排系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000322450A (ja) * 1999-03-11 2000-11-24 Fuji Xerox Co Ltd ビデオの類似性探索方法、ビデオブラウザ内にビデオを提示する方法、ウェブベースのインタフェース内にビデオを提示する方法、及びコンピュータ読取り可能記録媒体、並びにコンピュータシステム
US6263507B1 (en) * 1996-12-05 2001-07-17 Interval Research Corporation Browser for use in navigating a body of information, with particular application to browsing information represented by audiovisual data
JP2001515634A (ja) * 1998-01-13 2001-09-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ストーリーセグメンテーション機能を有するマルチメディアコンピュータシステム及びその動作プログラム
JP2002533841A (ja) * 1998-12-23 2002-10-08 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 個人用ビデオ分類及び検索システム
JP2003323437A (ja) * 2002-05-02 2003-11-14 Nippon Telegr & Teleph Corp <Ntt> 映像関連情報生成方法及び装置及び映像関連情報生成プログラム及び映像関連情報生成プログラムを格納した記憶媒体
JP2004023661A (ja) * 2002-06-19 2004-01-22 Ricoh Co Ltd 記録情報処理方法、記録媒体及び記録情報処理装置
JP2005514841A (ja) * 2002-01-09 2005-05-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ マルチメディア・コンテンツをリンクするよう複数モードのストーリーをセグメントする方法及び装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5416900A (en) * 1991-04-25 1995-05-16 Lotus Development Corporation Presentation manager
US20050028194A1 (en) * 1998-01-13 2005-02-03 Elenbaas Jan Hermanus Personalized news retrieval system
US6580437B1 (en) * 2000-06-26 2003-06-17 Siemens Corporate Research, Inc. System for organizing videos based on closed-caption information
US20050015357A1 (en) * 2003-05-21 2005-01-20 Active Path Solutions, Inc. System and method for content development

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6263507B1 (en) * 1996-12-05 2001-07-17 Interval Research Corporation Browser for use in navigating a body of information, with particular application to browsing information represented by audiovisual data
JP2001515634A (ja) * 1998-01-13 2001-09-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ストーリーセグメンテーション機能を有するマルチメディアコンピュータシステム及びその動作プログラム
JP2002533841A (ja) * 1998-12-23 2002-10-08 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 個人用ビデオ分類及び検索システム
JP2000322450A (ja) * 1999-03-11 2000-11-24 Fuji Xerox Co Ltd ビデオの類似性探索方法、ビデオブラウザ内にビデオを提示する方法、ウェブベースのインタフェース内にビデオを提示する方法、及びコンピュータ読取り可能記録媒体、並びにコンピュータシステム
JP2005514841A (ja) * 2002-01-09 2005-05-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ マルチメディア・コンテンツをリンクするよう複数モードのストーリーをセグメントする方法及び装置
JP2003323437A (ja) * 2002-05-02 2003-11-14 Nippon Telegr & Teleph Corp <Ntt> 映像関連情報生成方法及び装置及び映像関連情報生成プログラム及び映像関連情報生成プログラムを格納した記憶媒体
JP2004023661A (ja) * 2002-06-19 2004-01-22 Ricoh Co Ltd 記録情報処理方法、記録媒体及び記録情報処理装置

Also Published As

Publication number Publication date
CN101151674B (zh) 2012-04-25
EP1866924A1 (en) 2007-12-19
JP4981026B2 (ja) 2012-07-18
KR20070121810A (ko) 2007-12-27
US20080193101A1 (en) 2008-08-14
WO2006103633A1 (en) 2006-10-05
CN101151674A (zh) 2008-03-26

Similar Documents

Publication Publication Date Title
JP4981026B2 (ja) 複合ニュース・ストーリーの合成
JP5302319B2 (ja) コンテンツ品目のコレクションと関連のメタデータ生成
US8321414B2 (en) Hybrid audio-visual categorization system and method
KR101715971B1 (ko) 키워드 및 스트링 입력에 기초한 애니메이트된 미디어를 어셈블링하는 방법 및 시스템
KR100388344B1 (ko) 컨텐츠 및 화자 정보를 이용한 오디오 정보 검색 방법 및장치
US7522967B2 (en) Audio summary based audio processing
JP3705429B2 (ja) オーディオビジュアルサマリ作成方法
KR100828166B1 (ko) 동영상의 음성 인식과 자막 인식을 통한 메타데이터 추출방법, 메타데이터를 이용한 동영상 탐색 방법 및 이를기록한 기록매체
JP4873018B2 (ja) データ処理装置、データ処理方法、及び、プログラム
US20070276733A1 (en) Method and system for music information retrieval
US20080300872A1 (en) Scalable summaries of audio or visual content
US20090055390A1 (en) Information sorting device and information retrieval device
EP2122623B1 (en) Analysing video material
US7949667B2 (en) Information processing apparatus, method, and program
JP4120597B2 (ja) 部分コンテンツ作成方法及び装置及びプログラム
CN107544978A (zh) 一种基于内容的视频检索方法
Papageorgiou et al. CIMWOS: A Multimedia Retrieval System based on Combined Text, Speech and Image Processing.
Fersini et al. Improving the effectiveness of multimedia summarization of judicial debates through ontological query expansion
Lavoie et al. Multimedia search technologies
Chen et al. Multimedia Browsing
Christel Survey of Automatic Metadata Creation Methods
Sasongko Automatic generation of effective video summaries
JP2001167557A (ja) オーディオ情報の特徴記述方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090326

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120302

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120327

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120419

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150427

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees