JP2007519321A - 視聴覚データストリームのマルチメディア要約を作成する方法及び回路 - Google Patents

Abstract

消費者によって受信され得る視聴覚データ量が急速に増加するにしたがい、映画などの視聴覚データの適切な要約化に関する必要が増加している。したがって、本発明は、映画などの視聴覚データのストリームのマルチメディア要約を作成する方法を提供する。始めに、テキスト要約が取得される（２０４）。次に、視聴覚データストリームがセグメント化され（２０８）、情報が、視聴覚データストリームから（２１０）及びテキスト要約（２０６）から抽出される。最終的に、テキスト要約によって担持される情報と一致する情報を担持するセグメントが選択される（２１２）。映画及び連続ものの要約は、豊富にインターネット上で入手可能であり、熱心な者によって又は熱心な者のために作成され、マルチメディア要約を作成するのに信頼度の高い種を提供する。

Description

本発明は、視聴覚データストリームのマルチメディア要約を作成する方法に関する。

本発明は、視聴覚データストリームのマルチメディア要約を作成する回路にも関する。

本発明は、更に、斯様な回路を備える視聴覚データを処理する機器に関する。

本発明は、更に、処理ユニットをプログラムするコードを有する計算機プログラムに関する。

本発明は、更に、斯様な計算機プログラムを担持するデータ担体に関する。

消費者に利用者可能な記憶容量及び消費者によって使用される記憶容量が増加していることは長年にわたって伝えられている。また、消費者に提示され及び利用可能なコンテンツの量も伸びている。消費者によって記憶されている又は消費者のための全てのコンテンツの適切な概略を提供するために、特に映画などの視聴覚データストリームに関して適切な要約が不可欠である。

消費者が自身に対して利用可能な全ての映画を個人的に要約することは実行不可能である。したがって、映画を要約するこの処理を自動化することが高く所望とされる。

米国特許出願公開第2002/0083471 号は、ビデオ番組のマルチメディア要約を提供するシステム及び方法を開示する。マルチメディア要約の作成の処理は、国際特許出願公開第02/041634号に開示される方法に従ってテキスト要約を自動的に作成するステップから開始する。テキスト要約を自動的に作成するステップは、ユーザ対話を必要としないものの、多量の処理能力を必要とし、したがって、高価な回路を必要とする。更に、ビデオ番組の間違った部分の選択により失敗をしがちである。この理由は、テキスト要約を自動的に作成する回路が、全てのビデオ番組に適用可能ではないかもしれない数個の規則に従い動作するからである。

本発明の目的は、少ない処理能力を必要とするマルチメディア要約を作成する方法及び回路を提供することである。

この目的を達成するために、本発明は、視聴覚データストリームのマルチメディア要約を作成する方法であって、外部情報源から前記視聴覚データストリームの既製のテキスト要約を取得するステップと、情報を抽出するべき前記テキスト要約を分析するステップと、情報を抽出するべき前記視聴覚データストリームをセグメント化及び分析をするステップと、前記テキスト要約から抽出された前記情報と一致する情報を有するセグメントを前記視聴覚データストリームから選択するステップと、前記選択されたセグメントを結合し、マルチメディア要約を形成するステップと、を有する方法を提供する。

本発明は、映画及び連続番組などのビデオ番組の既製のテキスト要約を有する多数のデータベースが利用可能であるという認識に基に構築されている。例えばインターネットなどを介してこれらのテキスト要約を取得する回路は、非常に低価格で豊富に入手可能であり、最小限の処理能力を必要とする。更に、テキスト要約は、通常、無料で取得され得る。

更に、これらの要約は、多くの場合、映画及びジャンルを知っており、映画又は連続番組のエピソードのハイライトが何かを知っている映画批評家、映画の熱心な者又は連続番組の熱心な者によって作成される。斯様にして、献身的な精神規則が、テキスト要約を設定するのに用いられる。斯様にして、人間の脳によって使用される規則に比べて最も原始的である回路適用規則よりも更に正確なテキスト要約が提供される。

本発明に従う方法の実施例において、前記視聴覚データストリームが、前記視聴覚データストリームに対応する字幕を担持するサブストリームを含み、前記視聴覚データストリームから抽出された前記情報が、字幕を分析することによって前記視聴覚データストリームから抽出される。

この実施例の有利な点は、字幕が、例えば要約されるべき映画などの他のビデオデータから抽出される必要がないので、容易に抽出されることである。

本発明による方法の別の実施例において、前記テキスト要約から抽出される前記情報は、キーワードである。

この実施例の有利な点は、（前記サブストリームで入手可能な）語句が、アルファベットと数字を組み合わせたデータに変換され得、斯様にして処理され得るので、容易に処理することが可能である。

本発明に従う方法の更なる実施例において、前記テキスト要約から抽出される前記情報が、前記テキスト要約から抽出される前記情報に関連する情報を用いて拡張される。

この実施例の有利な点は、短いテキスト要約が、斯様にして、更なる情報又は更に詳細な情報を提供し得ることである。特に、テレテキストによって提供される要約は、通常１ページに収められる必要があるので、かなり小さい。この要約から抽出される情報を拡張することによって、要約するべき視聴覚データストリームの一致するセグメントを検索するための追加的な情報が利用可能になる。

本発明による方法の更に別の実施例において、前記セグメントが、前記マルチメディア要約が再生される瞬間に組み合わせられる。

この実施例の有利な点は、セグメントが元の視聴覚データストリームから再生され得るので、完全なマルチメディア要約を記録するために大量の追加的な記憶スペースが必要とされないことである。マルチメディア要約の設定は、マルチメディア要約の再生の前に、オフラインで行われ得る。この結果は、要約するべき元の視聴覚データストリームに参照されるプレイリストであり得る。

本発明による視聴覚データストリームのマルチメディア要約を作成する回路は、外部情報源から前記視聴覚データストリームの既製のテキスト要約を取得する通信ユニットと、情報を抽出するべき前記テキスト要約を分析し、情報を抽出するべき前記視聴覚データストリームをセグメント化及び分析をし、前記テキスト要約から抽出された前記情報と一致する情報を有するセグメントを前記視聴覚データストリームから選択し、前記選択されたセグメントを結合し、マルチメディア要約を形成する処理ユニットと、を備える。

本発明による視聴覚データを処理する機器は、斯様な回路を備える。

本発明による計算機プログラムは、本発明による方法を実行するように処理ユニットをプログラムするコードを含む。

本発明による計算機プログラムを担持するデータ担体は、斯様な計算機プログラムを担持する。

本発明の実施例は、添付の図面を参照にして以下に更に詳細に説明される。

図１は、本発明による機器の実施例としてのビデオレコーダ１１０と、テレビ１５０と、制御装置１６０とを備える家電システム１００を示す。ビデオレコーダ１１０は、信号１７０によって担持される視聴覚データのストリーム及びこれら視聴覚データのストリームに関連付けられる対話型アプリケーションを受信及び記録するように構成される。

これを実現するために、ビデオレコーダ１１０は、信号１７０を受信する受信器１２０、デマルチプレクサ１２２、ビデオ処理器１２４、ビデオレコーダ１１０によって含まれるコンポーネントを制御するマイクロプロセッサなどの中央処理ユニット１２６、記憶装置としてのハードディスク駆動装置１２８、プログラムコードメモリ１３０、制御装置１６０から信号を受信するユーザコマンド受信器１３２、及びビデオレコーダ１１０によって含まれるコンポーネントを接続する中央バス１３４を備える。

ビデオレコーダは、更に、インターネット又はＬＡＮなどのネットワークに接続するためのネットワークインターフェイスユニット１４０を備える。ネットワークインターフェイスユニット１４０は、アナログモデム、ＩＳＤＮ、ＤＳＬ若しくはケーブルモデム、又はUTP/イーサネット/TCP-IPネットワークインターフェイスとして実施され得る。

受信器１２０は、放送（音声又はビデオ）チャネルに同調し、信号１７０から前記放送チャネルのデータを抽出するように構成される。信号１７０は、ケーブル、地上波、衛星、ブロードバンドネットワーク接続又は他のいかなる視聴覚データ配信方法などの何れの既知の方法によっても受信され得る。信号１７０は、別の家電機器の出力から抽出もされ得る。受信器１２０は、少なくとも１つの視聴覚データストリームを担持するベースバンド信号を出力する。

デマルチプレクサ１２２は、受信器１２０によって出力されるベースバンド信号に含まれ得る視聴覚データを他のデータから逆多重化するように構成され得る。ビデオ処理器１２４は、テレビ１５０によってレンダリングされ得る方法でデマルチプレクサ１２２によって出力される視聴覚データをレンダリングするように構成される。出力は、ＳＥＣＡＭ及びＰＡＬなどの様々なアナログ形式又はデジタル形式で提供され得る。

プログラムコードメモリ１３０に記憶されるデータは、マイクロプロセッサ１２６に本発明に従う方法を実行させる。プログラムコードメモリ１３０は、フラッシュＥＥＥＰＲＯＭ、ＲＯＭ、光ディスク又は他の如何なる種類のデータ担持媒体として実施され得る。

記憶装置は、ＤＶＤ又はＢｌｕ−Ｒａｙ駆動装置などの光学ディスク駆動装置としても実施され得、テレビ１５０での後々の再生のために又はネットワークインターフェイスユニット１４０を介した更なる伝達のために、受信器１２０又はネットワークインターフェイスユニット１４０の何れかによって受信されるコンテンツを記憶する。コンテンツは、記憶の前に処理され得る。

マイクロプロセッサ１２６は、ビデオレコーダ１１０のユーザにハードディスク駆動装置１２８に記憶される全てのデータの良好な概略を提供するために、映画、テレビ番組、又はハードディスク駆動装置１２８に記憶されるか受信器１４０によって受信される他のもの等の視聴覚データストリームの要約を作成する。このことは、自動的に行われるか、ユーザによって開始される必要がある。

図２は、視聴覚データのストリームの要約を作成する本発明による方法の実施例を示すフローチャート２００を示す。様々なブロックにおける処理ステップは、以下の表１に提供される。処理は、図１と組み合わせて説明され得る。

処理ステップ２０２において、（マイクロプロセッサ１２６によって実行されるエージェントによって）自動的に、又は制御装置１６０を操作するなどのユーザ動作によって、処理が開始される。

その後、処理ステップ２０４において、要約するべきストリームの既製のテキスト要約が取得される。映画の要約は、例えばインターネット上のhttp://www.cinema.nlなどの多数の場所において入手可能である。しかし、テレテキスト及び電子番組ガイド（ＥＰＧ）も、映画及びシリーズものなどの他の番組のテキスト要約を提供する。要約は、特にメロドラマに関して、エピソードが放送された後に完全なプロットを提供する。

有利な実施例において、要約は、インターネットサーバからネットワークインターフェイスユニット１４０によって取得される。本発明の別の実施例において、要約は、放送信号に多重化され、デマルチプレクサ１２２で前記放送信号から導出されるテキストデータから取得される。アナログテレビ信号に関して、テキストデータは、垂直帰線区間に多重化される。デジタルテレビの場合、テキストデータは、視聴覚データストリームとは別のストリームで提供され得る。テレテキストデータは、例えばhttp://teletekst.nos.nl/でインターネットを介しても利用可能であり得、ネットワークインターフェイスユニット１４０によって取得され得る。

テレテキストデータ及びＥＰＧデータは、多くの場合視聴覚データストリームを用いて取得され、したがって、事実上、ビデオレコーダ１１０で入手可能であるが、それにもかかわらず、この応用例の文脈において、これらの手段によって取得されるテキスト要約が視聴覚データストリームの作成（すなわち、例えばフィルムの撮影）から個別に生成させるので、外部情報源から取得されると考慮される。

本発明のより更なる実施例において、要約は、電子番組ガイドから得られる。この番組ガイドは、テレテキストデータが取得されるのと同じ方法で、放送信号から又はインターネットから取得され得る。

斯様にして要約を取得する主な有利な点は、要約が、要約すべき視聴覚データストリームから作成される必要がなく、既に入手可能であることである。

要約を取得すると、要約は、ステップ２０６で情報を抽出するために分析される。好ましい実施例において、キーワードは要約から抽出される。これらのキーワードは、１回以上登場するか例えば映画の題名に登場する動詞、名詞又は形容詞であり得る。

更なる実施例のにおいて、情報抽出処理は、テキスト要約から抽出されたキーワードに関連する語句を求めて検索する。前記関連する語句は、同義語であってもよいが、「ファックス」が「電話」に関連し、「車」が「運転」に関連するような方法などの他の関連性も想像され得る。抽出された情報に関連する情報は、１つの実施例において、ネットワークインターフェイスユニット１４０を用いて外部データベースから取得される。別の実施例において、追加的な関連情報を検索するためのデータベースは、ハードディスク駆動装置１２８に記憶される。

データベースは、キーワードとして見なされるべきでない語句も含み得る。この例の１つは、「である(to be)」の全ての活用形又は他の非常に頻繁に用いられる動詞である。

その後、視聴覚データのストリームは、同一出願者の国際特許出願公開第02/093929号で開示される既知の方法を用いて、処理ステップ２０８でセグメント化される。

マルチメディアデータオブジェクトをセグメント化した後で、前記セグメントは、処理ステップ２１０で情報を抽出するために分析される。セグメントから情報を抽出するために、本発明の様々な実施例が提案されている。マルチメディアデータオブジェクトが映画であり、前記映画がその映画に字幕を提供されている場合、字幕は、他のビデオデータから抽出され得、字幕はＯＣＲアルゴリズムを用いて読み取られ得る。

字幕がテレテキスト又はクローズドキャプションなどの追加的なデータとしてアルファベットと数字を組み合わせた形式で提供される場合、情報は、簡単な方法で自動的に抽出され得る。

前段落で議論された２つの選択肢の中間の選択肢も可能である。ＤＶＤにおいて、字幕は、グラフィカル形式で個別のストリームでコンテンツ提供者によって提供され得る。字幕は、字幕が用いられることを意図される視聴覚データストリームでビデオデータから抽出される必要がないので、情報を抽出するのに、容易にアルファベットと数字を組み合わせた文字に変換され得る。

本発明の別の実施例において、映画の文字の発話が、発話認識アルゴリズムを用いて抽出される。この種の処理は多大な処理能力を必要とするが、マイクロプロセッサの処理能力は、数年後には更に増加することが予想される。このことは、安価な普及品マイクロプロセッサを用いてオンザフライの発話認識を可能にし得る。

処理ステップ２０６において要約からデータを抽出するステップ同様に、名詞、動詞、及び／又は形容詞が、字幕又は変換された発話テキストから抽出される。

テキストの他に、爆発、アクションシーン、対話及び（顔認識を用いて）主要人物の顔などの他の情報も視聴覚データストリームから抽出され得る。

視聴覚データストリームがセグメント化され、情報がテキスト要約及び前記視聴覚データストリームから抽出されている場合、マルチメディア要約に関するセグメントは、処理ステップ２１２で選択される。このことは、テキスト要約から抽出された情報を分析することによって、及び一致情報を含むセグメントを検索することによって実行される。本発明の実施例の一つにおいて、セグメントは、テキスト要約から抽出された情報によって含まれる少なくとも１つのキーワードを含む場合に、マルチメディア要約に関して選択される。

本発明の更なる実施例において、セグメントが「警察」及び「逮捕」又は「オランダ」及び「木製靴」などの関連キーワードの組合せを含む場合、セグメントがマルチメディア要約に関して選択される。斯様な組合せは、視聴覚データストリームから抽出された情報及びテキスト要約から抽出される情報によって含まれる語句の間の一致としてもみなされる。

また、視聴覚データストリームによって表される話のプロットを理解するために重要であり得る、（話される）テキスト以外の情報を担持するセグメントも、要約に含まれ得る。これに関する例は、アクションシーン及び爆発を含むセグメントである。

本発明の実施例において、セグメントによって担持される情報以外に、マルチメディア要約における選択に関して、他の要件もシーンによって満たされる必要がある。斯様な要件は、大抵の場合セグメントが視聴覚データストリームの長さの全体から要約に関して選択され、選択されるシーンの９０％がストリームの最初の１０％からであるような場合を有さないことが所望であるので、シーンの長さ及び様々なシーンの位置である。

視聴覚データストリームの適切なセグメントが選択された後に、該セグメントは、新たな視聴覚データストリームに組み合わせられ、これにより、要約が作成される必要があった元の視聴覚データストリームのマルチメディア要約を形成する。このことは、処理ステップ２１４で行われる。好ましくは、該セグメントは、元の視聴覚データストリームで出てくる順序で組み合わされる。

しかし、本発明の別の実施例において、セグメントは、セグメントに含まれる情報がテキスト要約で現れる順序で組み合わせられる。本発明のより更なる実施例において、セグメントは、マルチメディア要約において時間的な順序で順序付けられる。このことは、元の視聴覚データストリームが、例えば映画の登場人物のフラッシュバックなどを含む場合、フラッシュバックがマルチメディア要約に最初に挿入され、他のセグメントが後に続くことを意味する。

本発明の更に別の実施例において、当該方法は、ポインタを有するプレイリストを元の視聴覚データストリームにおけるシーンに戻す。この実施例の有利な点は、個別のストリームがマルチメディア要約に関して記憶される必要がないということである。

マルチメディア要約は、最後に、処理ステップ２１６に戻される。マルチメディア要約は、ハードディスク駆動装置１２８に記憶され得る。

当業者は、フローチャート２００によって示される処理の様々な処理ステップが必ずしも示される順序で実行される必要はないことを理解し得る。例えば、要約は、視聴覚データストリームがセグメント化され情報がそこから抽出された後でも取得され得る。また、同時に様々なステップが実行され得る。

様々な修正態様が上述の実施例に適用され得ることは当業者にとって明らかである。前記様々な実施例の特徴は、本発明の範囲から逸脱することなく、順序を変更され得る。

例えば、テキスト要約から抽出される情報を拡張する代わりに、視聴覚データストリームから抽出される情報も拡張され得、又は両方の情報から抽出される情報が拡張される。

更に、本発明に従う方法の実施例は、単一の処理ユニットのマイクロプロセッサ１２６（図１）によって及び少ない程度に受信器１２０（図１）によって及びネットワークインターフェイス１４０（図１）によって主に実行されるとして示されている（３つの全てが本発明による回路の実施例として回路１８０を形成する）が、１つ又は複数の個別のステップがＡＳＩＣなどの専用回路のような個別のコンポーネントによって実行される、本発明の他の実施例も可能である。

本発明は、図３に示されるパソコン３００などの汎用目的計算機に本発明による方法を実行させる計算機プログラム製品として実施され得る。

また図３は、パソコン３００に本発明による方法を実行するようにプログラムするデータを含むデータ担体３１０を示す。

これを実現するために、データ担体３１０は、パソコン３００に備えられるディスク駆動装置３０２に挿入される。ディスク駆動装置３０２は、データ担体３１０からデータを取得し、マイクロプロセッサ３０４をプログラムするためにこのデータをマイクロプロセッサ３０４に転送する。その後、プログラムされたマイクロプロセッサ３０４は、本発明に従う方法を実行する。

パソコン３００は、要約するべき視聴覚データストリームのテキスト要約を得るための通信ユニット３０６を有する。通信ユニット３０６は、アナログ、ケーブル若しくはＤＳＬモデムとして、ネットワークインターフェイス（ＵＴＰ，イーサネット、ＴＣＰ−ＩＰ）として、又は当業者に既知の他のいかなる種類の通信ユニットとしても実施され得る。

要約すると、本発明は、以下のことに関する。

消費者によって受信され得る視聴覚データ量が急速に増加しているので、映画などの視聴覚データの適切な要約化に関する必要が増加している。したがって、本発明は、映画などの視聴覚データのストリームのマルチメディア要約を作成する方法を提供する。始めに、テキスト要約が取得される（２０４）。次に、視聴覚データストリームがセグメント化され（２０８）、情報が、視聴覚データストリームから（２１０）及びテキスト要約から（２０６）抽出される。最終的に、テキスト要約によって担持される情報と一致する情報を担持するセグメントが選択される（２１２）。映画及び連続ものの要約は、豊富にインターネット上で入手可能であり、熱心な者によって又は熱心な者のために作成され、マルチメディア要約を作成するのに信頼度の高い種を提供する。

図１は、本発明による機器の実施例を示す。 図２は、本発明による方法の実施例を示すフローチャートを示す。 図３は、本発明によるデータ担体の実施例を示す。

Claims (16)

1. 視聴覚データストリームのマルチメディア要約を作成する方法であって、
   ａ）外部情報源から前記視聴覚データストリームの既製のテキスト要約を取得するステップと、
   ｂ）情報を抽出するべき前記テキスト要約を分析するステップと、
   ｃ）情報を抽出するべき前記視聴覚データストリームをセグメント化及び分析をするステップと、
   ｄ）前記テキスト要約から抽出された前記情報と一致する情報を有するセグメントを前記視聴覚データストリームから選択するステップと、
   ｅ）前記選択されたセグメントを結合し、マルチメディア要約を形成するステップと、
   を有する方法。
2. 前記外部情報源が、
   ａ）テレテキストと、
   ｂ）電子番組ガイドと、
   ｃ）インターネットサーバと、
   のうちの少なくとも１つである、請求項１に記載の方法。
3. ａ）前記視聴覚データストリームが、前記視聴覚データストリームに対応する字幕を担持するサブストリームを含み、
   ｂ）前記視聴覚データストリームから抽出された前記情報が、字幕を分析することによって前記視聴覚データストリームから抽出される、
   請求項１に記載の方法。
4. 前記サブストリームが、
   ａ）クローズドキャプション、
   ｂ）テレテキスト字幕データ、及び／又は
   ｃ）グラフィック形式の字幕、
   を担持する、請求項３に記載の方法。
5. 前記テキスト要約から抽出される前記情報がキーワードである、請求項１に記載の方法。
6. 前記キーワードが、前記テキスト要約によって含まれる名詞、形容詞及び／又は動詞である、請求項５に記載の方法。
7. 前記テキスト要約から抽出される前記情報が、前記テキスト要約から抽出される前記情報に関連する情報を用いて拡張される、請求項１に記載の方法。
8. 前記テキスト要約から抽出される前記情報が、名詞、形容詞及び／又は動詞であり、前記抽出される情報が前記テキスト要約から抽出される前記名詞に関連する更なる名詞、形容詞及び／又は動詞を用いて拡張される、請求項６に記載の方法。
9. 前記更なる名詞、形容詞及び／又は動詞が、前記テキスト要約から抽出される前記名詞、形容詞及び／又は動詞の類義語である、請求項７に記載の方法。
10. ａ）前記視聴覚データストリームが、字幕を担持するサブストリームを含み、
    ｂ）前記情報が、字幕を分析することによって前記視聴覚データストリームから抽出され、
    ｃ）前記テキスト要約から抽出された前記情報と一致する情報を有するセグメントを前記視聴覚データストリームから選択するステップが、前記字幕が少なくとも１つのキーワードを含む少なくとも１つのセグメントを選択するステップを含む、
    請求項５に記載の方法。
11. 前記視聴覚データストリーム及び前記テキスト要約から抽出される前記情報が語句を含み、前記視聴覚データストリームのセグメントが、前記視聴覚データストリームから抽出される少なくとも１つの第１語句と前記テキスト要約から抽出される少なくとも１つの第２語句とが一致する場合に選択される、請求項１に記載の方法。
12. 前記セグメントが、前記マルチメディア要約が再生される瞬間に組み合わせられる、請求項１に記載の方法。
13. 視聴覚データストリームのマルチメディア要約を作成する回路であって、
    ａ）外部情報源から前記視聴覚データストリームの既製のテキスト要約を取得する通信ユニットと、
    ｂ）１）情報を抽出するべき前記テキスト要約を分析し、
    ２）情報を抽出するべき前記視聴覚データストリームをセグメント化及び分析し、
    ３）前記テキスト要約から抽出された前記情報と一致する情報を有するセグメントを前記視聴覚データストリームから選択し、
    ４）前記選択されたセグメントを結合し、マルチメディア要約を形成する、
    処理ユニットと、
    を備える回路。
14. 請求項１０に記載の回路を備える、視聴覚データを処理する機器。
15. 請求項１に記載の方法を実行するように処理ユニットをプログラムするコードを含む計算機プログラム。
16. 請求項１３に記載の計算機プログラムを担持するデータ担体。

Images