JP2007503145A - 映像要約方法 - Google Patents

映像要約方法 Download PDF

Info

Publication number
JP2007503145A
JP2007503145A JP2006523714A JP2006523714A JP2007503145A JP 2007503145 A JP2007503145 A JP 2007503145A JP 2006523714 A JP2006523714 A JP 2006523714A JP 2006523714 A JP2006523714 A JP 2006523714A JP 2007503145 A JP2007503145 A JP 2007503145A
Authority
JP
Japan
Prior art keywords
video
program
collection
exclamation
sentences
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006523714A
Other languages
English (en)
Other versions
JP4630869B2 (ja
Inventor
バルビエリ,マウロ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of JP2007503145A publication Critical patent/JP2007503145A/ja
Application granted granted Critical
Publication of JP4630869B2 publication Critical patent/JP4630869B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/738Presentation of query results
    • G06F16/739Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8549Creating video summaries, e.g. movie trailer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

プログラムに対応する映像ストリーム(200)からそれぞれの部分(222乃至234、242乃至254)を選択することにより関連映像セグメント群(201、203)の収集を生成する方法を開示している。関連映像セグメント群(201、203)の収集は映像トレーラ又は映像要約として適用される。それ故、関連映像セグメントの収集の持続時間はプログラムの持続時間に比べて相対的に短い。その方法は、プログラムに関連する複写情報を受信する段階であって、複写情報は複数の文を有する、段階と、複数の文の第1文において第1感嘆構文要素を検出する段階と、前記第1感嘆構文要素に対応する、映像ストリーム(200)からの部分群(202)の第1部分を選択する段階と、部分群(202)の第1部分を関連映像セグメント群の第1セグメントと関連付ける段階と、を有する。

Description

本発明は、プログラムに対応する映像ストリームからそれぞれの部分を選択することにより関連映像セグメントの収集を生成する方法であって、関連映像セグメントの収集の第1期間はプログラムの第2期間と比べて相対的に短い、方法に関する。
本発明は、更に、プログラムに対応する映像ストリームから関連部分を選択することにより関連映像セグメントの収集を生成するための映像セグメント編集であって、関連映像セグメントの収集の第1期間はプログラムの第2期間と比べて相対的に短い、映像セグメント編集に関する。
本発明は、映像記憶システムであって:
− 映像ストリームを受信するための受信ユニット;
− 映像ストリームの記憶及び映像ストリームから選択される関連映像セグメントの収集の記憶のための記憶媒体;
− 上記の関連映像セグメントの収集を生成するための映像セグメント編集ユニット;
を有する映像記憶システムに更に関する。
本発明は、コンピュータ構成によりロードされるコンピュータプログラムプロダクトであって、プログラムに対応する映像ストリームから関連部分を選択することにより関連映像セグメントの収集を生成するための命令を有し、関連映像セグメントの収集の第1期間はプログラムの第2期間と比べて相対的に短く、コンピュータ構成は処理手段とメモリとを有する、コンピュータプログラムプロダクトに更に関する。
人々のリビングルームでアクセスされ且つ消費される音声−映像情報量は益々増加している。この傾向は、将来のテレビジョン受信器及びパーソナルコンピュータにより提供される技術及び機能性の両方の収束のために更に加速される可能性がある。対象の音声−映像情報を選択するためであって、大量の利用可能な音声−映像情報に亘って効果的にナビゲートし、適切な関連する音声−映像情報についてユーザに支援するためにツールが必要とされる。ユーザが記録された音声−映像情報の即座のオーバービューを得ることを可能にするための、及び、全体的な記録されたプログラムをどのように見るかを決定するための関心のあるフィーチャは映像トレーラの自動生成である。プログラムが記録されてしまっている又は記録されるとき、記録プログラムは映像ストリームから関連映像セグメントを選択するように分析される。関連映像セグメントが表示された後、ユーザは記録されているプログラムの適切なオーバービューを提供される。
冒頭の段落で説明した種類の方法の形態について、文献、“Video Abstracting”,by R.Lienhart,et al.,in Communications of the ACM,40(12),pp.55−62, 1997に記載されている。この文献において、映像データは4層にモデル化されることが記載されている。最も低いレベルにおいては、フレームの集合を有し、次に高いレベルにおいては、フレームはショット又は連続カメラ記録にグループ化され、連続ショットはストーリーの一貫性に基づいてシーンに集められる。全てのシーンは一緒になって映像を構成する。クリップの概念については、要約の要素であるように選択されるフレームシーケンスとして説明されている。従来の方法は映像コンテンツのセグメント化及び分析、クリップ選択及びクリップ組み立ての3つの段階を有する。分析段階の目的は、例えば、主役の俳優、発砲、爆発のクローズアップ等の特別なイベント及びテキストを見つけることである。従来の方法の不利点は、それが比較的複雑であり、ロバストでないことである。
本発明の目的は、比較的容易である、冒頭の段落で説明した種類の方法を提供することである。
このような本発明の目的は、次の方法であって:
− プログラムに関連する複写情報を受信する段階であって、複写情報は複数の文を有する、段階;
− 文の第1文において感嘆構文要素を検出する段階;
− 第1感嘆構文要素に対応する映像ストリームから一部の第1部分を選択する段階;及び
− 一部の第1部分を関連映像セグメントの第1セグメントと関連付ける段階;
を有する方法により達成される。
感嘆構文要素を用いることが感嘆符を意味する場合、単語は大文字で表され、文は大文字で表された単語を有し、単語は下線付き文字で表され、単語はイタリック体で表され、単語はボールド体で表され、又は単語は他の文における他の文字に比べて相対的に大きい文字で表される。
複写情報は、例えば、クローズドキャプション、テレテキストにより交換されたサブタイトル又は映像ストリームの画像とマージされるべきグラフィックデータとして交換及び/又は記憶されるサブタイトルとして表され、結果として重ね合わされたテキストを得る。
一般に、感嘆符で終了する文は、映像要約か又は映像トレーラが好奇心をもたらし及び注目を維持するように、映像プリビューに含まれることができる興味のある映像セグメントに対応している。サブタイトル及びクローズドキャプションにおいて、表現が大声で言われ又は表現される、例えば、人が叫んでいるとき、文は全ての単語が大文字で表される。それらの文に関連するセグメントは、より人の心を捕らえ且つ興味をもたれる映像プリビューを作成するために好適に用いられる。
本発明に従った方法の実施形態は、特定の単語の集合の第2単語と同じである第1単語を有する比較的短い文章をフィルタリング除去する段階を更に有する。単語の集合は、単語、“はい”、“いいえ”及び“ありがとう”を有することが可能である。換言すれば、例えば、“はい”、“いいえ”等のしばしば表現される短い文章は、それらは重要度が低いとみなされるため、フィルタリング除去される。
本発明に従った方法の実施形態においては、選択された部分の順序が変更される。適切な順序に選択された部分を照らし合わせる、即ち、オリジナルプログラムにおけるような順序に一致させることにより、あまりに多くのストーリーが現れる可能性がある。順序を変更することにより、この可能性は小さくなる。
本発明の他の目的は、比較的容易な方式で関連映像セグメントの収集を生成するように備えられた、冒頭の段落で説明した種類の映像セグメント編集ユニットを提供することである。
このような本発明の目的は、映像セグメント編集ユニットが:
− プログラムに関連した複写情報を受信するための受信手段であって、複写情報は複数の文を有する、受信手段;
− 文群の第1文において感嘆構文要素を検出するための検出手段;
− 第1感嘆構文要素に対応する映像ストリームから部分群の第1部分を選択するための選択手段;並びに
− 部分群の第1部分を関連映像セグメント群の第1セグメントと関連付けるための関連付け手段;
を有することで達成される。
本発明の他の目的は、比較的容易な方式で関連映像セグメントの収集を生成するように備えられた、冒頭の段落で説明した種類の映像記憶システムを提供することである。
このような本発明の目的は、映像記憶システムの映像セグメント編集ユニットが:
− プログラムに関連した複写情報を受信するための受信手段であって、複写情報は複数の文を有する、受信手段;
− 文群の第1文において感嘆構文要素を検出するための検出手段;
− 第1感嘆構文要素に対応する映像ストリームから部分群の第1部分を選択するための選択手段;並びに
− 部分群の第1部分を関連映像セグメント群の第1セグメントと関連付けるための関連付け手段;
を有することで達成される。
本発明に従った映像記憶システムの実施形態においては、記憶手段はハードディスクを有する。本発明に従った映像記憶システムの他の実施形態においては、記憶手段は、取り外し可能メモリ装置、即ち、光ディスクのような取り外し可能記憶媒体に映像ストリームを記憶するように備えられ手いる。本発明に従った映像セグメント編集ユニットは、例えば、テレビジョン装置、コンピュータ、ビデオレコーダ(VCR)、DVDレコーダ、セットトップボックス、衛星放送チューナ又は家電製品分野の他の装置に備えられることが可能である。
本発明の他の目的は、比較的容易な、冒頭の段落で説明した種類のコンピュータプログラムプロダクトを提供することである。
このような本発明の目的は、ロードされた後のコンピュータプログラムプロダクトは次のような能力であって:
− プログラムに関連する、複数の文を有する複写情報を受信し;
− 文群の第1文において第1感嘆構文要素を検出し;
− 第1感嘆構文要素に対応する映像ストリームから部分群の第1部分を選択し;及び
部分群の第1部分を関連映像セグメント群の第1セグメントと関連付ける;
ことを実行する、能力を前記処理手段に与えることで達成される。
その方法の修正及び変形は、上記の、映像記憶システム及びコンピュータプログラムプロダクトの映像セグメント編集ユニットの修正及び変形に対応することが可能である。
本発明に従った、方法、映像記憶システムの映像セグメント編集ユニット及びコンピュータプログラムプロダクトの上記の及び他の特徴については、以下、添付図面を参照しながら詳述する実施形態に関連して明らかとなり、理解されるであろう。
プログラムは、テレビ局、即ち、テレビ放送局による放送のようなテレビジョンプログラムであることが可能である。典型的には、テレビジョンプログラムはテレビジョン装置により視聴される。しかしながら、プログラムは又、他のタイプのコンテンツプロバイダにより、例えば、インターネットにより供給されることが可能である。その場合、プログラムは、テレビジョン装置ではなく他の種類の装置により視聴されることが可能である。代替としては、プログラムは放送されるものではなく、例えば、光ディスク又はカセットテープ等の取り外し可能媒体により交換されるものがある。本発明が広い範囲を有することは後に明らかになるであろう。
テレビジョン信号は、ピクチャ情報、音声情報及び、例えば、テレテキスト情報のような付加情報を有する。テレビジョン信号はテレビジョンプログラムを送信する。テレビジョンプログラムは、映画、エピソードのシリーズ、演劇を記録した再生映像、ドキュメンタリ又はスポーツプログラムを有することが可能である。それらの種類のテレビジョンプログラム情報は、複数のコマーシャルブレーク情報及びアナウンス情報のユニットにより中断される可能性がある。各々のコマーシャルブレークは、通常、複数のコマーシャルメッセージを含む。
図1は、本発明に従った記録及び再生装置100の実施形態を模式的に示している。この記録及び再生装置100はハードディスクに基づく映像記憶システムである。その記録及び再生装置100は、受信信号TSに含まれるテレビジョン信号FSを記録するように及び記録されたテレビジョン信号AFSを再生するように適合される。受信信号TSは、アンテナ又はケーブルにより受信された放送信号であることが可能であるが又、例えば、VCR(ビデオカセットレコーダ)又はDVD(Digital Versatile Disk)等の記憶装置からの信号であることが可能である。受信信号は入力コネクタ110により供給される。再生テレビジョン信号AFSは出力コネクタ112において供給され、例えば、テレビジョン装置から構成されるディスプレイ装置により表示されることが可能である。
記録及び再生装置100は:
− 信号TSを受信するための受信ユニット102(例えば、チューナである、この受信ユニット102は、テレビ局のテレビジョン信号FSを選択するように備えられる。このテレビジョン信号FSはテレビジョンプログラム200に対応する映像ストリームを表す。);
− 受信ユニット102により供給される映像ストリームの記憶のための記録及び再生手段106(記録及び再生手段106は、記録されるべきテレビジョン信号FSを処理し、周知である再生テレビジョン信号AFSを処理するための信号処理段階を有する。この処理段階はデータ圧縮を有することが可能である。記録及び再生手段106は、処理テレビジョン信号FSの記録のために記録媒体としてハードディスクを有する。);
− 再生テレビジョン信号AFSへの記憶情報の適合のため及び、例えば、テレビジョン装置に出力コネクタ112によるこの再生テレビジョン信号AFSの送信のための交換ユニット(その適合は、映像ストリームを表すテレビジョン信号FSの担体における変調を有することを可能にする。記憶情報は、受信ユニット102により供給される映像ストリームと関連映像セグメントの収集とを有する。);並びに
− テレビジョンプログラムに対応する映像ストリームからそれぞれの部分を選択することによりそのような関連映像セグメントの収集を生成するための映像セグメント編集ユニット108(この映像セグメント編集ユニット108の目的は、映像トレーラ又は代替として映像ストリームの映像要約を生成することである。それ故、関連映像セグメントの収集の期間はテレビジョンプログラムの期間に比べて相対的に短い。例えば、テレビジョンプログラムは1又は2時間を要し、関連映像セグメントの収集の期間は秒乃至分のオーダーである。それは、例えば、10秒乃至2分の範囲である。結果として、各々の関連映像セグメントが続くのはほんの数秒間である。ユーザの要請に基づき、選択されるべき関連映像セグメントの持続時間は長くされる又は短くされることが可能である。全ての関連映像セグメントが同じ長さを有する必要はない。関連映像セグメントの収集の生成は、映像ストリームの記録中又は記録が終了した後に実行されることが可能である。前者の場合、映像ストリームは接続114により供給され、後者の場合、映像ストリームは接続116により供給される。);
を有する。
映像セグメント編集ユニット108は:
− プログラムに関連する複写情報を受信するための複写情報受信ユニット118(複写情報は、複数の文を有し、クローズドキャプションテキスト、テレテキストにより交換されるサブタイトル又は交換又は記憶されるサブタイトル、又は映像ストリームの画像とマージされるグラフィックデータとして実施され、結果的に、重なり合ったテキストを得ることが可能である。)
− 文における感嘆構文要素を検出するためのテキスト分析ユニット120(感嘆構文要素は、感嘆符、大文字で表される単語、大文字で表された単語を有する文、下線が付けられた大文字で表された単語、イタリック体で表された単語、ボールド体で表された単語又は他の文における他の大文字と比較して相対的に大きい大文字で表された単語であることが可能である。サブタイトルの検出は、好適には、国際公開第2002/093910号パンフレットに記載されている方法に基づく。次の2つの文献において、映像セグメントにおけるテキスト検索のための適切な技術が更に開示されている。それらの文献は、“MPEG−7 Video Text Description Scheme for Superimposed Text”,by N.Dimitrova,L.Agnihotri,C.Drai,R.Bolle,in International Signal Processing and Image Communications Journal,September,2000及び“Text Detection for Video Analysis”,by L.Agnihotri,N.Dimitrova,in IEEE Workshop on COntent−based Access of Image and Video Libraries, Colorado,Jun ‘99である。);
− 感嘆構文要素に対応する映像ストリーム200から部分202乃至214を選択するための映像選択ユニット122(その選択ユニット122は、感嘆構文要素の存在する開始及び終了の瞬間を決定するように備えられている。それぞれの部分202乃至214の始め及び終わりは、好適には、それらの開始及び終了の瞬間とマッチングする);並びに
− 選択部分202乃至214を関連映像セグメントと関連付けるための関連スケユニット124(関連映像セグメントの収集は、オリジナルの映像ストリームのそれぞれの部分の複写の数として記憶されることが可能である。しかし、好適には、ポインタの集合のみが記憶される。それらのポインタは、映像ストリームの選択部分の始め又は終わりそれぞれに対応する映像ストリーム内の開始又は終了位置を示す。映像データ又はポインタとしての関連映像セグメントの収集は、オリジナルの映像ストリームの記憶のために適用される同じメモリ装置又は分離されたメモリ装置に記憶されることができる。取り外し可能記憶媒体に基づく記録及び再生装置の場合、映像ストリーム及び関連映像セグメントの収集の両方が同じ記憶媒体に記憶されることは好ましいことは明らかである。);
を有する。
好適には、コンテンツ分析アルゴリズムが、適切な映像又は音声シーン境界に対して選択映像セグメントを調整するために又は、特定のイベントシーケンス、例えば、爆発、自動車の衝突等を含むように提案している方法と結び付けて用いられる。
自動的に生成されたトレーラを、映像マテリアルをブラウズするために用いることができる。特に、自動プロファイルに基づく記録と組合せで、これは興味深い特徴である。ユーザは、どのプログラムを視聴すべきかの記録プログラムから選択するための幾つかの方式を必要とする。生成されたトレーラは、テレビジョンを楽しむ背もたれモードとよく適合するオプションである。
複写情報受信ユニット118、テキスト分析ユニット120、映像選択ユニット122及び関連付けユニット124は、処理器を用いて実施されることが可能である。特に、それらの機能は、ソフトウェアプログラムプロダクトの制御下で実行される。実行中、特に、ソフトウェアプログラムプロダクトは、RAMのようなメモリに対してロードされ、そこから実行される。プログラムは、例えば、ROM、ハードディスク又は磁気及び/又は光記憶装置等のバックグラウンドメモリからロードされることが可能であり、若しくは、インターネットのようなネットワークによりロードされることが可能である。任意に、特定用途向け集積回路(ASIC)により開示した機能性を備えることができる。
図2は、本発明に従って、テレビジョンプログラム200に基づいて、映像トレーラ又は映像要約201の生成について模式的に示している。テレビジョンプログラム200は多くのシーン及びショットを有する。複写情報はテレビジョンが利用可能であることに関連付けられることを前提とする。感嘆構文要素を有する複写情報の部分に属す映像ストリームの相対的に小さい部分202乃至214を選択することにより、テレビジョンプログラムの相対的に重要なシーンの部分が収集される。それ故、関連映像イセグメントの収集は、映像トレーラ又は映像要約として非常によく適合するものである。典型的には、映像ストリームの選択部分202乃至214は数秒(1乃至10秒)の持続時間を有している。選択映像セグメントの持続時間は所定の値に等しいことが可能である。しかし、好適には、その持続時間は、感嘆構文要素が存在する持続時間により決定される。代替として、その持続時間はユーザにより制御可能である。任意に、映像セグメントの持続時間はテレビジョンプログラムの持続時間に関連する。例えば、テレビジョンプログラムの持続時間が長い場合、選択映像セグメントの持続時間は相対的に短いことが可能である。任意に、映像セグメントの持続時間は、テレビジョンプログラムにおける検出された感嘆構文要素の数に関連する。例えば、感嘆構文要素の数が制限される場合、選択映像セグメントの持続時間は相対的に長い。
上記の実施形態は本発明を限定するのではなく、例示であり、当業者は、同時提出の特許請求の範囲についての範囲から逸脱することなく代替の実施形態をデザインすることができることに留意する必要がある。用語‘を有する’は、請求項に挙げられていない要素又は段階の存在を排除するものではない。要素の単数表現はその様な要素の複数の存在を排除するものではない。本発明を、幾つかの別個の要素を有するハードウェアにより及び適切にプログラムされたコンピュータにより実施することができる。幾つかの手段を挙げている装置請求項においては、それらの手段の幾つかを同一のハードウェアにより実施することができる。第1、第2及び第3等を用いた表現は何れの順序を示すものではない。それらの表現は単に名前として解釈されるべきものである。
本発明に従った記録及び再生装置の実施形態を示す模式図である。 本発明に従ってプログラムに基づいて映像要約の生成を示す模式図である。

Claims (12)

  1. プログラムに対応する映像ストリームからそれぞれの部分を選択することにより関連映像セグメント群の収集を生成する方法であって、前記の関連映像セグメント群の収集の第1持続時間は前記プログラムの第2持続時間に比べて相対的に短い、方法であり:
    前記プログラムに関連する複写情報を受信する段階であって、前記複写情報は複数の文を有する、段階;
    前記複数の文の第1文において第1感嘆構文要素を検出する段階;
    前記第1感嘆構文要素に対応する、前記映像ストリームからの部分群の第1部分を選択する段階;
    前記部分群の前記第1部分を前記関連映像セグメント群の第1セグメントと関連付ける段階;
    を有することを特徴とする方法。
  2. 請求項1に記載の方法であって、第1感嘆構文要素は、感嘆符、大文字で表された単語、大文字で表された単語を有する文、下線が付けられた大文字で表された単語、イタリック体で表された単語、ボールド体で表された単語、及び他の文における他の大文字と比較して相対的に大きい大文字で表された単語の1つである、ことを特徴とする方法。
  3. 請求項1に記載の方法であって、前記複写情報は、クローズドキャプションテキスト、テレテキストにより交換されたサブタイトル及び重なり合ったテキストとして交換されたサブタイトルの1つである、ことを特徴とする方法。
  4. 請求項1に記載の方法であって:
    特定の単語の集合の第2単語と同じ第1単語を有する比較的短い文をフィルタリング除去する段階;
    を更に有する、ことを特徴とする方法。
  5. 請求項4に記載の方法であって、前記の特定の単語の集合は単語“はい”、“いいえ”及び“ありがとう”を有する、ことを特徴とする方法。
  6. 請求項1に記載の方法であって:
    前記の選択された部分群の順序を変える段階;
    を更に有する、ことを特徴とする方法。
  7. プログラムに対応する映像ストリームからそれぞれの部分を選択することにより関連映像セグメント群の収集を生成するための映像セグメント編集ユニットであって、前記の関連映像セグメント群の収集の第1持続時間は前記プログラムの第2持続時間に比べて相対的に短い、映像セグメント編集ユニットであり:
    前記プログラムに関連する複写情報を受信するための受信手段であって、前記複写情報は複数の文を有する、受信手段;
    前記複数の文の第1文において第1感嘆構文要素を検出するための検出手段;
    前記第1感嘆構文要素に対応する、前記映像ストリームからの部分群の第1部分を選択するための選択手段;並びに
    前記部分群の前記第1部分を前記関連映像セグメント群の第1セグメントと関連付けるための関連付け手段;
    を有することを特徴とする映像セグメント編集ユニット。
  8. 映像記憶システムであって:
    映像ストリームを受信するための受信ユニット;
    前記映像ストリームの記憶のため及び前記映像システムから選択された関連映像セグメントの収集の記憶のための記憶手段;並びに
    請求項7に記載するような、前記の関連映像セグメントの収集を生成するための映像セグメント編集ユニット;
    を有することを特徴とする映像記憶システム。
  9. 請求項8に記載の映像記憶システムであって、前記記憶手段はハードディスクを有する、ことを特徴とする映像記憶システム。
  10. 請求項8に記載の映像記憶システムであって、前記記憶手段は取り外し可能メモリ装置に前記映像ストリームを記憶するように備えられている、ことを特徴とする映像記憶システム。
  11. 請求項10に記載の映像記憶システムであって、前記取り外し可能メモリ装置は光ディスクを有する、ことを特徴とする映像記憶システム。
  12. コンピュータ構成によりロードされるコンピュータプログラムであって、プログラムに対応する映像ストリームからそれぞれの部分を選択することにより関連映像セグメント群の収集を生成するための命令を有し、前記の関連映像セグメント群の収集の第1持続時間は前記プログラムの第2持続時間に比べて相対的に短く、前記コンピュータ構成は処理手段とメモリとを有し、前記コンピュータプログラムはロードされた後に次の段階であって:
    前記プログラムに関連する複写情報を受信する段階であって、前記複写情報は複数の文を有する、段階;
    前記複数の文の第1文において第1感嘆構文要素を検出する段階;
    前記第1感嘆構文要素に対応する、前記映像ストリームからの部分群の第1部分を選択する段階;
    前記部分群の前記第1部分を前記関連映像セグメント群の第1セグメントと関連付ける段階;
    を実行する能力を前記処理手段に与えることを特徴とするコンピュータプログラム。
JP2006523714A 2003-08-18 2004-08-04 映像要約方法 Expired - Fee Related JP4630869B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP03102566 2003-08-18
PCT/IB2004/051383 WO2005017899A1 (en) 2003-08-18 2004-08-04 Video abstracting

Publications (2)

Publication Number Publication Date
JP2007503145A true JP2007503145A (ja) 2007-02-15
JP4630869B2 JP4630869B2 (ja) 2011-02-09

Family

ID=34178574

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006523714A Expired - Fee Related JP4630869B2 (ja) 2003-08-18 2004-08-04 映像要約方法

Country Status (6)

Country Link
US (1) US7894709B2 (ja)
EP (1) EP1658612A1 (ja)
JP (1) JP4630869B2 (ja)
KR (1) KR101058054B1 (ja)
CN (1) CN1836287B (ja)
WO (1) WO2005017899A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014123898A (ja) * 2012-12-21 2014-07-03 Toshiba Corp 電子機器及び再生制御方法

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6870956B2 (en) 2001-06-14 2005-03-22 Microsoft Corporation Method and apparatus for shot detection
US7116716B2 (en) * 2002-11-01 2006-10-03 Microsoft Corporation Systems and methods for generating a motion attention model
US20040088723A1 (en) * 2002-11-01 2004-05-06 Yu-Fei Ma Systems and methods for generating a video summary
US7164798B2 (en) * 2003-02-18 2007-01-16 Microsoft Corporation Learning-based automatic commercial content detection
US7260261B2 (en) 2003-02-20 2007-08-21 Microsoft Corporation Systems and methods for enhanced image adaptation
US7400761B2 (en) * 2003-09-30 2008-07-15 Microsoft Corporation Contrast-based image attention analysis framework
US7471827B2 (en) * 2003-10-16 2008-12-30 Microsoft Corporation Automatic browsing path generation to present image areas with high attention value as a function of space and time
US9053754B2 (en) 2004-07-28 2015-06-09 Microsoft Technology Licensing, Llc Thumbnail generation and presentation for recorded TV programs
US7986372B2 (en) * 2004-08-02 2011-07-26 Microsoft Corporation Systems and methods for smart media content thumbnail extraction
US20070112811A1 (en) * 2005-10-20 2007-05-17 Microsoft Corporation Architecture for scalable video coding applications
US8180826B2 (en) 2005-10-31 2012-05-15 Microsoft Corporation Media sharing and authoring on the web
US7773813B2 (en) * 2005-10-31 2010-08-10 Microsoft Corporation Capture-intention detection for video content analysis
US8196032B2 (en) 2005-11-01 2012-06-05 Microsoft Corporation Template-based multimedia authoring and sharing
FR2893470B1 (fr) * 2005-11-16 2008-02-15 Canon Res Ct France Soc Par Ac Procede et dispositif de creation d'une sequence video representative d'une sequence video numerique et procedes et dispositifs de transmission et reception de donnees video associes
US7599918B2 (en) * 2005-12-29 2009-10-06 Microsoft Corporation Dynamic search with implicit user intention mining
US20080046406A1 (en) * 2006-08-15 2008-02-21 Microsoft Corporation Audio and video thumbnails
US8301669B2 (en) * 2007-01-31 2012-10-30 Hewlett-Packard Development Company, L.P. Concurrent presentation of video segments enabling rapid video file comprehension
US8238719B2 (en) 2007-05-08 2012-08-07 Cyberlink Corp. Method for processing a sports video and apparatus thereof
US8224087B2 (en) * 2007-07-16 2012-07-17 Michael Bronstein Method and apparatus for video digest generation
CN100559376C (zh) * 2008-06-30 2009-11-11 腾讯科技(深圳)有限公司 生成视频摘要的方法、系统及设备
CN101887439B (zh) * 2009-05-13 2014-04-02 富士通株式会社 生成视频摘要的方法、装置、包含该装置的图像处理系统
US8484313B2 (en) * 2011-05-25 2013-07-09 Google Inc. Using a closed caption stream for device metadata
CN102663015B (zh) * 2012-03-21 2015-05-06 上海大学 基于特征袋模型和监督学习的视频语义标注方法
KR101328199B1 (ko) * 2012-11-05 2013-11-13 넥스트리밍(주) 동영상 편집 방법 및 그 단말기 그리고 기록매체
CN103455625B (zh) * 2013-09-18 2016-07-06 武汉烽火众智数字技术有限责任公司 一种用于视频摘要的目标快速重排列方法
US9838734B2 (en) * 2013-12-17 2017-12-05 Echostar Technologies L.L.C. Systems and methods for customized preview videos
CN103686453A (zh) * 2013-12-23 2014-03-26 苏州千视通信科技有限公司 通过划分区域并设置不同粒度来提高视频摘要精度的方法
WO2018051307A1 (en) * 2016-09-19 2018-03-22 Prockopee Holdings Pte Ltd Frameworks and methodologies configured to enable support and delivery of a multimedia messaging interface, including automated content generation and classification, content search and prioritisation, and data analytics
US11363352B2 (en) 2017-09-29 2022-06-14 International Business Machines Corporation Video content relationship mapping
US10587919B2 (en) 2017-09-29 2020-03-10 International Business Machines Corporation Cognitive digital video filtering based on user preferences
CN110753269B (zh) * 2018-07-24 2022-05-03 Tcl科技集团股份有限公司 视频摘要生成方法、智能终端及存储介质
US11102523B2 (en) * 2019-03-19 2021-08-24 Rovi Guides, Inc. Systems and methods for selective audio segment compression for accelerated playback of media assets by service providers
US11039177B2 (en) 2019-03-19 2021-06-15 Rovi Guides, Inc. Systems and methods for varied audio segment compression for accelerated playback of media assets
US20200366973A1 (en) * 2019-05-14 2020-11-19 Pccw Vuclip (Singapore) Pte. Ltd. Automatic Video Preview Creation System

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07200734A (ja) * 1993-12-28 1995-08-04 Toshiba Corp 光学的文字読取装置
JPH07245745A (ja) * 1994-03-07 1995-09-19 Nippon Hoso Kyokai <Nhk> 文字情報データの音声提示方法
JPH08292965A (ja) * 1995-02-20 1996-11-05 Hitachi Ltd 映像支援システム
JPH10232884A (ja) * 1996-11-29 1998-09-02 Media Rinku Syst:Kk 映像ソフトウェア処理方法及び映像ソフトウェア処理装置
JPH11331761A (ja) * 1998-05-18 1999-11-30 Nippon Telegr & Teleph Corp <Ntt> 映像の自動要約方法およびその装置およびその方法を記録した記録媒体
JP2000175160A (ja) * 1998-12-02 2000-06-23 Nec Corp 文字放送受信装置
JP2002117043A (ja) * 2000-10-11 2002-04-19 Ricoh Co Ltd 文書検索装置、文書検索方法およびその方法を実施するためのプログラムを記録した記録媒体
WO2002041634A2 (en) * 2000-11-14 2002-05-23 Koninklijke Philips Electronics N.V. Summarization and/or indexing of programs

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5781687A (en) * 1993-05-27 1998-07-14 Studio Nemo, Inc. Script-based, real-time, video editor
JP2986345B2 (ja) * 1993-10-18 1999-12-06 インターナショナル・ビジネス・マシーンズ・コーポレイション 音声記録指標化装置及び方法
EP0967613B1 (en) * 1994-07-04 2004-09-15 Sony Corporation Apparatus for replaying a recording medium
US5703655A (en) * 1995-03-24 1997-12-30 U S West Technologies, Inc. Video programming retrieval using extracted closed caption data which has been partitioned and stored to facilitate a search and retrieval process
US5859821A (en) * 1995-11-02 1999-01-12 Sony Corporation Record medium with managed digest portions of programs, reproducing apparatus thereof, and reproducing method thereof
US6819863B2 (en) * 1998-01-13 2004-11-16 Koninklijke Philips Electronics N.V. System and method for locating program boundaries and commercial boundaries using audio categories
KR100612002B1 (ko) * 1999-10-27 2006-08-11 삼성전자주식회사 디지털 데이터 열/정보를 복원하기 위한 부가 정보를 저장하는 기록 매체, 기록 방법 및 복원 방법
US6505153B1 (en) 2000-05-22 2003-01-07 Compaq Information Technologies Group, L.P. Efficient method for producing off-line closed captions
US6798912B2 (en) 2000-12-18 2004-09-28 Koninklijke Philips Electronics N.V. Apparatus and method of program classification based on syntax of transcript information
US6922809B2 (en) 2001-01-25 2005-07-26 International Business Machines Corporation Method and apparatus providing capitalization recovery for text
US7046914B2 (en) * 2001-05-01 2006-05-16 Koninklijke Philips Electronics N.V. Automatic content analysis and representation of multimedia presentations
DE60229632D1 (de) * 2001-05-15 2008-12-11 Koninkl Philips Electronics Nv Untertitelerkennung in anzeigbaren Bildbereich eines Videosignals
US7339992B2 (en) * 2001-12-06 2008-03-04 The Trustees Of Columbia University In The City Of New York System and method for extracting text captions from video and generating video summaries
US7360234B2 (en) * 2002-07-02 2008-04-15 Caption Tv, Inc. System, method, and computer program product for selective filtering of objectionable content from a program

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07200734A (ja) * 1993-12-28 1995-08-04 Toshiba Corp 光学的文字読取装置
JPH07245745A (ja) * 1994-03-07 1995-09-19 Nippon Hoso Kyokai <Nhk> 文字情報データの音声提示方法
JPH08292965A (ja) * 1995-02-20 1996-11-05 Hitachi Ltd 映像支援システム
JPH10232884A (ja) * 1996-11-29 1998-09-02 Media Rinku Syst:Kk 映像ソフトウェア処理方法及び映像ソフトウェア処理装置
JPH11331761A (ja) * 1998-05-18 1999-11-30 Nippon Telegr & Teleph Corp <Ntt> 映像の自動要約方法およびその装置およびその方法を記録した記録媒体
JP2000175160A (ja) * 1998-12-02 2000-06-23 Nec Corp 文字放送受信装置
JP2002117043A (ja) * 2000-10-11 2002-04-19 Ricoh Co Ltd 文書検索装置、文書検索方法およびその方法を実施するためのプログラムを記録した記録媒体
WO2002041634A2 (en) * 2000-11-14 2002-05-23 Koninklijke Philips Electronics N.V. Summarization and/or indexing of programs

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014123898A (ja) * 2012-12-21 2014-07-03 Toshiba Corp 電子機器及び再生制御方法

Also Published As

Publication number Publication date
JP4630869B2 (ja) 2011-02-09
US20060239644A1 (en) 2006-10-26
CN1836287B (zh) 2012-03-21
US7894709B2 (en) 2011-02-22
CN1836287A (zh) 2006-09-20
EP1658612A1 (en) 2006-05-24
WO2005017899A1 (en) 2005-02-24
KR101058054B1 (ko) 2011-08-19
KR20060064639A (ko) 2006-06-13

Similar Documents

Publication Publication Date Title
JP4630869B2 (ja) 映像要約方法
KR101115701B1 (ko) 음성 인식 기술을 이용하여 생성된 메타데이터로 영상 콘텐츠에 주석을 달기 위한 방법 및 장치
JP3729920B2 (ja) 情報記録媒体並びにその記録装置及び再生装置
CN101777371B (zh) 再现信息存储介质上存储的av数据的再现装置
TW200533193A (en) Apparatus and method for reproducing summary
US20090196569A1 (en) Video trailer
JP2006211311A (ja) ダイジェスト映像生成装置
JP5079817B2 (ja) サマリ及びレポートを既に含んでいるオーディオビジュアル文書について新たなサマリを作成する方法及び該方法を使用する受信機
JP4735413B2 (ja) コンテンツ再生装置およびコンテンツ再生方法
JP2007267259A (ja) 画像処理装置およびファイル再生方法
JPH09259507A (ja) 情報再生装置
JP2007288300A (ja) 映像音声再生装置
JP4256401B2 (ja) 映像情報処理装置およびデジタル情報記録媒体、映像情報処理方法、映像情報処理プログラム
JP2006197347A (ja) 記録装置
KR20040005111A (ko) 지능형 pvr 시스템 및 그 운영방법
JP4230402B2 (ja) サムネイル画像抽出方法、装置、プログラム
JP2006332765A (ja) コンテンツ検索・再生方法、コンテンツ検索・再生装置、並びにプログラムおよび記録媒体
JP4380388B2 (ja) 編集方法、記録再生装置、プログラムおよび記録媒体
JP2003224810A (ja) 音声/映像データ記録再生装置および方法、音声/映像データ記録再生装置および方法により記録が行われた記録媒体、音声/映像データ再生装置、音声/映像データ記録再生システムおよび方法、音声/映像データ記録再生システムおよび方法により記録が行われた記録媒体、ならびにデータ構造体
JP2007048379A (ja) プログラムの再生方法
JPH11317058A (ja) 再生装置及び記録再生装置
WO2004047109A1 (en) Video abstracting
JP2009239695A (ja) コンテンツ再生装置
JP2009199678A (ja) 情報処理置および方法、並びにプログラム
JP3376370B2 (ja) 光ディスクと光ディスク記録装置と光ディスク再生装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070801

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081216

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090227

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090604

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100202

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100518

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100916

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100930

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101019

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101115

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131119

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees