JP2007214729A - 情報処理装置および方法、並びにプログラム - Google Patents

情報処理装置および方法、並びにプログラム Download PDF

Info

Publication number
JP2007214729A
JP2007214729A JP2006030482A JP2006030482A JP2007214729A JP 2007214729 A JP2007214729 A JP 2007214729A JP 2006030482 A JP2006030482 A JP 2006030482A JP 2006030482 A JP2006030482 A JP 2006030482A JP 2007214729 A JP2007214729 A JP 2007214729A
Authority
JP
Japan
Prior art keywords
similarity
keywords
topic
content
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006030482A
Other languages
English (en)
Other versions
JP4635891B2 (ja
Inventor
Shunji Yoshimura
俊司 吉村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006030482A priority Critical patent/JP4635891B2/ja
Priority to US11/671,370 priority patent/US7769761B2/en
Publication of JP2007214729A publication Critical patent/JP2007214729A/ja
Application granted granted Critical
Publication of JP4635891B2 publication Critical patent/JP4635891B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/912Applications of a database
    • Y10S707/913Multimedia
    • Y10S707/914Video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】コンテンツの話題の転換点の位置を確実に検出するための基準となるキーワードの類似度を求めることができるようにする。
【解決手段】処理対象のコンテンツにはクローズドキャプションデータ(テキストデータ)が含まれており、このテキストデータからキーワードの時系列が抽出される。キーワードの時系列が抽出されたとき、時間軸上で隣り合う位置に所定の範囲のキーワードを囲む検出窓が設定され、検出窓に含まれるキーワード全体の類似度が、時間軸上で隣り合う位置に設定された検出窓同士を対象として算出される。算出された類似度が、閾値となる所定の類似度より低い検出窓の境界点がコンテンツの話題の転換点として検出される。本発明は、テレビジョン番組や映画などの動画コンテンツを扱う装置に適用することができる。
【選択図】図2

Description

本発明は、情報処理装置および方法、並びにプログラムに関し、特に、コンテンツの話題の転換点の位置を確実に検出するための基準となるキーワードの類似度を求めることができるようにした情報処理装置および方法、並びにプログラムに関する。
従来より、テレビジョン番組などのコンテンツの話題の転換点を検出する技術が各種提案されている。コンテンツの話題の転換点の位置にはそのことを表す情報が付加され、例えば、コンテンツの再生時のチャプタとして用いられる。
特許文献1には、話題転換語のリストを保持しておき、字幕情報の文頭の語がリストに登録されている話題転換語と同じ語である場合、その字幕情報の表示位置を話題の転換位置として検出する技術が開示されている。
特開平11−234611号公報
特許文献1に開示されているような技術を用いる場合、当然、話題転換語のリストをあらかじめ用意しておく必要がある。
また、話題が転換する位置であるにも関わらず、そのとき表示される字幕情報の先頭に話題転換語がない場合、話題の転換位置であることを検出することができず、検出の確実性を欠く。
本発明はこのような状況に鑑みてなされたものであり、コンテンツの話題の転換点の位置を確実に検出するための基準となるキーワードの類似度を求めることができるようにするものである。
本発明の一側面の情報処理装置は、画像の表示にあわせて表示される文字列からキーワードの時系列を抽出する抽出手段と、前記抽出手段により抽出された時系列を構成するキーワードのうち、時間軸上で隣り合う所定の範囲に含まれるキーワードの類似度を算出する類似度算出手段とを備える。
前記類似度算出手段により算出された前記類似度に基づいて、含まれるキーワードの類似度が閾値となる類似度より低い前記所定の範囲の境界点を、前記画像の表示にあわせて前記文字列を表示させるコンテンツの話題の転換点として検出する検出手段をさらに設けることができる。
前記文字列はコンテンツの再生時に画面上に表示される文字列であるようにすることができる。
前記類似度算出手段により算出された前記類似度が所定の類似度より高いコンテンツの部分を内容の盛り上がりの部分として検出する検出手段をさらに設けることができる。
本発明の一側面の情報処理方法またはプログラムは、画像の表示にあわせて表示される文字列からキーワードの時系列を抽出し、抽出された時系列を構成するキーワードのうち、時間軸上で隣り合う所定の範囲に含まれるキーワードの類似度を算出するステップを含む。
本発明の一側面においては、画像の表示にあわせて表示される文字列からキーワードの時系列が抽出され、抽出された時系列を構成するキーワードのうち、時間軸上で隣り合う所定の範囲に含まれるキーワードの類似度が算出される。
本発明の一側面によれば、コンテンツの話題の転換点の位置を確実に検出するための基準となるキーワードの類似度を求めることができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外には対応しないものであることを意味するものでもない。
本発明の一側面の情報処理装置(例えば、図1の情報処理装置1)は、画像の表示にあわせて表示される文字列からキーワードの時系列を抽出する抽出手段(例えば、図5のキーワード抽出部32)と、前記抽出手段により抽出された時系列を構成するキーワードのうち、時間軸上で隣り合う所定の範囲に含まれるキーワードの類似度を算出する類似度算出手段(例えば、図5の類似度算出部34)とを備える。
この情報処理装置には、前記類似度算出手段により算出された前記類似度に基づいて、含まれるキーワードの類似度が閾値となる類似度より低い前記所定の範囲の境界点を、前記画像の表示にあわせて前記文字列を表示させるコンテンツの話題の転換点として検出する検出手段(例えば、図5の転換点検出部35)をさらに設けることができる。
また、情報処理装置には、前記類似度算出手段により算出された前記類似度が所定の類似度より高いコンテンツの部分を内容の盛り上がりの部分として検出する検出手段(例えば、図7の属性情報生成部112)をさらに設けることができる。
本発明の一側面の情報処理方法またはプログラムは、画像の表示にあわせて表示される文字列からキーワードの時系列を抽出し、抽出された時系列を構成するキーワードのうち、時間軸上で隣り合う所定の範囲に含まれるキーワードの類似度を算出するステップ(例えば、図6のステップS4)を含む。
以下、本発明の実施の形態について図を参照して説明する。
図1は、本発明の一実施形態に係る情報処理装置を示すブロック図である。
情報処理装置1は、テレビジョン番組や映画などのコンテンツを入力とし、コンテンツを再生したときに現れる話題(内容)の転換点を検出し、検出した転換点を表す情報である転換点情報を外部に出力する装置である。
情報処理装置1に入力されるコンテンツには、コンテンツの再生時にその画面上に画像の表示にあわせて字幕を表示するために用いられるクローズドキャプションデータなどのテキストデータも画像や音声のデータとともに含まれており、情報処理装置1においては、そのテキストデータを用いて話題の転換点が検出される。
後述するように、情報処理装置1から出力された転換点情報は、コンテンツに属性情報を付加するために用いられる。例えば、検出された転換点の位置を表す時刻情報(チャプタの情報)などが属性情報として生成され、コンテンツに付加される。
図2は、話題の転換点の検出の例を示す図である。ここでは、処理対象のコンテンツがニュース番組である場合について説明する。
図2の例においては、ニュース番組の再生時、時刻t1からは話題1として「山田被告に無罪判決」に関するニュースが再生され、時刻t2からは話題2として「災害被災者の新たな救済策まとまる」に関するニュースが再生されるものとされている。
したがって、このニュース番組の話題の転換点は時刻t2の位置となる。
コンテンツにはクローズドキャプションデータ(図中「CC」)(テキストデータ)が含まれており、時刻t1から開始される話題1に関するニュースの再生時、その再生画面には、話題1の内容を表す画像である画像P1乃至Pmの表示にあわせて、図2の時刻t1乃至t2の範囲内のテキストデータに基づいて、例えば、話題1についてキャスターが話す内容と同じ内容の字幕が順次表示される。
また、時刻t2から開始される話題2に関するニュースの再生時、その再生画面には、話題2の内容を表す画像である画像p1乃至pnの表示にあわせて、図2の時刻t2乃至t3の範囲内のテキストデータに基づいて、例えば、話題2についてキャスターが話す内容と同じ内容の字幕が順次表示される。
処理対象のコンテンツがこのようなものである場合、情報処理装置1においては、図2の白抜き矢印の先に示されるように、テキストデータからキーワードの時系列(図中「KW列」)が抽出される。
具体的には、話題1に関するニュースの冒頭で、「まずは山田被告に無罪判決のニュースです。」の字幕がテキストデータに基づいて表示される場合、そのテキストデータからは「山田」、「被告」、「無罪」、「判決」、「ニュース」などのキーワードの時系列が抽出される。同様に、話題2に関するニュースの冒頭で、「次は災害被災者の新たな救済策がまとまったニュースです。」の字幕がテキストデータに基づいて表示される場合、そのテキストデータからは「災害」、「被災者」、「救済」、「ニュース」などのキーワードの時系列が抽出される。
キーワードの時系列が抽出されたとき、情報処理装置1においては、時間軸上で隣り合う所定の範囲のキーワードをそれぞれ囲む検出窓が設定される。例えば、1つの検出窓が10個のキーワードの範囲を囲むものである場合、キーワードの時系列全体がキーワード1乃至NのN個のキーワードから構成されるものとすると、キーワード1乃至10を囲む検出窓Aと、その検出窓Aと時間軸上で隣り合う位置であるキーワード11乃至20を囲む検出窓として検出窓aが設定される。
同様に、キーワード2乃至11を囲む検出窓Bと、その検出窓Bと時間軸上で隣り合う位置に設定される検出窓であるキーワード12乃至21を囲む検出窓b、キーワード3乃至12を囲む検出窓Cと、その検出窓Cと時間軸上で隣り合う位置に設定される検出窓であるキーワード13乃至22を囲む検出窓c、・・・といったように、キーワードを1つずつずらして所定の範囲を囲む検出窓が隣り合う位置に設定される。
検出窓が設定されたとき、情報処理装置1においては、検出窓に含まれるキーワード全体の類似度が、時間軸上で隣り合う位置に設定された検出窓同士を対象として算出される。後述するように、互いの検出窓に含まれる同じキーワードの数などに基づいて類似度が算出される。
情報処理装置1においては、このようにして算出された類似度に基づいて話題の転換点が検出される。例えば、算出された類似度が、閾値となる所定の類似度より低い検出窓の境界点がコンテンツ(図2の例の場合、ニュース番組)の話題の転換点とされる。
図2の例においては、時間軸上の隣り合う位置に設定された検出窓W1に含まれるキーワードと検出窓W2に含まれるキーワードの類似度は高く、検出窓W3に含まれるキーワードと検出窓W4に含まれるキーワードの類似度は低い。また、検出窓W5に含まれるキーワードと検出窓W6に含まれるキーワードの類似度は高い。
設定された検出窓が、互いに、同じ話題に関するテキストデータから抽出されたキーワードを囲むものである場合、元になる話題が同じであるから、それぞれの検出窓には同じようなキーワードが含まれ、このとき、時間軸上の隣り合う位置に設定された検出窓に含まれるキーワードの類似度は高くなる。
図2の例においては、検出窓W1と検出窓W2は、互いに、話題1に関するテキストデータから抽出されたキーワードを囲むものであり、同様に、検出窓W5と検出窓W6は、互いに、話題2に関するテキストデータから抽出されたキーワードを囲むものである。
一方、設定された検出窓が、互いに、異なる話題に関するテキストデータから抽出されたキーワードを囲むものである場合、すなわち、時間軸上で先の位置に設定された検出窓が第1の話題に関するテキストデータから抽出されたキーワードを囲むものであり、その検出窓と時間軸上で後の位置に設定された検出窓が第2の話題に関するテキストデータから抽出されたキーワードを囲むものである場合、元になる話題が異なるから、それぞれの検出窓には異なるキーワードが多く含まれ、このとき、時間軸上の隣り合う位置に設定された検出窓に含まれるキーワードの類似度は低くなる。
図2の例においては、検出窓W3は話題1に関するテキストデータから抽出されたキーワードを囲むものであり、検出窓W4は話題2に関するテキストデータから抽出されたキーワードを囲むものである。すなわち、検出窓W3と検出窓W4は、互いに、異なる話題に関するテキストデータから抽出されたキーワードを囲むものである。
このように、情報処理装置1においては、コンテンツの話題がそのまま反映されていると考えられるテキストデータを用いて、コンテンツのそれぞれの部分の類似度が求められる。また、求められた類似度に基づいて、コンテンツの話題の転換点が検出される。
これにより、コンテンツの再生時に画面上に表示される画像を解析することによって話題の転換点を検出したりする場合に較べて、容易に、話題の転換点を検出することができる。
図3は、この手法の効果を確認するため、目視によって人により確認された話題の転換点と、上述したようにして求められた類似度の算出結果とを示した図である。
図3の例においては、横軸は文番号(字幕として表示されるテキストデータを文ごとに括り、順に番号を振ったもの)を表し、縦軸は類似度(ここでは後述するベクトル空間モデルに基づく余弦尺度を使用)を表す。図3の算出結果のグラフを構成する1つのプロットの縦軸方向の値は、その位置に対応する番号の文から抽出されたキーワードを囲むものとして設定された、時間軸上の隣り合う位置に設定された検出窓に含まれるキーワードの余弦尺度を表し、余弦尺度の値が高いほど類似度が高いことを表す。
図3に示されるように、字幕として表示されるテキストデータから抽出されたキーワードの類似度の低い位置と、目視によって確認された話題の転換点の位置はほぼ一致しており、この手法の効果が高いことがわかる。
以上のようにして話題の転換点を検出する情報処理装置1の処理についてはフローチャートを参照して後述する。
図4は、図1の情報処理装置1のハードウエア構成例を示すブロック図である。
CPU(Central Processing Unit)11は、ROM(Read Only Memory)12、または記憶部18に記憶されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)13には、CPU11が実行するプログラムやデータなどが適宜記憶される。これらのCPU11、ROM12、およびRAM13は、バス14により相互に接続されている。
CPU11にはまた、バス14を介して入出力インターフェース15が接続されている。入出力インターフェース15には、コンテンツの入力を受ける入力部16、転換点情報を出力する出力部17が接続されている。
入出力インターフェース15に接続されている記憶部18は例えばハードディスクからなり、CPU11が実行するプログラムや各種のデータを記憶する。通信部19は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
入出力インターフェース15に接続されているドライブ20は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア21が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部18に転送され、記憶される。
図5は、情報処理装置1の機能構成例を示すブロック図である。図5に示す機能部のうちの少なくとも一部は、図4のCPU11により所定のプログラムが実行されることによって実現される。
情報処理装置1においては、例えば、テキスト抽出部31、キーワード抽出部32、検出窓設定部33、類似度算出部34、および転換点検出部35が実現される。
テキスト抽出部31は、供給されたコンテンツからテキストデータ(字幕として表示される文字列)を抽出し、抽出したテキストデータをキーワード抽出部32に出力する。
キーワード抽出部32はたとえば、テキスト抽出部31から供給されたテキストデータを対象として形態素解析を行い、形態素解析の結果に基づいて名詞や動詞など特定の品詞の形態素だけを抽出する。キーワード抽出部32は、抽出した形態素の列をキーワードの列(時系列)とし、キーワードの時系列を検出窓設定部33と類似度算出部34に出力する。
検出窓設定部33は、キーワードを1つずつずらして時間軸上で隣り合う所定の範囲のキーワードを囲む検出窓を設定し、設定した検出窓の情報(それぞれの検出窓の範囲の情報など)を類似度算出部34に出力する。
検出窓は、上述したように10個のキーワードを囲むように所定の数毎に設定されるだけでなく、例えば、字幕として表示される1文から抽出されたキーワードをひとまとまりのものとして囲むように文毎に設定されたり、あるいは、コンテンツの再生時に10秒の間に字幕として表示される文から抽出されたキーワードをひとまとまりのものとして囲むように時間毎に設定されるようにすることも可能である。
検出窓をどのように設定するのかをユーザが選択することができるようにしてもよいし、検出窓の粒度をユーザが選択することができるようにしてもよい(上述した例の場合、20個のキーワードを囲むように検出窓を設定したり、50個のキーワードを囲むように検出窓を設定したりすることができるようにしてもよい)。また、番組のジャンルなどに応じて適切な検出窓の種類、粒度をあらかじめ求めておき、それらを選択肢として提示したり、EPG(電子番組ガイド)のジャンル情報などを基に自動的に検出窓が設定されるようにしてもよい。さらに、検出窓の粒度を変えることによって検出できる類似度の変化の細かさが変わるため、後述する話題集中度の検出の際に粒度を適切な設定に変更してもよい。
類似度算出部34は、検出窓設定部33から供給された情報に基づいて、キーワード抽出部32から供給されたキーワードの時系列に設定された検出窓に含まれるキーワード同士の類似度を算出し、算出した類似度の情報を転換点検出部35に出力する。
類似度算出部34においては、上述したように同じキーワードの数に基づいてではなく、例えば、ベクトル空間モデルなどによっても類似度が求められる。すなわち、時間軸上の隣り合う位置に設定されたそれぞれの検出窓に含まれるキーワードが、高次元のベクトル空間上にユニークなキーワードそれぞれの出現頻度を要素とするベクトル表現によって配置され、一方の検出窓に含まれるキーワードを表すベクトルと他方の検出窓に含まれるキーワードを表すベクトルの相関が内積、余弦尺度、ユークリッド距離などによって算出され、その結果が類似度として求められる。
なお、類似度の算出方法は、このようなものに限定されるものではない。また、キーワードの品詞などに応じて適宜重み付けが行われるようにしてもよい。
転換点検出部35は、類似度算出部34から供給された情報に基づいて、閾値となる所定の類似度より低い類似度が算出された検出窓の境界点をコンテンツの話題の転換点として検出し、検出した転換点の位置(時刻)を表す転換点情報を出力する。
ここで、図6のフローチャートを参照して、以上のようにして話題の転換点を検出する情報処理装置1の処理について説明する。
ステップS1において、テキスト抽出部31は、供給されたコンテンツからテキストデータを抽出し、抽出したテキストデータをキーワード抽出部32に出力する。
ステップS2において、キーワード抽出部32は、テキスト抽出部31から供給されたテキストデータを対象として形態素解析を行い、形態素解析の結果に基づいて抽出したキーワードの時系列を検出窓設定部33と類似度算出部34に出力する。
ステップS3において、検出窓設定部33は、1つの検出窓に含まれるキーワードが数を基準に決定される場合、キーワードを1つずつずらして時間軸上で隣り合う位置に所定の範囲のキーワードを囲む検出窓を設定し、設定した検出窓の情報を類似度算出部34に出力する。1つの検出窓に含まれるキーワードが文を基準に決定される場合(上述の文毎の場合)、検出窓設定部33は、字幕として表示される文を1つずつずらしてそれぞれの文から抽出されたキーワードを囲む検出窓を設定する。また、1つの検出窓に含まれるキーワードが時間を基準に決定される場合(上述の時間毎の場合)、検出窓設定部33は、時間を順次ずらしてそれぞれの時間に字幕として表示される文から抽出されたキーワードを囲む検出窓を設定する。
ステップS4において、類似度算出部34は、検出窓設定部33から供給された情報に基づいて、キーワード抽出部32から供給されたキーワードの時系列に設定された検出窓に含まれるキーワードの類似度を算出し、算出した類似度の情報を転換点検出部35に出力する。
ステップS5において、転換点検出部35は、類似度算出部34から供給された情報に基づいて、閾値となる所定の類似度より低い類似度が算出された検出窓の境界点をコンテンツの話題の転換点として検出し、検出した転換点の位置を表す転換点情報を出力する。
以上の処理により、情報処理装置1は、コンテンツの話題がそのまま反映されていると考えられるテキストデータを用いて、コンテンツのそれぞれの部分の類似度を求めることができる。また、情報処理装置1は、求めた類似度に基づいて、コンテンツの話題の転換点を検出することができる。
次に、以上のようにして生成された転換点情報に基づく属性情報の生成について説明する。生成された属性情報はコンテンツに付加され、コンテンツの再生時などに用いられる。
図7は、情報処理装置101の機能構成例を示すブロック図である。
情報処理装置101は上述した情報処理装置1と同様に図4のハードウエア構成を有している。情報処理装置101のCPU11により所定のプログラムが実行されることによって、図7に示されるように情報処理部111と属性情報生成部112が情報処理装置101においては実現される。
情報処理部111は、テレビジョン番組や映画などのコンテンツを入力とし、コンテンツを再生したときに現れる話題の転換点を検出し、検出した転換点を表す情報である転換点情報を属性情報生成部112に出力する。すなわち、情報処理部111は、図5に示されるものと同じ構成を有しており、上述したようにして転換点を検出する。
属性情報生成部112は、情報処理部111から供給された転換点情報に基づいて属性情報を生成し、生成した属性情報を外部から入力されたコンテンツに付加する。属性情報生成部112は、例えば、話題の転換点として検出された位置にチャプタを設定し、そのチャプタの位置を表す情報を属性情報として生成する。
また、属性情報生成部112は、それぞれの話題の区間において字幕として表示されるテキストデータに基づいて情報処理部111により抽出されたキーワードの中から、それぞれの話題を代表するキーワードを選択し、選択したキーワード(重要語)を表す情報を属性情報として生成する。例えば、それぞれの話題の区間において字幕として表示されるテキストデータから抽出されたキーワードの中に最も多く含まれるキーワードが重要語として選択される。
ここで、図8のフローチャートを参照して、図7の情報処理装置101(属性情報生成部112)の属性情報生成処理について説明する。この処理は、例えば、図6を参照して説明した処理が情報処理部111によって行われ、転換点情報が属性情報生成部112に供給されたときに開始される。
ステップS11において、属性情報生成部112は、情報処理部111から供給された転換点情報に基づいて、話題の転換点として検出されたコンテンツの位置にチャプタを設定し、そのチャプタの位置を表す属性情報をコンテンツに付加して外部に出力する。
これにより、コンテンツの再生装置は、属性情報により表されるチャプタの位置を基準として再生位置の頭出しをしたり、チャプタが設定されている位置の画像をサムネイル表示した画面を表示したりすることができる。
次に、図9のフローチャートを参照して、図7の情報処理装置101の他の属性情報生成処理について説明する。
この処理も、例えば、図6を参照して説明した処理が情報処理部111によって行われ、転換点情報が属性情報生成部112に供給されたときに開始される。情報処理部111からは、キーワードの時系列も属性情報生成部112に対して出力される。
ステップS21において、属性情報生成部112は、情報処理部111から供給された転換点情報に基づいて、転換点で区切られるそれぞれの話題の区間のキーワードの中から、話題を代表するキーワードを重要語として選択する。属性情報生成部112は、重要語を表す属性情報をコンテンツに付加して外部に出力する。
このようにして選択された重要語は、例えば、検出されたそれぞれの話題の区間のタイトルとして設定されたり、重要語を含む文字列が字幕として表示される区間だけを要約して再生したりするときのために用いられる。重要語に基づいてタイトルを設定したり、要約した再生区間を表す情報を生成したりすることが属性情報生成部112により行われるようにしてもよい。
なお、以上においては、検出窓に含まれるキーワードから求められた類似度が、話題の転換点の検出に用いられるものとしたが、他の用途に用いることも可能である。
類似度が高いということは、同じようなキーワードを含む文字列が連続して字幕として表示されているということであるから、類似度が高いコンテンツの部分は、話題が特定の内容に集中している部分であると考えられる。したがって、類似度は、話題の集中の程度を表すいわば話題集中度としても利用することができる。
話題集中度を利用することによって、例えば、検出された転換点で区切られたそれぞれの話題の話題集中度を比較し、1つのコンテンツ内(番組内)で、話題が最も集中している部分、すなわち、話題の観点からのコンテンツの盛り上がり部分を見つけることができる。
また、前述のように、検出窓の粒度を適切に設定すると、検出された転換点で区切られた1つの話題の区間における話題集中度の遷移から、1つの話題の中のどの部分が特に話題が集中している部分であるのかを見つけることができる。
図10に示されるように、ニュース番組などにおいては、一般的に、ニュースの概要を報じる冒頭の部分(図10の「事件の内容」の部分)では集中度が高く、概要に続いて報じられるインタビューや解説の部分(図10の「近所の人の話など」の部分)では集中度が低くなる。
図11は、クイズ番組を対象として話題の転換点の検出を行ったときに求められた類似度の例を示す図である。
図11に示されるように、上述したようにして検出された話題の転換点によって、クイズ番組を問題毎(話題毎)に区切ることができる。図11の例においては、類似度に基づいて、クイズ番組が問題Q1乃至Q5のそれぞれの区間に区切られている。
図11の類似度の遷移から分かるように、最大の話題集中度(類似度)が算出された問題Q5が、このクイズ番組内で最も盛り上がった問題であると判断することができる。このようにして判断された盛り上がりの部分だけがダイジェスト再生されるようにしてもよい。
また、話題集中度をもコンテンツの1つの特徴とし、画像や音声に基づいて得られた特徴との組み合わせによって盛り上がり部分が検出されるようにしてもよい。ここで、例えば、画像に基づいて得られた特徴とはシーンチェンジの数が多いことなどであり、音声に基づいて得られた特徴とは音量が大きいことなどである。
さらに、以上においては、キーワードを抽出する対象となるテキストデータがクローズドキャプションデータである場合について説明したが、オープンキャプションによって画面上に表示される文字列を認識して得られたテキストデータからキーワードが抽出され、抽出されたテキストデータが、クローズドキャプションデータのときと同様にして類似度の算出や転換点の検出に用いられるようにしてもよい。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図4に示すように、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む)、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア21、または、プログラムが一時的もしくは永続的に格納されるROM12や、記憶部18を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部19を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
なお、本明細書において、プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
本発明の一実施形態に係る情報処理装置を示すブロック図である。 話題の転換点の検出の例を示す図である。 人によって確認された話題の転換点と類似度の算出結果を示す図である。 情報処理装置のハードウエア構成例を示すブロック図である。 情報処理装置の機能構成例を示すブロック図である。 情報処理装置の転換点検出処理について説明するフローチャートである。 情報処理装置の機能構成例を示すブロック図である。 図7の情報処理装置の属性情報生成処理について説明するフローチャートである。 図7の情報処理装置の属性情報生成処理について説明するフローチャートである。 類似度の算出結果の例を示す図である。 類似度の算出結果の他の例を示す図である。
符号の説明
1 情報処理装置, 31 テキスト抽出部, 32 キーワード抽出部, 33 検出窓設定部, 34 類似度算出部, 35 転換点検出部, 101 情報処理装置, 111 情報処理部, 112 属性情報生成部

Claims (6)

  1. 画像の表示にあわせて表示される文字列からキーワードの時系列を抽出する抽出手段と、
    前記抽出手段により抽出された時系列を構成するキーワードのうち、時間軸上で隣り合う所定の範囲に含まれるキーワードの類似度を算出する類似度算出手段と
    を備える情報処理装置。
  2. 前記類似度算出手段により算出された前記類似度に基づいて、含まれるキーワードの類似度が閾値となる類似度より低い前記所定の範囲の境界点を、前記画像の表示にあわせて前記文字列を表示させるコンテンツの話題の転換点として検出する検出手段をさらに備える
    請求項1に記載の情報処理装置。
  3. 前記文字列はコンテンツの再生時に画面上に表示される文字列である
    請求項1に記載の情報処理装置。
  4. 前記類似度算出手段により算出された前記類似度が所定の類似度より高いコンテンツの部分を内容の盛り上がりの部分として検出する検出手段をさらに備える
    請求項1に記載の情報処理装置。
  5. 画像の表示にあわせて表示される文字列からキーワードの時系列を抽出し、
    抽出された時系列を構成するキーワードのうち、時間軸上で隣り合う所定の範囲に含まれるキーワードの類似度を算出する
    ステップを含む情報処理方法。
  6. 画像の表示にあわせて表示される文字列からキーワードの時系列を抽出し、
    抽出された時系列を構成するキーワードのうち、時間軸上で隣り合う所定の範囲に含まれるキーワードの類似度を算出する
    ステップを含む処理をコンピュータに実行させるプログラム。
JP2006030482A 2006-02-08 2006-02-08 情報処理装置および方法、並びにプログラム Expired - Fee Related JP4635891B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006030482A JP4635891B2 (ja) 2006-02-08 2006-02-08 情報処理装置および方法、並びにプログラム
US11/671,370 US7769761B2 (en) 2006-02-08 2007-02-05 Information processing apparatus, method, and program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006030482A JP4635891B2 (ja) 2006-02-08 2006-02-08 情報処理装置および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2007214729A true JP2007214729A (ja) 2007-08-23
JP4635891B2 JP4635891B2 (ja) 2011-02-23

Family

ID=38429582

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006030482A Expired - Fee Related JP4635891B2 (ja) 2006-02-08 2006-02-08 情報処理装置および方法、並びにプログラム

Country Status (2)

Country Link
US (1) US7769761B2 (ja)
JP (1) JP4635891B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009212858A (ja) * 2008-03-04 2009-09-17 Sharp Corp コンテンツ処理装置、コンテンツ処理方法、コンテンツ再生装置、プログラム、および記録媒体

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8200688B2 (en) * 2006-03-07 2012-06-12 Samsung Electronics Co., Ltd. Method and system for facilitating information searching on electronic devices
US7801901B2 (en) * 2006-09-15 2010-09-21 Microsoft Corporation Tracking storylines around a query
US20090055393A1 (en) * 2007-01-29 2009-02-26 Samsung Electronics Co., Ltd. Method and system for facilitating information searching on electronic devices based on metadata information
US9286385B2 (en) 2007-04-25 2016-03-15 Samsung Electronics Co., Ltd. Method and system for providing access to information of potential interest to a user
KR101392273B1 (ko) * 2008-01-07 2014-05-08 삼성전자주식회사 키워드 제공 방법 및 이를 적용한 영상기기
US8145648B2 (en) * 2008-09-03 2012-03-27 Samsung Electronics Co., Ltd. Semantic metadata creation for videos
US8713078B2 (en) 2009-08-13 2014-04-29 Samsung Electronics Co., Ltd. Method for building taxonomy of topics and categorizing videos
CN102141978A (zh) * 2010-02-02 2011-08-03 阿里巴巴集团控股有限公司 一种文本分类的方法及系统
US20120323900A1 (en) * 2010-02-23 2012-12-20 Patel Bankim A Method for processing auxilary information for topic generation
JP5444115B2 (ja) * 2010-05-14 2014-03-19 株式会社Nttドコモ データ検索装置、データ検索方法及びプログラム
US8423555B2 (en) 2010-07-09 2013-04-16 Comcast Cable Communications, Llc Automatic segmentation of video
US9760541B2 (en) * 2012-03-15 2017-09-12 Jason Richman Systems and methods for delivery techniques of contextualized services on mobile devices
CN110598046B (zh) * 2019-09-17 2021-03-02 腾讯科技(深圳)有限公司 一种基于人工智能的标题党识别方法和相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11234611A (ja) * 1998-02-12 1999-08-27 Nippon Telegr & Teleph Corp <Ntt> ビデオデッキ用インデックス信号自動生成方法およびその装置およびその方法を記録した記録媒体
JP2001034624A (ja) * 1999-07-19 2001-02-09 Fujitsu Ltd 文書要約装置およびその方法
JP2004157337A (ja) * 2002-11-06 2004-06-03 Nippon Telegr & Teleph Corp <Ntt> トピック境界決定方法及び装置及びトピック境界決定プログラム
JP2005167452A (ja) * 2003-12-01 2005-06-23 Nippon Telegr & Teleph Corp <Ntt> 映像シーン区間情報抽出方法,映像シーン区間情報抽出装置,映像シーン区間情報抽出プログラムおよびそのプログラムを記録した記録媒体

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6070133A (en) * 1997-07-21 2000-05-30 Battelle Memorial Institute Information retrieval system utilizing wavelet transform
US6363380B1 (en) * 1998-01-13 2002-03-26 U.S. Philips Corporation Multimedia computer system with story segmentation capability and operating program therefor including finite automation video parser
US6104989A (en) * 1998-07-29 2000-08-15 International Business Machines Corporation Real time detection of topical changes and topic identification via likelihood based methods
JP3879321B2 (ja) * 1998-12-17 2007-02-14 富士ゼロックス株式会社 文書要約装置、文書要約方法及び文書要約プログラムを記録した記録媒体
CA2519238A1 (en) * 2002-12-27 2004-07-22 Intellectual Property Bank Corp. Technique evaluating device, technique evaluating program, and technique evaluating method
JP4143017B2 (ja) * 2003-10-30 2008-09-03 株式会社東芝 記録装置及び記録方法
US20050096954A1 (en) * 2003-11-05 2005-05-05 Halligan R. M. Method and apparatus for the discovery of trade secrets, including the collection, compilation, correlation, integration, categorization and reporting of data about trade secrets
JP2005157494A (ja) * 2003-11-20 2005-06-16 Aruze Corp 会話制御装置及び会話制御方法
US20050278189A1 (en) * 2004-05-27 2005-12-15 Isense Technology, Inc. Process & methods for content adaptive learning
US7805446B2 (en) * 2004-10-12 2010-09-28 Ut-Battelle Llc Agent-based method for distributed clustering of textual information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11234611A (ja) * 1998-02-12 1999-08-27 Nippon Telegr & Teleph Corp <Ntt> ビデオデッキ用インデックス信号自動生成方法およびその装置およびその方法を記録した記録媒体
JP2001034624A (ja) * 1999-07-19 2001-02-09 Fujitsu Ltd 文書要約装置およびその方法
JP2004157337A (ja) * 2002-11-06 2004-06-03 Nippon Telegr & Teleph Corp <Ntt> トピック境界決定方法及び装置及びトピック境界決定プログラム
JP2005167452A (ja) * 2003-12-01 2005-06-23 Nippon Telegr & Teleph Corp <Ntt> 映像シーン区間情報抽出方法,映像シーン区間情報抽出装置,映像シーン区間情報抽出プログラムおよびそのプログラムを記録した記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009212858A (ja) * 2008-03-04 2009-09-17 Sharp Corp コンテンツ処理装置、コンテンツ処理方法、コンテンツ再生装置、プログラム、および記録媒体

Also Published As

Publication number Publication date
JP4635891B2 (ja) 2011-02-23
US20070198508A1 (en) 2007-08-23
US7769761B2 (en) 2010-08-03

Similar Documents

Publication Publication Date Title
JP4635891B2 (ja) 情報処理装置および方法、並びにプログラム
JP4920395B2 (ja) 動画要約自動作成装置、方法、及びコンピュータ・プログラム
US7698721B2 (en) Video viewing support system and method
US20080059526A1 (en) Playback apparatus, searching method, and program
JP2004533756A (ja) 自動コンテンツ分析及びマルチメデイア・プレゼンテーションの表示
JP2005504395A (ja) マルチリンガルトランスクリプションシステム
KR20080114786A (ko) 다수의 이미지들 요약의 자동 생성 방법 및 장치
JP2007150723A (ja) 映像視聴支援システムおよび方法
US20080066104A1 (en) Program providing method, program for program providing method, recording medium which records program for program providing method and program providing apparatus
JP2010161722A (ja) データ処理装置、データ処理方法、及び、プログラム
CN110796140B (zh) 一种字幕检测方法和装置
KR20060089922A (ko) 음성 인식을 이용한 데이터 추출 장치 및 방법
JP2006343941A (ja) コンテンツ検索・再生方法、装置、プログラム、及び記録媒体
JP2004289530A (ja) 記録再生装置
JP2010109852A (ja) 映像インデクシング方法、映像録画再生装置、及び映像再生装置
JP5051448B2 (ja) 情報処理装置および方法、並びにプログラム
JP2009043189A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2007165981A (ja) 情報処理装置およびその制御プログラム
JP2007519321A (ja) 視聴覚データストリームのマルチメディア要約を作成する方法及び回路
JP5132504B2 (ja) 情報記録再生装置及び情報記録再生方法
JP2008020767A (ja) 記録再生装置および方法、プログラム、並びに記録媒体
JP2005293174A (ja) テキストデータ編集装置、テキストデータ編集方法及びテキストデータ編集プログラム
KR100404322B1 (ko) 멀티모달 특징 기반의 뉴스 비디오 요약 방법
JP2008141621A (ja) 映像抽出装置及び映像抽出プログラム
JP2006332765A (ja) コンテンツ検索・再生方法、コンテンツ検索・再生装置、並びにプログラムおよび記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090120

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101008

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101026

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101108

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131203

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131203

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees