JP2008252322A - 要約提示装置及び要約提示方法 - Google Patents

Abstract

【課題】本発明の目的は、番組を視聴しながら、番組の見逃した部分についての簡潔な情報提示を行うことである。
【解決手段】表示装置(190)を用いてユーザが視聴する映像コンテンツを入力する手段(110)と、映像コンテンツから文字情報を抽出する手段(130)と、文字情報を記憶する手段(140)と、視聴するユーザの行動情報を入力する手段(120)と、行動情報に基づき、ユーザが視聴していない未視聴区間を検出する手段(150)と、未視聴区間を記憶する手段(160)と、行動情報から、ユーザが再生中の映像コンテンツの要約文を要求しているか否かを解析する手段(170)と、ユーザが要約文の生成を要求している場合には、記憶された文字情報から映像コンテンツの過去に表示された部分の要約文を生成する手段(180)と、要約文のうち、少なくとも未視聴区間に対応する部分を、表示装置(190)へ出力する要約提示装置。
【選択図】図１

Description

本発明は、映像情報を視聴中のユーザに対し、この映像情報から文字・音声による要約情報を生成・提示する要約提示装置に関する。

映像情報に対して、ユーザの興味や関心に適合した情報を要約として生成するため、ユーザからの情報入力に基づき要約を生成する技術が公開されている。この方法によれば、視聴者の発声に対する音声認識結果と、発声区間から一定時間遡ったところから抽出した文字列（ナレーション、テロップなど）との照合に基いて重要シーンを抽出して映像シーンの要約を生成する（特許文献１参照）。

また、映像情報に含まれる文字情報から要約を生成する技術としては、映像シーンの内容を説明する説明文の生成に関する方法が公開されている。この方法は、映像シーンから生成した説明文の前後の関係により順接、逆説、並列、添加、選択の中から接続関係を選択し、映像シーン全体の説明文を接続して出力する（特許文献２参照）。
特開２００５−３４１１３８公報（第３〜４頁、図１） 特開２００１−２７５０５８公報（第９〜１２頁、図６）

ところで、映像コンテンツを視聴している最中にそのコンテンツに関する要約情報が欲しくなる場合もあると考えられる。例えば、ＴＶ放送されている番組を途中から視聴した場合に、それまでの内容を簡単に知りたい場合が考えられる。

また、ＴＶ放送されている番組を視聴している時に別の用事により一時視聴を中止し、用事を終えて視聴を再開するときに、現在放送されている番組を視聴しながら、見逃した部分の情報を簡単に知りたい場合が考えられる。

このような場合は、ユーザが視聴しなかった部分の情報提供を中心とする要約情報の生成・提示を行うことが重要であり、また、映像コンテンツを視聴中のユーザに対する情報提示となるため文字や音声による簡潔な情報提示が必要になる。

しかし、従来の要約技術ではこれらの点を考慮した要約情報の生成・提示は行われていなかった。

本発明の目的は、現在再生されている番組を視聴しながら、その番組の見逃した部分についての簡潔な情報提示を行う要約提示装置を提供することである。

第１の発明は、表示装置を用いてユーザが視聴する映像コンテンツを入力する入力手段と、視聴している前記映像コンテンツから文字情報を抽出する抽出手段と、前記文字情報を記憶する第１の記憶手段と、前記映像コンテンツを視聴するユーザの行動情報を入力する入力手段と、前記行動情報に基づき、ユーザが前記映像コンテンツを視聴していない未視聴区間を検出する検出手段と、前記未視聴区間を記憶する第２の記憶手段と、前記行動情報から、前記ユーザが再生中の映像コンテンツの要約文を要求しているか否かを解析する解析手段と、前記ユーザが要約文の生成を要求している場合には、前記第１の記憶手段に記憶された文字情報から前記映像コンテンツの過去に表示された部分の要約文を生成する生成手段と、前記映像コンテンツの要約文のうち、少なくとも前記未視聴区間に対応する部分の要約文を、前記表示装置へ出力する出力手段と、を備える要約提示装置である。

第２の発明は、前記出力手段は、前記映像コンテンツが現在表示されている前記表示装置に、前記映像コンテンツの過去に表示された部分の要約文を出力することを特徴とする第１の発明記載の要約提示装置である。

第３の発明は、前記出力手段は、前記映像コンテンツの過去に表示された部分の要約文のうち、前記未視聴区間に対応する部分のみを出力することを特徴する第１の発明記載の要約提示装置である。

第４の発明は、前記出力手段は、前記映像コンテンツの過去に表示された部分の要約文全てを出力することを特徴とする第１の発明記載の要約提示装置である。

第５の発明は、表示装置を用いてユーザが視聴する映像コンテンツを入力し、視聴している前記映像コンテンツから文字情報を抽出し、前記文字情報を第１の記憶手段に記憶させ、前記映像コンテンツを視聴するユーザの行動情報を入力し、前記行動情報に基づき、ユーザが前記映像コンテンツを視聴していない未視聴区間を検出し、前記未視聴区間を第２の記憶手段に記憶させ、前記行動情報から、前記ユーザが再生中の映像コンテンツの要約文を要求しているか否かを解析し、前記ユーザが要約文の生成を要求している場合には、前記第１の記憶手段に記憶された文字情報から前記映像コンテンツの過去に表示された部分の要約文を生成し、前記映像コンテンツの要約文のうち、少なくとも前記未視聴区間に対応する部分の要約文を、前記表示装置へ出力する要約提示方法である。

本発明によれば、現在再生されている番組を視聴しながら、その番組の見逃した部分についての簡潔な情報提示を行う要約提示装置を提供することができる。

以下、本発明の実施の形態について図面を参照しながら説明する。

図１は、本発明の第１の実施形態に係る要約提示装置１００の概略構成図である。要約提示装置１００は、ＴＶ放送などの映像コンテンツを入力する映像データ入力部１１０と、ＴＶリモコンやカメラからのユーザ情報を入力するユーザ情報入力部１２０と、現在再生中の映像情報から文字情報を抽出する文字情報抽出部１３０と、抽出した文字情報を記憶する文字情報記憶部１４０と、映像データ入力部１１０及びユーザ情報入力部１２０からの情報に基づいてユーザが視聴していない区間を検出する未視聴区間検出部１５０と、視聴／未視聴区間の時間情報を記憶する未視聴区間記憶部１６０と、ユーザからの要約再生の要求を解析するユーザ要求解析部１７０と、ユーザが視聴していなかった区間の映像コンテンツの要約文を生成する要約生成部１８０を備える。そして、映像データ入力部１１０に現在入力されている映像コンテンツ（字幕情報も含む）と、この映像コンテンツのうちユーザが視聴していない未視聴区間の要約文とを、ディスプレイ（表示装置）１９０に同時に出力する。

要約提示装置１００は、テレビ装置とデータの送受信を行うサーバ装置の一部として実装するようにしても良いし、あるいはテレビ装置の一部として実装するようにしても良い。以下、システムの各部の説明を行う。

映像データ入力部１１０は映像コンテンツを入力する。映像データは、ＴＶ放送信号から取得したデータでも良いし、録画されたコンテンツから再生したデータでも良い。

ユーザ情報入力部１２０はリモコン信号受信部、マイク装置、又は、カメラ装置で構成され、ユーザからのリモコン操作信号、マイク装置からの音声情報、又は、カメラ装置からの画像情報などのユーザの行動情報を入力する。

文字情報抽出部１３０は映像データ入力部１１０に入力された映像データから文字情報を抽出し、文字情報記憶部１４０に記憶する。文字情報としては、映像コンテンツの音声を既存の音声認識技術を利用して得られる文字情報や、映像コンテンツに含まれる字幕情報を抽出してもよい。抽出した文字情報は、例えば、図２のような形式で文字情報記憶部１４０に記憶される。

図２では、対象となる映像コンテンツの開始時間を”００：００：００”として、一定時間（ここでは１０秒間）で区切って、各区間にその区間から抽出された文字情報を対応付けて記憶している。すなわち、映像コンテンツの開始から、抽出された文字情報を記憶している。

未視聴区間検出部１５０はユーザが映像コンテンツを視聴しているか否かを検知し、未視聴区間記憶部１６０に、映像コンテンツの各区間に対して視聴／未視聴の状態を対応づけて記憶する。すなわち、映像コンテンツの開始から、視聴／未視聴の状態を記憶している。

未視聴区間の検出には、例えば、ユーザ情報入力部１２０のカメラ装置からの画像情報を利用することができる。カメラ装置はテレビの前方を写すようにし、カメラ装置からの画像を解析してユーザがいるかどうかを判定する。ユーザが写っている時間は視聴中とし、ユーザが画像内に写っていない時間は未視聴として、映像コンテンツの再生時間との対応から、映像コンテンツの未視聴区間を求める。

あるいは、リモコン操作または音声によるコマンド入力によりユーザが未視聴区間を指示してもよい。この場合は、ユーザは視聴を中止するときと、再開するときにリモコンのボタン操作または音声入力で所定のコマンドをユーザ情報入力部１２０に与えることで、未視聴の区間を要約提示装置１００に伝える。

要約提示装置１００はユーザから指示された区間を未視聴区間として、未視聴区間記憶部１６０に記憶する。未視聴区間記憶部１６０では、例えば、図３のような形式で情報を記憶する。

対象コンテンツの開始時間を”００：００：００”として、一定時間（ここでは１０秒間）で区切って、各区間にユーザの視聴状態を対応付けて記憶している。ここで図３では、○：視聴、×：未視聴としている。

ユーザ要求解析部１７０は、ユーザ情報入力部１２０の入力情報からユーザの要約生成要求を解析する。要約生成要求は音声入力により与えることができる。要約生成要求に対応するコマンド表現（例えば「要約」、「サマリ」など）を記憶しておき、ユーザの音声入力の音声認識結果と照合し、一致した場合は要約生成要求として処理する。あるいは、要約生成要求に対応するリモコン信号をあらかじめ登録しておき、当該信号がリモコンのボタン操作により与えられた場合に要約生成要求として処理するようにしても良い。

要約生成部１８０は、ユーザから要約生成要求が与えられたときに、要約情報を生成する。図４に要約生成部の処理の流れを示す。

ユーザからの要約生成要求を入力した後（Ｓ４１０）、まず、文字情報記憶部１４０から要約対象とする文字情報を収集する。具体的には、ユーザが視聴中のコンテンツに対応する抽出文字情報を検索し、そこからコンテンツの開始から要求が入力された時間までの区間に含まれる抽出文字情報を収集する（Ｓ４２０）。

次に、収集した文字情報から要約情報を生成する（Ｓ４３０）。要約情報の生成は、コンテンツのジャンルや種類に応じて、それぞれに適した手法を切り替えるようにすることができる。例えば、ドラマなどのジャンルに含まれるコンテンツに対しては、時間表現や場所の表現などを含むシーンの状況を説明している文を優先的に利用して要約情報を生成することができる。

時間表現や場所表現の抽出は既存の固有表現抽出技術を用いればよく、文字情報から”１９９９年”、”２日前”、”○○公園”、”○○市”などの表現を抽出できる。収集した抽出文字列から各文字列中に含まれる固有表現の数をカウントし、固有表現のカウント数がより高くなる文を要約情報に含めるようにすることができる。

このとき、含まれる固有表現のカウント数が同じになる場合は、含まれる固有表現の種別が異なる方を優先するようにする。例えば、時間表現を２つ含む文よりも、時間表現と場所表現とが１つずつの文を優先する。

また、字幕情報の文字列で、台詞とナレーション部分が容易に判別可能な場合は、固有表現を含む文に加えてナレーションの文を要約情報に含めるようにしても良い。

一方、ニュースや情報番組などに対しては、キーワードの出現の偏りに基づいてコンテンツ内の各トピックキーワードを含む文を優先的に利用して要約情報を生成することができる。この場合の手法の一例を以降に示す。

まず、収集した抽出文字列から既存の形態素解析技術によりキーワードを抽出する。次に、未視聴区間記憶部の情報を参照し、未視聴区間に含まれる文に含まれるキーワードの重みが大きくなるようにキーワードの重みを計算する。

ここで、未視聴区間に含まれる文を適合文書とみなすことにより、情報検索における適合フィードバックの方法を利用して、各キーワードｔｉの重みｗｉは、次式のように計算できる。

ｗｉ＝ｌｏｇ（（ｒｉ（Ｎ−Ｒ−ｎｉ＋ｒｉ））／（（Ｒ−ｒｉ）（ｎｉ−ｒｉ）））

ただし、
Ｎ ：対象区間に含まれる文の数
Ｒ ：未視聴区間に含まれる文の数
ｎｉ：対象区間に含まれる文のうち語ｔiが出現する文の数
ｒｉ：未視聴区間に含まれる文のうち語ｔiが出現する文の数
である。

各キーワードの重みｗｉを用いて、文の重みを文が含むキーワードの重みの和として計算できる。こうして計算される文の重みに基づいて、重みの大きい上位ｎ文までを選出して、要約情報を生成することができる。

上述のいずれの手法を用いて要約情報を生成した場合も、選出した各文について元のコンテンツのどの区間に含まれていた文かを保持しておくようにする。

最後に、未視聴区間記憶部の情報に基づいて、生成した要約情報を調整・整形して、ユーザへの提示情報を生成する（Ｓ４４０）。ここでは、例えば、要約情報に含まれる文のうち、未視聴区間に含まれる文を太字にしたり、文字の色を変えたりして出力することが可能である。文字の修飾は所定のタグを用いて行う。あるいは、要約情報に含まれる文のうち、未視聴区間に含まれる文のみを取り出し、出力するようにしても良い。

ここで、各文が未視聴区間に含まれるかどうかは、抽出文字列に対応する区間と未視聴区間記憶部１６０で記憶された未視聴区間を参照することにより判定できる。

次に、ディスプレイ１９０は要約生成部１８０において出力される要約情報の提示を行う。ディスプレイ１９０は、映像表示画面とスピーカを含み、提示情報の出力は映像表示画面から文字の情報を出力するようにしても良いし、音声合成技術を利用して、音声をスピーカーから出力するようにしても良い。あるいは、文字と音声の両方を生成・出力するようにしても良い。

文字情報を提示する場合は、例えば図５に示すように、映像表示画面中の端の領域に表示する。この例では、映像表示画面の左側に要約情報が表示されている。要約の中の未視聴区間における文は、太字で表示されている。このように、映像コンテンツの開始部分からのあらすじを、未視聴部分の情報がわかるようにユーザに提示することができる。なお、映像信号に重畳されている字幕情報（現在再生中の映像に関する字幕情報）は、映像表示画面内に表示される。

また、音声で提示する場合は、未視聴区間に対応する文のみの情報を出力することができる。音声は、テレビ音声を出力しているスピーカーから出力することができる。あるいは、スピーカー付きのリモコンなどを通じて出力するようにして、テレビ音声を出力しているスピーカーと別のスピーカーから出力するようにしても良い。

以上で示したように、本実施形態によれば、ユーザの未視聴区間に応じた情報提示が可能であり、ユーザが視聴を一時的に中断した後、視聴を再開する場合などにおいて、ユーザが視聴していない部分の簡単な情報内容をユーザに提示することができる。

複数人で同一の映像を視聴している場合など、映像の表示を中断する場合が難しい場合においても、本実施形態によれば、表示中の映像を中断することなくユーザが視聴していない部分の簡単な情報内容をユーザに提示することができる。

図６は、本発明の第２の実施形態に係る要約提示装置６００の概略構成図である。第１の実施形態の要約提示装置との違いは、シーン分割部６１０、シーン分割点記憶部６２０が加えられている点である。以降では、第１の実施形態との違いを中心に説明するので、第１の実施形態と同じ符号については、第１の実施形態の説明の方をみていただきたい。

シーン分割部６１０は、映像データ入力部１１０から入力される映像データおよび映像データから抽出された文字情報に基づき映像のシーンの分割点を検出し、検出した分割点をシーン分割点記憶部６２０に記憶する。

映像シーンの分割点の検出は、既存の映像分割の手法を用いて実現できる。例えば、既存の画像認識、音声認識技術を用いて、映像中の画像・音声の特徴から分割点を決めることができる。

あるいは、字幕情報など映像データから抽出した文字情報を解析して分割点を決めることもできる。シーン分割点記憶部６２０には図７のような情報が記憶される。対象となる映像コンテンツの開始時間を”００：００：００”（シーン分割点番号１）として、シーンの区切りとなる時間を記憶している。そして、コンテンツの開始から”００：０３：００” （シーン分割点番号２）までが最初のシーンで、”００：０３：００” （シーン分割点番号２）から”００：０５：４０”（シーン分割点番号３）までが次のシーンとなっている。

ユーザー要求解析部１７０は、第１の実施形態と同様の未視聴区間の要約に加え、視聴を中止したシーンの要約、視聴を再開したシーンの要約に関する要約生成要求を区別して解析する。例えば、それぞれ、「要約」、「前のシーンの要約」、「今のシーンの要約」などの表現を予め登録しておき、ユーザからの音声入力の音声認識結果と照合し、要求種別を解析する。

要約生成部１８０は、文字情報からの要約情報の生成までは第１の実施形態と同様に行う。その後、提示情報の生成は、未視聴区間記憶部およびシーン分割点記憶の情報に基づき行う。このとき、要約情報中の各文について、コンテンツ上の時間で同じ分割区間に含まれる文同士を連結したものを提示情報として出力する。

また、分割区間が異なる文の間には区切り情報を挿入する。このときの提示例を図８に示す。画面の左側に要約が表示されている。

この例では、未視聴区間において、２回シーンが変わっていることがわかり（シーン１からシーン２への場面変化と、シーン２からシーン３への場面変化）、また、各シーンにおける情報が提示されている。

また、ユーザの要求内容に応じて、要約情報から取り出す情報を調整することも可能である。視聴を中止したシーンの要約が入力された場合は、未視聴区間の開始点から次のシーン分割点までの区間を求め、その区間に含まれる文のみを出力することができ、視聴を再開したシーンの要約が入力された場合は、未視聴区間の終了点からその前のシーン分割点までの区間を求め、その区間に含まれる文のみを出力することができる。

このように、生成した要約情報中からユーザから要求された部分のみ取り出し提示するようにすることができる。

以上で示したように、本実施例では、未視聴区間におけるシーンの分割情報を利用することにより、未視聴区間に含まれる情報のうちユーザから要求に適合した情報のみを提示する情報提示が可能となる。

上述した実施の形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の趣旨を逸脱しない範囲であれば、適宜組合わせ及び変更することができることはいうまでもない。

第１の実施形態に係る要約提示装置の概略構成図。 文字情報記憶部１４０に記憶されているデータの説明図。 未視聴区間記憶部１６０に記憶されているデータの説明図。 要約生成部１８０での要約生成処理のフローチャート。 第１の実施形態に係るディスプレイ１９０での要約情報の提示を説明する図。 第２の実施形態に係る要約提示装置の概略構成図。 シーン分割点記憶部６２０に記憶されているデータの説明図。 第２の実施形態に係るディスプレイ１９０での要約情報の提示を説明する図。

符号の説明

１００ 要約提示装置
１１０ 映像データ入力部
１２０ ユーザ情報入力部
１３０ 文字情報抽出部
１４０ 文字情報記憶部
１５０ 未視聴区間検出部
１６０ 未視聴区間記憶部
１７０ ユーザ要求解析部
１８０ 要約生成部
１９０ ディスプレイ
６１０ シーン分割部
６２０ シーン分割点記憶部

Claims (5)

1. 表示装置を用いてユーザが視聴する映像コンテンツを入力する入力手段と、
   視聴している前記映像コンテンツから文字情報を抽出する抽出手段と、
   前記文字情報を記憶する第１の記憶手段と、
   前記映像コンテンツを視聴するユーザの行動情報を入力する入力手段と、
   前記行動情報に基づき、ユーザが前記映像コンテンツを視聴していない未視聴区間を検出する検出手段と、
   前記未視聴区間を記憶する第２の記憶手段と、
   前記行動情報から、前記ユーザが再生中の映像コンテンツの要約文を要求しているか否かを解析する解析手段と、
   前記ユーザが要約文の生成を要求している場合には、前記第１の記憶手段に記憶された文字情報から前記映像コンテンツの過去に表示された部分の要約文を生成する生成手段と、
   前記映像コンテンツの要約文のうち、少なくとも前記未視聴区間に対応する部分の要約文を、前記表示装置へ出力する出力手段と、を備える要約提示装置。
2. 前記出力手段は、前記映像コンテンツが現在表示されている前記表示装置に、前記映像コンテンツの過去に表示された部分の要約文を出力することを特徴とする請求項１記載の要約提示装置。
3. 前記出力手段は、前記映像コンテンツの過去に表示された部分の要約文のうち、前記未視聴区間に対応する部分のみを出力することを特徴する請求項１記載の要約提示装置。
4. 前記出力手段は、前記映像コンテンツの過去に表示された部分の要約文全てを出力することを特徴とする請求項１記載の要約提示装置。
5. 表示装置を用いてユーザが視聴する映像コンテンツを入力し、
   視聴している前記映像コンテンツから文字情報を抽出し、
   前記文字情報を第１の記憶手段に記憶させ、
   前記映像コンテンツを視聴するユーザの行動情報を入力し、
   前記行動情報に基づき、ユーザが前記映像コンテンツを視聴していない未視聴区間を検出し、
   前記未視聴区間を第２の記憶手段に記憶させ、
   前記行動情報から、前記ユーザが再生中の映像コンテンツの要約文を要求しているか否かを解析し、
   前記ユーザが要約文の生成を要求している場合には、前記第１の記憶手段に記憶された文字情報から前記映像コンテンツの過去に表示された部分の要約文を生成し、
   前記映像コンテンツの要約文のうち、少なくとも前記未視聴区間に対応する部分の要約文を、前記表示装置へ出力する要約提示方法。

Images