JP5135024B2 - コンテンツのシーン出現を通知する装置、方法およびプログラム - Google Patents

Description

この発明は、テレビ番組などの映像コンテンツ等を視聴するときに、ユーザにとって興味のある対象がシーンに登場したことを通知することで効率的な視聴を可能にする装置、方法およびプログラムに関する。

近年のテレビ番組では、視聴者にチャンネルを変えさせずに番組を見続けさせるために、「まもなく○○」または「この後××」のように、視聴者の興味を引く対象の登場を予告することが行われている。しかし、このような予告が放送されても、実際に「○○」や「××」に相当する対象が登場するまでには時間がかかることが多い。そのため、視聴者は、（１）所望のシーンは一瞬かもしれないが見たくないシーンを見続ける、（２）他のチャンネルを変えて他の番組を視聴しつつ、時々元のチャンネルをチェックする、（３）番組を録画して後から見直す、といった方法でテレビ番組を視聴している。

（１）や（２）の方法では、時間を浪費すること、またはチェックの手間がかかることが問題となる。また、（２）の方法では、変えた先の番組が面白かった場合などのように、チャンネル変更前の番組で所望の対象が登場するシーンを見逃す可能性がある。（３）の方法では、後から見直すことができるため、所望のシーンを見逃す可能性を減らすことができる。しかし、例えばクイズ番組の答えなどのように軽い気持ちで見ているシーンについては、録画のための操作が負担となる場合がある。また、スポーツ中継などの場合は、録画するのではなく、リアルタイムで途中結果を知りたいという要求もある。このように、従来の視聴方法では、効率的なテレビ番組の視聴が妨げられる場合があった。

そこで、視聴者の所望のシーンを検知して通知することにより、所望のシーンを見逃さずに視聴可能とする技術が提案されている（例えば、特許文献１）。特許文献１の方法では、視聴者が入力したシーンを特定するキーワードと、番組シーンに対応してシーンを特定するシーン情報が重畳された放送データ（Transport Stream）とを比較して、所望の番組シーン検知している。

特開２００５−３２３０９０号公報

しかしながら、特許文献１の方法は、放送データに対して番組シーンを特定するシーン情報が重畳されていることを前提としている。このため、すべての放送局のすべての放送に対して所望のシーンの通知を実現するには、これらすべての放送の各シーンごとにシーン情報を付加する必要があり、実現が困難であった。シーンを特定するシーン情報の代用として例えば字幕情報を用いることが可能であるが、字幕情報では正しくシーンと特定できない場合があった。例えば、字幕中に視聴者の興味を引く対象を表すキーワードが出現したとしても、上述のように、実際にキーワードに相当する対象が登場するまでには時間がかかることが多い。このように、従来の方法では、実際の登場シーンではないシーンを誤って通知する場合があるという問題があった。

本発明は、上記に鑑みてなされたものであって、コンテンツ内の所望のシーンの出現を高精度に検出して通知することができる装置、方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、時系列に再生可能な複数のシーンを含むコンテンツを再生する再生部と、再生された前記シーンから前記シーンに関するテキスト情報であるメタデータを抽出するメタデータ抽出部と、前記メタデータから複数のキーワードを抽出するキーワード抽出部と、前記キーワードそれぞれに対して前記キーワードの意味属性を表す意味クラスを付与する付与部と、前記キーワードに付与された意味クラスが、前記キーワードを抽出したシーンより後に再生されることを表す意味クラスである再生予定クラスであるか否かを判定する意味判定部と、前記意味判定部によって前記再生予定クラスが付与されたと判定された前記キーワードが存在する場合に、意味クラスが付与された前記キーワードのうち、前記再生予定クラスが付与されたキーワード以外の少なくとも１つのキーワードを、監視対象のキーワードである監視キーワードとして取得する取得部と、前記監視キーワードを抽出したシーンより後に再生されたシーンから抽出されたメタデータに、前記監視キーワードと、再生済みであることを表す意味クラスである再生済みクラスが付与されているキーワードとが含まれる場合に、前記監視キーワードを含むシーンが再生中のコンテンツに出現したと判定する出現判定部と、前記監視キーワードを含むシーンが出現したと判定された場合に、前記監視キーワードを含むシーンが出現したことを通知する通知部と、を備えたことを特徴とする。

また、本発明は、上記装置を実行することができる方法およびプログラムである。

本発明によれば、コンテンツ内の所望のシーンの出現を高精度に検出して通知することができるという効果を奏する。

以下に添付図面を参照して、この発明にかかる装置、方法およびプログラムの最良な実施の形態を詳細に説明する。

本実施の形態にかかるシーン通知装置は、コンテンツに含まれるシーンからテキスト情報であるメタデータを抽出し、メタデータ内のキーワードのうち近未来を表す意味クラスが付与されたキーワードの前後のキーワードを監視対象のキーワード（監視キーワード）とする。そして、その後に再生されるシーンから監視キーワードが検出され、かつ監視キーワードの前後のキーワードに過去または現在完了の意味クラスが付与されたキーワードが存在する場合に、監視キーワードが表す対象が出現したと判定する。

図１は、本実施の形態にかかるシーン通知装置１００の構成を示すブロック図である。図１に示すように、シーン通知装置１００は、再生部１０１と、メタデータ抽出部１２０と、辞書記憶部１３１と、キーワード抽出部１０２と、付与部１０３と、意味判定部１０４と、監視情報取得部１０５と、監視情報記憶部１３２と、表示部１０６と、受付部１０７と、出現判定部１０８と、通知部１０９と、を備えている。

再生部１０１は、複数のシーンを含むテレビ放送などのコンテンツを再生する。なお、コンテンツはテレビ放送に限られるものではなく、コンテンツに含まれる各シーンに関するメタデータをテキスト情報として抽出することができるものであればあらゆるコンテンツを対象とすることができる。例えば、ＤＶＤ（Digital Versatile Disk）などの記録媒体に記憶された映像コンテンツや、ラジオ放送のような音声コンテンツを対象とすることができる。以下では、テレビ放送として配信される映像コンテンツを再生する場合を例に説明する。

メタデータ抽出部１２０は、テレビ放送で配信された映像コンテンツである放送波から、映像コンテンツの各シーンのメタデータを抽出する。メタデータ抽出部１２０は、付加情報抽出部１２１と、画像認識部１２２と、音声認識部１２３とを備えている。

付加情報抽出部１２１は、テレビ放送の映像コンテンツに重畳して配信されているＥＰＧ（Electronic Program Guide）、データ放送、および字幕などのテキスト情報である付加情報を、メタデータとして抽出する。

画像認識部１２２は、映像コンテンツに含まれる人物、建物などの画像情報、およびテロップなどを画像認識し、認識した画像情報やテロップの内容を表すテキスト情報をメタデータとして抽出する。

音声認識部１２３は、映像コンテンツに含まれる発話、楽曲、および効果音などの音声情報を音声認識し、認識した発話内容や楽曲のタイトル、効果音の種類などを表すテキスト情報をメタデータとして抽出する。

辞書記憶部１３１は、メタデータに含まれるキーワードの意味属性を表す意味クラスを取得するための辞書情報を記憶する。図２は、辞書記憶部１３１に記憶される辞書情報のデータ構造の一例を示す図である。図２に示すように、辞書情報は、キーワードと、キーワードの意味クラスと、意味クラスの確からしさを表す確信度と、を含んでいる。意味クラスには、時間的な近未来、過去、現在完了などを表す意味クラス、物理的な人名、地名などを表す意味クラス、および誇大表現を表す意味クラスなどが含まれる。

辞書情報は、後述するキーワード抽出部１０２がメタデータからキーワードを抽出するとき、および、後述する付与部１０３が、抽出されたキーワードに意味クラスを付与するときに参照される。

なお、辞書情報は同図のようなデータ構造に限られるものではなく、メタデータなどのテキスト情報内のキーワードの意味クラスを決定可能なものであればあらゆるデータ構造の辞書情報を利用できる。図３は、辞書記憶部１３１に記憶される辞書情報のデータ構造の別の例を示す図である。図３は、文字列や形態素の並び方などのルールを定めた条件と、意味クラスと、確信度とを対応づけた辞書情報の例を示している。同図のような辞書情報の場合、与えられたテキスト情報から条件を満たすキーワードを抽出するとともに、抽出したキーワードに対応する意味クラスを、抽出したキーワードに付与することができる。

キーワード抽出部１０２は、抽出されたメタデータから辞書記憶部１３１の辞書情報内のキーワードと一致するキーワードを抽出する。なお、キーワードの抽出方法はこれに限られず、メタデータを形態素解析して解析結果であるキーワードを抽出するように構成してもよい。

付与部１０３は、キーワード抽出部１０２によって抽出されたキーワードそれぞれに対し、辞書情報の対応する意味クラスを付与する。

なお、キーワード抽出部１０２がメタデータからキーワードを抽出し、抽出したキーワードに付与部１０３が意味クラスを付与する処理は、メタデータの意味解析処理を実行することに相当する。上述のように、この意味解析処理は、図２のように予め与えられたキーワードとのマッチングで行ってもよいし、図３のように予め与えられた条件とのマッチングで行ってもよい。

なお、例えば「川崎」のように人名でも地名でもあるような多義キーワードについては、複数の意味クラスが辞書情報から取得される場合がある。この場合は、取得される複数の意味クラスをそのまま利用してもよいが、ユーザの利便性の観点からは、確信度が最大の意味クラス、または、前後に出現するキーワードの意味クラスとの距離が最小の意味クラスを選択することで一つの意味クラスに決定することが望ましい。

意味判定部１０４は、キーワード抽出部１０２によって抽出されたキーワードに、キーワードを抽出したシーンより後に再生されることを表す意味クラスである再生予定クラスが付与されたキーワードが存在するか否かを判定する。例えば、監視情報取得部１０５は、再生予定クラスとして時間的な近未来を表す意味クラスが付与されたキーワードが存在するか否かを判定する。

監視情報取得部１０５は、抽出されたキーワードに再生予定クラスが付与されたキーワードが存在すると判定された場合に、当該キーワードの前後のキーワードを、監視対象のキーワードである監視キーワードとして取得する。また、監視情報取得部１０５は、取得したキーワードの前後のキーワードに付与された意味クラスを、監視対象の意味クラスである意味クラスを表す監視クラスとして取得する。以下では、監視キーワードおよび監視クラスを合わせて監視情報という場合がある。

このように、監視情報取得部１０５は、キーワードだけでなく、意味クラスを監視対象とすることができる。これにより、より正確に所望のシーンを通知可能となる。例えば、「この後大物俳優登場」という予告が出力された場合、従来の方法では、「大物俳優」というキーワードが出現するシーンは検出できるが、該当する俳優の実際の名前が出現したシーンを検出することができなかった。これに対し、本実施の形態では「大物俳優」という意味クラスを監視対象にできるため、実際の名前に意味クラス「大物俳優」が対応づけた辞書情報が存在すれば、実際の名前が出現したシーンを検出することができる。

なお、監視情報取得部１０５は、例えば同じシーンから抽出されたキーワードのうち、選択されたキーワード以外のキーワードを監視キーワードとして取得する。また、監視情報取得部１０５が、同じシーンから抽出されたキーワード間の係り受け関係を解析し、選択されたキーワードと係り受け関係にあるキーワードを監視キーワードとして取得するように構成してもよい。

表示部１０６は、取得された監視情報を実際に監視するか否かを問い合わせるために、監視情報取得部１０５によって取得された監視情報を表示する。監視情報を表示した表示画面の例については後述する。

受付部１０７は、表示画面を確認してユーザが実際に監視することを指定したキーワードを受け付ける。受付部１０７は、例えば、表示された監視キーワードのうち、リモコンによるカーソルの操作等によって選択された監視キーワードを受け付ける。

監視情報記憶部１３２は、受付部１０７によって指定が受け付けられた監視情報を記憶する。例えば、監視情報記憶部１３２は、（監視キーワード、チャンネルＩＤ）または（監視クラス、チャンネルＩＤ）などのように、監視情報とテレビ放送のチャンネルＩＤなどの監視対象とする映像コンテンツの識別情報とを対応づけて記憶する。

なお、辞書記憶部１３１および監視情報記憶部１３２は、ＨＤＤ（Hard Disk Drive）、光ディスク、メモリカード、ＲＡＭ（Random Access Memory）などの一般的に利用されているあらゆる記憶媒体により構成することができる。

出現判定部１０８は、監視情報記憶部１３２に記憶されている監視情報が、順次再生されるコンテンツ内に出現したかを判定する。具体的には、出現判定部１０８は、監視情報を記憶した後に再生されたシーンから抽出されたメタデータに監視情報が含まれ、かつ、当該監視情報の前後のキーワードに、再生済みであることを表す意味クラスである再生済みクラスが付与されているか否かを判定する。そして、出現判定部１０８は、監視情報を記憶した後に再生されたシーンから抽出されたメタデータに監視情報が含まれ、かつ、当該監視情報の前後のキーワードに再生済みクラスが付与されている場合に、監視情報を含むシーンが出現したと判定する。なお、再生済みクラスとしては、例えば、時間的な過去または現在完了を表す意味クラスを用いることができる。

より具体的には、監視情報が監視キーワードであった場合は、出現判定部１０８は、再生されたシーンから抽出されたメタデータ内のキーワードに、監視キーワードが含まれ、かつ、当該監視キーワードと一致するキーワードの前後のキーワードに再生済みクラスが付与されているか否かを判定する。また、監視情報が監視クラスであった場合は、出現判定部１０８は、再生されたシーンから抽出されたメタデータ内のキーワードに、監視クラスが付与されたキーワードが含まれ、かつ、当該監視クラスが付与されたキーワードの前後のキーワードに再生済みクラスが付与されているか否かを判定する。

通知部１０９は、監視情報を含むシーンが出現したと判定された場合に、その旨をユーザに通知する。通知部１０９は、例えば、監視情報を含むシーンを表示部１０６に表示することにより、シーンの出現を通知する。通知部１０９による通知方法の詳細については後述する。

次に、このように構成された本実施の形態にかかるシーン通知装置１００による監視情報抽出処理について図４を用いて説明する。監視情報抽出処理とは、再生されているコンテンツから監視情報を抽出して監視情報記憶部１３２に保存する処理をいう。図４は、本実施の形態における監視情報抽出処理の全体の流れを示すフローチャートである。

監視情報抽出処理は、例えばユーザがテレビ放送の視聴を開始したときに開始される。放送される映像コンテンツが再生されると、まず、メタデータ抽出部１２０の付加情報抽出部１２１が、映像コンテンツに重畳して配信されているＥＰＧ、データ放送、および字幕などの付加情報をメタデータとして抽出する（ステップＳ４０１）。

図５は、放送波（映像コンテンツ）に重畳して配信されている字幕情報の一例を示す図である。図５は、あるチャンネルで時刻２１：２８：００から時刻２１：３０：００の間に、イグアナに関する会話が放送されていた場合の字幕情報の例を示している。

図４に戻り、画像認識部１２２が、映像コンテンツの各シーンを画像認識し、認識結果である人物、建物、またはテロップの内容などのテキスト情報をメタデータとして抽出する（ステップＳ４０２）。さらに、音声認識部１２３が、映像コンテンツに含まれる音声情報を音声認識し、認識結果である発話内容や楽曲のタイトル、効果音の種類などのテキスト情報をメタデータとして抽出する（ステップＳ４０３）。

なお、ステップＳ４０１〜ステップＳ４０３はこの順序で実行する必要はなく、任意の順序で実行してもよいし、並列に実行するように構成してもよい。

次に、キーワード抽出部１０２が、取得した各テキスト情報（メタデータ）に含まれるキーワードを抽出する（ステップＳ４０４）。例えば、キーワード抽出部１０２は、図２に示すような辞書情報内のキーワードと一致するキーワードを、メタデータから抽出する。

次に、付与部１０３が、抽出したキーワードに意味クラスを付与する（ステップＳ４０５）。例えば、付与部１０３は、抽出したキーワードに対応する意味クラスを、図２のような辞書情報から取得し、抽出したキーワードに付与する。

図６は、図５のような字幕情報を辞書情報を用いて意味解析した結果として得られる、意味クラスが付与されたキーワードの一例を示す図である。図６では、例えば、出演者の名前を表すと思われるキーワード「山本さん」および「島さん」は「人物、有名人」という意味クラスが付与されている。また、キーワード「イグアナ」および「トカゲ」は「動物、爬虫類」という意味クラスが付与されている。

図４に戻り、次に意味判定部１０４が、意味クラス「時間、近未来」が付与されたキーワードが存在するか否かを判断する（ステップＳ４０６）。存在する場合（ステップＳ４０６：ＹＥＳ）、監視情報取得部１０５は、意味クラス「時間、近未来」が付与されたキーワードの前後のキーワード、および当該キーワードに付与された意味クラスを、それぞれ監視キーワードおよび監視クラスとして取得する（ステップＳ４０７）。

次に、監視情報取得部１０５は、取得した監視情報（監視キーワードまたは監視クラス）が監視情報記憶部１３２に格納済みか否かを判断する（ステップＳ４０８）。格納済みでない場合は（ステップＳ４０８：ＮＯ）、監視情報取得部１０５は、取得した監視情報をユーザに提示する（ステップＳ４０９）。監視情報取得部１０５は、例えば、表示部１０６に表示された表示画面内に取得した監視情報を表示することにより、ユーザに監視情報を提示する。

図７は、監視情報を提示する表示画面の一例を示す図である。図７は、映像コンテンツの下部に監視情報７０１を表示する例を示している。なお、提示方法はこれに限られず、例えば画面の任意の位置に監視情報を表示することができる。

同図は、再生予定クラスである意味クラス「時間、近未来」が付与されたキーワード７１１（「ＣＭの後」）の前のキーワード７１２（「正解」）が監視キーワードとして取得され、この監視キーワードに付与された意味クラス「無形物」が監視クラスとして取得された例を示している。そして、同図では、取得された監視キーワードと監視クラスとが、監視情報７０１として表示されている。また、同図の監視キーワードの前の黒い四角は、この監視情報のうち、監視キーワード（「正解」）がユーザによって指定されたことを表している。この場合、監視キーワードにチャンネルＩＤを対応づけた「（正解、４チャンネル）」が監視情報記憶部１３２に保存される。

図４に戻り、次に受付部１０７が、ユーザによって監視対象とすることが指定されたか否かを判断する（ステップＳ４１０）。指定された場合は（ステップＳ４１０：ＹＥＳ）、受付部１０７は、指定された監視情報を受け付け、監視情報記憶部１３２に保存する（ステップＳ４１１）。

ステップＳ４０６で意味クラス「時間、近未来」が付与されたキーワードが存在しないと判断された場合（ステップＳ４０６：ＮＯ）、ステップＳ４０８で監視情報が監視情報記憶部１３２に格納済みと判断された場合（ステップＳ４０８：ＹＥＳ）、ステップＳ４１０で監視情報がユーザによって監視対象として指定されていないと判断した場合、またはステップＳ４１１で監視情報を保存した後、再生部１０１は、映像コンテンツの再生が終了したか否かを判断する（ステップＳ４１２）。

終了していない場合は（ステップＳ４１２：ＮＯ）、再生部１０１は映像コンテンツの再生を継続する。そして、ステップＳ４０１に戻り、新たに再生されたシーンからメタデータを抽出して処理が繰り返される。映像コンテンツの再生が終了した場合は（ステップＳ４１２：ＹＥＳ）、監視情報抽出処理を終了する。

なお、ユーザがリモコンの所定のボタンを押下した場合などのように、予め定められたアクションが実行されたときにのみ、監視情報抽出処理を実行するように構成してもよい。これにより、ユーザが望む場合にのみ監視情報が提示されるようにすることができる。

また、ユーザが別のボタンを押下した場合のように別のアクションを実行したときに、意味クラス「時間、近未来」が付与されたキーワードの存在の有無に関わらず、アクション実行時点で得られるキーワードやキーワードに付与された意味クラスを監視情報として抽出するように構成してもよい。

図８は、このように構成した場合の監視情報を提示する表示画面の一例を示す図である。同図は、リモコン押下を契機としてキーワード８１１（「ＯＶＡ」）、キーワード８１２（「ファン」）が監視キーワードとして取得され、これらの監視キーワードそれぞれに付与された意味クラス「商品」および「地位」が監視クラスとして取得された例を示している。そして、同図では、取得された監視キーワードと監視クラスとが、監視情報８０１として表示されている。同図に示すようにキーワード「ＯＶＡ」が指定された場合は、例えば監視キーワードにチャンネルＩＤを対応づけた「（ＯＶＡ、６チャンネル）」が監視情報記憶部１３２に保存される。

次に、本実施の形態にかかるシーン通知装置１００によるシーン通知処理について図９を用いて説明する。シーン通知処理とは、監視情報を記憶した後に再生されるコンテンツから監視情報が出現するシーンを検出して通知する処理をいう。図９は、本実施の形態におけるシーン通知処理の全体の流れを示すフローチャートである。

なお、監視情報抽出処理と同様に、以下ではテレビ放送等の映像コンテンツを視聴する場合を例に説明するが、シーンに関するメタデータをテキスト情報として抽出することができるものであれば、その他のコンテンツを対象としてもよい。

まず、メタデータ抽出部１２０は、監視情報記憶部１３２に監視情報が記憶されているか否かを判断する（ステップＳ９０１）。記憶されていない場合は（ステップＳ９０１：ＮＯ）、監視する対象が存在しないため、シーン通知処理を終了する。

監視情報が記憶されている場合は（ステップＳ９０１：ＹＥＳ）、メタデータ抽出部１２０が監視情報に対応づけられたチャンネルＩＤの放送波に相当する映像コンテンツからメタデータを抽出する（ステップＳ９０２〜ステップＳ９０４）。

なお、ある地域で受信できるすべてのチャンネルＩＤに対応する放送波からメタデータを並列に抽出するように構成してもよいし、十分なメタデータ抽出能力がない機器では、「これ以上監視対象を増やせない」などの警告メッセージを表示して監視対象を限定してもよい。

なお、ステップＳ９０２〜ステップＳ９０４のメタデータ抽出処理と、ステップＳ９０５〜ステップＳ９０６の意味解析処理は、監視情報抽出処理のステップＳ４０１〜ステップＳ４０５と同様の処理であるため、その説明を省略する。

意味解析処理の後、出現判定部１０８は、意味解析処理で抽出されたキーワードまたは当該キーワードに付与された意味クラスと、監視情報記憶部１３２に記憶されている監視情報である監視キーワードまたは監視クラスとを照合する（ステップＳ９０７）。

そして、出現判定部１０８は、抽出したキーワードまたは当該キーワードに付与された意味クラスと、監視情報記憶部１３２の監視情報とが一致するか否かを判断する（ステップＳ９０８）。一致しない場合は（ステップＳ９０８：ＮＯ）、次に再生されるシーンからメタデータ抽出処理を繰り返す（ステップＳ９０２）。

一致する場合は（ステップＳ９０８：ＹＥＳ）、出現判定部１０８は、さらに抽出したキーワードの前後で抽出されたキーワードに付与された意味クラスが、「時間、過去」または「時間、現在完了」であるか否かを判断する（ステップＳ９０９）。

例えば、図７の例のようにキーワード７１２（「正解」）が監視キーワードとして記憶されており、「正解は○○でした」を意味する字幕情報または音声等が付与されたシーンが再生されたとする。この場合、当該シーンから監視キーワードと一致するキーワード「正解」およびその後に出現するキーワード「○○でした」が抽出される。また、キーワード「○○でした」には、例えば図３のような辞書情報から、再生済みクラスである意味クラス「時間、過去」が付与される。そこで、出現判定部１０８は、監視キーワードと一致するキーワードの後に出現するキーワード「○○でした」に付与された意味クラスが「時間、過去」であると判定することができる。

意味クラスが「時間、過去」または「時間、現在完了」でない場合は（ステップＳ９０９：ＮＯ）、次に再生されるシーンからメタデータ抽出処理を繰り返す（ステップＳ９０２）。この場合は、監視情報が表す対象は実際にはまだ放送に出現していないと判断できるためである。

意味クラスが「時間、過去」または「時間、現在完了」である場合は（ステップＳ９０９：ＹＥＳ）、出現判定部１０８は、監視情報が表す対象が実際に放送に出現したと判定する。そして、出現判定部１０８は、監視情報に対応づけられた監視対象のチャンネルＩＤと、視聴中のチャンネルのチャンネルＩＤとが一致するか否かを判断する（ステップＳ９１０）。

チャンネルＩＤが一致しない場合は（ステップＳ９１０：ＮＯ）、通知部１０９が、監視情報を含むシーンが出現したことをユーザに通知する（ステップＳ９１１）。このように、本実施の形態では、放送メタデータ中に監視情報が出現し、かつ、意味クラス「時間、過去」または「時間、現在完了」のような再生済みクラスが付与されているキーワードが監視情報の前後に存在した場合にのみユーザに通知することができる。

ここで、通知部１０９による通知方法について説明する。図１０〜図１２は、通知部１０９によるシーン出現の通知方法の一例を示す図である。

図１０は、ユーザが現在視聴中のチャンネルの表示画面の下部に、別のチャンネルで所望のシーンが出現したことを表す通知メッセージ（「６チャンネルでＯＶＡの話題が始まりました」）を表示する通知方法の例を示している。

図１１は、ユーザが現在視聴中のチャンネルの表示画面の右下部に、監視対象が出現した別のチャンネルの映像を表示する通知方法の例を示している。図１０および図１１のような通知方法によれば、別チャンネルの視聴を妨げずに監視対象の出現を通知することができる。

図１２は、強制的に監視対象が出現した別のチャンネルの映像に切り替えることにより、監視対象の出現を通知する通知方法の例を示している。これにより、ユーザが監視対象が出現したシーンを見逃さずに効率的に視聴することができる。

なお、これらの通知方法のいずれを採用するかは、予めユーザがシステムに対して設定するように構成してもよいし、監視対象を設定するときにユーザに選択させてもよい。また、意味クラスの確信度の値に応じて通知方法を切り替えるように構成してもよい。

図９に戻り、通知部１０９がシーン出現を通知した後（ステップＳ９１１）、受付部１０７が、ユーザにより監視の終了が指定されたか否かを判断する（ステップＳ９１２）。監視終了の指定は、例えばリモコンの所定のボタンが押下されたことにより判定することができる。

監視終了が指定されていない場合は（ステップＳ９１２：ＮＯ）、まだ所望のシーンが出現していないと判断できるため、ステップＳ９０２に戻りさらに監視を継続する。監視終了が指定された場合は（ステップＳ９１２：ＹＥＳ）、出現判定部１０８は、該当する監視情報を監視情報記憶部１３２から削除する（ステップＳ９１３）。その後、ステップＳ９０１に戻り、他の監視情報が記憶されているか否かを判断して処理を繰り返す。

ステップＳ９１０で、チャンネルＩＤが一致すると判断された場合は（ステップＳ９１０：ＹＥＳ）、ユーザは監視対象を実際に視聴していると考えられるため、通知部１０９は通知を行わない。そして、出現判定部１０８が、該当する監視情報を監視情報記憶部１３２から削除し、ステップＳ９０１に戻って処理が繰り返される。

このように、本実施の形態にかかるシーン通知装置では、放送メタデータ中に監視情報が出現しても、過去、現在完了のような時間的な意味を表す意味クラスを含む再生済みクラスが付与されているキーワードが前後に存在した場合にのみユーザに通知することができる。これにより、予告が繰り返し表示される場合のように実際に監視対象が登場していないシーンでは通知を行わず、実際に登場した場合に正しく通知が行われるようになる。

キーワードを照合して監視対象の出現を判定するだけではなく、意味クラスを監視対象とすることができる。このため、上述した「この後大物俳優登場」という予告が出力される例のように、従来の方法ではキーワードのみでは検出できなかったシーンを適切に検出しユーザに通知することが可能となる。

次に、本実施の形態にかかるシーン通知装置のハードウェア構成について図１３を用いて説明する。図１３は、本実施の形態にかかるシーン通知装置のハードウェア構成を示す説明図である。

本実施の形態にかかるシーン通知装置は、ＣＰＵ（Central Processing Unit）５１などの制御装置と、ＲＯＭ（Read Only Memory）５２やＲＡＭ５３などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５４と、ＨＤＤ（Hard Disk Drive）、ＣＤ（Compact Disc）ドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置と、各部を接続するバス６１を備えており、通常のコンピュータを利用したハードウェア構成となっている。

本実施の形態にかかるシーン通知装置で実行されるシーン通知プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、本実施の形態にかかるシーン通知装置で実行されるシーン通知プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態にかかるシーン通知装置で実行されるシーン通知プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

また、本実施の形態のシーン通知プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

本実施の形態にかかるシーン通知装置で実行されるシーン通知プログラムは、上述した各部（再生部、メタデータ抽出部、キーワード抽出部、付与部、意味判定部、監視情報取得部、受付部、出現判定部、通知部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ５１（プロセッサ）が上記記憶媒体からシーン通知プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上述した各部が主記憶装置上に生成されるようになっている。

本実施の形態にかかるシーン通知装置の構成を示すブロック図である。 辞書記憶部に記憶される辞書情報のデータ構造の一例を示す図である。 辞書記憶部に記憶される辞書情報のデータ構造の別の例を示す図である。 本実施の形態における監視情報抽出処理の全体の流れを示すフローチャートである。 映像コンテンツに重畳して配信されている字幕情報の一例を示す図である。 意味クラスが付与されたキーワードの一例を示す図である。 監視情報を提示する表示画面の一例を示す図である。 監視情報を提示する表示画面の一例を示す図である。 本実施の形態におけるシーン通知処理の全体の流れを示すフローチャートである。 シーン出現の通知方法の一例を示す図である。 シーン出現の通知方法の一例を示す図である。 シーン出現の通知方法の一例を示す図である。 本実施の形態にかかるシーン通知装置のハードウェア構成を示す説明図である。

符号の説明

５１ ＣＰＵ
５２ ＲＯＭ
５３ ＲＡＭ
５４ 通信Ｉ／Ｆ
６１ バス
１００ シーン通知装置
１０１ 再生部
１０２ キーワード抽出部
１０３ 付与部
１０４ 意味判定部
１０５ 監視情報取得部
１０６ 表示部
１０７ 受付部
１０８ 出現判定部
１０９ 通知部
１２０ メタデータ抽出部
１２１ 付加情報抽出部
１２２ 画像認識部
１２３ 音声認識部
１３１ 辞書記憶部
１３２ 監視情報記憶部
７０１ 監視情報
７１１、７１２ キーワード
８０１ 監視情報
８１１、８１２ キーワード

Claims (14)

1. 時系列に再生可能な複数のシーンを含むコンテンツを再生する再生部と、
   再生された前記シーンから前記シーンに関するテキスト情報であるメタデータを抽出するメタデータ抽出部と、
   前記メタデータから複数のキーワードを抽出するキーワード抽出部と、
   前記キーワードそれぞれに対して前記キーワードの意味属性を表す意味クラスを付与する付与部と、
   前記キーワードに付与された意味クラスが、前記キーワードを抽出したシーンより後に再生されることを表す意味クラスである再生予定クラスであるか否かを判定する意味判定部と、
   前記意味判定部によって前記再生予定クラスが付与されたと判定された前記キーワードが存在する場合に、意味クラスが付与された前記キーワードのうち、前記再生予定クラスが付与されたキーワード以外の少なくとも１つのキーワードを、監視対象のキーワードである監視キーワードとして取得する取得部と、
   前記監視キーワードを抽出したシーンより後に再生されたシーンから抽出されたメタデータに、前記監視キーワードと、再生済みであることを表す意味クラスである再生済みクラスが付与されているキーワードとが含まれる場合に、前記監視キーワードを含むシーンが再生中のコンテンツに出現したと判定する出現判定部と、
   前記監視キーワードを含むシーンが出現したと判定された場合に、前記監視キーワードを含むシーンが出現したことを通知する通知部と、
   を備えたことを特徴とするシーン通知装置。
2. 前記取得部は、さらに、前記意味判定部によって前記再生予定クラスが付与されたと判定された前記キーワードが存在する場合に、意味クラスが付与された前記キーワードのうち、前記再生予定クラスが付与されたキーワード以外の少なくとも１つのキーワードに付与された意味クラスを、監視対象の意味クラスである監視クラスとして取得し、
   前記出現判定部は、前記監視キーワードを抽出したシーンより後に再生されたシーンから抽出されたメタデータに、前記監視クラスが付与されたキーワードと、前記再生済みクラスが付与されているキーワードと、が含まれる場合に、前記監視クラスが表す意味属性のキーワードを含むシーンが再生中のコンテンツに出現したと判定し、
   前記通知部は、前記監視クラスが表す意味属性のキーワードを含むシーンが出現したと判定された場合に、前記監視クラスが表す意味属性のキーワードを含むシーンが出現したことを通知すること、
   を特徴とする請求項１に記載のシーン通知装置。
3. キーワードと意味クラスとを対応づけた辞書情報を記憶する辞書記憶部をさらに備え、
   前記キーワード抽出部は、前記メタデータから前記辞書記憶部に記憶された前記辞書情報のキーワードと一致するキーワードを抽出し、
   前記付与部は、抽出したキーワードそれぞれに対して、抽出したキーワードと一致する前記辞書情報のキーワードに対応づけられた意味クラスを付与すること、
   を特徴とする請求項１に記載のシーン通知装置。
4. 前記辞書記憶部は、さらに前記意味クラスの確からしさを表す確信度を対応づけた前記辞書情報を記憶し、
   前記付与部は、抽出したキーワードそれぞれに対して、抽出したキーワードと一致する前記辞書情報のキーワードに対応づけられた意味クラスのうち、前記確信度が最大の意味クラスを付与すること、
   を特徴とする請求項３に記載のシーン通知装置。
5. キーワードが満たす条件と意味クラスとを対応づけた辞書情報を記憶する辞書記憶部をさらに備え、
   前記キーワード抽出部は、前記メタデータから前記辞書記憶部に記憶された前記辞書情報の条件を満たすキーワードを抽出し、
   前記付与部は、抽出したキーワードそれぞれに対して、抽出したキーワードが満たす条件に対応づけられた意味クラスを付与すること、
   を特徴とする請求項１に記載のシーン通知装置。
6. 前記辞書記憶部は、さらに前記意味クラスの確からしさを表す確信度を対応づけた前記辞書情報を記憶し、
   前記付与部は、抽出したキーワードそれぞれに対して、抽出したキーワードが満たす条件に対応づけられた意味クラスのうち、前記確信度が最大の意味クラスを付与すること、
   を特徴とする請求項５に記載のシーン通知装置。
7. 前記キーワード抽出部は、予め定められた出現形式で前記メタデータに出現するキーワードを抽出し、
   前記付与部は、前記キーワードそれぞれに対して、前記出現形式に応じて予め定められた意味クラスを付与すること、
   を特徴とする請求項１に記載のシーン通知装置。
8. 取得された前記監視キーワードを表示する表示部と、
   表示された前記監視キーワードのうちいずれかの前記監視キーワードの指定を受け付ける受付部と、をさらに備え、
   前記出現判定部は、前記監視キーワードを抽出したシーンより後に再生されたシーンから抽出されたメタデータに、指定が受け付けられた前記監視キーワードと、前記再生済みクラスが付与されているキーワードと、が含まれる場合に、前記監視キーワードを含むシーンが再生中のコンテンツに出現したと判定すること、
   を特徴とする請求項１に記載のシーン通知装置。
9. 前記再生部は、前記メタデータが付加された前記シーンを含む前記コンテンツを再生し、
   前記メタデータ抽出部は、前記シーンに付加された前記メタデータを前記シーンから抽出すること、
   を特徴とする請求項１に記載のシーン通知装置。
10. 前記再生部は、画像情報である前記シーンを含む映像コンテンツを再生し、
    前記メタデータ抽出部は、前記画像情報を画像認識した結果であるテキスト情報を前記メタデータとして抽出すること、
    を特徴とする請求項１に記載のシーン通知装置。
11. 前記再生部は、画像情報である前記シーンと、前記画像情報に対応する音声情報と、を含む映像コンテンツを再生し、
    前記メタデータ抽出部は、前記音声情報を音声認識し、認識結果であるテキスト情報を前記メタデータとして抽出すること、
    を特徴とする請求項１に記載のシーン通知装置。
12. 前記再生部は、音声情報である前記シーンを含む音声コンテンツを再生し、
    前記メタデータ抽出部は、前記音声情報を音声認識した結果であるテキスト情報を前記メタデータとして抽出すること、
    を特徴とする請求項１に記載のシーン通知装置。
13. 再生部が、時系列に再生可能な複数のシーンを含むコンテンツを再生する再生ステップと、
    メタデータ抽出部が、再生された前記シーンから前記シーンに関するテキスト情報であるメタデータを抽出するメタデータ抽出ステップと、
    キーワード抽出部が、前記メタデータから複数のキーワードを抽出するキーワード抽出ステップと、
    付与部が、前記キーワードそれぞれに対して前記キーワードの意味属性を表す意味クラスを付与する付与ステップと、
    意味判定部が、前記キーワードに付与された意味クラスが、前記キーワードを抽出したシーンより後に再生されることを表す意味クラスである再生予定クラスであるか否かを判定する意味判定ステップと、
    取得部が、前記再生予定クラスが付与されたと判定された前記キーワードが存在する場合に、意味クラスが付与された前記キーワードのうち、前記再生予定クラスが付与されたキーワード以外の少なくとも１つのキーワードを、監視対象のキーワードである監視キーワードとして取得する取得ステップと、
    出現判定部が、前記監視キーワードを抽出したシーンより後に再生されたシーンから抽出されたメタデータに、前記監視キーワードと、再生済みであることを表す意味クラスである再生済みクラスが付与されているキーワードとが含まれる場合に、前記監視キーワードを含むシーンが再生中のコンテンツに出現したと判定する出現判定ステップと、
    通知部が、前記監視キーワードを含むシーンが出現したと判定された場合に、前記監視キーワードを含むシーンが出現したことを通知する通知ステップと、
    を備えたことを特徴とするシーン通知方法。
14. コンピュータを、
    時系列に再生可能な複数のシーンを含むコンテンツを再生する再生部と、
    再生された前記シーンから前記シーンに関するテキスト情報であるメタデータを抽出するメタデータ抽出部と、
    前記メタデータから複数のキーワードを抽出するキーワード抽出部と、
    前記キーワードそれぞれに対して前記キーワードの意味属性を表す意味クラスを付与する付与部と、
    前記キーワードに付与された意味クラスが、前記キーワードを抽出したシーンより後に再生されることを表す意味クラスである再生予定クラスであるか否かを判定する意味判定部と、
    前記意味判定部によって前記再生予定クラスが付与されたと判定された前記キーワードが存在する場合に、意味クラスが付与された前記キーワードのうち、前記再生予定クラスが付与されたキーワード以外の少なくとも１つのキーワードを、監視対象のキーワードである監視キーワードとして取得する取得部と、
    前記監視キーワードを抽出したシーンより後に再生されたシーンから抽出されたメタデータに、前記監視キーワードと、再生済みであることを表す意味クラスである再生済みクラスが付与されているキーワードとが含まれる場合に、前記監視キーワードを含むシーンが再生中のコンテンツに出現したと判定する出現判定部と、
    前記監視キーワードを含むシーンが出現したと判定された場合に、前記監視キーワードを含むシーンが出現したことを通知する通知部と、
    として機能させるシーン通知プログラム。

Images