JP2008227909A - 映像検索装置 - Google Patents

Abstract

【課題】複数の映像コンテンツの中から、特定のシーンを関連付けた映像コンテンツ同士をリンクする、映像検索装置を提供する。
【解決手段】映像検索装置に、データベースとなるデータベース保持手段と、映像コンテンツのキーワードを検出するキーワード検出手段と、シーンを検出するシーン検出手段と、シーンごとのキーワードでリンク先を検索するリンク先検索手段を備える。映像検索装置はリンク先検索情報を用いてデータベースを検索することで、映像コンテンツのリンク先を検出することが可能となる。
【選択図】図１

Description

本発明は、放送記録・再生装置に関し、記録された複数の放送番組の同一キーワードを基に、複数の放送番組を関連付け再生する映像検索装置に関する。

近年、映像メディア分野では従来からのテレビジョン放送がアナログ放送からデジタル放送となり、高画質・高品質のハイビジョン放送がおこなうことができる。また、インターネットの高速化により、ネットワークによる映像配信という新しい映像メディアで、様々な映像コンテンツをユーザーは視聴することができる。

さらに、放送番組や映像コンテンツ等を記録する記録装置は、ハードディスクレコーダーやポータブルメディアプレーヤーに代表されるように、これらの機器に搭載されているハードディスクやフラッシュメモリー等の記録容量の大容量化が進んでいる。

これら映像メディア分野を取り巻くハードとソフトの進化によって、ユーザーは数多くの映像コンテンツを記録装置に記録することが可能となった。

従来の映像検索システムでは、ユーザーが記録装置に記録した膨大な映像コンテンツの中から、ユーザーが視聴したい映像コンテンツを選定するためのキーワードを入力し、電子番組案内情報からキーワードに基づいたコンテンツを自動的に選定する方法が提案されている。この電子番組案内は、地上デジタル放送波で伝送され、またインターネット等の通信回線を通して提供されており、最新のコンテンツの情報の提供、コンテンツ検索・予約機能などを実現させることが可能である。

また、他の構成で映像コンテンツを検索する方法として、インターネットを用いた方法が提案されている。近年のインターネットの普及により、放送番組等の内容に関する情報がインターネット上のウェブページで公開されており、ユーザーはインターネット上からでも、放送番組の内容に関する情報を取得することが可能である。放送番組の内容に関する情報だけでなく、感想や考察を提示している個人や俳優のウェブページや放送番組内で取り扱う商品を販売するウェブページ等、さまざまな形で存在している。

このようにインターネット上のホームページを利用して、ユーザーが入力するキーワードを基に放送番組を選定録画し、ユーザーが入力するキーワードで場面を検索する放送番組録画装置が提案されている。

図１９は、従来の映像再生システムをもつ放送番組録画装置の構成を示すブロック図である（例えば特許文献１）。従来の放送番組録画装置では、録画する対象となる放送番組が字幕情報を含む番組である場合は字幕情報から、字幕情報を含まない番組である場合は音声信号に含まれる音声を音声認識した音声認識情報から、ユーザーが入力した場面キーワードを検出し、この場面キーワードが検出された字幕情報、または音声認識情報に対応した場面の場面時刻情報を収集し、選択場面の候補として表示することで、ユーザーはこの場面キーワードに対応した場面を検索することが可能となる。
特開２００５−８０２４７号公報

ところで、従来の放送録画装置では、特定のキーワードに基づいた映像コンテンツの検索は実現されているが、特定の映像コンテンツ内にあるキーワードとその他複数の映像コンテンツ内にあるキーワードが一致する場合に映像コンテンツ同士を関連付けリンクさせることができる放送録画装置は実現されていない。

また、上記のような、記録された映像コンテンツから場面キーワードに対応した場面を検索し対応する候補を表示する放送録画装置では、ユーザーの入力する場面キーワードのみに対応した場面の検索に限られるため、番組録画部に記録されている複数の放送番組から同じ場面キーワードに係る検索しかできないという課題がある。

本発明の目的は、これらの課題を解決するために、映像コンテンツに含まれる情報を、例えば地上デジタル放送の場合、地上デジタル放送波に多重されている字幕情報、ＳＩ情報を用いて字幕情報に含まれる用語やＳＩ情報に含まれる映像コンテンツに係る情報をキーワードとして生成し、記録された放送番組の中から特定の映像コンテンツの内容を関連付け、さらに映像コンテンツに関連するウェブページをインターネットから検出し、ウェブページから映像コンテンツに関する用語や情報をキーワードとして入手し、映像コンテンツ同士をリンクすることができる映像検索装置を提供することである。

本発明に係る映像検索装置は、映像コンテンツの字幕情報またはＳＩ情報からキーワードを検出するキーワード検出手段と、映像コンテンツのシーンの切替わりを検出しシーン切替え情報として出力するシーン検出手段と、前記キーワード検出手段から出力されるキーワードと前記シーン検出手段で出力されるシーン切替え情報が入力され、シーンごとにキーワードを保持するキーワード保持手段と、前記キーワード保持手段に保持されているシーンごとのキーワードを検索し、異なるシーンであって、且つ、一致するキーワードを備えるシーンをリンク先と設定し、リンク先情報として出力するリンク先検出手段と、前記リンク先検索手段より出力されるリンク先情報を保持するリンク先情報保持手段とを備える。

また、本発明にかかる映像検索装置は、前記キーワード検索手段が、まず映像コンテンツに関する字幕情報とＳＩ情報からキーワードを検出し、前記シーン検出手段が前記キーワード検出手段より出力されるキーワードを用いて、映像コンテンツのシーンの切替わりを検出する。そしてシーンの切替わりを検出することで映像コンテンツ内でのシーンごとのキーワードが特定することができる。シーンごとのキーワードを基に、データベース内を検索することで、キーワードに関連するその他複数の映像コンテンツをシーン単位で検索する。

本発明によれば、特定の映像コンテンツを再生する際に、その映像コンテンツの字幕データを用いてキーワードを生成し、またシーンごとに含まれるキーワードを検出することで、複数の映像コンテンツの中からそのキーワードに関連するシーンを検索し、映像コンテンツ同士をリンクさせることで、ユーザーは視聴したいテーマや内容ごとに複数の映像コンテンツの中から断続的に視聴することができる映像検索装置を実現することが可能となる。また、キーワードを用いて映像コンテンツだけではなく、データベースよりキーワードに関連するウェブページの検索を行うことができる映像検索装置を実現することが可能となる。

以下本発明に係る映像検索装置について説明する。なお、本発明が適応される映像検索方法はこの例に特に限定されず、映像コンテンツを用いてその他の映像コンテンツを検索することを動作として持つものであれば、他の装置に同様に用いることができる。

また、本発明に係る映像検索装置については、日本における地上デジタルテレビジョン放送の放送方式であるＩＳＤＢ−Ｔ方式を受信する場合を例として説明するが、ＩＳＤＢ−Ｔ方式に限定されるものではなく、多重した情報を受信する映像検索装置であれば本発明を同様に適用することができる。

以下本発明を実施するための最良の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は本実施形態に係る映像検索装置１００の機能構成を示すブロック図である。

図１に示す映像検索装置１００は、ユーザー入力手段１０１、シーン検出手段１０２、リンク先検索手段１０３、リンク先表示・選択制御手段１０４、出力手段１０５、アンテナ１０６、放送番組受信手段１０７、キーワード検出手段１０８、データベース保持手段１０９、コントロール手段１１０、キーワード保持手段１１１、リンク先情報保持手段１１２を備える。

ユーザー入力手段１０１は、ユーザーが映像検索装置１００に対し、指定や設定といった操作を行う際に用いる入力手段であり、映像検索装置１００が判別できるようにするものである。例えば、テレビ機器等の操作で使用するリモコンや、パソコンで使用するキーボードやマウス等がユーザー入力手段１００に相当する。

アンテナ１０６はデジタル放送、例えば地上デジタルテレビジョン放送による放送波を受信するＵＨＦアンテナ等であり、放送番組受信手段１０７にＲＦ信号を出力する。

放送番組受信手段１０７は、アンテナ１０６より入力されるＲＦ信号からユーザー入力手段１０１より出力される信号に従ってチャンネルを選択すると共に、復調処理を行い、ＴＳ信号をデコードすることで映像信号および音声信号をデータベース保持手段１０９へ出力する。また、放送波に含まれ伝送される字幕情報やＳＩ情報等を含む放送番組情報を、ＴＳ信号デコード時に検出し、キーワード検出手段１０８へ出力する。

キーワード検出手段１０８は、放送番組受信手段１０７から入力される放送番組情報から字幕情報とＳＩ情報を抽出し、字幕キーワードとＳＩ情報キーワードをキーワード保持手段１１１に出力する。出力される字幕キーワードとＳＩ情報キーワードはデータベース保持手段１０９内に録画される映像コンテンツとともに関連付けられ記録する。

シーン検出手段１０２は、字幕キーワードをキーワード保持手段１１１より読み出し、映像コンテンツ内で複数回発生する各コンテンツ内容の間に発生する字幕キーワードを用いて、コンテンツ内容の切替わりとなるシーンを検出し、検出されたコンテンツ内容の切替わりに関する情報をシーン切替え情報としてキーワード保持手段１１１に出力する。シーン切替え情報は、シーン切替えの間に発生する字幕キーワードとＳＩ情報キーワードと共に関連付け記録する。

リンク先検索手段１０３は、キーワード保持手段１１１よりシーン別の字幕キーワードを読み出し、データベース保持手段１０９に保持されているその他複数の映像コンテンツに係るシーン別のキーワードを検索し、検索結果のリンク先情報をリンク先情報保持手段１１２に出力する。

データベース保持手段１０９は、録画される映像コンテンツを保持する。また通信回線と接続し、外部機器および外部データベースと接続が可能とする。

リンク先表示・選択制御手段１０４は、リンク先検索手段１０３より出力されるリンク先情報をユーザーに提示し、提示された情報を基にユーザーは、ユーザー入力手段１０１よりリンク先となるデータベース保持手段１０９に記録されている映像コンテンツを指定する。

出力手段１０５は、メディア保持手段１０８に記録されている映像コンテンツを再生する際に出力される映像信号および音声信号を映像出力および音声出力するための手段である。

コントロール手段１１０は映像検索装置１００の全体の制御および状態の監視を行う。

次に本実施の形態でのキーワード検出手段１０８について図２を用いて説明する。キーワード検出手段１０８は、デジタル放送波に多重され伝送される放送番組情報からキーワードを検出する。図２はキーワード情報検出手段１０８の構成を示しており、ＳＩ情報抽出部２０１、字幕情報抽出部２０２、字幕表示時刻抽出部２０３、ＳＩ情報キーワード生成部２０４、字幕情報キーワード生成部２０５から構成される。ＳＩ情報抽出部２０１は放送番組情報に含まれるＳＩ情報を抽出し、ＳＩ情報キーワード生成部２０４に出力する。字幕情報抽出部２０２は放送番組情報に含まれる字幕情報を抽出し、字幕情報キーワード生成部２０５に出力する。字幕表示時刻抽出部２０３は、放送番組内で現れる字幕表示の表示時刻を字幕情報に関連付けられた時間情報として抽出し、字幕情報キーワード生成部２０５に出力する。ＳＩ情報キーワード生成部２０１は、入力される放送時間情報、放送局チャンネル情報、ジャンル分類情報、出演者情報、番組内容等を、ＳＩ情報キーワードとして生成し、キーワード保持手段１１１に出力する。

図３にＳＩ情報キーワードの抜粋例を示す。ＳＩ情報キーワードはＳＩ情報より抽出されたデータを図３のようにキーワードとして生成され、＜放送番組名＞と、＜放送開始時刻＞と、＜放送終了時刻＞と、＜放送局チャンネル＞と、＜ジャンル分類＞と、＜出演者＞と、＜放送番組内容＞がそれぞれ記録される。例えば図３に示すように、午前１０時からのワイドショーの場合、＜放送番組名＞は「１０時の生ワイド」、＜放送開始時刻＞は「１０：００」、＜放送終了時刻＞は「１３：００」、＜放送局チャンネル＞は「地上Ｄ ０４１」、＜ジャンル分類＞は「情報／ワイドショー」、＜出演者＞は「大家彰浩 小畠豊」、＜放送番組内容＞は「どこよりも早いお昼のニュース」と生成されている。

字幕情報キーワード生成部２０５は、入力される字幕情報と時間情報を字幕表示時刻ごとに字幕内容の一般用語のみを表した字幕キーワードとして生成し、キーワード保持手段１１１に出力する。

図４は字幕キーワードの抜粋例を示す。字幕キーワードは字幕表示時刻と字幕データとを関連付けた検出データであり、字幕表示時刻と表示字幕がそれぞれ表示される。例えば図４に示すように、放送番組内で、「○×電気店では、薄型テレビと省エネ家電が好調で、前年と比べ売上が１２０％増となりました。次に、自動車関連株は、原油高の」という内容の字幕が表示される場合、字幕が表示される時刻１０：０１：１５では「○×電気店」、「薄型テレビ」、時刻１０：０１：１７では「省エネ家電」、「好調」、「前年」、時刻１０：０１：２０では「売上」、「１２０％増」、時刻１０：０１：２２では「自動車関連株」、「原油高」というように、字幕情報を字幕が表示される時刻の単位ごとに分けられ生成される。

なお、キーワード検出手段１０８で検出され、キーワード保持手段１１１に記録されるキーワードは、キーワードの生成対象となるデータベース保持手段に記録されている映像コンテンツの映像信号と音声信号に関連付けるものとする。

なお、本実施の形態では、映像コンテンツを録画する際、映像信号およびをデータベース保持手段１０９に記録していくのと同時に録画対象となる映像コンテンツのキーワードである字幕キーワードとＳＩ情報キーワードも随時キーワード検出手段１０８によって生成し、キーワード保持手段１１１に出力するものとする。

なお、現在放映している映像コンテンツを視聴しながら随時キーワード検出手段１０８によって字幕キーワードとＳＩ情報キーワードを生成すことも可能とする。

次に、本実施の形態でのシーン検出手段１０２について図５を用いて説明する。シーン検出手段１０２は、映像コンテンツよりコンテンツ内容の切替わりを検出する手段である。シーン検出手段１０２は、データベース保持手段１０９に保持される映像コンテンツのコンテンツ内容の切替わり箇所となるシーンを検出するため、映像コンテンツに係る字幕キーワードをキーワード保持手段１１１より読み出し、字幕情報が表示される時刻と字幕情報に含まれる用語からコンテンツ内容の切替わりを検出する。例えば、図５では保持される映像コンテンツが時刻１２：００：１０から放映された場合を例とする。まず本映像コンテンツは時刻１２：００：１０から放映が開始される。時刻１２：０１：２０から図５中の内容１のニュースが時刻１２：０２：１０まで放映され、時刻１２：０２：１３から図５中の内容２のニュースが時刻１２：０２：４５まで放映される。この映像コンテンツに関する字幕キーワードは図６に示している。内容１のニュースで出てくる字幕キーワードでは、「雨」、「大雨」、「南部全域」、「土砂崩れ」等の用語が複数回現れる。また内容２のニュースでは、「ＡＢ」、「４か国」、「協議」、「再開」、「努力」等の用語が複数回現れる。これら複数回現れる字幕キーワードのうち最初に字幕情報が表示される時刻と最後に表示される時刻より、コンテンツ内容の切替わり箇所となるシーンの時間が限定され、コンテンツ内容の開始時刻と終了時刻をシーン切替え情報としてキーワード保持手段１０９に追加する。

なお、データベース保持手段１０９で映像コンテンツのシーンの切替わり時刻情報を、インターネットを通じてウェブページより入手することも可能である。この場合、さらに高精度なシーン切替えの判定が実現可能である。

例えば、図７に映像コンテンツのシーン切替わり時刻情報のデータの抜粋例を示す。このデータはデータサーバ保持手段１０９が映像コンテンツのシーンの切替わり時刻を含む情報が書かれたウェブページを保持し、図７に示すように例えば、時刻１２：００：１０に「オープニング」、時刻１２：００：２５に「ＣＭ」、時刻１２：０１：２０に「南部全域で大雨」、時刻１２：０２：１３に「Ａ，Ｂ両国が４か国協議再開に向けて新たな動き」というように映像コンテンツのシーンの切替わり時刻とそのシーンの内容のテーマが書かれている。このシーン切替わり時刻と字幕キーワード内の字幕表示時間情報を対応させることで、１つのまとまったシーン内に表示される字幕キーワードを高い精度で検出することが可能となる。

次に、本実施の形態でのリンク先検出手段１０３について図８を用いて説明する。キーワード保持手段１１１には、映像コンテンツに係るシーンごとの字幕キーワードが保持されている。リンク先検索手段１０３は、キーワード保持手段１１１に保持されている特定の映像コンテンツに係るシーンごとの字幕キーワードを基にキーワード保持手段１１１に保持されているその他複数の映像コンテンツに係るシーンごとの字幕キーワードの中から、少なくとも１つ以上一致する字幕キーワードを持つ映像コンテンツを検索する。一致する字幕キーワードがあった場合は、当該一致する映像コンテンツがリンク先であることを示すリンク先情報をリンク先情報保持手段１１２に記録する。例えば、図８では、映像コンテンツ１のリンク先を検索する場合、キーワード保持手段１１１の映像コンテンツ１に係るキーワードのシーンごとの字幕キーワードを用いて検索を行い、映像コンテンツ１のシーン１の字幕キーワードでは、映像コンテンツ１１に係るキーワードのシーン８の字幕キーワードが、映像コンテンツ１のシーン２の字幕キーワードは映像コンテンツ２５に係るキーワードのシーン３の字幕キーワードが、それぞれ検索結果として検出される。そしてこの検索結果であるリンク先となる映像コンテンツをリンク先検索情報としてリンク先情報記録手段１１２に出力する。

なお、リンク先情報保持手段１１２には検索結果先の字幕キーワードと同時にＳＩ情報キーワードを関連付けて出力する。

なお、リンク先検索手段１０３は、キーワード保持手段１１１に記録されている特定の映像コンテンツに係るＳＩ情報キーワードを基に、キーワード保持手段１１１に記録されているその他複数の映像コンテンツに係るＳＩ情報キーワードの中から、ＳＩ情報キーワードが一致する映像コンテンツ、例えば同じジャンル分類、同じ出演者、同じ放送局チャンネル等で限定することで、決められた検索範囲において映像コンテンツの検索をすることも可能である。

なお、リンク先情報検索手段１０３は、キーワード保持手段１１１に保持されている特定の映像コンテンツに係るシーンごとの字幕キーワードを基にデータベース保持手段１０９から外部のデータベースに対して検索を行うことが可能であり、例えばウェブページ等を検索することが可能である。この場合、例えばシーンごとの字幕キーワード用いて検索ウェブサイトで検索を行い、検索結果として得られるＵＲＬ等を含む情報をリンク先情報保持手段１１２に出力する。

なお、リンク先情報検索手段１０３は、キーワード保持手段１１１に随時記録している、特定の映像コンテンツで生成される字幕キーワードを基にデータベース保持手段１０９から外部のデータベースに対して検索を行うことも可能とし、例えば現在放映中の映像コンテンツを視聴しながら随時キーワード検出手段１０８によって生成される字幕キーワードを用いてデータベース保持手段１０９からデータベース検索を行うことでも同様の効果が得られる。

なお、リンク先検索手段１０３は、キーワード保持手段１１１に記録されている特定の映像コンテンツに係るＳＩ情報キーワードを基に、データベース保持手段１０９から外部のデータベースに対して検索を行うことが可能であり、例えばウェブページ等を検索することが可能である。この場合、例えばジャンルに関する検索、例えば出演者に関する検索、例えば映像コンテンツを放映する放送局に関する検索が可能である。

次に、データベース保持手段１０９について説明する。データベース保持手段１０９では、映像コンテンツをデータベース保持手段１０９に記録する場合、放送番組受信手段１０７より入力される映像コンテンツの映像信号と音声信号を記録する。映像コンテンツをデータベース保持手段１０９より読み出す場合、保持されている複数の映像コンテンツの中から読み出し指定のある映像コンテンツの映像信号と音声信号を出力手段１０５に出力する。また、キーワード保持手段１１１より入力されるキーワードを用いて、通信回線で接続されている外部機器および外部データベースより関連する情報やウェブページ等を入手し、リンク先情報保持手段１１２に出力する。

なお、リンク先検索手段１０３で生成されるリンク先検索情報に基づいてデータベース保持手段１０９より映像コンテンツをシーン別に読み出す場合、データベース保持手段１０９に保持されている映像信号および音声信号とキーワード保持手段１１１に保持されているキーワードに含まれる字幕表示時刻情報は関連付けられている。したがって、リンク先検索情報として指定される映像コンテンツのシーン開始時刻と字幕表示時刻が対応する映像信号および音声信号を出力手段に出力することが可能である。

なお、データベース保持手段１０９に対して記録や読み出しの指定は、ユーザー入力手段１０１よりユーザーによって入力される指示の基づくものとする。

次に、図９を用いて、リンク先表示・選択制御手段１０４について説明する。リンク先表示・選択制御手段１０４は、データベース保持手段１０９に保持されている映像コンテンツを読み出す際、再生映像コンテンツに係るリンク先情報をリンク先情報保持１１２より読み出して、リンク先表示情報を出力手段１０５に出力する。図９は出力手段１０５より表示されるリンク先表示の一例である。図９は再生映像コンテンツの映像を表示する表示ウィンドウａと、検索結果となる映像コンテンツのリンク先情報を表示する表示ウィンドウｂと、検索結果となるＵＲＬを表示する表示ウィンドウｃと、同じジャンル分類を関連情報として表示する表示ウィンドウｄで構成している。表示ウィンドウｂと表示ウィンドウｄにおいてリンク先を指す下線部でひかれた文字列をユーザー入力手段１０１で指定すると、対応するリンク先となる映像コンテンツのシーンがデータベース保持手段１０９より読み出され、表示ウィンドウａに表示される。そして読み出される映像コンテンツに係る検索結果となるリンク先情報は読み出され再生する映像コンテンツに関する情報に切替えられ、表示ウィンドウｂと表示ウィンドウｃと表示ウィンドウｄに表示する。表示ウィンドウｃにおいてリンク先を指す下線部でひかれた文字列を、ユーザー入力手段１０１で指定すると、対応するリンク先となるウェブページが表示ウィンドウａに表示される。

なお、表示ウィンドウｂと表示ウィンドウｄに表示するそれぞれのリンク先検索情報は、リンク先情報保持手段１１２に保持されているリンク先情報に係るキーワードのＳＩ情報キーワードの放映開始時刻情報を用いて、日時が新しい順番に表示する。

なお、表示ウィンドウｃに表示するリンク先検索情報は、参照先のウェブページの更新時刻を用いて、日時が新しい順番に表示する。

このように本発明によれば、映像コンテンツの字幕データよりシーンごとのキーワードを生成し、そのキーワードを用いて他の映像コンテンツ同士のリンクを作成することができる映像検索装置を提供することが可能となる。

本実施の形態では、キーワード検出手段１０８がキーワード検出手段に相当し、シーン検出手段１０２がシーン検出手段に相当し、キーワード保持手段１１１がキーワード保持手段に相当し、リンク先検出手段１０３がリンク先検出手段に相当し、リンク先情報保持手段１１２がリンク先情報保持手段に相当し、リンク先表示・選択制御手段１０４がリンク先表示・選択制御手段に相当し、データベース保持手段１０９がデータベース保持手段に相当する。

（実施の形態２）
図１０は本実施形態に係る映像検索装置１０００の機能構成を示すブロック図である。

図１０に示す映像検索装置１０００は、ユーザー入力手段１００１、シーン検出手段１００２、リンク先検索手段１００３、リンク先表示・選択制御手段１００４、出力手段１００５、アンテナ１００６、放送番組受信手段１００７、キーワード検出手段１００８、データベース保持手段１００９、コントロール手段１０１０、キーワード保持手段１０１１、リンク先情報保持手段１０１２を備える。

ユーザー入力手段１００１は、ユーザーが映像検索装置１０００に対し、指定や設定といった操作を行う際に用いる入力手段であり、映像検索装置１０００が判別できるようにするものである。例えば、テレビ機器等の操作で使用するリモコンや、パソコンで使用するキーボードやマウス等がユーザー入力手段１０００に相当する。

アンテナ１００６はデジタル放送、例えば地上デジタルテレビジョン放送による放送波を受信するＵＨＦアンテナ等であり、放送番組受信手段１００７にＲＦ信号を出力する。

放送番組受信手段１００７は、アンテナ１００６より入力されるＲＦ信号からユーザー入力手段１００１より出力される信号に従ってチャンネルを選択すると共に復調処理を行い、ＴＳ信号をデコードすることで映像信号および音声信号をデータベース保持手段１００９へ出力する。また、放送波に含まれ伝送される字幕情報やＳＩ情報等を含む放送番組情報を、ＴＳ信号デコード時に検出し、キーワード検出手段１００８へ出力する。

キーワード検出手段１００８は、放送番組受信手段１００７から入力される放送番組情報から字幕情報とＳＩ情報を抽出し、字幕キーワードとＳＩ情報キーワードをキーワード保持手段１０１１に出力する。出力される字幕キーワードとＳＩ情報キーワードはデータベース保持手段１００９内に録画される映像コンテンツとともに関連付けられ記録する。

シーン検出手段１００２は、字幕キーワードをキーワード保持手段１０１１より読み出し、映像コンテンツ内で複数回発生する各コンテンツ内容の間に発生する字幕キーワードを用いて、コンテンツ内容の切替わりとなるシーンを検出し、検出されたコンテンツ内容の切替わりに関する情報をシーン切替え情報としてキーワード保持手段１０１１に出力する。シーン切替え情報は、シーン切替えの間に発生する字幕キーワードとＳＩ情報キーワードと共に関連付け記録する。

リンク先検索手段１００３は、キーワード保持手段１０１１よりシーン別の字幕キーワードを読み出し、データベース保持手段１００９に保持されているその他複数の映像コンテンツに係るシーン別のキーワードを検索し、検索結果のリンク先情報をリンク先情報保持手段１０１２に出力する。

データベース保持手段１００９は、録画される映像コンテンツを保持する。また通信回線と接続し、外部機器および外部データベースと接続が可能とする。

リンク先表示・選択制御手段１００４は、リンク先検索手段１００３より出力されるリンク先情報をユーザーに提示し、提示された情報を基にユーザーは、ユーザー入力手段１００１よりリンク先となるデータベース保持手段１００９に記録されている映像コンテンツを指定する。

出力手段１００５は、メディア保持手段１００８に記録されている映像コンテンツを再生する際に出力される映像信号および音声信号を映像出力および音声出力するための手段である。

コントロール手段１０１０は映像検索装置１０００の全体の制御および状態の監視を行う。

次にキーワード検出手段１００８について図１１を用いて説明する。キーワード検出手段１００８は、デジタル放送波に多重され伝送される放送番組情報からキーワードを検出する。図１１はキーワード情報検出手段１００８の構成を示しており、ＳＩ情報抽出部１１０１、字幕情報抽出部１１０２、字幕表示時刻抽出部１１０３、ＳＩ情報キーワード生成部１１０４、字幕情報キーワード生成部１１０５から構成される。ＳＩ情報抽出部１１０１は放送番組情報に含まれるＳＩ情報を抽出し、ＳＩ情報キーワード生成部１１０４に出力する。字幕情報抽出部１１０２は放送番組情報に含まれる字幕情報を抽出し、字幕情報キーワード生成部１１０５に出力する。字幕表示時刻抽出部１１０３は、放送番組内で現れる字幕表示の表示時刻を字幕情報に関連付けられた時間情報として抽出し、字幕情報キーワード生成部１１０５に出力する。ＳＩ情報キーワード生成部１１０１は、入力される放送時間情報、放送局チャンネル情報、ジャンル分類情報、出演者情報、番組内容等を、ＳＩ情報キーワードとして生成し、キーワード保持手段１０１１に出力する。

図１２にＳＩ情報キーワードの抜粋例を示す。ＳＩ情報キーワードはＳＩ情報より抽出されたデータを図１２のようにキーワードとして生成され、＜放送番組名＞と、＜放送開始時刻＞と、＜放送終了時刻＞と、＜放送局チャンネル＞と、＜ジャンル分類＞と、＜出演者＞と、＜放送番組内容＞がそれぞれ記録される。例えば図１２に示すように、午前１０時からのワイドショーの場合、＜放送番組名＞は「１０時の生ワイド」、＜放送開始時刻＞は「１０００」、＜放送終了時刻＞は「１３：００」、＜放送局チャンネル＞は「地上Ｄ ０４１」、＜ジャンル分類＞は「情報／ワイドショー」、＜出演者＞は「大家彰浩 小畠豊」、＜放送番組内容＞は「どこよりも早いお昼のニュース」と生成されている。

字幕情報キーワード生成部１１０５は、入力される字幕情報と時間情報を字幕表示時刻ごとに字幕内容の一般用語のみを表した字幕キーワードとして生成し、キーワード保持手段１０１１に出力する。

図１３は字幕キーワードの抜粋例を示す。字幕キーワードは字幕表示時刻と字幕データとを関連付けた検出データであり、字幕表示時刻と表示字幕がそれぞれ表示される。例えば図１３に示すように、放送番組内で、「○×電気店では、薄型テレビと省エネ家電が好調で、前年と比べ売上が１２０％増となりました。次に、自動車関連株は、原油高の」という内容の字幕が表示される場合、字幕が表示される時刻１０：０１：１５では「○×電気店」、「薄型テレビ」、時刻１０：０１：１７では「省エネ家電」、「好調」、「前年」、時刻１０：０１：２０では「売上」、「１２０％増」、時刻１０：０１：２２では「自動車関連株」、「原油高」というように、字幕情報を字幕が表示される時刻の単位ごとに分けられ生成される。

なお、キーワード検出手段１００８で検出され、キーワード保持手段１０１１に記録されるキーワードは、キーワードの生成対象となるデータベース保持手段に記録されている映像コンテンツの映像信号と音声信号に関連付けるものとする。

なお、本実施の形態では、映像コンテンツを録画する際、映像信号およびをデータベース保持手段１００９に記録していくのと同時に録画対象となる映像コンテンツのキーワードである字幕キーワードとＳＩ情報キーワードも随時キーワード検出手段１００８によって生成し、キーワード保持手段１０１１に出力するものとする。

なお、現在放映している映像コンテンツを視聴しながら随時キーワード検出手段１００８によって字幕キーワードとＳＩ情報キーワードを生成すことも可能とする。

次に、本実施の形態でのシーン検出手段１００２について図１４を用いて説明する。映像コンテンツよりコンテンツ内容の切替わりを検出するシーン検出手段１００２は、データベース保持手段１００９に保持される映像コンテンツのコンテンツ内容の切替わり箇所となるシーンを検出するため、映像コンテンツに係る字幕キーワードをキーワード保持手段１０１１より読み出し、字幕情報が表示される時刻と字幕情報に含まれる用語からコンテンツ内容の切替わりを検出する。例えば、図１４では保持される映像コンテンツが時刻１２：００：１０から放映された場合を例とする。まず本映像コンテンツは時刻１２：００：１０から放映が開始される。時刻１２：０１：２０から図１４中の内容１のニュースが時刻１２：０２：１０まで放映され、時刻１２：０２：１３から図１４中の内容２のニュースが時刻１２：０２：４５まで放映される。この映像コンテンツに関する字幕キーワードは図１５に示している。内容１のニュースで出てくる字幕キーワードでは、「雨」、「大雨」、「南部全域」、「土砂崩れ」等の用語が複数回現れる。また内容２のニュースでは、「ＡＢ」、「４か国」、「協議」、「再開」、「努力」等の用語が複数回現れる。これら複数回現れる字幕キーワードのうち最初に字幕情報が表示される時刻と最後に表示される時刻より、コンテンツ内容の切替わり箇所となるシーンの時間が限定され、コンテンツ内容の開始時刻と終了時刻をシーン切替え情報としてキーワード保持手段１００９に追加する。

なお、データベース保持手段１００９で映像コンテンツのシーンの切替わり時刻情報をインターネットを通じてウェブページより入手することも可能である。この場合、さらに高精度なシーン切替えの判定が実現可能である。

例えば、図１６に映像コンテンツのシーン切替わり時刻情報のデータの抜粋例を示す。このデータはデータサーバ保持手段１００９が映像コンテンツのシーンの切替わり時刻を含む情報が書かれたウェブページを保持し、図１６に示すように例えば、時刻１２：００：１０に「オープニング」、時刻１２：００：２５に「ＣＭ」、時刻１２：０１：２０に「南部全域で大雨」、時刻１２：０２：１３に「Ａ，Ｂ両国が４か国協議再開に向けて新たな動き」というように映像コンテンツのシーンの切替わり時刻とそのシーンの内容のテーマが書かれている。このシーン切替わり時刻と字幕キーワード内の字幕表示時間情報を対応させることで、１つのまとまったシーン内に表示される字幕キーワードを高い精度で検出することが可能となる。

次に本実施の形態に係るリンク先検出手段１００３について図１７を用いて説明する。キーワード保持手段１０１１には特定の映像コンテンツに係るシーンごとの字幕キーワードが保持されている。リンク先検索手段１００３は、映像コンテンツがデータベース保持手段１００９に記録された後、一定時間後にデータベース保持手段１００９を通じてデータベースを検索し、リンク先情報を生成する。データベースの検索とは、例えば、ウェブページ等を検索することである。例えば、図１７は映像コンテンツがデータベース保持手段１００９に記録された後の映像コンテンツの動作をあらわしており、経過時間１では、最初のデータベース検索を行い、リンク先情報保持手段１０１２に出力し、経過時間２では、経過時間１で検索された検索結果と比較し、同じリンク先情報で内容の更新があれば内容の上書きを行いリンク先情報保持手段１０１２に出力し、更新がなければ内容の上書きを行わない。また、経過時間１で検索された結果とは異なるリンク先情報が検索結果として得られた場合、新規のリンク先情報として追加し、リンク先情報保持手段１０１２に出力し、経過時間１で検索した結果が今回得られなかった場合、経過時間１で得られたリンク先情報を削除し、リンク先情報保持手段１０１２に出力する。

さらに、リンク先検索手段１００３は、映像コンテンツがデータベース保持手段１００９より読み出され再生されるとき、キーワード保持手段１０１１に保持されている特定の映像コンテンツに係るシーンごとの字幕キーワードを基にデータベース保持手段１００９からデータベース検索を行うことが可能であり、例えば図１７の映像コンテンツ再生開始では経過時間２で検索された検索結果と比較し、同じリンク先情報で内容の更新があれば内容の上書きを行いリンク先情報保持手段１０１２に出力し、なければ何も行わない。また、経過時間２で検索された結果とは異なるリンク先情報が検索結果として得られた場合、新規リンク先情報として追加し、リンク先情報保持手段１０１２に出力し、経過時間２で検索した結果が今回得られなかった場合、経過時間２で得られたリンク先情報を削除し、リンク先情報保持手段１０１２に出力する。

データベース検索として、例えばウェブページ等を検索することが可能である。この場合、映像コンテンツが再生される前に検索された検索結果と比較し、同じリンク先情報で内容の更新があれば内容の上書きを行いリンク先情報保持手段１０１２に出力し、更新がなければ内容の上書きを行わずリンク先情報保持手段１０１２に出力する。また、再生前とは異なるリンク先情報が検索結果として得られた場合、新規のリンク先情報として追加し、リンク先情報保持手段１０１２に出力し、再生前に検索した結果が今回得られなかった場合、一定時間前で得られたリンク先情報を削除し、リンク先情報保持手段１０１２に出力する。

次に、データベース保持手段１００９について説明する。データベース保持手段１００９では、映像コンテンツをデータベース保持手段１００９に記録する場合、放送番組受信手段１００７より入力される映像コンテンツの映像信号と音声信号を記録する。映像コンテンツをデータベース保持手段１００９より読み出す場合、保持されている複数の映像コンテンツの中から読み出し指定のある映像コンテンツの映像信号と音声信号を出力手段１００５に出力する。また、キーワード保持手段１０１１より入力されるキーワードを用いて、通信回線で接続されている外部機器および外部データベースより関連する情報やウェブページ等を入手し、リンク先情報保持手段１０１２に出力する。

なお、リンク先検索手段１００３で生成されるリンク先検索情報に基づいてデータベース保持手段１００９より映像コンテンツをシーン別に読み出す場合、データベース保持手段１００９に保持されている映像信号および音声信号とキーワード保持手段１０１１に保持されているキーワードに含まれる字幕表示時刻情報は関連付けられているので、リンク先検索情報として指定される映像コンテンツのシーン開始時刻と字幕表示時刻が対応する映像信号および音声信号を出力手段に出力することが可能である。

なお、データベース保持手段１００９に対して記録や読み出しの指定は、ユーザー入力手段１００１よりユーザーによって入力される指示の基づくものとする。

次に、図１８を用いて、リンク先表示・選択制御手段１００４について説明する。リンク先表示・選択制御手段１００４は、データベース保持手段１００９に保持されている映像コンテンツを読み出す際、再生映像コンテンツに係るリンク先情報をリンク先情報保持１０１２より読み出し、リンク先表示情報を出力手段１００５に出力する。図１８は出力手段１００５より表示されるリンク先表示の一例である。図１８は再生映像コンテンツの映像を表示する表示ウィンドウａと、検索結果となる映像コンテンツのリンク先情報を表示する表示ウィンドウｂと、検索結果となるウェブページを参照する文字列を表示する表示ウィンドウｃと、同じジャンル分類を関連情報として表示する表示ウィンドウｄで構成している。表示ウィンドウｂと表示ウィンドウｄにおいてリンク先を指す下線部でひかれた文字列をユーザー入力手段１００１で指定すると、対応するリンク先となる映像コンテンツのシーンがデータベース保持手段１００９より読み出され、表示ウィンドウａに表示される。そして読み出される映像コンテンツに係る検索結果となるリンク先情報は読み出され再生する映像コンテンツに関する情報に切替えられ、表示ウィンドウｂと表示ウィンドウｃと表示ウィンドウｄに表示する。表示ウィンドウｃにおいてリンク先を指す下線部でひかれた文字列を、ユーザー入力手段１００１で指定すると、対応するリンク先となるウェブページが表示ウィンドウａに表示される。

なお、表示ウィンドウｂと表示ウィンドウｄに表示するそれぞれのリンク先検索情報は、リンク先情報保持手段１１２に保持されているリンク先情報に係るキーワードのＳＩ情報キーワードの放映開始時刻情報を用いて、日時が新しい順番に表示する。

なお、表示ウィンドウｃに表示するリンク先検索情報は、参照先のウェブページの更新時刻を用いて、日時が新しい順番に表示する。

このように本発明によれば、キーワードによってデータベースを検索し、検索結果であるリンク先検索情報を、特定の期間および映像コンテンツ再生時に検索し、リンク先情報を更新することで、最新のリンク先情報を得ることができる。

本実施の形態では、キーワード検出手段１００８がキーワード検出手段に相当し、シーン検出手段１００２がシーン検出手段に相当し、キーワード保持手段１０１１がキーワード保持手段に相当し、リンク先検出手段１００３がリンク先検出手段に相当し、リンク先情報保持手段１０１２がリンク先情報保持手段に相当し、リンク先表示・選択制御手段１００４がリンク先表示・選択制御手段に相当し、データベース保持手段１００９がデータベース保持手段に相当する。

本発明に係る映像検索装置は、キーワードごとに映像コンテンツ同士をリンクさせることが可能であり、マルチメディアサーバー等複数の映像コンテンツより特定のシーンを検出する手段として利用することが可能である。

本発明の実施の形態１による映像検索装置の構成を示すブロック図 図１に示す放送番組受信手段の構成を示すブロック図 図２に示すＳＩ情報キーワード生成部生成されるＳＩ情報キーワードの例を示す模式図 図２に示す字幕情報キーワード生成部生成される字幕キーワードの例を示す模式図 図１に示すシーン検出手段の字幕データに基づくシーン検出方法を説明するための説明図 図１に示すシーン検出手段で生成されるシーン別の字幕キーワードを説明するための説明図 図１に示すデータベース保持手段が保持する映像コンテンツのシーン切替わり時刻情報のデータの抜粋例を示す模式図 図１に示すリンク先検索手段の動作を説明するための説明図 図１に示すリンク先表示・選択制御手段で出力されるリンク先検索情報の表示の例を示すイメージ図 本発明の実施の形態２による映像検索装置の構成を示すブロック図 図１０に示す放送番組受信手段の構成を示すブロック図 図１１に示すＳＩ情報キーワード生成部生成されるＳＩ情報キーワードの例を示す模式図 図１１示す字幕情報キーワード生成部生成される字幕キーワードの例を示す模式図 図１０に示すシーン検出手段の字幕データに基づくシーン検出方法を説明するための説明図 図１０に示すシーン検出手段で生成されるシーン別の字幕キーワードを説明するための説明図 図１０に示すデータベース保持手段が保持する映像コンテンツのシーン切替わり時刻情報のデータの抜粋例を示す模式図 図１０に示すリンク先検索手段の動作を説明するための説明図 図１０に示すリンク先表示・選択制御手段で出力されるリンク先検索情報の表示の例を示すイメージ図 従来の放送番組録画装置の構成を示すブロック図

符号の説明

１００ 映像検索装置
１０１ ユーザー入力手段
１０２ シーン検出手段
１０３ リンク先検索手段
１０４ リンク先表示・選択制御手段
１０５ 出力手段
１０６ 放送用受信アンテナ
１０７ 放送番組受信手段
１０８ キーワード検出手段
１０９ データベース保持手段
１１０ コントロール手段
１１１ キーワード保持手段
１１２ リンク先情報保持手段
２０１ ＳＩ情報抽出部
２０２ 字幕情報抽出部
２０３ 字幕表示時刻抽出部
２０４ ＳＩ情報キーワード生成部
２０５ 字幕情報キーワード生成部
１０００ 映像検索装置
１００１ ユーザー入力手段
１００２ シーン検出手段
１００３ リンク先検索手段
１００４ リンク先表示・選択制御手段
１００５ 出力手段
１００６ 放送用受信アンテナ
１００７ 放送番組受信手段
１００８ キーワード検出手段
１００９ データベース保持手段
１０１０ コントロール手段
１０１１ キーワード保持手段
１０１２ リンク先情報保持手段
１１０１ ＳＩ情報抽出部
１１０２ 字幕情報抽出部
１１０３ 字幕表示時刻抽出部
１１０４ ＳＩ情報キーワード生成部
１１０５ 字幕情報キーワード生成部

Claims (7)

1. 映像コンテンツの字幕情報またはＳＩ情報からキーワードを検出するキーワード検出手段と、
   映像コンテンツのシーンの切替わりを検出しシーン切替え情報として出力するシーン検出手段と、
   前記キーワード検出手段から出力されるキーワードと前記シーン検出手段で出力されるシーン切替え情報が入力され、シーンごとにキーワードを保持するキーワード保持手段と、
   前記キーワード保持手段に保持されているシーンごとのキーワードを検索し、異なるシーンであって、且つ、一致するキーワードを備えるシーンをリンク先と設定し、リンク先情報として出力するリンク先検出手段と、
   前記リンク先検索手段より出力されるリンク先情報を保持するリンク先情報保持手段と、
   を備えた映像検索装置。
2. ユーザーの入力を受け付けるユーザー入力手段と、
   前記リンク先検索手段より出力されるリンク先検索情報を表示し、前記ユーザー入力手段への入力に従い、リンク先の映像コンテンツを出力するリンク先表示選択制御手段と、
   を備えた請求項１に記載の映像検索装置。
3. 前記リンク先検出手段は、
   インターネットに接続されたウェブページを検索するとともに、検索されたウェブページのＵＲＬをリンク先情報として出力することを特徴とする請求項１に記載の映像検索装置。
4. 前記キーワード検出手段は放送波に多重され伝送される放送番組情報からキーワードを抽出することを特徴とする請求項１に記載の映像検索装置。
5. 前記キーワード検出手段は放送波に多重され伝送される映像コンテンツに現れる字幕表示の表示時刻を字幕情報に関連付けられた時間情報として抽出することを特徴とする請求項４に記載の映像検索装置。
6. 前記シーン検出手段は前記キーワードから、映像コンテンツ内で表示される字幕用語の発生時刻区間と字幕キーワードの表示用語よりシーン特定し、シーンの切替わりを判別することを特徴とする請求項１記載の映像検索装置。
7. 前記リンク先検出手段は、所定の時間毎にリンク先情報を更新することを特徴とする請求項１に記載の映像検索装置。

Images