JP2013164770A - 関連情報提供方法、関連情報提供装置および関連情報提供プログラム - Google Patents

Abstract

【課題】映像データの所定のタイミングの関連情報を容易に提供する。
【解決手段】関連情報要求検出部４１は、映像データの識別子および再生時間を含む、映像の関連情報の要求を受信する。テキスト情報分析部２１は、映像データから、映像データの識別子および再生時間に対応するテキストデータを取得し、取得したテキストデータに含まれる固有名詞をキーワードとして抽出する。キーワード更新部２４は、映像データの識別子および再生時間と、テキスト情報分析部２１が抽出したキーワードとを対応づけて、キーワードデータに記憶する。キーワード選択部４２は、キーワードデータから、関連情報要求検出部４１が受信した映像データの識別子および再生時間に対応するキーワード対応の識別子およびキーワードを取得する。関連情報出力部４４は、キーワード選択部４２によって選択されたキーワードに関連する関連情報を、ユーザ端末に出力する。
【選択図】図１

Description

本発明は、映像データの関連情報を提供する関連情報提供方法、関連情報提供装置および関連情報提供プログラムに関する。

情報機器や通信ネットワークの発達に伴い、ユーザは、映像データを閲覧する機会が増えている。また、映像データを閲覧する際、映像内容に興味を持ち、登場人物や紹介されたトピックなどの、映像データに関連する情報を、コンピュータや通信ネットワークを介して取得する機会が増えている。

このようなユーザのニーズに応えるため、デジタル放送は、データ放送として番組の放送中に番組の関連情報を提供する。また、放送終了後にも関連情報の閲覧を希望するユーザのため、同様に関連情報を提供する。

ここで、放送に多重化されたデータ信号を用いることにより、所定のタイミングにおける関連情報の取得を可能とする方法がある（例えば、特許文献１参照。）。特許文献１に記載の方法では、画像フレーム識別子または音声フレーム識別子を、データ信号として映像データに重畳する。ユーザは所望のタイミングにおける画像フレーム識別子または音声フレーム識別子を用いて、関連情報を取得することができる。

特許第４４９４３８９号公報

しかしながら、特許文献１に記載の方法は、デジタル放送の際、関連情報が存在することを示す画像フレーム識別子または音声フレーム識別子などのデータ信号をあらかじめ作成し、データ放送の信号内で定義する必要がある。また関連情報が存在することを示す画像フレーム識別子または音声フレーム識別子を、放送事業者が関連情報コンテンツ提供サーバに提供し、関連情報コンテンツ提供サーバが、このタイミングにおける関連情報をあらかじめ定義する必要がある。

このように従来の方法では、サービス事業者が放送前にあらかじめ準備する必要があり、サービス事業者に負担を強いるものであった。

従って本発明の目的は、映像データの所定のタイミングの関連情報を容易に提供する関連情報提供方法、関連情報提供装置および関連情報提供プログラムを提供することである。

上記課題を解決するために、本発明の第１の特徴は、映像データの関連情報を提供する関連情報提供方法に関する。即ち本発明の第１の特徴に係る関連情報提供方法は、ユーザ端末から、映像データの識別子および再生時間を含み、当該再生時間における映像の関連情報の要求を受信する関連情報要求検出ステップと、映像データから、要求に含まれる映像データの識別子および再生時間に対応するテキストデータを取得し、取得したテキストデータに含まれる固有名詞を、当該映像データの当該再生時間のキーワードとして抽出するテキスト情報分析ステップと、映像データの識別子および再生時間と、テキスト情報分析ステップにおいて抽出したキーワードとを対応づけるとともに、この対応づけを識別するキーワード対応の識別子を付して、キーワードデータに記憶するキーワード更新ステップと、キーワードデータから、関連情報要求検出ステップにおいて受信した映像データの識別子および再生時間に対応するキーワード対応の識別子およびキーワードを取得するキーワード選択ステップと、キーワード選択ステップにおいて選択されたキーワードに関連する関連情報を、ユーザ端末に出力する関連情報出力ステップと、を備える。

ここで、要求に含まれる映像データの識別子および再生時間に対応する部分映像データを取得し、当該部分映像データにおいて人物が撮像された部分の特徴量と、人物名と、当該人物の画像の特徴量とを対応づけた人物特徴データの特徴量とを比較して、当該部分映像データに含まれる人物名を当該映像データの当該再生時間のキーワードとして抽出する映像情報分析ステップをさらに備えても良い。この場合キーワード更新ステップはさらに、キーワード対応の識別子と、映像データの識別子と、当該映像データの再生時間と、映像情報分析ステップにおいて抽出したキーワードとを対応づけて、キーワードデータに記憶する。

また、キーワード更新ステップは、キーワード対応の識別子に、当該映像データの当該再生時間における当該キーワードの適合度をさらに対応づけてキーワードデータに記憶しても良い。この場合、関連情報出力ステップは、キーワード選択ステップにおいて選択されたキーワードに関連する関連情報を、キーワード対応の識別子に対応づけてユーザ端末に出力し、ユーザ端末において当該関連情報が選択されると、キーワードデータの当該キーワード対応の識別子に対応する適合度を上げる更新をするとともに、キーワードデータにおいて、映像データの識別子および再生時間に複数のキーワードが対応づけられている場合、複数のキーワードのうち適合度の高いキーワードに関連する関連情報を優先的に出力する。

また、キーワード更新ステップは、キーワード対応の識別子に、映像関連性も対応づけてキーワードデータに記憶しても良い。この場合、テキスト情報分析ステップは、映像データおよび再生時間に対応するキーワードを抽出すると、抽出したキーワードが、当該映像データのシノプシス情報に含まれる場合、映像関連性が高くなるように映像関連性を設定し、関連情報出力ステップは、キーワードデータにおいて、映像データの識別子および再生時間に複数のキーワードが対応づけられている場合、複数のキーワードのうち映像関連性の高いキーワードに関連する関連情報を優先的に出力する。

本発明の第２の特徴は、映像データの関連情報を提供する関連情報提供装置に関する。即ち本発明の第２の特徴に係る関連情報提供装置は、ユーザ端末から、映像データの識別子および再生時間を含み、当該再生時間における映像の関連情報の要求を受信する関連情報要求検出部と、映像データから、要求に含まれる映像データの識別子および再生時間に対応するテキストデータを取得し、取得したテキストデータに含まれる固有名詞を、当該映像データの当該再生時間のキーワードとして抽出するテキスト情報分析部と、映像データの識別子および再生時間と、テキスト情報分析部が抽出したキーワードとを対応づけるとともに、この対応づけを識別するキーワード対応の識別子を付して、キーワードデータに記憶するキーワード更新部と、キーワードデータから、関連情報要求検出部が受信した映像データの識別子および再生時間に対応するキーワード対応の識別子およびキーワードを取得するキーワード選択部と、キーワード選択部によって選択されたキーワードに関連する関連情報を、ユーザ端末に出力する関連情報出力部と、を備える。

ここで、人物名と、当該人物の画像の特徴量とを対応づけた人物特徴データを記憶する記憶装置と、要求に含まれる映像データの識別子および再生時間に対応する部分映像データを取得し、当該部分映像データにおいて人物が撮像された部分の特徴量と、人物特徴データに記憶された特徴量とを比較して、当該部分映像データに含まれる人物名を当該映像データの当該再生時間のキーワードとして抽出する映像情報分析部をさらに備えても良い。この場合、キーワード更新部はさらに、キーワード対応の識別子と、映像データの識別子と、当該映像データの再生時間と、映像情報分析部が抽出したキーワードとを対応づけて、キーワードデータに記憶する。

またキーワード更新部は、キーワード対応の識別子に、当該映像データの当該再生時間における当該キーワードの適合度をさらに対応づけてキーワードデータに記憶しても良い。この場合関連情報出力部は、キーワード選択部によって選択されたキーワードに関連する関連情報を、キーワード対応の識別子に対応づけてユーザ端末に出力し、ユーザ端末において当該関連情報が選択されると、キーワードデータの当該キーワード対応の識別子に対応する適合度を上げる更新をするとともに、キーワードデータにおいて、映像データの識別子および再生時間に複数のキーワードが対応づけられている場合、複数のキーワードのうち適合度の高いキーワードに関連する関連情報を優先的に出力する。

本発明の第３の特徴は、コンピュータに、本発明の第１の特徴のいずれかに記載のステップを実行させるための関連情報提供プログラムに関する。

本発明によれば、映像データの所定のタイミングの関連情報を容易に提供する関連情報提供方法、関連情報提供装置および関連情報提供プログラム提供することができる。

本発明の実施の形態に係る関連情報提供システムのシステム構成と、関連情報提供装置の機能ブロックを説明する図である。 本発明の実施の形態に係るキーワードデータの構造とそのデータの一例を説明する図である。 本発明の実施の形態に係るユーザデータの構造とそのデータの一例を説明する図である。 本発明の実施の形態に係る関連情報提供装置による関連情報提供方法を説明するフローチャートである。 本発明の実施の形態に係る関連情報提供装置の関連情報出力部による関連情報出力処理を説明するフローチャートである。 本発明の実施の形態に係る映像メタデータの構造とそのデータの一例を説明する図である。 本発明の実施の形態に係る人物特徴データの構造とそのデータの一例を説明する図である。 本発明の実施の形態に係る関連情報提供装置の映像コンテンツ分析部による映像コンテンツ分析処理を説明するフローチャートである。

次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号を付している。

本発明の実施の形態に係る関連情報提供システム２は、図１に示すように、関連情報提供装置１、映像視聴装置１００、１０２、ユーザ端末１０１および１０３を備える。関連情報提供装置１、映像視聴装置１００、１０２、ユーザ端末１０１および１０３は、通信ネットワーク１１０を介して相互に通信可能に接続されている。通信ネットワーク１１０は、インターネットなどの相互に通信可能なネットワークである。

映像視聴装置１００は、デジタル放送の映像データや、映像データ提供サーバなどが提供する映像データなどを、ユーザＡが視聴可能な装置である。映像視聴装置１００は、具体的には、テレビ、パソコン、スマートフォン、携帯電話などである。また映像視聴装置１００は、有料放送を受信し、テレビなどに接続して用いるセットトップボックスとテレビであっても良いし、有料放送を受信可能な機能を内蔵したテレビであっても良い。

本発明の実施の形態に係る映像視聴装置１００は特に、映像データを再生中に、ユーザが所定の操作を入力すると、その入力時に再生中の映像データの識別子と、その映像データの再生時間とを取得し、通信ネットワークを介して関連情報提供装置１に送信する。ここで、映像データの再生時間は、録画された映像データや、動画配信サーバからダウンロードした映像データなどの蓄積型の映像データの場合、映像データの先頭から経過した再生時間である。また、リアルタイムに放送されるデジタル放送などの映像データの場合、時刻でも良い。再生時間は、映像データにおいて、ユーザが操作したタイミングがわかればどのような形式でも良い。

映像視聴装置１０２は、映像データなどを、ユーザＢが視聴可能な装置であって、その機能などは映像視聴装置１００と同様である。

ユーザ端末１０１は、ユーザＡの利用する端末であって、例えば、パソコン、スマートフォン、携帯電話機などである。ユーザ端末１０１は、メールなどを受信するとともに、ブラウザなどを用いて関連情報提供装置１から入力される関連情報のダイジェストや、詳細な関連情報を閲覧できる端末である。

映像視聴装置１０２は、映像データなどを、ユーザＢが視聴可能な装置であって、その機能などは映像視聴装置１００と同様である。ユーザ端末１０３は、ユーザＢが利用する端末であって、その機能などはユーザ端末１０１と同様である。

関連情報提供装置１は、ユーザから指定されたタイミングの映像データの関連情報を提供する装置である。

本発明の実施の形態においては、ユーザが所定の操作により、映像データを閲覧中の映像コンテンツに関する関連情報の要求を、例えば、映像視聴装置１００に入力する。このとき映像視聴装置１００は、ユーザの識別子とともに、操作時に再生中の映像データの識別子および再生時間を、関連情報提供装置１に送信する。この「所定の操作」は、例えば、映像視聴装置１００のリモコンに設けられたボタンの押下でも良いし、映像視聴装置１００のリモコン機能を実装するユーザ端末１０１に対するユーザの操作でも良い。

ユーザ端末１０１がリモコン機能を実装する場合、ユーザ端末１０１が、操作時に再生中の映像データの識別子および再生時間を、関連情報提供装置１に送信しても良い。ここで、ユーザ端末１０１がリモコン機能を実装する場合、ユーザによるユーザ端末１０１の操作履歴に基づいて、現在再生中の映像データを特定しても良い。またユーザが映像視聴装置１００でユーザ自身が録画した映像データを視聴している際に関連情報の要求をする場合、映像視聴装置１００は、録画時に保持するメタデータから、映像データの識別子を関連情報提供装置１に送信しても良い。

関連情報提供装置１が、映像データの識別子および再生時間を受信すると、そのとき再生された映像データを解析して、キーワードを抽出する。関連情報提供装置１は、抽出したキーワードに基づいて検索サーバ（図示せず）にアクセスし、検索サーバが取得した検索結果を、キーワードの関連情報としてユーザに提供する。

関連結果を提供する方法としては、さまざまな方法が考えられる。関連情報提供装置１は例えば、あらかじめユーザのメールアドレスを保持し、関連情報を取得した旨を知らせるとともに、マイページなどのリンクを含むメールをユーザ端末１０１に送信する。本発明の実施の形態においてこのリンクは、関連情報提供装置１内のユーザのマイページに対応するリンクである。ユーザ端末１０１がメールを受信すると、ユーザ端末１０１からこのリンクにアクセスし、ユーザは、ユーザが要求した関連情報のダイジェストページを閲覧することができる。さらにユーザは、このダイジェストページから興味のある関連情報を選択し、関連情報の詳細を知ることができる。

（関連情報提供装置）
図１を参照して本発明の実施の形態に係る関連情報提供装置１を説明する。関連情報提供装置１は、記憶装置、処理制御装置および通信制御装置などを備える一般的なコンピュータである。関連情報提供装置１は、一般的なコンピュータに所定の処理を実行するための関連情報提供プログラムが実行されることにより、図１に示す各部が実装される。

関連情報提供装置１の記憶装置は、映像メタデータ記憶部１１、映像データ記憶部１２、人物特徴データ記憶部１３、キーワードデータ記憶部３１およびユーザデータ記憶部３２を備える。処理制御装置は、テキスト情報分析部２１、映像情報分析部２２、固定キーワード入力部２３、キーワード更新部２４、関連情報要求検出部４１、キーワード選択部４２、関連情報取得部４３、関連情報出力部４４および新規関連情報通知部４５を備える。

ここで、映像メタデータ記憶部１１、映像データ記憶部１２、人物特徴データ記憶部１３、テキスト情報分析部２１、映像情報分析部２２、固定キーワード入力部２３およびキーワード更新部２４を総称して、映像コンテンツ分析部１０と称する場合がある。映像コンテンツ分析部１０は、キーワードデータ記憶部３１に記憶されるキーワードデータ３１ａに、新たなキーワードを登録する。

キーワードデータ記憶部３１は、キーワードデータ３１ａを記憶する記憶領域である。キーワードデータ３１ａは、図２に示すように、映像データ識別子、再生時間、キーワード、映像関連性および適合度を対応づけるとともに、この対応づけを識別するキーワード対応の識別子を付したデータである。

キーワード対応識別子は、キーワードデータ３１ａ中のレコードを特定する。キーワード対応識別子は、映像データ識別子、再生時間およびキーワードの組み合わせを一意に識別する識別子である。

映像データ識別子および再生時間は、ユーザが関連情報の要求を操作した際に再生されていた映像データの識別子および再生時間である。この映像データの識別子および再生時間は、ユーザから逐次入力される関連情報の要求に含まれる映像データの識別子および再生時間に対応する。図２に示す例で、再生時間は、ユーザが要求したタイミングと同じ時刻であるが、これに限られない。例えば、映像データの時間長を３０秒単位で分割して番号を付した場合の番号で表現しても良いし、ユーザが要求したタイミングの時刻の前後３０秒を設定しても良い。

キーワードは、映像データの識別子によって特定される映像データにおける再生時間の映像データに関連するキーワードである。キーワードは、映像コンテンツ分析部１０によって抽出される。ここでキーワードは、再生時間が示す時刻の映像データについて抽出されても良い。またキーワードは、再生時間の前後３０秒など、再生時間の近傍の映像データに基づいて抽出されれば良い。

映像関連性は、キーワードが、この映像データについて、関連しているものであることを示す指標である。映像関連性は、映像コンテンツ分析部１０のテキスト情報分析部２１または映像情報分析部２２によって算出される。本発明の実施の形態において、映像関連性は、適宜任意の数値で表現する場合を説明するが、映像関連性を、「有り（１）」または「なし（０）」で表現しても良い。

適合度は、映像データの再生時間における当該キーワードの適切さを示す指標である。ユーザがこのキーワードに基づいて検索された関連情報が閲覧されると、映像データの再生時間におけるキーワードは適切であると考えられる。従ってユーザから関連情報が閲覧されるほど、適合度は高くなる。このように適合度は、ユーザの操作などによって、適宜変更される。

ユーザデータ記憶部３２は、ユーザデータ３２ａを記憶する記憶領域である。ユーザデータ３２ａは、図３に示すように、ユーザ識別子、ユーザのメールアドレスおよび端末の種別を対応づけたデータである。ユーザのメールアドレスは、ユーザに関連情報の提供の準備が整った旨をメールで知らせる際の宛名となる。端末の種別は、ユーザがメールを受信する端末の種別であって、メールを作成する際に、端末の制限や利用可能な文字などを考慮して作成するために保持する。

ユーザでの通知を好まないユーザに対し、ユーザデータ記憶部３２は、ユーザに通知するか否かを設定するフラグを設けても良い。またこの際は、メールアドレス欄には、ｎｕｌｌ値が設定されれば良い。

関連情報要求検出部４１は、ユーザ端末１０１から、映像データの識別子および再生時間を含み、当該再生時間における映像の関連情報の要求を受信する。ここで、映像データの識別子は、映像データを識別できればどのような形でも良い。例えば、映像データが、動画サーバが配信する映像コンテンツデータの場合、映像データの識別子は、動画サーバの識別子と、その動画サーバ内で映像データに付した識別子の組み合わせである。データ放送の映像コンテンツデータの場合、映像データの識別子は、チャンネル識別子と放送時刻の組み合わせである。また、再生時間は、ユーザが関連情報を要求したタイミングがわかればどのような形でも良い。

また、要求にはユーザ識別子も含まれており、関連情報要求検出部４１は、ユーザ識別子も受信する。ユーザ識別子は、要求の発信元がいずれのユーザであるかを認識し、そのユーザに対して、関連情報を提供するためである。

キーワード選択部４２は、キーワードデータ３１ａから、関連情報要求検出部４１が受信した映像データの識別子および再生時間に対応するキーワード対応の識別子およびキーワードを取得する。キーワード選択部４２は、キーワードデータ３１ａから、関連情報要求検出部４１が受信した映像データの識別子および再生時間に対応するキーワードを検索する。このときキーワード選択部４２は、ある程度の時間長を設定し、受信した映像データの識別子に対応づけられた再生時間が、設定した時間長に含まれるレコードを検索しても良い。例えば、ユーザによる関連情報の要求に時間を要することを考慮し、キーワード選択部４２は、受信した再生時間の前の６０秒から、再生時間の１０秒後までの範囲でキーワードを検索しても良い。

キーワード選択部４２は、関連情報要求検出部４１から受信したユーザ識別子、キーワードデータ３１ａから検索したキーワード、キーワード対応の識別子を対応づけて、関連情報取得部４３に入力する。またキーワード選択部４２は、取得したキーワードに関連する映像関連性および適合度を関連情報取得部４３に入力しても良い。

キーワードを選択できなかった場合、具体的には、受信した映像データの識別子および再生時間に対応するキーワードがキーワードデータ３１ａに登録されていなかった場合、キーワード選択部４２は、映像コンテンツ分析部１０にキーワードを登録させる。このときキーワード選択部４２は、関連情報要求検出部４１から入力された映像データの識別子と再生時間とを、映像コンテンツ分析部１０に入力する。映像コンテンツ分析部１０によってキーワードデータ３１ａにキーワードが登録されると、キーワード選択部４２は、キーワードを選択し、選択したキーワードと、キーワード対応識別子とを対応づけて関連情報取得部４３に入力する。このキーワード対応識別子は、キーワードデータ３１ａにおいて、要求に含まれる映像データの識別子および再生時間と、選択したキーワードを一意に識別するために用いられる。

キーワード選択部４２は、キーワードデータ３１ａから多数のキーワードを選択した場合、多数のキーワードの一部のキーワードに関する情報を、関連情報取得部４３に入力しても良い。例えば、キーワードデータ３１ａには、要求に含まれる再生時間に対応する複数のキーワードが登録されている場合がある。その場合、あらかじめキーワード選択部４２が選択するキーワードの数をｍ個と決定し、多数のキーワードから、適合度の高いｍ個のキーワードを選択しても良い。また、抽出されたキーワードがｍ個以内の場合、そのすべてのキーワードに関する情報を、関連情報取得部４３に入力しても良い。

ここで、適合度は、ユーザの操作によって変更されるデータであるので、ユーザからのアクセス数が少ない場合には、適合度の値は正当でない場合がある。そこでキーワード選択部４２は、ユーザからのアクセス数が少ない場合、映像関連性を用いてｍ個のキーワードを選択し、アクセス数が所定数以上になると、適合度を用いてｍ個のキーワードを選択することが好ましい。

例えば、デジタル放送などで、所定の映像データおよび再生時間に対して所定数以上の関連情報の要求を受信した場合、キーワード選択部４２は、キーワードデータ３１ａから受信した適合度が、最も高い上位ｍ件のキーワードに関する情報を、選択する。さらにキーワード選択部４２は、選択したｍ件のキーワードに関する情報を、関連情報取得部４３に入力しても良い。

また、キーワード選択部４２は、個々のユーザにあわせて、関連情報取得部４３に入力するキーワードを決定しても良い。例えばユーザのウェブの検索履歴を活用できる場合、検索履歴のクエリと一致するキーワードがあると、そのキーワードを優先的に採用して、関連情報取得部４３に出力しても良い。

関連情報取得部４３は、キーワード選択部４２によって選択されたキーワードに関連する情報を検索し、キーワード選択部から入力されたユーザ識別子に対応づけて関連情報を保持する。関連情報取得部４３は、例えば、ウェブの検索機能を持ち、キーワード選択部４２から入力されるキーワードを利用して、関連情報を取得する。関連情報取得部４３は、取得した関連情報の少なくとも一部を、ユーザに提供するべき関連情報として、関連情報出力部４４に出力する。また関連情報取得部４３は、新規関連情報通知部４５に、関連情報を取得した旨を通知する。

関連情報取得部４３は、既存の検索サーバなどのＡＰＩを用いてキーワードを入力し、その検索結果を、キーワードの関連情報として取得しても良い。

関連情報取得部４３は、キーワード選択部４２から、図２に示すように、映像データ識別子“crid://aaa.co.jp/content/000001”、再生時間“04:05:06”のシーンに対して、「まるや旅館」、「芦ノ湖」および「園田れいこ」の３つのキーワードが入力されたとする。この場合、関連情報取得部４３は、「まるや旅館」による検索結果の上位２件、「芦ノ湖」による検索結果の上位２件、および「園田れいこ」による検索結果の上位２件を、関連情報として取得する。ここで、各キーワードについて取得した関連情報が重複する場合、関連情報取得部４３では関連情報のフィルタリングを実施せず、関連情報出力部４４において、同じ関連情報が複数回表示されないように、関連情報の表示画面が生成される。

関連情報取得部４３は、多数の検索結果を取得した場合、検索結果のランキング上位ｎ件のみ関連情報として取得するなどして、フィルタリングしても良い。ここで、ｎは、キーワードの適合度により可変の数であっても良い。例えば、関連情報取得部４３は、適合度の高い上位３個のキーワードについて、それぞれの検索結果の上位２件を関連情報として採用し、適合度の高くないキーワードについて、検索結果の上位１件を関連情報として採用しても良い。

例えば、適合度の高い上位３件のキーワードについて関連情報として取得し、そのうち、最も関連情報の高いキーワードについては、上位２件の関連情報を、それ以外のキーワードについては、上位１件の関連情報を取得する場合を考える。図２に示す例で、「まるや旅館」の適合度は「０． ９５４２」で、「芦ノ湖」の適合度は「０．６４６４」で、「園田れいこ」の適合度は「０．３３３３」である。そこで関連情報取得部４３は、最も適合度の高い「まるや旅館」については、この検索結果の上位２件を関連情報とする。また関連情報取得部４３は、それ以外の「芦ノ湖」および「園田れいこ」については、この検索結果の上位１件を関連情報とする。

また、映像関連性を用いても同様に、関連情報取得部４３は、映像関連性が「１」のキーワードについて、それぞれの検索結果の上位２件を関連情報として採用し、映像関連性が「０」のキーワードについて、検索結果の上位１件を関連情報として採用しても良い。

例えば、３つのキーワードについて関連情報として取得し、そのうち、映像関連性が「１」のキーワードについては、上位２件の関連情報を、それ以外のキーワードについては、上位１件の関連情報を取得する場合を考える。図３に示す例で、「まるや旅館」の映像関連性は「１」で、「芦ノ湖」および「園田れいこ」の映像関連性は「０」である。そこで関連情報取得部４３は、映像関連性が「１」の「まるや旅館」については、この検索結果の上位２件を関連情報とする。また関連情報取得部４３は、それ以外の「芦ノ湖」および「園田れいこ」については、この検索結果の上位１件を関連情報とする。

このように関連情報取得部４３が、キーワードについて検索した関連情報のいずれを出力するかは、映像関連性または適合度に基づいて判断される。ここで、適合度は、多くのユーザが閲覧しアクセスすることによって、正当な値となる。そこで、一定のアクセス数を得られていない場合、関連情報取得部４３は、映像関連性に基づいて、出力する関連情報をフィルタリングし、一定のアクセス数が得られた後は、適合度に基づいて、出力する関連情報をフィルタリングしても良い。

関連情報取得部４３が、各キーワードの関連情報をフィルタリングして関連情報出力部４４に入力することにより、ユーザによる可読性を確保することができる。関連情報取得部４３は、取得した関連情報について、キーワード、ユーザ識別子およびキーワード対応識別子とともに、関連情報のタイトル、関連情報のリンク、スニペットなどの情報を、関連情報出力部４４に入力する。例えば関連情報取得部４３は、{0000000001,AE2309841F,“まるや旅館ホームページ”,http://www.maruyar.co.xx/,“まるや旅館は1952 年創業の…”}などの情報を、関連情報出力部４４に出力する。また、このとき関連情報出力部４４は、新規に関連情報を提供可能なことを通知するために、ユーザ識別子を、新規関連情報通知部４５に入力する。

関連情報出力部４４は、ユーザ端末１０１からアクセスがあると、ユーザ端末１０１を認証し、ユーザ端末１０１にＨＴＭＬ形式のウェブページを提供する。このとき関連情報出力部４４は、関連情報取得部４３が取得した関連情報を表示するためのウェブページを生成し、ユーザ端末１０１からアクセスがあると、このウェブページを提供する。関連情報出力部４４は、キーワードデータ３１ａにおいて、映像データの識別子および再生時間に複数のキーワードが対応づけられている場合、全てのキーワードについて関連情報を出力しなくとも良い。例えば、関連情報出力部４４は、複数のキーワードのうち適合度の高いキーワードに関連する関連情報を優先的に出力する。なお、複数のキーワードのうち、いずれのキーワードに関連する関連情報を出力するかは、関連情報出力部４４が決定しても良いし、関連情報取得部４３が決定しても良い。

また、本発明の実施の形態においては、関連情報取得部４３が、一つのキーワードに基づいて取得した複数の関連情報から所定の関連情報をフィルタリングし、関連情報出力部４４が、フィルタリング後の関連情報を取得することにより実現するが、これに限られない。例えば、関連情報取得部４３が取得したすべての関連情報を関連情報出力部４４が取得し、を関連情報出力部４４がフィルタリングしても良い。

関連情報出力部４４は、キーワード選択部４２によって選択されたキーワードに関連する関連情報を、キーワードデータ３１ａのキーワード対応の識別子に対応づけてユーザ端末１０１に出力する。さらに関連情報出力部４４は、ユーザ端末１０１において当該関連情報が選択されると、キーワードデータ３１ａの当該キーワード対応の識別子に対応する適合度を上げる更新をする。

例えば関連情報出力部４４は、関連情報を出力する際、この関連情報を閲覧するためのリンクを設け、このリンクには、ユーザの要求に合致するキーワードデータのキーワード対応識別子を含める。これにより、ユーザがリンクを選択すると、関連情報出力部４４は、そのキーワード対応識別子を取得できるので、キーワードの適合度が高いと把握することができる。このようにユーザが選択するたびに、キーワードデータ３１ａのキーワード対応識別子に対応する適合度が高くなるように、キーワードデータ３１ａを更新する。

このように、関連情報出力部４４は、ユーザから関連情報のリンクがクリックされると、この関連情報に対応するキーワード対応識別子に対して、カウンタを１つインクリメントする。ここで、ひとつの関連情報に、複数のキーワードが対応づけられる場合がある。その場合、ユーザに複数回同じ関連情報を表示することのないように、関連情報出力部４４は、ひとつの関連情報に、複数のキーワードをあらかじめ紐づけて、関連情報のリンクを設ける。このようなリンクをユーザがクリックして関連情報を閲覧した場合、紐付けられたキーワードのそれぞれについて、適合度が高くなるようにキーワードデータ３１ａを更新することが好ましい。また、ひとつの関連情報に３つのキーワードが対応づけられたリンクがクリックされた場合、関連情報出力部４４は、このリンクの関連情報に対応する３つのキーワードの対応識別子に対して、カウンタを１／３回インクリメントする。

ここで、関連情報出力部４４は、ユーザがクリックした関連情報の元となるキーワードを外部のシステムに開示しても良い。外部のシステムにおいて、このキーワードをユーザの嗜好を示すキーワードとして、サービスや商品の推薦に用いることができる。

関連情報出力部４４が、キーワードデータ３１ａの適合度を変更する方法はいくつか考え考えられる。例えば、関連情報が閲覧された割合を用いて、適合度を算出する方法が考えられる。この方法の場合、例えば、（該当キーワードにより求められた関連情報が閲覧された回数）／（該当シーンのキーワードで求められた関連情報の全閲覧回数）を算出する。図２に示す例の場合、「まるや旅館」のカウンタが「８０」、キーワード「芦ノ湖」のカウンタが 「１０」、キーワード「園田れいこ」のカウンタが「５」 であるとする。この場合、「まるや旅館」、「芦ノ湖」、「園田れいこ」のそれぞれの適合度を、｛０．８０，０．１０，０．０５｝と算出して、キーワードデータ３１ａを更新しても良い。

ここで、ユーザが閲覧した関連情報に対応するキーワード対応識別子の適合度が高くなり、ユーザが閲覧しなかった関連情報に対応するキーワード対応識別子の適合度が低くなるように更新されれば、どのような方法を用いても良い。

関連情報出力部４４は、ユーザデータ３２ａのユーザ端末の種別を考慮して、関連情報を提供するための画面を生成しても良い。例えば、端末の種別として、メールを閲覧する画面が、標準サイズ、標準サイズより小さいサイズ、標準サイズより大きいサイズの３種類を有する。関連情報出力部４４は、ユーザの見易さを考慮して、関連情報を提供する画面を生成することができる。

新規関連情報通知部４５は、関連情報取得部４３から関連情報が取得された旨を通知されると、ユーザ端末１０１にその旨を通知する。具体的には新規関連情報通知部４５は、ユーザデータ３２ａからこのユーザのメールアドレスおよび端末の種別を取得し、関連情報が取得された旨を通知するメール文を生成する。

さらに新規関連情報通知部４５は、生成したメール文に基づいて、ユーザデータ３２ａから取得したメールアドレスを宛先とし、端末の種別に対応する形式のメールを生成する。一般的に、ユーザ端末１０１として、コンピュータ、タブレット端末、スマートフォン、携帯電話機などのさまざまな情報機器が考えられるが、各端末において表示画面の大きさは異なる。そこで、端末の種別として、例えばメールを閲覧する画面が、標準サイズ、標準サイズより小さいサイズ、標準サイズより大きいサイズの３種類を有する。新規関連情報通知部４５は、ユーザの見易さを考慮して、電子メールを生成することができる。

メールを生成すると新規関連情報通知部４５は、生成したメールをユーザ端末１０１に送信する。

このときメールには、関連情報が取得された旨のみを通知しても良いし、関連情報のダイジェストを含み、その関連情報を閲覧するためのリンクを設けても良い。このリンクには、ユーザの要求に合致するキーワードデータ３１ａのキーワード対応識別子を含めても良い。この場合も、ユーザがリンクを選択すると、関連情報出力部４４が、そのキーワード対応識別子を取得できるので、キーワードの適合度が高いと把握し、キーワードデータ３１ａの適合度を更新することができる。

（関連情報提供方法）
図４を参照して、本発明の実施の形態に係る関連情報提供方法を説明する。

まずステップＳ１において、関連情報提供装置１は、ユーザ端末１０１から関連情報取得要求を受信する。ステップＳ２において関連情報提供装置１は、関連情報取得要求から、ユーザ識別子、映像データ識別子および再生時間を取得する。

ステップＳ３において関連情報提供装置１は、キーワードデータ３１ａを読み出して、ステップＳ２で取得した映像データ識別子および再生時間に対応するキーワードがあるか否かを判定する。キーワードがある場合、ステップＳ５に進む。キーワードがない場合、ステップＳ４において関連情報提供装置１は、映像データ識別子および再生時間に基づいて、コンテンツ分析し、この映像データの再生時間に対応するキーワードを取得する。ステップＳ４において関連情報提供装置１は、取得したキーワードの情報を、キーワードデータ３１ａに挿入し、ステップＳ５に進む。

ステップＳ５において関連情報提供装置１は、キーワードデータ３１ａから、ステップＳ２で取得した映像データ識別子および再生時間に対応するキーワードと、キーワード対応識別子を取得する。ステップＳ６において関連情報提供装置１は、ステップＳ５で取得したキーワードに基づいて関連情報を取得し、ユーザ識別子およびキーワード対応識別子と対応づけて保有する。

ステップＳ７において関連情報提供装置１は、ユーザデータ３２ａから要求元のユーザ識別子に対応するメールアドレスを取得し、関連情報が提供可能な旨のメールを、ユーザ端末１０１に送信する。さらにステップＳ８において関連情報提供装置１は、関連情報を提供するための画面を生成する。その後、ステップＳ９において関連情報提供装置１は、ユーザからのアクセスに基づいて、関連情報を提供するとともに、ユーザデータ３２ａの適合度を更新する。

図５を参照して本発明の実施の形態に係る関連情報出力部４４による関連情報出力処理を説明する。ここで、関連情報出力部４４は、ユーザ端末１０１に、関連情報とともに、関連情報を出力する元となったキーワード対応識別子を、あらかじめ紐づけて保持する。ユーザ端末１０１からアクセスがあると、ユーザ識別子を認証し、このユーザに対する関連情報を表示する。ユーザが関連情報を表示する方法は、さまざまな方法がある。例えば、メールに記載されたリンクをクリックする方法がある。また、関連情報出力部４４が、ユーザの認証後にユーザに対する関連情報のリンクをウェブページで表示してユーザがクリックする方法がある。さらに、映像視聴装置１００のリモコンや、リモコンアプリケーションを介して、関連情報出力部４４にアクセスし、表示されたリンクをユーザが選択する方法がある。ここで、リモコンアプリケーションは、スマートフォン上で動作するリモコンの機能を有したアプリケーションである。図５に示す例では、このような方法に基づいて、ユーザが関連情報を閲覧した場合の処理を説明する。

まずステップＳ１０１において関連情報出力部４４は、ユーザ端末１０１からのアクセスを待機する。ユーザ端末１０１からアクセスされると、関連情報出力部４４は、このユーザに表示するべき関連情報のリンクを表示する。このリンクには、関連情報を出力する元となったキーワード対応識別子が紐づけられている。ユーザがこのリンクを押下し、ユーザ端末１０１において関連情報が閲覧されると、ステップＳ１０３において関連情報出力部４４は、そのリンクが押下され閲覧された関連情報に紐付けられたキーワード対応識別子を取得する。ステップＳ１０４において関連情報出力部４４は、ステップＳ１０２で取得したキーワード対応識別子に対応する適合度を高めるように更新する。

（映像コンテンツ分析部）
図１を参照して、映像コンテンツ分析部１０の処理を詳述する。映像コンテンツ分析部１０は、映像メタデータ記憶部１１、映像データ記憶部１２、人物特徴データ記憶部１３、テキスト情報分析部２１、映像情報分析部２２、固定キーワード入力部２３およびキーワード更新部２４を備える。

映像メタデータ記憶部１１は、映像メタデータ１１ａ、１１ｂ、１１ｃ…を記憶する記憶領域である。映像メタデータ１１ａは、映像データごとにひとつの映像メタデータを有し、映像データの識別子で識別される。映像メタデータ１１ｂ、１１ｃ…も映像メタデータ１１ａと同様である。

図６を参照して、映像メタデータ１１ａの一例を説明する。映像メタデータ１１ａは、映像データのタイトル、シノプシス情報、出演者の情報などの各項目のデータを有する。ここで、シノプシス情報は、映像データの概要をあらわしたテキストのデータであって、番組表やコンテンツガイド（ＥＣＧ／ＥＰＧ）などを作成する際に用いられる。図６に示す映像メタデータ１１ａは、ＸＭＬ構造を有するが、この構造に限られない。例えば、映像データの識別子と、図６に示す各項目のデータとを対応づけたテーブル構造で表現しても良い。

映像データ記憶部１２は、映像データを記憶する記憶領域である。映像データを記憶する記憶領域である。この映像データは、映像データの識別子で識別される。図１に示す例では、映像データ記憶部１２を関連情報提供装置１が保有する場合を説明するが、これに限られない。例えば、通信ネットワーク等を介して接続されるほかの装置が保有し、関連情報提供装置１が、必要に応じてこの装置から、映像データまたはコンテンツの分析に必要なデータを取得しても良い。

人物特徴データ記憶部１３は、人物特徴データ１３ａを記憶する記憶領域である。人物特徴データ１３ａは、人物名と、当該人物の画像の特徴量とを対応づけたデータである。人物の画像の特徴量とは、例えば、人物の顔画像から分析された特徴量である。

人物特徴データ１３ａは、例えば、図７に示すようなデータである。図７に示す人物特徴データ１３ａは、人物の識別子と、この人物名と、この人物の画像の特徴量とを対応づける。人物特徴データ１３ａに特徴量を登録する人物は、映像データの登場人物や話題の対象となる人物であって、ユーザが関連情報を欲する対象となりうる人物である。

図７においては、人物特徴データ１３ａが、人物の識別子と人物名とを別々の項目として保有する場合を説明するが、人物名を、人物の識別子として用いても良い。

テキスト情報分析部２１は、映像データから、要求に含まれる映像データの識別子および再生時間に対応するテキストデータを取得する。ここで、テキスト情報分析部２１が取得するテキストデータは、字幕情報として重畳して放送される字幕情報や、文字放送として放送される文字情報のテキストデータである。

テキスト情報分析部２１はさらに、取得したテキストデータに含まれる固有名詞を、当該映像データの当該再生時間のキーワードとして抽出する。テキスト情報分析部２１はさらに、映像データおよび再生時間に対応するキーワードを抽出すると、抽出したキーワードが、当該映像データの当該映像データのシノプシス情報に含まれる場合、映像関連性が高くなるように映像関連性を設定する。

テキスト情報分析部２１は、映像データ記憶部１２から、関連情報要求検出部４１が検出した要求に含まれる映像データの識別子および再生時間に基づいて、テキスト情報を取得する。テキスト情報分析部２１は、要求で特定される映像データの再生時間で再生される字幕情報、再生時間の近傍で再生される字幕情報、あるいは、再生時間を含む所定時間で再生される字幕情報を、テキスト情報として取得する。

ここでテキスト情報分析部２１は、映像データとして多重化する前の字幕情報のデータを参照することができる場合、この多重化前の字幕情報が、再生時間と対応づけられている場合、この多重化前の字幕情報を用いる。この場合、映像メタデータ１１ａが、多重化する前の字幕情報のデータのＵＲＩを保持する。テキスト情報分析部２１は、要求対象の映像データの映像メタデータ１１ａから字幕情報のデータのＵＲＩを取得し、このＵＲＩに基づいて字幕情報のデータを取得する。テキスト情報分析部２１は、取得した字幕情報のデータから、再生時間の字幕情報、再生時間の近傍の字幕情報、あるいは、再生時間を含む所定時間内の字幕情報などのうち、再生時間に最も近い再生時間の字幕情報を、テキスト情報として取得する。

映像データとして多重化する前の字幕情報のデータを参照することができない場合、テキスト情報分析部２１は、要求に含まれる映像データの識別子に基づいて要求対象の映像データを取得する。さらにテキスト情報分析部２１は、取得した映像データから字幕情報をデコードして字幕情報を特定し、テキスト情報として取得する。映像データから字幕情報をデコードする方法は、放送または配信されたトランスポートストリームから、デジタル放送受信機が字幕情報をデコードする手法などが考えられる。

要求対象のテキストデータを取得すると、テキスト情報分析部２１は、取得したテキストデータを形態素解析し、ユーザが関連情報を要求する対象となりうるキーワードを抽出する。ここで抽出するキーワードは、例えば、固有名詞である。映像データが情報番組やニュースの場合、ユーザの興味の対象は、商業店舗、製品名、エリア名、イベント名などが考えられる。また、ドラマやスポーツ番組などの場合、ユーザの興味の対象は、ドラマに出演する俳優やスポーツ選手などが考えられる。このように、ユーザの興味の対象は、多くの場合固有名詞であることが考えられる。そこでテキスト情報分析部２１は、取得したテキストデータから、ユーザの興味の対象として固有名詞を抽出する。なお、固有名詞の抽出方法としては、例えば、IREX (Information Retrieval and Extraction Exercise，http://nlp.cs.nyu.edu/irex/NE/)などの、既存の方法が考えられる。

また、テキスト情報分析部２１は、ユーザの興味対象として、固有名詞以外の名詞も抽出しても良い。例えば、紅茶を扱った映像データの場合、紅茶のブランド名の固有名詞に限らず、「ダージリン」などの紅茶の種別など、テキストデータを特徴づける名詞などの特徴語もキーワードとして抽出しても良い。テキスト情報分析部２１は、取得したテキストデータから抽出した特徴語を、キーワードとしても良い。ただしこの場合、日付情報、時間表現、金額表現などは、ユーザの興味とは関連が低いと考えられるのでキーワードからは除外することが好ましい。

テキスト情報分析部２１は、再生時間のキーワードを抽出すると、抽出したキーワードについて、映像関連性を算出する。映像関連性は、ユーザが関連情報を選択する際の指標となる情報である。映像関連性は、シノプシス情報を用いて定義されるので、再生時間に特化した指標とはなり辛いものの、映像データ全体としての関連性の指標となりうる。また映像関連性は特に、ユーザからのアクセスや情報の選択履歴が少ない場合でも、指標としての役割を果たすことができる。

映像関連性を算出する際、テキスト情報分析部２１は、シノプシス情報を用いる。シノプシス情報には、映像データ全体の概要と関連の深い用語が含まれていると考えられる。そこでテキスト情報分析部２１は、要求対象の映像データのシノプシス情報を取得し、映像データの字幕情報と同様に、形態素解析して固有名詞を抽出する。テキスト情報分析部２１は、字幕情報から抽出した固有名詞と、シノプシス情報から抽出された固有名詞とを比較して、字幕情報とシノプシス情報の両方に含まれる固有名詞を特定する。テキスト情報分析部２１は、両方に含まれる固有名詞について、このキーワードの映像関連性を高く設定する。

例えば、字幕情報から抽出した固有名詞が、「横浜」、「元町」、「岡田屋」、「京浜東北線」、「石川町」で、シノプシス情報から抽出した固有名詞が、「勝田ゆかり」、「栗田明美」、「横浜」だったとする。映像関連性が高いほど、大きい数値で示す場合、テキスト情報分析部２１は、キーワード「横浜」について、映像関連性を「１」と設定し、その他のキーワードの映像関連性を「0」と設定する。

映像情報分析部２２は、関連情報要求検出部４１が関連情報の要求を検出すると、映像データ記憶部１２から、要求に含まれる映像データの識別子および再生時間に対応する部分映像データを取得する。映像情報分析部２２は、部分映像データにおいて人物が撮像された部分の特徴量と、人物特徴データ１３ａに記憶された特徴量とを比較して、部分映像データに含まれる人物名を当該映像データの再生時間のキーワードとして抽出する。

映像情報分析部２２は、映像データ記憶部１２から、関連情報要求検出部４１が検出した要求に含まれる映像データの識別子および再生時間に基づいて、部分映像データを取得する。映像情報分析部２２は、要求で特定される映像データの再生時間で再生される映像フレーム、再生時間の近傍で再生される映像データ、あるいは、再生時間を含む所定時間で再生される映像データなどを、部分映像データとして取得する。

映像情報分析部２２は、取得した部分映像データを分析し、人物の顔部分を抽出する。その抽出した顔部分の画像から求めた特徴量と、人物特徴データ１３ａが保有する特徴量との類似度を算出する。映像情報分析部２２は、最も類似した人物特徴データ１３ａの特徴量を決定し、その特徴量に対応する人物名を取得する。このように、顔画像の分析については、例えば、特開２００９−１５７７６７号公報などに記載の方法を採用することができる。

例えば、映像情報分析部２２が、部分映像データから多数の顔部分を抽出された場合、すべての顔部分について人物名を推定しなくとも良い。多くの出演者がいるシーンでは、ユーザの興味対象が出演者である可能性が低いにもかかわらず、その処理に時間を有してしまうからである。例えば、映像情報分析部２２が顔部分を抽出する際、所定数以上の顔部分を検出した場合、全ての顔部分について、人物を特定しなくとも良い。例えば、映像情報分析部２２が、顔部分から人物名を特定する処理を省略し、人物名のキーワードに含めない方法が考えられる。また、映像情報分析部２２は、表示領域の大きい顔部分について分析して人物を特定し、表示領域の小さい顔部分については、人物を特定する処理を省略するなどの方法も考えられる。

映像情報分析部２２は、人物の顔部分の特徴量に基づいてキーワードを特定すると、このキーワードについても、映像関連性を算出しても良い。具体的には、映像情報分析部２２は、要求対象の映像データのシノプシス情報を取得し、形態素解析して固有名詞を抽出する。テキスト情報分析部２１は、顔部分の特徴量に基づいて抽出した人物名と、シノプシス情報から抽出された固有名詞とを比較して、両方に含まれる人物名を特定する。映像情報分析部２２は、両方に含まれる人物名について、このキーワードの映像関連性を高く設定する。ここで、すでにテキスト情報分析部２２によって映像関連性が設定されている場合、映像情報分析部２２は、さらに、その映像関連性を高くするように、映像関連性を更新する。

固定キーワード入力部２３は、あらかじめ決められたキーワードを、キーワードデータに登録する。ここでは登録されるキーワードは、あらかじめ作業者などによって入力される。固定キーワード入力部２３は、要求に含まれる映像データの識別子および再生時間に関係なく、任意の映像データの識別子と、任意の再生時間に、任意のキーワードを対応づけて、キーワード更新部２４に出力しても良い。

キーワード更新部２４は、テキスト情報分析部２１、映像情報分析部２２および固定キーワード入力部２３が決定した各キーワードを、キーワードデータ３１ａに更新する。

このときキーワード更新部２４は、新たなキーワード対応の識別子を採番する。キーワード更新部２４は、採番されたキーワード対応の識別子と、要求に関する映像データの識別子および再生時間と、キーワードとを対応づけて、キーワードデータに記憶する。ここでキーワード更新部２４は、キーワードに、映像関連性および適合度も対応づけて、キーワードデータ３１ａに登録しても良い。ここで適合度は、ユーザの操作によって更新されるデータであるので、キーワード更新部２４は、適合度として初期値を設定してキーワードデータ３１ａに登録しても良い。

図８を参照して、本発明の実施の形態に係る映像コンテンツ分析部１０による映像コンテンツ分析処理を説明する。図８に示す例では、テキスト情報分析部２１および映像情報分析部２２によって出力されるキーワードを登録する場合を説明する。

まずステップＳ２０１において映像コンテンツ分析部１０は、キーワード選択部４２から、キーワード取得対象となる映像データの識別子および再生時間を取得する。

次にステップＳ２０２ないしステップＳ２０４において、テキスト情報分析部２１によるキーワードが抽出される。具体的にはステップＳ２０２においてテキスト情報分析部２１は、キーワード処理対象の映像データの識別子に対応する映像メタデータ１１ａを参照して、字幕情報の取得先のＵＲＩを参照する。さらにテキスト情報分析部２１は、字幕情報のうち、再生時間帯の字幕情報のテキストデータを取得する。

さらにステップＳ２０３においてテキスト情報分析部２１は、ステップＳ２０２で取得した字幕情報のテキストデータのうち、固有名詞を抽出する。ステップＳ２０４においてテキスト情報分析部２１は、ステップＳ２０３で取得した固有名詞と、映像メタデータ１１ａのシノプシス情報の固有名詞とを比較して、映像関連性を決定する。

次にステップＳ２０５ないしステップＳ２０７において、映像情報分析部２２によるキーワードが抽出される。具体的にはステップＳ２０５において映像情報分析部２２は、キーワード処理対象の映像データの識別子に対応する映像データを参照して、再生時間帯の部分映像データを取得する。

さらにステップＳ２０６において映像情報分析部２２は、ステップＳ２０５で取得した部分映像データを解析して、人物の顔部分を抽出し、人物特定データの特徴量と比較して、人物名を推定する。ステップＳ２０７において映像情報分析部２２は、ステップＳ２０６で取得した人物名と、映像メタデータ１１ａのシノプシス情報の人物名とを比較して、映像関連性を決定する。

このように、要求対象の時間帯のキーワードが決定されると、ステップＳ２０８においてキーワード更新部２４は、キーワードデータ３１ａに、ステップＳ２０２ないしステップＳ２０７で特定されたキーワードおよび映像関連性を対応づけて記憶する。このときキーワード更新部２４は、各キーワードについてキーワード対応識別子を採番し、このキーワード対応識別子に、映像データの識別子、再生時間、キーワードおよび映像関連性を対応づけたレコードを生成し、キーワードデータ３１ａに挿入する。ここで、映像コンテンツ分析部１０は、テキスト情報分析部２１および映像情報分析部２２が共通して出力したキーワードであって、シノプシス情報にも含まれるキーワードについては、映像関連性が最も高くなるように、映像関連性を設定する。

このように本発明の実施の形態に係る関連情報提供装置１は、ユーザ端末１０１から映像データの識別子および再生時間が入力されると、その映像データおよび再生時間に対応する映像データや映像メタデータから、ユーザの所望の関連情報の抽出に有効と考えられるキーワードを特定する。これにより、従来のように、放送データや映像配信データに新たにフレームごとに識別子を定義し、それにあわせて関連情報をあらかじめ設定することなく、ユーザが興味を示す場面に関する情報を提供することができる。また、ウェブから適宜関連情報を取得することにより、関連情報を動的に生成し、また最新の関連情報を提供することができる。

また本発明の実施の形態においては、キーワードを、字幕情報や映像データの解析により取得する。このように映像データおよび再生時間ごとに推定したキーワードに基づいて、関連情報を取得し、ユーザに提供する。ここで、多くのユーザが興味を示した関連情報に関連するキーワードが、映像データおよび再生時間を示すキーワードであると考えられる。そこで、ユーザからのフィードバックに基づいて、より多くのユーザが閲覧した関連情報に関連するキーワードの適合度を高めることによって、適切なキーワードに基づいた関連情報を、ユーザに提供することができる。

（その他の実施の形態）
上記のように、本発明の実施の形態によって記載したが、この開示の一部をなす論述および図面はこの発明を限定するものであると理解すべきではない。この開示から当業者にはさまざまな代替実施の形態、実施例および運用技術が明らかとなる。

例えば、本発明の実施の形態に記載した関連情報提要装置は、図１に示したように一つの装置に実装されても良いし、複数の装置に実装されても良い。

本発明はここでは記載していないさまざまな実施の形態などを含むことは勿論である。従って、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

１ 関連情報提供装置
２ 関連情報提供システム
１０ 映像コンテンツ分析部
１１ 映像メタデータ記憶部
１２ 映像データ記憶部
１３ 人物特徴データ記憶部
２１ テキスト情報分析部
２２ 映像情報分析部
２３ 固定キーワード入力部
２４ キーワード更新部
３１ キーワードデータ記憶部
３２ ユーザデータ記憶部
４１ 関連情報要求検出部
４２ キーワード選択部
４３ 関連情報取得部
４４ 関連情報出力部
４５ 新規関連情報通知部
１００、１０２ 映像視聴装置
１０１、１０３ ユーザ端末
１１０ 通信ネットワーク

Claims (8)

1. 映像データの関連情報を提供する関連情報提供方法であって、
   ユーザ端末から、映像データの識別子および再生時間を含み、当該再生時間における映像の関連情報の要求を受信する関連情報要求検出ステップと、
   前記映像データから、前記要求に含まれる映像データの識別子および再生時間に対応するテキストデータを取得し、取得したテキストデータに含まれる固有名詞を、当該映像データの当該再生時間のキーワードとして抽出するテキスト情報分析ステップと、
   前記映像データの識別子および再生時間と、前記テキスト情報分析ステップにおいて抽出したキーワードとを対応づけるとともに、この対応づけを識別するキーワード対応の識別子を付して、キーワードデータに記憶するキーワード更新ステップと、
   前記キーワードデータから、前記関連情報要求検出ステップにおいて受信した映像データの識別子および再生時間に対応するキーワード対応の識別子およびキーワードを取得するキーワード選択ステップと、
   前記キーワード選択ステップにおいて選択されたキーワードに関連する関連情報を、ユーザ端末に出力する関連情報出力ステップと、
   を備えることを特徴とする関連情報提供方法。
2. 前記要求に含まれる映像データの識別子および再生時間に対応する部分映像データを取得し、当該部分映像データにおいて人物が撮像された部分の特徴量と、人物名と、当該人物の画像の特徴量とを対応づけた人物特徴データの特徴量とを比較して、当該部分映像データに含まれる人物の人物名を当該映像データの当該再生時間のキーワードとして抽出する映像情報分析ステップをさらに備え、
   前記キーワード更新ステップはさらに、キーワード対応の識別子と、映像データの識別子と、当該映像データの再生時間と、前記映像情報分析ステップにおいて抽出したキーワードとを対応づけて、前記キーワードデータに記憶する
   ことを特徴とする請求項１に記載の関連情報提供方法。
3. 前記キーワード更新ステップは、前記キーワード対応の識別子に、当該映像データの当該再生時間における当該キーワードの適合度をさらに対応づけて前記キーワードデータに記憶し、
   前記関連情報出力ステップは、
   前記キーワード選択ステップにおいて選択されたキーワードに関連する関連情報を、前記キーワード対応の識別子に対応づけてユーザ端末に出力し、
   ユーザ端末において当該関連情報が選択されると、前記キーワードデータの当該キーワード対応の識別子に対応する適合度を上げる更新をするとともに、
   前記キーワードデータにおいて、前記映像データの識別子および前記再生時間に複数のキーワードが対応づけられている場合、前記複数のキーワードのうち適合度の高いキーワードに関連する関連情報を優先的に出力する
   ことを特徴とする請求項１または２に記載の関連情報提供方法。
4. 前記キーワード更新ステップは、前記キーワード対応の識別子に、映像関連性も対応づけて前記キーワードデータに記憶し、
   前記テキスト情報分析ステップは、映像データおよび再生時間に対応するキーワードを抽出すると、抽出したキーワードが、当該映像データのシノプシス情報に含まれる場合、映像関連性が高くなるように前記映像関連性を設定し、
   前記関連情報出力ステップは、前記キーワードデータにおいて、前記映像データの識別子および前記再生時間に複数のキーワードが対応づけられている場合、前記複数のキーワードのうち前記映像関連性の高いキーワードに関連する関連情報を優先的に出力する
   ことを特徴とする請求項１ないし３のいずれか１項に記載の関連情報提供方法。
5. 映像データの関連情報を提供する関連情報提供装置であって、
   ユーザ端末から、映像データの識別子および再生時間を含み、当該再生時間における映像の関連情報の要求を受信する関連情報要求検出部と、
   前記映像データから、前記要求に含まれる映像データの識別子および再生時間に対応するテキストデータを取得し、取得したテキストデータに含まれる固有名詞を、当該映像データの当該再生時間のキーワードとして抽出するテキスト情報分析部と、
   前記映像データの識別子および再生時間と、前記テキスト情報分析部が抽出したキーワードとを対応づけるとともに、この対応づけを識別するキーワード対応の識別子を付して、キーワードデータに記憶するキーワード更新部と、
   前記キーワードデータから、前記関連情報要求検出部が受信した映像データの識別子および再生時間に対応するキーワード対応の識別子およびキーワードを取得するキーワード選択部と、
   前記キーワード選択部によって選択されたキーワードに関連する関連情報を、ユーザ端末に出力する関連情報出力部と、
   を備えることを特徴とする関連情報提供装置。
6. 人物名と、当該人物の画像の特徴量とを対応づけた人物特徴データを記憶する記憶装置と、
   前記要求に含まれる映像データの識別子および再生時間に対応する部分映像データを取得し、当該部分映像データにおいて人物が撮像された部分の特徴量と、前記人物特徴データに記憶された特徴量とを比較して、当該部分映像データに含まれる人物名を当該映像データの当該再生時間のキーワードとして抽出する映像情報分析部をさらに備え、
   前記キーワード更新部はさらに、キーワード対応の識別子と、映像データの識別子と、当該映像データの再生時間と、前記映像情報分析部が抽出したキーワードとを対応づけて、前記キーワードデータに記憶する
   ことを特徴とする請求項５に記載の関連情報提供装置。
7. 前記キーワード更新部は、前記キーワード対応の識別子に、当該映像データの当該再生時間における当該キーワードの適合度をさらに対応づけて前記キーワードデータに記憶し、
   前記関連情報出力部は、
   前記キーワード選択部によって選択されたキーワードに関連する関連情報を、前記キーワード対応の識別子に対応づけてユーザ端末に出力し、
   ユーザ端末において当該関連情報が選択されると、前記キーワードデータの当該キーワード対応の識別子に対応する適合度を上げる更新をするとともに、
   前記キーワードデータにおいて、前記映像データの識別子および前記再生時間に複数のキーワードが対応づけられている場合、前記複数のキーワードのうち適合度の高いキーワードに関連する関連情報を優先的に出力する
   ことを特徴とする請求項５または６に記載の関連情報提供装置。
8. コンピュータに、請求項１ないし請求項４のいずれか１項に記載のステップを実行させるための関連情報提供プログラム。

Images