JP2009232250A - 番組情報表示装置および番組情報表示方法 - Google Patents

Abstract

【課題】番組視聴中、画面上の顔と対応付けて出演者名を知りたいという要求に対し、ノイズの少なく、精度の良い検索を可能とする番組情報表示装置及び番組情報表示方法を提供すること。
【解決手段】番組情報表示装置１００は、代表特徴量決定部１０９は抽出画像の特徴量と関連画像の入手先の情報に基づいて代表特徴量とその信頼度を決定し、出演者情報管理部１０４は決定された代表特徴量及び信頼度を出演者名と対応付けて出演者情報として管理する。表示画像取得部１０２は動画像を構成するフレームから表示画像を取得し、特徴量算出部１１１は表示画像について抽出画像の特徴量を算出する。検索部１０５は抽出画像の特徴量と代表特徴量との類似度を算出し、代表特徴量に関連付けられた出演者名を取得する。表示情報生成部１０６は信頼度又は類似度と抽出画像の領域とに基づいて表示情報を生成し、表示部１０３は出演者名を顔領域に関連付けて表示する。
【選択図】図１

Description

本発明は、番組情報を表示する番組情報表示装置および番組情報表示方法に関し、例えば、テレビジョン受信機、ＤＶＤプレイヤ、ハードディスクレコーダ等の動画像を表示または再生する番組情報表示装置および番組情報表示方法に関する。

従来、テレビなどで視聴している番組の出演者が未知であった場合、その出演者の名前を知りたいという要求は一般的なものである。この見知らぬ出演者の情報を得る方法として、例えば、新聞のテレビ欄あるいはＥＰＧ（Electrical Program Guide：電子番組表）から出演者情報を得ることが一般的であった。

このような方法においては、出演者の名前と写真が掲載されているとは限らないため、顔と名前を一致させることが困難となる。ユーザは、番組の情報から出演者名を知ることができた場合であっても、例えばインターネットにアクセスして出演者名をキーワードにより画像を検索することで、顔と名前を一致させることが可能となる場合もある。しかし、ユーザにとってその手間は煩雑であった。

この状況を解決する方法として、動画像から顔画像を抽出して予め登録された顔画像と固有情報を検索し、固有情報を顔画像の近傍に表示する情報表示方法がある（例えば、特許文献１）。

また、別の方法として、画像特徴量を基にして、画像の検索する対象である画像特徴量データベースを最新の情報に更新するために、画像リストと画像を外部装置から定期的に取得する画像検索装置がある（例えば、特許文献２）。
特開２００６−２９３９１２号公報 特開２００６−１８５３２０号公報

しかしながら、このような従来の番組情報表示装置にあっては、以下のような課題があった。

特許文献１記載の情報表示法では、画像特徴量データベースが固定的であり、様々な番組に日々新たな出演者が登場する状況において、すべての出演者に関する画像特徴量を保持していることは現実的ではない。

この解決手段として上記特許文献２を用いることで、検索対象の画像特徴量データベースを定期的に更新することが可能となる。しかし、特許文献２記載の画像検索装置は、キーワードから画像特徴量を検索して、画像特徴量を基に類似画像を検索するためのデータベースであり、画像特徴量からキーワード（例えば、出演者名）を検索するものではない。また、上記画像検索装置は、キーワードを基に取得した画像をネットワークで検索すると、関連するが出演者を示すものではない画像（ノイズ）も多く検索され、検索方法が異なることから、ノイズに対する考慮がなされていない。

また、上記方法を組み合わせても、画像特徴量が一致したと判断されるまで出演者名が表示されないという課題がある。

本発明は、上記に鑑みてなされたものであり、番組視聴中、登場人物と出演者名が一致しないときなど、画面上の顔と対応付けて出演者名を知りたいという要求に対し、ノイズの少なく、精度の良い検索を可能とする番組情報表示装置および番組情報表示方法を提供することを目的とする。

本発明の番組情報表示装置は、動画像と出演者名を含む出演者情報からなる番組を取得する番組取得部と、前記出演者情報に基づいて、ネットワークから関連画像を取得する関連画像取得部と、前記関連画像から人物の領域を切り出した抽出画像の特徴量を算出する第１特徴量算出部と、前記抽出画像の特徴量と前記関連画像の入手先の情報に基づいて代表特徴量とその信頼度を決定する代表特徴量決定部と、決定された前記代表特徴量および信頼度を前記出演者名と対応付けて出演者情報として管理する出演者情報管理部と、前記動画像を構成するフレームから表示画像を取得する表示画像取得部と、前記表示画像について前記抽出画像の特徴量を算出する第２特徴量算出部と、前記第２特徴量算出部により算出された前記抽出画像の特徴量と前記出演者情報管理部に保持された前記代表特徴量との類似度を算出し、前記類似度が最大となる代表特徴量に関連付けられた出演者名を取得する検索部と、前記信頼度または前記類似度の少なくとも一方と前記検索部により取得した前記出演者名と前記抽出画像の領域とに基づいて表示情報を生成する表示情報生成部と、前記表示画像および前記表示情報を表示する表示部と、を備える構成を採る。

本発明の番組情報表示方法は、動画像と出演者名を含む出演者情報からなる番組を取得するステップと、前記出演者情報に基づいて、ネットワークから関連画像を取得するステップと、前記関連画像から人物の領域を切り出した抽出画像の特徴量を算出する第１特徴量算出ステップと、前記抽出画像の特徴量と前記関連画像の入手先の情報に基づいて代表特徴量とその信頼度を決定するステップと、決定された前記代表特徴量および信頼度を前記出演者名と対応付けて出演者情報として管理するステップと、前記動画像を構成するフレームから表示画像を取得するステップと、前記表示画像について前記抽出画像の特徴量を算出する第２特徴量算出ステップと、前記第２特徴量算出ステップにより算出された前記抽出画像の特徴量と保持された前記代表特徴量との類似度を算出し、前記類似度が最大となる代表特徴量に関連付けられた出演者名を取得するステップと、前記信頼度または前記類似度の少なくとも一方と前記検索部により取得した前記出演者名と前記抽出画像の領域とに基づいて表示情報を生成するステップと、前記表示画像および前記表示情報を表示するステップとを有する。

本発明によれば、事前に出演者の顔画像データベースを用意する必要がなく、出演者の領域に関連付けて出演者名を表示する際に、出演者の判定結果の正しさを直観的に判断できる効果が得られる。

また、動画像から顔画像を抽出して得られる画像特徴量から出演者を特定する際に、動的に検索するデータベースに基づいた信頼度を反映させることにより、ノイズが少なく、精度の良い検索を実現できる。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る番組情報表示装置を備える番組情報表示システムの構成を示す図である。本実施の形態に係る番組情報表示装置は、デジタル放送の電波を受信可能なテレビジョン受信機に適用した例である。

図１において、番組情報表示システムは、デジタルテレビジョン受信機である番組情報表示装置１００、インターネットまたは専用回線からなるネットワーク２００、画像検索サイトである画像検索装置２１０、掲載するウェブページを公開している一般サイトである画像サーバ２２０、番組の公式サイトである番組情報サーバ２３０、番組表を掲載するサイトである番組表サーバ２４０および番組を放送する放送局２５０を備えて構成される。

番組情報表示装置１００は、放送局２５０から送信される番組情報を再生するデジタル放送受信機である。本実施の形態では、番組情報表示装置１００をテレビジョン受信機に適用した例について説明している。また、番組情報表示装置１００は、ＢＤ（Blue-ray Disc）、ＤＶＤ（Digital Versatile Disc）プレイヤ、ハードディスクレコーダなどの動画像を表示または再生する装置に適用することができる。さらに、番組情報表示装置１００は、携帯電話機／ＰＨＳ（Personal Handy-Phone System）、携帯情報端末（以下、ＰＤＡ（Personal Digital Assistants）という）などの携帯端末、パソコン、さらには携帯ゲーム機なども含まれる。詳細な構成については後述する。

ネットワーク２００は、移動体通信網、公衆電話網、ＬＡＮまたはインターネットなどから構成するネットワークであり、有線系または無線系などネットワークの種類とプロトコルの種類は特に問わない。また、ネットワーク２００のアクセス回線としては、ＦＴＴＨ（Fiber To The Home）、ＨＦＣ（Hybrid Fiber Coax：光同軸ケーブル）、およびＡＤＳＬ（Asymmetric Digital Subscriber Line）等の大容量回線が利用可能である。

画像検索装置２１０は、ネットワーク２００を介して画像サーバ２２０、番組情報サーバ２３０をはじめとする複数のサイトが保持する画像、その説明情報および画像のＵＲＬ（Uniform Resource Locator）を収集し保持している画像検索サイトである。画像検索装置２１０は、収集した画像に関する情報を、キーワードに基づいて検索し、検索結果である画像および画像のＵＲＬを出力する。画像およびその説明情報を収集する対象には、画像サーバ２２０も含まれており、画像サーバ２２０に掲載されている情報が適正でない場合もあるため、検索アルゴリズムを工夫することにより精度を向上させようとしている。

画像サーバ２２０は、不特定多数の一般ユーザあるいは企業等により管理されており、何らかの画像を保持してネットワーク２００に向けて公開しているサイトである。公開サイトは、必ずしも情報を適正に表現しているとは限らないが、公式サイトに比べるとはるかに多く存在している。

番組情報サーバ２３０は、番組の公式サイトであり、一般的には番組の権利者であるテレビ局や番組制作会社が管理している。従って、公式サイトは、番組の内容を適正に表現しているサイトの一つであると言える。ただし、番組によっては、公式サイトが存在しないこともあり、存在している場合であっても内容の充実度は様々である。ここでは、公式サイトを番組のサイトとして説明しているが、番組の出演者の公式サイトも出演者に関する情報を適正に表現しているサイトであることから、出演者の公式サイトも同様に扱うことができる。

番組表サーバ２４０は、日時あるいは地域等を基に該当する番組情報の一覧である番組表を、ネットワーク２００を介して提供するサイトである。番組情報は、番組名、出演者名、公式サイトのＵＲＬ等を含む。本実施の形態では、インターネットのサイトである番組表サーバを用いているが、番組情報を提供するものであればよい。例えば、番組情報を取得する方法は、番組情報を放送局２５０が放送波に重畳する方法、あるいは番組がＤＶＤ（Digital Versatile Disc）あるいはハードディスクなどのメディアで構成される場合、番組と同一のメディアに番組情報を保持し、番組情報表示装置１００から参照してもよい。よって、番組がＤＶＤなどのメディアで構成される場合の番組情報表示システムは、放送局２５０および番組表サーバ２４０を全体構成に含まれなくともよい。

上記各サーバ２２０，２３０，２４０は、サーバ全体を制御するコンピュータからなる制御部、ネットワーク２００に接続され、例えばインターネット上のＵＲＬにアクセスされたデータを送受信する通信インタフェース、およびデータを蓄積するデータベース（ＤＢ）などから構成される。

放送局２５０は、番組を放送し、番組情報表示装置１００は番組を受信する。

番組情報表示装置１００は、以下の構成を採る。

番組情報表示装置１００は、番組取得部１０１、表示画像取得部１０２、表示部１０３、出演者情報管理部１０４、検索部１０５、表示情報生成部１０６、関連画像取得部１０７、特徴量算出部１０８（第１特徴量算出部）、代表特徴量決定部１０９、出演者情報保持部１１０、および特徴量算出部１１１（第２特徴量算出部）から構成される。また、図示は省略されているが、番組情報表示装置１００は、ユーザからの入力を受け付ける入力操作を行うキーボードあるいはリモコン装置の数値、十字キー等からなる入力装置、外部記録装置あるいは各種機器を接続するためのインタフェースを備えている。

番組取得部１０１は、番組および番組情報の放送を受信し、番組および番組情報をデコードするチューナである。番組取得部１０１は、動画像とその出演者情報からなる番組を取得する。番組取得部１０１により取得される番組表は、放送信号から抽出される。この番組情報は、番組取得部１０１により番組に関する情報（例えば、番組名、チャンネル、放送日、放送の開始時刻と終了時刻など）としてＥＰＧなどから予め取得される。番組取得部１０１は、内部にメモリ（図示略）を有し、このメモリに取得した番組情報およびＥＰＧを保存する。番組取得部１０１が、例えばＥＰＧなどから番組を取得する場合、番組表に記載された出演者名が対象となり、従って番組表に記載されていない出演者等は対象とならない。図２は、電子番組表の一例を示す図である。図２に示すように、この電子番組表は、番組名、あらすじ、出演者およびＵＲＬのフィールド名について各設定値を持つ。図２の例では、番組名「グッドモーニングトーキョー」、出演者「タケシ（松山太郎）、ヒロコ（竹田花子）、ユリ（梅川良子）」、ＵＲＬは番組の公式サイトである。

表示画像取得部１０２は、番組取得部１０１より取得した番組に対して、表示する動画像のフレームを抽出し、動画像を構成するフレームから表示画像を取得する。

表示部１０３は、表示画像取得部１０２で抽出されたフレーム単位の動画像を表示するディスプレイである。表示部１０３は、表示画像と同時に表示情報を表示する。

出演者情報管理部１０４は、番組取得部１０１に保存された番組情報から出演者名、公式サイトのＵＲＬを抽出する。出演者情報管理部１０４は、代表特徴量決定部１０９から得られる関連画像に関する代表特徴量および信頼度を出演者名と対応付けて出演者情報保持部１１０に保持する。

検索部１０５は、類似画像を検索し、検索結果を一時的に保持する。検索部１０５は、表示画像について特徴量算出部１１１により抽出画像の領域および抽出画像特徴量を求める。検索部１０５は、出演者情報管理部１０４により代表特徴量を取得して類似度を算出し、類似度が最大となる代表特徴量に関連付けられた出演者名を取得する。

表示情報生成部１０６は、代表特徴量の信頼度または類似度の少なくとも一方と、検索部１０５で取得した出演者名と抽出画像の領域とから表示部１０３に表示する表示情報を生成する。表示情報生成部１０６による表示情報生成例については、図６により後述する。

関連画像取得部１０７は、ネットワーク２００と通信して画像を取得する。関連画像取得部１０７は、ネットワーク２００に接続して出演者情報を基に１つ以上の関連画像を取得する。

特徴量算出部１０８，１１１は、画像から人物の領域を切り出した抽出画像の特徴量を算出する。特徴量算出部１０８と特徴量算出部１１１とは、特徴量を算出するアルゴリズムは同じであるが、処理対象が異なる。特徴量算出部１０８は、ネットワーク２００から取得した画像に対して、画像から人物の領域を切り出した抽出画像の特徴量を算出する。特徴量算出部１１１は、ＴＶ画面に表示している画像に対して、画像から人物の領域を切り出した抽出画像の特徴量を算出する。ここで、特徴量算出部１０８，１１１は、ネットワーク２００から取得した画像またはＴＶ画面に表示している画像に、複数人の人物が映っている場合には、その複数人のそれぞれについて特徴量を算出する。

代表特徴量決定部１０９は、特徴量に重み付けをして比較して代表特徴量および信頼度を決定する。具体的には、代表特徴量決定部１０９は、ネットワーク２００から取得した関連画像から抽出した抽出画像（顔領域）の特徴量に対して重み付けを行う。重み付けの方法は、例えばその画像の取得元が公式サイトである場合に、その抽出画像の個数を増やす方法がある。この方法によると、該当の抽出画像の特徴量の数が他の抽出画像よりも増えることで、重みを付けることができる。また、代表特徴量の決定条件は、該当する抽出画像のすべての特徴量から、相加平均を用いる方法、あるいは個数が最大となる値を用いる方法が考えられる。

出演者情報保持部１１０は、ハードディスクあるいはメモリにより構成され、出演者情報管理部１０４で番組情報から抽出した出演者情報に対して、代表特徴決定部１０９で決定された代表特徴量とその信頼度を保持する。図３は、出演者情報保持部１１０に保持される出演者情報の一例を示す図である。図３に示す出演者情報は、図２の電子番組表の出演者の出演者名（役名）「松山太郎（タケシ）、竹田花子（ヒロコ）、梅川良子（ユリ）」に、それぞれ代表特徴量とその信頼度を有する。図３の場合、出演者名（役名）「竹田花子（ヒロコ）」の信頼度が他の二名の信頼度より高い。

上記出演者情報管理部１０４、検索部１０５、表示情報生成部１０６、特徴量算出部１０８、代表特徴量決定部１０９、および特徴量算出部１１１は、ＣＰＵ等からなり、番組情報表示処理の実行を含む装置全体の制御を行う。上記ＣＰＵは、ＲＯＭ、ＲＡＭおよび電気的に書換可能な不揮発性メモリであるＥＥＰＲＯＭ（electrically erasable programmable ROM）あるいはフラッシュＲＯＭなどを備えている。上記メモリには、プログラム、通信制御データ、さらに端末の識別コード等の種々のデータを記憶する。また、上記メモリには、出演者情報保持部１１０の出演者情報が格納される。

以下、上述のように構成された番組情報表示装置１００の動作を説明する。

図４および図５は、番組情報表示装置１００の動作を示すフローチャートである。図４は、代表特徴量を決定するまでの処理を、図５は、出演者名の表示までの処理をそれぞれ示す。図４に示すフローは、基本的にはユーザが該当番組を視聴中に実行される。図５に示すフローは、基本的にはユーザ指示をトリガとして実行される。このように、実行条件が異なるので、２つのフローに分けて説明する。図４および図５に示すフローは、上述したようにＣＰＵにより番組情報表示プログラムとして実行される。図中、記号「Ｓ」はフローの各ステップを示す。

まず、代表特徴量決定部１０９により代表特徴量を決定するまでの処理について、図４のフローチャートを用いて説明する。

ステップＳ１１において、番組取得部１０１は、表示中の番組情報および動画像を取得する。番組情報は、電子番組表（ＥＰＧ）から取得することが最も容易な方法であるが、動画像中の文字列または音声の認識、クローズドキャプションの認識などで番組情報を取得してもよい。さらに、電子番組表には、インターネット上における出演者の公式サイトのＵＲＬ、番組の公式サイトのＵＲＬが含まれていてもよい。電子番組表の一例は、図２に示す。

ステップＳ１２において、出演者情報管理部１０４は、ループの始端と終端において「すべての出演者名」について以下の処理を繰り返す。出演者情報管理部１０４は、番組取得部１０１で取得した番組情報を基に、電子番組表の出演者のフィールドから出演者名を抽出し、得られたすべての出演者名について、以降の処理を行う。

ステップＳ１３において、出演者情報管理部１０４は、出演者名が、出演者情報保持部１１０にあるか否かを確認する。ただし、処理の開始時において出演者情報保持部１１０には何も登録されていないものとする。

ステップＳ１４において、出演者情報管理部１０４は、出演者名が、出演者情報保持部１１０にある場合は次の出演者に移る。出演者名が、出演者情報保持部１１０にない場合は、ステップＳ１５に進む。

ステップＳ１５において、関連画像取得部１０７は、出演者名を基に関連画像を取得する。関連画像取得部１０７は、インターネットをはじめとするネットワーク２００経由で、出演者名をキーワードとして画像検索装置２１０から関連画像とその取得先のＵＲＬ等の情報を取得し、保持する。番組がＤＶＤなどのメディアであり、そのメディアに画像データを保持している場合には、ネットワーク２００経由ではなくメディアから関連画像を取得するとしてもよい。

ステップＳ１６では、ループの始端と終端において「すべての関連画像」について以下の処理を繰り返す。

ステップＳ１７において、特徴量算出部１０８は、関連画像取得部１０７で取得した各出演者の全ての関連画像から人物の顔領域を切り出して画像特徴量を求め、出演者名と対応付けて一時的に保存する。人物の領域を切り出す方法としては、色や輝度の情報から顔の輪郭を求めエッジを抽出、顔パーツの抽出によるパターン処理などを用いて行う。画像特徴量は、色調や顔パーツの配置位置などを数値化することで求める。

ステップＳ１８において、代表特徴量決定部１０９は、得られた画像特徴量から出演者名ごとに代表特徴量と信頼度を決定し、ステップＳ１９において、出演者情報管理部１０４は、出演者名、代表特徴量、信頼度を関連付けて出演者情報保持部１１０に保持する。出演者情報保持部１１０に保持する情報の一例は、図３に示される。なお、画像特徴量は、特徴量算出部１０８のアルゴリズムや精度、保存形式によるものであり、この例が画像特徴量の一般的な表現を示すものではない。

次に、代表特徴量決定部１０９の処理について説明する。

なお、代表特徴量決定部１０９の処理に先立って、特徴量算出部１０８でノイズ除去処理が行われる。

番組情報表示装置１００は、出演者名をキーワードとして、ネットワーク２００経由で画像検索装置２１０から画像を検索する。番組情報表示装置１００は、画像検索装置２１０の検索アルゴリズムに従って番組情報サーバ２３０あるいは画像サーバ２２０の画像が抽出される。このような画像検索は、キーワードで関係する画像を検索することが一般的であり、画像サーバ２２０の画像の中には、キーワードが一致するだけで出演者の顔画像ではない画像も検索される。

画像特徴量は、特徴量算出部１０８のアルゴリズムに従って得られ、例えば顔パーツの配置位置が複数の特徴値（ここでは特徴値を０以上とする）の組み合わせで表現される。特徴量算出部１０８は、出演者の複数の関連画像の特徴値のそれぞれについて統計的な分布を求め、平均から予め規定した閾値以内の特徴量の平均を再計算して、代表特徴量として求める。これにより、特徴量が大きく異なるもの（ノイズ）を排除する。特徴量算出部１０８による特徴量算出の具体例表示情報生成例については、図７により後述する。

目標となる人物の表示画面であるターゲット以外は、全てノイズとする。検索エンジンで行うと関係ない画像が多い。また、該当人物以外の人が写っている場合も多い。検索数が多くなると精度が高くなると考えられるので、何度か繰り返すことにより精度を上げることが可能である。例えば、番組が始まってから番組を受信している間、バックグランド処理により常時、処理を行ってもよい。番組予約がある場合、番組開始に先立って予め、図４のフローを実行することも可能である。このようにすれば、代表特徴量の信頼度を高めることができる。

ここで、出演者情報管理部１０４は、番組取得部１０１が保持する番組の公式サイトのＵＲＬと、関連画像取得部１０７が取得した画像のＵＲＬとを比較し、同一のドメインである場合には、取得した画像が公式サイトのものであると判断する。そして、代表特徴量決定部１０９は、その画像の特徴量に重み付けすることで、算出される代表特徴量に反映させる。信頼度の重み付けの計算は、例えば次のように行う。

特徴量算出部１０８が算出した各出演者の画像特徴量Ｆ（ｘ）が、ｍ個の特徴値からなる次式（１）で表現されると、代表特徴量Ｆｔは、ノイズ排除後の画像数ｎ、公式サイトか否かの係数ｓｉとして、次式（２）により得られる。

また、信頼度ベクトルＣｖは、次式（３）として示される。信頼度Ｃは、次式（４）で求めることができる。

上記公式サイトか否かの係数ｓｉは、例えば公式サイトの画像である場合には２、その他サイトからの画像の場合には１というように設定する。

次に、特徴量算出部１０８が行う特徴量算出の具体例について説明する。

特徴量は、上記式（１）に示すように、ｍ個からなる特徴値の組み合わせである。個々の特徴量は、色情報や顔の各パーツの位置情報から求めることができる。例えば、特徴量算出部１０８は、色情報を基にした色相などを算出して特徴値とする。位置情報については、色情報を基にした輝度や色相などから画像の中の輪郭を抽出して顔の各パーツを求め、例えば縦横比、各パーツの相対位置などを特徴値とする。

以下、代表特徴量の算出方法の具体例について説明する。簡単のため、ｍ＝３とする。

図７は、特徴量算出部１０８が算出した特徴量の例を示す。図７の場合、特徴量は、特徴量番号毎に、３個の特徴値１乃至３を有する。この特徴量を用いて、代表特徴量の算出の例を説明する。

特徴量算出部１０８は、ノイズを除去するためと信頼度を算出するために相加平均と分散を計算する。分散は、特徴値のばらつきを意味するものであり、そのばらつき度合いを基にしきい値を算出してノイズを除去する。なお、分散の値を信頼度とする態様でもよい。

図７において、ｎ個の関連画像それぞれの特徴量に番号を付けたものが特徴量番号である。この場合、ｎ個の関連画像を用いて、相加平均と分散を求めることになる。関連画像は、あるキーワード（出演者名）を基にして検索された画像である。したがって、ひとつのキーワード（出演者名）について複数の関連画像がある。この複数の関連画像を用いてキーワード（出演者名）に対する代表特徴量を求める。

ここで、キーワード（出演者名）によって検索される画像には、まったく関係のない画像（ノイズ）が含まれまる。場合によっては、人物の画像でないこともある。ノイズを含めたまま得られた平均値は、妥当な値とは考えにくいので、ノイズを除去した後で、再計算を行う。

複数の関連画像から代表特徴量を求めるために、以下（ａ）−（ｅ）の処理を行う。
（ａ）ノイズを含む母集団から仮の平均値を求める。
（ｂ）仮の平均値から分散を求める。
（ｃ）分散を基にノイズを除去する。
（ｄ）ノイズを除いた母集団の平均を求める。これが再計算である。
（ｅ）求められた平均を代表特徴量とする。

まず、特徴量算出部１０８は、図７における特徴値毎に相加平均を求める。その際に公式サイトの特徴量は、他の特徴量よりも所定倍（例えば５倍）の重み付けをする。図７の場合、特徴量番号１の特徴量は、公式サイトから取得した特徴量であるため、他の特徴量よりも５倍の重み付けをする。母集団の数は、４増えることになる。

図７に示す特徴値１乃至３において、特徴値１の場合を例に採り説明する。

特徴値１の相加平均ｆ_１ｍは、次式（５）として示される。分散σ^２は、次式（６）として示される。

ｆ_１ｍ＝（（２^＊５）＋３＋２＋８＋１）／（５＋４）≒２.６７ …（５）
σ^２＝（２^＊２^＊５＋３^＊３＋２^＊２＋８^＊８＋１^＊１）／（５＋４）−（ｆ_１ｍ）^２
≒１０.８９−７.１３＝３.７６ …（６）

特徴値１が、正規分布になると仮定して、閾値ｔｈを±標準偏差σと予め定義した場合、閾値ｔｈは、ｆ_１ｍにおいて次式（７）で示される。

ｔｈ≒±√（３.７６）＝±１.９４ …（７）

すなわち、ｆ_１ｍの取り得る値ｆ_１eとしては、次式（８）および（９）となる。

（ｆ_１ｍ−ｔｈ）≦ｆ_１e≦（ｆ_１ｍ＋ｔｈ） …（８）
０.７３≦ｆ_１e≦４.６１ …（９）

上記式（９）から、図７に示す特徴量番号４のデータは、ｆ_１ｍの取り得る値ｆ_１eに該当しないので、ノイズとみなすことができる。同様にして、残りの特徴値である特徴値２および特徴値３についても計算することができ、ノイズとなる特徴量を除いて新たな平均を求める。例えば、特徴量算出部１０８は、ｆ_１ｍについて、特徴量番号４のデータを除き重み付けを考慮して、次式（１０）により上記再計算を行う。ただし、他の特徴値によるノイズ除去は無視している。

ｆ_１ｍ＝（（２^＊５）＋３＋２＋１）／（４＋４）＝２.００ …（１０）

以上により、図７において、代表特徴量の特徴値１の値を「２」とすることができる。他の特徴値である特徴値２および特徴値３についても同様に計算することで、代表特徴量を算出することができる。

代表特徴量決定部１０９は、同一のキーワードに対し、収集された画像特徴量のばらつきが大きい場合は、信頼度が低くなり、ばらつきが小さければ信頼度は高くなると判断する。

代表特徴量決定部１０９は、計算を簡略するために、ノイズを除いた特徴量の数ｎ、ノイズ排除前の画像数をａ、公式サイトの画像数を０とした場合、信頼度Ｃは、次式（１１）により求めてもよい。この場合も同様に、特徴量のばらつきが大きい場合は信頼度が低く、ばらつきが小さければ信頼度は高くなる。

代表特徴量決定部１０９は、このようにして得られた出演者名、代表特徴量Ｆｔ、信頼度Ｃを関連付けて出演者情報保持部１１０に保持する。なお、代表特徴量決定部１０９は、番組情報として出演者名と役名が得られた場合に、役名も合わせて出演者情報保持部１１０に保持してもよい。代表特徴量決定部１０９は、ネットワーク経由で画像検索する場合においては多くの画像が検索されることもあるため、代表特徴量Ｆｔを決定するまでの処理を番組表示中に段階的に非同期で行ってもよい。

また、代表特徴量決定部１０９は、出演者名について数個の画像を処理した時点で次の出演者名の処理を行い、すべての出演者名について処理した後は、再度出演者名について別の数個の画像を取得して処理する。代表特徴量決定部１０９は、このように段階的に処理することで、番組視聴開始の早い段階から、以下に示す照合処理が実施可能となり、番組視聴中に非同期処理が進むにつれて代表特徴量の信頼度を高めることが可能となる。

次に、出演者名の表示までの処理について、図５のフローチャートを用いて説明する。本フローは、ユーザが番組視聴中に出演者の人物を知りたい場合に、ユーザ指示がトリガとなり実行される。

ステップＳ２０において、表示画像取得部１０２は、番組取得部１０１から取得した動画像からフレーム単位で表示画像を取得し保持する。

ステップＳ２１において、表示部１０３は、取得した表示画像をそのまま動画像として表示する。

ステップＳ２２において、検索部１０５は、表示画像取得部１０２で取得したフレーム単位の表示画像から、人物の領域を切り出して抽出画像を出力すると共に、抽出画像の切り出し位置を出力する。特徴量算出部１１１は、抽出画像から抽出画像特徴量を算出する。複数の人物が写っている場合には、複数の抽出画像が得られる。特徴量算出部１１１は、特徴量算出部１０８と同一機能であり、特徴量算出部１０８については既に詳細に説明した。ただし、特徴量算出部１０８は、関連画像の特徴量を計算するのに対し、特徴量算出部１１１は、抽出画像の特徴量を計算する。

ステップＳ２３では、ループの始端と終端において「すべての関連画像」について以下の処理を繰り返す。

ステップＳ２４において、ループの始端と終端において「すべての代表画像」について、検索部１０５は、出演者情報管理部１０４を介して出演者情報保持部１１０に照合済みの代表特徴量がなくなるまで代表特徴量を取得する。

ステップＳ２５において、検索部１０５は、抽出画像特徴量と代表特徴量の照合を行い、類似度を算出する。検索部１０５は、代表特徴量をＦｔ、抽出画像特徴量をＦｅ、特徴量の取りうる最大値をＦｍａｘ（但し各特徴値の最大値は０より大きい）とすると、類似度Ｓは、例えば次式（１２）により求めることができる。

ここで、検索部１０５は、代表特徴量Ｆｔと該当の信頼度Ｃを取得し、予め設定した閾値よりも信頼度が低い代表特徴量の照合は行わないとして、処理を高速化することもできる。

ステップＳ２６において、検索部１０５は、算出した類似度のうち最大となる類似度を抽出する。

ステップＳ２７において、検索部１０５は、該当する代表特徴量に関連付けられている出演者名を検索結果として保持する。検索部１０５は、特徴量算出部１１１により算出された抽出画像特徴量と、図４のフローにおいて代表特徴量決定部１０９により得られた関連画像に関する代表特徴量とをマッチングする。

ステップＳ２８において、表示情報生成部１０６は、検索部１０５で抽出された出演者名と抽出画像により、表示情報を生成する。具体的には、出演者名から決定される表示画面と、抽出画像の位置から決定される表示位置と、信頼度または類似度の少なくとも一方の情報とを用いて表示情報を生成する。表示情報生成部１０６は、検索部１０５による抽出画像特徴量と代表特徴量とのマッチング結果および信頼度に基づいて、表示情報を出演者名と同時に表示する表示情報を作成する。基本的には、信頼度が高い表示情報は、より目立つように表示する。

ステップＳ２９において、表示部１０３は、表示情報生成部１０６で生成された表示情報に基づいて、検索結果を表示する。

出演者名の表示までの処理は、「すべての関連画像」について以上の処理を実行すると本処理を終了する。

このように、ユーザが知りたいと思ったときに、表示画面に表示されている人物の情報を知ることができる。

次に、表示情報生成部１０６による具体的な表示情報の生成処理について説明する。

表示情報生成部１０６は、検索部１０５で抽出された出演者名から表示内容を決定する。例えば、表示内容は、出演者名である。

表示情報生成部１０６は、表示内容と検索部１０５で抽出画像の位置から表示位置を決定する。例えば、表示情報生成部１０６は、抽出された領域の上、右、下、左の順に表示内容が配置可能かを確認し、配置可能な位置を決定する。ここで配置可能とは、表示内容が表示画面の範囲を超えないこと、既に表示位置を決定済みの表示内容に重ならないこと、既に表示位置を決定済みの表示内容と近接していないこと、などの条件を満たす場合に配置可能と判断する。

表示情報生成部１０６は、検索部１０５が照合の際に用いた代表特徴量の信頼度と、抽出画像特徴量と代表特徴量の照合の際に算出した類似度との少なくとも一方からなる精度を基に表示方法を決定する。表示方法を決定する精度は、信頼度と類似度の両方を用いて精度Ａを計算する場合には、信頼度Ｃ、類似度Ｓ、係数をα、βとして、次式（１３）に示すように双方の値を乗算してもよい。あるいは、次式（１４）に示すように、信頼度と類似度のそれぞれに重み付けをして和算してもよい。

例えば、上記式（１４）を用いて、精度Ａを出演者名のフォントサイズＦｓに反映させる場合、基準となる最大のフォントサイズＦｍとして、演者名のフォントサイズＦｓは、次式（１５）により求めることができる。

図６は、上記式（１５）において、表示情報のフォントサイズのみに着目した場合の表示情報の生成例を表にして示す。

図６に示すように、算出基準が「信頼度に基づく場合」は、係数α「１」かつ係数β「０」となり、表示情報生成例Ｆｓ＝Ｃ^＊Ｆｍとなる。また、算出基準が「類似度に基づく場合」は、係数α「０」かつ係数β「１」となり、表示情報生成例Ｆｓ＝Ｓ^＊Ｆｍとなる。

また、上記式（７）を用いる場合は、信頼度Ｃまたは類似度Ｓのいずれかを固定値にすることで同様に算出することができる。

以上、表示情報生成部１０６が、代表特徴量の信頼度Ｃまたは類似度Ｓの少なくとも一方を用いて表示情報を生成する表示情報生成例について説明した。表示情報は、表示位置、表示内容、フォントタイプ、フォントサイズ、文字色、背景色、枠線の有無、あるいは枠線の色など、文字列などを表示する際に必要な情報である。

表示情報生成部１０６は、検索部１０５で取得した出演者名と抽出画像に基づいて、信頼度または類似度を計算する。よって、抽出画像の領域は、信頼度や類似度を算出する際に影響することになる。抽出画像の領域が不適切な場合（例えば、顔の一部分しか領域に設定されなかった場合）、信頼度や類似度が正しく計算できないことがある。

図８は、表示部１０３がテレビの表示部である場合の表示領域と表示画像を説明する図である。図８において、テレビ画面である表示領域１４０に、番組の映像である表示画面１４１が表示される。また、表示画面１４１には、人物と出演者名１４２が表示され、その人物の顔を囲む領域が抽出画像１４３である。図８は、表示領域（テレビ画面）１４０いっぱいに表示画像（番組の映像）１４１を表示しない場合である。この場合は、表示画像１４１の周辺に出演者情報を表示する態様をとることも可能である。表示領域１４０いっぱいに表示画像１４１を表示しない場合の例としては、Picture-in-Pictureあるいは地上デジタル放送でのデータ放送の画面など、放送を縮小表示する場合が挙げられる。

上記表示方法には、例えば透過度を用いる方法がある。

表示方法は、例えば、信頼度と類似度の精度が低い場合、すなわち検索結果が正しくないと判断される場合には透過度を上げて表示を見えにくくする。一方、精度が高い場合は、すなわち検索結果が正しいと判断される場合には透過度を下げて表示をはっきり見えるようにする。これ以外の表示方法として、精度が高い場合には文字のサイズを大きくする方法、精度の違いを意味する色のテーブルを示すと同時に該当色で表示する方法がある。また、表示方法として、出演者名を表示する文字の背景色とのコントラストを精度により変えて表示する方法がある。

また、表示位置は、精度の高いものから順に決めることで、精度の高いものほど表示の優先度を高める方法がある。また、精度が低い場合は、表示位置と表示内容の位置を離して引き出し線を表示し、精度が低くなると引き出し線が長くなることで精度の違いを示す方法などが考えられる。さらに、検索結果が複数ある場合には、その精度の違いを共通の表示方法により対比させることもできる。つまり、動画像の表示の進行により精度が変化する場合は、複数の表示内容がひとつの表示内容に絞り込むようにすることもできる。

表示方法として、抽出した人物の領域を示す枠を表示に加えるとさらに視認性が向上する。また、表示方法は、領域の枠と表示内容の表示色を合わせるなどすると、さらに視認性が向上する。また、表示方法として、出演者情報保持部１１０に役名が登録されていれば、表示内容として役名を併記してもよい。

図９は、表示部１０３により表示される検索結果の表示の例を示す図である。

図９において、テレビ画面である表示画面１５０に二人の人物が映っており、左側の人物の顔領域１５３には出演者名１５１が併記される。同様に、右側の人物の顔領域１５４には出演者名１５２が併記される。この例では、図３の出演者情報の例における信頼度に従って、信頼度が高いほど大きな文字サイズで表示する例を示している。図９に示す方法は、出演者名１５２の方が出演者名１５１よりも大きく表示されることにより、ユーザは表示内容の正しさを直観的に判断することができる。また、出演者名の表示の方法は、文字サイズの大きさの変更に代えて、あるいは併用して、文字または背景色の変更、透過度、表示位置などの変更であってもよく、同様の効果を得ることができる。

以上詳細に説明したように、番組情報表示装置１００は、番組取得部１０１が動画像と出演者名を含む出演者情報からなる番組を取得し、関連画像取得部１０７が出演者情報に基づいて、ネットワークから関連画像を取得する。特徴量算出部１０８は、関連画像から人物の領域を切り出した抽出画像の特徴量を算出する。代表特徴量決定部１０９は、抽出画像の特徴量と関連画像の入手先の情報に基づいて代表特徴量とその信頼度を決定し、出演者情報管理部１０４は、決定された代表特徴量および信頼度を出演者名と対応付けて出演者情報として管理する。一方、表示画像取得部１０２は、動画像を構成するフレームから表示画像を取得し、特徴量算出部１１１は、表示画像について抽出画像の特徴量を算出する。そして、検索部１０５は、特徴量算出部１１１により算出された抽出画像の特徴量と出演者情報保持部１１０に保持された代表特徴量との類似度を算出し、類似度が最大となる代表特徴量に関連付けられた出演者名を取得する。表示情報生成部１０６は、信頼度または類似度の少なくとも一方と検索部１０５により取得した出演者名と抽出画像の領域とに基づいて表示情報を生成する。表示部１０３は、出演者名を顔領域に関連付けて表示する。

このように、番組情報表示装置１００は、動画像の番組情報から出演者情報を得てネットワークから出演者の顔画像を取得し画像特徴量を求める。番組情報表示装置１００は、動画像から顔画像を抽出して得られる画像特徴量から出演者を特定して、出演者の情報を動画像に重畳して表示する。これにより、番組情報表示装置１００は、事前に出演者の顔画像データベースを用意する必要がなく、出演者の領域に関連付けて出演者名を表示する際に、出演者の判定結果の正しさを直観的に判断できる効果が得られる。また、番組情報表示装置１００は、動画像から顔画像を抽出して得られる画像特徴量から出演者を特定する際に、動的に検索するデータベースに基づいた信頼度を反映させ、ノイズが少なく、精度の良い検索を可能とする効果がある。例えば、ユーザが、番組視聴中に、登場人物と出演者名が一致しないとき、画面上の顔と対応付けて出演者名を知りたいという要求に応えることができる。この場合は、出演者の判定結果がどの程度信頼できるかを直感的に把握させることができる。

また、本実施の形態の代表特徴量決定部１０９は、関連画像が公式サイトから取得した画像であるかどうかを判定して関連画像に重み付けするので、特徴量の信頼度を高める効果を得ることができる。

（実施の形態２）
図１０は、本発明の実施の形態２に係る番組情報表示装置を備える番組情報表示システムの構成を示す図である。図１と同一構成部分には同一符号を付して重複箇所の説明を省略する。

図１０において、番組情報表示装置３００は、図１の番組情報表示装置１００にさらに検索情報保持部３０１を備えて構成される。

検索情報保持部３０１は、検索部１０５が検索した結果である、代表画像特徴量、信頼度、抽出画像の領域、類似度、および出演者名を保持する。

図１１は、番組情報表示装置３００の出演者名の表示までの処理を示すフローチャートである。図５に示すフローと同一処理を行うステップには同一ステップ番号を付して重複箇所の説明を省略する。

ステップＳ２３において、ループの始端と終端において「すべての関連画像」について以下の処理を繰り返す。

ステップＳ３１において、検索部１０５は、抽出画像の領域と近接する抽出画像の領域が検索情報保持部３０１に登録されているか否かを確認する。

ステップＳ３２において、検索部１０５は、抽出画像の領域と近接する抽出画像の領域が検索情報保持部３０１に登録されている場合、ステップＳ３３において、検索部１０５は、抽出画像特徴量と代表特徴量の照合を行い、類似度を算出してステップＳ２６に進む。

検索部１０５は、抽出画像の領域と近接する抽出画像の領域が検索情報保持部３０１に登録されていない場合は、ステップＳ２４に以下に進み、図５の出演者名を決定するステップＳ２７までと同様である。

ステップＳ２７において、検索部１０５は、該当する代表特徴量に関連付けられている出演者名を検索結果として保持する。

ステップＳ３４において、検索情報保持部３０１は、出演者名を決定した後に、代表画像特徴量、信頼度、抽出画像の領域、類似度、および出演者名を保持してステップＳ２８に進む。

ここで、上記ステップＳ３３において、検索部１０５は、最大となる類似度を抽出してステップＳ２６に進むことになる。この場合、ステップＳ２６において、検索部１０５は、検索情報保持部３０１に登録されている類似度と比較することになる。検索部１０５は、予め定めた閾値以内で、類似度がわずかに下がる場合は特徴量の比較における誤差と考えられるため、大きい方の類似度を保持する。これにより、同一人物の領域を捕らえている間、類似度が上がっていく方向にのみ作用させることができる。検索部１０５は、予め定めた閾値を超えて、類似度が大きく下がる場合は、ほぼ同一となる領域に別の出演者が映し出されていると判断できる。この判断から、検索結果を保持する処理（ステップＳ３４の処理）は、無効のデータを登録、すなわちその抽出領域での登録データを破棄する処理となる。

このように、本実施の形態では、検索部１０５が検索した結果を保持する検索情報保持部３０１を有する。検索部１０５は、検索情報保持部３０１に保持された検索結果に対して出演者情報に基づいて検索を行う。これにより、検索部１０５は、抽出画像と登録されているすべての代表画像の特徴量の類似度とを比較する必要がなくなるために、処理を高速化することが可能となる。

（実施の形態３）
図１２は、本発明の実施の形態３に係る番組情報表示装置を備える番組情報表示システムの構成を示す図である。本実施の形態は、図１と同一構成部分には同一符号を付して重複箇所の説明を省略する。

図１２において、番組情報表示システムは、デジタルテレビジョン受信機である番組情報表示装置４００、インターネットまたは専用回線からなるネットワーク２００、画像検索サイトである画像検索装置５００、掲載するウェブページを公開している一般サイトである画像サーバ２２０、番組の公式サイトである番組情報サーバ２３０、番組表を掲載するサイトである番組表サーバ２４０、および番組を放送する放送局２５０を備えて構成される。

番組情報表示装置４００は、番組取得部１０１、表示画像取得部１０２、表示部１０３、検索部１０５、表示情報生成部１０６、および特徴量算出部１１１を備えて構成される。

画像検索装置５００は、出演者情報管理部１０４、関連画像取得部１０７、特徴量算出部１０８、代表特徴量決定部１０９、出演者情報保持部１１０、画像情報保持部５０１、および画像検索部５０２を備えて構成される。

出演者情報管理部１０４は、番組情報から出演者名、公式サイトのＵＲＬを抽出する。出演者情報管理部１０４は、代表特徴量決定部１０９から得られる関連画像に関する代表特徴量および信頼度を、出演者名と対応付けて出演者情報保持部１１０に保持する。

関連画像取得部１０７は、ネットワーク２００と通信して画像を取得する。関連画像取得部１０７は、ネットワーク２００に接続して出演者情報を基に１つ以上の関連画像を取得する。

特徴量算出部１０８は、画像から人物の領域を切り出した抽出画像の特徴量を算出する。

代表特徴量決定部１０９は、特徴量に重み付けをして比較する。代表特徴量決定部１０９が行う特徴量の重み付けは、前記図７の代表特徴量の算出例と同様にして求めることができる。なお、特徴量算出部１０８は、特徴量を算出するもので、代表特徴量決定部１０９は、特徴量算出部１０８により算出された特徴量から代表特徴量を決定するものである。代表特徴量決定部１０９は、１つ以上の特徴量から代表特徴量および信頼度を決定する。

出演者情報保持部１１０は、出演者情報を保持するメモリである。出演者情報保持部１１０は、例えば図３に示す出演者情報を保持する。

上記出演者情報管理部１０４、特徴量算出部１０８、代表特徴量決定部１０９、および画像検索部５０２は、ＣＰＵ等からなり番組情報表示処理の実行を含む装置全体の制御を行う。上記ＣＰＵは、ＲＯＭ、ＲＡＭおよびＥＥＰＲＯＭなどを備え、プログラム、通信制御データ、さらに画像検索装置の識別コード等の種々のデータを記憶する。また、上記メモリには、出演者情報保持部１１０の出演者情報、および画像情報保持部５０１の画像情報が格納される。

本実施の形態の画像検索装置５００は、図１の番組情報表示装置１００の出演者情報管理部１０４、検索部１０５、関連画像取得部１０７、特徴量算出部１０８、代表特徴量決定部１０９、および出演者情報保持部１１０に加えて、画像情報保持部５０１および画像検索部５０２を備える構成を採る。なお、実施の形態１の番組情報表示装置１００、または実施の形態２の番組情報表示装置３００に、本実施の形態の画像検索装置５００を組合わせる態様でもよい。

以上の構成において、画像検索装置５００の関連画像取得部１０７は、ＵＲＬのリンクなどを基にネットワーク２００経由で画像を取得する。関連画像取得部１０７は、取得した画像と、該当画像の説明あるいは該当ページの内容から得られるキーワードとその画像のＵＲＬとを画像情報保持部５０１に保持する。

画像検索部５０２は、画像を検索する際、ネットワーク２００経由で番組情報表示装置４００から番組情報を受け取り、受け取った番組情報を基に画像情報保持部５０１から画像情報として該当するＵＲＬを返す。

特徴量算出部１０８は、画像を収集する際に、画像の特徴量を求める。出演者情報管理部１０４は、代表特徴量と出演者名と信頼度を出演者情報保持部１１０に保持する。あるいは、特徴量算出部１０８は、画像を検索する際に、画像の特徴量を求め、代表特徴量決定部１０９が、代表特徴量と信頼度を決定してもよい。

このように構成することで、番組情報表示装置４００に代表特徴量を決定するまでの処理がなくなる。検索部１０５は、出演者名をキーワードとして、ネットワーク１１３を介して代表特徴量と信頼度を受け取ることになる点が、実施の形態１からの変更となる。

このように、本実施の形態では、代表特徴量を決定するまでの処理を画像検索装置５００で行うことにより、機能の分散による番組情報表示装置４００の処理の軽減と高速化が期待できる。

なお、本実施の形態では、画像情報保持部５０１と出演者情報保持部１１０を個々に説明したが、これらが同一の構成であってもよい。また、画像検索装置５００は、番組情報を番組情報表示装置４００から受け取る例について説明した。しかし、番組情報を番組情報サーバ２３０から受け取って、代表特徴量を決定する処理を事前に実行し、番組情報表示装置４００から出演者名と番組名を受け取るようにしてもよい。

以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。上記各実施の形態では、放送番組について説明したが、番組情報を用いる装置および方法であればよく、放送番組に限定されるものではない。

また、本実施の形態では、番組情報表示装置、および番組情報表示方法という名称を用いた。しかし、これは、説明の便宜上であり、番組情報表示装置は画像検索装置、番組再生装置、番組情報表示方法は番組情報検索方法等であってもよい。

さらに、上記番組情報表示装置および方法を構成する各部、例えば番組取得部、出演者情報保持部の種類、その数および接続方法などは限定されるものではない。

以上説明した番組情報表示装置および番組情報表示方法は、この番組情報表示方法を機能させるためのプログラムでも実現される。このプログラムはコンピュータで読み取り可能な記録媒体に格納されている。

本発明に係る番組情報表示装置および番組情報表示方法は、動画像から人物の領域を抽出し、出演者名を人物の領域に関連付けて表示するテレビ受信機、携帯電話、ＤＶＤ再生機、パソコン、ゲーム機等の映像再生端末に適用することができる。

本発明の実施の形態１に係る番組情報表示装置を備える番組情報表示システムの構成を示す図 本実施の形態１に係る番組情報表示装置の電子番組表の一例を示す図 本実施の形態１に係る番組情報表示装置の出演者情報保持部に保持される出演者情報の一例を示す図 本実施の形態１に係る番組情報表示装置の代表特徴量を決定するまでの処理動作を示すフロー図 本実施の形態１に係る番組情報表示装置の出演者名の表示までの処理動作を示すフロー図 本実施の形態１に係る番組情報表示装置の表示情報のフォントサイズのみに着目した場合の表示情報生成例を表にして示す図 本実施の形態１に係る番組情報表示装置の代表特徴量の算出の例を説明する図 本実施の形態１に係る番組情報表示装置の表示部がテレビの表示部である場合の表示領域と表示画像を説明する図 本実施の形態１に係る番組情報表示装置の表示部により表示される検索結果の表示の例を示す図 本発明の実施の形態２に係る番組情報表示装置を備える番組情報表示システムの構成を示す図 本実施の形態２に係る番組情報表示装置の出演者名の表示までの処理を示すフロー図 本発明の実施の形態３に係る番組情報表示装置を備える番組情報表示システムの構成を示す図

符号の説明

１００、３００、４００ 番組情報表示装置
１０１ 番組取得部
１０２ 表示画像取得部
１０３ 表示部
１０４ 出演者情報管理部
１０５ 検索部
１０６ 表示情報生成部
１０７ 関連画像取得部
１０８、１１１ 特徴量算出部
１０９ 代表特徴量決定部
１１０ 出演者情報保持部
１１１ 特徴量算出部
２００ ネットワーク
２１０、５００ 画像検索装置
２２０ 画像サーバ
２３０ 番組情報サーバ
２４０ 番組表サーバ
２５０ 放送局
３０１ 検索情報保持部
５０１ 画像情報保持部
５０２ 画像検索部

Claims (5)

1. 動画像と出演者名を含む出演者情報からなる番組を取得する番組取得部と、
   前記出演者情報に基づいて、ネットワークから関連画像を取得する関連画像取得部と、
   前記関連画像から人物の領域を切り出した抽出画像の特徴量を算出する第１特徴量算出部と、
   前記抽出画像の特徴量と前記関連画像の入手先の情報に基づいて代表特徴量とその信頼度を決定する代表特徴量決定部と、
   決定された前記代表特徴量及び信頼度を前記出演者名と対応付けて出演者情報として管理する出演者情報管理部と、
   前記動画像を構成するフレームから表示画像を取得する表示画像取得部と、
   前記表示画像について前記抽出画像の特徴量を算出する第２特徴量算出部と、
   前記第２特徴量算出部により算出された前記抽出画像の特徴量と前記出演者情報管理部に保持された前記代表特徴量との類似度を算出し、前記類似度が最大となる代表特徴量に関連付けられた出演者名を取得する検索部と、
   前記信頼度又は前記類似度の少なくとも一方と前記検索部により取得した前記出演者名と前記抽出画像の領域とに基づいて表示情報を生成する表示情報生成部と、
   前記表示画像及び前記表示情報を表示する表示部と、
   を備える番組情報表示装置。
2. 前記関連画像取得部は、前記ネットワーク上のサイトから番組出演者の関連画像を取得し、
   前記代表特徴量決定部は、取得先の前記サイトに応じて前記関連画像に重み付けして前記信頼度を決定する請求項１記載の番組情報表示装置。
3. 前記表示情報生成部は、前記信頼度又は前記類似度に基づいて、透過度、表示色、文字サイズ、又は表示位置の少なくともいずれか一つを変更する表示情報を生成する請求項１記載の番組情報表示装置。
4. 前記検索部による検索結果を保持する検索情報保持部をさらに備え、
   前記検索部は、前記検索情報保持部に保持された検索結果に対して前記出演者情報に基づいて検索を行う請求項１記載の番組情報表示装置。
5. 動画像と出演者名を含む出演者情報からなる番組を取得するステップと、
   前記出演者情報に基づいて、ネットワークから関連画像を取得するステップと、
   前記関連画像から人物の領域を切り出した抽出画像の特徴量を算出する第１特徴量算出ステップと、
   前記抽出画像の特徴量と前記関連画像の入手先の情報に基づいて代表特徴量とその信頼度を決定するステップと、
   決定された前記代表特徴量及び信頼度を前記出演者名と対応付けて出演者情報として管理するステップと、
   前記動画像を構成するフレームから表示画像を取得するステップと、
   前記表示画像について前記抽出画像の特徴量を算出する第２特徴量算出ステップと、
   前記第２特徴量算出ステップにより算出された前記抽出画像の特徴量と保持された前記代表特徴量との類似度を算出し、前記類似度が最大となる代表特徴量に関連付けられた出演者名を取得するステップと、
   前記信頼度又は前記類似度の少なくとも一方と前記検索部により取得した前記出演者名と前記抽出画像の領域とに基づいて表示情報を生成するステップと、
   前記表示画像及び前記表示情報を表示するステップと
   を有する番組情報表示方法。

Images