JP2010152744A

JP2010152744A - 再生装置

Info

Publication number: JP2010152744A
Application number: JP2008331429A
Authority: JP
Inventors: Yoshitada Hida; 義賢飛田; Masabumi Tamura; 正文田村; Yuichi Togashi; 雄一富樫
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2008-12-25
Filing date: 2008-12-25
Publication date: 2010-07-08

Abstract

【課題】コンテンツデータが含む映像情報を構成するフレーム画像内の人物の人名などをユーザが知らなくても当該人物の関連情報を表示することができる再生装置を提供する。
【解決手段】映像情報を構成するフレーム画像とともに表示された顔画像の選択に応じて、選択された顔画像の人物に関する関連情報を表示することにより、人物の顔画像と当該人物の関連情報とをリンクさせて表示することができるので、番組などに出演した出演者の人名などをユーザが知らなくても、当該出演者が将来出演する番組のＥＰＧ情報などの関連情報を表示することができる。
【選択図】図１

Description

本発明は、再生装置に関する。

従来から、チューナを用いて受信した番組のコンテンツデータの再生する再生装置において、当該番組のコンテンツデータに出演している出演者の人名などのキーワードの入力を受け付けた場合に、入力を受け付けた人名を用いて出演者が出演する番組の番組情報など、当該出演者に関する関連情報を検索し、その検索結果を表示する機能が提案されている。

例えば、特許文献１には、コンテンツデータの映像データおよび音声データからキーワードを抽出し、再生されている映像データに対応する映像とともに抽出したキーワードを表示部に表示するとともに、当該キーワードの選択に応じて、選択されたキーワードに関連する関連情報を表示部に表示する関連情報検索装置が提案されている。

特開２００７−１４８９７６号公報

ところで、コンテンツデータの映像データを再生する再生装置においては、映像データの再生中にユーザが気になる出演者を発見した場合に、当該出演者の人名を知らなくても当該出演者に関する関連情報をユーザに提供することができる機能に対する要望がある。

しかしながら、上記特許文献１に記載の関連情報検索装置では、関連情報を検索するためには、関連情報を表示させたい出演者の人名などのキーワードを選択しなければならないので、映像データを再生中にユーザが気になる人物の顔を見つけても、ユーザが当該人物の人名などのキーワードを知らない場合、当該人物の関連情報を提供することができなかった。つまり、上記特許文献１に記載の関連情報検索装置では、ユーザが予め知っている人物の関連情報しか表示することができない、という課題がある。

本発明は、上記に鑑みてなされたものであって、コンテンツデータが含む映像情報を構成するフレーム画像内の人物の人名などをユーザが知らなくても当該人物の関連情報を表示することができる再生装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、コンテンツデータを含む映像情報を構成するフレーム画像から人物の顔画像を検出する検出手段と、検出した前記顔画像から当該人物の顔の特徴情報を抽出する抽出手段と、抽出した前記特徴情報を用いて、前記顔画像を検出した人物に関する関連情報を検索する検索手段と、前記映像情報を構成する前記フレーム画像および前記関連情報を検索した人物の顔画像を表示する第１表示手段と、前記第１表示手段により表示した前記顔画像の選択に応じて、選択された前記顔画像の人物の前記関連情報を表示する第２表示手段と、を備えたことを特徴とする。

また、本発明は、コンテンツデータを含む映像情報を構成するフレーム画像、および前記フレーム画像が含む人物の顔画像を表示する第１表示手段と、前記第１表示手段により表示した前記顔画像の選択に応じて、選択された前記顔画像の人物に関する関連情報を表示する第２表示手段と、を備えたことを特徴とする。

本発明によれば、コンテンツデータが含む映像情報を構成するフレーム画像内の人物の人名などをユーザが知らなくても当該人物の関連情報を表示することができる、という効果を奏する。

以下に添付図面を参照して、この発明にかかる再生装置、および再生装置の再生方法の最良な実施の形態を詳細に説明する。なお、本実施の形態では、この発明にかかる再生装置を、番組のコンテンツデータを再生させることができるＨＤＤ（Hard Disk Drive）レコーダやＨＤＤ+ＤＶＤ（Digital Versatile Disc）レコーダなどの再生装置に適用した例について説明するが、コンテンツデータを再生することができるものであれば、これに限定するものではない。例えば、チューナを用いて番組のコンテンツデータを受信し、当該コンテンツデータをモニタに再生することができるテレビジョン受信装置などにも適用することができる。

（第１実施の形態）
図１は、第１実施の形態にかかる再生装置の構成を示すブロック図である。本実施の形態にかかる再生装置１００は、地上デジタルチューナ１０１、ＯＦＤＭ（Orthogonal Frequency Division Multiplexing）復調部１０２、ＢＳ（Broadcasting Satellite）／１１０度ＣＳ（Communication Satellite）デジタルチューナ１０３、ＱＰＳＫ（Quadrature Phase Shift Keying）復調部１０４、ＤＥＭＵＸ（De-Multiplexer）映像／音声／データ分離部１０５、データ処理部１０６、映像デコーダ１０７、音声デコーダ１０８、顔検出処理部１０９、顔認識処理部１１０、人物表示履歴データベース１１１、ＥＰＧ（Electronic Program Guide）処理部１１２、画像変換部１１３、画像合成部１１４、バックエンド部１１５、ネットワークインタフェース１１６、人物データベース１１７、およびＥＰＧデータベース１１８を備えて構成される。

また、本実施の形態にかかる再生装置１００は、インターネット４００などのネットワークを介して、人名および当該人名に対応する人物の顔の特徴情報を配信する人物サーバ２００、および再生装置１００が受信する番組のＥＰＧ情報（番組情報）を配信するＥＰＧサーバ３００と接続されている。

ここで、特徴情報は、人物の顔画像の特徴を示す情報であり、例えば、顔全体のサイズ、向き等、左右の目、まゆ、左右の耳、鼻、口、髪など、顔の各部分の顔全体に対する座標位置、サイズ（縦横）、色などである。また、ＥＰＧ情報は、番組名、放送日時、各番組の内容説明、番組が映画やドラマの場合には出演者の人名を記録したリストなどの情報を含むものである。

なお、本実施の形態では、再生装置１００は、インターネット４００を介して接続されたＥＰＧサーバ３００からＥＰＧ情報を受信する例について説明するが、これに限定するものではない。例えば、再生装置１００が受信する放送信号に含まれる番組のコンテンツデータを含む映像情報、音声情報、およびデータ情報に多重されているＥＰＧ情報を抽出しても良い。

ネットワークインタフェース１１６は、インターネット４００を介して人物サーバ２００およびＥＰＧサーバ３００の図示しないネットワークインタフェースと接続されており、人物サーバ２００から配信された人名および当該人名に対応する人物の顔の特徴情報、およびＥＰＧサーバ３００から配信されたＥＰＧ情報を受信するものである。

図２は、人物データベースが記憶する情報の一例を示す図である。人物データベース１１７は、図２に示すように、ネットワークインタフェース１１６により人物サーバ２００から受信した人名と、当該人名に対応する人物の顔の特徴情報と、を対応付けて記憶するものである。さらに、人物データベース１１７は、人物サーバ２００から受信した人名および当該人名に対応する特徴情報を、当該人物データベース１１７から削除する有効期限を、当該人名と対応付けて記憶しても良い。ここで、有効期限は、例えば、人名および当該人名に対応する特徴情報の人物データベース１１７への記憶日から、予め設定された期間後の日時である。このように、人物データベース１１７に記憶される人名に有効期限を持たせることにより、経年により無効化した人名を再生装置１００内から自動削除することができる。

ＥＰＧデータベース１１８は、ネットワークインタフェース１１６によりＥＰＧサーバ３００から受信したＥＰＧ情報を記憶するものである。

地上デジタルチューナ１０１は、アンテナで受信された地上デジタル放送の放送信号を受信し、受信した放送信号から特定の番組のコンテンツデータを抽出する機器である。ＯＦＤＭ復調部１０２は、地上デジタルチューナ１０１で抽出されたデジタルのコンテンツデータの復調処理を行い、ＤＥＭＵＸ映像／音声／データ分離部１０５に出力するものである。

ＢＳ／１１０度ＣＳデジタルチューナ１０３は、ＢＳデジタル放送および１１０度ＣＳデジタル放送の放送信号を受信し、受信した放送信号から特定の番組のコンテンツデータを抽出する機器である。ＱＰＳＫ復調部１０４は、ＢＳ／１１０度ＣＳデジタルチューナ１０３により抽出されたデジタルのコンテンツデータの復調処理を行い、ＤＥＭＵＸ映像／音声／データ分離部１０５に出力するものである。

ＤＥＭＵＸ映像／音声／データ分離部１０５は、ＱＦＤＭ復調部１０２またはＱＰＳＫ復調部１０４から入力されたコンテンツデータを、映像情報、音声情報、およびデータ情報に分離し、データ処理部１０６、映像デコーダ１０７、および音声デコーダ１０８に出力するものである。

データ処理部１０６は、ＤＥＭＵＸ映像／音声／データ分離部１０５から入力されたデータ情報を復号し、画像変換部１１３に出力するものである。映像デコーダ１０７は、ＤＥＭＵＸ映像／音声／データ分離部１０５から入力された映像情報を復号し、顔検出処理部１０９に出力するものである。音声デコーダ１０８は、ＤＥＭＵＸ映像／音声／データ分離部１０５から入力された音声情報を復号し、バックエンド部に１１５に出力するものである。

顔検出処理部１０９は、映像デコーダ１０７から入力された映像情報を構成するフレーム画像から、番組に出演している出演者などの人物の顔画像を検出するものである。例えば、顔検出処理部１０９は、映像デコーダ１０７から入力された映像情報を構成するフレーム画像中の肌色の領域とそれを囲むエッジから顔の領域を推定し、推定した領域内の画像を顔画像として検出する。

顔認識処理部１１０（抽出手段）は、顔検出処理部１０９により検出された顔画像の画像分析を行い、当該顔画像から人物の顔の特徴情報を抽出するものである。さらに、顔認識処理部１１０（検索手段）は、抽出した特徴情報を用いて、顔検出処理部１０９により顔画像を検出した人物に関する関連情報を検索するものである。本実施の形態では、顔認識処理部１１０は、人物データベース１１７から、抽出した特徴情報と対応付けられた人名を検索し、検索した人名をＥＰＧ処理部１１２に送付するものである。

なお、本実施の形態では、顔認識処理部１１０は、再生装置１００が人物データベース１１７を備えているため、当該人物データベース１１７から、抽出した特徴情報と対応付けられた人名を検索しているが、これに限定するものではない。例えば、顔認識処理部１１０は、ネットワーク４００を介して接続された人物サーバ４００が保持する人物データベースから、抽出した特徴情報と対応付けられた人名を検索しても良い。

また、顔認識処理部１１０は、現在時刻から予め設定された時間内に検索した人名の履歴情報を、後述する人物表示履歴データベース１１１に記憶させ、検索した人名が当該人物表示履歴データベース１１１に記憶されていない場合に、当該検索した人名をＥＰＧ処理部１１２に送付するものとする。ここで、履歴情報とは、人名を検索した履歴を示す情報であって、例えば、検索した人名および当該人名を検索した検索時刻を含む情報である。

本実施の形態では、顔認識処理部１１０は、人名を検索する度に、検索した人名および当該人名を検索した検索時刻などを含む履歴情報を人物表示履歴データベース１１１に記憶させる。そして、顔認識処理部１１０は、人物表示履歴データベース１１１が記憶する履歴情報が含む検索時刻を参照して、現在時刻から予め設定された時間内の検索時刻を含まない履歴情報を、人物表示履歴データベース１１１から削除するものとする。

図３は、人物表示履歴データベースに記憶される情報の一例を示す図である。人物表示履歴データベース１１１は、図３に示すように、現在時刻から予め設定された時間内に顔認識処理部１１０が検索した人名および検索時刻などを含む履歴情報を記憶するものである。

また、顔認識処理部１１０（記憶制御手段）は、人物サーバ２００から配信された人名および当該人名に対応する人物の顔の特徴情報が人物データベース１１７に記憶される毎に、有効期限を、当該人物データベース１１７に記憶された人名に対応付けて人物データベース１１７に記憶させる。そして、顔認識処理部１１０は、人物データベース１１７に記憶されている人名および当該人名に対応付けられた特徴情報のうち、有効期限を過ぎた人名および当該人名に対応付けられた特徴情報を、人物データベース１１７から削除するものとする。

ＥＰＧ処理部１１２（検索手段）は、顔認識処理部１１０から送付された人名を受け取り、受け取った人名を用いて、顔検出処理部１０９により顔画像を検出した人物に関する関連情報を検索するものである。本実施の形態では、ＥＰＧ処理部１１２は、ＥＰＧデータベース１１８から、顔認識処理部１１０から受け取った人名を記録したリストを含むＥＰＧ情報を、当該人名に対応する人物に関する関連情報として検索し、検索したＥＰＧ情報および顔認識処理部１１０から送付された人名を関連情報として画像変換部１１３に出力するものである。

なお、本実施の形態では、ＥＰＧ処理部１１２は、ＥＰＧデータベース１１８からＥＰＧ情報を検索しているが、顔認識処理部１１０から受け取った人名に対応する人物に関する関連情報を検索するものであれば、これに限定するものではない。例えば、ＥＰＧ処理部１１２は、顔認識処理部１１０から受け取った人名に対応する人物に関する関連情報（例えば、顔画像、性別、生年月日、出身地、最新情報ニュース等の人物紹介情報など）を、インターネット４００上のサーバまたは再生装置１００が具備する辞書（図示しない）等のデータベースから検索しても良い。

画像変換部１１３は、データ処理部１０６から入力されたデータ情報を、画像情報に変換し、当該画像情報を画像合成部１１４に出力するものである。また、画像変換部１１３は、ＥＰＧ処理部１１２から入力された関連情報（ＥＰＧ情報、人物紹介情報等）を画像情報に変換し、当該画像情報を画像合成部１１４に出力するものである。

図４は、顔画像を合成した画像の表示例を示す図である。画像合成部１１４（第１表示手段）は、図４に示すように、映像デコーダ１０７から入力された映像情報を構成するフレーム画像４０１に、顔検出処理部１０９により検出した顔画像４０２を合成した合成画像４０３を、バックエンド部１１５に出力して当該画像４０３を図示しないモニタに表示する。本実施の形態では、フレーム画像４０１に顔画像４０２を合成した合成画像４０３を表示しているが、フレーム画像４０１および顔画像４０２を表示するものであれば、これに限定するものではない。例えば、フレーム画像４０１を図示しないモニタの真ん中に表示し、当該フレーム画像４０１に隣接して顔画像４０２をモニタの端に表示しても良い。

なお、画像合成部１１４は、合成画像４０３を表示中に、画像変換部１１３から新たな人物の関連情報（ＥＰＧ情報、人物紹介情報等）の画像情報が入力された場合、表示中のフレーム画像４０１に、当該新たな人物の顔画像４０２を合成した合成画像４０３をバックエンド部１１５に出力するものとする。

図５は、関連情報の画像情報に対応する画像の表示例を示す図である。画像合成部１１４（第２表示手段）は、合成画像４０３の図示しないモニタへの表示中、図示しないリモコンの操作入力による顔画像４０２の選択に応じて、画像変換部１１３から入力された関連情報の画像情報に対応する画像５０１，５０２をバックエンド部１１５に出力して、当該画像５０１，５０２を図示しないモニタに表示する。ここで、画像５０１は、関連情報である人物紹介情報の画像情報に対応する画像であり、画像５０２は、関連情報であるＥＰＧ情報の画像情報に対応する画像である。

なお、本実施の形態では、画像合成部１１４は、映像情報を構成するフレーム画像に、顔検出処理部１０９により検出した顔画像を合成しているが、顔認識処理部１１０により検索した人名の人物の顔画像であれば、これに限定するものではない。例えば、画像合成部１１４は、ＥＰＧ処理部１１２が顔認識処理部１１０から受け取った人名の人物の顔画像を含む人物紹介情報を検索した場合、人物紹介情報に含まれる顔画像を、映像情報を構成するフレーム画像に合成しても良い。

また、本実施の形態では、画像変換部１１３が検索した関連情報を画像情報に変換し、画像合成部１１４が当該画像情報に対応する画像を関連情報として表示しているが、関連情報を表示するものであれば、これに限定するものではない。例えば、画像合成部１１４は、画像情報に変換されていない文字データである関連情報を受け取り、受け取った関連情報を表示しても良い。

バックエンド部１１５は、画像合成部１１４から出力された画像を図示しないモニタに出力するものである。

次に、図６を用いて、顔認識処理部１１０による関連情報である人名の検索処理の手順について説明する。図６は、人名の検索処理の手順を示すフローチャートである。顔認識処理部１１０は、本実施の形態にかかる再生装置１００の電源がＯＮされて地上デジタルチューナ１０１およびＢＳ／１１０度ＣＳデジタルチューナ１０３によるコンテンツデータの受信が開始されると、まず、顔検出処理部１０９により検出された顔画像を受信する（ステップＳ６０１）。

次に、顔認識処理部１１０は、顔検出処理部１０９から受信した顔画像の画像分析を行い、当該顔画像から人物の顔の特徴情報を抽出し（ステップＳ６０２）、さらに抽出した特徴情報を用いて、当該特徴情報と同一の特徴情報が人物データベース１１７に記憶されているか否かを判断する（ステップＳ６０３）。ここで、人物データベース１１７に抽出した特徴情報と同一の特徴情報が記憶されていなかった場合（ステップＳ６０３：Ｎｏ）、顔認識処理部１１０は、関連情報の検索処理を中止し、新たな顔画像の受信を待つ。

一方、人物データベース１１７に抽出した特徴情報と同一の特徴情報が記憶されていた場合（ステップＳ６０３：Ｙｅｓ）、顔認識処理部１１０は、当該特徴情報と対応付けて記憶される人名を検索するとともに、検索した人名を、現在時刻から予め設定された時間内に検索したことを示す履歴情報が、人物表示履歴データベース１１１に記憶されているか否かを判断する（ステップＳ６０４）。ここで、検索した人名の履歴情報の人物表示履歴データベース１１１に記憶されていた場合（ステップＳ６０４：Ｙｅｓ）、顔認識処理部１１０は、関連情報の検索処理を中止し、新たな顔画像の受信を待つ。これにより、人物表示履歴データベース１１１に履歴情報が記憶されている人名がＥＰＧ処理部１１２に送付されなくなるので、予め設定された時間内に繰り返し同じ人物の顔画像が表示されることを防止することができる。

一方、検索した人名の履歴情報が人物表示履歴データベース１１１に記憶されていなかった場合（ステップＳ６０４：Ｎｏ）、顔認識処理部１１０は、当該検索した人名をＥＰＧ処理部１１２に送付する（ステップＳ６０５）。

次に、図７を用いて、ＥＰＧ処理部１１２による関連情報であるＥＰＧ情報の検索処理の手順について説明する。図７は、ＥＰＧ情報の検索処理の手順を示すフローチャートである。

ＥＰＧ処理部１１２は、顔認識処理部１１０から送付された人名を受信すると（ステップＳ７０１）、ＥＰＧデータベース１１８に記憶されたＥＰＧ情報の中から、受信した人名が出演者として記録されたリストを含むＥＰＧ情報を検索する（ステップＳ７０２）。ここで、受信した人名が記録されたリストを含むＥＰＧ情報がなかった場合（ステップＳ７０２：Ｎｏ）、ＥＰＧ処理部１１２は、新たな人名の受信を待つ。

一方、受信した人名が記録されたリストを含むＥＰＧ情報があった場合（ステップＳ７０２：Ｙｅｓ）、ＥＰＧ処理部１１２は、当該ＥＰＧ情報および当該受信した人名を関連情報として画像変換部１１３に出力する（ステップＳ７０３）。

このように、本実施の形態にかかる再生装置１００によれば、映像情報を構成するフレーム画像とともに表示された顔画像の選択に応じて、選択された顔画像の人物に関する関連情報を表示することにより、人物の顔画像と当該人物の関連情報とをリンクさせて表示することができるので、番組などに出演した出演者の人名などをユーザが知らなくても、当該出演者が将来出演する番組のＥＰＧ情報などの関連情報を表示することができる。

（第２実施の形態）
第２実施の形態は、録画した番組のＥＰＧ情報である録画済番組情報を関連情報として検索し、検索した録画済番組情報を人物の顔画像とリンクさせて表示する例である。なお、第１実施の形態と同様の構成については説明を省略し、第１実施の形態と異なる構成のみを説明する。

図８は、第２実施の形態にかかる再生装置の構成を示すブロック図である。本実施の形態にかかる再生装置８００は、ＥＰＧデータベース１１８およびＥＰＧ処理部１１２を備えない点、顔認識処理部８０２、人物表示履歴データベース８０３、画像変換部８０５、および画像合成部８０６の処理が異なる点、および録画コンテンツ格納装置８０１およびコンテンツ紹介処理部８０４が追加された点において、第１実施の形態にかかる再生装置１００と異なる。

録画コンテンツ格納装置８０１は、地上デジタルチューナ１０１またはＢＳ／１１０度ＣＳデジタルチューナ１０３により抽出されたコンテンツデータのうち、図示しないリモコンの操作入力に応じて録画する番組のコンテンツデータと、当該番組に出演した出演者の人名を記録したリストを含むＥＰＧ情報（以下、録画済番組情報とする）と、を対応付けて格納する装置である。

顔認識処理部８０２は、検索した人名をコンテンツ紹介処理部８０４に送付するものとする。

図９は、人物表示履歴データベースに記憶される情報の一例を示す図である。人物表示履歴データベース８０３は、図９に示すように、現在時刻から予め設定された時間内に顔認識処理部８０２が検索した人名および検索時刻などを含む履歴情報を記憶するものである。

コンテンツ紹介処理部８０４（検索手段）は、顔認識処理部８０２から送付された人名を受け取り、録画コンテンツ格納装置８０１から、顔認識処理部８０２から受け取った人名を記録したリスト含む録画済番組情報を、当該人名の出演者に関する関連情報として検索し、検索した録画済番組情報を画像変換部１１３に出力するものである。

なお、本実施の形態では、コンテンツ紹介処理部８０４は、録画コンテンツ格納装置８０１からの録画済番組情報のみを検索を行っているが、第１実施の形態にかかるＥＰＧ処理部１１２と同様にして、顔認識処理部８０２から受け取った人名の出演者が出演する予定の番組のＥＰＧ情報や当該出演者の人物紹介情報などを、インターネット４００上のサーバまたは再生装置１００が具備する辞書（図示しない）等のデータベースから検索しても良い。

画像変換部８０５は、コンテンツ紹介処理部８０４から入力された関連情報（録画済番組情報、ＥＰＧ情報、人物紹介情報等）を画像情報に変換し、当該画像情報を画像合成部１１４に出力するものである。

図１０は、関連情報の画像情報に対応する画像の表示例を示す図である。画像合成部８０６（表示手段）は、合成画像４０３（図４に示す）を図示しないモニタへの表示中、図示しないリモコンの操作入力による顔画像４０２（図４に示す）の選択に応じて、画像変換部８０５から入力された、関連情報の画像情報に対応する画像５０１，５０２，１００１をバックエンド部１１５に出力して、当該画像５０１，５０２，１００１を図示しないモニタに表示する。ここで、画像５０１は、検索した人物紹介情報の画像情報に対応する画像であり、画像５０２は、検索したＥＰＧ情報の画像情報に対応する画像であり、画像１００１は、検索した録画済番組情報の画像情報に対応する画像である。

次に、図１１を用いて、顔認識処理部８０２による関連情報である人名の検索処理の手順について説明する。図１１は、人名の検索処理の手順を示すフローチャートである。なお、ステップＳ１１０１〜ステップＳ１１０３に示す処理は、図６に示す人名の検索処理と同じであるため、ここでは説明を省略する。

人物データベース１１７に抽出した特徴情報と同一の特徴情報が記憶されていた場合（ステップＳ１１０３：Ｙｅｓ）、顔認識処理部８０２は、当該特徴情報と対応付けて記憶される人名を検索するとともに、検索した人名を、現在時刻から予め設定された時間内に検索したことを示す履歴情報が、人物表示履歴データベース８０３に記憶されているか否かを判断する（ステップＳ１１０４）。ここで、検索した人名の履歴情報の人物表示履歴データベース８０３に記憶されていた場合（ステップＳ１１０４：Ｙｅｓ）、顔認識処理部８０２は、関連情報の検索処理を中止し、新たな顔画像の受信を待つ。これにより、人物表示履歴データベース８０３に履歴情報が記憶されている人名がコンテンツ紹介処理部８０４に送付されなくなるので、予め設定された時間内に繰り返し同じ人物の顔画像が表示されることを防止することができる。

一方、検索した人名の履歴情報が人物表示履歴データベース８０３に記憶されていなかった場合（ステップＳ１１０４：Ｎｏ）、顔認識処理部８０２は、当該検索した人名をコンテンツ紹介処理部８０４に送付する（ステップＳ１１０５）。

次に、図１２を用いて、コンテンツ紹介処理部８０４による関連情報である録画済番組情報の検索処理の手順について説明する。図１２は、録画済番組情報の検索処理の手順を示すフローチャートである。

コンテンツ紹介処理部８０４は、顔認識処理部８０２から送付された人名を受信すると（ステップＳ１２０１）、録画コンテンツ格納装置８０１に格納された録画済番組情報の中から、受信した人名が出演者として記録されたリストを含む録画済番組情報を検索する（ステップＳ１２０２）。ここで、受信した人名が記録されたリストを含む録画済番組情報がなかった場合（ステップＳ１２０２：Ｎｏ）、コンテンツ紹介処理部８０４は、新たな人名の受信を待つ。

一方、受信した人名が記録されたリストを含む録画済番組情報があった場合（ステップＳ１２０２：Ｙｅｓ）、コンテンツ紹介処理部８０４は、当該録画済番組情報および当該受信した人名を関連情報として画像変換部８０５に出力する（ステップＳ１２０３）。

このように、本実施の形態にかかる再生装置８００によれば、映像情報を構成するフレーム画像とともに表示された顔画像の選択に応じて、選択された顔画像の人物に関する録画済番組報を表示することにより、人物の顔画像と当該人物の録画済番組情報とをリンクさせて表示することができるので、番組などに出演した出演者の人名などをユーザが知らなくても、当該出演者が過去に出演した番組の録画済番組情報などの関連情報を表示することができる。

（第３実施の形態）
第３実施の形態は、自装置で人物データベースを更新する例である。なお、第２実施の形態と同様の構成については説明を省略し、第２実施の形態と異なる構成のみを説明する。

図１３は、第３実施の形態にかかる再生装置の構成を示すブロック図である。本実施の形態にかかる再生装置１３００は、顔認識処理部１３０１の処理が異なる点において、第２実施の形態にかかる再生装置８００と異なる。また、本実施の形態では、人物データベース１１７は、インターネットなどのネットワークを介して人物サーバと接続されていないものとする。

図１４を用いて、顔認識処理部１３０１による人物データベース１１７の更新処理の手順について説明する。図１４は、人物データベースの更新処理の手順を示すフローチャートである。なお、ステップＳ１４０１〜１４０４に示す処理は、図１１に示すステップＳ１１０１〜ステップＳ１１０３およびステップＳ１１０５に示す処理と同様であるため、ここでは説明を省略する。

顔認識処理部１３０１（算出手段）は、人物データベース１１７から、抽出した特徴情報と対応付けられた人名が検索できなかった場合（ステップＳ１４０３：Ｎｏ）、録画コンテンツ格納装置８０１に格納されたコンテンツデータが含む映像情報のうち、顔検出処理部１０９から受信した顔画像を含むフレーム画像から構成される映像情報の個数を算出し、算出した映像情報の個数が予め設定された閾値を超えているか否かを判断する（ステップＳ１４０５）。ここで、算出した映像情報の個数が予め設定された閾値を超えていなかった場合（ステップＳ１４０５：Ｎｏ）、顔認識処理部１３０１は、人物データベース１１７の更新処理を行わず、新たな人名の受信を待つ。

一方、算出した映像情報の個数が予め設定された閾値を超えた場合（ステップＳ１４０５：Ｙｅｓ）、顔認識処理部１３０１（判定手段）は、録画コンテンツ格納装置８０１において、顔検出処理部１０９により検出した顔画像を含むフレーム画像から構成される映像情報と対応付けて格納された録画済番組情報が含むリストに最も多く記録された人名を、当該受信した顔画像の出演者の人名と仮定し（ステップＳ１４０６）、仮定した人名が人物データベース１１７に記憶されているか否かを判定する（ステップＳ１４０７）。ここで、仮定した人名が人物データベース１１７に記憶されていた場合（ステップＳ１４０７：Ｙｅｓ）、顔認識処理部１３０１は、人物データベース１１７の更新処理を行わず、新たな人名の受信を待つ。

一方、仮定した人名が人物データベース１１７に記憶されていない場合（ステップＳ１４０７：Ｎｏ）、顔認識処理部１３０１（記憶制御手段）は、当該仮定した人名と、抽出した特徴情報と、を対応付けて人物データベース１１７に記憶させる（ステップＳ１４０８）。その後、顔認識処理部１３０１は、当該仮定した人名を、検索した人名として、コンテンツ紹介処理部８０４に送付しても良い（ステップＳ１４０４）。

このように、本実施の形態にかかる再生装置１３００によれば、人物データベース１１７が、インターネットなどのネットワークを介して人物サーバに接続されていない場合であっても、自装置が保持する情報を利用して、自装置内で人物データベース１１７に記憶されている情報を更新することができる。

なお、第１〜３実施の形態の再生装置１００，８００，１３００で実行される図６および図１１に示す人名の検索処理、図７および図１２に示すＥＰＧ情報および録画済番組情報の検索処理、図１４に示す人物データベースの更新処理にかかるプログラムは、ＲＯＭ等に予め組み込まれて提供される。

また、第１〜３実施の形態の再生装置１００，８００，１３００で実行される上述のプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、第１〜３実施の形態の再生装置１００，８００，１３００で実行される上述のプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、第１〜３実施の形態の再生装置１００，８００，１３００で実行される上述のプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

なお、第１〜３実施の形態の再生装置１００，８００，１３００で実行される上述のプログラムは、上述した各部（顔認識処理部、ＥＰＧ処理部、コンテンツ紹介処理部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭから上述のプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、顔認識処理部、ＥＰＧ処理部、コンテンツ紹介処理部が主記憶装置上に生成されるようになっている。

第１実施の形態にかかる再生装置の構成を示すブロック図である。人物データベースが記憶する情報の一例を示す図である。人物表示履歴データベースに記憶される情報の一例を示す図である。顔画像を合成した画像の表示例を示す図である。関連情報の画像情報に対応する画像の表示例を示す図である。人名の検索処理の手順を示すフローチャートである。ＥＰＧ情報の検索処理の手順を示すフローチャートである。第２実施の形態にかかる再生装置の構成を示すブロック図である。人物表示履歴データベースに記憶される情報の一例を示す図である。関連情報の画像情報に対応する画像の表示例を示す図である。人名の検索処理の手順を示すフローチャートである。録画済番組情報の検索処理の手順を示すフローチャートである。第３実施の形態にかかる再生装置の構成を示すブロック図である。人物データベースの更新処理の手順を示すフローチャートである。

符号の説明

１００，８００，１３００再生装置
１０９顔検出処理部
１１０，８０２，１３０１顔認識処理部
１１１，８０３人物表示履歴データベース
１１２ＥＰＧ処理部
１１３，８０５画像変換部
１１４，８０６画像合成部
１１７人物データベース
８０１録画コンテンツ格納装置
８０４コンテンツ紹介処理部

Claims

コンテンツデータを含む映像情報を構成するフレーム画像から人物の顔画像を検出する検出手段と、
検出した前記顔画像から当該人物の顔の特徴情報を抽出する抽出手段と、
抽出した前記特徴情報を用いて、前記顔画像を検出した人物に関する関連情報を検索する検索手段と、
前記映像情報を構成する前記フレーム画像および前記関連情報を検索した人物の顔画像を表示する第１表示手段と、
前記第１表示手段により表示した前記顔画像の選択に応じて、選択された前記顔画像の人物の前記関連情報を表示する第２表示手段と、
を備えたことを特徴とする再生装置。
前記検索手段は、人名と当該人名に対応する人物の顔の前記特徴情報とを対応付けて記憶する人物データベースから、抽出した前記特徴情報と対応付けられた人名を前記関連情報として検索することを特徴とする請求項１に記載の再生装置。
前記検索手段は、番組に出演予定の人物の人名を記録したリストを含む番組情報を記憶する番組情報データベースから、前記関連情報として検索した人名を記録したリストを含む前記番組情報を前記関連情報として検索することを特徴とする請求項２に記載の再生装置。
録画する番組の前記コンテンツデータと、当該番組に出演した人物の人名を記録したリストを含む録画済番組情報と、を対応付けて格納する格納手段と、
前記検索手段は、前記格納手段から、前記関連情報として検索した人名を記録したリストを含む前記録画済番組情報を前記関連情報として検索することを特徴とする請求項２または３に記載の再生装置。
現在時刻から予め設定された時間前に検索した人名の履歴情報を記憶する履歴データベースをさらに備え、
前記検索手段は、検索した人名が前記履歴データベースに記憶されていない場合に、当該検索した人名の人物のその他の前記関連情報を検索することを特徴とする請求項１から４のいずれか一に記載の再生装置。
前記人物データベースから、抽出した前記特徴情報と対応付けられた人名が検索できなかった場合、前記格納手段に格納された前記コンテンツデータが含む前記映像情報のうち、検出した前記顔画像を含むフレーム画像から構成される前記映像情報の個数を算出する算出手段と、
算出した前記映像情報の個数が予め設定された閾値を超えた場合、検出した前記顔画像を含む前記映像情報と対応付けて格納された前記録画済番組情報が含むリストに最も多く記録された人名が前記人物データベースに記憶されているか否かを判定する判定手段と、
当該最も多く記録された人名が前記人物データベースに記憶されていない場合、当該最も多く記録された人名と、当該抽出した特徴情報と、を対応付けて前記人物データベースに記憶させる記憶制御手段と、
をさらに備えたことを特徴とする請求項４に記載の再生装置。
前記記憶制御手段は、前記人物データベースから、人名および当該人名と対応付けて記憶される前記特徴情報を削除する有効期限を、当該人名と対応付けて記憶させるとともに、前記有効期限を過ぎた人名および当該人名と対応付けて記憶される前記特徴情報を前記人物データベースから削除することを特徴とする請求項６に記載の再生装置。
コンテンツデータを含む映像情報を構成するフレーム画像、および前記フレーム画像が含む人物の顔画像を表示する第１表示手段と、
前記第１表示手段により表示した前記顔画像の選択に応じて、選択された前記顔画像の人物に関する関連情報を表示する第２表示手段と、
を備えたことを特徴とする再生装置。