JP2011151647A - シーン検索装置、シーン検索方法、およびシーン検索プログラム - Google Patents

Abstract

【課題】コンテンツ映像の解像度によって特定出演者の出演時間帯情報が異なることをユーザに通知し、コンテンツから適切なシーン検索を可能とする技術を提供する。
【解決手段】ユーザ入力部１０１は、ユーザからの検索条件などを入力する。番組情報デコード部１０８は、録画コンテンツに含まれる番組情報を抽出する。解像度別番組情報解析部１０９は、抽出した番組情報から解像度毎のシーン情報を作成する。解像度別シーン検索部１１０は、シーン情報からユーザが入力した検索条件に基づいた検索を実行し、解像度毎の特定番組検索結果情報を作成する。シーン画面作成部１１１は、解像度別シーン検索部１１０が作成した特定番組検索結果情報から結果表示画面を作成する。再生制御部１１２は、ユーザが指定したシーンの再生を制御する。
【選択図】図１

Description

本発明は、複数の画角を有するコンテンツから、特定のシーン検索を行うことが可能なシーン検索装置、シーン検索方法、およびシーン検索プログラムに関する。

近年、Ｈ．２６４／ＳＶＣ（Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）のように、スケーラブル映像符号化技術が検討されている。Ｈ．２６４／ＳＶＣとはＨ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）の拡張機能であり、複数の解像度レイヤによって構成されている。Ｈ．２６４／ＳＶＣでは、解像度レイヤを組み合わせることにより、複数の解像度で映像を復号することができる。たとえば、Ｈ.２６４／ＳＶＣは、一つのコンテンツに対して、垂直画素数４８０ピクセル、水平画素数６４０ピクセルのＳｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ（以下ＳＤという)の解像度の映像を階層化して符号化することができる。また、垂直画素数１０８０ピクセル、水平画素数１９２０ピクセルのＨｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ（以下ＨＤという）の解像度の映像を階層化して符号化することができる。さらに、垂直画素数２１６０ピクセル、水平画素数４０９６ピクセルの4Ｋ２Ｋなどの解像度の映像を階層化して符号化することもできる。

また、近年、コンテンツから特定のシーンを検索するシーン検索技術も注目されている（たとえば、特許文献１，２を参照。）。ここで、シーン検索とはコンテンツに対して、特定の人物などが出演している映像の開始終了時間（以下、出演時間帯情報という）を検索する技術である。たとえば、特許文献１には、コンテンツから特定シーンを検索するものとして、時間帯情報を含む番組情報からユーザが指定する特定の情報を検索する技術が開示されている。また、特許文献２には、字幕情報を解析し、ユーザが指定する特定の情報を検索し時間軸とともに表示する技術が開示されている。

特開２００９−５５６４３号公報 特開２００８−２９４５８４号公報

ところで、Ｈ．２６４／ＳＶＣでは、解像度が異なる映像を階層化して符号化しているため、解像度によって映っている画角が異なることも考えられる（たとえば、ＳＤにおける顔のアップや、４Ｋ２Ｋにおける全景映像など）。このように解像度によって画角が異なることは、Ｈ．２６４／ＳＶＣコンテンツに対してシーン検索を行う場合、ユーザが視聴中の映像の解像度によって該当するシーンの時間帯情報が異なってくるおそれが生じる。上述した従来技術では、映像の画角の違いによって時間帯情報が異なることは想定されていないため、シーン検索に支障をきたすことになる。

本発明は、上述した従来技術による問題点を解消するため、コンテンツ映像の解像度によって特定出演者の出演時間帯情報が異なることをユーザに通知し、コンテンツから適切なシーン検索を可能とする技術を提供することを目的とする。さらに、解像度と時間帯情報とを自由に組み合わせてコンテンツ映像の再生を行うことで、所望のシーン検索を容易に実行することが可能な技術を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明にかかるシーン検索装置は、画角の異なる複数の解像度の映像からシーン検索を行うシーン検索装置であって、シーン検索を行うための検索条件を入力するユーザ入力手段と、映像データから番組情報を含むセクションデータを分離する信号分離手段と、前記信号分離手段により分離された前記セクションデータのデコードを行い、番組情報を抽出する番組情報デコード手段と、前記番組情報デコード手段により抽出された番組情報の解析を行い、番組名、解像度情報、解像度毎の出演者、出演者毎の出演時間帯情報を含む情報が関連付けられたシーン情報を作成する解像度別番組情報解析手段と、前記解像度別番組情報解析手段により作成されたシーン情報に対して、前記ユーザ入力手段により入力された検索条件に基づいた検索を実行し、前記検索条件と一致する番組名、解像度情報、出演者、当該出演者の出演時間帯情報を含む特定番組検索結果情報を作成する解像度別シーン検索手段と、前記解像度別シーン検索手段により作成された特定番組検索結果情報をユーザに提示するための結果表示画面を作成するシーン画面作成手段と、を備えていることを特徴とする。

本発明によれば、映像コンテンツから特定のシーン検索を行う際、映像コンテンツの解像度毎に特定出演者の出演時間帯情報が異なることをユーザが容易に認識することができ、適切なシーン検索が可能になる。さらに、ユーザが視聴したいコンテンツの解像度と時間帯情報とを自由に組み合わせてコンテンツ映像の再生を行うことで、所望のシーン検索を容易に実行することが可能になる。

第１実施形態のシーン検索装置の構成を示すブロック図である。 第１実施形態に適用されるＨ．２６４／ＳＶＣの解像度レイヤ毎に設定される画角の違いについての説明ための図である。 第１実施形態のシーン情報について説明するための図である。 第１実施形態によるシーン情報作成の手順を示すフローチャートである。 第１実施形態によるシーン検索の手順を示すフローチャートである。 特定番組検索結果情報の一例を示す図である。 結果表示画面の一例を示す図である。 第１実施形態によるシーン再生処理の手順を示すフローチャートである。 第２実施形態にかかるシーン検索装置の構成を示すブロック図である。 第３実施形態によるシーン再生処理の手順を示すフローチャートである。

以下、添付図面を参照して、本発明にかかるシーン検索装置、シーン検索方法、およびシーン検索プログラムの好適な実施形態を詳細に説明する。

（第１実施形態）
本実施形態では、動画像コンテンツからシーン検索を行う。検索対象の動画像コンテンツデータは、Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−２ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ（以下、ＭＰＥＧ−２ ＴＳという）のストリームデータである。ＭＰＥＧ−２ ＴＳにはＨ．２６４／ＳＶＣで符号化された映像データ、音声データ、セクションデータが多重化されている。そこで、まず、図２を参照して、本実施形態に適用されるＨ．２６４／ＳＶＣ（Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）の映像符号化の構成について説明する。

Ｈ．２６４／ＳＶＣコンテンツ２０は、複数の階層構造に相当する複数の解像度レイヤによって構成されている。解像度レイヤは、ベースレイヤとエンハンスレイヤ１，２の２種類に分けられる。ベースレイヤとエンハンスレイヤ１，２を組み合わせることにより、復号映像２１〜２３に示すように複数の解像度で映像を復号することができる。この場合、ベースレイヤのみを復号することで復号映像２１は低解像度映像となり、ベースレイヤに加えてエンハンスレイヤ１，２を復号することで高解像度映像となる。

本実施形態に適用されるＨ．２６４／ＳＶＣでは、ＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）、ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）、４Ｋ２Ｋの３種類の解像度レイヤで映像が復号される。ベースレイヤのみを復号した場合は、ＳＤ解像度の復号映像２１が生成される。ベースレイヤとエンハンスレイヤ１で復号した場合は、ＨＤ解像度の復号映像２２が生成される。ベースレイヤとエンハンスレイヤ１，２で復号した場合は、４Ｋ２Ｋ解像度の復号映像が生成される。つまり、どのレイヤを復号するかによって、任意の解像度の映像データが得られる。以下、ベースレイヤとエンハンスレイヤを総称してレイヤと呼ぶこととする。

次に、第１実施形態に適用されるＨ．２６４／ＳＶＣの解像度レイヤ毎に設定される画角の違いについて説明する。Ｈ．２６４／ＳＶＣでは、ベースレイヤの復号映像２１に対して、エンハンスレイヤ１，２の復号映像２２、２３の上下左右フレーム端点のオフセット位置を定義することができる。そのため、ベースレイヤの復号映像の画角３１とエンハンスレイヤ１，２を含めた復号映像の画角３２、３３とで異なる画角を定義することができる。なお、フレーム端点のオフセット位置は、シーケンス全体の符号化に関わる情報が記述されているシーケンス・パラメータ・セットや、スライスの符号化に関わる情報が記述されているプリフィックスＮＡＬユニットで定義される。

このように、第１実施形態に適用されるＨ．２６４／ＳＶＣでは、復号される解像度レイヤの組み合わせによって、異なる画角が設定される。そのため、復号映像２１〜２３間で復号映像上に表示される人物等の情報が異なる。例えば、ＳＤ解像度の映像（復号映像２１）には出演者Ａ、ＨＤ解像度の映像（復号映像２２）には出演者Ａ，Ｂ、４Ｋ２Ｋ解像度の映像（復号映像２３）には出演者Ａ，Ｂ，Ｃが映っている。このように視聴する解像度の映像によって映っている出演者などの情報が異なるため、レイヤ毎に異なる番組情報が付加される。

ところで、番組情報とは番組に関連するイベント識別子、番組名、放送日、番組内容、レイヤ識別子、解像度情報、出演者、当該出演者の出演時間帯情報が関連付けられた情報である。番組情報はセクションデータのＳｅｒｖｉｃｅ Ｉｎｆｏｒｍａｔｉｏｎ（以下ＳＩという)に含まれるＥｖｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ Ｔａｂｌｅ（以下ＥＩＴという)に記述される。Ｈ．２６４／ＳＶＣではレイヤ毎に出演者が違う可能性があるため、レイヤ毎に出演者、出演者に対応する出演時間帯情報が存在する。例えば、番組識別子はｅｖｅｎｔ＿ｉｄ、レイヤ識別子はｄｅｐｅｎｄｅｎｃｙ＿ｉｄが記述されている。ｄｅｐｅｎｄｅｎｃｙ＿ｉｄとはＨ．２６４／ＳＶＣでレイヤを識別することができる情報である。解像度情報はｄｅｐｅｎｄｅｎｃｙ＿ｉｄに対応する解像度の情報が記述されている。出演時間帯情報は特定の出演者が出演している番組開始からの出演開始時間と出演終了時間の情報である。

次に、図３を参照して、本実施形態で作成、利用するシーン情報について説明する。シーン情報４０は、番組毎のイベント識別子４１、番組名４２、総録画時間４３、レイヤ識別子４４、解像度情報４５、解像度毎の出演者４６、出演者毎の出演時間帯情報４７が関連付けられたテーブルである。セクションデータのＳＩに含まれるＥＩＴに記述されている番組情報を解析することでシーン情報４０を作成する。このシーン情報４０を参照することで、特定番組毎のイベント識別子、番組名、総録画時間、レイヤ識別子、解像度情報などを検索することができる。また、特定番組のシーン情報を参照することで、解像度毎の出演者、出演者毎の出演時間帯情報を検索することができる。詳細は後述する。

次に、本実施形態のシーン検索装置の構成について説明する。図１は、本発明の第１実施形態にかかるシーン検索装置１００の構成を示すブロック図である。

ユーザ入力部１０１は、リモコンから受信した信号に基づいて、後述する録画制御部１０２、解像度別シーン検索部１１０、再生制御部１１２の制御を行う。ユーザ入力部１０１は、録画指示、録画チャンネル情報などの録画に関する信号を受信した場合は、録画チャンネル情報を録画制御部１０２へ出力する。検索指示、検索条件（番組名、検索文字列）などの検索に関する信号を受信した場合は、検索条件を解像度別シーン検索部１１０へ出力する。また、再生指示、移動指示などの再生に関する信号を受信した場合は、移動指示情報を再生制御部１１２へ出力する。

録画制御部１０２は、ユーザ入力部１０１から入力された録画チャネル情報に基づき、映像信号の録画制御を行う。録画制御部１０２は、ユーザ入力部１０１から入力された録画チャンネル情報を、信号受信部１０３へ出力し、信号受信部１０３から前記録画チャンネル情報に対応するＭＰＥＧ２−ＴＳデータを受け取る。録画制御部１０２は、受け取ったＭＰＥＧ２−ＴＳデータを記録部１０５に出力する。信号受信部１０３は、録画制御部１０２から入力された録画チャンネル情報に対応する周波数を選択し、アンテナ、通信から入力された映像信号の復調処理を行い、ＭＰＥＧ２−ＴＳデータを作成する。信号受信部１０３は、生成したＭＰＥＧ２−ＴＳデータを録画制御部１０２へ出力する。

信号分離部１０４は、再生制御部１１２から入力されたイベント識別子、出演時間帯情報を基に、記録部１０５からイベント識別子、出演時間帯情報に対応するＭＰＥＧ２−ＴＳデータを取り出す。信号分離部１０４は、取り出したＭＰＥＧ２−ＴＳデータを、映像Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ（以下映像ＥＳという）、音声Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ（以下音声ＥＳという）、番組情報を含むセクションデータに分離する。そして、映像ＥＳを映像デコード部１０７へ、音声ＥＳを音声デコード部１０６へ、セクションデータを番組情報デコード部１０８へそれぞれ出力する。

記録部１０５は、録画制御部１０２から入力されたＭＰＥＧ２−ＴＳデータ、解像度別番組情報解析部１０９から入力されたシーン情報を蓄積する。音声デコード部１０６は、信号分離部１０４から入力された音声ＥＳをデコードし、音声データを作成する。音声デコード部１０６は、作成した音声データをスピーカーに出力する。映像デコード部１０７は、信号分離部１０４から入力された映像ＥＳに対して、再生制御部１１２から入力されたレイヤ識別子に対応するレイヤのデコードを行い、レイヤ識別子に対応する映像データを作成し、映像データを表示合成部１１３へ出力する。番組情報デコード部１０８は、信号分離部１０４から入力されたセクションデータのデコードを行い、番組情報を作成し、作成した番組情報を解像度別番組情報解析部１０９へ出力する。解像度別番組情報解析部１０９は、番組情報デコード部１０８から入力された番組情報の解析を行い、解像度毎のシーン情報を作成し、作成したシーン情報を記録部１０５へ出力する。

解像度別シーン検索部１１０は、記録部１０５からシーン情報を取り出し、ユーザ入力部１０１から入力された検索条件情報に一致する情報を解像度毎に検索し、特定番組検索結果情報を作成する。解像度別シーン検索部１１０は、特定番組検索結果情報をシーン画面作成部１１１へ出力する。なお、特定番組検索結果情報についての詳細は、後述する。 シーン画面作成部１１１は、解像度別シーン検索部１１０から入力された特定番組検索結果情報を基に結果表示画面を作成し、作成した結果表示画面を表示合成部１１３へ出力する。

再生制御部１１２は、ユーザ入力部１０１から入力された移動指示とシーン画面作成部１１１が作成した結果表示画面に基づき、再生するシーンを特定する。そして、シーンに対応するイベント識別子、時間帯情報を信号分離部１０４へ出力し、レイヤ識別子を映像デコード部１０７へ出力する。表示合成部１１３は、映像デコード部１０７から入力された映像データと、シーン画面作成部１１１から入力された結果表示画面とを合成し、合成データを表示装置へ出力する。

続いて、本実施形態のシーン検索装置１００によるシーン情報作成の手順を説明する、図４は、本発明の第１実施形態にかかるシーン検索装置１００によるシーン情報作成の手順を示すフローチャートである。まず、信号分離部１０４が、記録部１０５から記録したＭＰＥＧ２−ＴＳデータを取り出し、このＭＰＥＧ２−ＴＳデータからセクションデータを分離する（ステップＳ１０１）。ここで分離されたセクションデータは番組情報デコード部１０８へ送られる。次に、番組情報デコード部１０８が、信号分離部１０４から受け取ったセクションデータをデコードし、番組情報を取り出す（ステップＳ１０２）。ここで取り出された番組情報は、解像度別番組情報解析部１０９へ送られる。

続いて、解像度別番組情報解析部１０９が、番組情報に含まれるすべての解像度のシーン情報が作成されているか否かを判断する（ステップＳ１０３）。ここですべての解像度のシーン情報が作成されていない場合（ステップＳ１０３：Ｎｏ）は、解像度別番組情報解析部１０９が、シーン情報が作成されていない解像度に対応する番組情報を解析し、解像度毎のシーン情報を作成する（ステップＳ１０４）。ここで作成されるシーン情報は、図３に示されたシーン情報４０が該当する。すなわち、解像度別番組情報解析部１０９は、番組情報のｅｖｅｎｔ＿ｉｄをイベント識別子４１へ格納する。また、番組名を番組名４２へ格納する。さらに、録画時間の総時間を求め、求めた総時間を総録画時間４３へ格納する。ｄｅｐｅｎｄｅｎｃｙ＿ｉｄをレイヤ識別子４４へ格納する。解像度情報を解像度情報４５へ格納する。出演者を出演者４６へ格納する。当該出演者の出演者時間帯情報を時間帯情報４７へ格納する。

より具体的には、例えば、図３において、番組Ａ、解像度ＳＤのシーン情報を作成する場合、解像度別番組情報解析部１０９は、イベント識別子４１に「０」を格納する。続けて、番組名４２に「番組Ａ」を格納する。総録画時間４３に「５分」を格納する。レイヤ識別子４４に「０」を格納する。解像度情報４５にイベント識別子「０」に対応する「ＳＤ」を格納する。出演者４６に出演者名、例えば「ａさん」、「ｂさん」を格納する。時間帯情報４７に出演者「ａさん」の出演時間帯、例えば「３０秒〜１分１２秒、２分〜３分１０秒」、出演者「ｂさん」の出演時間帯、例えば「０秒〜２０秒、３０秒〜１分１２秒」を格納する。以上のような処理を行うことで、解像度毎のシーン情報４０が作成される。この後、解像度別番組情報解析部１０９は、解析していない解像度があるのかを確認するため再度ステップＳ１０３の処理を行う。一方、ステップＳ１０３においてすべての解像度のシーン情報が作成されている場合（ステップＳ１０３：Ｙｅｓ）は、解像度別番組情報解析部１０９が、作成されたすべての解像度のシーン情報４０を記録部１０５へ送り、保存する（ステップＳ１０５）。

次に、本実施形態にかかるシーン検索装置によるシーン検索の手順を説明する。図５は、本発明の第１実施形態にかかるシーン検索装置によるシーン検索の手順を示すフローチャートである。まず、ユーザ入力部１０１が、リモコンから検索条件（番組名、検索文字列）、検索指示を受け取る（ステップＳ２０１）。そして、ユーザ入力部１０１は、検索指示を基に検索を行うと判断し、番組名、検索文字列を解像度別シーン検索部１１０へ送る。例えば、ユーザ入力部１０１が、リモコンから番組名「番組Ａ」、検索文字列「ａさん」を受け取った場合には、「番組Ａ」、「ａさん」を解像度別シーン検索部１１０へ送る。

次に、解像度別シーン検索部１１０が、シーン情報の番組名とユーザ入力部１０１から入力された番組名とが一致するか否かを判断する（ステップＳ２０２）。ここで、入力された番組名と比較するのは、図４に示されたフローチャートの手順によって作成されたシーン情報の番組名４２である（図３参照）。ステップＳ２０２においてシーン情報の番組名と入力された番組名とが一致しない場合（ステップＳ２０２：Ｎｏ）は、解像度別シーン検索部１１０は、該当するシーンがない旨を表示部に表示し、ユーザに通知する（ステップＳ２０３）。この後、再度ステップＳ２０１の処理を行う。

一方、ステップＳ２０２においてシーン情報の番組名と入力された番組名とが一致する場合（ステップＳ２０２：Ｙｅｓ）は、解像度別シーン検索部１１０が、ユーザ入力部１０１から入力された番組名に対応するシーン情報を取り出す（ステップＳ２０４）。例えば、解像度別シーン検索部１１０が、シーン情報の番組名４２と「番組Ａ」が一致するシーン情報を取り出す。次に、解像度別シーン検索部１１０が、シーン情報に含まれる解像度の映像内のすべての出演者を検索したか否かを判断する（ステップＳ２０５）。

ステップＳ２０５においてすべての出演者を検索していない場合（ステップＳ２０５：Ｎｏ）は、解像度別シーン検索部１１０が、検索していない解像度の映像に対応する出演者と検索文字列とが一致するか否かを判断する（ステップＳ２０６）。ここで、出演者と検索文字列とが一致しない場合（ステップＳ２０６：Ｎｏ）は、再度ステップＳ２０５の処理を実行する。

一方、ステップＳ２０６において出演者と検索文字列とが一致する場合（ステップＳ２０６：Ｙｅｓ）は、解像度別シーン検索部１１０が、特定番組検索結果情報を作成する（ステップＳ２０７）。この特定番組検索結果情報は、シーン情報から出演者と検索文字列と一致するイベント識別子、番組名、総録画時間、レイヤ識別子、解像度情報、出演者、時間帯情報を取り出して作成されるものである。この特定番組検索結果情報が後に行う処理で用いるシーン情報になる。この特定番組検索結果情報の一例を図６に示す。特定番組検索結果情報５０は、ユーザが入力した番組名に基づき、検索文字列に対応するイベント識別子５１、番組名５２、総録画時間５３、レイヤ識別子５４、解像度情報５５、解像度毎の出演者５６、出演者毎の出演時間帯情報５７を関連付けたテーブルである。この特定番組検索結果情報５０は、図３に示したシーン情報４０に対応するものである。特定番組検索結果情報５０が作成された後は、再度ステップＳ２０５の処理が実行される。

ステップＳ２０５においてすべての出演者を検索した場合（ステップＳ２０５：Ｙｅｓ）は、解像度別シーン検索部１１０が、検索文字列と出演者とが一致するか否かを判断する（ステップＳ２０８）。ここで検索文字列と出演者とが一致しない場合（ステップＳ２０８：Ｎｏ）は、ステップＳ２０３へ移行する。ステップＳ２０８において検索文字列と出演者とが一致する場合（ステップＳ２０８：Ｙｅｓ）は、シーン画面作成部１１１が、シーン情報（特定番組検索結果情報）に基づき、結果表示画面を作成する（ステップＳ２０９）。

ここで、図７を参照し、ステップＳ２０９の処理により作成される結果表示画面の一例について説明する。結果表示画面６０は、特定番組、特定の検索条件の番組名６１、レイヤ毎の解像度情報６２、レイヤ毎の再生時間６３、レイヤ毎の特定出演者の出演時間帯情報６４が認識可能な画面である。本実施形態では、図６に示した番組名５２の「番組Ａ」を基に番組名６１を、解像度情報５５の「ＳＤ」、「ＨＤ」、「４Ｋ２Ｋ」を基に解像度６２を、出演時間帯情報５７に含まれる時間情報の合計を求め再生時間６３を作成する。さらに、総録画時間５３の「５分」と出演時間帯情報５７の時間情報を基に、総時間バー６５、時間帯バー６６を図式化して作成する。時間帯バー６６は、総時間バー６５に対して、出演者の出演時間帯を相対的に示すように図式化されたものである。このようにして結果表示画面６０が得られる。最後に、表示合成部１１３がステップＳ２０９で作成された結果表示画面６０を表示装置に表示する（ステップＳ２１０）。なお、総時間バー６５及び時間帯バー６６は帯状の図式に限られず、円状などの他の図式であってもよい。

以上のような処理を行うことにより、ＭＰＥＧ２−ＴＳデータ中に含まれる番組情報が解析される。そして、すべての録画コンテンツのイベント識別子、番組名、総録画時間、レイヤ識別子、解像度情報、出演者、当該出演者の時間帯情報を管理し、シーン検索を行うことができる。

次に、ユーザ入力部１０１から入力された移動指示とシーン画面作成部１１１が作成した結果表示画面に基づき特定されるシーンの再生処理について説明する。図８は、本発明の第１実施形態にかかるシーン検索装置によるシーン再生処理の手順を示すフローチャートである。まず、ユーザ入力部１０１が、リモコンから移動指示、再生指示を受ける（ステップＳ３０１）。ここで、ユーザ入力部１０１は、再生指示を基に再生を行うと判断し、移動指示を再生制御部１１２へ送る。

次に、再生制御部１１２が、シーン画面作成部１１１が作成した結果表示画面６０とユーザ入力部１０１から受け取った移動指示に基づき、再生時間６３を選択しているか時間帯バー６６を選択しているかを判断する（ステップＳ３０２）。ステップＳ３０２において再生時間６３が選択されている場合は、再生制御部１１２が、イベント識別子と、選択された再生時間に対応する出演時間帯情報と、再生時間に対応するレイヤ識別子を取得する（ステップＳ３０３）。例えば、図７に示した例において、再生時間６３の「１分５２秒」が選択された場合を考える。このときは、図６に示した例における、イベント識別子「０」と、「１分５２秒」に対応するレイヤ識別子５４「０」と、出演時間帯情報５７「３０秒〜１分１２秒、２分〜３分１０秒」を取得する。

一方、ステップＳ３０２において時間帯バー６６が選択されている場合は、再生制御部１１２が、イベント識別子と、選択された時間帯バーに対応する出演時間帯情報と、時間帯バーに対応するレイヤ識別子を取得する（ステップＳ３０４）。例えば、図７に示した例において、ＳＤ解像度の２つ目の時間帯バーが選択された場合を考える。このときは、図６に示した例における、イベント識別子「０」と、時間帯バーに対応するレイヤ識別子５４「０」と、出演時間帯情報５７に含まれる「２分〜３分１０秒」を取得する。

続いて、再生制御部１１２が、取得したイベント識別子と出演時間帯情報を信号分離部１０４へ、レイヤ識別子を映像デコード部１０７へ渡す（ステップＳ３０５）。ステップＳ３０３、ステップＳ３０４で取得した例に基づいて示すと、イベント識別子「０」、出演時間帯情報「２分〜３分１０秒」を信号分離部１０４へ、レイヤ識別子「０」を映像デコード部１０７へ渡す。

次に、信号分離部１０４が、再生制御部１１２からイベント識別子と出演時間帯情報を受け取り、記録部１０５からイベント識別子と出演時間帯情報に対応するＭＰＥＧ２−ＴＳデータを取り出す（ステップＳ３０６）。ここでは、イベント識別子「０」に対応するＭＰＥＧ２−ＴＳデータを特定し、出演時間帯情報「２分〜３分１０秒」に対応するＭＰＥＧ２−ＴＳデータを切り出す。そして、信号分離部１０４は取り出したＭＰＥＧ２−ＴＳデータを映像ＥＳ、音声ＥＳに分離し、映像ＥＳを映像デコード部１０７へ、音声ＥＳを音声デコード部１０６へ渡す。

さらに、映像デコード部１０７が、信号分離部１０４から受け取ったから映像ＥＳと再生制御部１１２から受け取ったレイヤ識別子とを基に、映像をデコードし、映像データを作成する（ステップＳ３０７）。例えば、レイヤ識別子「０」に対応するレイヤを映像ＥＳから取り出し、映像のデコードを行う。そして、映像デコード部１０７は、作成した映像データを表示合成部１１３へ渡す。

最後に、映像、音声の出力を行う（ステップＳ３０８）。具体的には、表示合成部１１３が、映像デコード部１０７から受け取った映像データを表示装置に渡し、映像表示を行う。また、音声デコード部１０６が、受け取った音声ＥＳをデコードし、スピーカーから音声を発生させる。

以上説明したように、第１実施形態では、録画したＭＰＥＧ２−ＴＳデータ中に含まれる番組情報を解析し、シーン情報を作る。これにより、すべての録画コンテンツのイベント識別子、番組名、総録画時間、レイヤ識別子、解像度情報、出演者、当該出演者の出演時間帯情報を管理することができ、シーン検索を容易に行うことができる。また、レイヤ毎にシーン検索結果を表示することで、レイヤ毎に再生可能なシーンがあることをユーザが認識できるようになり、ユーザがシーンを選択し再生を行うことができる。

なお、本実施形態では、記録部１０５がシーン検索装置１００に内蔵されている例を示したが、光ディスクやシリコンディスクなど可搬ストレージや、通信手段によって接続される外部のストレージとしてもよい。また、本実施形態では、アンテナ、通信から映像を録画し、録画したデータに対して検索を行う例を示したが、録画データは他の録画装置により録画されたデータであってもよい。

（第２実施形態）
第１実施形態では、セクションデータに含まれる番組情報を解析し、シーン情報を作り、シーン検索を行う例を示した。この第２実施形態では、映像データを解析し、シーン情報を作る例を示す。

図９は、本発明の第２実施形態にかかるシーン検索装置の構成を示すブロック図である。本実施形態のシーン検索装置２００は、番組情報を解析しシーン情報を作成する解像度別番組情報解析部１０９（図１参照）に代え、映像を解析し、シーン情報を作成する解像度別映像解析部２０１を備えたことが特徴である。以下、図９において、第１実施形態のシーン検索装置１００と同様の機能を備えた構成部には同一の符号を付し、説明は省略する。

解像度別映像解析部２０１は、映像デコード部１０７からすべての解像度の映像を入力し、入力された映像に対して顔認識処理を行う顔認識手段を含み、映像内の登場する人物の特徴を抽出する。抽出した特徴と人物名が対応付けられた特徴とを比較し、特徴が近いと判断されれば、人物名が判別できる。この判断を例えば５秒単位で行い、特定の人物が映っている時間を特定し、解像度毎の出演者の出演時間帯情報を作成する。顔認識処理はすべての解像度、すべての人物に対して行い、シーン情報を作成する。なお、顔認識処理については、例えば特開２００８−１８１３０３号公報に記載されている方法により行うことが可能であるが、映像に映っている人物名を特定することが可能な方法であればどのようなものでもよい。

以上のように、第２実施形態では、映像を解析することによりシーン情報を作成することができる。このため、Ｈ．２６４／ＳＶＣに番組情報が付加されていない場合でも、レイヤ毎に再生可能なシーンがあることをユーザが認識できるようになり、ユーザがシーンを選択し再生を行うことができる。

（第３実施形態）
第１実施形態および第２実施形態では、番組情報や映像データを解析してシーン情報を作り、シーン検索を行う例を示した。第３実施形態では、再生時にユーザがレイヤと特定出演者の出演時間帯情報を自由に組み合わせて再生する例を示す。なお、本実施形態を実現するための装置構成は、第１実施形態のシーン検索装置１００と同様であるため、説明は省略する。

以下、本実施形態におけるシーン再生処理について説明する。図１０は、本発明の第３実施形態にかかるシーン検索装置によるシーン再生処理の手順を示すフローチャートである。図１０に示すフローチャートにおいて、ステップＳ４０１の処理は図８のステップＳ３０１の処理と同様であり、またステップＳ４０２の処理もステップＳ３０２と同様であるため、説明は省略する。また、図１０のステップＳ４０６以降の処理は、図８のステップＳ３０５以降の処理と同じであるため、説明を省略する。

図１０のステップＳ４０２において再生時間６３が選択されている場合は、再生制御部１１２が、イベント識別子と、選択された再生時間に対応する出演時間帯情報を取得する（ステップＳ４０３）。例えば、図７に示した例において、再生時間６３の「１分５２秒」が選択された場合を考える。このときは、図６に示した例における、イベント識別子「０」と、出演時間帯情報５７「３０秒〜１分１２秒、２分〜３分１０秒」を取得する。

一方、ステップＳ４０２において時間帯バー６６が選択されている場合は、再生制御部１１２が、イベント識別子と、選択された時間帯バーに対応する出演時間帯情報を取得する（ステップＳ４０４）。例えば、図７に示した例において、ＳＤ解像度の２つ目の時間帯バーが選択された場合を考える。このときは、図６に示した例における、イベント識別子「０」と、出演時間帯情報５７に含まれる「２分〜３分１０秒」を取得する。

続いて、再生制御部１１２が、映像に含まれるすべての解像度情報を表示し、どの解像度で再生するのかをユーザに選択させ、選択させた解像度に対応するレイヤ識別子を取得する（ステップＳ４０５）。例えば、再生制御部１１２は、どの解像度の映像を再生するのかをユーザに選択させるため「ＳＤ」「ＨＤ」「４Ｋ２Ｋ」を表示装置に表示する。そして、ユーザが解像度「４Ｋ２Ｋ」を選択した場合、解像度「４Ｋ２Ｋ」に対応するイベント識別子「２」を取得する。

以上のような処理により、再生時にユーザに解像度選択させることができるため、ユーザが所望する出演者の出演時間帯情報、解像度を自由に組み合わせることが可能になる。この結果、ユーザは所望の出演者の時間帯、解像度の映像を視聴することができる。なお、上記各実施形態で示した各工程は、ネットワークまたは各種記憶媒体を介して取得したソフトウェア（プログラム）をコンピュータ等の処理装置（ＣＰＵ、プロセッサ）にて実行することで実現できる。

１００，２００ シーン検索装置
１０８ 番組情報デコード部
１０９ 解像度別番組情報解析部
１１０ 解像度別シーン検索部
１１１ シーン画面作成部
２０１ 解像度別映像解析部

Claims (6)

1. 複数の解像度の映像からシーン検索を行うシーン検索装置であって、
   シーン検索を行うための検索条件を入力するユーザ入力手段と、
   映像データから番組情報を抽出する番組情報デコード手段と、
   前記番組情報デコード手段により抽出された番組情報の解析を行い、解像度情報、解像度毎の出演者、出演者毎の出演時間帯情報の少なくとも一つを含む情報が関連付けられたシーン情報を作成する解像度別番組情報解析手段と、
   前記解像度別番組情報解析手段により作成されたシーン情報に対して、前記ユーザ入力手段により入力された検索条件に基づいた検索を実行し、前記検索条件と一致する解像度情報、出演者、前記出演者の出演時間帯情報の少なくとも一つを含む特定番組検索結果情報を作成する解像度別シーン検索手段と、
   前記解像度別シーン検索手段により作成された特定番組検索結果情報をユーザに表示するための結果表示画面を作成するシーン画面作成手段と、
   を備えていることを特徴とするシーン検索装置。
2. 前記シーン画面作成手段は、前記解像度ごとに前記出演者の出演時間帯情報を総時間に対して相対的に図式化して表示することを特徴とする請求項１記載のシーン検索装置。
3. 前記出演者の人物の特徴を抽出する顔認識手段をさらに備え、
   前記解像度別番組情報解析手段は、前記顔認識手段が判別した出演者の出演時間帯情報に基づいて前記シーン情報を作成することを特徴とする請求項１記載のシーン検索装置。
4. 再生すべき映像の解像度情報をユーザに選択させ、選択された前記解像度情報に関連付けられた前記出演者の出演時間帯情報によって特定される映像を再生する再生制御手段をさらに含むことを特徴とする請求項１記載のシーン検索装置。
5. 複数の解像度の映像からシーン検索を行うシーン検索方法であって、
   シーン検索を行うための検索条件を入力するユーザ入力工程と、
   映像データから番組情報を抽出する番組情報デコード工程と、
   前記番組情報デコード工程により抽出された番組情報の解析を行い、解像度情報、解像度毎の出演者、出演者毎の出演時間帯情報の少なくとも一つを含む情報が関連付けられたシーン情報を作成する解像度別番組情報解析工程と、
   前記解像度別番組情報解析工程により作成されたシーン情報に対して、前記ユーザ入力工程により入力された検索条件に基づいた検索を実行し、前記検索条件と一致する解像度情報、出演者、前記出演者の出演時間帯情報の少なくとも一つを含む特定番組検索結果情報を作成する解像度別シーン検索工程と、
   前記解像度別シーン検索工程により作成された特定番組検索結果情報をユーザに表示するための結果表示画面を作成するシーン画面作成工程と、
   を備えていることを特徴とするシーン検索方法。
6. 請求項５に記載のシーン検索方法をコンピュータに実行させることを特徴とするシーン検索プログラム。

Images