JP2005117322A - 索引データ生成装置、索引データ生成方法、索引データ生成プログラムおよびそれを記録した情報記録媒体、並びに、コンテンツデータ再生装置、コンテンツデータ再生方法、コンテンツデータ再生プログラムおよびそれを記録した情報記録媒体 - Google Patents

Abstract

【課題】 テロップに基づいて各部分コンテンツデータにおける動画像データを階層構造化し、容易にかつ的確に要約再生またはユーザが所望するコンテンツデータの任意のシーンの検索を実行することができるデータ記録再生装置を提供すること。
【解決手段】 データ記録再生装置１００は、抽出されたテロップデータの変化部位を検出し、１または２以上のテロップデータから少なくとも２以上の変化部位が検出された場合に、検出された各変化部位の変化回数および当該検出された各変化部位における変化点を検出する。また、このデータ記録再生装置１００は、検出された各変化部位の変化回数に基づいて各変化部位の階層レベルを設定し、設定された各変化部位の階層レベルおよび検出された各変化部位の変化点に基づいてコンテンツデータにおける複数のシーンの索引を示す索引データを生成するとともに、当該生成された索引データに基づいてコンテンツデータを再生する。
【選択図】 図２

Description

本発明は、コンテンツデータの索引データを生成し、当該生成した索引データに基づいて当該コンテンツデータを生成するコンテンツデータ記録再生装置の技術分野に属する。

近年、テレビジョン放送による番組など動画像データを録画・再生するＶＴＲ（Video Tape Recorder）などの記録装置が普及するにつれて、記録されたコンテンツデータを全て見ることなく当該コンテンツデータを短時間に要約したものを提供する要約再生が実用に供されるようになっている。

従来、このような要約再生を行う方法としては、コンテンツデータに付帯される音声データに着目して要約再生を行う方法と、主に動画像データそのものに着目して要約再生を行う方法とがある。特に、動画像データそのものに着目して要約再生を行う要約再生方法は、動画像データにおける主画像データ内に提示される時間進行の内容を示すテロップ内の文字を認識し、当該認識した文字に基づいて主画像データにおける各部分画像の内容を識別し、当該識別された部分画像データに基づいて要約再生を行うようになっている（例えば、非特許文献１参照）。
画像電子学会研究会予稿０２−０７−３３ 「テロップを契機にした野球シーンの自動インデクシングと要約生成」

しかしながら、従来のテロップを用いて要約再生を行う方法にあっては、認識したテロップ内の情報に基づいて主画像データにおける複数の部分画像データを識別し、当該識別した各部分画像データに基づいてコンテンツデータにおける索引を定めているだけである。

したがって、当該要約方法では、索引によって識別された各部分画像データの動画像データ全体に占める重要度などの各部分画像データ同士の関係性を示すようになっておらず、かつ、当該生成した索引に基づいてユーザが所望するコンテンツデータの任意のシーンを容易に検索することができないものとなっている。

そこで、本発明は、上記の各問題点に鑑みて為されたもので、その課題の一例としては、テロップに基づいて各部分画像データを階層構造化し、容易にかつ的確に要約再生またはユーザが所望するコンテンツデータの任意のシーンの検索を実行することができる索引データ生成装置およびそのデータに基づいて再生を行うデータ記録再生装置を提供することにある。

上記の課題を解決するために、請求項１に記載の発明は、予め定められた時間長を少なくとも有する動画像データを含むコンテンツデータを取得する取得手段と、前記取得した動画像データを示す主画像データから時間進行に伴って変化する当該主画像データの内容を補助する画像のデータである副画像データを抽出する抽出手段と、前記抽出された副画像データの画像の変化部分を示す部分画像データを検出する第１検出手段と、前記第１検出手段によって１または２以上の副画像データから少なくとも２以上の前記部分画像データが検出された場合に、検出された各部分画像データの変化回数および当該検出された各部分画像データにおける変化点を検出する第２検出手段と、前記検出された各部分画像データの変化回数に基づいて各部分画像データの階層レベルを設定する設定手段と、前記設定された各部分画像データの階層レベルおよび前記検出された各部分画像データの変化点に基づいて前記コンテンツデータにおける複数のシーンの索引を示す索引データを生成する生成手段と、を備えた構成を有している。

また、請求項７に記載の発明は、動画像データを少なくとも有するコンテンツデータを取得する取得手段と、前記取得した動画像データを示す主画像データから時間進行に伴って変化する当該主画像データの内容を補助する画像のデータである副画像データを抽出する抽出手段と、前記抽出された副画像データの画像の変化部分を示す部分画像データを検出する第１検出手段と、前記第１検出手段によって１または２以上の副画像データから少なくとも２以上の前記部分画像データが検出された場合に、検出された各部分画像データの変化回数および当該検出された各部分画像データにおける変化点を検出する第２検出手段と、前記検出された各部分画像データの変化回数に基づいて各部分画像データの階層レベルを設定する設定手段と、前記設定された各部分画像データの階層レベルおよび前記検出された各部分画像データの変化点に基づいて前記コンテンツデータにおける複数のシーンの索引を示す索引データを生成する生成手段と、前記生成された索引データに基づいて前記コンテンツデータを再生する再生手段と、を備えた構成を有している。

また、請求項１０に記載の発明は、動画像データを少なくとも有するコンテンツデータを取得する取得工程と、前記取得した動画像データを示す主画像データから時間進行に伴って変化する当該主画像データの内容を補助する画像のデータである副画像データを抽出する抽出工程と、前記抽出された副画像データの画像の変化部分を示す部分画像データを検出する第１検出工程と、前記第１検出手段によって１または２以上の副画像データから少なくとも２以上の前記部分画像データが検出された場合に、検出された各部分画像データの変化回数および当該検出された各部分画像データにおける変化点を検出する第２検出工程と、前記検出された各部分画像データの変化回数に基づいて各部分画像データの階層レベルを設定する設定工程と、前記設定された各部分画像データの階層レベルおよび前記検出された各部分画像データの変化点に基づいて前記コンテンツデータにおける複数のシーンの索引を示す索引データを生成する生成工程と、を含む構成を有している。

また、請求項１１に記載の発明は、動画像データを少なくとも有するコンテンツデータを取得する取得工程と、前記取得した動画像データを示す主画像データから時間進行に伴って変化する当該主画像データの内容を補助する画像のデータである副画像データを抽出する抽出工程と、前記抽出された副画像データの画像の変化部分を示す部分画像データを検出する第１検出工程と、前記第１検出手段によって１または２以上の副画像データから少なくとも２以上の前記部分画像データが検出された場合に、検出された各部分画像データの変化回数および当該検出された各部分画像データにおける変化点を検出する第２検出工程と、前記検出された各部分画像データの変化回数に基づいて各部分画像データの階層レベルを設定する設定工程と、前記設定された各部分画像データの階層レベルおよび前記検出された各部分画像データの変化点に基づいて前記コンテンツデータにおける複数のシーンの索引を示す索引データを生成する生成工程と、前記生成された索引データに基づいて前記コンテンツデータを再生する再生工程と、を含む構成を有している。

また、請求項１２に記載の発明は、コンピュータによって、コンテンツデータにおける索引データを生成する索引データ生成プログラムであって、前記コンピュータを、動画像データを少なくとも有するコンテンツデータを取得する取得手段、前記取得した動画像データを示す主画像データから時間進行に伴って変化する当該主画像データの内容を補助する画像のデータである副画像データを抽出する抽出手段、前記抽出された副画像データの画像の変化部分を示す部分画像データを検出する第１検出手段、１または２以上の副画像データから少なくとも２以上の前記部分画像データが検出された場合に、検出された各部分画像データの変化回数および当該検出された各部分画像データにおける変化点を検出する第２検出手段、前記検出された各部分画像データの変化回数に基づいて各部分画像データの階層レベルを設定する設定手段、前記設定された各部分画像データの階層レベルおよび前記検出された各部分画像データの変化点に基づいて前記コンテンツデータにおける複数のシーンの索引を示す索引データを生成する生成手段、として機能させる構成を有している。

また、請求項１３に記載の発明は、コンピュータによって、コンテンツデータを再生するコンテンツデータ再生プログラムであって、前記コンピュータを、動画像データを少なくとも有するコンテンツデータを取得する取得手段、前記取得した動画像データを示す主画像データから時間進行に伴って変化する当該主画像データの内容を補助する画像のデータである副画像データを抽出する抽出手段、前記抽出された副画像データの画像の変化部分を示す部分画像データを検出する第１検出手段、１または２以上の副画像データから少なくとも２以上の前記部分画像データが検出された場合に、検出された各部分画像データの変化回数および当該検出された各部分画像データにおける変化点を検出する第２検出手段、前記検出された各部分画像データの変化回数に基づいて各部分画像データの階層レベルを設定する設定手段、前記設定された各部分画像データの階層レベルおよび前記検出された各部分画像データの変化点に基づいて前記コンテンツデータにおける複数のシーンの索引を示す索引データを生成する生成手段、前記生成された索引データに基づいて前記コンテンツデータを再生する再生手段と、として機能させる構成を有している。

また、請求項１４に記載の発明は、請求項１２に記載の索引データ生成プログラムをコンピュータに読み取り可能に記録した構成を有している。

また、請求項１５に記載の発明は、請求項１３に記載のコンテンツデータ再生プログラムをコンピュータに読み取り可能に記録した構成を有している。

次に、本願に好適な実施の形態について、図面に基づいて説明する。

なお、以下に説明する各実施形態は、データ記録再生装置に対して本願のコンテンツデータ再生装置または索引データ生成装置を適用した場合の実施形態である。

具体的には、本実施形態のデータ記録再生装置は、入力された音声データおよび映像データ等から構成されるコンテンツデータである動画像データ（以下、単にコンテンツデータともいう。）を予め記録するようになっており、この記録された動画像データを示す主画像データに含まれる時間進行の変化を示す文字、記号その他の副画像データ（以下、テロップデータという。）に基づいて、当該記録されたコンテンツデータにおけるユーザに所望するシーン（場面）を選択およびそのシーンの再生を実行させるための索引データを生成するようになっている。

特に、本実施形態のデータ記録再生装置は、索引データを生成する際に、所定の階層構造を有する索引データを生成するようになっており、当該生成した索引データをコンテンツデータと関連づけてユーザに提供するようになっている。

また、このデータ記録再生装置は、生成された索引データに基づいて一のシーンが特定されると、コンテンツデータにおける当該特定されたシーンを検索し、当該特定されたシーンの再生（以下、頭出し再生（Random Access）という。）を行うようになっている。

本実施形態では、このような索引データを生成し、当該生成した索引データに基づいてコンテンツデータの再生を行うデータ記録再生装置について以下に説明する。

まず、図１を用いて本実施形態におけるデータ記録再生装置の構成について説明する。

なお、図１は、本実施形態における編集システムのシステム構成を示すブロック図である。

本実施形態のデータ記録再生装置１００は、図１に示すように、図示しない操作部を介して入力されたユーザの指示に基づいてコンテンツデータの録画予約を行う予約制御部１０１と、予約制御部１０１の制御または図示しない操作部の指示に基づいて入力されたコンテンツデータの録画制御を行う録画制御部１０２と、コンテンツデータを蓄積するデータ蓄積部１０３と、蓄積されたコンテンツデータにおける索引データを生成する索引データ生成部２００と、コンテンツデータの再生を制御するとともに、頭出し再生を行う場合に生成された索引データに基づいてコンテンツデータの頭出し再生を制御する再生制御部１０４と、索引データにおけるコンテンツデータと対応づけられた一覧表のデータ（以下、リストデータという。）を生成するリストデータ生成部１０５と、コンテンツデータの外部モニタ１０における表示制御を行うとともに、頭出し再生を行う際に生成されたリストデータと蓄積されたコンテンツデータを重畳して表示させる表示制御部１０６と、当該データ記録再生装置１００における各部を制御するシステム制御部１０７と、から構成され、各部はバス１１０によって互いに接続されている。

なお、例えば、本実施形態の再生制御部１０４は、本発明の取得手段を構成し、索引データ生成部２００は、本発明の抽出手段、第１検出手段、第２検出手段、設定手段、生成手段、画像取得手段、分類手段および算出手段を構成する。

予約制御部１０１には、図示しない操作部を介してユーザの指示が入力されるようになっており、この予約制御部１０１は、入力されたユーザの指示に基づいて、放送局、日時などの情報を設定し、当該設定した各情報に基づいて録画制御部１０２および図示しない受信部を、システム制御部１０７を介して制御するようになっている。

具体的には、この予約制御部１０１は、当該設定した情報に基づいて指定された時間に、指定された放送局を選択するよう各放送局から送信された放送波を受信する図示しない受信部を制御するとともに、当該受信したコンテンツデータを録画するよう録画制御部１０２に指示するようになっている。

録画制御部１０２には、図示しない受信部から出力された所定の形式を有するコンテンツデータが入力されるとともに、デジタル放送の場合には、図示しない受信部によって受信された番組配列情報（以下、ＳＩ（Service Information）情報）が入力されるようになっている。

また、録画制御部１０２は、入力されたコンテンツデータを構成する動画像データをＭＰＥＧフォーマットに、および、入力されたコンテンツデータに係る音声データをＡＣ−３フォーマットに変換するとともに、変換された各フォーマットのデータからプログラムストリームを生成し、当該生成したプログラムストリームをデータ蓄積部１０３に出力するようになっている。

また、この録画制御部１０２は、デジタル放送を受信することにより、ＳＩ情報が入力された場合には、ＳＩ情報から当該ＳＩ情報に含まれるＥＩＴ情報（Event Information Table）を抽出し、当該受信したＥＩＴ情報によって索引データの生成の有無を判断するようになっており、当該索引データを生成すると判断した場合には、システム制御部１０７を介して索引データ生成部２００に当該索引データの生成を実行させるようになっている。

具体的には、録画制御部１０２は、ＥＩＴ情報によって受信したコンテンツデータが野球またはサッカー等の時間進行の変化を有するスポーツのジャンルであるか否かを判断するようになっており、時間進行の変化を有するスポーツのジャンルであると判断した場合には、当該予約録画すべき放送番組のコンテンツデータが録画された後に、索引データ生成部２００に索引データを生成する旨の指示を行うようになっている。

なお、例えば、ＢＳ（Broadcasting Satellite）デジタル放送やＣＳ（Communication Satellite）デジタル放送では、ＴＶ番組のコンテンツデータと共に衛星から各家庭のテレビジョン放送受信機に、すなわち、本実施形態では図示しない受信部に、ＳＩ情報が送信されるようになっており、当該受信部がＳＩ情報を受信した場合には、このＳＩ情報が録画制御部１０２に入力されるようになっている。

データ蓄積部１０３は、ハードディスク（以下、ＨＤという。）などの記録媒体を有し、録画制御部１０２の制御に基づいて、当該録画制御部１０２から出力されたコンテンツデータを所定の形式によってＨＤに蓄積するようになっている。また、このデータ蓄積部１０３は、当該コンテンツデータに関連付けて生成された後述する索引データをＨＤに蓄積するようになっている。

具体的には、データ蓄積部１０３には、録画制御部１０２によって生成されたプログラムストリームと、索引データ生成部２００が生成した索引データが入力されるようになっており、このデータ蓄積部１０３は、入力されたプログラムストリームをＨＤに蓄積するとともに、索引データを当該コンテンツデータに関連付けて蓄積するようになっている。

また、データ蓄積部１０３は、コンテンツデータの再生または頭出し再生の際に、再生制御部１０４の指示に基づいて予め記録されたプログラムストリームまたは当該プログラムストリームと索引データをＨＤから読み出して再生制御部１０４に出力するようになっている。

なお、本実施形態のデータ蓄積部１０３に蓄積される索引データのデータ構造の詳細については後述する。

索引データ生成部２００には、データ蓄積部１０３に既に蓄積されているコンテンツデータが入力されるようになっており、この索引データ生成部２００は、コンテンツデータの動画像データにおける主画像データの一部を構成する副画像データを示すテロップ（以下、テロップデータという。）を抽出するとともに、当該テロップデータの識別情報その他の情報を設定するようになっている。

また、この索引データ生成部２００は、抽出した各テロップデータを予め設定された条件に基づいて複数の種類に分類し、当該分類した各テロップデータに基づいて、階層レベルを有する索引データを生成するようになっており、生成した索引データをデータ蓄積部１０３に出力するようになっている。

なお、本実施形態における索引データ生成部２００の詳細および索引データの生成処理の動作の詳細については、後述する。

再生制御部１０４には、図示しない操作部により再生または頭出し再生の指示がシステム制御部１０７を介して入力されるようになっており、この再生制御部１０４は、入力された操作部の指示に基づいて、データ蓄積部１０３から蓄積されている所定形式を有するコンテンツデータまたは当該コンテンツデータと索引データを読み出すようになっている。

また、この再生制御部１０４は、当該読み出したコンテンツデータの形式を変換して表示制御部１０６に出力するとともに、索引データを読み出したときは、当該索引データをリストデータ生成部１０５に出力するようになっている。

具体的には、再生制御部１０４は、入力された操作部の指示に基づいて、再生すべきコンテンツデータに係るプログラムストリームを読み出すようになっており、当該読み出したプルグラムストリームを、ＭＰＥＧフォーマットを有する動画像データとＡＣ−３フォーマットを有する音声データに変換するとともに、変換された各フォーマットのデータを表示制御部１０６に出力するようになっている。

なお、本実施形態の再生制御部１０４は、図示しない操作部に入力された操作指示に基づいて、各種再生制御を行うようになっている。また、本実施形態では、再生制御部１０４は、コンテンツデータに音声データが含まれている場合には、再生制御部１０４から直接的にモニタ１０に音声データを出力するようになっている。

リストデータ生成部１０５には、コンテンツデータの頭出し再生を行う際に、当該頭出し再生の対象となるコンテンツデータの索引データが入力されるようになっており、このリストデータ生成部１０５は、入力された索引データに基づいて、外部に接続されたモニタ１０に表示すべき索引データの画像データ（以下、リストデータという）を生成し、当該生成したリストデータを表示制御部１０６に出力するようになっている。

なお、本実施形態におけるリストデータ生成部１０５において生成されるリストデータの詳細については、後述する。

表示制御部１０６には、所定の形式を有するコンテンツデータが入力されるようになっており、表示制御部１０６は、システム制御部１０７の指示に基づいて、外部に接続されたモニタ１０に表示すべき表示データを生成するとともに、内部のバッファメモリに一時的に当該表示データを保存しつつ、所定のタイミングでバッファメモリから表示データを読み出してモニタ１０に表示出力するようになっている。

また、表示制御部１０６には、頭出し再生を行う場合には、コンテンツデータとともに、リストデータ生成部１０５によって生成されたリストデータが入力されるようになっており、この表示制御部１０６は、この場合に、コンテンツデータとリストデータとを重畳した表示データを生成し、外部に接続されたモニタ１０に表示出力するようになっている。

システム制御部１０７は、主に中央演算処理装置（ＣＰＵ）によって構成されるとともに、図示しない操作部を介して入力されたユーザの指示に基づいて、コンテンツデータの録画処理、再生処理または頭出し再生処理のための全般的な機能を総括的に制御するようになっている。

このシステム制御部１０７は、図示しないＲＯＭに格納される制御プログラムを読み出して各処理を実行し、図示しないＲＡＭに処理中のデータを一時的に保持するようになっており、データ記録再生装置１００全体の動作を制御するようになっている。

次に、図２〜図４を用いて本実施形態における索引データ生成部の詳細な構成について説明する。

なお、図２は、本実施形態の編集システムにおける索引データ生成部の構成を示すブロック図であり、図３は、抽出された複数の変化部位を有する基本テロップデータの一例である。また、図４は、索引データ生成部において生成される索引データのデータ構造の一例である。

本実施形態の索引データ生成部２００は、上述するように、コンテンツデータにおける主画像データ、すなわち、コンテンツデータの動画像データにおける主画像データを構成する副画像データを示すテロップデータを抽出し、テロップデータの識別情報その他の情報を設定するようになっており、抽出したテロップデータを予め設定された条件に基づいて複数の種類に分類するとともに、当該分類した各テロップデータに基づいて、階層レベルを有する索引データを生成するようになっている。

通常、野球やサッカーに代表されるスポーツにおける試合の中継放送がコンテンツデータである場合に、視聴者に試合経過や得点経過などを即座に知らせるために、当該コンテンツデータの動画像データには、試合内容を示す主画像データの他に、文字、記号その他の画像により構成されるテロップとよばれる部分的な画像データである副画像データが含まれている。

このテロップは、当該コンテンツデータが野球の試合である場合には、回数、両チームの得点、およびアウトカウントなどの試合に関する情報を的確に視聴者に提供するものである。このため、このテロップの表示が変化する時点は、得点が為された時点や攻守の切換が行われた時点など試合内容の区切りを示す時点になることが多い。

そこで、本実施形態では、索引データ生成部２００は、このテロップに注目し、当該テロップの変換回数に基づいて索引データを生成するようになっている。

この索引データ生成部２００は、図２に示すように、コンテンツデータにおける主画像データに含まれるテロップデータを抽出するテロップデータ抽出部２０１と、入力されたテロップデータの種別が複数ある場合に、索引データを生成する上で基本となるテロップ（以下、基本テロップという。）と基本テロップ以外のテロップ（以下、イベントテロップという。）とに分類するテロップ種別判定部２０２と、基本テロップを示すテロップデータ（以下、基本テロップデータという。）の内部における変化する部位を決定する基本テロップ処理部２０３と、イベントテロップを示すテロップデータ（以下、イベントテロップデータという。）の階層レベルおよび基本テロップデータにおける各変化部位の階層レベルを決定する階層レベル決定部２０４と、抽出された各テロップデータおよび決定された階層データに基づいて索引データを生成するデータ生成部２０５と、から構成されるようになっている。

なお、例えば、本実施形態のテロップデータ抽出部２０１は、本発明の抽出手段および画像取得手段を構成し、基本テロップ処理部２０３は、本発明の第１検出手段および第２検出手段を構成する。また、例えば、本実施形態の階層レベル決定部２０４は、本発明の設定手段および算出手段を構成し、データ生成部２０５は、本発明の生成手段を構成する。さらに、テロップ種別判定部２０２は、本発明の分類手段を構成する。

テロップデータ抽出部２０１には、再生制御部１０４を介してデータ蓄積部１０３から出力されたコンテンツデータから分離された動画像データが入力されるようになっており、このテロップデータ抽出部２０１は、入力された動画像データから所定の方法を用いて当該動画像データにおける主画像データから副画像データであるテロップデータを抽出するようになっている。

具体的には、テロップデータ抽出部２０１は、各フレーム毎に、入力された主画像データを２値化処理することによって、当該主画像データに含まれるテロップ部分の画像データを推定するようになっており、推定したテロップ部分の画像データである副画像データと、各テロップ部分のコンテンツデータにおける開始フレームおよび終了フレーム（以下、フレーム情報という。）と、入力された主画像データ全体における推定したテロップ部分の副画像データの位置情報と、をテロップデータとしてコンテンツデータの先頭から順に識別情報を付与してテロップ種別判定部２０２に出力するようになっている。

例えば、本実施形態では、このテロップデータ抽出部２０１は、コンテンツデータにおける主画像データをフレーム毎に２値化処理し、テロップ部分の画像部分と背景画像のデータなどテロップ部分以外の画像部分とのエッジを検出することによって、または、画像データの色分布を検出することによってテロップ部分の画像部分を推定するようになっている。

なお、テロップデータ抽出部２０１は、テロップ部分の画像部分とテロップ部分以外の画像部分とのエッジを検出する場合には、検出したエッジが数フレームに渡り安定して出現しているか否かを判断することによって当該エッジを検出するようになっている。

また、通常、テロップはコンテンツデータにおいて常に表示されるとは限らないため、本実施形態では、テロップデータ抽出部２０１は、当該テロップが表示開始された時点のフレームを開始フレーム、当該テロップの表示が終了された時点のフレームを終了フレームとして抽出するとともに、開始フレームから終了フレームまでのテロップ部分の画像データを各フレーム毎に抽出し、位置情報、フレーム情報、および、他のテロップデータとの識別を行うための識別情報とともに、開始フレームから終了フレームまでの各画像データを一のテロップデータとしてテロップ種別判定部２０２に出力するようになっている。

テロップ種別判定部２０２には、テロップデータ抽出部２０１において抽出された各テロップデータが入力されるようになっており、このテロップ種別判定部２０２は、入力された各テロップデータを、索引データを生成する上で基本となる基本テロップと基本テロップ以外のイベントテロップとに分類し、基本テロップに属するテロップデータを基本テロップ処理部２０３に、イベントテロップデータに属するテロップデータを階層レベル決定部２０４に、それぞれ、出力するようになっている。

具体的には、テロップ種別判定部２０２は、入力された各テロップデータにおける各フレーム毎の画像データの主画像データ全体の位置を示す位置情報に基づいて、主画像データ全体における同位置に表示されるテロップデータを同種類のテロップデータ群として分類するようになっている。

また、このテロップ種別判定部２０２は、当該分類したテロップデータの種別（以下、テロップデータ群という。）毎に、テロップの画像データに関するコンテンツデータ全体における総表示時間を算出し、総表示時間に基づいて各テロップデータ群の種別を決定、すなわち、各テロップデータ群の種類を分類して各種別を示す情報（以下、種別情報という。）を設定するようになっている。

例えば、本実施形態では、このテロップデータ種別判定部は、最も表示時間の長いテロップデータ群を一の基本テロップに、その他のテロップデータ群、すなわち、表示時間が基本テロップデータ群より短いテロップデータ群を主画像データにおける同一のテロップ位置毎に各イベントテロップに分類するようになっている。

なお、例えば、コンテンツデータが野球の試合の中継放送の場合であって、攻撃または守備の切り換えを示す回数、両チームの得点、およびアウトカウントなどの試合に関する各情報が集約した一のテロップの画像データが表示されている場合には、当該各情報が集約したテロップデータ群の表示時間が最も長くなることから、当該テロップデータ群が基本テロップに該当し、それ以外のテロップ、例えば、打者名およびその成績を示すテロップデータ群がイベントテロップデータに該当することとなる。

基本テロップ処理部２０３には、テロップ種別判定部２０２において基本テロップと判定された、すなわち、基本テロップの種別情報が添付された各テロップデータが入力されるようになっており、この基本テロップ処理部２０３は、入力された各基本テロップデータの画像データ内部において、時間経過によって当該表示が変化する部位（以下、変化部位という。）を特定するとともに、当該特定した各変化部位の変化回数に基づいて、基本テロップデータ群における各変化部位毎の概略的な階層レベルを決定するようになっている。

具体的には、基本テロップ処理部２０３は、当該入力された各テロップデータ毎に、かつ、各フレーム毎のテロップデータの画像データの内部を２値化処理し、当該基本テロップデータ群におけるテロップデータ内の変化部位を特定するようになっている。

また、この基本テロップ処理部２０３は、各変化部位が変化した時点のフレームにおける画像データ（以下、代表画像データという。）を抽出するとともに、基本テロップデータ群における特定の変化部位が変化した旨のフラグデータを各変化部位毎に設定するようになっている。

さらに、この基本テロップ処理部２０３は、上述のように設定したフラグデータに基づいて、各変化部位の変化回数を算出するようになっており、当該算出した変化回数の少ない変化部位を階層レベルの高い変化部位に設定し、当該変化回数の少ない変化部位の順に、各変化部位の階層レベルの高さを決定するようになっている。

例えば、コンテンツデータが野球の試合の中継放送の場合であって、図３（ａ）、（ｂ）に代表されるような基本テロップデータ群が抽出された場合に、本実施形態の基本テロップ処理部２０３は、２値化処理に基づいて各変化部位Ａ〜Ｇを特定するとともに、特定した変化部位のフラグデータに基づいて、当該各変化部位Ａ〜Ｇの基本テロップデータ群全体における変化回数を算出するようになっており、変化回数の少ない変化部位ほど階層レベルが高いものとして、当該各変化部位の階層レベルを設定するようになっている。

また、このような場合には、すなわち、野球の試合のコンテンツデータの場合であって、図３（ａ）、（ｂ）に代表されるような基本テロップデータ群が抽出された場合には、基本テロップ処理部２０３は、変化部位ＡおよびＢが試合中に各チームが取得した得点を示すことから、当該変化部位ＡおよびＢを最も階層レベルの高い変化部位に設定し、試合回数を示す変化部位Ｃをその次の階層レベルに、各回の攻守の切換を表し、各回の表裏を示す変化部位Ｄを変化部位Ｃの下位の階層レベルに、アウトカウントを示す変化部位Ｇを変化部位Ｄの下位に、ストライクカウントおよびボールカウントを示す変化部位ＥおよびＦを最下位の階層レベルに設定するようになっている。

一方、基本テロップ処理部２０３は、テロップ種別判定部２０２で設定されたテロップの種別を示す種別情報に基づいて、各変化部位が変化した時点の各代表画像データに、他の変化部位が変化した時点の代表画像データとの識別を行うための種別情報を設定するとともに、各代表画像データの開始フレームのフレーム情報とともに、当該代表画像データを階層レベル決定部２０４に出力するようになっている。

具体的には、基本テロップ処理部２０３は、イベントテロップデータと区別できるとともに、他の階層レベルが設定された代表画像データまたは他の変化部位の代表画像データと区別できるように種別情報を各変化部位毎に、かつ、代表画像データ毎に、設定するようになっている。

また、この基本テロップ処理部２０３は、上述のように、各代表画像データ毎に、各変化部位に設定された概略的な階層レベルの情報（以下、階層レベル情報という。）を各代表画像データとともに階層レベル決定部２０４に出力するようになっている。

なお、この基本テロップ処理部２０３は、数字のデータを用いて各変化部位の階層レベルを設定するようになっており、当該各変化部位を示す階層レベルを示す数字のデータを階層レベル決定部２０４に出力するようになっている。

階層レベル決定部２０４には、基本テロップデータ群における各変化部位が変化した時点の各代表画像データ、当該代表画像データのフレーム情報およびその種別情報が入力されるとともに、基本テロップデータ群の各変化部位における階層レベル情報と、各種別毎の各イベントテロップデータ、すなわち、イベントテロップデータ群とが入力されるようになっている。

この階層レベル決定部２０４は、入力された基本テロップデータ群における各変化部位の階層レベルに基づいて入力されたイベントテロップデータ群の階層レベルを決定するとともに、決定されたイベントテロップデータ群の階層レベルに基づいて、各基本テロップデータ群における各変化部位の階層レベルを最終的に決定するようになっている。

具体的には、階層レベル決定部２０４は、基本テロップデータ群の任意の変化部位が一度変化する際の同一種類におけるイベントテロップデータの出現の有無を判断するようになっている。

本実施形態では、この階層レベル決定部２０４は、各イベントテロップデータ群における各イベントテロップデータの開始フレーム毎に、種別情報に基づいて、時間的に隣接する基本テロップデータ群における同一の変化部位が変化する入力された各代表画像データの開始フレームの情報を比較するようになっており、時間的に先の基本テロップデータ群の任意の変化部位における各代表画像データの開始フレームから時間的に後の同一の変化部位における代表画像データの開始フレームまでに、同一種別のイベントテロップデータ群におけるイベントテロップデータの出現回数を算出するようになっている。

例えば、階層レベル決定部２０４は、図３（ａ）、（ｂ）に示すように、基本テロップデータ群における変化部位Ｇが一度変化する間に、任意の種別のイベントテロップデータ群のイベントテロップデータが一度出現するとともに、当該イベントテロップデータ群のイベントテロップデータが一度出現する際に変化部位Ｇの下位の変化部位Ｅが複数回変換するときには、このイベントテロップデータ群の階層レベルを基本テロップデータ群における変化部位Ｇと同様の階層レベルに設定するようになっている。

すなわち、コンテンツデータが野球の試合の中継放送の場合であって、打者名およびその成績を示す画像データが同一種別のイベントロップデータ群として表示される場合には、通常、基本テロップデータ群の変化部位であるストライクカウントの画像データが変化したとしても、当該イベントテロップデータ群の表示は変化しない。一方、この場合に、同一のイベントテロップデータが表示されている間は、ストライクカウントの画像データの一つ上位の階層であるアウトカウントの変化部位は、基本的に変化することはない。したがって、この場合には、階層レベル決定部２０４は、この打者名およびその成績を示すイベントロップデータ群を、アウトカウントを示す変化部位の階層レベルと同じ階層レベルに設定するようになっている。

なお、本実施形態の階層レベル決定部２０４は、各イベントテロップ群の階層レベルを決定する際に、種別情報に基づいて時間的に隣り合う基本テロップデータ群における同一の変化部位が変化する代表画像データに設定された開始フレームの情報を用いるようになっている。

また、この階層レベル決定部２０４は、上述のように、基本テロップデータ群の変化部位およびイベントテロップデータ群毎に、上述のように設定された階層レベルの情報（以下、レベル決定情報という。）を設定し、各変化部位の代表画像データおよびその開始フレームのフレーム情報と、各イベントテロップデータ群の各イベントテロップデータとともに当該レベル決定情報をデータ生成部２０５に出力するようになっている。

データ生成部２０５には、この決定された各変化部位の代表画像データ毎にまたはイベントテロップデータ群毎に、基本テロップデータおよびイベントテロップデータと、種別情報、階層レベルを示すレベル決定情報およびフレーム情報と、が入力されるようになっており、このデータ生成部２０５は、これら入力された各データに基づいて、索引データを生成し、当該生成した索引データをデータ蓄積部１０３に出力するようになっている。

例えば、データ生成部２０５は、各イベントテロップデータ群における各イベントテロップデータの出現時の画像データを代表画像データに決定するとともに、各基本テロップデータ群の変化部位毎、および、イベントテロップデータ群毎に、代表画像データ、種別情報、レベル情報および開始フレームのフレーム情報を纏めて図４に示すような索引データを生成するようになっている。

なお、図４において、種別情報の最初のアルファベットは、基本テロップデータ群とイベントテロップデータ群の種別を示し、その後の数字とアルファベットの組み合わせは、基本テロップデータ群における各変化部位の種別を示す。

また、イベントテロップデータ群のイベントテロップデータは、主画像データに出現する毎に、例えば、打者名や打率など異なる画像データを表示するようになっているため、同一種別の種別情報を有している場合であっても、異なる画像データが対応付けられるようになっている。さらに、フレーム情報は開始フレームの情報を示すようになっている。

次に、図５〜図７を用いてリストデータ生成部において生成されるリストデータについて説明する。

なお、図５〜図７は、本実施形態のリストデータ生成部１０５において生成されるリストデータの一例である。

リストデータ生成部１０５には、コンテンツデータの頭出し再生を行う際に、上述のように生成された頭出し再生の対象となる索引データが入力されるようになっており、このリストデータ生成部１０５は、入力された索引データに基づいて、外部に接続されたモニタ１０に表示すべき索引データの画像データを示すリストデータを生成し、当該生成した索引データを表示制御部１０６に出力するようになっている。

例えば、イベントテロップが存在しない場合に、本実施形態では、リストデータ生成部１０５は、図５に示すように、階層レベルの高低に基づいて、基本テロップデータの変化部位における代表画像データを上下方向に表示させるとともに、時間進行に基づいて同じ階層レベル毎に該当する代表画像データを左右方向に表示させるリストデータを生成するようになっている。

また、本実施形態では、リストデータ生成部１０５は、通常、任意の階層レベルにおける代表画像データを表示させるように、リストデータを生成するようになっており、図示しない操作部の操作により、階層レベルの高低が切り換えられた場合に、例えば、図６に示すように、その操作に従って当該選択された階層レベルに該当するリストデータを生成し、モニタ１０に出力するようになっている。

一方、イベントテロップが存在する場合に、本実施形態では、リストデータ生成部１０５は、図７（ａ）、（ｂ）に示すように、階層レベルの高低に基づいて、基本テロップデータの変化部位における代表画像データまたはイベントテロップデータの代表画像データを上下方向に表示させるとともに、時間進行に基づいて同じ階層レベル毎に該当する代表画像データを左右方向に表示させるリストデータを生成するようになっている。

なお、図７（ａ）は、上述のように、階層レベル決定部２０４において、階層レベルＡにイベントテロップデータの階層レベルが設定された場合の図であり、図７（ｂ）は、図示しない操作部により階層レベルＡが選択された場合に生成されるリストデータである。

さらに、リストデータ生成部１０５は、図示しない操作部を介してモニタ１０に表示出力したリストデータの選択または切換を行うことができるように当該リストデータを生成するようになっており、図示しない操作部を介してリストデータの任意の場所が選択された場合には、その指示を再生制御部１０４に出力するようになっている。

次に、図８を用いて本実施形態の索引データ生成部２００における索引データ生成処理の動作について説明する。

なお、図８は、本実施形態の索引データ生成処理の動作を示すフローチャートである。また、本動作では、索引データの生成の対象となるコンテンツデータが既にデータ蓄積部１０３に蓄積されているものとする。

まず、ＥＩＴ情報に基づいて録画制御部１０２によって索引データの生成の有無が判断され、当該索引データの生成処理を行う旨、または、図示しない操作部によって索引データの生成が指示されてシステム制御部１０７が索引データの生成処理を行う旨がシステム制御部１０７に入力されると（ステップＳ１１）、当該システム制御部１０７は、再生制御部１０４にデータ蓄積部１０３から該当するコンテンツデータを読み出させ、読み出させたコンテンツデータにおける各フレーム毎の主画像データをテロップデータ抽出部２０１に出力させる（ステップＳ１２）。

次いで、テロップデータ抽出部２０１に各フレーム毎の主画像データが入力されると、当該テロップデータ抽出部２０１は、当該各主画像データからテロップ部分の副画像データとフレーム情報をテロップデータとして抽出する（ステップＳ１３）。

具体的には、テロップデータ抽出部２０１は、上述のように、入力された各主画像データを２値化処理することによって、当該主画像データに含まれるテロップデータを推定するとともに、推定した各副画像データにおけるフレーム情報、位置情報を抽出する。また、このとき、このテロップデータ抽出部２０１は、推定したテロップデータに各識別情報を付与するとともに、各副画像データにおけるフレーム情報を添付してテロップデータとしてテロップ種別判定部２０２に出力する。

次いで、テロップ種別判定部２０２に推定したテロップデータが入力されると、当該テロップ種別判定部２０２は、入力された各テロップデータにおける位置情報、すなわち、主画像データにおける副画像データの表示位置に基づいてテロップデータを分類し、各テロップデータ群毎に、コンテンツデータ全体における総表示時間を算出する（ステップＳ１４）。

次いで、テロップ種別判定部２０２は、算出した総表示時間に基づいて一のテロップデータ群を基本テロップデータに、その他のテロップデータ群をイベントテロップデータに設定し、設定した基本テロップデータを基本テロップ処理部２０３に、設定したイベントテロップデータを階層レベル決定部２０４に、それぞれ、出力する（ステップＳ１５）。

なお、このテロップ種別判定部２０２は、一のテロップデータ群のみ入力された場合には、当該入力されたテロップデータを基本テロップに設定する。

次いで、基本テロップ処理部２０３に基本テロップデータが入力されると、当該基本テロップ処理部２０３は、入力されたテロップデータを２値化処理することによって、当該基本テロップデータにおける変化部位を特定する（ステップＳ１６）。

次いで、基本テロップ処理部２０３は、当該特定した各変化部位の変化回数を算出して各変化部位の概略的な階層レベルを決定し、各変化部位の概略的な階層レベルを示すレベル情報を階層レベル決定部２０４に出力するとともに、各変化部位が変化した時点の代表画像データと、各変化部位の種別および当該各代表画像データを他の代表画像データとの識別を行う種別情報と、当該各代表画像データのフレーム情報と、各代表画像データ毎に階層レベル決定部２０４に出力する（ステップＳ１７）。

具体的には、基本テロップ処理部２０３は、各変化部位の概略的な階層レベルを決定する場合には、上述のように、特定した変化部位の変化した時点のフラグデータを設定するとともに、当該各変化部位毎に設定されたフラグデータに基づいて変化回数を算出し、変化回数の少ない変化部位を上位の階層レベルに設定する。

次いで、階層レベル決定部２０４は、イベントテロップデータが入力され、代表画像データがレベル情報その他の情報とともに入力されると、イベントテロップデータの階層レベルを決定するとともに、基本テロップデータの各変化部位の階層レベルを決定し、当該決定した各階層レベルをレベル決定情報としてデータ生成部２０５に出力するとともに、各変化部位または各イベントテロップデータにおける代表画像などの各種情報をデータ生成部２０５に出力する（ステップＳ１８）。

具体的には、この階層レベル決定部２０４は、上述のように、基本テロップデータの任意の変化部位が一度変化する際の同種類のイベントテロップデータの出現の有無を検出することによって各イベントテロップデータの階層レベルを決定し、当該決定したイベントテロップデータの階層レベルに基づいて、基本テロップデータの各変化部位の階層レベルを決定する。

次いで、データ生成部２０５は、入力されたイベントテロップデータに基づいて各イベントテロップデータの代表画像を設定し、当該設定した代表画像データその他の入力されたデータに基づいて索引データを生成する（ステップＳ１９）。

次いで、データ生成部２０５は、生成した索引データを、再生制御部１０４を介してデータ蓄積に出力し、データ蓄積部１０３は、索引データが入力されると、所定の処理を行いＨＤに当該索引データを格納する（ステップＳ２２）。

最後に、図示しない操作部により当該索引データを生成したコンテンツデータの頭出し再生の指示がシステム制御部１０７に入力されると、システム制御部１０７は、再生制御部１０４に格納されている索引データを読み出させるとともに、リストデータ生成部１０５に当該読み出した索引データにおけるリストデータを生成させ、当該生成させたリストデータを外部のモニタ１０に出力させる（ステップＳ２３）。

なお、このとき、再生制御部１０４は、図示しない操作部を介して生成されたリストデータに基づいて任意のシーンにおける頭出し再生が指示されると、当該シーンの先頭からコンテンツデータの再生を行う。

以上本実施形態によれば、動画像データを有するコンテンツデータを取得する再生制御部１０４と、取得した動画像データから時間進行に伴って変化する当該動画像データの内容を補助する画像データであるテロップデータを抽出するテロップデータ抽出部２０１と、抽出されたテロップデータの画像の変化部分を示す変化部位を検出する基本テロップ処理部２０３と、基本テロップ処理部２０３によって１または２以上のテロップデータから少なくとも２以上の変化部位が検出された場合に、検出された各変化部位の変化回数および当該検出された各変化部位における変化点を検出する基本テロップ処理部２０３と、検出された各変化部位の変化回数に基づいて各変化部位の階層レベルを設定する階層レベル決定部２０４と、設定された各変化部位の階層レベルおよび検出された各変化部位の変化点に基づいてコンテンツデータにおける複数のシーンの索引を示す索引データを生成するデータ生成部２０５と、を備え、再生制御部１０４が生成された索引データに基づいてコンテンツデータを再生する構成を有している。

この構成により、本実施形態では、データ記録再生装置１００は、抽出されたテロップデータの変化部位を検出し、１または２以上のテロップデータから少なくとも２以上の変化部位が検出された場合に、検出された各変化部位の変化回数および当該検出された各変化部位における変化点を検出する。また、このデータ記録再生装置１００は、検出された各変化部位の変化回数に基づいて各変化部位の階層レベルを設定し、設定された各変化部位の階層レベルおよび検出された各変化部位の変化点に基づいてコンテンツデータにおける複数のシーンの索引を示す索引データを生成するとともに、当該生成された索引データに基づいてコンテンツデータを再生する。

すなわち、本実施形態では、データ記録再生装置１００は、コンテンツデータから時間進行に伴って変化する当該コンテンツデータの内容を補助するテロップデータの変化点に基づいて階層レベルを設定した索引データを生成することができるとともに、当該生成した索引データに基づいてコンテンツデータの再生を行うことができる。

したがって、本実施形態のデータ記録再生装置１００は、コンテンツデータの内容を的確に示す索引データを生成することができ、当該生成された索引データに基づいてコンテンツデータの再生を行うことができるので、容易にかつ的確にユーザが所望するシーンの検索およびその再生を行うことができる。

また、本実施形態では、階層レベル決定部２０４が、変化回数の少ない変化部位を当該変化回数の多い変化部位より高い階層レベルに設定する構成を有している。

この構成により、本実施形態では、データ記録再生装置１００は、変化回数の少ない変化部位を当該変化回数の多い変化部位より高い階層レベルに設定する。

通常、コンテンツデータにおいて、野球放送などの両チームの得点を示すテロップデータなど、当該テロップデータにおける変化回数の少ない変化部位は、重要な内容を示すとともに、当該変化部位が変化した変化点は、コンテンツデータにおいて重量なシーンであることが多い。

したがって、本実施形態のデータ記録再生装置１００は、コンテンツデータの内容を的確に示す索引データを生成することができ、当該生成された索引データに基づいてコンテンツデータの再生を行うことができるので、容易にかつ的確にユーザが所望するシーンの検索およびその再生を行うことができる。

また、本実施形態では、テロップデータ抽出部２０１が、基本テロップ処理部２０３が検出された各変化部位の変化点を検出する際に、当該変化点における各テロップデータを取得するとともに、データ生成部２０５が、取得した変化部位に対応付けて索引データを生成する構成を有している。

この構成により、本実施形態では、データ記録再生装置１００は、基本テロップ処理部２０３が検出された各変化部位の変化点を検出する際に、当該変化点における各画像データを取得するとともに、データ生成部２０５が、取得した画像データに対応付けて索引データを生成する。

したがって、本実施形態のデータ記録再生装置１００は、索引データに基づいてコンテンツデータの再生を行うときに、内容が変化したシーンをテロップデータの画像データによりユーザが所望するシーンを確認することができるので、容易にかつ的確にユーザが所望するシーンの検索およびその再生を行うことができる。

また、本実施形態では、データ記録再生装置１００は、テロップデータ抽出部２０１によって２以上のテロップデータが抽出された場合に、各テロップデータにおけるコンテンツデータ全体に対する総表示時間に基づいて、変化部位における変化部分を検出すべき一のテロップデータである基本テロップデータと他のテロップデータであるイベントテロップデータとにテロップデータの種別を分類するテロップ種別判定部２０２を有し、基本テロップ処理部２０３が、分類した第１テロップデータにおける変化部位を検出する構成を有している。

この構成により、本実施形態では、データ記録再生装置１００は、テロップデータにおけるコンテンツデータ全体に対する総表示時間に基づいて、変化部位における変化部分を検出すべき一のテロップデータである基本テロップデータと他のテロップデータであるイベントテロップデータとにテロップデータの種別を分類し、分類した基本テロップデータにおける変化部位を検出する。

通常、コンテンツデータにおいて、テロップデータは、コンテンツデータの内容を示すものの他、野球中継の場合には選手名やその選手の成績などスポット的に表示されることが多い。

したがって、本実施形態のデータ記録再生装置１００は、コンテンツデータの内容を的確に表さないスポット的なテロップデータ（イベントテロップデータ）を排除し、コンテンツデータの内容を的確に表すテロップデータに基づいて索引データを生成することができるので、コンテンツデータの内容を的確に示す索引データを生成することができ、容易にかつ的確にユーザが所望するシーンの検索およびその再生を行うことができる。

また、本実施形態では、階層レベル決定部２０４が、テロップ種別判定部２０２によって分類された第１テロップデータにおける各変化部分の各変化の間隔を示す変化間隔を算出し、階層レベル決定部２０４が、算出された各変化間隔とテロップ種別判定部２０２によって分類された第２テロップデータの当該各変化間隔における出現回数とに基づいて、第１テロップデータの各変化部位の階層レベルを設定する構成を有している。

この構成により、本実施形態では、データ記録再生装置１００は、テロップ種別判定部２０２によって分類された基本テロップデータにおける各変化部分の各変化の間隔を示す変化間隔を算出し、階層レベル決定部２０４が、算出された各変化間隔とテロップ種別判定部２０２によって分類されたイベントテロップデータの当該各変化間隔における出現回数とに基づいて、第１テロップデータの各変化部位の階層レベルを設定する。

したがって、本実施形態のデータ記録再生装置１００は、コンテンツデータの内容を的確に表さないスポット的なテロップデータ（イベントテロップデータ）についても索引データに組み込むことができるので、さらにユーザが所望するシーンの検索が容易になる索引データを生成することができる。

また、本実施形態では、階層レベル決定部２０４が、テロップ種別判定部２０２によって分類されたイベントテロップデータの階層レベルを設定する構成を有している。

この構成により、本実施形態のデータ記録再生装置１００は、コンテンツデータの内容を的確に表さないスポット的なテロップデータ（イベントテロップデータ）についても索引データに組み込むことができるので、さらにユーザが所望するシーンの検索が容易になる索引データを生成することができる。

なお、本実施形態では、階層レベル決定部２０４において、任意の基本テロップデータの変化部位が一度変化する間に、任意の種別のイベントテロップデータが一度出現するとともに、当該イベントテロップデータが出現する際に、当該変化部位の下位の変化部位が複数回変換するときに、このイベントテロップデータの階層レベルを変化部位と同様の階層レベルに設定するようになっているが、このイベントテロップを当該変化部位の下位の階層レベルに設定するようにしてもよい。

この場合、階層レベル決定部２０４は、当該設定した階層レベルの下位の階層レベルに基本テロップデータの変化部位が設定されている場合には、当該変化部位の階層レベルを上位のイベントテロップデータの下位の階層レベルに設定し直すようになっている。

また、本実施形態では、基本テロップ処理部２０３において、各変化部位を推定し、当該各変化部位の変化に基づいて当該各変化部位の階層レベルを設定するようになっているが、予めコンテンツデータのジャンル毎にテンプレートを用意し、当該用意したテンプレートに基づいて変化部位の階層レベルを決定するようにしてもよい。

例えば、コンテンツデータが野球の試合の中継の場合に、テロップデータの変化部位において、回数が１回変化する間に、表裏の変化部位は２回変化することが想定される。また、このようなコンテンツデータが野球の試合の中継の場合に、当該テロップデータの変化部位において、攻守が切り替わる間には、アウトカウントは２介し変化することが想定される。したがって、基本テロップ処理部２０３は、これらのテンプレートを内部に格納し、階層レベルを設定するときに当該テンプレートを読み出すとともに、当該検出した変化部位の変化回数に基づいて、設定した各変化部位の階層レベルとその変化部位の示す意味を検出することができるようになる。この結果、データ記録再生装置１００は、変化部位の意味に基づいて各変化部位の階層レベルを設定すれば、的確に階層レベルが反映された索引データを生成することができ、容易にかつ的確にユーザが所望するシーンの検索およびその再生を行うことができる。

また、本実施形態では、データ記録再生装置１００は、文字または記号その他のものを認識する構成を有していないが、基本テロップデータにおける変化部位の階層レベルを設定する際に、数字の「０」のみ認識するようにしてもよい。通常、数字部分の多くが「０」から始まるため、「０」を認識できれば、両チームの得点、または、テロップデータの表示形式によっては、アウトカウントなどの変化部位の的確に特定することができる。

この場合には、データ記録再生装置１００は、「０」を認識するための認識部を有し、当該「０」を認識した場合に、または、その回数を検出することによって基本テロップデータにおける変化部位の階層レベルを設定するようになる。

また、本実施形態では、データ記録再生装置１００は、基本テロップデータにおける変化部位の変化回数に基づいて各変化部位の階層レベルを設定し、設定した階層レベルに基づいて索引データを生成するようになっているが、基本テロップテロップデータの表示および非表示に基づいて当該基本テロップデータにおける各変化部位の意味を認識し、当該認識した各変化部位に基づいて索引データを生成するようにしてもよい。

通常、コンテンツデータが野球の試合の中継の場合に、攻守の切り換え時など回数およびその表裏を示すテロップデータが一定期間表示されない場合がある。また、コンテンツデータがボクシングの試合の中継の場合に、ラウンドチェンジ毎にラウンドの残り時間を示すテロップデータが一定期間表示されない場合がある。すなわち、基本テロップデータとなり得るテロップデータが表示されない期間は、コンテンツデータの内容が切り換わる場所を示すことが多く、この基本テロップデータが表示されない期間の前後では、コンテンツデータの内容が切り換わることが多い。

したがって、このような場合に、本実施形態のデータ記録装置に、当該基本テロップデータが予め設定された期間以上非表示なる期間を検出するとともに、当該非表示になる期間の経過後にその内容が切り換わった変化部位を、予め設定した変化部位であると認識し、当該認識した各変化部位に基づいて索引データを生成するようにしてもよい。

また、本実施形態では、テロップデータのコンテンツデータにおける総表示時間に基づいてテロップデータの分類を行うようになっているが、変化部位の大きさによって当該分類を行うようにしてもよい。

また、本実施形態では、基本的には、野球の試合におけるコンテンツデータに関して、基本テロップデータの各変化部位における階層レベルを用いて説明しているが、勿論、野球に限らず、サッカー、ボクシングなどの時間進行によってテロップが変化するスポーツにおけるコンテンツデータに適用することも可能である。

例えば、サッカーの試合のコンテンツデータの場合には、テロップ中の得点を示す変化部位が最上位の階層レベルになり、残り時間を示す変化部位が下位の階層レベルになる。

また、本実施形態では、索引データの生成処理の動作を、索引データ生成部２００によって実行するようになっているが、当該索引データ生成処理の動作を規定するプログラムが記録された記録媒体と、それを読み取るコンピュータと、を備え、このコンピュータで当該プログラムを読み込むことによって上述と同様の索引データ生成処理の動作を行うようにしてもよい。

本願に係る一実施形態の編集システムのシステム構成を示すブロック図である。 一実施形態の編集システムにおける索引データ生成部の構成を示すブロック図である。 テロップデータ抽出部において抽出された複数の変化部位を有する基本テロップデータの一例である。 索引データ生成部において生成される索引データのデータ構造の一例である。 本実施形態のリストデータ生成部において生成されるリストデータの一例（Ｉ）である。 本実施形態のリストデータ生成部において生成されるリストデータの一例（II）である。 本実施形態のリストデータ生成部において生成されるリストデータの一例（III）である。 本実施形態の索引データ生成処理の動作を示すフローチャートである。

符号の説明

１００ … データ記録再生装置
１０１ … 予約制御部
１０２ … 録画制御部
１０３ … データ蓄積部
１０４ … 再生制御部
１０５ … リストデータ生成部
１０６ … 表示制御部
１０７ … システム制御部
２００ … 索引データ生成部
２０１ … テロップデータ生成部
２０２ … テロップ種別判定部
２０３ … 基本テロップ処理部
２０４ … 階層レベル決定部
２０５ … データ生成部

Claims (15)

1. 予め定められた時間長を少なくとも有する動画像データを含むコンテンツデータを取得する取得手段と、
   前記取得した動画像データを示す主画像データから時間進行に伴って変化する当該主画像データの内容を補助する画像のデータである副画像データを抽出する抽出手段と、
   前記抽出された副画像データの画像の変化部分を示す部分画像データを検出する第１検出手段と、
   前記第１検出手段によって１または２以上の副画像データから少なくとも２以上の前記部分画像データが検出された場合に、検出された各部分画像データの変化回数および当該検出された各部分画像データにおける変化点を検出する第２検出手段と、
   前記検出された各部分画像データの変化回数に基づいて各部分画像データの階層レベルを設定する設定手段と、
   前記設定された各部分画像データの階層レベルおよび前記検出された各部分画像データの変化点に基づいて前記コンテンツデータにおける複数のシーンの索引を示す索引データを生成する生成手段と、
   を備えたことを特徴とする索引データ生成装置。
2. 請求項１に記載の索引データ生成装置において、
   前記設定手段が、前記変化回数の少ない前記部分画像データを当該変化回数の多い部分画像データより高い階層レベルに設定することを特徴とする索引データ再生装置。
3. 請求項１または２に記載の索引データ生成装置において、
   前記第２検出手段が前記検出された各部分画像データの変化点を検出する際に、当該変化点における各副画像データを取得する画像取得手段を有し、
   前記生成手段が、前記取得した各副画像データに対応付けて前記索引データを生成することを特徴とする索引データ生成装置。
4. 請求項１乃至３の何れか一項に記載の索引データ生成装置において、
   前記抽出手段によって２以上の前記副画像データが抽出された場合に、
   前記第１検出手段が、
   前記各副画像データにおける前記コンテンツデータ全体に対する総表示時間に基づいて、前記部分画像データにおける変化部分を検出すべき一の副画像データである第１副画像データと他の副画像データである第２副画像データとに前記副画像データの種別を分類する分類手段を有し、
   前記分類した第１副画像データにおける部分画像データを検出することを特徴とする索引データ生成装置。
5. 請求項４に記載の索引データ生成装置において、
   前記設定手段が、
   前記分類手段によって分類された前記第１副画像データにおける各変化部分の各変化の間隔を示す変化間隔を算出する算出手段を有し、
   前記算出された各変化間隔と前記分類手段によって分類された前記第２副画像データの当該各変化間隔における出現回数とに基づいて、第１副画像データの各部分画像データの階層レベルを設定することを特徴する索引データ生成装置。
6. 請求項５に記載の索引データ生成装置において、
   前記設定手段が、前記分類手段によって分類された前記第２副画像データの階層レベルを設定することを特徴とする索引データ生成装置。
7. 動画像データを少なくとも有するコンテンツデータを取得する取得手段と、
   前記取得した動画像データを示す主画像データから時間進行に伴って変化する当該主画像データの内容を補助する画像のデータである副画像データを抽出する抽出手段と、
   前記抽出された副画像データの画像の変化部分を示す部分画像データを検出する第１検出手段と、
   前記第１検出手段によって１または２以上の副画像データから少なくとも２以上の前記部分画像データが検出された場合に、検出された各部分画像データの変化回数および当該検出された各部分画像データにおける変化点を検出する第２検出手段と、
   前記検出された各部分画像データの変化回数に基づいて各部分画像データの階層レベルを設定する設定手段と、
   前記設定された各部分画像データの階層レベルおよび前記検出された各部分画像データの変化点に基づいて前記コンテンツデータにおける複数のシーンの索引を示す索引データを生成する生成手段と、
   前記生成された索引データに基づいて前記コンテンツデータを再生する再生手段と、
   を備えたことを特徴とするコンテンツデータ再生装置。
8. 請求項７に記載のコンテンツデータ再生装置において、
   前記設定手段が、前記変化回数の少ない前記部分画像データを当該変化回数の多い部分画像データより高い階層レベルに設定することを特徴とするコンテンツデータ再生装置。
9. 請求項７または８に記載のコンテンツデータ再生装置において、
   前記第２検出手段が前記検出された各部分画像データの変化点を検出する際に、当該変化点における各副画像データを取得する画像取得手段を有し、
   前記生成手段が、前記取得した部分画像データに対応付けて前記索引データを生成することを特徴とするコンテンツデータ再生装置。
10. 動画像データを少なくとも有するコンテンツデータを取得する取得工程と、
    前記取得した動画像データを示す主画像データから時間進行に伴って変化する当該主画像データの内容を補助する画像のデータである副画像データを抽出する抽出工程と、
    前記抽出された副画像データの画像の変化部分を示す部分画像データを検出する第１検出工程と、
    前記第１検出手段によって１または２以上の副画像データから少なくとも２以上の前記部分画像データが検出された場合に、検出された各部分画像データの変化回数および当該検出された各部分画像データにおける変化点を検出する第２検出工程と、
    前記検出された各部分画像データの変化回数に基づいて各部分画像データの階層レベルを設定する設定工程と、
    前記設定された各部分画像データの階層レベルおよび前記検出された各部分画像データの変化点に基づいて前記コンテンツデータにおける複数のシーンの索引を示す索引データを生成する生成工程と、
    を含むことを特徴とする索引データ生成方法。
11. 動画像データを少なくとも有するコンテンツデータを取得する取得工程と、
    前記取得した動画像データを示す主画像データから時間進行に伴って変化する当該主画像データの内容を補助する画像のデータである副画像データを抽出する抽出工程と、
    前記抽出された副画像データの画像の変化部分を示す部分画像データを検出する第１検出工程と、
    前記第１検出手段によって１または２以上の副画像データから少なくとも２以上の前記部分画像データが検出された場合に、検出された各部分画像データの変化回数および当該検出された各部分画像データにおける変化点を検出する第２検出工程と、
    前記検出された各部分画像データの変化回数に基づいて各部分画像データの階層レベルを設定する設定工程と、
    前記設定された各部分画像データの階層レベルおよび前記検出された各部分画像データの変化点に基づいて前記コンテンツデータにおける複数のシーンの索引を示す索引データを生成する生成工程と、
    前記生成された索引データに基づいて前記コンテンツデータを再生する再生工程と、
    を含むことを特徴とするコンテンツデータ再生方法。
12. コンピュータによって、コンテンツデータにおける索引データを生成する索引データ生成プログラムであって、
    前記コンピュータを、
    動画像データを少なくとも有するコンテンツデータを取得する取得手段、
    前記取得した動画像データを示す主画像データから時間進行に伴って変化する当該主画像データの内容を補助する画像のデータである副画像データを抽出する抽出手段、
    前記抽出された副画像データの画像の変化部分を示す部分画像データを検出する第１検出手段、
    １または２以上の副画像データから少なくとも２以上の前記部分画像データが検出された場合に、検出された各部分画像データの変化回数および当該検出された各部分画像データにおける変化点を検出する第２検出手段、
    前記検出された各部分画像データの変化回数に基づいて各部分画像データの階層レベルを設定する設定手段、
    前記設定された各部分画像データの階層レベルおよび前記検出された各部分画像データの変化点に基づいて前記コンテンツデータにおける複数のシーンの索引を示す索引データを生成する生成手段、
    として機能させることを特徴とするコンテンツデータ生成プログラム。
13. コンピュータによって、コンテンツデータを再生するコンテンツデータ再生プログラムであって、
    前記コンピュータを、
    動画像データを少なくとも有するコンテンツデータを取得する取得手段、
    前記取得した動画像データを示す主画像データから時間進行に伴って変化する当該主画像データの内容を補助する画像のデータである副画像データを抽出する抽出手段、
    前記抽出された副画像データの画像の変化部分を示す部分画像データを検出する第１検出手段、
    １または２以上の副画像データから少なくとも２以上の前記部分画像データが検出された場合に、検出された各部分画像データの変化回数および当該検出された各部分画像データにおける変化点を検出する第２検出手段、
    前記検出された各部分画像データの変化回数に基づいて各部分画像データの階層レベルを設定する設定手段、
    前記設定された各部分画像データの階層レベルおよび前記検出された各部分画像データの変化点に基づいて前記コンテンツデータにおける複数のシーンの索引を示す索引データを生成する生成手段、
    前記生成された索引データに基づいて前記コンテンツデータを再生する再生手段と、
    として機能させることを特徴とするコンテンツデータ生成プログラム。
14. 請求項１２に記載の索引データ生成プログラムをコンピュータに読み取り可能に記録したことを特徴とする情報記録媒体。
15. 請求項１３に記載のコンテンツデータ再生プログラムをコンピュータに読み取り可能に記録したことを特徴とする情報記録媒体。

Images