JP2007521736A - 映像処理装置、映像処理装置の集積回路、映像処理方法、及び映像処理プログラム - Google Patents

Abstract

【解決手段】開始フレームとして特定すべきフレームの特徴を示す特定情報を、コンテンツの種類に対応づけて複数組記憶しているルール記憶部１０６と、開始フレームを特定する処理の対象となるコンテンツを取得する番組取得部１０４と、取得されたコンテンツの種類を示す種類情報を取得する情報取得部１０５と、取得された種類情報と対応関係にある特定情報を、ルール記憶部１０６から選択し取得する選択部１０７と、取得された特定情報により示される特徴に基づいて、取得されたコンテンツにおいて、開始フレームを特定する特定部１０８とを備える。
【選択図】図２

Description

本発明は、コンテンツに含まれる画像データや音声データを解析し、コンテンツを複数の視聴区間に分けるインデクシング技術に関する。

近年、ＨＤＤレコーダやＤＶＤレコーダ等の大容量の家庭用レコーダ機器には、放送されたコンテンツをユーザの趣味嗜好に合わせて自動的に録画する機能等が搭載され、当該家庭用レコーダ機器に蓄積されるコンテンツの量は増加の一途を辿っている。
このような機能によってコンテンツは、ＥＰＧ（Ｅｌｅｃｔｒｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）により提示される番組毎に録画されるが、ユーザは録画されたコンテンツを初めから終わりまで通して視聴するのではなく、例えばニュース番組において興味のあるニュースだけを視聴したり、音楽番組において好みの歌手が出演する部分のみを視聴するといった具合に、特定の内容を持つ部分を選択的に視聴することで膨大な量のコンテンツから所望の情報を効率よく得ることができる。

そこで、コンテンツの画像データや音声データの様々な特徴量を分析し、分析した複数の特徴を複合的に用いてコンテンツを複数の区間（以下、「視聴区間」という。）にインデクシングすることが試みられている。
具体的には、時間的に連続して撮影されたフレームのまとまりであるシーンが切り替わる切替フレームや、テロップが画像に出現するテロップ出現フレームを画像データから検出する技術を組み合わせて、テロップ出現フレームの直前に位置する切替フレームを検出し、検出されたフレームを相互に比較して類似度を算出し、類似度の高いフレーム間を一つの視聴区間として切り出す技術などがある。
特開平１１−２５００８１号公報 特開２００１−１２６０５０号公報

しかしながら、地上波テレビ放送の多チャンネル化や、衛星放送、ケーブルＴＶ、ビデオストリーミングなど多様な放送形態の普及により、一般家庭で視聴可能なコンテンツの種類が増大しており、従来の技術を適用するだけでは、すべてのコンテンツについて適切なインデクシング結果は得られないと言う問題がある。
なぜならテロップの大きさ、テロップの出現位置や出現時間などの特徴と、視聴区間の区切りのパターンとの関係が、番組のジャンル毎、または番組毎に異なっているからである。

本発明はかかる問題に鑑み、様々な種類のコンテンツを従来よりも適切にインデクシングすることができる映像処理装置、映像処理装置の集積回路、映像処理方法、及び映像処理プログラムを提供することを目的とする。

上記目的を達成するために、本発明に係る映像処理装置は、コンテンツを複数の視聴区間に区切る場合に、各視聴区間の開始フレーミングとなるフレームを特定する映像処理装置であって、開始フレームとして特定すべきフレームの特徴を示す特定情報を、それぞれ異なるコンテンツの種類毎に対応付けて記憶している特定情報記憶手段と、コンテンツを取得するコンテンツ取得手段と、取得された前記コンテンツの種類を示す種類情報を取得する情報取得手段と、取得された種類情報が示す種類に対応する特定情報を、前記特定情報記憶手段から抽出する抽出手段と、抽出された特定情報に基づいて、前記コンテンツにおいて、開始フレームを特定する特定手段とを備えることを特徴とする。

上記の構成により、映像処理装置は、複数の種類の特定情報を記憶し、コンテンツの種類に応じて特定情報を使い分けることが可能となる。従って、処理するコンテンツの画像や音声の特徴を考慮した特定情報を用いることで、様々な種類のコンテンツを、それぞれ適切に複数の視聴区間に区切ることができる。
また、それぞれの特定情報はさらに、各視聴区間を代表する静止画像として提示される提示フレームとして特定すべきフレームの特徴を示し、前記特定手段はさらに、前記抽出された特定情報に基づいて、前記コンテンツにおいて、提示フレームを特定するとしてもよい。

これによって、視聴区間毎に開始フレームと提示フレームとの２つのインデックスを特定することができる。従って、開始フレームが視聴区間の内容の把握に適さない画像である場合にも、内容の把握により適したフレームを提示フレームとすることで、静止画像を用いた視聴区間の内容の把握が容易になる。
また、前記映像処理装置はさらに、前記特定手段において特定された開始フレーム及び提示フレームの表示時刻を、前記取得されたコンテンツに対応づけて記憶するインデックス情報記憶手段を備えるとしてもよい。

これによって、コンテンツの視聴区間の区切りを時刻情報で管理することができる。
また、前記特定情報において示される特徴は、動画像解析、制止画像解析、及び音声解析のうちの少なくとも１つにより検出され、前記特定手段は、動画像解析、静止画像解析、及び、音声解析のうち少なくとも１つにより、開始フレーム、及び提示フレームを特定するとしてもよい。

これによって、画像、音声を解析する技術を用いて、様々な種類のコンテンツを適切にインデクシングできる。
また、前記特定情報は、提示フレームの候補として検出されるべきフレームの特徴を示す第１条件と、提示フレームの候補から除外されるべきフレームの特徴を示す除外条件と、開始フレームの候補として検出されるべきフレームの特徴を示す第２条件と、提示フレームと、開始フレームに選択されるべきフレームとの関係を示す選択条件とを含み、前記特定手段は、前記コンテンツに含まれるフレームから、第１条件を満たすフレームを検出し、その後、検出されたフレームから除外条件を満たすフレームを除くことにより提示フレームを特定し、さらに、前記コンテンツに含まれるフレームから、第２条件を満たすフレームを検出し、その後、検出されたフレームから、前記特定された提示フレームに対して選択条件により示される関係を満たすフレームを選択することにより開始フレームを特定するとしてもよい。

さらに、前記特定手段は、それぞれ異なる特徴を有するフレームを検出する複数の検出手段と、前記第１条件を満たすフレームから前記除外条件を満たすフレームを除外する除外手段と、前記第２条件を満たすフレームから、前記選択条件により示される関係を満たすフレームを選択する選択手段とを含み、前記第１条件、除外条件、及び第２条件は、それぞれ前記複数の検出手段のうちの何れかの使用を指定する識別子からなるとしてもよい。

これによって、コンテンツを複数の視聴区間に区切る場合に、複数の特徴を複合的に用いて各視聴区間の先頭を特定することができる。従って、単一の特徴に基づいて視聴区間の先頭を特定する場合に比較して、より適切に、コンテンツを内容のまとまり毎に切り分けることができる。
また、所定の種類のコンテンツに対応する特定情報に基づいて、前記特定手段は、前記コンテンツに含まれるフレームから、所定の領域に閾値よりも大きいサイズのキャプションが連続して現れる一連のフレーム群の先頭のフレームである大キャプション先頭フレーム、前記所定の領域以外の領域に閾値よりも小さいサイズのキャプションが現れる小キャプションフレーム、コンテンツのコマーシャルメッセージを構成するＣＭフレーム、及び、類似した画像が連続する一連のフレーム群の先頭のフレームである切替フレームを検出し、大キャプション先頭フレームから、小キャプションフレームとＣＭフレームとを除外した残りのフレームを、提示フレームとして特定し、それぞれの提示フレームより前に位置し、且つ最も近くに位置する切替フレームを、それぞれの提示フレームに対する開始フレームとして特定するとしてもよい。

これによって、ＣＭ区間ではなく、且つ、画面上に所定のサイズより大きいテロップが出現するフレームであって、その他に小さなテロップが表示されていないフレームが提示フレームに特定され、提示フレームの直前に画面が転換するフレームが視聴区間の先頭に特定される。
従って、所定の種類のコンテンツが、視聴区間毎に画面が転換し、画面転換した直後に視聴区間の内容を端的に表現したテロップが表示される番組構成であるならば、視聴区間の内容を表現したテロップが表示されているフレームが提示フレームとなり、視聴区間の開始時に画像が切り替るフレームが開始フレームとなる。例えば、１つの事件を報道する毎に画面が転換し、画面の転換後に事件の内容を端的に表現したテロップが画面上に表示されるニュース番組を、１つの事件を報道する毎に１つの視聴区間として区切ることができる。

また、所定の種類のコンテンツに対応する特定情報に基づいて、前記特定手段は、前記コンテンツに含まれる全てのフレームから、コマーシャルメッセージを構成するフレームを除外し、残りのフレームから、所定の領域に閾値よりも大きいサイズのキャプションが連続して現れる一連のフレーム群の先頭のフレームである大キャプション先頭フレーム、前記所定の領域以外の領域に閾値よりも小さいサイズのキャプションが現れる小キャプションフレーム、及び、類似した画像が連続する一連のフレーム群の先頭のフレームである切替フレームを検出し、大キャプション先頭フレームから、小キャプションフレームを除外した残りのフレームを、提示フレームとして特定し、それぞれの提示フレームより前に位置し、且つ最も近くに位置する切替フレームを、それぞれの提示フレームに対する開始フレームとして特定するとしてもよい。

これによって、視聴区間毎に画面が転換し、画面転換した直後に視聴区間の内容を端的に表現したテロップが表示される番組構成のコンテンツをインデクシングする場合に、特定情報により示される特徴を持つフレームを検出するための処理量を減少させることができる。従って、処理時間の短縮をはかることができる。
また、所定の種類のコンテンツに対応する特定情報に基づいて、前記特定手段は、前記コンテンツに含まれるフレームから、所定の領域に閾値よりも大きいサイズのキャプションが連続して現れる一連のフレーム群の先頭のフレームである大キャプション先頭フレーム、前記所定の領域以外の領域に閾値よりも小さいサイズのキャプションが現れる小キャプションフレーム、コンテンツのコマーシャルメッセージを構成するＣＭフレーム、及び、音声が所定の音量レベルより小さい無音フレームを検出し、大キャプション先頭フレームから、小キャプションフレームとＣＭフレームとを除外した残りのフレームを、提示フレームとして特定し、それぞれの提示フレームより前に位置し、且つ最も近くに位置する無音フレームを、それぞれの提示フレームに対する開始フレームとして特定するとしてもよい。

これによって、ＣＭ区間ではなく、且つ、画面上に所定のサイズより大きいテロップが出現するフレームであって、その他に小さなテロップが表示されていないフレームが提示フレームに特定され、提示フレームの直前の無音区間が終わるフレームが視聴区間の先頭に特定される。
従って、所定の種類のコンテンツが、視聴区間の開始時に音声が流れ出し、その後に視聴区間の内容を端的に表現したテロップが表示される番組構成であるならば、視聴区間の内容を表現したテロップが表示されているフレームが提示フレームとなり、視聴区間の開始時に音声が流れ出すフレームが開始フレームとなる。例えば、１つの事件を報道する毎に一旦音声が途絶え、次の事件を報道する音声が開始された後に事件の内容を端的に表現したテロップが画面上に表示されるニュース番組を、１つの事件を報道する毎に１つの視聴区間として区切ることができる。

また、所定の種類のコンテンツに対応する特定情報に基づいて、前記特定手段は、前記コンテンツに含まれる全てのフレームから、コマーシャルメッセージを構成するフレームを除外し、残りのフレームから、所定の領域に閾値よりも大きいサイズのキャプションが連続して現れる一連のフレーム群の先頭のフレームである大キャプション先頭フレーム、前記所定の領域以外の領域に閾値よりも小さいサイズのキャプションが現れる小キャプションフレーム、及び、音声が所定の音量レベルより小さい無音フレームを検出し、大キャプション先頭フレームから、小キャプションフレームを除外した残りのフレームを、提示フレームとして特定し、それぞれの提示フレームより前に位置し、且つ最も近くに位置する無音フレームを、それぞれの提示フレームに対する開始フレームとして特定するとしてもよい。

これによって、視聴区間の前後で一旦音声が途絶え、音声が再開した直後に視聴区間の内容を端的に表現したテロップが表示される番組構成のコンテンツをインデクシングする場合に、特定情報により示される特徴を持つフレームを検出するための処理量を減少させることができる。従って、処理時間の短縮をはかることができる。
また、所定の種類のコンテンツに対応する特定情報に基づいて、前記特定手段は、前記コンテンツに含まれるフレームから、所定の領域に閾値よりも大きいサイズのキャプションが連続して現れる一連のフレーム群の先頭のフレームである大キャプション先頭フレーム、前記所定の領域以外の領域に閾値よりも小さいサイズのキャプションが現れる小キャプションフレーム、コンテンツのコマーシャルメッセージを構成するＣＭフレーム、及び、音声が音楽である一連のフレーム群の先頭のフレームである音楽先頭フレームを検出し、大キャプション先頭フレームから、小キャプションフレームとＣＭフレームとを除外した残りのフレームを、提示フレームとして特定し、それぞれの提示フレームより前に位置し、且つ最も近くに位置する音楽先頭フレームを、それぞれの提示フレームに対する開始フレームとして特定するとしてもよい。

これによって、ＣＭ区間ではなく、且つ、画面上に所定のサイズより大きいテロップが出現するフレームであって、その他に小さなテロップが表示されていないフレームが提示フレームに特定され、提示フレームの直前の音楽区間の始まりのフレームが視聴区間の先頭に特定される。
従って、音楽の演奏が始まった後、画面に音楽のタイトルや、作曲者名がテロップで表示される音楽番組において、曲のタイトル等のテロップが出現するフレームが提示フレームに特定され、当該音楽が演奏開始されるフレームが、開始フレームに特定される。よって、当該音楽番組を、１曲演奏される毎に１つの視聴区間として区切ることができる。

また、所定の種類のコンテンツに対応する特定情報に基づいて、前記特定手段は、前記コンテンツに含まれる全てのフレームから、コマーシャルメッセージを構成するフレームを除外し、残りのフレームから、所定の領域に閾値よりも大きいサイズのキャプションが連続して現れる一連のフレーム群の先頭のフレームである大キャプション先頭フレーム、前記所定の領域以外の領域に閾値よりも小さいサイズのキャプションが現れる小キャプションフレーム、及び、音声が音楽である一連のフレーム群の先頭のフレームである音楽先頭フレームを検出し、大キャプション先頭フレームから、小キャプションフレームを除外した残りのフレームを、提示フレームとして特定し、それぞれの提示フレームより前に位置し、且つ最も近くに位置する音楽先頭フレームを、それぞれの提示フレームに対する開始フレームとして特定するとしてもよい。

これによって、音楽の演奏が始まった後、画面に音楽のタイトルや、作曲者がテロップ表示されるコンテンツをインデクシングする場合に、特定情報により示される特徴を持つフレームを検出するための処理量を減少させることができる。従って、処理時間の短縮をはかることができる。
また、所定の種類のコンテンツに対応する特定情報に基づいて、前記特定手段は、前記コンテンツに含まれるフレームから、所定の領域に閾値よりも大きいサイズのキャプションが連続して現れる一連のフレーム群の先頭のフレームである大キャプション先頭フレーム、前記所定の領域以外の領域に閾値よりも小さいサイズのキャプションが現れる小キャプションフレーム、コンテンツのコマーシャルメッセージを構成するＣＭフレーム、及び、音声が特定の話者によるスピーチである一連のフレーム群の先頭のフレームである話しはじめフレームを検出し、大キャプション先頭フレームから、小キャプションフレームとＣＭフレームとを除外した残りのフレームを、提示フレームとして特定し、それぞれの提示フレームより前に位置し、且つ最も近くに位置する話しはじめフレームを、それぞれの提示フレームに対する開始フレームとして特定するとしてもよい。

これによって、ＣＭ区間ではなく、且つ、画面上に所定のサイズより大きいテロップが出現するフレームであって、その他に小さなテロップが表示されていないフレームが提示フレームに特定され、提示フレームの直前のスピーチ区間の始まりのフレームが視聴区間の先頭に特定される。
従って、所定の種類のコンテンツが、視聴区間の開始時に特定の話者が話し始め、その後に視聴区間の内容を端的に表現したテロップが表示される番組構成であるならば、視聴区間の内容を表現したテロップが表示されているフレームが提示フレームとなり、視聴区間の開始時に話者が話し始めるフレームが開始フレームとなる。例えば、１つの話題毎を話す毎に話者が話を一旦止めて、次の話題を話し始めた後に話題の内容を端的に表現したテロップが画面上に表示されるニュース番組、教育番組等を、１つの話題毎に１つの視聴区間として区切ることができる。

また、所定の種類のコンテンツに対応する特定情報に基づいて、前記特定手段は、前記コンテンツに含まれる全てのフレームから、コマーシャルメッセージを構成するフレームを除外し、残りのフレームから、所定の領域に閾値よりも大きいサイズのキャプションが連続して現れる一連のフレーム群の先頭のフレームである大キャプション先頭フレーム、前記所定の領域以外の領域に閾値よりも小さいサイズのキャプションが現れる小キャプションフレーム、及び、音声が特定の話者によるスピーチである一連のフレーム群の先頭のフレームである話しはじめフレームを検出し、大キャプション先頭フレームから、小キャプションフレームを除外した残りのフレームを、提示フレームとして特定し、それぞれの提示フレームより前に位置し、且つ最も近くに位置する話しはじめフレームを、それぞれの提示フレームに対する開始フレームとして特定するとしてもよい。

これによって、話題が変わる度に、画面に話題のタイトルがテロップで表示されるコンテンツをインデクシングする場合に、特定情報により示される特徴を持つフレームを検出するための処理量を減少させることができる。従って、インデクシングに要する処理時間の短縮をはかることができる。
また、所定の種類のコンテンツに対応する特定情報に基づいて、前記特定手段は、前記コンテンツに含まれるフレームから、コマーシャルメッセージを構成する一連のフレーム群の先頭のフレームであるＣＭ先頭フレーム、及び、類似した画像が連続する一連のフレーム群の先頭のフレームである切替フレームを検出し、それぞれのＣＭ先頭フレームを開始フレームとして特定し、それぞれの開始フレームより後に位置し、且つ最も近くに位置する切替フレームを、それぞれの開始フレームに対する提示フレームとして特定するとしてもよい。

これによって、コンテンツに挿入されたＣＭを１つづつ視聴区間として区切ることができる。
また、映像処理装置はさらに、前記特定手段により特定された開始フレームから、前記コンテンツを再生する再生手段を備えるとしてもよい。
これによって、映像処理装置は、コンテンツを各視聴区間の先頭から再生することができる。従って、ユーザは適切に区切られた各視聴区間の先頭からコンテンツを視聴することができる。

また、映像処理装置はさらに、各視聴区間について、前記特定手段により特定されたそれぞれの開始フレーム及び提示フレームの表示時刻を記憶するインデックス情報記憶手段と、それぞれの視聴区間について、前記特定手段により特定された提示フレームを提示する提示手段と、提示された提示フレームの少なくとも１つを、ユーザの選択に従って選択するユーザ選択手段とを備え、前記再生手段は、ユーザが選択した提示フレームが属する視聴区間の開始フレームから、コンテンツを再生するとしてもよい。

これによって、ユーザは、テロップなどで視聴区間の内容が把握できる提示フレームで内容を確認した上で、嗜好に合った内容の視聴区間を選択することができる。さらに、選択した提示フレームに対応する視聴区間の先頭からコンテンツを視聴することができる。
また、前記提示手段は、各提示フレームの縮小画像を生成し、当該生成した縮小画像を一覧表示することにより、提示フレームを提示するとしてもよい。

これによって、ユーザは、一覧表示された縮小制止画像により各視聴区間の内容を比較し、嗜好に合った視聴区間を用意に選択することができる。
また、前記ユーザ選択手段は、選択された提示フレームを、参照画像として前記特定情報記憶手段に記憶させ、前記特定手段は、キャプションが現れる領域の位置に関して、参照画像と類似するフレームを検出することにより、提示フレームを特定するとしてもよい。

これによって、ユーザが視聴するために選択した画像を、提示フレームの特定に用いることができる。従って、ユーザが内容を把握できた画像に類似した画像が、以降の提示フレームとして検出され、再生とインデクシングとを繰り返す毎に提示フレームによる内容の把握が容易になる。
また、映像処理装置はさらに、コンテンツと、当該コンテンツの種類情報とを取得し、当該コンテンツと種類情報とを対応づけて記録媒体に記録する録画手段を備え、前記コンテンツ取得手段は、前記録画手段が前記種類情報と、前記コンテンツの少なくとも一部分とを記録した後に、前記記録媒体から記録済みの前記一部分を逐次取得し、前記特定手段は、コンテンツ取得手段が取得した前記一部分に含まれるフレームから、開始フレームを逐次特定するとしてもよい。

これによって、コンテンツの録画と並行して、視聴区間の先頭を特定することができる。
従って、コンテンツの録画後に、改めてコンテンツをインデクシングする時間を必要とせず、本発明に係る映像処理装置のユーザは、インデクシングに要する時間を気にすることなく、当該コンテンツを利用することができる。

また、映像処理装置はさらに、コンテンツと、当該コンテンツの種類情報とを取得し、当該コンテンツを符号化し、符号化したコンテンツと種類情報とを対応づけて記録媒体に記録する録画手段を備え、前記コンテンツ取得手段は、前記録画手段が前記種類情報を記録し、前記コンテンツの少なくとも一部分を符号化した後に、前記コンテンツの符号化された一部分を逐次取得し、前記特定手段は、符号化のために録画手段により処理された前記一部分の解析結果を取得し、当該解析結果を用いて、前記符号化された一部分に含まれる開始フレームを逐次特定するとしてもよい。

これによって、エンコード時の画像の解析結果を、テロップの出現やシーンの切替え等の検出に共用することができる。
従って、インデクシングに要する処理量を減少させ、処理時間の短縮をはかることができる。
また、映像処理装置はさらに、コンテンツの所定の種類に対応する新たな特定情報を取得し、当該新たな特定情報を特定情報記憶手段に記録する更新手段を備えるとしてもよい。

これによって、本発明に係る映像処理装置は、新たな特定情報を取得し、当該特定情報を用いて、コンテンツの開始フレームを特定することができる。
また、前記更新手段は、通信回線を介して特定情報を提供する提供装置と接続し、前記新たな特定情報が利用できると判断した場合に、前記新たな特定情報を取得し、前記所定の種類に対応づけられて前記特定情報記憶手段に記録されている１の特定情報を、前記新たな特定情報に更新することにより、前記新たな特定情報は、特定情報記憶手段に記録されるとしてもよい。

これによって、本発明に係る映像処理装置は、サービス装置に新たな特定情報があるか否かを判定し、取得することができる。
従って、本発明に係る映像処理装置は、任意のタイミングで、特定情報の更新を試みることができる。
また、前記新たな特定情報が利用できるか否かの判定は、前記特定手段が前記所定の種類のコンテンツを処理する度になされるとしてもよい。

これによって、常に最新の特定情報を用いて、コンテンツを複数の視聴区間に区切ることができる。
上記目的を達成するために、本発明に係る集積回路は、コンテンツを複数の視聴区間に区切る場合に、各視聴区間の開始フレームとなるフレームを特定する映像処理装置の集積回路であって、前記映像処理装置は、開始フレームとして特定すべきフレームの特徴を示す特定情報を、それぞれ異なるコンテンツの種類毎に対応付けて記憶している特定情報記憶手段を有し、集積回路は、コンテンツを取得するコンテンツ取得モジュールと、取得された前記コンテンツの種類を示す種類情報を取得する情報取得モジュールと、取得された種類情報が示す種類に対応する特定情報を、前記特定情報記憶手段から抽出する抽出モジュールと、抽出された特定情報に基づいて、前記コンテンツにおいて、開始フレームを特定する特定モジュールとを備えることを特徴とする。

これによって、コンテンツの種類に応じて特定情報を使い分けることが可能となる。従って、処理するコンテンツの画像や音声の特徴を考慮した特定情報を用いることで、様々な種類のコンテンツを、それぞれ適切に複数の視聴区間に区切ることができる。
上記目的を達成するために、本発明に係る映像処理方法は、コンテンツを複数の視聴区間に区切る場合に、各視聴区間の開始フレームとなるフレームを特定する映像処理装置における映像処理方法であって、前記映像処理装置は、開始フレームとして特定すべきフレームの特徴を示す特定情報を、それぞれ異なるコンテンツの種類毎に対応付けて記憶している特定情報記憶手段を有し、映像処理方法は、コンテンツを取得するステップと、取得された前記コンテンツの種類を示す種類情報を取得するステップと、取得された種類情報が示す種類に対応する特定情報を、前記特定情報記憶手段から抽出するステップと、抽出された特定情報に基づいて、前記コンテンツにおいて、開始フレームを特定するステップとを含むことを特徴とする。

これによって、複数の種類の特定情報からコンテンツの種類に応じた特定情報を選択し、使い分けることが可能となる。
従って、処理するコンテンツの画像や音声の特徴を考慮した特定情報を用いることで、様々な種類のコンテンツを、それぞれ適切に複数の視聴区間に区切ることができる。
上記目的を達成するために、本発明に係る映像処理プログラムは、コンテンツを複数の視聴区間に区切る場合に、各視聴区間の開始フレームとなるフレームを、デバイスに特定させる映像処理プログラムであって、前記デバイスは、開始フレームとして特定すべきフレームの特徴を示す特定情報を、それぞれ異なるコンテンツの種類毎に対応付けて記憶している特定情報記憶手段を有し、映像処理プログラムは、コンテンツを取得するステップと、取得された前記コンテンツの種類を示す種類情報を取得するステップと、取得された種類情報が示す種類に対応する特定情報を、前記特定情報記憶手段から抽出するステップと、抽出された特定情報に基づいて、前記コンテンツにおいて、開始フレームを特定するステップとを含むことを特徴とする。

これによって、複数の種類の特定情報からコンテンツの種類に応じた特定情報を選択し、使い分けることが可能となる。
従って、処理するコンテンツの画像や音声の特徴を考慮した特定情報を用いることで、様々な種類のコンテンツを、それぞれ適切に複数の視聴区間に区切ることができる。

以下、本発明の実施の形態について、図を用いて説明する。
（第１実施形態）
＜概要＞
本実施形態では、本発明に係る映像処理装置の一例として、コンテンツに含まれる各視聴区間の内容を示す提示フレームと、各視聴区間の開始点となる開始フレームとをコンテンツを構成するフレーム群から特定することにより、コンテンツを複数の視聴区間にインデンシングする録画装置１００について説明する。

本明細書において、視聴区間とは、コンテンツを特定の内容ごとに切り分けた映像区間のことである。
録画装置１００は、どのような条件で提示フレーム及び開始フレームを特定するかを示す特定情報を、コンテンツの種類（ジャンル名、番組名）毎に使い分ける構成を特徴としている。

＜構成＞
図１は、本発明に係る録画装置１００の使用形態を示す図である。
放送局１０は、番組のジャンル名、番組名、放送時間等の情報を含む電子番組ガイド（以下、ＥＰＧ）等のデータ放送と、コンテンツとを伝送する放送波を送信する。
サービス装置２０は、インターネットなどの通信網により録画装置１００と接続されたコンピュータ等であって、内蔵するＨＤＤ等の記録装置に、後述する特定情報（ルール情報、及び検出手順情報）の常に最新の情報を保持し、当該特定情報を、録画装置１００の要求に応じて提供する。

録画装置１００は、具体的には、ＨＤＤ内蔵ＤＶＤレコーダ、ＤＶＤレコーダ、ＨＤＤレコーダ等であって、放送局１０が送信する放送波を受信し、受信した放送波により伝送されるコンテンツを録画する。録画装置１００はさらに、受信した放送波により伝送されるＥＰＧから、ユーザの趣味嗜好に合わせたコンテンツを特定し、当該コンテンツを自動的に録画する自動録画機能と、録画したコンテンツを視聴区間毎にインデクシングするインデクシング機能とを備える。

録画装置１００は、プロセッサ、ＲＡＭ、プログラムを記録したＲＯＭ等を内部に備え、当該プロセッサが当該ＲＯＭに記録されたプログラムを実行することでインデクシング機能を実現する。
以下に、録画装置１００の機能構成を説明する。
図２は、録画装置１００のインデクシング機能に係る構成を示す図である。録画装置１００は、受信部１０１、録画制御部１０２、コンテンツ記憶部１０３、番組取得部１０４、情報取得部１０５、ルール記憶部１０６、選択部１０７、特定部１０８、インデックス情報記憶部１０９、及びルール更新部１１０の各機能ブロックを含む。

受信部１０１は、アンテナ、及び受信回路等からなり、放送局１０が送信する放送波を受信し、受信した放送波からコンテンツと、ＥＰＧとを取得して録画制御部１０２へ出力する。
録画制御部１０２は、ユーザによる録画指示、録画予約、及び、ユーザの趣味嗜好に合わせた自動録画等によりコンテンツを録画する録画機能を制御する機能ブロックであり、受信部１０１から取得したコンテンツをデジタルデータに変換した後、Ｍｐｅｇ２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ｐｈａｓｅ ２）等の圧縮符号化技術を用いて圧縮符号化し、圧縮符号化したコンテンツを、コンテンツ記憶部１０３に記録する。また、録画制御部１０２は、コンテンツを録画する場合に、当該コンテンツのジャンル名、及び番組名を示す種類情報をＥＰＧに基づいて生成し、当該種類情報をコンテンツに対応付けてコンテンツ記憶部１０３に記録する。

尚、ユーザの趣味嗜好に合わせた自動録画や、録画予約等により、コンテンツを録画する技術は公知の技術であるので詳細な説明を省略する。
コンテンツ記憶部１０３は、具体的にはハードディスク、ＤＶＤ等の記録媒体であり、コンテンツと、種類情報とを対応づけて記録している。コンテンツ記憶部１０３に記録されているコンテンツは、時間軸に沿って連続した複数のフレーム（静止画像）からなる画像データと、各フレームでの音声を示す音声データとからなる。種類情報は、図３に示すように、コンテンツＩＤ、ジャンル名、及び番組名からなる。ここでコンテンツＩＤとは、コンテンツ記憶部１０３に記録されているコンテンツを一意に識別する識別子であり、当該録画装置１００が録画時に付与するとしてもよいし、ＥＰＧにおける番組の識別子を用いるとしてもよい。

尚、通常ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）方式で放送されているコンテンツは１秒あたり３０フレームの画像データを含み、各フレームの表示時刻（コンテンツ先頭からの経過時間）は約３３ｍ秒単位で特定できるが、本実施の形態では説明が煩雑になることを避けるため、各フレームの表示時刻を秒単位で説明する。

番組取得部１０４は、コンテンツ記憶部１０３に、新たなコンテンツが録画された場合に、当該コンテンツをコンテンツ記憶部１０３から取得し、特定部１０８へ出力する。
情報取得部１０５は、番組取得部１０４がコンテンツを取得する場合に、当該コンテンツに対応する種類情報をコンテンツ記憶部１０３から取得し、選択部１０７へ出力する。
ルール記憶部１０６は、具体的にはハードディスク、ＤＶＤ等の記録媒体や、ＥＥＰＲＯＭ等の書き換え可能な不揮発性メモリであって、ルール情報テーブル３０１と、検出手順情報テーブル３０２とを記憶している機能ブロックである。また、ルール記憶部１０６は、内部に参照フレーム記憶領域を含み、当該参照フレーム記憶領域に、後述の類似画像検出部１４７における画像の解析に用いる参照フレームを、ルール情報テーブル３０１に登録されているルール情報毎に、番号を付して記憶している。

本実施の形態１においては、１つのルール情報と、当該ルール情報により指定される検出手順情報とによって、特定情報が示される。
各検出手順情報は、インデックス情報記憶部１０９への提示フレームの表示時刻（以下、「提示時刻」という。）の登録、提示時刻の削除、及び開始フレームの表示時刻（以下、「区間開始時刻」という。）の登録の何れかの指示を示す情報であって、表示時刻がインデックス情報記憶部１０９への登録、または削除の対象となるフレームの条件と、何れの処理（提示時刻登録、提示時刻削除、区間開始時刻登録）を指示するかを示す情報とからなる。

各ルール情報は、対応づけられた種類のコンテンツを複数の視聴区間にインデクシングする場合に、検出制御部１２１において処理する検出手順情報の数と、検出手順情報を処理する順番とを示す情報である。
以下に、ルール情報テーブル３０１と、検出手順情報テーブル３０２との詳細を説明する。

図４は、ルール記憶部１０６が記憶しているルール情報テーブル３０１のデータ構造を示す図である。
ルール情報テーブル３０１には、コンテンツのジャンル名毎にルール情報が登録されている。
各ルール情報は、番組種類、手順数、及び手順数に示される数の手順ＩＤとからなる。

番組種類は、当該ルール情報が対応するコンテンツのジャンル名を示し、手順数は、当該ルール情報において指定する検出手順情報の数を示す。
手順ＩＤには、検出手順情報の識別子である手順ＩＤが、インデクシング動作時に用いられる順番で配列する。
例えば、ニュース番組１に対応するルール情報は、手順ＩＤが００１、００４、００２、及び００３である各検出手順情報を、上記の順番で処理することを示す。

図５は、ルール記憶部１０６が記憶している検出手順情報テーブル３０２のデータ構造を示す図である。
検出手順情報テーブル３０２には、表示時刻がインデックス情報記憶部１０９への登録または削除の対象となるフレームの条件と、何れの処理（提示時刻登録、提示時刻削除、区間開始時刻登録）を指示するかを示す情報とからなる検出手順情報が登録されている。

各検出手順情報は、手順ＩＤ、検出対象フレーム、検出パラメータ、インデックス処理、選択用フレーム、及び前後情報の各情報から構成される。
手順ＩＤは検出手順情報を一意に示す識別子である。
検出対象フレームは、特徴フレーム検出部１２３において検出の対象となるフレームを示し、検出パラメータは、特徴フレーム検出部１２３において対象のフレームの検出に用いるパラメータを示す。

インデックス処理は、検出処理部１２４における、提示時刻、区間開始時刻の登録、または削除を指示する情報であって、具体的には、提示時刻の登録を指示する場合は「提示時刻登録」、提示時刻の削除を指示する場合は「提示時刻削除」、区間開始時刻の登録を指示する場合は「開始時刻登録」の各情報がインデックス処理に設定される。
選択用フレームは、検出処理部１２４において、表示時刻の登録、または削除の対象となるフレームの選択に用いるフレームを示す情報であって、０：検出対象フレーム、１：登録済みの提示フレーム、及び、２：登録済みの開始フレームの何れかの値をとる。

前後情報は、表示時刻が登録または削除の対象となるフレームを、選択用フレームと、検出対象フレームとの関係によって示す情報であって、０：選択用フレームと一致する検出対象フレーム、１：選択用フレームの直前に位置する検出対象フレーム、及び、２：選択用フレームの直後に位置する検出対象フレームの何れかの値をとる。
例えば、手順ＩＤ００１の検出手順情報は、特徴フレーム検出部１２３において、検出パラメータの領域［（Ｘ，Ｙ）−（ｘ，ｙ）］によって示される画像の領域内に、閾値［（ｘ，ｙ）］によって示されるサイズより大きなテロップが出現する大テロップ先頭フレームを検出し、検出処理部１２４において、大テロップ先頭フレーム（選択用フレーム（大テロップ先頭フレーム）と一致する検出対象フレーム（大テロップ先頭フレーム））の表示時刻を、提示時刻として、インデックス情報記憶部１０９に登録する処理を示す。

また、手順ＩＤ００２の検出手順情報は、特徴フレーム検出部１２３において、検出パラメータの領域［（Ｘ，Ｙ）−（ｘ，ｙ）］によって示される画面の領域内に、閾値［（ｘ，ｙ）］によって示されるサイズより小さなテロップが存在する小テロップフレームを検出し、検出処理部１２４において、選択用フレーム（登録済みの提示フレーム）と一致する検出対象フレーム（小テロップフレーム）の表示時刻を、インデックス情報記憶部１０９に登録済みの提示時刻から削除する処理を示す。

また、手順ＩＤ００３の検出手順情報は、特徴フレーム検出部１２３において、時間的に連続して変化する画像から不連続な他の画像に切り替わるフレームである、切替フレームを検出し、検出処理部１２４において、選択用フレーム（登録済みの提示フレーム）の直前に位置する検出対象フレーム（切替フレーム）の表示時刻を、区間開始時刻として、インデックス情報記憶部１０９に登録する処理を示す。

図２に示す選択部１０７は、番組取得部１０４から取得した種類情報のジャンル名に対応するルール情報と、当該ルール情報により手順ＩＤが示される検出手順情報とを、ルール情報テーブル３０１、及び検出手順情報テーブル３０２から取得し、取得したルール情報、及び検出手順情報を特定部１０８へ出力する。選択部１０７は、取得したルール情報により複数の手順ＩＤが示されている場合、ルール情報により示される順番で、検出手順情報を特定部１０８へ出力する。

特定部１０８は、内部に検出制御部１２１、データ解析部１２２、特徴フレーム検出部１２３、検出処理部１２４の各機能ブロックを含み、番組取得部１０４から取得したコンテンツの画像データを構成する複数のフレーム群から、コンテンツを複数の視聴区間に区切る場合に各視聴区間の先頭となるフレームを特定する機能ブロックである。
検出制御部１２１は、ルール情報により示される順番で、選択部１０７から検出手順情報を取得し、取得した検出手順情報毎に、当該検出手順情報が示す処理に基づいて、検出パラメータを特徴フレーム検出部１２３へ出力し、特徴フレーム検出部１２３、及び検出処理部１２４の動作を制御する。

データ解析部１２２は、番組取得部１０４から取得したコンテンツをデコードし、特徴フレーム検出部１２３の指示に従ってデコード後の画像データ、及び音声データの特徴量を解析する機能ブロックであり、内部に静止画データ解析部１３１、動画データ解析部１３２、及び音声データ解析部１３３の各機能ブロックを含む。
静止画データ解析部１３１は、デコードされた画像データにおいて、各フレームの輝度、及び色の分布を解析する。

動画データ解析部１３２は、デコードされた画像データにおいて、前後する複数のフレーム間の輝度、及び色の変化を解析する。
音声データ解析部１３３は、デコードされた音声データにおいて、音量レベルの測定、波形の解析、及び音声認識を行う。
特徴フレーム検出部１２３は、内部に切替検出部１４１、大テロップ検出部１４２、小テロップ検出部１４３、無音検出部１４４、ＣＭ検出部１４５、音楽先頭検出部１４６、類似画像検出部１４７、及びスピーチ先頭検出部１４８の各機能ブロックを含み、検出制御部１２１の制御に従って、後述する特徴を持つフレームを、データ解析部１２２による解析結果を用いてコンテンツから検出する特徴フレーム検出処理を実行する機能ブロックである。さらに、特徴フレーム検出部１２３は、特徴フレーム検出処理により検出したフレームの表示時刻を、検出処理部１２４に出力する。

切替検出部１４１は、時間的に連続して撮影されたフレームの固まりであるシーンが、他のシーンに切り替る切替フレームを検出する機能ブロックであって、時間的に連続するフレーム間での色の分布の変化に基づいて、所定のアルゴリズムによりコンテンツに含まれる切替フレームを全て検出し、検出した切替フレームの表示時刻を検出処理部１２４に出力する。

大テロップ検出部１４２は、画像の所定の領域に閾値より大きいテロップが存在するフレームが、画像データにおいて連続する区間の先頭に位置するフレームである、大テロップ先頭フレームを検出する機能ブロックである。大テロップ検出部１４２は、画像の所定の領域を示す座標データと、テロップの大きさ判定する閾値とを検出制御部１２１よりバラメータとして取得し、取得したパラメータと、時間的に連続するフレーム間での水平方向の輝度のエッジ画素数の変化とに基づいて、所定のアルゴリズムにより画像の所定の領域に閾値より大きいテロップが出現する大テロップ先頭フレームをコンテンツから全て検出し、検出した大テロップ先頭フレームの表示時刻を検出処理部１２４に出力する。

小テロップ検出部１４３は、画像の所定の領域に閾値より小さいテロップが存在するフレームである、小テロップフレームを検出する機能ブロックであって、画像の所定の領域を示す座標データと、テロップの大きさ判定する閾値とを検出制御部１２１よりバラメータとして取得し、取得したパラメータと、各フレームでの水平方向の輝度のエッジに基づいて、所定のアルゴリズムにより画像の所定の領域に閾値より小さいテロップが存在する小テロップフレームをコンテンツから全て検出し、検出した小テロップフレームの表示時刻を検出処理部１２４に出力する。

尚、大テロップ検出部１４２、及び小テロップ検出部１４３は、画像を解析することで、テロップが表示されるフレームを検出しているが、コンテンツにクローズドキャプション等のテロップに関する詳細なメタ情報が含まれる場合は、画像を解析することなく、メタ情報を利用することも可能である。
無音検出部１４４は、音声データの音量が閾値より小さい無音区間に相当するフレームである無音フレームを、所定のアルゴリズムによりコンテンツから全て検出し、検出した無音フレームの表示時刻を検出処理部１２４に出力する。

ＣＭ検出部１４５は、コンテンツのコマーシャルメッセージ（以下、ＣＭとする）区間に相当するフレームであるＣＭフレームを、所定のアルゴリズムにより検出する機能ブロックであって、無音区間が所定の時間（例えば１５秒）間隔で繰り返される区間に相当するフレームを、ＣＭフレームとしてコンテンツから全て検出し、検出したＣＭフレームの表示時刻を検出処理部１２４に出力する。

音楽先頭検出部１４６は、音声データにおいて、特徴音が周期的に繰り返す区間である音楽区間の先頭に位置する音楽先頭フレームを、所定のアルゴリズムによりコンテンツから全て検出し、検出した音楽先頭フレームの表示時刻を検出処理部１２４に出力する。
類似画像検出部１４７は、検出制御部１２１から取得したパラメータにより示される参照フレームを、ルール記憶部１０６の参照フレーム記憶領域から取得し、取得した参照フレームと、インデックス情報記憶部１０９に提示時刻として表示時刻が登録されているフレームのうちの参照フレームと画像が類似するフレームである、類似画像フレームを提示フレームから全て検出し、検出した類似画像フレームの表示時刻を検出処理部１２４に出力する。

尚、参照フレームと画像が類似するフレームの検出とは、参照フレームの特徴的なテロップであるメインテロップの表示位置を特定領域とし、特定領域内の水平方向のエッジ画素数を画像特徴量とし、対象とするフレーム群から類似するフレームを検出する処理としてもよいし、参照フレームのテロップ表示位置を画像特徴として、表示位置が類似するフレームを検出する処理としてもよいし、さらに、その他の特徴に基づいて、フレームの画像を比較するとしてもよい。

スピーチ先頭検出部１４８は、音声データにおいて、一人の話者によるスピーチが継続する区間であるスピーチ区間の先頭に位置する話はじめフレームを、所定のアルゴリズムによりコンテンツから全て検出し、検出した話はじめフレームの表示時刻を検出処理部１２４に出力する。
検出処理部１２４は、内部に代表候補特定部１５１、代表候補削除部１５２、及び先頭フレーム特定部１５３の各機能ブロックを含み、検出制御部１２１の制御に従って、インデックス情報記憶部１０９が保持するインデックス情報の書き換え処理を行う機能ブロックである。

代表候補特定部１５１は、インデックス情報へ提示時刻を登録し、代表候補削除部１５２は、インデックス情報に登録されている提示時刻を削除し、先頭フレーム特定部１５３は、インデックス情報へ区間開始時刻を登録する。
インデックス情報記憶部１０９は、具体的にはハードディスク、ＤＶＤ等の記録媒体であり、コンテンツ記憶部１０３に記録されているコンテンツ毎に、コンテンツに含まれる各視聴区間の区間開始時刻と提示時刻とを登録したインデックス情報を記録している。

ルール更新部１１０は、最新の特定情報（ルール情報、及び検出手順情報）を、インターネット等の通信網を介して接続しているサービス装置２０から取得し、ルール記憶部１０６が保持するルール情報テーブル３０１と、検出手順情報テーブル３０２とを最新の情報に更新する機能ブロックである。
ルール更新部１１０は、録画制御部１０２によるコンテンツの録画開始を契機として、選択部１０７による特定情報の選択に先立って、当該コンテンツに対応した最新の特定情報の有無をサービス装置２０に確認し、サービス装置２０が当該録画装置１００のルール記憶部１０６に記憶している特定情報よりも新しい情報を保持している場合は、新しい特定情報の提供を受ける。

以上の構成により、録画装置１００は、複数の特定情報を記憶し、コンテンツの種類に応じて特定情報を使い分けることが可能となり、各コンテンツのジャンル毎に最適なアルゴリズムで構成された特定情報を用意することで、様々な種類のコンテンツを適切にインデクシングすることができる。
尚、録画制御部１０２、番組取得部１０４、情報取得部１０５、選択部１０７、特定部１０８、及びルール更新部１１０の各機能ブロックは、プロセッサがＲＯＭに記録されたプログラムを実行することで実現されるが、ワイヤードロジック、ＡＳＩＣ等によりその機能を実現するとしてもよい。

＜動作＞
次に、上述のように構成された録画装置１００において、コンテンツをインデクシングする動作について図を用いて説明する。
図６は、録画装置１００のインデクシング動作時の処理の流れを示す図である。
先ず、番組取得部１０４が、コンテンツ記憶部１０３に録画されているコンテンツを取得し、特定部１０８へ出力する（Ｓ１）。

次に、情報取得部１０５は、Ｓ１において取得されたコンテンツと対応づけて記録されている種類情報をコンテンツ記憶部１０３から取得し、当該種類情報を選択部１０７へ出力する（Ｓ２）。種類情報を取得した選択部１０７は、当該種類情報によって示される「ジャンル名」に対応するルール情報を、ルール記憶部１０６が保持するルール情報テーブル３０１から取得し、さらに、取得したルール情報において手順ＩＤが指定されてる検出手順情報を、検出手順情報テーブル３０２から取得し、取得したルール情報と検出手順情報とを特定部１０８へ出力する（Ｓ３）。

特定部１０８は、選択部１０７から取得したルール情報及び、検出手順情報に基づいて、番組取得部１０４から取得したコンテンツの画像データを構成する複数のフレーム群から、当該コンテンツを複数の視聴区間に区切る場合に各視聴区間の先頭となるフレームを特定する区間特定処理を実行し（Ｓ４）、インデクシング動作を終了する。
以上の動作により、本実施の形態１に係る録画装置１００は、コンテンツの種類に応じて特定情報を使い分け、適切にインデクシングすることができる。

次に、図６のＳ４に示す、ルール情報及び、検出手順情報に基づいて、各視聴区間の先頭となるフレームを特定する区間特定処理の詳細について説明する。
図７は、区間特定処理の流れを示す図である。
先ず、検出制御部１２１は、選択部１０７から取得した検出手順情報のうち未処理の検出手順情報があるか否かを判定する（Ｓ１１）。

未処理の検出手順情報がある場合は（Ｓ１１：Ｙｅｓ）、未処理の検出手順情報のうち、ルール情報により示される順番で最も先頭に近い検出手順情報を処理対象に決定し（Ｓ１２）、決定した検出手順情報に従って、特徴フレーム検出部１２３、及び検出処理部１２４を制御し、検出手順情報が示す条件のフレームをコンテンツから特定してインデックス情報記憶部１０９が記憶しているインデックス情報を更新するフレーム検出処理を実行する（Ｓ１３）。

フレーム検出処理の終了後、Ｓ１１にもどり他の未処理の検出手順情報についても同様に処理を行う。
検出制御部１２１が、上記のステップを繰り返し、全ての検出手順情報に基づいてフレーム検出処理を完了する（Ｓ１１：Ｎｏ）ことにより、インデックス情報には、各視聴区間の区間開始時刻と、提示時刻とが登録される。

以上の動作により、特定部１０８は、選択部１０７において選択されたルール情報により指示される順番で、検出手順情報を処理することができる。
続いて、図７のＳ１３において、特徴フレーム検出部１２３、及び検出処理部１２４が、検出手順情報が示す条件のフレームをコンテンツから特定し、検出したフレームを用いてインデックス情報を更新するフレーム検出処理の詳細について説明する。

図８は、フレーム検出処理の流れを示す図である。
先ず、特徴フレーム検出部１２３は、番組取得部１０４から取得したコンテンツの画像データを構成するフレーム群に、未解析のフレームがあるか否かを判定する（Ｓ２１）。
未解析のフレームがある場合は（Ｓ２１：Ｙｅｓ）、特徴フレーム検出部１２３は、未解析のフレームのうちの先頭のフレームを解析対象として選択し（Ｓ２２）、当該フレームが、処理中の検出手順情報により示される検出対象フレームか否かを、検出対象のフレームを検出する内部の機能ブロックを用いて判定する（Ｓ２３）。解析対象のフレームが検出対象フレームではない場合は（Ｓ２３：Ｎｏ）、Ｓ２１に戻り、次のフレームの解析に移る。解析対象のフレームが検出対象フレームである場合は（Ｓ２３：Ｙｅｓ）、当該フレームの表示時刻をメモリ上に確保した領域に記録し（Ｓ２４）、その後、Ｓ２１に戻り、次のフレームの解析に移る。

特徴フレーム検出部１２３は、上記のステップを繰り返し、コンテンツに含まれる検出対象のフレームの表示時刻のリストをメモリ上の領域に作成する。コンテンツの全てのフレームについて解析が終了した場合（Ｓ２１：Ｎｏ）、検出処理部１２４は、メモリ上の領域に作成された検出対象のフレームの表示時刻のリストを取得し、取得した検出対象のフレームとの表示時刻と、処理中の検出手順情報が示す選択用フレームとを用いて、当該検出手順情報が示す条件でインデックス情報を更新する（Ｓ２５）。

以上の動作により、特徴フレーム検出部１２３は、検出手順情報により示される検出対象のフレームを、コンテンツの画像データを構成するフレームからもれなく検出することができる。
＜動作例１＞
以下に、本実施の形態１に係る録画装置１００におけるインデクシングの具体例を、６０分間のニュース番組であるコンテンツ４０１を用いて説明する。

図９は、コンテンツの一例であるコンテンツ４０１の映像特徴を模式的に示す図である。図の横軸は時間軸である。上端に付された数字は、コンテンツ４０１開始後の経過時間（分単位）を示す。
時間軸４０２上の矩形は、画像下部に閾値より大きいテロップが表示されるフレームの表示区間を示し、時間軸４０３上の矩形は、コンテンツ４０１に広告目的で挿入されている、ＣＭに相当するフレームの表示区間示す。また、時間軸４０４上の矩形は、画面下部以外の領域に閾値より小さいテロップが表示されるフレームの表示区間を示し、時間軸４０５上の縦線は、時間的に連続して撮影されたフレームの固まりであるシーンが、他のシーンに切り替わる時刻を示す。

インデクシングの対象となるコンテンツ４０１のジャンル名は、「ニュース番組１」であり、選択部１０７は、図４に示すルール情報テーブル３０１から、ニュース番組１に対応づけられたルール情報を取得し、さらに、取得したルール情報により手順ＩＤが示される００１、００４、００２、００３の４つの検出手順情報を図５に示す検出手順情報テーブル３０２から取得し、それぞれを特定部１０８に出力する。

特定部１０８は、「ニュース番組１」のルール情報により手順ＩＤが示される順番に従い、検出手順情報が示すフレーム検出処理を実行する。
先ず、ルール情報により示される順番が１番目である手順ＩＤ００１の検出手順情報に基づいて、大テロップ検出部１４２が、コンテンツ４０１から、大テロップ先頭フレームを全て検出し、代表候補特定部１５１が、検出された大テロップ先頭フレームの表示時刻を、提示時刻としてインデックス情報に登録する。

図１０は、手順ＩＤ００１の検出手順情報に基づいて、大テロップ検出部１４２が検出した大テロップ先頭フレームの表示時刻リストを示す図であり、図１１は、手順ＩＤ００１の検出手順情報に示される処理が終了した段階でのコンテンツ４０１のインデックス情報を示す図である。
次に、ルール情報により示される順番が２番目である手順ＩＤ００４の検出手順情報に基づいて、ＣＭ検出部１４５が、コンテンツ４０１から、ＣＭフレームを全て検出する。図１２は、手順ＩＤ００４の検出手順情報に基づいて、ＣＭ検出部１４５が検出したＣＭフレームの表示時刻リストを示す図である。実際には、ＣＭ検出部１４５は、コンテンツ４０１に含まれる全てのＣＭフレームを検出するが、図１２では、図の表記を簡略化するためＣＭフレームが連続する区間の開始時刻と、終了時刻によりＣＭフレームの表示時刻を示している。

ＣＭ検出部１４５によるＣＭフレームの検出が完了すると、代表候補削除部１５２が、手順ＩＤ００４の検出手順情報に従い、検出されたＣＭフレームの表示時刻と一致する区間開始時刻を、インデックス情報から削除する。
具体的には、図１１に示すインデックス情報から、１３：００、２９：００、４５：００、５８：００の各提示時刻が削除される。図１３は、手順ＩＤ００４の検出手順情報に示される処理が終了した段階でのコンテンツ４０１のインデックス情報を示す図である。

次に、ルール情報により示される順番が３番目である手順ＩＤ００２の検出手順情報に基づいて、小テロップ検出部１４３が、コンテンツ４０１から、小テロップフレームを全て検出する。図１４は、手順ＩＤ００２の検出手順情報に従い、小テロップ検出部１４３が検出した小テロップフレームの表示時刻リストを示す図である。尚、図１４では、図１２と同様に、小テロップフレームが連続する区間の開始時刻と、終了時刻により小テロップフレームの表示時刻を示している。

小テロップ検出部１４３による小テロップフレームの検出が完了すると、代表候補削除部１５２が、検出された小テロップフレームの表示時刻と一致する区間開始時刻を、インデックス情報から削除する。
具体的には、図１３に示すインデックス情報から、０８：００、２４：００、３３：００、４０：００、４５：３０の各提示時刻が削除される。図１５は、手順ＩＤ００２の検出手順情報に示される処理が終了した段階でのコンテンツ４０１のインデックス情報を示す図である。

次に、ルール情報により示される順番が４番目である手順ＩＤ００３の検出手順情報に基づいて、切替検出部１４１が、コンテンツ４０１から、切替フレームを全て検出する。図１６は、手順ＩＤ００３の検出手順情報に基づいて、切替検出部１４１が検出した切替フレームの表示時刻リストを示す図である。実際には、切替検出部１４１は、コンテンツ４０１に含まれる全ての切替フレームを検出するが、ＣＭ区間中のフレームが手順ＩＤ００２の検出手順情報により提示フレームから除外されているため、ＣＭ区間に中に含まれる切替フレームは、手順ＩＤ００３の検出手順情報が指定するフレーム（提示フレームの直前に位置する切替フレーム）にはなりえない。そこで、図１６では、ＣＭ区間に中に含まれる切替フレームの表示時刻の記載を省略している。

切替検出部１４１による切替フレームの検出が完了すると、最後に手順ＩＤ００３の検出手順情報に従い、先頭フレーム特定部１５３が、インデックス情報に登録済みの提示フレームの直前に位置する切替フレームの表示時刻を、区間開始時刻としてインデックス情報に登録する。
具体的には、図１５に示すインデックス情報に登録されている提示時刻００：４５、１９：３０、３０：３０、及び５１：１５に対して、区間開始時刻００：００、１９：００、３０：３０、及び５０：００が登録される。図１７は、ニュース番組１に対応付けられたルール情報に従って、コンテンツ４０１のインデクシングが完了した場合のインデックス情報を示す図である。

図９の時間軸４０６上の丸の位置は、開始フレームに特定されたフレームを示し、時間軸４０７上の三角形の位置は、提示フレームに特定されたフレームを示す。
以上の処理によれば、一つの事件を報道する毎に、報道する事件の内容を端的に表現したテロップが、画面上に表示されるニュース番組を適切にインデクシングする事ができる。

具体的には、事件内容を表現したテロップが出現するフレームが、提示フレームに特定され、当該事件を読み出す前に、事件を読み上げる話者に画像が切り替るフレームが、開始フレームに特定される。
図１８の（ａ）に示す画像は、開始フレームの一例であり、図１８の（ｂ）に示す画像は、提示フレームの一例であり、図１８の（ｃ）に示す画像は、手順ＩＤ００１の検出手順情報に基づいた処理において、インデックス情報に提示フレームとして表示時刻が登録されるが、その後、手順ＩＤ００２の検出手順情報に基づいた処理において、インデックス情報から削除されるために、最終的に提示フレームとはならないフレームの一例である。

＜動作例２＞
次に、録画装置１００におけるインデクシングの他の具体例を説明する。
上記説明したコンテンツ４０１のジャンル名が「ニュース番組３」であった場合、ルール情報テーブル３０１からニュース番組３に対応づけられたルール情報が取得される。
「ニュース番組３」のルール情報には、手順ＩＤ００１、００４、００２、及び００５が指定されており、「ニュース番組３」のルール情報に基づいてコンテンツ４０１をインデクシングする場合、１から３番目までの検出手順情報（手順ＩＤが００１、００４、及び００２の検出手順情報）については、「ニュース番組１」のルール情報に基づくインデクシングと同様に処理される。

その後に、ルール情報により示される順番が４番目である手順ＩＤ００５の検出手順情報に基づいて、無音検出部１４４が、コンテンツ４０１から、無音フレームを全て検出する。
無音検出部１４４による無音フレームの検出が完了すると、最後に手順ＩＤ００５の検出手順情報に従い、先頭フレーム特定部１５３が、インデックス情報に登録済みの提示フレームの直前に位置する無音フレームの表示時刻を、区間開始時刻としてインデックス情報に登録する。

以上の処理によれば、一つの事件を報道する毎に、報道する事件の内容を端的に表現したテロップが、画面上に表示されるニュース番組を適切にインデクシングする事ができる。
具体的には、事件内容を表現したテロップが出現するフレームが、提示フレームに特定され、当該事件を読み出す前直前の無音区間の末尾のフレームが、開始フレームに特定される。

＜動作例３＞
次に、録画装置１００におけるインデクシングのさらに他の具体例を説明する。
上記説明したコンテンツ４０１のジャンル名が「音楽番組１」であった場合、ルール情報テーブル３０１から音楽番組１に対応づけられたルール情報が取得される。
「音楽番組１」のルール情報には、手順ＩＤ００１、００４、００２、及び００６が指定されており、「音楽番組１」のルール情報に基づいてコンテンツ４０１をインデクシングする場合、１から３番目までの検出手順情報（手順ＩＤが００１、００４、及び００２の検出手順情報）については、「ニュース番組１」のルール情報に基づくインデクシングと同様に処理される。

その後に、ルール情報により示される順番が４番目である手順ＩＤ００６の検出手順情報に基づいて、音楽先頭検出部１４６が、コンテンツ４０１から、音楽先頭フレームを全て検出する。
音楽先頭検出部１４６による音楽先頭フレームの検出が完了すると、最後に手順ＩＤ００６の検出手順情報に従い、先頭フレーム特定部１５３が、インデックス情報に登録済みの提示フレームの直前に位置する音楽先頭フレームの表示時刻を、区間開始時刻としてインデックス情報に登録する。

以上の処理によれば、音楽の演奏が始まった後、画面に曲のタイトルや、作曲者がテロップ表示される音楽番組を適切にインデクシングする事ができる。
具体的には、音楽が演奏開始されるフレームが、開始フレームに特定され、曲のタイトル等のテロップ表示が出現するフレームが提示フレームに特定される。
＜動作例４＞
次に、録画装置１００におけるインデクシングのさらに他の具体例を説明する。

上記説明したコンテンツ４０１のジャンル名が「ニュース番組５」であった場合、ルール情報テーブル３０１から音楽番組１に対応づけられたルール情報が取得される。
「ニュース番組５」のルール情報には、手順ＩＤ００１、００４、００２、及び０１０が指定されており、「ニュース番組５」のルール情報に基づいてコンテンツ４０１をインデクシングする場合、１から３番目までの検出手順情報（手順ＩＤが００１、００４、及び００２の検出手順情報）については、「ニュース番組１」のルール情報に基づくインデクシングと同様に処理される。

その後に、ルール情報により示される順番が４番目である手順ＩＤ０１０の検出手順情報に基づいて、スピーチ先頭検出部１４８が、コンテンツ４０１から、話はじめフレームを全て検出する。
スピーチ先頭検出部１４８による話はじめフレームの検出が完了すると、最後に手順ＩＤ０１０の検出手順情報に従い、先頭フレーム特定部１５３が、インデックス情報に登録済みの提示フレームの直前に位置する話はじめフレームの表示時刻を、区間開始時刻としてインデックス情報に登録する。

以上の処理によれば、一つの事件を報道する毎に、報道する事件の内容を端的に表現したテロップが、画面上に表示されるニュース番組を適切にインデクシングする事ができる。
具体的には、事件内容を表現したテロップが出現するフレームが、提示フレームに特定され、当該事件の内容を話者が話始めるフレームが、開始フレームに特定される。

尚、「ニュース番組１」、「ニュース番組３」、「音楽番組１」、及び「ニュース番組５」のルール情報に基づいたインデクシングでは、録画装置１００は、ルール情報に指定される各検出手順情報が示す検出対象のフレームを、コンテンツ４０１の画像データ全体から検出する。しかし、コンテンツにＣＭ区間が含まれていることがあるが、ＣＭはコンテンツの内容とはかかわりがないため、ＣＭフレームは開始フレームにも提示フレームにもなりえない。

そこで、コンテンツ４０１をインデクシングする場合に、コンテンツ４０１の画像データ全体からＣＭフレームを検出する処理を示する検出手順情報を最初に実行し、２番目以降の検出手順情報に基づいた処理では、コンテンツ４０１の画像データからＣＭフレームに相当するフレームを除外した残りのフレームから、検出対象のフレームを検出することで、データ解析部１２２における解析の処理量を減少させることができる。これにより処理時間の短縮をはかることができる。

例えば、「ニュース番組２」のルール情報は、１番めにコンテンツからＣＭ区間を除外する処理を示す検出手順情報の実行を指示し、続いて手順ＩＤ００１、００２、００３の検出手順情報の実行を指示する。また、「ニュース番組４」のルール情報は、１番めにコンテンツからＣＭ区間を除外する処理を示す検出手順情報の実行を指示し、続いて手順ＩＤ００１、００２、００５の検出手順情報の実行を指示する。また、「音楽番組２」のルール情報は、１番めにコンテンツからＣＭ区間を除外する処理を示す検出手順情報の実行を指示し、続いて手順ＩＤ００１、００２、００６の検出手順情報の実行を指示する。「ニュース番組６」のルール情報は、１番めにコンテンツからＣＭ区間を除外する処理を示す検出手順情報の実行を指示し、続いて手順ＩＤ００１、００２、０１０の検出手順情報の実行を指示する。

録画装置１００は、さらに、上記以外のルール情報によりコンテンツをインデクシングしてもよい。
例えば、コンテンツにおいて、手順ＩＤ００１の検出手順情報に基づいて、大テロップ先頭フレームの表示時刻を、提示時刻としてインデックス情報に登録し、次に、手順ＩＤ００４の検出手順情報に基づいて、ＣＭフレームの表示時刻を、インデックス情報に登録されている提示時刻から削除し、手順ＩＤ００９の検出手順情報に基づいて、インデックス情報に提示時刻が登録されているフレームのそれぞれと、ルール記憶部１０６の参照フレーム記憶領域に記憶されている参照フレームとを比較し、参照フレームとテロップの表示位置が類似するフレームである、類似画像フレーム以外のフレームを、インデックス情報の提示時刻から削除することで、提示フレームを特定してもよい。

また、インデックス情報に、表示時刻が提示時刻として登録されたフレーム間で、画像中でテロップが表示される領域の矩形の重なりや重心間距離を比較し、類似度の低いフレームを提示フレームから削除することによって、さらに提示フレームを絞り込むとしてもよい。
また他の例として、コンテンツにおいてコンテンツの各ＣＭ区間の先頭のＣＭ先頭フレームを検出し、検出したフレームのそれぞれを開始フレームに特定し、さらに、コンテンツの画像データに含まれる切替フレームを検出し、検出した切替フレームのうちの開始フレームの直後に位置するフレームを提示フレームに特定するすることで、コンテンツのＣＭ区間に含まれるＣＭを１つづつ切り分けてもよい。

尚、本実施の形態１に係る録画装置１００は、特徴フレーム検出部１２３において切替フレーム、小テロップフレーム、大テロップ先頭フレーム、無音フレーム、ＣＭフレーム、音楽先頭フレーム、及び類似フレームを検出するとしたが、さらに他の特徴を持つフレームを検出するとしてもよい。
また、録画装置１００は、図５の検出手順情報テーブル３０２に示す例に限定されず、他の処理を指示する検出手順情報を備えるとしてもよい。

例えば、以下のような検出手順情報を備えるとしてもよい。
１．ＣＭフレームの直前に位置する提示時刻を、インデックス情報から削除する処理を示す検出手順情報
２．ＣＭフレームの表示時刻から、閾値時間以前までの提示時刻を、インデックス情報から削除する処理を示す検出手順情報
３．所定の閾値時間内に含まれる登録済みの提示時刻のうち、先頭以外の提示時刻を、インデックス情報から削除する処理を示す検出手順情報
４．画像の所定の領域にテロップが存在するフレームが所定の時間以下連続する短期テロップ区間の先頭に位置するフレームである、短期テロップ先頭フレームを検出し、検出した短期テロップ先頭フレームの表示時刻を、提示時刻としてインデックス情報へ登録する処理を示す検出手順情報
５．画面の所定の領域に垂直方向のテロップが存在する縦テロップフレームを検出し、検出した縦テロップフレームの表示時刻と一致する提示時刻を、インデックス情報から削除する処理を示す検出手順情報
６．インデックス情報に登録済みの提示時刻のうち、ＣＭフレームの直後に位置する提示時刻以外の提示時刻を、インデックス情報から削除する処理を示す検出手順情報
７．提示時刻から、閾値時間以前までの時間内で、最も長く連続する無音区間の先頭に位置するフレームを検出し、当該検出したフレームの表示時刻を、区間開始時刻としてインデックス情報に登録する処理を示す検出手順情報
８．切替フレームであり且つ無音フレームであるフレームを検出し、当該検出したフレームのうちの提示フレームの直前に位置するフレームの表示時刻を、区間開始時刻としてインデックス情報に登録する処理を示す検出手順情報
９．切替フレームであり且つ音楽先頭フレームであるフレームを検出し、当該検出したフレームのうちの提示フレームの直前に位置するフレームの表示時刻を、区間開始時刻としてインデックス情報に登録する処理を示す検出手順情報
以上のような様々な検出手順情報を組み合わせた特定情報をコンテンツの種類毎に使い分けることで、本実施の形態１に係る録画装置１００は、それぞれが異なる映像特徴を持つ様々なコンテンツを高い精度で視聴区間に切り分けることができる。尚、視聴区間の切り分けの精度とは、人がコンテンツを視聴して、内容のまとまり毎に切り分けた視聴区間と、映像処理装置によって切り分けた視聴区間とを比較した場合の適合率を指す。

尚、本実施の形態１に係る録画装置１００は、検出手順情報を逐次処理することにより開始フレーム、及び提示フレームを特定しているが、各検出手順情報が示す検出対象のフレームの検出を一括して処理し、検出したフレームから、各検出手順情報が示す条件により開始フレーム、及び提示フレームを選択するとしてもよい。
また、検出手順情報が示す検出対象のフレームをコンテンツの全体から検出する必要はなく、既知のフレームから、時間軸の逆方向にフレームの検出処理を実行するとしてもよい。例えば、提示フレームの直前に位置する切替フレームを開始フレームとする場合、コンテンツ全体から切替フレームを検出し、検出したフレームから提示フレームの直前に位置するフレームを選択するのではなく、各提示フレームから、時間軸の逆方向に切替フレームの検出処理を行い、最初に検出された切替フレームを開始フレームとするとしてもよい。これにより、コンテンツの画像解析に要する処理量を抑えることができる。

また、コンテンツのインデクシングは、コンテンツの複数の区間で並列して処理するとしてもよい。これによりインデクシングの処理時間の短縮を図ることができる。
（第２実施形態）
本実施形態では、本発明に係る映像処理装置の一例として、再生装置２００について説明する。

図１９は、本発明に係る再生装置２００の使用形態を示す図である。
再生装置２００は、内部に備えるコンテンツ記憶部１０３に記録しているコンテンツを、モニタ３０において再生することができる。また、再生装置２００は、コンテンツ記憶部１０３に記録しているコンテンツを複数の視聴区間にインデクシングし、インデクシングした各視聴区間の提示フレームのサムネイル画像を、モニタ３０に一覧表示することができる。さらに、再生装置２００は、ユーザによるリモコン４０の操作によって、提示フレームのサムネイル画像の一覧表示から、何れかの提示フレームのサムネイル画像の選択を受け付け、提示フレームのサムネイル画像が選択された視聴区間の先頭から、コンテンツを再生することができる。

図２０は、再生装置２００の機能構成を示す図である。
再生装置２００は、録画装置１００から録画にかかわる機能ブロックである受信部１０１と、録画制御部１０２とを取り除き、再生にかかわる機能ブロックであるサムネイル画像生成部２０１と、サムネイル一覧表示部２０２と、ユーザ選択部２０３と、再生制御部２０４とを追加した構成である。

尚、録画装置１００と同様の機能ブロックには同一の符号を付し、それらの説明を省略する。
サムネイル画像生成部２０１は、コンテンツの各提示フレームの縮小静止画像である代表サムネイル画像を生成する機能ブロックであって、インデックス情報記憶部１０９のインデックス情報に登録されている各視聴区間の提示時刻を参照し、コンテンツ記憶部１０３に記録されているコンテンツの画像データから、提示フレームを取得し、取得した提示フレームから代表サムネイル画像を生成する。

サムネイル一覧表示部２０２は、サムネイル画像生成部２０１により生成された各視聴区間の代表サムネイル画像を、モニタ３０に一覧表示する機能ブロックである。サムネイル一覧表示部２０２は、代表サムネイル画像を一覧表示すると共に、各画像毎に区間開始時刻と、提示時刻とを管理し、ユーザ選択部２０３から代表サムネイル画像の選択が通知されると、選択された代表サムネイル画像の区間開始時刻を再生制御部２０４へ通知する。

ユーザ選択部２０３は、ユーザによる操作を受け付け、一覧表示された代表サムネイル画像のうちの１つ以上の代表サムネイル画像を選択し、選択結果をサムネイル一覧表示部２０２に通知する機能ブロックである。また、ユーザ選択部２０３は、何れかの代表サムネイル画像を選択した場合に、選択した代表サムネイル画像を、ルール記憶部１０６の参照フレーム記憶領域へ記録する。

再生制御部２０４は、コンテンツの生成を制御する機能ブロックであって、サムネイル一覧表示部２０２から区間開始時刻の通知を受けた場合は、当該区間開始時刻により示される開始フレームから、コンテンツ記憶部１０３に記録されているコンテンツを再生する。
以上の構成により、再生装置２００は、各視聴区間の内容をテロップなどにより把握することができる画像（提示フレーム）のサムネイルを一覧表示でユーザに提示しつつ、ユーザが何れかのサムネイルを選択した場合には、選択されたサムネイルの元になったフレーム（提示フレーム）からではなく、選択されたサムネイルが対応する視聴区間の先頭（開始フレーム）から再生を開始することができる。

以下に、図９に示すコンテンツ４０１を例として、サムネイル一覧表示、及び再生の処理について具体的に説明する。尚、コンテンツ４０１は既にインデクシングされ、インデックス情報記憶部１０９には、コンテンツ４０１のインデックス情報が記憶されているものとする。
先ず、サムネイル画像生成部２０１は、インデックス情報記憶部１０９に記憶されているコンテンツ４０１のインデックス情報を参照し、コンテンツ記憶部１０３に記録されているコンテンツ４０１の画像データから、表示時刻がインデックス情報に登録されている各提示時刻情報と一致するフレームを取得し、取得したフレーム毎に縮小静止画像である代表サムネイル画像を生成する。

具体的には、インデックス情報に登録されている各提示時刻００：４５、１９：３０、３０：３０、５１：１５に対応する４つのフレームから、代表サムネイル画像が生成される。
サムネイル一覧表示部２０２は、サムネイル画像生成部２０１が生成した各代表サムネイル画像を取得し、モニタ３０に一覧表示する。

ユーザ選択部２０３は、ユーザによる操作に従い、何れか代表サムネイル画像を選択し、選択結果をサムネイル一覧表示部２０２に通知し、さらに、選択された代表サムネイル画像をルール記憶部１０６の参照フレーム記憶領域へ記録する。尚、参照フレーム記憶領域には、代表サムネイル画像の画像データそのものでなく、コンテンツ４０１において、代表サムネイル画像の元となったフレームを特定する情報であってもよい。

サムネイル一覧表示部２０２は、ユーザ選択部２０３からの通知をうけ、選択された代表サムネイル画像の区間開始時刻を再生制御部２０４へ通知する。
再生制御部２０４は、通知された区間開始時刻から、コンテンツ４０１を再生する。
具体的には、提示時刻００：４５のフレームから生成された代表サムネイル画像が選択された場合は、区間開始時刻００：００からコンテンツ４０１が再生され、提示時刻１９：３０のフレームから生成された代表サムネイル画像が選択された場合は、区間開始時刻１９：００からコンテンツ４０１が再生され、提示時刻３０：３０のフレームから生成された代表サムネイル画像が選択された場合は、区間開始時刻３０：３０からコンテンツ４０１が再生され、提示時刻５１：１５のフレームから生成された代表サムネイル画像が選択された場合は、区間開始時刻５０：００からコンテンツ４０１が再生される。

尚、ユーザ選択部２０３により、複数の代表サムネイル画像が選択された場合、選択された複数の代表サムネイル画像を、ルール記憶部１０６の参照フレーム記憶領域へ記録する。
また、複数の代表サムネイル画像が選択された場合、再生制御部２０４は、選択された複数の代表サムネイル画像に対応する視聴区間を順次再生するプレイリスト機能を備えるとしてもよい。
（第３実施形態）
＜概要＞
Ｍｐｅｇ２形式への圧縮符号化処理には、画像データ及び音声データを解析して特徴量を検出する処理が含まれる。本実施形態では、圧縮符号化処理の過程で得られる画像データ及び音声データの解析結果をコンテンツの切り分けに用いることにより、特定部の構成を簡素化した録画装置について説明する。

＜構成＞
図２１は、第３実施形態に係る録画装置３００の機能構成を示す図である。録画装置３００は、録画装置１００から番組取得部１０４を取り除き、特定部１０８を特定部１１１に置換した構成である。尚、録画装置１００と同様の機能ブロックには同一の符号を付し、それらの説明を省略する。

特定部１１１は、特定部１０８からデータ解析部１２２を取り除いた構成である。特定部１１１は、コンテンツを圧縮符号化する際に解析された画像データ及び音声データの解析結果を、録画制御部１０２から取得し、取得した解析結果を用いてインデックス情報を生成する。
以上の構成により、録画装置３００は、録画の際に得られる解析結果を用いて、録画制御部１０２におけるコンテンツの録画と並行してインデックス情報を生成するので、再生装置２００と比較して装置構成を簡素化することができる。
さらに、録画済みのコンテンツの画像データ及び音声データを解析する必要がないので、インデックスに要するデータ処理量を抑えることができる。
（その他の変形例）
本発明を上記の実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。

（１）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなど、に記録したものとしてもよい。また、これらの記録媒体に記録されている前記コンピュータプログラム又は前記デジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。

また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
（２）本発明は、映像処理装置の制御を行うＬＳＩとしても実施可能である。このようなＬＳＩは、図２、図２０、及び図２１で図示するように、破線で囲んだ機能ブロックの一部または全部を集積化することで実現できる。これらの機能ブロックは、個別に１チップ化されても良いし一部または全てを含むように１チップ化されてもよい。

例えば、図２２は、第２実施形態に係る特定部１０８を集積化したＬＳＩ４００を示す図である。ＬＳＩ４００は、インデクシングを指示する命令を受け付けると、コンテンツ記憶部１０３から読み出された再生信号を解析して、インデックス情報を生成し、インデックス情報記憶部１０９へ出力する。
また、図２３は、第３実施形態に係る録画制御部１０２、及び特定部１１１を集積化したＬＳＩ５００を示す図である。ＬＳＩ５００は、録画命令を受け付けると、受信部１０１で受信された映像データ及び音声データをデジタルデータに変換後、Ｖｉｄｅｏエンコーダ及びＡｕｄｉｏエンコーダにおいて圧縮符号化してエレメンタリーストリーム（以下、「ＥＳ」という。）を生成する。その後、システムエンコーダにおいて映像及び音声のＥＳを多重化してプログラムストリーム（以下、「ＰＳ」という。）を生成し、コンテンツ記憶部１０３へ出力する。さらに、ＬＳＩ５００は、受け付けた録画命令にインデクシングを指示するタグが付されている場合、Ｖｉｄｅｏエンコーダ及びＡｕｄｉｏエンコーダにおける圧縮符号化の際に得られた解析結果を用いて、特徴フレーム検出部及び検出処理部においてインデックス情報を生成し、インデックス情報記憶部１０９へ出力する。

尚、ここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または、汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）やＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。このような技術には、バイオ技術の適応等が可能性としてありえる。
（３）本発明は、録画装置、及び再生装置に限定されないことは勿論であって、本発明は、本実施の形態に係る録画装置１００が備える機能ブロックと、本実施の形態に係る再生装置２００が備える機能ブロックとを共にそなえた録画再生装置にも適用可能であることは言うまでもない。

（４）本実施の形態では、コンテンツを放送波から取得するとしたが、コンテンツは、地上波アナログ放送、地上波デジタル放送、衛生放送、衛生デジタル放送、ケーブルテレビ放送等の放送から取得するとしてもよいし、インターネット等におけるオンデマンド配信により取得するとしてもよいし、ＤＶＤ、ＣＤ、ＳＤカード等の記録媒体に記録された情報から取得するとしてもよい。また、ユーザがホームビデオにより撮影した映像コンテンツであってもよい。

（５）本実施の形態では、コンテンツのジャンル名に対応づけられた特定情報を選択する構成を示したが、特定情報は、コンテンツの番組名に対応づけられているとしてもよい。
また、番組名に対応づけられた特定情報と、ジャンル名に対応づけられた特定情報とを混在させてルール記憶部に記憶させ、所定のコンテンツをインデクシングする場合に、当該所定のコンテンツの番組名に対応づけられた特定情報がルール記憶部に記憶されていれば、当該番組名に対応づけられた特定情報を用いてコンテンツをインデクシングし、前記所定のコンテンツの番組名に対応づけられた特定情報がルール記憶部に記憶されていなければ、ジャンル名に対応づけられた特定情報を用いて前記所定のコンテンツをインデクシングするとしてもよい。

（６）本実施の形態に係る録画装置は、コンテンツの録画完了を契機として、コンテンツのインデクシングを開始するとしてもよいし、コンテンツの録画開始を契機として、コンテンツのインデクシングを開始するとしてもよい。
コンテンツの録画開始を契機として、コンテンツのインデクシングを開始する場合、コンテンツのデータが、コンテンツ記憶部に所定量記録される毎に、または、コンテンツ記憶部への記録が所定時間経過する毎に、コンテンツ記憶部から当該所定量のデータを取得し、取得した所定量のデータにおいてインデクシングするとしてもよい。このような動作は、書込用バッファと、読込用バッファとを用いて、所謂「追っかけ再生」を実現する動作と同様に、
１．書込用バッファ中のデータをコンテンツ記憶部へ記録し、読込用バッファ中のデータにおいてインデクシングを実行するステップ
２．コンテンツを書込用バッファへ書き込み、コンテンツ記憶部から記録済みのデータを読込用バッファへ読み出すステップ
の各ステップを交互に実行することで実現される。

（７）本実施の形態に係る録画装置は、所定のコンテンツの録画が予約されたことを契機として、当該所定のコンテンツの種類に対応する特定情報を更新するとしてもよい。
また、本実施の形態に係る録画装置は、最新の特定情報の有無を、定期的にサービス装置へ確認し、サービス装置が最新の特定情報を記憶している場合に、当該特定情報を取得するとしてもよい。

さらに、本実施の形態に係る録画装置は、定期的な更新によりサービス装置から最新の特定情報を取得した場合に、既にインデクシングされているコンテンツを、当該最新の特定情報に基づいて、インデクシングし直すとしてもよい。
（８）本実施の形態においては、特定情報の一例として、ルール情報と複数の検出手順情報とからなる情報群を説明したが、特定情報の実現方法は、本実施の形態に限定されないのは勿論である。

特定情報は、それぞれ何らかの特徴を持つフレームをコンテンツから検出する複数のアルゴリズムを、実行する順番を定めた情報と、検出するフレームの特徴を示すパラメータとを示す情報であればよく、例えば、特定情報を、提示フレームと開始フレームとを特定する手順を記述した機械語プログラムとして実現するとしてもよい。
（９）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

本発明の適用例としては、録画したコンテンツを、複数の視聴区間に分割し、視聴区間毎に再生する録画再生装置等がある。

本発明に係る録画装置１００の使用形態を示す図。 録画装置１００の機能構成を示す図。 種類情報のデータ構成を示す図。 ルール記憶部１０６が記憶しているルール情報テーブル３０１のデータ構造を示す図。 ルール記憶部１０６が記憶している検出手順情報テーブル３０２のデータ構造を示す図。 録画装置１００のインデクシング動作時の処理の流れを示す図。 区間特定処理の流れを示す図。 フレーム検出処理の流れを示す図。 コンテンツの一例であるコンテンツ４０１の映像特徴を模式的に示す図。 手順ＩＤ００１の検出手順情報に基づいて、大テロップ検出部１４２が検出した大テロップ先頭フレームの表示時刻リストを示す図。 手順ＩＤ００１の検出手順情報に示される処理が終了した段階でのコンテンツ４０１のインデックス情報を示す図。 手順ＩＤ００４の検出手順情報に基づいて、ＣＭ検出部１４５が検出したＣＭフレームの表示時刻リストを示す図。 手順ＩＤ００４の検出手順情報に示される処理が終了した段階でのコンテンツ４０１のインデックス情報を示す図。 手順ＩＤ００２の検出手順情報に基づいて、小テロップ検出部１４３が検出した小テロップフレームの表示時刻リストを示す図。 手順ＩＤ００２の検出手順情報に示される処理が終了した段階でのコンテンツ４０１のインデックス情報を示す図。 手順ＩＤ００３の検出手順情報に基づいて、切替検出部１４１が検出した切替フレームの表示時刻リストを示す図。 ニュース番組１に対応付けられたルール情報に従って、コンテンツ４０１のインデクシングが完了した場合のインデックス情報を示す図。 コンテンツ４０１を構成するフレームの一例を示す図。 本発明に係る再生装置２００の使用形態を示す図。 再生装置２００の機能構成を示す図。 第３実施形態に係る録画装置３００の機能構成を示す図。 第２実施形態に係る特定部１０８を集積化したＬＳＩ４００を示す図。 第３実施形態に係る録画制御部１０２、及び特定部１１１を集積化したＬＳＩ５００を示す図。

符号の説明

１０ 放送局
２０ サービス装置
３０ モニタ
４０ リモコン
１００ 録画装置
１０１ 受信部
１０２ 録画制御部
１０３ コンテンツ記憶部
１０４ 番組取得部
１０５ 情報取得部
１０６ ルール記憶部
１０７ 選択部
１０８ 特定部
１０９ インデックス情報記憶部
１１０ ルール更新部
１１１ 特定部
１２１ 検出制御部
１２２ データ解析部
１２３ 特徴フレーム検出部
１２４ 検出処理部
１３１ 静止画データ解析部
１３２ 動画データ解析部
１３３ 音声データ解析部
１４１ 切替検出部
１４２ 大テロップ検出部
１４３ 小テロップ検出部
１４４ 無音検出部
１４５ ＣＭ検出部
１４６ 音楽先頭検出部
１４７ 類似画像検出部
１４８ スピーチ先頭検出部
１５１ 代表候補特定部
１５２ 代表候補削除部
１５３ 先頭フレーム特定部
２００ 再生装置
２０１ サムネイル画像生成部
２０２ サムネイル一覧表示部
２０３ ユーザ選択部
２０４ 再生制御部
３００ 録画装置
３０１ ルール情報テーブル
３０２ 検出手順情報テーブル
４００、５００ ＬＳＩ
４０１ コンテンツ
４０２〜４０７ 時間軸

Claims (27)

1. コンテンツを複数の視聴区間に区切る場合に、各視聴区間の開始フレーミングとなるフレームを特定する映像処理装置であって、
   開始フレームとして特定すべきフレームの特徴を示す特定情報を、それぞれ異なるコンテンツの種類毎に対応付けて記憶している特定情報記憶手段と、
   コンテンツを取得するコンテンツ取得手段と、
   取得された前記コンテンツの種類を示す種類情報を取得する情報取得手段と、
   取得された種類情報が示す種類に対応する特定情報を、前記特定情報記憶手段から抽出する抽出手段と、
   抽出された特定情報に基づいて、前記コンテンツにおいて、開始フレームを特定する特定手段と
   を備えることを特徴とする映像処理装置。
2. それぞれの特定情報はさらに、各視聴区間を代表する静止画像として提示される提示フレームとして特定すべきフレームの特徴を示し、
   前記特定手段はさらに、前記抽出された特定情報に基づいて、前記コンテンツにおいて、提示フレームを特定すること
   を特徴とする請求項１に記載の映像処理装置。
3. 前記特定手段において特定された開始フレーム及び提示フレームの表示時刻を、前記取得されたコンテンツに対応づけて記憶するインデックス情報記憶手段をさらに備えること
   を特徴とする請求項２に記載の映像処置装置。
4. 前記特定情報において示される特徴は、動画像解析、制止画像解析、及び音声解析のうちの少なくとも１つにより検出され、
   前記特定手段は、動画像解析、静止画像解析、及び、音声解析のうち少なくとも１つにより、開始フレーム、及び提示フレームを特定すること
   を特徴とする請求項２に記載の映像処理装置。
5. 前記特定情報は、
   提示フレームの候補として検出されるべきフレームの特徴を示す第１条件と、
   提示フレームの候補から除外されるべきフレームの特徴を示す除外条件と、
   開始フレームの候補として検出されるべきフレームの特徴を示す第２条件と、
   提示フレームと、開始フレームに選択されるべきフレームとの関係を示す選択条件とを含み、
   前記特定手段は、
   前記コンテンツに含まれるフレームから、第１条件を満たすフレームを検出し、その後、検出されたフレームから除外条件を満たすフレームを除くことにより提示フレームを特定し、
   さらに、前記コンテンツに含まれるフレームから、第２条件を満たすフレームを検出し、その後、検出されたフレームから、前記特定された提示フレームに対して選択条件により示される関係を満たすフレームを選択することにより開始フレームを特定すること
   を特徴とする請求項４に記載の映像処理装置。
6. 前記特定手段は、
   それぞれ異なる特徴を有するフレームを検出する複数の検出手段と、
   前記第１条件を満たすフレームから前記除外条件を満たすフレームを除外する除外手段と、
   前記第２条件を満たすフレームから、前記選択条件により示される関係を満たすフレームを選択する選択手段とを含み、
   前記第１条件、除外条件、及び第２条件は、それぞれ前記複数の検出手段のうちの何れかの使用を指定する識別子からなること
   を特徴とする請求項５に記載の映像処理装置。
7. 所定の種類のコンテンツに対応する特定情報に基づいて、前記特定手段は、
   前記コンテンツに含まれるフレームから、所定の領域に閾値よりも大きいサイズのキャプションが連続して現れる一連のフレーム群の先頭のフレームである大キャプション先頭フレーム、前記所定の領域以外の領域に閾値よりも小さいサイズのキャプションが現れる小キャプションフレーム、コンテンツのコマーシャルメッセージを構成するＣＭフレーム、及び、類似した画像が連続する一連のフレーム群の先頭のフレームである切替フレームを検出し、
   大キャプション先頭フレームから、小キャプションフレームとＣＭフレームとを除外した残りのフレームを、提示フレームとして特定し、
   それぞれの提示フレームより前に位置し、且つ最も近くに位置する切替フレームを、それぞれの提示フレームに対する開始フレームとして特定すること
   を特徴とする請求項４に映像処理装置。
8. 所定の種類のコンテンツに対応する特定情報に基づいて、前記特定手段は、
   前記コンテンツに含まれる全てのフレームから、コマーシャルメッセージを構成するフレームを除外し、
   残りのフレームから、所定の領域に閾値よりも大きいサイズのキャプションが連続して現れる一連のフレーム群の先頭のフレームである大キャプション先頭フレーム、前記所定の領域以外の領域に閾値よりも小さいサイズのキャプションが現れる小キャプションフレーム、及び、類似した画像が連続する一連のフレーム群の先頭のフレームである切替フレームを検出し、
   大キャプション先頭フレームから、小キャプションフレームを除外した残りのフレームを、提示フレームとして特定し、
   それぞれの提示フレームより前に位置し、且つ最も近くに位置する切替フレームを、それぞれの提示フレームに対する開始フレームとして特定すること
   を特徴とする請求項４に記載の映像処理装置。
9. 所定の種類のコンテンツに対応する特定情報に基づいて、前記特定手段は、
   前記コンテンツに含まれるフレームから、所定の領域に閾値よりも大きいサイズのキャプションが連続して現れる一連のフレーム群の先頭のフレームである大キャプション先頭フレーム、前記所定の領域以外の領域に閾値よりも小さいサイズのキャプションが現れる小キャプションフレーム、コンテンツのコマーシャルメッセージを構成するＣＭフレーム、及び、音声が所定の音量レベルより小さい無音フレームを検出し、
   大キャプション先頭フレームから、小キャプションフレームとＣＭフレームとを除外した残りのフレームを、提示フレームとして特定し、
   それぞれの提示フレームより前に位置し、且つ最も近くに位置する無音フレームを、それぞれの提示フレームに対する開始フレームとして特定すること
   を特徴とする請求項４に映像処理装置。
10. 所定の種類のコンテンツに対応する特定情報に基づいて、前記特定手段は、
    前記コンテンツに含まれる全てのフレームから、コマーシャルメッセージを構成するフレームを除外し、
    残りのフレームから、所定の領域に閾値よりも大きいサイズのキャプションが連続して現れる一連のフレーム群の先頭のフレームである大キャプション先頭フレーム、前記所定の領域以外の領域に閾値よりも小さいサイズのキャプションが現れる小キャプションフレーム、及び、音声が所定の音量レベルより小さい無音フレームを検出し、
    大キャプション先頭フレームから、小キャプションフレームを除外した残りのフレームを、提示フレームとして特定し、
    それぞれの提示フレームより前に位置し、且つ最も近くに位置する無音フレームを、それぞれの提示フレームに対する開始フレームとして特定すること
    を特徴とする請求項４に記載の映像処理装置。
11. 所定の種類のコンテンツに対応する特定情報に基づいて、前記特定手段は、
    前記コンテンツに含まれるフレームから、所定の領域に閾値よりも大きいサイズのキャプションが連続して現れる一連のフレーム群の先頭のフレームである大キャプション先頭フレーム、前記所定の領域以外の領域に閾値よりも小さいサイズのキャプションが現れる小キャプションフレーム、コンテンツのコマーシャルメッセージを構成するＣＭフレーム、及び、音声が音楽である一連のフレーム群の先頭のフレームである音楽先頭フレームを検出し、
    大キャプション先頭フレームから、小キャプションフレームとＣＭフレームとを除外した残りのフレームを、提示フレームとして特定し、
    それぞれの提示フレームより前に位置し、且つ最も近くに位置する音楽先頭フレームを、それぞれの提示フレームに対する開始フレームとして特定すること
    を特徴とする請求項４に映像処理装置。
12. 所定の種類のコンテンツに対応する特定情報に基づいて、前記特定手段は、
    前記コンテンツに含まれる全てのフレームから、コマーシャルメッセージを構成するフレームを除外し、
    残りのフレームから、所定の領域に閾値よりも大きいサイズのキャプションが連続して現れる一連のフレーム群の先頭のフレームである大キャプション先頭フレーム、前記所定の領域以外の領域に閾値よりも小さいサイズのキャプションが現れる小キャプションフレーム、及び、音声が音楽である一連のフレーム群の先頭のフレームである音楽先頭フレームを検出し、
    大キャプション先頭フレームから、小キャプションフレームを除外した残りのフレームを、提示フレームとして特定し、
    それぞれの提示フレームより前に位置し、且つ最も近くに位置する音楽先頭フレームを、それぞれの提示フレームに対する開始フレームとして特定すること
    を特徴とする請求項４に映像処理装置。
13. 所定の種類のコンテンツに対応する特定情報に基づいて、前記特定手段は、
    前記コンテンツに含まれるフレームから、所定の領域に閾値よりも大きいサイズのキャプションが連続して現れる一連のフレーム群の先頭のフレームである大キャプション先頭フレーム、前記所定の領域以外の領域に閾値よりも小さいサイズのキャプションが現れる小キャプションフレーム、コンテンツのコマーシャルメッセージを構成するＣＭフレーム、及び、音声が特定の話者によるスピーチである一連のフレーム群の先頭のフレームである話しはじめフレームを検出し、
    大キャプション先頭フレームから、小キャプションフレームとＣＭフレームとを除外した残りのフレームを、提示フレームとして特定し、
    それぞれの提示フレームより前に位置し、且つ最も近くに位置する話しはじめフレームを、それぞれの提示フレームに対する開始フレームとして特定すること
    を特徴とする請求項４に映像処理装置。
14. 所定の種類のコンテンツに対応する特定情報に基づいて、前記特定手段は、
    前記コンテンツに含まれる全てのフレームから、コマーシャルメッセージを構成するフレームを除外し、
    残りのフレームから、所定の領域に閾値よりも大きいサイズのキャプションが連続して現れる一連のフレーム群の先頭のフレームである大キャプション先頭フレーム、前記所定の領域以外の領域に閾値よりも小さいサイズのキャプションが現れる小キャプションフレーム、及び、音声が特定の話者によるスピーチである一連のフレーム群の先頭のフレームである話しはじめフレームを検出し、
    大キャプション先頭フレームから、小キャプションフレームを除外した残りのフレームを、提示フレームとして特定し、
    それぞれの提示フレームより前に位置し、且つ最も近くに位置する話しはじめフレームを、それぞれの提示フレームに対する開始フレームとして特定すること
    を特徴とする請求項４に映像処理装置。
15. 所定の種類のコンテンツに対応する特定情報に基づいて、前記特定手段は、
    前記コンテンツに含まれるフレームから、コマーシャルメッセージを構成する一連のフレーム群の先頭のフレームであるＣＭ先頭フレーム、及び、類似した画像が連続する一連のフレーム群の先頭のフレームである切替フレームを検出し、
    それぞれのＣＭ先頭フレームを開始フレームとして特定し、
    それぞれの開始フレームより後に位置し、且つ最も近くに位置する切替フレームを、それぞれの開始フレームに対する提示フレームとして特定すること
    を特徴とする請求項４に示す映像処理装置。
16. 前記コンテンツを、前記特定手段により特定された開始フレームから再生する再生手段をさらに備えること
    を特徴とする請求項２に示す映像処理装置。
17. 映像処理装置はさらに、
    各視聴区間について、前記特定手段により特定されたそれぞれの開始フレーム及び提示フレームの表示時刻を記憶するインデックス情報記憶手段と、
    それぞれの視聴区間について、前記特定手段により特定された提示フレームを提示する提示手段と、
    提示された提示フレームの少なくとも１つを、ユーザの選択に従って選択するユーザ選択手段とを備え、
    前記再生手段は、ユーザが選択した提示フレームが属する視聴区間の開始フレームから、コンテンツを再生すること
    を特徴とする請求項１６に示す映像処理装置。
18. 前記提示手段は、各提示フレームの縮小画像を生成し、当該生成した縮小画像を一覧表示することにより、提示フレームを提示すること
    を特徴とする請求項１７に示す映像処理装置。
19. 前記ユーザ選択手段は、選択された提示フレームを、参照画像として前記特定情報記憶手段に記憶させ、
    前記特定手段は、キャプションが現れる領域の位置に関して、参照画像と類似するフレームを検出することにより、提示フレームを特定すること
    を特徴とする請求項１７に示す映像処理装置。
20. 映像処理装置はさらに、
    コンテンツと、当該コンテンツの種類情報とを取得し、当該コンテンツと種類情報とを対応づけて記録媒体に記録する録画手段を備え、
    前記コンテンツ取得手段は、前記録画手段が前記種類情報と、前記コンテンツの少なくとも一部分とを記録した後に、前記記録媒体から記録済みの前記一部分を逐次取得し、
    前記特定手段は、コンテンツ取得手段が取得した前記一部分に含まれるフレームから、開始フレームを逐次特定すること
    を特徴とする請求項１に示す映像処理装置。
21. 映像処理装置はさらに、
    コンテンツと、当該コンテンツの種類情報とを取得し、当該コンテンツを符号化し、符号化したコンテンツと種類情報とを対応づけて記録媒体に記録する録画手段を備え、
    前記コンテンツ取得手段は、前記録画手段が前記種類情報を記録し、前記コンテンツの少なくとも一部分を符号化した後に、前記コンテンツの符号化された一部分を逐次取得し、
    前記特定手段は、符号化のために録画手段により処理された前記一部分の解析結果を取得し、当該解析結果を用いて、前記符号化された一部分に含まれる開始フレームを逐次特定すること
    を特徴とする請求項１に示す映像処理装置。
22. コンテンツの所定の種類に対応する新たな特定情報を取得し、当該新たな特定情報を特定情報記憶手段に記録する更新手段をさらに備えること
    を特徴とする請求項１に示す映像処理装置。
23. 前記更新手段は、通信回線を介して特定情報を提供する提供装置と接続し、前記新たな特定情報が利用できると判断した場合に、前記新たな特定情報を取得し、
    前記所定の種類に対応づけられて前記特定情報記憶手段に記録されている１の特定情報を、前記新たな特定情報に更新することにより、前記新たな特定情報は、特定情報記憶手段に記録されること
    を特徴とする請求項２２に示す映像処理装置。
24. 前記新たな特定情報が利用できるか否かの判定は、前記特定手段が前記所定の種類のコンテンツを処理する度になされること
    を特徴とする請求項２３に示す映像処理装置。
25. コンテンツを複数の視聴区間に区切る場合に、各視聴区間の開始フレームとなるフレームを特定する映像処理装置の集積回路であって、
    前記映像処理装置は、開始フレームとして特定すべきフレームの特徴を示す特定情報を、それぞれ異なるコンテンツの種類毎に対応付けて記憶している特定情報記憶手段を有し、
    集積回路は、
    コンテンツを取得するコンテンツ取得モジュールと、
    取得された前記コンテンツの種類を示す種類情報を取得する情報取得モジュールと、
    取得された種類情報が示す種類に対応する特定情報を、前記特定情報記憶手段から抽出する抽出モジュールと、
    抽出された特定情報に基づいて、前記コンテンツにおいて、開始フレームを特定する特定モジュールと
    を備えることを特徴とする集積回路。
26. コンテンツを複数の視聴区間に区切る場合に、各視聴区間の開始フレームとなるフレームを特定する映像処理装置における映像処理方法であって、
    前記映像処理装置は、開始フレームとして特定すべきフレームの特徴を示す特定情報を、それぞれ異なるコンテンツの種類毎に対応付けて記憶している特定情報記憶手段を有し、
    映像処理方法は、
    コンテンツを取得するステップと、
    取得された前記コンテンツの種類を示す種類情報を取得するステップと、
    取得された種類情報が示す種類に対応する特定情報を、前記特定情報記憶手段から抽出するステップと、
    抽出された特定情報に基づいて、前記コンテンツにおいて、開始フレームを特定するステップと
    を含むことを特徴とする映像処理方法。
27. コンテンツを複数の視聴区間に区切る場合に、各視聴区間の開始フレームとなるフレームを、デバイスに特定させる映像処理プログラムであって、
    前記デバイスは、開始フレームとして特定すべきフレームの特徴を示す特定情報を、それぞれ異なるコンテンツの種類毎に対応付けて記憶している特定情報記憶手段を有し、
    映像処理プログラムは、
    コンテンツを取得するステップと、
    取得された前記コンテンツの種類を示す種類情報を取得するステップと、
    取得された種類情報が示す種類に対応する特定情報を、前記特定情報記憶手段から抽出するステップと、
    抽出された特定情報に基づいて、前記コンテンツにおいて、開始フレームを特定するステップと
    を含むことを特徴とする映像処理プログラム。

Images