JP2004363749A - コンテンツ記録システムおよび方法、記録装置および方法、プログラム、並びに記録媒体 - Google Patents
コンテンツ記録システムおよび方法、記録装置および方法、プログラム、並びに記録媒体 Download PDFInfo
- Publication number
- JP2004363749A JP2004363749A JP2003157588A JP2003157588A JP2004363749A JP 2004363749 A JP2004363749 A JP 2004363749A JP 2003157588 A JP2003157588 A JP 2003157588A JP 2003157588 A JP2003157588 A JP 2003157588A JP 2004363749 A JP2004363749 A JP 2004363749A
- Authority
- JP
- Japan
- Prior art keywords
- program
- jingle
- data
- recording
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
【課題】録画された番組の中から所望のコーナーを簡単に検索し、再生できるようにする。
【解決手段】番組1に含まれるスペーサジングル851乃至854、および番組内構造化識別用ジングル871乃至875を検出し、番組1をコーナーA乃至コーナーFの6個のコーナーに分割する。番組1と番組1を構成する各コーナーの開始位置と終了位置が番組内構造化定義ファイルとして記憶され、番組内構造化定義ファイルに基づいて、記録された番組内の所望のコーナーを検索する。本発明は、ハードディスクレコーダに適用することができる。
【選択図】 図40
【解決手段】番組1に含まれるスペーサジングル851乃至854、および番組内構造化識別用ジングル871乃至875を検出し、番組1をコーナーA乃至コーナーFの6個のコーナーに分割する。番組1と番組1を構成する各コーナーの開始位置と終了位置が番組内構造化定義ファイルとして記憶され、番組内構造化定義ファイルに基づいて、記録された番組内の所望のコーナーを検索する。本発明は、ハードディスクレコーダに適用することができる。
【選択図】 図40
Description
【0001】
【発明の属する技術分野】
本発明は、コンテンツ記録システムおよび方法、記録装置および方法、プログラム、並びに記録媒体に関し、特に、録画された番組の中から所望のコーナーを簡単に検索し、再生できるようにするコンテンツ記録システムおよび方法、記録装置および方法、プログラム、並びに記録媒体に関する。
【0002】
【従来の技術】
従来、テレビ番組(コンテンツ)などの録画を行う場合、放送局から提供される番組表を用いて、所望の番組の放送開始時刻と放送終了時刻を調査して、記録装置に記録開始時刻と記録終了時刻を指定することにより記録を行っていた。
【0003】
図1は、番組表の構成例を示す図である。図1に示されるように、番組表は、番組が放送される日付を表す情報21、番組が放送される放送局(チャネル)を現す情報11、番組の放送開始時刻を表す情報14、および番組タイトルを表す情報13により構成されている。
【0004】
例えば、番組13を録画するとき、ユーザは、図2に示されるような記録予約情報を作成し、記録装置にセットする。図2には、番組13が放送されるチャネルを表す情報11、記録開始時刻を表す情報14、および記録終了時刻を表す情報15が設定されている。このようにすることで、2003年1月23日(木曜日)の16時から17時に放送された番組13が記録される。
【0005】
図3は、番組13を時間軸上に示した図である。図3に示されるように番組13はA乃至Dの4つのコーナーにより構成されている。図4に番組をコーナーに分割する例を示す。
【0006】
番組13の映像データ31において、コーナーを特定するテロップ34−1と34−2が抽出され、テロップ認識が行われ、所定のキーワード36−2が検出された場合、そのテロップがコーナーCの開始点35−3、およびコーナーDの開始点35−4とされる。同様に、番組13の音声データ31において、コーナーを特定する音声フレーズ33−1と33−2が抽出され、音声認識が行われ、所定のキーワード36−1が検出された場合、その音声フレーズがコーナーAの開始点35−1またはコーナーBの開始点35−2とされる。
【0007】
また、出願人は、番組内で放送される特定の音声または映像のパターンをマッチングし、番組を自動録画する技術を提案した(例えば、特許文献1参照)。
【0008】
【特許文献1】
特開平6−111416号公報
【0009】
【発明が解決しようとする課題】
しかしながら、従来の技術では、所定の音声または映像のパターンが頻繁に検出される番組においては、コーナーを特定することが困難であるという課題があった。
【0010】
本発明はこのような状況に鑑みてなされたものであり、録画された番組の中から所望のコーナーを簡単に検索し、再生できるようにするものである。
【0011】
【課題を解決するための手段】
本発明のコンテンツ記録システムは、ネットワークを介して相互に接続される記録装置と情報処理装置からなるコンテンツ記録システムであって、情報処理装置は、放送された番組の映像または音声のデータと、番組の放送時刻を表す番組表データを取得し、映像または音声のデータと番組表データに基づいて、番組の区切点を表すジングルのジングルデータを作成し、番組表データにジングルデータを付与し、ジングルデータが付与された番組表データを、ネットワークを介して記録装置に提供し、記録装置は、ジングルデータが付与された番組表データを取得し、ジングルデータが付与された番組表データに基づいて、番組の録画予約を設定し、放送される番組の映像または音声のデータを解析し、録画予約が設定された番組のジングルを抽出し、抽出されたジングルに基づいて、番組の録画を開始または終了し、録画された番組をコーナーに分割し、構造化してデータベースに記憶することを特徴とする。
【0012】
本発明のコンテンツ記録方法は、ネットワークを介して相互に接続される記録装置と情報処理装置からなるコンテンツ記録システムのコンテンツ記録方法であって、情報処理装置は、放送された番組の映像または音声のデータと、番組の放送時刻を表す番組表データを取得し、映像または音声のデータと番組表データに基づいて、番組の区切点を表すジングルのジングルデータを作成し、番組表データにジングルデータを付与し、ジングルデータが付与された番組表データを、ネットワークを介して前記記録装置に提供し、記録装置は、ジングルデータが付与された番組表データを取得し、ジングルデータが付与された番組表データに基づいて、番組の録画予約を設定し、放送される番組の映像または音声のデータを解析し、録画予約が設定された番組のジングルを抽出し、抽出されたジングルに基づいて、番組の録画を開始または終了し、録画された番組をコーナーに分割し、構造化してデータベースに記憶することを特徴とする。
【0013】
本発明のコンテンツ記録システムおよび方法においては、情報処理装置により、放送された番組の映像または音声のデータと、番組の放送時刻を表す番組表データが取得され、映像または音声のデータと番組表データに基づいて、番組の区切点を表すジングルのジングルデータが作成され、番組表データにジングルデータが付与され、ジングルデータが付与された番組表データが、ネットワークを介して前記記録装置に提供される。また、記録装置により、ジングルデータが付与された番組表データが取得され、ジングルデータが付与された番組表データに基づいて、番組の録画予約が設定され、放送される番組の映像または音声のデータが解析され、録画予約が設定された番組のジングルが抽出され、抽出されたジングルに基づいて、番組の録画が開始または終了され、録画された番組がコーナーに分割され、構造化してデータベースに記憶される。
【0014】
本発明の記録装置は、ネットワークを介して情報処理装置と接続され、放送される番組を記録する記録装置であって、情報処理装置から番組の区切点を表すジングルのジングルデータが付与された番組表データを取得し、ジングルデータが付与された番組表データに基づいて、番組の録画予約を設定する予約手段と、放送される番組の映像または音声のデータを解析し、録画予約が設定された番組の区切点を表すジングルを抽出する抽出手段と、抽出されたジングルに基づいて、番組の録画を開始または終了する録画手段と、抽出されたジングルに基づいて、録画された番組をコーナーに分割し、構造化する構造化手段と、構造化手段により構造化された番組をデータベースとして記憶する記憶手段とを備えることを特徴とする。
【0015】
前記構造化手段により分割されたコーナーのキーワードを抽出するキーワード抽出手段をさらに備え、記憶手段は、構造化手段により構造化された番組と、キーワード抽出手段により抽出されたキーワードを対応づけてデータベースに記憶するようにすることができる。
【0016】
ユーザの指示に基づいて、データベースに記憶された番組または番組を構成するコーナーを検索し、検索された番組または番組を構成するコーナーを再生する再生手段をさらに備えるようにすることができる。
【0017】
前記ジングルデータは、ジングルの音声データの特徴を表す、音響成分および音声成分と、ジングルの映像データの特徴を表す、映像成分と、音響成分、音声成分、および映像成分の重要度を表す重み情報と、音響成分、音声成分、および映像成分に基づいて、ジングルを特定するために必要な閾値とを有するようにすることができる。
【0018】
音響成分および音声成分は、ジングルの音声データの周波数成分に基づいて生成され、映像成分は、ジングルの映像データの周波数成分に基づいて生成されるようにすることができる。
【0019】
前記抽出手段は、番組の映像または音声のデータの特徴量を算出し、観測値を演算する観測値演算手段と、観測値演算手段により演算された観測値と、情報処理装置から取得されたジングルデータを比較し、観測値とジングルデータの近似性を表す近似評価値を演算する評価値演算手段とを備えるようにすることができる。
【0020】
前記観測値演算手段は、番組の音声データの周波数成分に基づいて、観測値の音響成分と音声成分を演算し、番組の映像データの周波数成分に基づいて、観測値の映像成分を演算するようにすることができる。
【0021】
前記評価値演算手段は、ジングルデータの音響成分と観測値の音響成分を比較して音響評価値を演算し、ジングルデータの音声成分と観測値の音声成分を比較して音声評価値を演算し、ジングルデータの映像成分と観測値の映像成分を比較して映像評価値を演算し、音響評価値、音声評価値、および映像評価値に対してジングルデータに含まれる重みを付加し、重みが付加された音響評価値、音声評価値、および映像評価値に基づいて、近似評価値を演算するようにすることができる。
【0022】
前記抽出手段は、近似評価値とジングルデータに含まれる閾値を比較し、比較の結果に基づいて、ジングルを抽出するようにすることができる。
【0023】
前記構造化手段は、番組をコーナーに分割し、コーナーに分割された番組の構造に関する情報を表す構造化ファイルを作成するようにすることができる。
【0024】
前記構造化手段は、ユーザの指示に基づいて、構造化ファイルを変更するようにすることができる。
【0025】
前記構造化ファイルには、番組を構成するコーナーの名前を表す情報と、コーナーの開始位置および終了位置を特定するジングルの情報と、コーナーのキーワードを表す情報とが含まれるようにすることができる。
【0026】
前記キーワード抽出手段は、コーナーの映像データに含まれるテロップに表示される単語を認識するテロップ認識手段と、コーナーの音声データに含まれる単語を認識する音声認識手段と、テロップ認識手段により認識された単語と音声認識手段により認識された単語に対して、予め設定された重みを付加する重み付け手段とを備えるようにすることができる。
【0027】
本発明の記録方法は、ネットワークを介して情報処理装置と接続され、放送される番組を記録する記録装置の記録方法であって、情報処理装置から番組の区切点を表すジングルのジングルデータが付与された番組表データを取得し、ジングルデータが付与された番組表データに基づいて、番組の録画予約を設定する予約ステップと、放送される番組の映像または音声のデータを解析し、録画予約が設定された番組の区切点を特定するジングルを抽出する抽出ステップと、抽出されたジングルに基づいて、番組の録画を開始または終了する録画ステップと、抽出されたジングルに基づいて、録画された番組をコーナーに分割し、構造化する構造化ステップとを含み、構造化ステップの処理により構造化された番組をデータベースとして記憶することを特徴とする。
【0028】
本発明のプログラムは、ネットワークを介して情報処理装置と接続され、放送される番組を記録する記録装置のプログラムであって、情報処理装置から番組の区切点を表すジングルのジングルデータが付与された番組表データを取得し、ジングルデータが付与された番組表データに基づいて、番組の録画予約の設定を制御する予約制御ステップと、放送される番組の映像または音声のデータを解析し、録画予約が設定された番組の区切点を特定するジングルの抽出を制御する抽出制御ステップと、抽出されたジングルに基づいて、番組の録画の開始または終了を制御する録画制御ステップと、抽出されたジングルに基づいて、録画された番組をコーナーに分割し、構造化するように制御する構造化制御ステップとをコンピュータに実行させることを特徴とする。
【0029】
本発明の記録媒体は、ネットワークを介して情報処理装置と接続され、放送される番組を記録する記録装置のプログラムが記録される記録媒体であって、情報処理装置から番組の区切点を表すジングルのジングルデータが付与された番組表データを取得し、ジングルデータが付与された番組表データに基づいて、番組の録画予約の設定を制御する予約制御ステップと、放送される番組の映像または音声のデータを解析し、録画予約が設定された前記番組の区切点を特定するジングルの抽出を制御する抽出制御ステップと、抽出されたジングルに基づいて、番組の録画の開始または終了を制御するする録画制御ステップと、抽出されたジングルに基づいて、録画された番組をコーナーに分割し、構造化するように制御する構造化制御ステップとをコンピュータに実行させるプログラムが記録されることを特徴とする。
【0030】
本発明の記録装置および方法、並びにプログラムにおいては、情報処理装置から番組の区切点を表すジングルのジングルデータが付与された番組表データが取得され、ジングルデータが付与された番組表データに基づいて、番組の録画予約が設定され、放送される番組の映像または音声のデータが解析され、録画予約が設定された番組の区切点を特定するジングルが抽出され、抽出されたジングルに基づいて、番組の録画が開始または終了され、抽出されたジングルに基づいて、録画された番組がコーナーに分割され、構造化され、構造化された番組がデータベースとして記憶される。
【0031】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【0032】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【0033】
請求項1に記載のコンテンツ記録システムは、ネットワークを介して相互に接続される記録装置(例えば、図5の記録装置52)と情報処理装置(例えば、図5のサーバ51)からなるコンテンツ記録システム(例えば、図5のコンテンツ記録システム41)であって、前記情報処理装置は、放送された番組の映像または音声のデータと、番組の放送時刻を表す番組表データ(例えば、図5の番組表53)を取得し、前記映像または音声のデータと前記番組表データに基づいて、番組の区切点を表すジングルのジングルデータを作成し(例えば、図7のステップS31)、前記番組表データに前記ジングルデータを付与し(例えば、図7のステップS33)、前記ジングルデータが付与された番組表データ(例えば、図5のジングル付番組表73)を、前記ネットワークを介して前記記録装置に提供し、前記記録装置は、前記ジングルデータが付与された番組表データを取得し、前記ジングルデータが付与された番組表データに基づいて、番組の録画予約を設定し(例えば、図15のステップS94)、放送される番組の映像または音声のデータを解析し、録画予約が設定された前記番組のジングルを抽出し(例えば、図15のステップS95またはS96)、抽出されたジングルに基づいて、前記番組の録画を開始または終了し(例えば、図15のステップS135または図31のステップS155)、録画された前記番組を前記ジングルに基づいて、コーナーに分割し(例えば、図39のステップS203)、構造化してデータベースに記憶することを特徴とする。
【0034】
請求項3に記載の記録装置は、ネットワークを介して情報処理装置と接続され、放送される番組を記録する記録装置であって、前記情報処理装置から番組の区切点を表すジングルのジングルデータが付与された番組表データを取得し、前記ジングルデータが付与された番組表データに基づいて、番組の録画予約を設定する予約手段(例えば、図5の番組予約部91)と、放送される番組の映像または音声のデータを解析し、録画予約が設定された前記番組の区切点を表すジングルを抽出する抽出手段(例えば、図5のジングルモニタ部92)と、抽出されたジングルに基づいて、前記番組の録画を開始または終了する録画手段(例えば、図5の録画部93)と、抽出された前記ジングルに基づいて、録画された前記番組をコーナーに分割し、構造化する構造化手段(例えば、図38の構造化ファイル作成部801)と、前記構造化手段により構造化された前記番組をデータベースとして記憶する記憶手段(例えば、図5の記憶94)とを備えることを特徴とする。
【0035】
請求項4に記載の記録装置は、前記構造化手段により分割された前記コーナーのキーワードを抽出するキーワード抽出手段(例えば、図38のキーワード抽出部802)をさらに備え、前記記憶手段は、前記構造化手段により構造化された前記番組と、前記キーワード抽出手段により抽出された前記キーワードを対応づけてデータベースに記憶することを特徴とする。
【0036】
請求項5に記載の記録装置は、ユーザの指示に基づいて、前記データベースに記憶された前記番組または前記番組を構成するコーナーを検索し、検索された前記番組または前記番組を構成するコーナーを再生する再生手段(例えば、図5の再生部95)をさらに備えることを特徴とする。
【0037】
請求項8に記載の記録装置は、前記抽出手段が、前記番組の映像または音声のデータの特徴量を算出し、観測値を演算する観測値演算手段(例えば、図18の観測値演算部401)と、前記観測値演算手段により演算された観測値と、前記情報処理装置から取得されたジングルデータを比較し、前記観測値と前記ジングルデータの近似性を表す近似評価値を演算する評価値演算手段(例えば、図18の評価値演算部402)とを備えることを特徴とする。
【0038】
請求項12に記載の記録装置は、前記構造化手段が、前記番組をコーナーに分割し、コーナーに分割された番組の構造に関する情報を表す構造化ファイル(例えば、図42の番組内構造化定義ファイル921)を作成することを特徴とする。
【0039】
請求項15に記載の記録装置は、前記キーワード抽出手段が、前記コーナーの映像データに含まれるテロップに表示される単語を認識するテロップ認識手段(例えば、図51のテロップ認識部1112)と、前記コーナーの音声データに含まれる単語を認識する音声認識手段(例えば、図51の音声認識部1111)と、前記テロップ認識手段により認識された単語と前記音声認識手段により認識された単語に対して、予め設定された重みを付加する重み付け手段(例えば、図51の重み付加部1113、またはtf/idf部1114)とを備えることを特徴とする。
【0040】
請求項16に記載の記録方法は、ネットワークを介して情報処理装置と接続され、放送される番組を記録する記録装置の記録方法であって、前記情報処理装置から番組の区切点を表すジングルのジングルデータが付与された番組表データを取得し、前記ジングルデータが付与された番組表データに基づいて、番組の録画予約を設定する予約ステップ(例えば、図15のステップS94)と、放送される番組の映像または音声のデータを解析し、録画予約が設定された前記番組の区切点を特定するジングルを抽出する抽出ステップ(例えば、図15のステップS95またはS96、あるいは図39のステップS202または203)と、抽出されたジングルに基づいて、前記番組の録画を開始または終了する録画ステップ(例えば、図17のステップS135または図31のステップS155)と、抽出された前記ジングルに基づいて、録画された前記番組をコーナーに分割し、構造化する構造化ステップ(例えば、図39の番組構造化処理)とを含み、前記構造化ステップの処理により構造化された前記番組をデータベースとして記憶することを特徴とする。
【0041】
請求項17に記載のプログラムは、ネットワークを介して情報処理装置と接続され、放送される番組を記録する記録装置のプログラムであって、前記情報処理装置から番組の区切点を表すジングルのジングルデータが付与された番組表データを取得し、前記ジングルデータが付与された番組表データに基づいて、番組の録画予約の設定を制御する予約制御ステップ(例えば、図15のステップS94)と、放送される番組の映像または音声のデータを解析し、録画予約が設定された前記番組の区切点を特定するジングルの抽出を制御する抽出制御ステップ(例えば、図15のステップS95またはS96、あるいは図39のステップS202または203)と、抽出されたジングルに基づいて、前記番組の録画の開始または終了を制御する録画制御ステップ(例えば、図17のステップS135または図31のステップS155)と、抽出された前記ジングルに基づいて、録画された前記番組をコーナーに分割し、構造化するように制御する構造化制御ステップ(例えば、図39の番組構造化処理)とをコンピュータに実行させることを特徴とする。
【0042】
請求項18に記載の記録媒体は、ネットワークを介して情報処理装置と接続され、放送される番組を記録する記録装置のプログラムが記録される記録媒体であって、前記情報処理装置から番組の区切点を表すジングルのジングルデータが付与された番組表データを取得し、前記ジングルデータが付与された番組表データに基づいて、番組の録画予約の設定を制御する予約制御ステップ(例えば、図15のステップS94)と、放送される番組の映像または音声のデータを解析し、録画予約が設定された前記番組の区切点を特定するジングルの抽出を制御する抽出制御ステップ(例えば、図15のステップS95またはS96、あるいは図39のステップS202または203)と、抽出されたジングルに基づいて、前記番組の録画の開始または終了を制御するする録画制御ステップ(例えば、図17のステップS135または図31のステップS155)と、抽出された前記ジングルに基づいて、録画された前記番組をコーナーに分割し、構造化するように制御する構造化制御ステップ(例えば、図39の番組構造化処理)とをコンピュータに実行させるプログラムが記録されることを特徴とする。
【0043】
以下、図面を参照して、本発明の実施の形態について説明する。図5は、本発明を適用したコンテンツ記録システム41の構成例を示す図である。この構成例においては、インターネットなどに代表されるネットワーク55を介してサーバ51と記録装置52が接続されている。
【0044】
サーバ51には、ジングルデータを作成するジングル作成部74とジングル作成部74により作成されたジングルデータを蓄積するジングルDB72が設けられている。ジングルは、テレビ番組またはラジオ番組の中で、番組のオープニング、エンディング、または番組内のコーナーのオープニングで用いられる特定の画像または音楽フレーズ、あるいはマルチメディアコンテンツ内の情報を区切るために用いられる短い音楽やポーズである。
【0045】
また、番組表53を取得し、取得された番組表にジングルデータを付与して、ジングル付番組表73を作成するジングル付与部71が設けられており、ジングル付番組表73は、ネットワーク55を介して記録装置52に提供される。番組表53は、例えば、ネットワーク55を介して別のサーバから取得されるようにしてもよいし、オンエアされた放送が受信され、放送番組本体を構成する映像データおよび音声データと、この放送番組本体に付随するデータに分解され、後者に含まれるEPG(Electronic Program Guide)が番組表53として取得されるようにしてもよい。
【0046】
記録装置52には、ネットワーク55を介して、サーバ51からジングル付番組表73を取得し、取得されたジングル付番組表73に基づいて、ユーザによる番組の録画予約の設定を受け付ける番組予約部91が設けられている。また、受信された放送信号の中から所定のジングルを検出するジングルモニタ部92と受信された放送信号の中の所定の番組を録画する録画部93が設けられている。
【0047】
番組予約部91は、ジングル付番組表73に基づいて、ユーザに番組表を表示し、ユーザは記録すべき番組を指定する。放送局54により放送された放送信号は、記録装置52の図示せぬアンテナなどにより受信され、さらに、ジングルモニタ部92と録画部93に供給される。ジングルモニタ部92は、番組予約部91により録画予約が設定された番組の開始と終了を特定するジングルを検出し、録画部92は、ジングルモニタ部92により特定されたジングルに基づいて、放送信号をA/D変換し、番組データを録画する。
【0048】
さらに、録画部93により録画された番組のデータを記憶する記憶部94が設けられている。記憶部94は、例えば、HDD(Hard Disk Drive)などにより構成される。また、ユーザの指示に基づいて、記憶部94に記憶された所定の番組のデータを再生する再生部95が設けられている。
【0049】
図6は、図5のジングル作成部74の構成例を示すブロック図である。ジングル作成部74には、放送局54により放送された放送信号をA/D変換し、放送された番組のデータを蓄積する放送スプール部111、および取得された番組表のデータを蓄積する番組表スプール部113が設けられている。また、ジングルデータを作成する自動抽出部114と手動調整部112が設けられている。放送スプール部111および番組表スプール部113に蓄積された放送された番組のデータおよび番組表のデータは、自動抽出部114と手動調整部112にそれぞれ供給される。自動抽出部114と手動調整部112は、放送された番組のデータおよび番組表のデータに基づいて、ジングルデータを作成し、ジングルDB72に記憶させる。
【0050】
次に、図7を参照して、ジングル作成部74のジングルデータ作成処理について説明する。ステップS31において、自動抽出部114は、図8を参照して後述する自動抽出処理を実行する。ステップS32において、手動調整部112は、図9を参照して後述する手動調整処理を実行する。これにより、放送された番組のデータの中からジングルが特定され、ジンルデータとして記憶される。ステップS33において、ジングル付与部71は、記憶されたジングルデータを番組表53に付与し、ジングル付番組表73を生成する。
【0051】
次に、図8を参照して、図7のステップS31の自動抽出処理について説明する。ステップS51において、自動抽出部114は、既知ジングルを抽出する。このとき、放送された番組のデータのうち、既にジングルDB72に記憶されていたジングルデータに対応するジングルの部分が抽出される。ステップS52において、自動抽出部114は、ステップS51で抽出されたジングルの部分以外の領域を調査対象領域として設定する。
【0052】
ステップS53において、自動抽出部114は、調査対象領域に対する自己相関を行うことによりジングルを抽出する。ステップS54において、自動抽出部114は、ジングルが抽出されたか否かを判定し、ジングルが抽出されなかったと判定された場合、処理は終了される。
【0053】
一方、ステップS54において、ジングルが抽出されたと判定された場合、ステップS55に進みジングルの画像マスクを推定する。なお、画像マスクについては、図27を参照して後述する。ステップS56において、自動抽出部114は、ジングルデータを構成する成分の重みを推定し、ステップS57において閾値を推定する。なお、成分の重みと閾値については、図20を参照して後述する。
【0054】
ステップS58において、自動抽出部114は、ステップS53で抽出されたジングルのジングルデータを新規ジングルとしてジングルDB72に記憶する。このとき、図10に示されるようなジングルデータが記憶される。
【0055】
図10は、ジングルデータの構成例を示す図であり、ジングルデータには、ステップS57において推定された閾値201、そのジングルデータのデータ長を表す情報であるジングル長202が含まれている。また、そのジングルの音響成分204、音声成分205、および映像成分206、並びにステップS56において推定された各成分の重み203−1乃至203−3が含まれている。
【0056】
ステップS59において、自動抽出部114は、ステップ58において新規ジングルとして記憶されたジングルをステップS52において設定された調査対象領域から抽出し、ステップS52に戻り、それ以降の処理を繰り返し実行する。
【0057】
このようにして、ジングルが自動的に抽出される。
【0058】
次に、図9を参照して、図7のステップS32の手動抽出処理について説明する。この処理は、例えば、ユーザが、図示せぬモニタなどを用いて番組データを参照しながら実行される。
【0059】
ステップS71において、手動調整部112は、放送された番組のデータを再生し、モニタに表示させる。ステップS72において、手動調整部112は、ユーザから番組特定部位の指定を受け付け、その部位をジングルとして抽出する。ステップS73において、手動調整部112は、ジングルを認識するためのデータの指定を受け付ける。このとき例えば、ジングルの画像マスク、ジングルデータを構成する成分の重み、閾値などが指定され、ジングルデータが作成される。ステップS74において、手動調整部112は、番組特定ジングルパターンの入力を受け付ける。
【0060】
ここで、図11と図12を参照して、番組とジングルの関係について説明する。図11は、順番に放送された番組Aと番組Bを時間軸上に示した図である。図中格子模様で示された部分241と242、および図中斜線で示された部分243と244がジングルである。ジングル242とジングル243は、番組Aと番組Bに跨って存在するジングルであり、例えば、CMや番組案内などと考えられる。本発明においては、このようなジングルをスペーサジングルと称する。
【0061】
一方ジングル241は、番組Aの中だけに存在するジングルであり、ジングル244は、番組Bの中だけに存在するジングルであり、番組の中のコーナーのオープニングなどと考えられる。本発明においては、このようなジングルを番組内構造化識別用ジングルと称する。
【0062】
図12は、番組内構造化識別用ジングルの例を示す図である。図12は、シリーズとして放送される番組Cの第1回目223−1と第2回目223−2を時間軸上に示した図である。同図に示されるように、番組Cはジングル261とジングル262により区切られたコーナー、図中左側のジングル262と図中右側のジングル262により区切られたコーナー、ジングル262とジングル263により区切られたコーナー、およびジングル263とジングル264により区切られたコーナーの4つのコーナーに階層化されていることが分かる。なお、番組内構造化識別用ジングルには、ジングル262のように、1つの番組内で複数回使用されるものもある。
【0063】
図13は、番組の開始端を時間軸上に表した例を示す図である。図13Aは、その番組の開始を表す開始ジングル281が放送された後、番組が放送される例を示している。このような場合、番組を録画するとき、開始ジングル281以後を番組内容として認識する必要がある。
【0064】
図13Bは、開始ジングル281が放送される前に、番組の先頭部分301が放送される例を示している。このような場合、番組を録画するとき、番組の先頭部分301以後を番組内容として認識する必要がある。
【0065】
図13Cは、スペーサジングル282が放送された後、番組の先頭部分301が放送され、その後開始ジングル281が放送される例を示している。このような場合、番組を録画するとき、番組の先頭部分301以後を番組内容として認識する必要がある。
【0066】
図13Dは、スペーサジングル282が放送される前に、番組の先頭部分302が放送され、スペーサジングルが放送された後、番組の別の部分303が放送され、その後開始ジングル281が放送される例を示している。このような場合、番組を録画するとき、番組の先頭部分302以後を番組内容として認識する必要がある。
【0067】
図13Eは、番組スペーサジングル283が放送された後、番組の先頭部分304が放送され、その後再びスペーサジングル282が放送され、その後番組の別の部分305が放送され、その後開始ジングル281が放送される例を示している。このような場合、番組を録画するとき、番組の先頭部分304以後を番組内容として認識する必要がある。
【0068】
図14は、番組の終了端の例を示す図である。図14Aは、その番組の終了を表す終了ジングル321が放送され、番組が終了される例を示している。このような場合、番組を録画するとき、終了ジングル321以前を番組内容として認識する必要がある。
【0069】
図14Bは、終了ジングル321が放送された後、番組の最後の部分341が放送され、番組が終了される例を示している。このような場合、番組を録画するとき、番組の最後の部分341以前を番組内容として認識する必要がある。
【0070】
図14Cは、終了ジングル321が放送された後、番組の最後の部分341が放送され、その後スペーサジングル322が放送される例を示している。このような場合、番組を録画するとき、番組の最後の部分341以前を番組内容として認識する必要がある。
【0071】
図14Dは、終了ジングル321が放送された後、番組の一部分342が放送され、その後スペーサジングル322が放送され、その後番組の最後の部分343が放送され、番組が終了される例を示している。このような場合、番組を録画するとき、番組の最後の部分343以前を番組内容として認識する必要がある。
【0072】
図14Eは、終了ジングル321が放送された後、番組の一部分344が放送され、その後スペーサジングル322が放送され、その後番組の最後の部分345が放送され、その後スペーサジングル323が放送される例を示している。このような場合、番組を録画するとき、番組の最後の部分345以前を番組内容として認識する必要がある。
【0073】
図9のステップS74では、番組毎に、図13および図14に示されるような、番組の開始ジングルパターンおよび終了ジングルパターンが、その番組の番組特定ジングルパターンとして指定され、指定されたジングルパターンがジングルDB72に記憶される。
【0074】
このようにして、ジングルデータおよびジングルパターンが記憶される。
【0075】
次に、図15を参照して、記録装置52の番組記録処理について説明する。ステップS94において、番組予約部91は、図16を参照して後述する番組予約処理を実行する。これにより、録画すべき番組が指定される。
【0076】
ステップS95において、ジングルモニタ部92は、図17を参照して後述する開始ジングルパターンモニタ処理を実行する。これにより、番組の開始位置が特定され、番組の記録が開始される。ステップS96において、ジングルモニタ部92は、図31を参照して後述する終了ジングルパターンモニタ処理を実行する。これにより、番組の終了位置が特定され、番組の記録が終了される。
【0077】
ステップS97において、録画部93は、図33を参照して後述する保存部分特定処理を実行する。これにより、記録されたデータのうち不要な部分が削除され、保存すべき部分が特定され、録画予約された番組のデータとして記憶部94に記憶される。
【0078】
このようにして、番組が録画される。
【0079】
次に、図16を参照して、図15のステップS94の番組予約処理について説明する。ステップS111において、番組予約部91は、記録装置52の図示せぬモニタに番組表を表示する。ステップS112において、番組予約部91は、録画対象番組の指定を受け付ける。録画対象番組の指定は、例えば、ユーザが、表示された番組表に基づいて、記録装置52の図示せぬ入力部を操作することにより行われる。ステップS113において、番組予約部91は、ネットワーク55を介してサーバ51から録画対象番組として指定された番組を特定するジングルのジングルデータを取得する。
【0080】
このようにして、番組の録画予約が行われる。
【0081】
次に、図17を参照して、図15のステップS95の開始ジングルパターンモニタ処理について説明する。この処理は、ジングルモニタ部92により実行される。図18は、ジングルモニタ部92の詳細な構成例を示すブロック図である。この例では、放送信号の中からジングルを抽出し、抽出されたジングルの音声または映像の特徴量を表す観測値を演算する観測値演算部401が設けられている。
【0082】
また、観測値演算部401で演算された観測値と、ネットワーク55を介してサーバ51から取得されたジングルデータを比較し、観測値とジングルデータとの近似性を表す近似評価値を演算する評価値演算部402が設けられている。
【0083】
さらに、各部を制御する制御部403が設けられており、観測値演算部401、および評価値演算部402と、バス404を介して相互に接続されている。
【0084】
図17に戻って、ステップS131において、観測値演算部401は、放送信号の中からジングル指定部分を抽出し、観測値を演算する。このとき、観測値の演算は、次のようにして行われる。
【0085】
図19は、このときの処理の流れを示す図である。放送信号451の中から所定のジングル指定部分が抽出され、観測値演算部401の音響抽出部411と映像抽出部421に供給される。
【0086】
このとき、音響抽出部411は、放送信号の中の音声信号を抽出し、周波数フィルタ412に出力する。図21は、このとき出力される音声信号の例を示す図である。この例では、縦軸に出力、横軸に時間が示され、音声信号が波形として示されている。
【0087】
映像抽出部421は、放送信号の中の映像信号を抽出し、輝度分離部422に出力する。図26は、このとき出力される映像信号の例を示す図である。この映像信号は図26A乃至Cのフレームで構成され、図27に示される映像信号551の中の一部分552に対応する。
【0088】
図19に戻って、周波数フィルタ412は、入力された音声信号をバンドパスフィルタを通して音声域と、音声以外の音響域に分離し、音響域の信号を周波数スペクトル生成部413に出力し、音声域の信号を周波数スペクトル生成部414に出力する。図22は、このとき用いられるバンドパスフィルタの例を示す図である。この例においては、横軸に周波数が示され、縦軸に透過率が示されている。
【0089】
輝度分離部422は、映像信号の輝度情報に対して、例えば図27に示されるマスク553を作用させ、フレームセル生成部423に出力する。マスク553は、図中濃い色で表示されるマスク部分571と、図中白く表示される透過部分572により構成されている。
【0090】
図19に戻って、周波数スペクトル生成部413は、音響域の信号の周波数スペクトルに変換し、その周波数スペクトルをメッシュ分解して観測値の音響成分471を生成する。周波数スペクトル生成部414は、音声域の信号の周波数スペクトルに変換し、その周波数スペクトルをメッシュ分解して観測値の音声成分472を生成する。
【0091】
このとき、生成される周波数スペクトルの例を図23に示す。この例では、横軸に時間、縦軸に周波数が示され、周波数スペクトルが図中淡い色で表示されている。そして、図23に示される周波数スペクトルが図24に示されるように、所定の時間(t1,t2,t3,・・・tn)と、所定の周波数(f1,f2,f3,・・・fm)でメッシュ分解され、図25に示されるような観測値の音響成分(または音声成分)が生成される。図25は、観測値の音響成分(または音声成分)の構成例を示す図であり、時間t1,t2,・・・tnにおける周波数の値f1,f2,・・・fnが、データ数と時間または周波数の間隔を表す刻み幅とともに記述されている。
【0092】
図19に戻って、フレームセル生成部423は、輝度分離部422から出力された信号にDFT(Descreate Fourier Transform:離散フーリエ変換)を行い、図27に示されるような周波数成分573をフレーム単位に取得し、その周波数成分をメッシュ分解して観測値の映像成分473を生成する。このとき生成される観測値の映像成分の構成例を図28に示す。この例では、フレーム単位のメッシュ化された周波数成分573−1乃至573−nの値が、この映像信号のフレーム数、メッシュ分解するときに用いられた縦セル数、横セル数、および刻み幅とともに記述されている。また、図27のマスク553に関するマスク情報が記述されている。
【0093】
このようにして、観測値が演算される。
【0094】
図17に戻って、ステップS132において、評価値演算部402は、評価値を演算する。評価値の演算は次のようにして行われる。図20は、評価値演算部402の詳細な構成例を示すブロック図である。評価値演算部402の音響評価部431は、観測値502の音響成分471とジングルデータ501の音響成分491を比較し、音響成分の評価値を演算する。
【0095】
このとき、図29に示されるようにジングルデータの音響成分491の中から時間t1に対応する周波数成分(f1,f2,・・・fm)が抽出され、所定の重み(a1,a2,・・・am)で重み付けされてベクトルt1(a1・f1,a2・f2,・・・an・fm)が生成される。同様に観測値の音響成分471の時間r1に対応する周波数成分(f’1,f’2,・・・f’m)が抽出され、やはり所定の重み(a1,a2,・・・am)で重み付けされてベクトルr1(a1・f’1,a2・f’2,・・・an・f’m)が生成される。なお、図29では、ベクトルt1とr1が3次元のベクトルとして表示されているが実際には、m次元のベクトルとなる。
【0096】
同様に、ジングルデータの音響成分491の中から時間t2,t3,・・・tnに対応する周波数成分が抽出され、所定の重みで重み付けされ、ベクトルt2,t3,・・・tnが生成され、観測値の音響成分471の時間r2,r3,・・・rnに対応する周波数成分が抽出され、所定の重みで重み付けされ、ベクトルr2,r3,・・・rnが生成される。
【0097】
音響評価部431は、図29に示されるベクトルt1とr1がなす角度601、ベクトルt2とr2がなす角度、・・・ベクトルtnとrnがなす角度の総和を求めて音響成分の評価値を演算する。各ベクトル間の角度の総和は、次式により求められる。
【0098】
【数1】
【0099】
また、音響成分の評価値は、ベクトルt1とr1の距離602、ベクトルt2のr2距離、・・・ベクトルtnとrnの距離の総和により演算されるようにしてもよい。各ベクトル間の距離の総和は、次式により求められる。
【0100】
【数2】
【0101】
図20に戻って、音響評価部431は、音響成分の評価値に所定の重み(w1)を乗じて評価値決定部434に出力される。
【0102】
音声評価部432においても、音響評価部431と同様の処理が行われ、音声成分の評価値が求められ、音声成分の評価値に所定の重み(w2)が乗じられ評価値決定部434に出力される。
【0103】
映像評価部433は、観測値502の映像成分473とジングルデータ501の映像成分493を比較し、映像成分の評価値を演算する。このとき図30に示されるようにジングルデータの映像成分473の中からフレームt1に対応する周波数成分が抽出され、所定の重みで重み付けされてベクトルt1が生成される。同様に、観測値の映像成分473のフレームr1に対応する周波数成分が抽出され、やはり所定の重みで重み付けされてベクトルr1が生成される。この例ではベクトルt1とr1はそれぞれ12次元のベクトルとされる。なお、図30では、ベクトルt1とr1が3次元のベクトルとして表示されているが実際には、12次元のベクトルとなる。
【0104】
同様に、ジングルデータの映像成分493の中からフレームt2,t3,・・・tnに対応する周波数成分が抽出され、所定の重みで重み付けされ、ベクトルt2,t3,・・・tnが生成され、観測値の音響成分473のフレームr2,r3,・・・rnに対応する周波数成分が抽出され、所定の重みで重み付けされ、ベクトルr2,r3,・・・rnが生成される。
【0105】
映像評価部433は、図30に示されるベクトルt1とr1がなす角度621、ベクトルt2とr2がなす角度、・・・ベクトルtnとrnがなす角度の総和を求めて映像成分の評価値を演算する。また、映像成分の評価値は、ベクトルt1とr1の距離622、ベクトルt2のr2距離、・・・ベクトルtnとrnの距離の総和により演算されるようにしてもよい。
【0106】
図20に戻って、映像評価部433は、映像成分の評価値に所定の重み(w3)を乗じて、評価値決定部434に出力する。
【0107】
なお、上述した重みw1乃至w3は、ジングルデータに記述された重み(図10の203−1乃至203−3)に基づいて、決定される。
【0108】
評価値決定部434は、音響評価部431、音声評価部432、および映像評価部433の出力値を足し合わせて近似評価値を決定する。なお、近似評価値は、音響評価部431、音声評価部432、および映像評価部433の出力値の平均値として決定されるようにしてもよい。近似評価値は、小さいほど、観測値とジングルデータの近似性は高くなる。
【0109】
図17に戻って、ステップS133において、評価値演算部402は、近似評価値が閾値より小さいか否かを判定する。なお、閾値は、ジングルデータに記述された閾値(図10の201)に基づいて決定される。ステップS133において、近似評価値は閾値より小さいと判定された場合、ステップS134に進み、評価値演算部402は、制御部403に開始ジングル発見を通知する。そして、ステップS135において、制御部403は、録画部93に録画を開始させる。
【0110】
ステップS133において、近似評価値は閾値より小さくないと判定された場合、処理は、ステップS131に戻る。
【0111】
このようにして、録画が開始される。このようにすることで、録画の開始は、番組を特定するジングルを発見することにより開始されるようになるので、番組の放送日時が変更されても、例えば、放送開始時刻が番組表に記載の時刻と異なるように変更されても、所望の番組が記録されるようにすることができる。
【0112】
次に図31を参照して、図15のステップS96の終了ジングルパターンモニタ処理について説明する。ステップS151乃至S153の処理は、図17のステップS131乃至133の処理と同様の処理なので、詳細な説明は省略する。
【0113】
ステップS153において、近似評価値は閾値より小さいと判定された場合、ステップS154に進み、評価値演算部402は、制御部403に終了ジングル発見を通知する。そして、ステップS155において、制御部403は、録画部93に録画を終了させる。
【0114】
ステップS153において、近似評価値は閾値より小さくないと判定された場合、処理は、ステップS151に戻る。
【0115】
このようにして、録画が終了される。このようにすることで、録画の終了は、番組を特定するジングルを発見することにより終了されるようになるので、番組の放送日時が変更されても、例えば、放送終了時刻が番組表に記載の時刻と異なるように変更されても、所望の番組が記録されるようにすることができる。
【0116】
以上においては、番組の開始ジングルと終了ジングルに基づいて、番組の録画の開始と終了が行われる例について説明したが、図13と図14を参照して、上述した番組の開始パターンと番組の終了パターンに基づいて、番組の録画の開始と終了が行われるようにすることもできる。
【0117】
また、録画対象となる番組が、番組開始または終了を特定するためのジングルを持っていない場合も考えられる。この場合、録画対象となる番組に隣接する番組、すなわち録画対象となる番組と時間的に連続する番組の開始または終了を特定するジングルに基づいて、番組の録画を開始または終了させることができる。
【0118】
図32A乃至Cは、録画対象となる番組642、番組642の(時間的に)前番組641、および番組642の(時間的に)後番組643を時間軸上に表した例を示す図である。
【0119】
図32Aは、録画対象となる番組642に開始ジングル652が存在し、終了ジングルが存在せず、録画対象となる番組642の後番組643に開始ジングル653が存在する場合の例を示している。この場合、記録装置52は、番組642の開始ジングル652に基づいた、番組開始パターン672を特定し、録画開始位置640−1を設定し、番組643の開始ジングル653に基づいた、番組開始パターン673を特定し、記録終了位置640−2を設定する。
【0120】
図32Bは録画対象となる番組642に開始ジングル652が存在し、終了ジングルが存在せず、番組642の前番組641に終了ジングルが存在し、番組642の後番組643に開始ジングル653が存在する場合の例を示している。この場合、記録装置52は、番組641の終了ジングル651に基づく、番組終了パターン671を特定し、さらに番組642の開始ジングル652に基づいた、番組開始パターン672を特定し、録画開始位置640−1を設定する。このような場合、図32Aと比較して、より正確に番組の開始位置を設定することができる。記録終了位置640−2は図32Aの場合と同様に設定される。
【0121】
図32Cは録画対象となる番組642に開始ジングルと終了ジングルが存在しない場合の例を示している。この場合、記録装置52は、番組641の終了ジングル651に基づいた、番組終了パターン671を特定し、録画開始位置640−1を設定し、番組643の開始ジングル653に基づいた、番組開始パターン673を特定し、記録終了位置640−2を設定する。
【0122】
このようにすることで、録画対象となる番組に、番組の開始または終了を特定するジングルが存在しない場合であっても、所望の番組を正確に録画することができる。
【0123】
勿論、番組表に記載された時刻に基づいて記録開始位置と記録終了位置を設定することも可能である。
【0124】
次に図33を参照して、図15のステップS97の保存部分特定処理について説明する。ステップS171において、録画部93は、録画対象番組に、その番組を特定するジングルパターンがあるか否かを判定する。
【0125】
ステップS171において、録画対象番組に、その番組を特定するジングルパターンがあると判定された場合、ステップS172に進み、録画部93は、対象番組のジングルパターンを用いて番組の端処理、すなわち番組の開始点と終了点を、より正確に特定し、不要な部分を削除する処理を行う。
【0126】
このとき、例えば、ユーザが、記録装置52の図示せぬ入力部を操作して、図34に示されるような端処理コマンドが入力される。また、録画された番組が解析され、自動的に端処理コマンドが入力されるようにしてもよい。図34は、番組開始位置が、その番組の開始ジングル721の1つ前のスペーサジングルの後であり、その番組の終了位置が、その番組の終了ジングル722の1つ後のスペーサジングルの前であることを表している。
【0127】
図35は、端処理が行われる録画対象番組700、番組700の前番組701、および番組700の後番組702の構成を時間軸上に表す図である。図35Aには、録画対象番組700の開始ジングル721と終了ジングル722が示されている。前番組701には終了ジングル723と、複数のスペーサジングルで構成されるスペーサジングル群725が示されている。また、後番組702の開始ジングル724と、複数のスペーサジングルで構成されるスペーサジングル群726が示されている。
【0128】
例えば、記録装置52が、図17を参照して上述した開始ジングルパターンモニタ処理において、前番組701の終了ジングル723を検出することにより番組の記録を開始し、図31を参照して上述した終了ジングルパターンモニタ処理において、後番組702の開始ジングル724を検出することにより、番組の記録を終了していた場合、図35Bに示す記録範囲700−1が一旦、記憶部94に記憶される。
【0129】
しかし、図34を参照して上述したように、録画対象番組700の番組開始位置は、その番組の開始ジングル721の1つ前のスペーサジングルの後であり、番組の終了位置は、その番組の終了ジングル722の1つ後のスペーサジングルの前であるので、記録部93は、ジングルモニタ部92に、図35Cに示されるように、開始ジングル721の1つ前のスペーサジングル725−1と、終了ジングル722の1つ後のスペーサジングル726−1を検出させる。そして、図35Dに示した、記録範囲の先頭部分727と終了部分728は、不要部分として削除され、保存部分700−2が特定される。
【0130】
図33に戻って、ステップS171において、録画対象番組に、その番組を特定するジングルパターンがないと判定された場合、ステップS173に進み、録画部93は、対象番組の隣接番組のジングルパターンを用いて番組の端処理を行う。
【0131】
このとき、例えば、ユーザが、記録装置52の図示せぬ入力部を操作して、図36に示されるような端処理コマンドが入力される。また、録画された番組が解析され、自動的に端処理コマンドが入力されるようにしてもよい。図36は、図34と異なり、録画対象番組に、番組開始位置を表すジングルパターン、および番組終了位置を表すジングルパターンがないことを表している。
【0132】
図37は、端処理が行われる録画対象番組750、番組750の前番組751、および番組750の後番組752の構成を時間軸上に表す図である。図37Aにおいて、前番組751には終了ジングル771と、複数のスペーサジングルで構成されるスペーサジングル群773が示されている。また、後番組752の開始ジングル772と、複数のスペーサジングルで構成されるスペーサジングル群774が示されている。
【0133】
例えば、記録装置52が、図17を参照して上述した開始ジングルパターンモニタ処理において、前番組751の終了ジングル771を検出することにより番組の記録を開始し、図31を参照して上述した終了ジングルパターンモニタ処理において、後番組752の開始ジングル772を検出することにより、番組の記録を終了していた場合、図35Bに示す記録範囲750−1が一旦、記憶部94に記憶される。
【0134】
その後、記録部93は、ジングルモニタ部92に、図37Cに示されるように、前番組751の終了ジングル771の後のスペーサジングル群773の先頭のスペーサジングル773−1、および後番組開始ジングル772の前のスペーサジングル群774の最後のスペーサジングル774−1を検出させ、終了ジングル771とスペーサジングル773−1で挟まれた部分751−1を不要部分とし、開始ジングル772とスペーサジングル774−1で挟まれた部分(この場合は、開始ジングル772のみ)を不要部分とし、それぞれの不要部分を削除する。
【0135】
さらに、記録部93は、ジングルモニタ部92に、図37Dに示されるように、スペーサジングル群773の最後のスペーサジングル773−2、および後番組開始ジングル772の前のスペーサジングル群774の先頭のスペーサジングル774−2を検出させ、スペーサジングル群773と774を不要部分として削除する。そして、保存部分750−2が特定される。
【0136】
図33にもどって、ステップS174において、記録部93は、ステップS172またはS173において特定された保存部分を保存する。
【0137】
このようにして、録画された番組の保存部分が特定される。番組の開始位置と終了位置は、番組の開始ジングルまたは終了ジングルと、スペーサジングルを組み合わせて、特定され、不要な部分が削除されるので、所望の番組を正確に録画し保存することができる。さらに、録画対象番組にその番組を特定するジングルパターンがない場合でも、隣接する番組のジングルパターンを用いて、所望の番組を正確に録画し保存することができる。
【0138】
このように、記録装置52により録画(保存)された番組は、例えば、番組の放送日毎に分類され、記憶部94にデータベースとして記憶される。ユーザは、記録装置52の図示せぬ入力部を操作することにより、再生部95を制御して保存された番組を再生することができる。
【0139】
また、このようにして録画された番組は、番組構成するコーナーに分割され、構造化されて記憶される。図38は、録画部93の詳細な構成例を示すブロック図である。同図に示されるように、録画部93には、番組をコーナーに分割して、後述する構造化定義ファイルを作成する構造化ファイル作成部801が設けられている。
【0140】
また、コーナーを検索するときに用いられるキーワードを抽出するキーワード抽出部802が設けられている。
【0141】
さらに、各部を制御する制御部803が設けられており、構造化ファイル801、キーワード抽出部802、および制御部803は、バス804を介して相互に接続されている。
【0142】
次に、図39を参照して番組構造化処理について説明する。この処理は、例えばユーザにより、所定のコマンドが投入されたとき行われるようにしてもよいし、録画された番組が保存される都度、行われるようにしてもよい。あるいはまた、所定の周期(例えば、1日)毎に行われるようにしてもよい。
【0143】
ステップS201において、録画部93の構造化ファイル作成部801は、番組内構造化識別用ジングルを検出し、ステップS202において、スペーサジングルを検出する。
【0144】
図40は、構造化される番組(例えば、番組1)を時間軸上に示した図である。番組1には、番組内構造化識別用ジングル871乃至875およびスペーサジングル851乃至854が含まれている。また、ジングル851とジングル871の間に放送された番組1の一部分A、ジングル871とジングル852の間に放送された番組1の一部分B、およびジングル872とジングル873の間に放送された番組1の一部分Cが含まれている。さらに、ジングル853とジングル874の間に放送された番組1の一部分D、ジングル874とジングル875の間に放送された番組1の一部分E、およびジングル875とジングル852の間に放送された番組1の一部分Fが含まれている。
【0145】
なお、それぞれのジングルの位置、およびそのジングルの種類(番組内構造化識別用ジングルか、またはスペーサジングルか)が、ジングルモニタ部92により、図19乃至図30を参照して上述した方法と同じ方法で、予め検出されて、記憶されているものとする。
【0146】
スペーサジングル851は、番組1内で3回放送され、スペーサジングル852は、番組1内で2回放送され、スペーサジングル853と854は、番組1内でそれぞれ1回ずつ放送されている。ステップS201において、番組内構造化識別用ジングル871乃至875が検出され、ステップS202において、スペーサジングル851乃至852が検出される。
【0147】
ステップS203において、構造化ファイル作成部801は、番組を各コーナーに分割する。
【0148】
このとき番組1は、例えば、図41に示されるように分割される。図41において番組1は、ジャンル901、コーナー902、スポンサー903に分割されている。ジャンル901は、番組1が属するジャンル(例えば、「ニュース」、「バラエティ」など)を表す情報である。
【0149】
コーナー902は、番組1を構成するコーナーを表す情報であり、コーナー902の下部に、番組1を構成する各コーナーが階層化されて表示されており、この例では、番組1は、コーナーA乃至コーナーFにより構成されている。
【0150】
この例において、番組1の第1番目のコーナーであるコーナーAは、番組の先頭部分Aに対応している。また、番組1の第2番目のコーナーであるコーナーBは、番組内構造化用識別ジングル871と番組の一部分Bに対応している。さらに、また、番組1の第3番目のコーナーであるコーナーCは、番組内構造化用識別ジングル872、番組の一部分C、および番組内構造化識別用ジングル873に対応している。
【0151】
また、番組1の第4番目のコーナーであるコーナーDは、番組内構造化用識別番組の一部分Dに対応している。さらに、番組1の第5番目のコーナーであるコーナーEは、番組内構造化用識別ジングル874と番組の一部分Eに対応している。また、番組1の第6番目のコーナーであるコーナーFは、番組内構造化用識別ジングル875と番組の一部分Fに対応している。
【0152】
スポンサー903は、番組1内で放送されるスペーサジングル(CM)の種類の一覧を表す情報であり、この例では、スペーサジングル851乃至854に対応するCMのスポンサーが表示されている。
【0153】
図39に戻って、ステップS204において、構造化ファイル作成部801は、番組内構造化定義ファイルを作成する。
【0154】
図42は、このとき作成される番組内構造化定義ファイルの構成例を示す図である。
【0155】
図42の最初の行931には、「<program name>“番組1”」と記述されている。これは、この番組内構造化定義ファイルが、番組1の番組内構造化定義ファイルであることを表す。また、第2番目の行931には「<genre>ニュース」と記述されている。これは、番組1がジャンル「ニュース」に属することを表す。第3番目の行932には「<schedule name=”2nd” start=”2003/1/23 16:00 end=”2003/1/23 17:00>」と記述されている。これは、番組1がシリーズで放送される番組の中の第2回目であり、放送開始日時が、西暦2003年1月23日16時00分であり、放送終了日時が、西暦2003年1月23日17時00分であることを表している。
【0156】
第4番目の行933には、「<pattern start=”SPC/jingle871 end=”jingle875/SPC”/>」と記述されている。これは、番組1の開始パターンが、スペーサジングルとジングル871に基づく開始パターンであり、番組1の終了パターンがジングル875とスペーサジングルに基づく終了パターンであることを表す。
【0157】
第5番目の行950には、「<corner name=”コーナーA”>」と記述されており、第9番目の行954には、「</corner>」と記述されている。これは、行950乃至954が、番組1内のコーナーAに関する記述であることを表す。第6番目の行951には、「<pattern start=”BIGIN” end=”jingle871│exclude”/>」と記述されている。これは、コーナーAの開始位置は、番組の開始位置と等しく、コーナーAの終了位置はジングル871の前(ジングル871を含まない)の部分であることを表す。
【0158】
第7番目の行952には、「<keyword weight=”1”>***</keyword>」と記述されており、第8番目の行953には、「<keyword weight=”2”>@@</keyword>」と記述されている。これは、コーナーAのキーワード「***」に対する重みが1であり、キーワード「@@」に対する重みが2であることを表す。なお、キーワードの抽出処理については、図50を参照して後述する。
【0159】
同様に、コーナB乃至コーナーFに関する記述970乃至974が記述されている。なお、コーナーA乃至コーナーFに関する記述は、図41のコーナー902に対応する。
【0160】
コーナーFに関する記述974の後の行991には、「<sponser>」と記述されており、最後から2番目の行992には「<//sponser>」と記述されている。これは、行991と992の間にスポンサーに関する記述があることを表す。なお、この記述は、図41のスポンサー903に対応する。
【0161】
最後の行993には、「</program>」と記述されており、これは、番組1の番組内構造化定義ファイルの終了を表す。
【0162】
このようにして、番組が、各コーナーに分割され、番組内構造化定義ファイルが作成され、記録された番組のデータに関連付けられて記憶部94に記憶される。このようにすることで、番組内の所望のコーナーを簡単に抽出することができる。
【0163】
このように、記録装置52により録画(保存)された番組は、例えば、番組の放送日毎に分類され、記憶部94にデータベースとして記憶される。ユーザは、記録装置52の図示せぬ入力部を操作することにより、再生部95を制御して保存された番組を再生することができる。
【0164】
このとき、番組を再生するためのGUI(Graphical User Interface)として、例えば、記録装置52に接続されるテレビジョン受像機のモニタに図43に示されるような画面が表示される。図43右側には、記憶部94に保存されている番組を日付毎に一覧表示する番組履歴表示部1000が表示されている。ユーザは、番組履歴表示部1000に示された日付の中から所望の日付を選択し、所定のコマンドを投入することにより番組を再生する。このとき、選択された日付において録画された番組の一覧が階層化されて表示されるようにしてもよい。
【0165】
再生が指示された番組は、番組表示部1003に表示される。また、ボタン1001または1002を操作することにより、番組を早送りしたり、巻き戻したりすることができる。
【0166】
また、番組内構造化定義ファイルの情報を用いて、番組の情報を階層化して表示することもできる。図44乃至図46は、この場合の表示例を示す図である。図44の右側には、ジャンル別に番組を表示するジャンル別表示部1021が表示されている。ジャンル別表示部1021には、所定のジャンル(例えば、「ニュース」)が指定された場合、その番組の番組内構造化定義ファイルにおいてジャンルを表す情報(図42の931)として「ニュース」と記述された番組が一覧表示される。
【0167】
図44に示される表示画面において、ジャンル別表示部1021の中の番組11021−1が選択された場合、図45に示されるような画面が表示される。図45の右側には、番組の構造を表示する構造表示部1041が表示されている。この例においては、番組1のジャンル1041−1、番組1を構成するコーナーA1041−2乃至コーナーF1041−7が表示されている。また、コーナーの履歴を表示されるとき選択される履歴1041−8、および番組のスポンサーを表示させるとき選択されるスポンサー1041−9が表示されている。
【0168】
ユーザは、スキップボタン1001または1002を押下することによりコーナーを番組表示部1003に表示させる。例えば、コーナーAを再生中にスキップボタン1002が1回押下されると、再生される映像(または音声)は、コーナーBの開始位置にスキップされる。また、コーナーFを再生中にスキップボタン1001が1回押下されると、再生される映像(または音声)は、コーナーFの開始位置にスキップされる。
【0169】
このようにして、ユーザは、番組内の所望コーナーを素早く再生することができる。
【0170】
また、図45に示される構造表示部1041のコーナーB1041−3が選択された状態において、履歴1041−8が選択されると、図46に示されるような画面が表示される。図46の右側には、コーナーの履歴を表示するコーナー履歴表示部1061が表示されている。この例では、コーナーBの履歴が表示されており、西暦2003年1月8日に放送された番組1におけるコーナーB、2003年1月15日に放送された番組1におけるコーナーB、および2003年1月22日に放送された番組1におけるコーナーBが再生可能な履歴として表示されている。
【0171】
ユーザは、コーナー履歴表示部1061が表示された履歴の中から所望の日付を選択し、再生ボタン1003を押下することにより、その映像(または音声)を再生する。
【0172】
また、例えば、番組内構造化定義ファイルを変更して、番組内の構造を変更することも可能である。図47は、図41と同様に、番組1がコーナーに分割された例を示す図であるが、図47において、コーナー902は、「オープニング」、「ニュース」、「料理」、「音楽」、「スポーツ」、および「エンディング」の各コーナーで構成されている。ジャンル901およびスポンサー903は、図41と同じである。
【0173】
この例において、番組1の第1番目のコーナーである「オープニング」は、番組の先頭部分A、番組内構造化用識別ジングル871、および番組1の一部分Bに対応しており、図41のコーナーAとコーナーBが接続されたものである。
【0174】
また、番組1の第2番目のコーナーである「ニュース」は、番組内構造化用識別ジングル872と番組の一部分Cに対応しており、番組1の第3番目のコーナーである「料理」は、番組内構造化用識別ジングル873対応している。これは、図41のコーナーCを2つのコーナーに分けたものである。
【0175】
また、番組1の第4番目のコーナーである「音楽」、第5番目のコーナー「スポーツ」、および第6番目のコーナー「エンディング」は、それぞれ、図41のコーナーD乃至コーナーEと同じである。
【0176】
この場合、図42に示した番組内構造化定義ファイルは、図48に示されるように変更される。すなわち、コーナーの名前を示す記述「<corner name= >」の部分にそれぞれのコーナー名(「オープニング」、「ニュース」、「料理」、・・・)が記述される。また、コーナー「オープニング」は、コーナーAとコーナーBが接続されたものなので、図42に示したコーナーAに関する記述950乃至954とコーナーBに関する記述970が、図48において行950−1乃至955−1のように変更される。
【0177】
行951−1には、「<pattern start=”BIGIN” end=”jingle872│exclude”/>」と記述され、コーナーAの開始位置とコーナーBの終了位置がコーナー「オープニング」の開始位置と終了位置とされている。また、行952−1乃至954−1には、「<keyword weight=”1”>***</keyword>」、「<keyword weight=”2”>@@</keyword>」、「<keyword weight=”2”>ooo</keyword>」と記述され、コーナーAのキーワードとコーナーBのキーワードが、コーナー「オープニング」のキーワードとされている。
【0178】
また、コーナー「ニュース」とコーナー「料理」は、図42に示したコーナーCが2つのコーナーに分けられたものであるので、図42のコーナーCに関する記述971が、図48のコーナー「ニュース」に関する記述970−1とコーナー「料理」に関する記述971−1の2つに分けられている。コーナー「音楽」に関する記述972−1、コーナー「スポーツ」に関する記述973−1、およびコーナー「エンディング」に関する記述974−1は、それぞれ、図42のコーナーDに関する記述972乃至コーナーFに関する記述974と同じである。
【0179】
スポンサーに関する記述991−1および992−1、並びに番組内構造化定義ファイルの終了を表す記述993−1についても、図42の記述991乃至993と同じである。
【0180】
このように、番組の構造が変更された場合、その番組を再生するとき表示される画面も変更される。例えば、図45に示される表示画面は、図49に示されるように変更される。図49には、図中右側の構造表示部1041に、図45のコーナーA乃至コーナーFに代わって、「オープニング」、「ニュース」、「料理」、「音楽」、「スポーツ」、および「エンディング」が表示されている。
【0181】
このようにして、構造化されて記憶される番組のコーナーには、そのコーナーを検索するとき用いられるキーワードが付与される。図50を参照してキーワード抽出処理について説明する。
【0182】
ステップS221において、記録部93のキーワード抽出部802は、番組コーナーのデータを再生する。ステップS222において、キーワード抽出部802は、音声認識を行い、ステップS223において、テロップ認識を行う。ステップS224において、キーワード抽出部802は、重み付け処理を行い、ステップS225において、キーワードを抽出する。
【0183】
図51を参照して、キーワード抽出処理について、さらに詳細に説明する。図51は、キーワード抽出部802の詳細な構成例を示すブロック図である。ステップS221で再生されたデータは、音声データの音声認識を行う音声認識部1111、および映像データのテロップ認識を行うテロップ認識部1112に供給され、ステップS222において、音声認識が行われ、所定の単語が抽出され、重み付加部1113に入力される。ステップS223において、テロップ認識が行われ、所定の単語が抽出され、重み付加部1113に入力される。また、番組内構造化定義ファイルから抽出されたコーナーの名前を現す情報も重み付加部1113に入力される。
【0184】
ステップS224において、重み付加部1113により、音声認識の結果抽出された単語に重みw1が乗じられ、テロップ認識の結果抽出された単語に重みw2が乗じられ、番組内構造化定義ファイルから抽出されたコーナーの名前を現す情報に重みw3が乗じられ、tf/idf部1114に出力される。さらに、tf/idf部1114により、tf/idf(Term Frequency/Inverse Document Frequency)による重み付けが行われる。このとき、例えば、前文検索におけるキーワードの重み付けが行われる。そして、ステップS225において、重み付けされたキーワードが抽出される。
【0185】
このようにして、番組のコーナーを検索するとき用いられるキーワードが抽出される。
【0186】
図52と図53を参照して、番組内のコーナーを検索する処理について説明する。図52は、番組を階層化表示させ、目的の番組コーナーを表示させる例を示す図である。この例では、図中左側にジャンルの一覧を表示するジャンル表示部1151が表示されており、その中の「ニュース」が選択されている。図中中央には、番組表示部1171が表示されており、そのジャンルが「ニュース」に属する番組の一覧が表示されている。
【0187】
図中右側には、選択された番組に含まれるコーナーの一覧を表示するコーナー表示部1191が表示されており、番組表示部1171の中で選択された番組に含まれるコーナーの一覧が表示されている。
【0188】
このようにして、ユーザは所望のコーナーを検索することができる。
【0189】
図53は、キーワードを用いて番組内のコーナーを検索し、表示させる例を示す図である。図中中央には、キーワードを入力するボックス1411が表示されており、ユーザは、検索したいキーワードをボックス1411に入力する。
【0190】
また、図中右側上部には、チェックボックス1611−1乃至1611−3が表示されている。ユーザは、検索したい情報、例えば、ジャンル名、番組名、またはコーナー名をチェックする。この例では、コーナー名がチェックされている。
【0191】
ボックス1411にキーワードを入力し、チェックボックス1611−1乃至1611−3のいずれかをチェックした状態で、検索ボタン1412が押下されると、検索結果が、結果表示部1413に表示される。このとき、ボックス1411に入力されたキーワードと、図50を参照して上述した処理により抽出されたキーワードが比較され、キーワードが一致したコーナーが、結果表示部1413に表示される。
【0192】
このようにして、ユーザは、キーワードを用いて所望の番組コーナーを検索することができる。
【0193】
以上においては、ジングルに基づいて、番組をコーナーに分割し、構造化して記憶する例について説明したが、ジングルに基づいて、コーナーをさらに細かく分割し、構造化して記憶することも可能である。
【0194】
図54は、このとき分割されるコーナー(例えば、コーナーA)の構成例を示す図である。この例では、コーナーAには、コーナーの開始ジングル2001、およびスペーサジングル2021乃至2023が含まれている。
【0195】
この場合、図39を参照して上述した番組構造化処理と同様の処理により、コーナーAは、開始ジングル2001とスペーサジングル2021で挟まれるパート(パートA)、スペーサジングル2021とスペーサジングル2022で挟まれるパート(パートB)、スペーサジングル2022とスペーサジングル2023で挟まれるパート(パートC)、およびスペーサジングル2023からコーナー終了までのパート(パートD)の4つのパートに分割され、番組内構造化定義ファイルに記述される。
【0196】
なお、上述した一連の処理をハードウェアで実現するか、ソフトウェアで実現するかは問わない。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図55に示されるような汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【0197】
図55において、CPU(Central Processing Unit)2101は、ROM(Read Only Memory)2102に記憶されているプログラム、または記憶部2108からRAM(Random Access Memory)2103にロードされたプログラムに従って各種の処理を実行する。RAM2103にはまた、CPU2101が各種の処理を実行する上において必要なデータなども適宜記憶される。
【0198】
CPU2101、ROM2102、およびRAM2103は、バス2104を介して相互に接続されている。このバス2104にはまた、入出力インタフェース2105も接続されている。
【0199】
入出力インタフェース2105には、キーボード、マウスなどよりなる入力部2106、CRT(Cathode Ray Tube)、LCD(Liquid Crystal display)などよりなるディスプレイ(表示部)、並びにスピーカなどよりなる出力部2107、ハードディスクなどより構成される記憶部2108、モデム、ターミナルアダプタなどより構成される通信部2109が接続されている。通信部2109は、インターネットなどのネットワークを介しての通信処理を行う。
【0200】
入出力インタフェース2105にはまた、必要に応じてドライブ2110が接続され、ドライブ2110には、本発明のプログラムが記録された記録媒体として、例えば、リムーバブルメディア2111が装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部2108にインストールされる。
【0201】
なお、本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【0202】
【発明の効果】
以上の如く本発明によれば、録画された番組の中から所望のコーナーを簡単に検索し、再生できるようにすることができる。
【図面の簡単な説明】
【図1】番組表の構成例を示す図である。
【図2】従来の記録装置において設定される情報の例を示す図である。
【図3】放送される番組のコーナーの例を示す図である。
【図4】従来の番組内のコーナーの識別方法の例を示す図である。
【図5】本発明の番組記録システムの構成例を示すブロック図である。
【図6】図5のジングル作成部の構成例を示すブロック図である。
【図7】ジングルデータ作成処理を説明するフローチャートである。
【図8】自動抽出処理を説明するフローチャートである。
【図9】手動抽出処理を説明するフローチャートである。
【図10】ジングルデータの構成例を示す図である。
【図11】番組とジングルの関係を示す図である。
【図12】番組内のジングルの構成例を示す図である。
【図13】番組の開始端の例を示す図である。
【図14】番組の終了端の例を示す図である。
【図15】番組録画処理を説明するフローチャートである。
【図16】番組予約処理を説明するフローチャートである。
【図17】開始ジングルパターンモニタ処理を説明するフローチャートである。
【図18】図5のジングルモニタ部の構成例を示すブロック図である。
【図19】図18の観測値演算部の構成例を示すブロック図である。
【図20】図18の評価値演算部の構成例を示すブロック図である。
【図21】ジングルの音声信号の波形の例を示す図である。
【図22】バンドパスフィルタにおける周波数と透過率の関係を示す図である。
【図23】周波数スペクトルに分解された音声信号の例を示す図である。
【図24】図23の周波数スペクトルスペクトルをメッシュ分解した例を示す図である。
【図25】観測値の音響成分または音声成分の構成例を示す図である。
【図26】ジングルの映像の例を示す図である。
【図27】図26の映像に作用させるマスクの例、および図26の映像を周波数成分に分解した例を示す図である。
【図28】観測値の映像成分の構成例を示す図である。
【図29】観測値とジングルデータの音響成分または音声成分をベクトル化する例を示す図である。
【図30】観測値とジングルデータの映像成分をベクトル化する例を示す図である。
【図31】終了ジングルパターンモニタ処理を説明するフローチャートである。
【図32】番組の記録開始位置と記録終了位置の例を示す図である。
【図33】保存部分特定処理を説明するフローチャートである。
【図34】番組開始位置と番組終了位置を指定するコマンドの例を示す図である。
【図35】録画対象番組の開始ジングルパターンと終了ジングルパターンを用いて番組の端処理を行う例を示す図である。
【図36】番組開始位置と番組終了位置を指定するコマンドの例を示す図である。
【図37】録画対象番組に隣接する番組の開始ジングルパターンと終了ジングルパターンを用いて番組の端処理を行う例を示す図である。
【図38】図5の記録部の構成例を示すブロック図である。
【図39】番組構造化処理を説明するフローチャートである。
【図40】番組内のコーナーとジングルの関係を示す図である
【図41】番組をコーナーに分割する例を示す図である。
【図42】番組内構造化定義ファイルの構成例を示す図である。
【図43】録画した番組を再生するとき表示される画面の表示例を示す図である。
【図44】録画した番組をジャンル別に表示する画面の表示例を示す図である。
【図45】録画した番組内のコーナーを表示する画面の表示例を示す図である。
【図46】録画した番組のコーナーの履歴を表示する画面の表示例を示す図である。
【図47】図41のコーナーを変更する例を示す図である。
【図48】図42の番組内構造化定義ファイルの変更例を示す図である。
【図49】録画した番組のコーナーを表示する画面の他の表示例を示す図である。
【図50】番組コーナーキーワード抽出処理を説明するフローチャートである。
【図51】図38のキーワード抽出部の構成例を示すブロック図である。
【図52】録画した番組内のコーナーを検索するとき表示される画面の表示例を示す図である。
【図53】録画した番組を、キーワードを用いて検索するとき表示される画面の表示例を示す図である。
【図54】コーナーを構成するパートの例を示す図である。
【図55】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
51 サーバ, 52 記録装置, 71 ジングル付与部, 72 ジングルDB, 74 ジングル作成部, 91 番組予約部, 92 ジングルモニタ部, 93 録画部, 94 記憶部, 95 再生部, 114 自動抽出部, 112 手動抽出部, 401 観測値演算部, 402 評価値演算部, 403 制御部, 801 構造化ファイル作成部, 802 キーワード抽出部, 803 制御部
【発明の属する技術分野】
本発明は、コンテンツ記録システムおよび方法、記録装置および方法、プログラム、並びに記録媒体に関し、特に、録画された番組の中から所望のコーナーを簡単に検索し、再生できるようにするコンテンツ記録システムおよび方法、記録装置および方法、プログラム、並びに記録媒体に関する。
【0002】
【従来の技術】
従来、テレビ番組(コンテンツ)などの録画を行う場合、放送局から提供される番組表を用いて、所望の番組の放送開始時刻と放送終了時刻を調査して、記録装置に記録開始時刻と記録終了時刻を指定することにより記録を行っていた。
【0003】
図1は、番組表の構成例を示す図である。図1に示されるように、番組表は、番組が放送される日付を表す情報21、番組が放送される放送局(チャネル)を現す情報11、番組の放送開始時刻を表す情報14、および番組タイトルを表す情報13により構成されている。
【0004】
例えば、番組13を録画するとき、ユーザは、図2に示されるような記録予約情報を作成し、記録装置にセットする。図2には、番組13が放送されるチャネルを表す情報11、記録開始時刻を表す情報14、および記録終了時刻を表す情報15が設定されている。このようにすることで、2003年1月23日(木曜日)の16時から17時に放送された番組13が記録される。
【0005】
図3は、番組13を時間軸上に示した図である。図3に示されるように番組13はA乃至Dの4つのコーナーにより構成されている。図4に番組をコーナーに分割する例を示す。
【0006】
番組13の映像データ31において、コーナーを特定するテロップ34−1と34−2が抽出され、テロップ認識が行われ、所定のキーワード36−2が検出された場合、そのテロップがコーナーCの開始点35−3、およびコーナーDの開始点35−4とされる。同様に、番組13の音声データ31において、コーナーを特定する音声フレーズ33−1と33−2が抽出され、音声認識が行われ、所定のキーワード36−1が検出された場合、その音声フレーズがコーナーAの開始点35−1またはコーナーBの開始点35−2とされる。
【0007】
また、出願人は、番組内で放送される特定の音声または映像のパターンをマッチングし、番組を自動録画する技術を提案した(例えば、特許文献1参照)。
【0008】
【特許文献1】
特開平6−111416号公報
【0009】
【発明が解決しようとする課題】
しかしながら、従来の技術では、所定の音声または映像のパターンが頻繁に検出される番組においては、コーナーを特定することが困難であるという課題があった。
【0010】
本発明はこのような状況に鑑みてなされたものであり、録画された番組の中から所望のコーナーを簡単に検索し、再生できるようにするものである。
【0011】
【課題を解決するための手段】
本発明のコンテンツ記録システムは、ネットワークを介して相互に接続される記録装置と情報処理装置からなるコンテンツ記録システムであって、情報処理装置は、放送された番組の映像または音声のデータと、番組の放送時刻を表す番組表データを取得し、映像または音声のデータと番組表データに基づいて、番組の区切点を表すジングルのジングルデータを作成し、番組表データにジングルデータを付与し、ジングルデータが付与された番組表データを、ネットワークを介して記録装置に提供し、記録装置は、ジングルデータが付与された番組表データを取得し、ジングルデータが付与された番組表データに基づいて、番組の録画予約を設定し、放送される番組の映像または音声のデータを解析し、録画予約が設定された番組のジングルを抽出し、抽出されたジングルに基づいて、番組の録画を開始または終了し、録画された番組をコーナーに分割し、構造化してデータベースに記憶することを特徴とする。
【0012】
本発明のコンテンツ記録方法は、ネットワークを介して相互に接続される記録装置と情報処理装置からなるコンテンツ記録システムのコンテンツ記録方法であって、情報処理装置は、放送された番組の映像または音声のデータと、番組の放送時刻を表す番組表データを取得し、映像または音声のデータと番組表データに基づいて、番組の区切点を表すジングルのジングルデータを作成し、番組表データにジングルデータを付与し、ジングルデータが付与された番組表データを、ネットワークを介して前記記録装置に提供し、記録装置は、ジングルデータが付与された番組表データを取得し、ジングルデータが付与された番組表データに基づいて、番組の録画予約を設定し、放送される番組の映像または音声のデータを解析し、録画予約が設定された番組のジングルを抽出し、抽出されたジングルに基づいて、番組の録画を開始または終了し、録画された番組をコーナーに分割し、構造化してデータベースに記憶することを特徴とする。
【0013】
本発明のコンテンツ記録システムおよび方法においては、情報処理装置により、放送された番組の映像または音声のデータと、番組の放送時刻を表す番組表データが取得され、映像または音声のデータと番組表データに基づいて、番組の区切点を表すジングルのジングルデータが作成され、番組表データにジングルデータが付与され、ジングルデータが付与された番組表データが、ネットワークを介して前記記録装置に提供される。また、記録装置により、ジングルデータが付与された番組表データが取得され、ジングルデータが付与された番組表データに基づいて、番組の録画予約が設定され、放送される番組の映像または音声のデータが解析され、録画予約が設定された番組のジングルが抽出され、抽出されたジングルに基づいて、番組の録画が開始または終了され、録画された番組がコーナーに分割され、構造化してデータベースに記憶される。
【0014】
本発明の記録装置は、ネットワークを介して情報処理装置と接続され、放送される番組を記録する記録装置であって、情報処理装置から番組の区切点を表すジングルのジングルデータが付与された番組表データを取得し、ジングルデータが付与された番組表データに基づいて、番組の録画予約を設定する予約手段と、放送される番組の映像または音声のデータを解析し、録画予約が設定された番組の区切点を表すジングルを抽出する抽出手段と、抽出されたジングルに基づいて、番組の録画を開始または終了する録画手段と、抽出されたジングルに基づいて、録画された番組をコーナーに分割し、構造化する構造化手段と、構造化手段により構造化された番組をデータベースとして記憶する記憶手段とを備えることを特徴とする。
【0015】
前記構造化手段により分割されたコーナーのキーワードを抽出するキーワード抽出手段をさらに備え、記憶手段は、構造化手段により構造化された番組と、キーワード抽出手段により抽出されたキーワードを対応づけてデータベースに記憶するようにすることができる。
【0016】
ユーザの指示に基づいて、データベースに記憶された番組または番組を構成するコーナーを検索し、検索された番組または番組を構成するコーナーを再生する再生手段をさらに備えるようにすることができる。
【0017】
前記ジングルデータは、ジングルの音声データの特徴を表す、音響成分および音声成分と、ジングルの映像データの特徴を表す、映像成分と、音響成分、音声成分、および映像成分の重要度を表す重み情報と、音響成分、音声成分、および映像成分に基づいて、ジングルを特定するために必要な閾値とを有するようにすることができる。
【0018】
音響成分および音声成分は、ジングルの音声データの周波数成分に基づいて生成され、映像成分は、ジングルの映像データの周波数成分に基づいて生成されるようにすることができる。
【0019】
前記抽出手段は、番組の映像または音声のデータの特徴量を算出し、観測値を演算する観測値演算手段と、観測値演算手段により演算された観測値と、情報処理装置から取得されたジングルデータを比較し、観測値とジングルデータの近似性を表す近似評価値を演算する評価値演算手段とを備えるようにすることができる。
【0020】
前記観測値演算手段は、番組の音声データの周波数成分に基づいて、観測値の音響成分と音声成分を演算し、番組の映像データの周波数成分に基づいて、観測値の映像成分を演算するようにすることができる。
【0021】
前記評価値演算手段は、ジングルデータの音響成分と観測値の音響成分を比較して音響評価値を演算し、ジングルデータの音声成分と観測値の音声成分を比較して音声評価値を演算し、ジングルデータの映像成分と観測値の映像成分を比較して映像評価値を演算し、音響評価値、音声評価値、および映像評価値に対してジングルデータに含まれる重みを付加し、重みが付加された音響評価値、音声評価値、および映像評価値に基づいて、近似評価値を演算するようにすることができる。
【0022】
前記抽出手段は、近似評価値とジングルデータに含まれる閾値を比較し、比較の結果に基づいて、ジングルを抽出するようにすることができる。
【0023】
前記構造化手段は、番組をコーナーに分割し、コーナーに分割された番組の構造に関する情報を表す構造化ファイルを作成するようにすることができる。
【0024】
前記構造化手段は、ユーザの指示に基づいて、構造化ファイルを変更するようにすることができる。
【0025】
前記構造化ファイルには、番組を構成するコーナーの名前を表す情報と、コーナーの開始位置および終了位置を特定するジングルの情報と、コーナーのキーワードを表す情報とが含まれるようにすることができる。
【0026】
前記キーワード抽出手段は、コーナーの映像データに含まれるテロップに表示される単語を認識するテロップ認識手段と、コーナーの音声データに含まれる単語を認識する音声認識手段と、テロップ認識手段により認識された単語と音声認識手段により認識された単語に対して、予め設定された重みを付加する重み付け手段とを備えるようにすることができる。
【0027】
本発明の記録方法は、ネットワークを介して情報処理装置と接続され、放送される番組を記録する記録装置の記録方法であって、情報処理装置から番組の区切点を表すジングルのジングルデータが付与された番組表データを取得し、ジングルデータが付与された番組表データに基づいて、番組の録画予約を設定する予約ステップと、放送される番組の映像または音声のデータを解析し、録画予約が設定された番組の区切点を特定するジングルを抽出する抽出ステップと、抽出されたジングルに基づいて、番組の録画を開始または終了する録画ステップと、抽出されたジングルに基づいて、録画された番組をコーナーに分割し、構造化する構造化ステップとを含み、構造化ステップの処理により構造化された番組をデータベースとして記憶することを特徴とする。
【0028】
本発明のプログラムは、ネットワークを介して情報処理装置と接続され、放送される番組を記録する記録装置のプログラムであって、情報処理装置から番組の区切点を表すジングルのジングルデータが付与された番組表データを取得し、ジングルデータが付与された番組表データに基づいて、番組の録画予約の設定を制御する予約制御ステップと、放送される番組の映像または音声のデータを解析し、録画予約が設定された番組の区切点を特定するジングルの抽出を制御する抽出制御ステップと、抽出されたジングルに基づいて、番組の録画の開始または終了を制御する録画制御ステップと、抽出されたジングルに基づいて、録画された番組をコーナーに分割し、構造化するように制御する構造化制御ステップとをコンピュータに実行させることを特徴とする。
【0029】
本発明の記録媒体は、ネットワークを介して情報処理装置と接続され、放送される番組を記録する記録装置のプログラムが記録される記録媒体であって、情報処理装置から番組の区切点を表すジングルのジングルデータが付与された番組表データを取得し、ジングルデータが付与された番組表データに基づいて、番組の録画予約の設定を制御する予約制御ステップと、放送される番組の映像または音声のデータを解析し、録画予約が設定された前記番組の区切点を特定するジングルの抽出を制御する抽出制御ステップと、抽出されたジングルに基づいて、番組の録画の開始または終了を制御するする録画制御ステップと、抽出されたジングルに基づいて、録画された番組をコーナーに分割し、構造化するように制御する構造化制御ステップとをコンピュータに実行させるプログラムが記録されることを特徴とする。
【0030】
本発明の記録装置および方法、並びにプログラムにおいては、情報処理装置から番組の区切点を表すジングルのジングルデータが付与された番組表データが取得され、ジングルデータが付与された番組表データに基づいて、番組の録画予約が設定され、放送される番組の映像または音声のデータが解析され、録画予約が設定された番組の区切点を特定するジングルが抽出され、抽出されたジングルに基づいて、番組の録画が開始または終了され、抽出されたジングルに基づいて、録画された番組がコーナーに分割され、構造化され、構造化された番組がデータベースとして記憶される。
【0031】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【0032】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【0033】
請求項1に記載のコンテンツ記録システムは、ネットワークを介して相互に接続される記録装置(例えば、図5の記録装置52)と情報処理装置(例えば、図5のサーバ51)からなるコンテンツ記録システム(例えば、図5のコンテンツ記録システム41)であって、前記情報処理装置は、放送された番組の映像または音声のデータと、番組の放送時刻を表す番組表データ(例えば、図5の番組表53)を取得し、前記映像または音声のデータと前記番組表データに基づいて、番組の区切点を表すジングルのジングルデータを作成し(例えば、図7のステップS31)、前記番組表データに前記ジングルデータを付与し(例えば、図7のステップS33)、前記ジングルデータが付与された番組表データ(例えば、図5のジングル付番組表73)を、前記ネットワークを介して前記記録装置に提供し、前記記録装置は、前記ジングルデータが付与された番組表データを取得し、前記ジングルデータが付与された番組表データに基づいて、番組の録画予約を設定し(例えば、図15のステップS94)、放送される番組の映像または音声のデータを解析し、録画予約が設定された前記番組のジングルを抽出し(例えば、図15のステップS95またはS96)、抽出されたジングルに基づいて、前記番組の録画を開始または終了し(例えば、図15のステップS135または図31のステップS155)、録画された前記番組を前記ジングルに基づいて、コーナーに分割し(例えば、図39のステップS203)、構造化してデータベースに記憶することを特徴とする。
【0034】
請求項3に記載の記録装置は、ネットワークを介して情報処理装置と接続され、放送される番組を記録する記録装置であって、前記情報処理装置から番組の区切点を表すジングルのジングルデータが付与された番組表データを取得し、前記ジングルデータが付与された番組表データに基づいて、番組の録画予約を設定する予約手段(例えば、図5の番組予約部91)と、放送される番組の映像または音声のデータを解析し、録画予約が設定された前記番組の区切点を表すジングルを抽出する抽出手段(例えば、図5のジングルモニタ部92)と、抽出されたジングルに基づいて、前記番組の録画を開始または終了する録画手段(例えば、図5の録画部93)と、抽出された前記ジングルに基づいて、録画された前記番組をコーナーに分割し、構造化する構造化手段(例えば、図38の構造化ファイル作成部801)と、前記構造化手段により構造化された前記番組をデータベースとして記憶する記憶手段(例えば、図5の記憶94)とを備えることを特徴とする。
【0035】
請求項4に記載の記録装置は、前記構造化手段により分割された前記コーナーのキーワードを抽出するキーワード抽出手段(例えば、図38のキーワード抽出部802)をさらに備え、前記記憶手段は、前記構造化手段により構造化された前記番組と、前記キーワード抽出手段により抽出された前記キーワードを対応づけてデータベースに記憶することを特徴とする。
【0036】
請求項5に記載の記録装置は、ユーザの指示に基づいて、前記データベースに記憶された前記番組または前記番組を構成するコーナーを検索し、検索された前記番組または前記番組を構成するコーナーを再生する再生手段(例えば、図5の再生部95)をさらに備えることを特徴とする。
【0037】
請求項8に記載の記録装置は、前記抽出手段が、前記番組の映像または音声のデータの特徴量を算出し、観測値を演算する観測値演算手段(例えば、図18の観測値演算部401)と、前記観測値演算手段により演算された観測値と、前記情報処理装置から取得されたジングルデータを比較し、前記観測値と前記ジングルデータの近似性を表す近似評価値を演算する評価値演算手段(例えば、図18の評価値演算部402)とを備えることを特徴とする。
【0038】
請求項12に記載の記録装置は、前記構造化手段が、前記番組をコーナーに分割し、コーナーに分割された番組の構造に関する情報を表す構造化ファイル(例えば、図42の番組内構造化定義ファイル921)を作成することを特徴とする。
【0039】
請求項15に記載の記録装置は、前記キーワード抽出手段が、前記コーナーの映像データに含まれるテロップに表示される単語を認識するテロップ認識手段(例えば、図51のテロップ認識部1112)と、前記コーナーの音声データに含まれる単語を認識する音声認識手段(例えば、図51の音声認識部1111)と、前記テロップ認識手段により認識された単語と前記音声認識手段により認識された単語に対して、予め設定された重みを付加する重み付け手段(例えば、図51の重み付加部1113、またはtf/idf部1114)とを備えることを特徴とする。
【0040】
請求項16に記載の記録方法は、ネットワークを介して情報処理装置と接続され、放送される番組を記録する記録装置の記録方法であって、前記情報処理装置から番組の区切点を表すジングルのジングルデータが付与された番組表データを取得し、前記ジングルデータが付与された番組表データに基づいて、番組の録画予約を設定する予約ステップ(例えば、図15のステップS94)と、放送される番組の映像または音声のデータを解析し、録画予約が設定された前記番組の区切点を特定するジングルを抽出する抽出ステップ(例えば、図15のステップS95またはS96、あるいは図39のステップS202または203)と、抽出されたジングルに基づいて、前記番組の録画を開始または終了する録画ステップ(例えば、図17のステップS135または図31のステップS155)と、抽出された前記ジングルに基づいて、録画された前記番組をコーナーに分割し、構造化する構造化ステップ(例えば、図39の番組構造化処理)とを含み、前記構造化ステップの処理により構造化された前記番組をデータベースとして記憶することを特徴とする。
【0041】
請求項17に記載のプログラムは、ネットワークを介して情報処理装置と接続され、放送される番組を記録する記録装置のプログラムであって、前記情報処理装置から番組の区切点を表すジングルのジングルデータが付与された番組表データを取得し、前記ジングルデータが付与された番組表データに基づいて、番組の録画予約の設定を制御する予約制御ステップ(例えば、図15のステップS94)と、放送される番組の映像または音声のデータを解析し、録画予約が設定された前記番組の区切点を特定するジングルの抽出を制御する抽出制御ステップ(例えば、図15のステップS95またはS96、あるいは図39のステップS202または203)と、抽出されたジングルに基づいて、前記番組の録画の開始または終了を制御する録画制御ステップ(例えば、図17のステップS135または図31のステップS155)と、抽出された前記ジングルに基づいて、録画された前記番組をコーナーに分割し、構造化するように制御する構造化制御ステップ(例えば、図39の番組構造化処理)とをコンピュータに実行させることを特徴とする。
【0042】
請求項18に記載の記録媒体は、ネットワークを介して情報処理装置と接続され、放送される番組を記録する記録装置のプログラムが記録される記録媒体であって、前記情報処理装置から番組の区切点を表すジングルのジングルデータが付与された番組表データを取得し、前記ジングルデータが付与された番組表データに基づいて、番組の録画予約の設定を制御する予約制御ステップ(例えば、図15のステップS94)と、放送される番組の映像または音声のデータを解析し、録画予約が設定された前記番組の区切点を特定するジングルの抽出を制御する抽出制御ステップ(例えば、図15のステップS95またはS96、あるいは図39のステップS202または203)と、抽出されたジングルに基づいて、前記番組の録画の開始または終了を制御するする録画制御ステップ(例えば、図17のステップS135または図31のステップS155)と、抽出された前記ジングルに基づいて、録画された前記番組をコーナーに分割し、構造化するように制御する構造化制御ステップ(例えば、図39の番組構造化処理)とをコンピュータに実行させるプログラムが記録されることを特徴とする。
【0043】
以下、図面を参照して、本発明の実施の形態について説明する。図5は、本発明を適用したコンテンツ記録システム41の構成例を示す図である。この構成例においては、インターネットなどに代表されるネットワーク55を介してサーバ51と記録装置52が接続されている。
【0044】
サーバ51には、ジングルデータを作成するジングル作成部74とジングル作成部74により作成されたジングルデータを蓄積するジングルDB72が設けられている。ジングルは、テレビ番組またはラジオ番組の中で、番組のオープニング、エンディング、または番組内のコーナーのオープニングで用いられる特定の画像または音楽フレーズ、あるいはマルチメディアコンテンツ内の情報を区切るために用いられる短い音楽やポーズである。
【0045】
また、番組表53を取得し、取得された番組表にジングルデータを付与して、ジングル付番組表73を作成するジングル付与部71が設けられており、ジングル付番組表73は、ネットワーク55を介して記録装置52に提供される。番組表53は、例えば、ネットワーク55を介して別のサーバから取得されるようにしてもよいし、オンエアされた放送が受信され、放送番組本体を構成する映像データおよび音声データと、この放送番組本体に付随するデータに分解され、後者に含まれるEPG(Electronic Program Guide)が番組表53として取得されるようにしてもよい。
【0046】
記録装置52には、ネットワーク55を介して、サーバ51からジングル付番組表73を取得し、取得されたジングル付番組表73に基づいて、ユーザによる番組の録画予約の設定を受け付ける番組予約部91が設けられている。また、受信された放送信号の中から所定のジングルを検出するジングルモニタ部92と受信された放送信号の中の所定の番組を録画する録画部93が設けられている。
【0047】
番組予約部91は、ジングル付番組表73に基づいて、ユーザに番組表を表示し、ユーザは記録すべき番組を指定する。放送局54により放送された放送信号は、記録装置52の図示せぬアンテナなどにより受信され、さらに、ジングルモニタ部92と録画部93に供給される。ジングルモニタ部92は、番組予約部91により録画予約が設定された番組の開始と終了を特定するジングルを検出し、録画部92は、ジングルモニタ部92により特定されたジングルに基づいて、放送信号をA/D変換し、番組データを録画する。
【0048】
さらに、録画部93により録画された番組のデータを記憶する記憶部94が設けられている。記憶部94は、例えば、HDD(Hard Disk Drive)などにより構成される。また、ユーザの指示に基づいて、記憶部94に記憶された所定の番組のデータを再生する再生部95が設けられている。
【0049】
図6は、図5のジングル作成部74の構成例を示すブロック図である。ジングル作成部74には、放送局54により放送された放送信号をA/D変換し、放送された番組のデータを蓄積する放送スプール部111、および取得された番組表のデータを蓄積する番組表スプール部113が設けられている。また、ジングルデータを作成する自動抽出部114と手動調整部112が設けられている。放送スプール部111および番組表スプール部113に蓄積された放送された番組のデータおよび番組表のデータは、自動抽出部114と手動調整部112にそれぞれ供給される。自動抽出部114と手動調整部112は、放送された番組のデータおよび番組表のデータに基づいて、ジングルデータを作成し、ジングルDB72に記憶させる。
【0050】
次に、図7を参照して、ジングル作成部74のジングルデータ作成処理について説明する。ステップS31において、自動抽出部114は、図8を参照して後述する自動抽出処理を実行する。ステップS32において、手動調整部112は、図9を参照して後述する手動調整処理を実行する。これにより、放送された番組のデータの中からジングルが特定され、ジンルデータとして記憶される。ステップS33において、ジングル付与部71は、記憶されたジングルデータを番組表53に付与し、ジングル付番組表73を生成する。
【0051】
次に、図8を参照して、図7のステップS31の自動抽出処理について説明する。ステップS51において、自動抽出部114は、既知ジングルを抽出する。このとき、放送された番組のデータのうち、既にジングルDB72に記憶されていたジングルデータに対応するジングルの部分が抽出される。ステップS52において、自動抽出部114は、ステップS51で抽出されたジングルの部分以外の領域を調査対象領域として設定する。
【0052】
ステップS53において、自動抽出部114は、調査対象領域に対する自己相関を行うことによりジングルを抽出する。ステップS54において、自動抽出部114は、ジングルが抽出されたか否かを判定し、ジングルが抽出されなかったと判定された場合、処理は終了される。
【0053】
一方、ステップS54において、ジングルが抽出されたと判定された場合、ステップS55に進みジングルの画像マスクを推定する。なお、画像マスクについては、図27を参照して後述する。ステップS56において、自動抽出部114は、ジングルデータを構成する成分の重みを推定し、ステップS57において閾値を推定する。なお、成分の重みと閾値については、図20を参照して後述する。
【0054】
ステップS58において、自動抽出部114は、ステップS53で抽出されたジングルのジングルデータを新規ジングルとしてジングルDB72に記憶する。このとき、図10に示されるようなジングルデータが記憶される。
【0055】
図10は、ジングルデータの構成例を示す図であり、ジングルデータには、ステップS57において推定された閾値201、そのジングルデータのデータ長を表す情報であるジングル長202が含まれている。また、そのジングルの音響成分204、音声成分205、および映像成分206、並びにステップS56において推定された各成分の重み203−1乃至203−3が含まれている。
【0056】
ステップS59において、自動抽出部114は、ステップ58において新規ジングルとして記憶されたジングルをステップS52において設定された調査対象領域から抽出し、ステップS52に戻り、それ以降の処理を繰り返し実行する。
【0057】
このようにして、ジングルが自動的に抽出される。
【0058】
次に、図9を参照して、図7のステップS32の手動抽出処理について説明する。この処理は、例えば、ユーザが、図示せぬモニタなどを用いて番組データを参照しながら実行される。
【0059】
ステップS71において、手動調整部112は、放送された番組のデータを再生し、モニタに表示させる。ステップS72において、手動調整部112は、ユーザから番組特定部位の指定を受け付け、その部位をジングルとして抽出する。ステップS73において、手動調整部112は、ジングルを認識するためのデータの指定を受け付ける。このとき例えば、ジングルの画像マスク、ジングルデータを構成する成分の重み、閾値などが指定され、ジングルデータが作成される。ステップS74において、手動調整部112は、番組特定ジングルパターンの入力を受け付ける。
【0060】
ここで、図11と図12を参照して、番組とジングルの関係について説明する。図11は、順番に放送された番組Aと番組Bを時間軸上に示した図である。図中格子模様で示された部分241と242、および図中斜線で示された部分243と244がジングルである。ジングル242とジングル243は、番組Aと番組Bに跨って存在するジングルであり、例えば、CMや番組案内などと考えられる。本発明においては、このようなジングルをスペーサジングルと称する。
【0061】
一方ジングル241は、番組Aの中だけに存在するジングルであり、ジングル244は、番組Bの中だけに存在するジングルであり、番組の中のコーナーのオープニングなどと考えられる。本発明においては、このようなジングルを番組内構造化識別用ジングルと称する。
【0062】
図12は、番組内構造化識別用ジングルの例を示す図である。図12は、シリーズとして放送される番組Cの第1回目223−1と第2回目223−2を時間軸上に示した図である。同図に示されるように、番組Cはジングル261とジングル262により区切られたコーナー、図中左側のジングル262と図中右側のジングル262により区切られたコーナー、ジングル262とジングル263により区切られたコーナー、およびジングル263とジングル264により区切られたコーナーの4つのコーナーに階層化されていることが分かる。なお、番組内構造化識別用ジングルには、ジングル262のように、1つの番組内で複数回使用されるものもある。
【0063】
図13は、番組の開始端を時間軸上に表した例を示す図である。図13Aは、その番組の開始を表す開始ジングル281が放送された後、番組が放送される例を示している。このような場合、番組を録画するとき、開始ジングル281以後を番組内容として認識する必要がある。
【0064】
図13Bは、開始ジングル281が放送される前に、番組の先頭部分301が放送される例を示している。このような場合、番組を録画するとき、番組の先頭部分301以後を番組内容として認識する必要がある。
【0065】
図13Cは、スペーサジングル282が放送された後、番組の先頭部分301が放送され、その後開始ジングル281が放送される例を示している。このような場合、番組を録画するとき、番組の先頭部分301以後を番組内容として認識する必要がある。
【0066】
図13Dは、スペーサジングル282が放送される前に、番組の先頭部分302が放送され、スペーサジングルが放送された後、番組の別の部分303が放送され、その後開始ジングル281が放送される例を示している。このような場合、番組を録画するとき、番組の先頭部分302以後を番組内容として認識する必要がある。
【0067】
図13Eは、番組スペーサジングル283が放送された後、番組の先頭部分304が放送され、その後再びスペーサジングル282が放送され、その後番組の別の部分305が放送され、その後開始ジングル281が放送される例を示している。このような場合、番組を録画するとき、番組の先頭部分304以後を番組内容として認識する必要がある。
【0068】
図14は、番組の終了端の例を示す図である。図14Aは、その番組の終了を表す終了ジングル321が放送され、番組が終了される例を示している。このような場合、番組を録画するとき、終了ジングル321以前を番組内容として認識する必要がある。
【0069】
図14Bは、終了ジングル321が放送された後、番組の最後の部分341が放送され、番組が終了される例を示している。このような場合、番組を録画するとき、番組の最後の部分341以前を番組内容として認識する必要がある。
【0070】
図14Cは、終了ジングル321が放送された後、番組の最後の部分341が放送され、その後スペーサジングル322が放送される例を示している。このような場合、番組を録画するとき、番組の最後の部分341以前を番組内容として認識する必要がある。
【0071】
図14Dは、終了ジングル321が放送された後、番組の一部分342が放送され、その後スペーサジングル322が放送され、その後番組の最後の部分343が放送され、番組が終了される例を示している。このような場合、番組を録画するとき、番組の最後の部分343以前を番組内容として認識する必要がある。
【0072】
図14Eは、終了ジングル321が放送された後、番組の一部分344が放送され、その後スペーサジングル322が放送され、その後番組の最後の部分345が放送され、その後スペーサジングル323が放送される例を示している。このような場合、番組を録画するとき、番組の最後の部分345以前を番組内容として認識する必要がある。
【0073】
図9のステップS74では、番組毎に、図13および図14に示されるような、番組の開始ジングルパターンおよび終了ジングルパターンが、その番組の番組特定ジングルパターンとして指定され、指定されたジングルパターンがジングルDB72に記憶される。
【0074】
このようにして、ジングルデータおよびジングルパターンが記憶される。
【0075】
次に、図15を参照して、記録装置52の番組記録処理について説明する。ステップS94において、番組予約部91は、図16を参照して後述する番組予約処理を実行する。これにより、録画すべき番組が指定される。
【0076】
ステップS95において、ジングルモニタ部92は、図17を参照して後述する開始ジングルパターンモニタ処理を実行する。これにより、番組の開始位置が特定され、番組の記録が開始される。ステップS96において、ジングルモニタ部92は、図31を参照して後述する終了ジングルパターンモニタ処理を実行する。これにより、番組の終了位置が特定され、番組の記録が終了される。
【0077】
ステップS97において、録画部93は、図33を参照して後述する保存部分特定処理を実行する。これにより、記録されたデータのうち不要な部分が削除され、保存すべき部分が特定され、録画予約された番組のデータとして記憶部94に記憶される。
【0078】
このようにして、番組が録画される。
【0079】
次に、図16を参照して、図15のステップS94の番組予約処理について説明する。ステップS111において、番組予約部91は、記録装置52の図示せぬモニタに番組表を表示する。ステップS112において、番組予約部91は、録画対象番組の指定を受け付ける。録画対象番組の指定は、例えば、ユーザが、表示された番組表に基づいて、記録装置52の図示せぬ入力部を操作することにより行われる。ステップS113において、番組予約部91は、ネットワーク55を介してサーバ51から録画対象番組として指定された番組を特定するジングルのジングルデータを取得する。
【0080】
このようにして、番組の録画予約が行われる。
【0081】
次に、図17を参照して、図15のステップS95の開始ジングルパターンモニタ処理について説明する。この処理は、ジングルモニタ部92により実行される。図18は、ジングルモニタ部92の詳細な構成例を示すブロック図である。この例では、放送信号の中からジングルを抽出し、抽出されたジングルの音声または映像の特徴量を表す観測値を演算する観測値演算部401が設けられている。
【0082】
また、観測値演算部401で演算された観測値と、ネットワーク55を介してサーバ51から取得されたジングルデータを比較し、観測値とジングルデータとの近似性を表す近似評価値を演算する評価値演算部402が設けられている。
【0083】
さらに、各部を制御する制御部403が設けられており、観測値演算部401、および評価値演算部402と、バス404を介して相互に接続されている。
【0084】
図17に戻って、ステップS131において、観測値演算部401は、放送信号の中からジングル指定部分を抽出し、観測値を演算する。このとき、観測値の演算は、次のようにして行われる。
【0085】
図19は、このときの処理の流れを示す図である。放送信号451の中から所定のジングル指定部分が抽出され、観測値演算部401の音響抽出部411と映像抽出部421に供給される。
【0086】
このとき、音響抽出部411は、放送信号の中の音声信号を抽出し、周波数フィルタ412に出力する。図21は、このとき出力される音声信号の例を示す図である。この例では、縦軸に出力、横軸に時間が示され、音声信号が波形として示されている。
【0087】
映像抽出部421は、放送信号の中の映像信号を抽出し、輝度分離部422に出力する。図26は、このとき出力される映像信号の例を示す図である。この映像信号は図26A乃至Cのフレームで構成され、図27に示される映像信号551の中の一部分552に対応する。
【0088】
図19に戻って、周波数フィルタ412は、入力された音声信号をバンドパスフィルタを通して音声域と、音声以外の音響域に分離し、音響域の信号を周波数スペクトル生成部413に出力し、音声域の信号を周波数スペクトル生成部414に出力する。図22は、このとき用いられるバンドパスフィルタの例を示す図である。この例においては、横軸に周波数が示され、縦軸に透過率が示されている。
【0089】
輝度分離部422は、映像信号の輝度情報に対して、例えば図27に示されるマスク553を作用させ、フレームセル生成部423に出力する。マスク553は、図中濃い色で表示されるマスク部分571と、図中白く表示される透過部分572により構成されている。
【0090】
図19に戻って、周波数スペクトル生成部413は、音響域の信号の周波数スペクトルに変換し、その周波数スペクトルをメッシュ分解して観測値の音響成分471を生成する。周波数スペクトル生成部414は、音声域の信号の周波数スペクトルに変換し、その周波数スペクトルをメッシュ分解して観測値の音声成分472を生成する。
【0091】
このとき、生成される周波数スペクトルの例を図23に示す。この例では、横軸に時間、縦軸に周波数が示され、周波数スペクトルが図中淡い色で表示されている。そして、図23に示される周波数スペクトルが図24に示されるように、所定の時間(t1,t2,t3,・・・tn)と、所定の周波数(f1,f2,f3,・・・fm)でメッシュ分解され、図25に示されるような観測値の音響成分(または音声成分)が生成される。図25は、観測値の音響成分(または音声成分)の構成例を示す図であり、時間t1,t2,・・・tnにおける周波数の値f1,f2,・・・fnが、データ数と時間または周波数の間隔を表す刻み幅とともに記述されている。
【0092】
図19に戻って、フレームセル生成部423は、輝度分離部422から出力された信号にDFT(Descreate Fourier Transform:離散フーリエ変換)を行い、図27に示されるような周波数成分573をフレーム単位に取得し、その周波数成分をメッシュ分解して観測値の映像成分473を生成する。このとき生成される観測値の映像成分の構成例を図28に示す。この例では、フレーム単位のメッシュ化された周波数成分573−1乃至573−nの値が、この映像信号のフレーム数、メッシュ分解するときに用いられた縦セル数、横セル数、および刻み幅とともに記述されている。また、図27のマスク553に関するマスク情報が記述されている。
【0093】
このようにして、観測値が演算される。
【0094】
図17に戻って、ステップS132において、評価値演算部402は、評価値を演算する。評価値の演算は次のようにして行われる。図20は、評価値演算部402の詳細な構成例を示すブロック図である。評価値演算部402の音響評価部431は、観測値502の音響成分471とジングルデータ501の音響成分491を比較し、音響成分の評価値を演算する。
【0095】
このとき、図29に示されるようにジングルデータの音響成分491の中から時間t1に対応する周波数成分(f1,f2,・・・fm)が抽出され、所定の重み(a1,a2,・・・am)で重み付けされてベクトルt1(a1・f1,a2・f2,・・・an・fm)が生成される。同様に観測値の音響成分471の時間r1に対応する周波数成分(f’1,f’2,・・・f’m)が抽出され、やはり所定の重み(a1,a2,・・・am)で重み付けされてベクトルr1(a1・f’1,a2・f’2,・・・an・f’m)が生成される。なお、図29では、ベクトルt1とr1が3次元のベクトルとして表示されているが実際には、m次元のベクトルとなる。
【0096】
同様に、ジングルデータの音響成分491の中から時間t2,t3,・・・tnに対応する周波数成分が抽出され、所定の重みで重み付けされ、ベクトルt2,t3,・・・tnが生成され、観測値の音響成分471の時間r2,r3,・・・rnに対応する周波数成分が抽出され、所定の重みで重み付けされ、ベクトルr2,r3,・・・rnが生成される。
【0097】
音響評価部431は、図29に示されるベクトルt1とr1がなす角度601、ベクトルt2とr2がなす角度、・・・ベクトルtnとrnがなす角度の総和を求めて音響成分の評価値を演算する。各ベクトル間の角度の総和は、次式により求められる。
【0098】
【数1】
【0099】
また、音響成分の評価値は、ベクトルt1とr1の距離602、ベクトルt2のr2距離、・・・ベクトルtnとrnの距離の総和により演算されるようにしてもよい。各ベクトル間の距離の総和は、次式により求められる。
【0100】
【数2】
【0101】
図20に戻って、音響評価部431は、音響成分の評価値に所定の重み(w1)を乗じて評価値決定部434に出力される。
【0102】
音声評価部432においても、音響評価部431と同様の処理が行われ、音声成分の評価値が求められ、音声成分の評価値に所定の重み(w2)が乗じられ評価値決定部434に出力される。
【0103】
映像評価部433は、観測値502の映像成分473とジングルデータ501の映像成分493を比較し、映像成分の評価値を演算する。このとき図30に示されるようにジングルデータの映像成分473の中からフレームt1に対応する周波数成分が抽出され、所定の重みで重み付けされてベクトルt1が生成される。同様に、観測値の映像成分473のフレームr1に対応する周波数成分が抽出され、やはり所定の重みで重み付けされてベクトルr1が生成される。この例ではベクトルt1とr1はそれぞれ12次元のベクトルとされる。なお、図30では、ベクトルt1とr1が3次元のベクトルとして表示されているが実際には、12次元のベクトルとなる。
【0104】
同様に、ジングルデータの映像成分493の中からフレームt2,t3,・・・tnに対応する周波数成分が抽出され、所定の重みで重み付けされ、ベクトルt2,t3,・・・tnが生成され、観測値の音響成分473のフレームr2,r3,・・・rnに対応する周波数成分が抽出され、所定の重みで重み付けされ、ベクトルr2,r3,・・・rnが生成される。
【0105】
映像評価部433は、図30に示されるベクトルt1とr1がなす角度621、ベクトルt2とr2がなす角度、・・・ベクトルtnとrnがなす角度の総和を求めて映像成分の評価値を演算する。また、映像成分の評価値は、ベクトルt1とr1の距離622、ベクトルt2のr2距離、・・・ベクトルtnとrnの距離の総和により演算されるようにしてもよい。
【0106】
図20に戻って、映像評価部433は、映像成分の評価値に所定の重み(w3)を乗じて、評価値決定部434に出力する。
【0107】
なお、上述した重みw1乃至w3は、ジングルデータに記述された重み(図10の203−1乃至203−3)に基づいて、決定される。
【0108】
評価値決定部434は、音響評価部431、音声評価部432、および映像評価部433の出力値を足し合わせて近似評価値を決定する。なお、近似評価値は、音響評価部431、音声評価部432、および映像評価部433の出力値の平均値として決定されるようにしてもよい。近似評価値は、小さいほど、観測値とジングルデータの近似性は高くなる。
【0109】
図17に戻って、ステップS133において、評価値演算部402は、近似評価値が閾値より小さいか否かを判定する。なお、閾値は、ジングルデータに記述された閾値(図10の201)に基づいて決定される。ステップS133において、近似評価値は閾値より小さいと判定された場合、ステップS134に進み、評価値演算部402は、制御部403に開始ジングル発見を通知する。そして、ステップS135において、制御部403は、録画部93に録画を開始させる。
【0110】
ステップS133において、近似評価値は閾値より小さくないと判定された場合、処理は、ステップS131に戻る。
【0111】
このようにして、録画が開始される。このようにすることで、録画の開始は、番組を特定するジングルを発見することにより開始されるようになるので、番組の放送日時が変更されても、例えば、放送開始時刻が番組表に記載の時刻と異なるように変更されても、所望の番組が記録されるようにすることができる。
【0112】
次に図31を参照して、図15のステップS96の終了ジングルパターンモニタ処理について説明する。ステップS151乃至S153の処理は、図17のステップS131乃至133の処理と同様の処理なので、詳細な説明は省略する。
【0113】
ステップS153において、近似評価値は閾値より小さいと判定された場合、ステップS154に進み、評価値演算部402は、制御部403に終了ジングル発見を通知する。そして、ステップS155において、制御部403は、録画部93に録画を終了させる。
【0114】
ステップS153において、近似評価値は閾値より小さくないと判定された場合、処理は、ステップS151に戻る。
【0115】
このようにして、録画が終了される。このようにすることで、録画の終了は、番組を特定するジングルを発見することにより終了されるようになるので、番組の放送日時が変更されても、例えば、放送終了時刻が番組表に記載の時刻と異なるように変更されても、所望の番組が記録されるようにすることができる。
【0116】
以上においては、番組の開始ジングルと終了ジングルに基づいて、番組の録画の開始と終了が行われる例について説明したが、図13と図14を参照して、上述した番組の開始パターンと番組の終了パターンに基づいて、番組の録画の開始と終了が行われるようにすることもできる。
【0117】
また、録画対象となる番組が、番組開始または終了を特定するためのジングルを持っていない場合も考えられる。この場合、録画対象となる番組に隣接する番組、すなわち録画対象となる番組と時間的に連続する番組の開始または終了を特定するジングルに基づいて、番組の録画を開始または終了させることができる。
【0118】
図32A乃至Cは、録画対象となる番組642、番組642の(時間的に)前番組641、および番組642の(時間的に)後番組643を時間軸上に表した例を示す図である。
【0119】
図32Aは、録画対象となる番組642に開始ジングル652が存在し、終了ジングルが存在せず、録画対象となる番組642の後番組643に開始ジングル653が存在する場合の例を示している。この場合、記録装置52は、番組642の開始ジングル652に基づいた、番組開始パターン672を特定し、録画開始位置640−1を設定し、番組643の開始ジングル653に基づいた、番組開始パターン673を特定し、記録終了位置640−2を設定する。
【0120】
図32Bは録画対象となる番組642に開始ジングル652が存在し、終了ジングルが存在せず、番組642の前番組641に終了ジングルが存在し、番組642の後番組643に開始ジングル653が存在する場合の例を示している。この場合、記録装置52は、番組641の終了ジングル651に基づく、番組終了パターン671を特定し、さらに番組642の開始ジングル652に基づいた、番組開始パターン672を特定し、録画開始位置640−1を設定する。このような場合、図32Aと比較して、より正確に番組の開始位置を設定することができる。記録終了位置640−2は図32Aの場合と同様に設定される。
【0121】
図32Cは録画対象となる番組642に開始ジングルと終了ジングルが存在しない場合の例を示している。この場合、記録装置52は、番組641の終了ジングル651に基づいた、番組終了パターン671を特定し、録画開始位置640−1を設定し、番組643の開始ジングル653に基づいた、番組開始パターン673を特定し、記録終了位置640−2を設定する。
【0122】
このようにすることで、録画対象となる番組に、番組の開始または終了を特定するジングルが存在しない場合であっても、所望の番組を正確に録画することができる。
【0123】
勿論、番組表に記載された時刻に基づいて記録開始位置と記録終了位置を設定することも可能である。
【0124】
次に図33を参照して、図15のステップS97の保存部分特定処理について説明する。ステップS171において、録画部93は、録画対象番組に、その番組を特定するジングルパターンがあるか否かを判定する。
【0125】
ステップS171において、録画対象番組に、その番組を特定するジングルパターンがあると判定された場合、ステップS172に進み、録画部93は、対象番組のジングルパターンを用いて番組の端処理、すなわち番組の開始点と終了点を、より正確に特定し、不要な部分を削除する処理を行う。
【0126】
このとき、例えば、ユーザが、記録装置52の図示せぬ入力部を操作して、図34に示されるような端処理コマンドが入力される。また、録画された番組が解析され、自動的に端処理コマンドが入力されるようにしてもよい。図34は、番組開始位置が、その番組の開始ジングル721の1つ前のスペーサジングルの後であり、その番組の終了位置が、その番組の終了ジングル722の1つ後のスペーサジングルの前であることを表している。
【0127】
図35は、端処理が行われる録画対象番組700、番組700の前番組701、および番組700の後番組702の構成を時間軸上に表す図である。図35Aには、録画対象番組700の開始ジングル721と終了ジングル722が示されている。前番組701には終了ジングル723と、複数のスペーサジングルで構成されるスペーサジングル群725が示されている。また、後番組702の開始ジングル724と、複数のスペーサジングルで構成されるスペーサジングル群726が示されている。
【0128】
例えば、記録装置52が、図17を参照して上述した開始ジングルパターンモニタ処理において、前番組701の終了ジングル723を検出することにより番組の記録を開始し、図31を参照して上述した終了ジングルパターンモニタ処理において、後番組702の開始ジングル724を検出することにより、番組の記録を終了していた場合、図35Bに示す記録範囲700−1が一旦、記憶部94に記憶される。
【0129】
しかし、図34を参照して上述したように、録画対象番組700の番組開始位置は、その番組の開始ジングル721の1つ前のスペーサジングルの後であり、番組の終了位置は、その番組の終了ジングル722の1つ後のスペーサジングルの前であるので、記録部93は、ジングルモニタ部92に、図35Cに示されるように、開始ジングル721の1つ前のスペーサジングル725−1と、終了ジングル722の1つ後のスペーサジングル726−1を検出させる。そして、図35Dに示した、記録範囲の先頭部分727と終了部分728は、不要部分として削除され、保存部分700−2が特定される。
【0130】
図33に戻って、ステップS171において、録画対象番組に、その番組を特定するジングルパターンがないと判定された場合、ステップS173に進み、録画部93は、対象番組の隣接番組のジングルパターンを用いて番組の端処理を行う。
【0131】
このとき、例えば、ユーザが、記録装置52の図示せぬ入力部を操作して、図36に示されるような端処理コマンドが入力される。また、録画された番組が解析され、自動的に端処理コマンドが入力されるようにしてもよい。図36は、図34と異なり、録画対象番組に、番組開始位置を表すジングルパターン、および番組終了位置を表すジングルパターンがないことを表している。
【0132】
図37は、端処理が行われる録画対象番組750、番組750の前番組751、および番組750の後番組752の構成を時間軸上に表す図である。図37Aにおいて、前番組751には終了ジングル771と、複数のスペーサジングルで構成されるスペーサジングル群773が示されている。また、後番組752の開始ジングル772と、複数のスペーサジングルで構成されるスペーサジングル群774が示されている。
【0133】
例えば、記録装置52が、図17を参照して上述した開始ジングルパターンモニタ処理において、前番組751の終了ジングル771を検出することにより番組の記録を開始し、図31を参照して上述した終了ジングルパターンモニタ処理において、後番組752の開始ジングル772を検出することにより、番組の記録を終了していた場合、図35Bに示す記録範囲750−1が一旦、記憶部94に記憶される。
【0134】
その後、記録部93は、ジングルモニタ部92に、図37Cに示されるように、前番組751の終了ジングル771の後のスペーサジングル群773の先頭のスペーサジングル773−1、および後番組開始ジングル772の前のスペーサジングル群774の最後のスペーサジングル774−1を検出させ、終了ジングル771とスペーサジングル773−1で挟まれた部分751−1を不要部分とし、開始ジングル772とスペーサジングル774−1で挟まれた部分(この場合は、開始ジングル772のみ)を不要部分とし、それぞれの不要部分を削除する。
【0135】
さらに、記録部93は、ジングルモニタ部92に、図37Dに示されるように、スペーサジングル群773の最後のスペーサジングル773−2、および後番組開始ジングル772の前のスペーサジングル群774の先頭のスペーサジングル774−2を検出させ、スペーサジングル群773と774を不要部分として削除する。そして、保存部分750−2が特定される。
【0136】
図33にもどって、ステップS174において、記録部93は、ステップS172またはS173において特定された保存部分を保存する。
【0137】
このようにして、録画された番組の保存部分が特定される。番組の開始位置と終了位置は、番組の開始ジングルまたは終了ジングルと、スペーサジングルを組み合わせて、特定され、不要な部分が削除されるので、所望の番組を正確に録画し保存することができる。さらに、録画対象番組にその番組を特定するジングルパターンがない場合でも、隣接する番組のジングルパターンを用いて、所望の番組を正確に録画し保存することができる。
【0138】
このように、記録装置52により録画(保存)された番組は、例えば、番組の放送日毎に分類され、記憶部94にデータベースとして記憶される。ユーザは、記録装置52の図示せぬ入力部を操作することにより、再生部95を制御して保存された番組を再生することができる。
【0139】
また、このようにして録画された番組は、番組構成するコーナーに分割され、構造化されて記憶される。図38は、録画部93の詳細な構成例を示すブロック図である。同図に示されるように、録画部93には、番組をコーナーに分割して、後述する構造化定義ファイルを作成する構造化ファイル作成部801が設けられている。
【0140】
また、コーナーを検索するときに用いられるキーワードを抽出するキーワード抽出部802が設けられている。
【0141】
さらに、各部を制御する制御部803が設けられており、構造化ファイル801、キーワード抽出部802、および制御部803は、バス804を介して相互に接続されている。
【0142】
次に、図39を参照して番組構造化処理について説明する。この処理は、例えばユーザにより、所定のコマンドが投入されたとき行われるようにしてもよいし、録画された番組が保存される都度、行われるようにしてもよい。あるいはまた、所定の周期(例えば、1日)毎に行われるようにしてもよい。
【0143】
ステップS201において、録画部93の構造化ファイル作成部801は、番組内構造化識別用ジングルを検出し、ステップS202において、スペーサジングルを検出する。
【0144】
図40は、構造化される番組(例えば、番組1)を時間軸上に示した図である。番組1には、番組内構造化識別用ジングル871乃至875およびスペーサジングル851乃至854が含まれている。また、ジングル851とジングル871の間に放送された番組1の一部分A、ジングル871とジングル852の間に放送された番組1の一部分B、およびジングル872とジングル873の間に放送された番組1の一部分Cが含まれている。さらに、ジングル853とジングル874の間に放送された番組1の一部分D、ジングル874とジングル875の間に放送された番組1の一部分E、およびジングル875とジングル852の間に放送された番組1の一部分Fが含まれている。
【0145】
なお、それぞれのジングルの位置、およびそのジングルの種類(番組内構造化識別用ジングルか、またはスペーサジングルか)が、ジングルモニタ部92により、図19乃至図30を参照して上述した方法と同じ方法で、予め検出されて、記憶されているものとする。
【0146】
スペーサジングル851は、番組1内で3回放送され、スペーサジングル852は、番組1内で2回放送され、スペーサジングル853と854は、番組1内でそれぞれ1回ずつ放送されている。ステップS201において、番組内構造化識別用ジングル871乃至875が検出され、ステップS202において、スペーサジングル851乃至852が検出される。
【0147】
ステップS203において、構造化ファイル作成部801は、番組を各コーナーに分割する。
【0148】
このとき番組1は、例えば、図41に示されるように分割される。図41において番組1は、ジャンル901、コーナー902、スポンサー903に分割されている。ジャンル901は、番組1が属するジャンル(例えば、「ニュース」、「バラエティ」など)を表す情報である。
【0149】
コーナー902は、番組1を構成するコーナーを表す情報であり、コーナー902の下部に、番組1を構成する各コーナーが階層化されて表示されており、この例では、番組1は、コーナーA乃至コーナーFにより構成されている。
【0150】
この例において、番組1の第1番目のコーナーであるコーナーAは、番組の先頭部分Aに対応している。また、番組1の第2番目のコーナーであるコーナーBは、番組内構造化用識別ジングル871と番組の一部分Bに対応している。さらに、また、番組1の第3番目のコーナーであるコーナーCは、番組内構造化用識別ジングル872、番組の一部分C、および番組内構造化識別用ジングル873に対応している。
【0151】
また、番組1の第4番目のコーナーであるコーナーDは、番組内構造化用識別番組の一部分Dに対応している。さらに、番組1の第5番目のコーナーであるコーナーEは、番組内構造化用識別ジングル874と番組の一部分Eに対応している。また、番組1の第6番目のコーナーであるコーナーFは、番組内構造化用識別ジングル875と番組の一部分Fに対応している。
【0152】
スポンサー903は、番組1内で放送されるスペーサジングル(CM)の種類の一覧を表す情報であり、この例では、スペーサジングル851乃至854に対応するCMのスポンサーが表示されている。
【0153】
図39に戻って、ステップS204において、構造化ファイル作成部801は、番組内構造化定義ファイルを作成する。
【0154】
図42は、このとき作成される番組内構造化定義ファイルの構成例を示す図である。
【0155】
図42の最初の行931には、「<program name>“番組1”」と記述されている。これは、この番組内構造化定義ファイルが、番組1の番組内構造化定義ファイルであることを表す。また、第2番目の行931には「<genre>ニュース」と記述されている。これは、番組1がジャンル「ニュース」に属することを表す。第3番目の行932には「<schedule name=”2nd” start=”2003/1/23 16:00 end=”2003/1/23 17:00>」と記述されている。これは、番組1がシリーズで放送される番組の中の第2回目であり、放送開始日時が、西暦2003年1月23日16時00分であり、放送終了日時が、西暦2003年1月23日17時00分であることを表している。
【0156】
第4番目の行933には、「<pattern start=”SPC/jingle871 end=”jingle875/SPC”/>」と記述されている。これは、番組1の開始パターンが、スペーサジングルとジングル871に基づく開始パターンであり、番組1の終了パターンがジングル875とスペーサジングルに基づく終了パターンであることを表す。
【0157】
第5番目の行950には、「<corner name=”コーナーA”>」と記述されており、第9番目の行954には、「</corner>」と記述されている。これは、行950乃至954が、番組1内のコーナーAに関する記述であることを表す。第6番目の行951には、「<pattern start=”BIGIN” end=”jingle871│exclude”/>」と記述されている。これは、コーナーAの開始位置は、番組の開始位置と等しく、コーナーAの終了位置はジングル871の前(ジングル871を含まない)の部分であることを表す。
【0158】
第7番目の行952には、「<keyword weight=”1”>***</keyword>」と記述されており、第8番目の行953には、「<keyword weight=”2”>@@</keyword>」と記述されている。これは、コーナーAのキーワード「***」に対する重みが1であり、キーワード「@@」に対する重みが2であることを表す。なお、キーワードの抽出処理については、図50を参照して後述する。
【0159】
同様に、コーナB乃至コーナーFに関する記述970乃至974が記述されている。なお、コーナーA乃至コーナーFに関する記述は、図41のコーナー902に対応する。
【0160】
コーナーFに関する記述974の後の行991には、「<sponser>」と記述されており、最後から2番目の行992には「<//sponser>」と記述されている。これは、行991と992の間にスポンサーに関する記述があることを表す。なお、この記述は、図41のスポンサー903に対応する。
【0161】
最後の行993には、「</program>」と記述されており、これは、番組1の番組内構造化定義ファイルの終了を表す。
【0162】
このようにして、番組が、各コーナーに分割され、番組内構造化定義ファイルが作成され、記録された番組のデータに関連付けられて記憶部94に記憶される。このようにすることで、番組内の所望のコーナーを簡単に抽出することができる。
【0163】
このように、記録装置52により録画(保存)された番組は、例えば、番組の放送日毎に分類され、記憶部94にデータベースとして記憶される。ユーザは、記録装置52の図示せぬ入力部を操作することにより、再生部95を制御して保存された番組を再生することができる。
【0164】
このとき、番組を再生するためのGUI(Graphical User Interface)として、例えば、記録装置52に接続されるテレビジョン受像機のモニタに図43に示されるような画面が表示される。図43右側には、記憶部94に保存されている番組を日付毎に一覧表示する番組履歴表示部1000が表示されている。ユーザは、番組履歴表示部1000に示された日付の中から所望の日付を選択し、所定のコマンドを投入することにより番組を再生する。このとき、選択された日付において録画された番組の一覧が階層化されて表示されるようにしてもよい。
【0165】
再生が指示された番組は、番組表示部1003に表示される。また、ボタン1001または1002を操作することにより、番組を早送りしたり、巻き戻したりすることができる。
【0166】
また、番組内構造化定義ファイルの情報を用いて、番組の情報を階層化して表示することもできる。図44乃至図46は、この場合の表示例を示す図である。図44の右側には、ジャンル別に番組を表示するジャンル別表示部1021が表示されている。ジャンル別表示部1021には、所定のジャンル(例えば、「ニュース」)が指定された場合、その番組の番組内構造化定義ファイルにおいてジャンルを表す情報(図42の931)として「ニュース」と記述された番組が一覧表示される。
【0167】
図44に示される表示画面において、ジャンル別表示部1021の中の番組11021−1が選択された場合、図45に示されるような画面が表示される。図45の右側には、番組の構造を表示する構造表示部1041が表示されている。この例においては、番組1のジャンル1041−1、番組1を構成するコーナーA1041−2乃至コーナーF1041−7が表示されている。また、コーナーの履歴を表示されるとき選択される履歴1041−8、および番組のスポンサーを表示させるとき選択されるスポンサー1041−9が表示されている。
【0168】
ユーザは、スキップボタン1001または1002を押下することによりコーナーを番組表示部1003に表示させる。例えば、コーナーAを再生中にスキップボタン1002が1回押下されると、再生される映像(または音声)は、コーナーBの開始位置にスキップされる。また、コーナーFを再生中にスキップボタン1001が1回押下されると、再生される映像(または音声)は、コーナーFの開始位置にスキップされる。
【0169】
このようにして、ユーザは、番組内の所望コーナーを素早く再生することができる。
【0170】
また、図45に示される構造表示部1041のコーナーB1041−3が選択された状態において、履歴1041−8が選択されると、図46に示されるような画面が表示される。図46の右側には、コーナーの履歴を表示するコーナー履歴表示部1061が表示されている。この例では、コーナーBの履歴が表示されており、西暦2003年1月8日に放送された番組1におけるコーナーB、2003年1月15日に放送された番組1におけるコーナーB、および2003年1月22日に放送された番組1におけるコーナーBが再生可能な履歴として表示されている。
【0171】
ユーザは、コーナー履歴表示部1061が表示された履歴の中から所望の日付を選択し、再生ボタン1003を押下することにより、その映像(または音声)を再生する。
【0172】
また、例えば、番組内構造化定義ファイルを変更して、番組内の構造を変更することも可能である。図47は、図41と同様に、番組1がコーナーに分割された例を示す図であるが、図47において、コーナー902は、「オープニング」、「ニュース」、「料理」、「音楽」、「スポーツ」、および「エンディング」の各コーナーで構成されている。ジャンル901およびスポンサー903は、図41と同じである。
【0173】
この例において、番組1の第1番目のコーナーである「オープニング」は、番組の先頭部分A、番組内構造化用識別ジングル871、および番組1の一部分Bに対応しており、図41のコーナーAとコーナーBが接続されたものである。
【0174】
また、番組1の第2番目のコーナーである「ニュース」は、番組内構造化用識別ジングル872と番組の一部分Cに対応しており、番組1の第3番目のコーナーである「料理」は、番組内構造化用識別ジングル873対応している。これは、図41のコーナーCを2つのコーナーに分けたものである。
【0175】
また、番組1の第4番目のコーナーである「音楽」、第5番目のコーナー「スポーツ」、および第6番目のコーナー「エンディング」は、それぞれ、図41のコーナーD乃至コーナーEと同じである。
【0176】
この場合、図42に示した番組内構造化定義ファイルは、図48に示されるように変更される。すなわち、コーナーの名前を示す記述「<corner name= >」の部分にそれぞれのコーナー名(「オープニング」、「ニュース」、「料理」、・・・)が記述される。また、コーナー「オープニング」は、コーナーAとコーナーBが接続されたものなので、図42に示したコーナーAに関する記述950乃至954とコーナーBに関する記述970が、図48において行950−1乃至955−1のように変更される。
【0177】
行951−1には、「<pattern start=”BIGIN” end=”jingle872│exclude”/>」と記述され、コーナーAの開始位置とコーナーBの終了位置がコーナー「オープニング」の開始位置と終了位置とされている。また、行952−1乃至954−1には、「<keyword weight=”1”>***</keyword>」、「<keyword weight=”2”>@@</keyword>」、「<keyword weight=”2”>ooo</keyword>」と記述され、コーナーAのキーワードとコーナーBのキーワードが、コーナー「オープニング」のキーワードとされている。
【0178】
また、コーナー「ニュース」とコーナー「料理」は、図42に示したコーナーCが2つのコーナーに分けられたものであるので、図42のコーナーCに関する記述971が、図48のコーナー「ニュース」に関する記述970−1とコーナー「料理」に関する記述971−1の2つに分けられている。コーナー「音楽」に関する記述972−1、コーナー「スポーツ」に関する記述973−1、およびコーナー「エンディング」に関する記述974−1は、それぞれ、図42のコーナーDに関する記述972乃至コーナーFに関する記述974と同じである。
【0179】
スポンサーに関する記述991−1および992−1、並びに番組内構造化定義ファイルの終了を表す記述993−1についても、図42の記述991乃至993と同じである。
【0180】
このように、番組の構造が変更された場合、その番組を再生するとき表示される画面も変更される。例えば、図45に示される表示画面は、図49に示されるように変更される。図49には、図中右側の構造表示部1041に、図45のコーナーA乃至コーナーFに代わって、「オープニング」、「ニュース」、「料理」、「音楽」、「スポーツ」、および「エンディング」が表示されている。
【0181】
このようにして、構造化されて記憶される番組のコーナーには、そのコーナーを検索するとき用いられるキーワードが付与される。図50を参照してキーワード抽出処理について説明する。
【0182】
ステップS221において、記録部93のキーワード抽出部802は、番組コーナーのデータを再生する。ステップS222において、キーワード抽出部802は、音声認識を行い、ステップS223において、テロップ認識を行う。ステップS224において、キーワード抽出部802は、重み付け処理を行い、ステップS225において、キーワードを抽出する。
【0183】
図51を参照して、キーワード抽出処理について、さらに詳細に説明する。図51は、キーワード抽出部802の詳細な構成例を示すブロック図である。ステップS221で再生されたデータは、音声データの音声認識を行う音声認識部1111、および映像データのテロップ認識を行うテロップ認識部1112に供給され、ステップS222において、音声認識が行われ、所定の単語が抽出され、重み付加部1113に入力される。ステップS223において、テロップ認識が行われ、所定の単語が抽出され、重み付加部1113に入力される。また、番組内構造化定義ファイルから抽出されたコーナーの名前を現す情報も重み付加部1113に入力される。
【0184】
ステップS224において、重み付加部1113により、音声認識の結果抽出された単語に重みw1が乗じられ、テロップ認識の結果抽出された単語に重みw2が乗じられ、番組内構造化定義ファイルから抽出されたコーナーの名前を現す情報に重みw3が乗じられ、tf/idf部1114に出力される。さらに、tf/idf部1114により、tf/idf(Term Frequency/Inverse Document Frequency)による重み付けが行われる。このとき、例えば、前文検索におけるキーワードの重み付けが行われる。そして、ステップS225において、重み付けされたキーワードが抽出される。
【0185】
このようにして、番組のコーナーを検索するとき用いられるキーワードが抽出される。
【0186】
図52と図53を参照して、番組内のコーナーを検索する処理について説明する。図52は、番組を階層化表示させ、目的の番組コーナーを表示させる例を示す図である。この例では、図中左側にジャンルの一覧を表示するジャンル表示部1151が表示されており、その中の「ニュース」が選択されている。図中中央には、番組表示部1171が表示されており、そのジャンルが「ニュース」に属する番組の一覧が表示されている。
【0187】
図中右側には、選択された番組に含まれるコーナーの一覧を表示するコーナー表示部1191が表示されており、番組表示部1171の中で選択された番組に含まれるコーナーの一覧が表示されている。
【0188】
このようにして、ユーザは所望のコーナーを検索することができる。
【0189】
図53は、キーワードを用いて番組内のコーナーを検索し、表示させる例を示す図である。図中中央には、キーワードを入力するボックス1411が表示されており、ユーザは、検索したいキーワードをボックス1411に入力する。
【0190】
また、図中右側上部には、チェックボックス1611−1乃至1611−3が表示されている。ユーザは、検索したい情報、例えば、ジャンル名、番組名、またはコーナー名をチェックする。この例では、コーナー名がチェックされている。
【0191】
ボックス1411にキーワードを入力し、チェックボックス1611−1乃至1611−3のいずれかをチェックした状態で、検索ボタン1412が押下されると、検索結果が、結果表示部1413に表示される。このとき、ボックス1411に入力されたキーワードと、図50を参照して上述した処理により抽出されたキーワードが比較され、キーワードが一致したコーナーが、結果表示部1413に表示される。
【0192】
このようにして、ユーザは、キーワードを用いて所望の番組コーナーを検索することができる。
【0193】
以上においては、ジングルに基づいて、番組をコーナーに分割し、構造化して記憶する例について説明したが、ジングルに基づいて、コーナーをさらに細かく分割し、構造化して記憶することも可能である。
【0194】
図54は、このとき分割されるコーナー(例えば、コーナーA)の構成例を示す図である。この例では、コーナーAには、コーナーの開始ジングル2001、およびスペーサジングル2021乃至2023が含まれている。
【0195】
この場合、図39を参照して上述した番組構造化処理と同様の処理により、コーナーAは、開始ジングル2001とスペーサジングル2021で挟まれるパート(パートA)、スペーサジングル2021とスペーサジングル2022で挟まれるパート(パートB)、スペーサジングル2022とスペーサジングル2023で挟まれるパート(パートC)、およびスペーサジングル2023からコーナー終了までのパート(パートD)の4つのパートに分割され、番組内構造化定義ファイルに記述される。
【0196】
なお、上述した一連の処理をハードウェアで実現するか、ソフトウェアで実現するかは問わない。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図55に示されるような汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【0197】
図55において、CPU(Central Processing Unit)2101は、ROM(Read Only Memory)2102に記憶されているプログラム、または記憶部2108からRAM(Random Access Memory)2103にロードされたプログラムに従って各種の処理を実行する。RAM2103にはまた、CPU2101が各種の処理を実行する上において必要なデータなども適宜記憶される。
【0198】
CPU2101、ROM2102、およびRAM2103は、バス2104を介して相互に接続されている。このバス2104にはまた、入出力インタフェース2105も接続されている。
【0199】
入出力インタフェース2105には、キーボード、マウスなどよりなる入力部2106、CRT(Cathode Ray Tube)、LCD(Liquid Crystal display)などよりなるディスプレイ(表示部)、並びにスピーカなどよりなる出力部2107、ハードディスクなどより構成される記憶部2108、モデム、ターミナルアダプタなどより構成される通信部2109が接続されている。通信部2109は、インターネットなどのネットワークを介しての通信処理を行う。
【0200】
入出力インタフェース2105にはまた、必要に応じてドライブ2110が接続され、ドライブ2110には、本発明のプログラムが記録された記録媒体として、例えば、リムーバブルメディア2111が装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部2108にインストールされる。
【0201】
なお、本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【0202】
【発明の効果】
以上の如く本発明によれば、録画された番組の中から所望のコーナーを簡単に検索し、再生できるようにすることができる。
【図面の簡単な説明】
【図1】番組表の構成例を示す図である。
【図2】従来の記録装置において設定される情報の例を示す図である。
【図3】放送される番組のコーナーの例を示す図である。
【図4】従来の番組内のコーナーの識別方法の例を示す図である。
【図5】本発明の番組記録システムの構成例を示すブロック図である。
【図6】図5のジングル作成部の構成例を示すブロック図である。
【図7】ジングルデータ作成処理を説明するフローチャートである。
【図8】自動抽出処理を説明するフローチャートである。
【図9】手動抽出処理を説明するフローチャートである。
【図10】ジングルデータの構成例を示す図である。
【図11】番組とジングルの関係を示す図である。
【図12】番組内のジングルの構成例を示す図である。
【図13】番組の開始端の例を示す図である。
【図14】番組の終了端の例を示す図である。
【図15】番組録画処理を説明するフローチャートである。
【図16】番組予約処理を説明するフローチャートである。
【図17】開始ジングルパターンモニタ処理を説明するフローチャートである。
【図18】図5のジングルモニタ部の構成例を示すブロック図である。
【図19】図18の観測値演算部の構成例を示すブロック図である。
【図20】図18の評価値演算部の構成例を示すブロック図である。
【図21】ジングルの音声信号の波形の例を示す図である。
【図22】バンドパスフィルタにおける周波数と透過率の関係を示す図である。
【図23】周波数スペクトルに分解された音声信号の例を示す図である。
【図24】図23の周波数スペクトルスペクトルをメッシュ分解した例を示す図である。
【図25】観測値の音響成分または音声成分の構成例を示す図である。
【図26】ジングルの映像の例を示す図である。
【図27】図26の映像に作用させるマスクの例、および図26の映像を周波数成分に分解した例を示す図である。
【図28】観測値の映像成分の構成例を示す図である。
【図29】観測値とジングルデータの音響成分または音声成分をベクトル化する例を示す図である。
【図30】観測値とジングルデータの映像成分をベクトル化する例を示す図である。
【図31】終了ジングルパターンモニタ処理を説明するフローチャートである。
【図32】番組の記録開始位置と記録終了位置の例を示す図である。
【図33】保存部分特定処理を説明するフローチャートである。
【図34】番組開始位置と番組終了位置を指定するコマンドの例を示す図である。
【図35】録画対象番組の開始ジングルパターンと終了ジングルパターンを用いて番組の端処理を行う例を示す図である。
【図36】番組開始位置と番組終了位置を指定するコマンドの例を示す図である。
【図37】録画対象番組に隣接する番組の開始ジングルパターンと終了ジングルパターンを用いて番組の端処理を行う例を示す図である。
【図38】図5の記録部の構成例を示すブロック図である。
【図39】番組構造化処理を説明するフローチャートである。
【図40】番組内のコーナーとジングルの関係を示す図である
【図41】番組をコーナーに分割する例を示す図である。
【図42】番組内構造化定義ファイルの構成例を示す図である。
【図43】録画した番組を再生するとき表示される画面の表示例を示す図である。
【図44】録画した番組をジャンル別に表示する画面の表示例を示す図である。
【図45】録画した番組内のコーナーを表示する画面の表示例を示す図である。
【図46】録画した番組のコーナーの履歴を表示する画面の表示例を示す図である。
【図47】図41のコーナーを変更する例を示す図である。
【図48】図42の番組内構造化定義ファイルの変更例を示す図である。
【図49】録画した番組のコーナーを表示する画面の他の表示例を示す図である。
【図50】番組コーナーキーワード抽出処理を説明するフローチャートである。
【図51】図38のキーワード抽出部の構成例を示すブロック図である。
【図52】録画した番組内のコーナーを検索するとき表示される画面の表示例を示す図である。
【図53】録画した番組を、キーワードを用いて検索するとき表示される画面の表示例を示す図である。
【図54】コーナーを構成するパートの例を示す図である。
【図55】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
51 サーバ, 52 記録装置, 71 ジングル付与部, 72 ジングルDB, 74 ジングル作成部, 91 番組予約部, 92 ジングルモニタ部, 93 録画部, 94 記憶部, 95 再生部, 114 自動抽出部, 112 手動抽出部, 401 観測値演算部, 402 評価値演算部, 403 制御部, 801 構造化ファイル作成部, 802 キーワード抽出部, 803 制御部
Claims (18)
- ネットワークを介して相互に接続される記録装置と情報処理装置からなるコンテンツ記録システムであって、
前記情報処理装置は、
放送された番組の映像または音声のデータと、番組の放送時刻を表す番組表データを取得し、前記映像または音声のデータと前記番組表データに基づいて、番組の区切点を表すジングルのジングルデータを作成し、
前記番組表データに前記ジングルデータを付与し、
前記ジングルデータが付与された番組表データを、前記ネットワークを介して前記記録装置に提供し、
前記記録装置は、
前記ジングルデータが付与された番組表データを取得し、
前記ジングルデータが付与された番組表データに基づいて、番組の録画予約を設定し、
放送される番組の映像または音声のデータを解析し、録画予約が設定された前記番組のジングルを抽出し、
抽出されたジングルに基づいて、前記番組の録画を開始または終了し、
録画された前記番組を前記ジングルに基づいて、コーナーに分割し、構造化してデータベースに記憶する
ことを特徴とするコンテンツ記録システム。 - ネットワークを介して相互に接続される記録装置と情報処理装置からなるコンテンツ記録システムのコンテンツ記録方法であって、
前記情報処理装置は、
放送された番組の映像または音声のデータと、番組の放送時刻を表す番組表データを取得し、前記映像または音声のデータと前記番組表データに基づいて、番組の区切点を表すジングルのジングルデータを作成し、
前記番組表データに前記ジングルデータを付与し、
前記ジングルデータが付与された番組表データを、前記ネットワークを介して前記記録装置に提供し、
前記記録装置は、
前記ジングルデータが付与された番組表データを取得し、
前記ジングルデータが付与された番組表データに基づいて、番組の録画予約を設定し、
放送される番組の映像または音声のデータを解析し、録画予約が設定された前記番組のジングルを抽出し、
抽出されたジングルに基づいて、前記番組の録画を開始または終了し、
録画された前記番組を前記ジングルに基づいて、コーナーに分割し、構造化してデータベースに記憶する
ことを特徴とするコンテンツ記録方法。 - ネットワークを介して情報処理装置と接続され、放送される番組を記録する記録装置であって、
前記情報処理装置から番組の区切点を表すジングルのジングルデータが付与された番組表データを取得し、前記ジングルデータが付与された番組表データに基づいて、番組の録画予約を設定する予約手段と、
放送される番組の映像または音声のデータを解析し、録画予約が設定された前記番組の区切点を表すジングルを抽出する抽出手段と、
抽出されたジングルに基づいて、前記番組の録画を開始または終了する録画手段と、
抽出された前記ジングルに基づいて、録画された前記番組をコーナーに分割し、構造化する構造化手段と、
前記構造化手段により構造化された前記番組をデータベースとして記憶する記憶手段と
を備えることを特徴とする記録装置。 - 前記構造化手段により分割された前記コーナーのキーワードを抽出するキーワード抽出手段をさらに備え、
前記記憶手段は、前記構造化手段により構造化された前記番組と、前記キーワード抽出手段により抽出された前記キーワードを対応づけてデータベースに記憶する
ことを特徴とする請求項3に記載の記録装置。 - ユーザの指示に基づいて、前記データベースに記憶された前記番組または前記番組を構成するコーナーを検索し、検索された前記番組または前記番組を構成するコーナーを再生する再生手段をさらに備える
ことを特徴とする請求項3に記載の記録装置。 - 前記ジングルデータは、
前記ジングルの音声データの特徴を表す、音響成分および音声成分と、
前記ジングルの映像データの特徴を表す、映像成分と、
前記音響成分、前記音声成分、および前記映像成分の重要度を表す重み情報と、
前記音響成分、前記音声成分、および前記映像成分に基づいて、ジングルを特定するために必要な閾値とを有する
ことを特徴とする請求項3に記載の記録装置。 - 前記音響成分および前記音声成分は、前記ジングルの音声データの周波数成分に基づいて生成され、
前記映像成分は、前記ジングルの映像データの周波数成分に基づいて生成される
ことを特徴とする請求項6に記載の記録装置。 - 前記抽出手段は、
前記番組の映像または音声のデータの特徴量を算出し、観測値を演算する観測値演算手段と、
前記観測値演算手段により演算された観測値と、前記情報処理装置から取得されたジングルデータを比較し、前記観測値と前記ジングルデータの近似性を表す近似評価値を演算する評価値演算手段と
を備えることを特徴とする請求項3に記載の記録装置。 - 前記観測値演算手段は、
前記番組の音声データの周波数成分に基づいて、前記観測値の音響成分と音声成分を演算し、
前記番組の映像データの周波数成分に基づいて、前記観測値の映像成分を演算する
ことを特徴とする請求項8に記載の記録装置。 - 前記評価値演算手段は、
前記ジングルデータの音響成分と前記観測値の音響成分を比較して音響評価値を演算し、
前記ジングルデータの音声成分と前記観測値の音声成分を比較して音声評価値を演算し、
前記ジングルデータの映像成分と前記観測値の映像成分を比較して映像評価値を演算し、
前記音響評価値、前記音声評価値、および前記映像評価値に対して前記ジングルデータに含まれる重みを付加し、
重みが付加された前記音響評価値、前記音声評価値、および前記映像評価値に基づいて、前記近似評価値を演算する
ことを特徴とする請求項8に記載の記録装置。 - 前記抽出手段は、前記近似評価値と前記ジングルデータに含まれる閾値を比較し、比較の結果に基づいて、前記ジングルを抽出する
ことを特徴とする請求項10に記載の記録装置。 - 前記構造化手段は、
前記番組をコーナーに分割し、コーナーに分割された番組の構造に関する情報を表す構造化ファイルを作成する
ことを特徴とする請求項5に記載の記録装置。 - 前記構造化手段は、ユーザの指示に基づいて、前記構造化ファイルを変更する
ことを特徴とする請求項12に記載の記録装置。 - 前記構造化ファイルには、前記番組を構成するコーナーの名前を表す情報と、
前記コーナーの開始位置および終了位置を特定するジングルの情報と、
前記コーナーのキーワードを表す情報と
が含まれることを特徴とする請求項12に記載の記録装置。 - 前記キーワード抽出手段は、
前記コーナーの映像データに含まれるテロップに表示される単語を認識するテロップ認識手段と、
前記コーナーの音声データに含まれる単語を認識する音声認識手段と、
前記テロップ認識手段により認識された単語と前記音声認識手段により認識された単語に対して、予め設定された重みを付加する重み付け手段と
を備えることを特徴とする請求項4に記載の記録装置。 - ネットワークを介して情報処理装置と接続され、放送される番組を記録する記録装置の記録方法であって、
前記情報処理装置から番組の区切点を表すジングルのジングルデータが付与された番組表データを取得し、前記ジングルデータが付与された番組表データに基づいて、番組の録画予約を設定する予約ステップと、
放送される番組の映像または音声のデータを解析し、録画予約が設定された前記番組の区切点を特定するジングルを抽出する抽出ステップと、
抽出されたジングルに基づいて、前記番組の録画を開始または終了する録画ステップと、
抽出された前記ジングルに基づいて、録画された前記番組をコーナーに分割し、構造化する構造化ステップとを含み、
前記構造化ステップの処理により構造化された前記番組をデータベースとして記憶する
ことを特徴とする記録方法。 - ネットワークを介して情報処理装置と接続され、放送される番組を記録する記録装置のプログラムであって、
前記情報処理装置から番組の区切点を表すジングルのジングルデータが付与された番組表データを取得し、前記ジングルデータが付与された番組表データに基づいて、番組の録画予約の設定を制御する予約制御ステップと、
放送される番組の映像または音声のデータを解析し、録画予約が設定された前記番組の区切点を特定するジングルの抽出を制御する抽出制御ステップと、
抽出されたジングルに基づいて、前記番組の録画の開始または終了を制御する録画制御ステップと、
抽出された前記ジングルに基づいて、録画された前記番組をコーナーに分割し、構造化するように制御する構造化制御ステップと
をコンピュータに実行させることを特徴とするプログラム。 - ネットワークを介して情報処理装置と接続され、放送される番組を記録する記録装置のプログラムが記録される記録媒体であって、
前記情報処理装置から番組の区切点を表すジングルのジングルデータが付与された番組表データを取得し、前記ジングルデータが付与された番組表データに基づいて、番組の録画予約の設定を制御する予約制御ステップと、
放送される番組の映像または音声のデータを解析し、録画予約が設定された前記番組の区切点を特定するジングルの抽出を制御する抽出制御ステップと、
抽出されたジングルに基づいて、前記番組の録画の開始または終了を制御するする録画制御ステップと、
抽出された前記ジングルに基づいて、録画された前記番組をコーナーに分割し、構造化するように制御する構造化制御ステップと
をコンピュータに実行させるプログラムが記録されることを特徴とする記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003157588A JP2004363749A (ja) | 2003-06-03 | 2003-06-03 | コンテンツ記録システムおよび方法、記録装置および方法、プログラム、並びに記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003157588A JP2004363749A (ja) | 2003-06-03 | 2003-06-03 | コンテンツ記録システムおよび方法、記録装置および方法、プログラム、並びに記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004363749A true JP2004363749A (ja) | 2004-12-24 |
Family
ID=34051249
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003157588A Withdrawn JP2004363749A (ja) | 2003-06-03 | 2003-06-03 | コンテンツ記録システムおよび方法、記録装置および方法、プログラム、並びに記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004363749A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007013308A1 (ja) * | 2005-07-28 | 2007-02-01 | Matsushita Electric Industrial Co., Ltd. | 番組録画装置、番組管理サーバ、番組管理方法、番組管理プログラム及び番組管理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2010044614A (ja) * | 2008-08-13 | 2010-02-25 | Nippon Hoso Kyokai <Nhk> | キーフレーズ抽出装置、シーン分割装置およびプログラム |
WO2017056387A1 (ja) * | 2015-09-29 | 2017-04-06 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
-
2003
- 2003-06-03 JP JP2003157588A patent/JP2004363749A/ja not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007013308A1 (ja) * | 2005-07-28 | 2007-02-01 | Matsushita Electric Industrial Co., Ltd. | 番組録画装置、番組管理サーバ、番組管理方法、番組管理プログラム及び番組管理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2010044614A (ja) * | 2008-08-13 | 2010-02-25 | Nippon Hoso Kyokai <Nhk> | キーフレーズ抽出装置、シーン分割装置およびプログラム |
WO2017056387A1 (ja) * | 2015-09-29 | 2017-04-06 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4332988B2 (ja) | 信号処理装置及び方法 | |
JP4683253B2 (ja) | Av信号処理装置および方法、プログラム、並びに記録媒体 | |
JP5010292B2 (ja) | 映像属性情報出力装置、映像要約装置、プログラムおよび映像属性情報出力方法 | |
US20180068690A1 (en) | Data processing apparatus, data processing method | |
JP5142769B2 (ja) | 音声データ検索システム及び音声データの検索方法 | |
EP1081960B1 (en) | Signal processing method and video/voice processing device | |
US6697564B1 (en) | Method and system for video browsing and editing by employing audio | |
JP5029030B2 (ja) | 情報付与プログラム、情報付与装置、および情報付与方法 | |
US20030236663A1 (en) | Mega speaker identification (ID) system and corresponding methods therefor | |
US20070061352A1 (en) | System & method for integrative analysis of intrinsic and extrinsic audio-visual | |
US20080187231A1 (en) | Summarization of Audio and/or Visual Data | |
JP2008022103A (ja) | テレビ番組動画像ハイライト抽出装置及び方法 | |
US20030194210A1 (en) | Moving image playback apparatus, moving image playback method, and computer program thereof | |
JP2006500859A (ja) | コマーシャル推奨器 | |
KR20060008897A (ko) | 콘텐트 분석을 사용하여 뮤직 비디오를 요약하기 위한 방법및 장치 | |
JP2005173569A (ja) | オーディオ信号の分類装置及び方法 | |
KR20070121810A (ko) | 복합 뉴스 스토리 합성 | |
US8209348B2 (en) | Information processing apparatus, information processing method, and information processing program | |
KR20010099712A (ko) | 신호처리장치 및 방법 | |
EP3839953A1 (en) | Automatic caption synchronization and positioning | |
JP5257356B2 (ja) | コンテンツ分割位置判定装置、コンテンツ視聴制御装置及びプログラム | |
JP2000285242A (ja) | 信号処理方法及び映像音声処理装置 | |
KR20050026965A (ko) | 비디오 시스템의 작동 제어 방법 및 시스템 | |
JP2004363749A (ja) | コンテンツ記録システムおよび方法、記録装置および方法、プログラム、並びに記録媒体 | |
JP2004289530A (ja) | 記録再生装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060905 |