以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の第1の側面の情報処理システムは、通信網を介して接続されている第1の情報処理装置(例えば、図2のサーバ12)および第2の情報処理装置(例えば、図3のクライアント13)からなる情報処理システムであって、前記第1の情報処理装置は、テレビジョン放送された番組に含まれているコマーシャルメッセージを検出する検出手段(例えば、図2の検出部61)と、検出された前記コマーシャルメッセージの特徴量を算出する特徴量算出手段(例えば、図2の特徴量算出部62)と、前記コマーシャルメッセージに関する情報である付加情報と、そのコマーシャルメッセージの前記特徴量とを記録する第1の記録手段(例えば、図2のデータベース21)と、コマーシャルメッセージが放送された期間を含む特定条件であって、コマーシャルメッセージを特定するための特定条件に基づいて、これまでに検出された前記コマーシャルメッセージのうち、前記特定条件を満たすコマーシャルメッセージを検索する検索手段(例えば、図2の検索部64)と、前記第2の情報処理装置から送信されてきた、前記特定条件を満たすコマーシャルメッセージの前記付加情報および前記特徴量の送信を要求する送信要求を受信し、検索の結果得られた前記特定条件を満たす全てのコマーシャルメッセージの前記付加情報および前記特徴量を前記第2の情報処理装置に送信する第1の通信手段(例えば、図2の通信部58)とを備え、前記第2の情報処理装置は、前記送信要求を前記第1の情報処理装置に送信し、前記第1の情報処理装置から送信されてきた前記付加情報および前記特徴量を受信する第2の通信手段(例えば、図3の通信部100)と、受信された前記付加情報および前記特徴量を記録する第2の記録手段(例えば、図3のデータベース95)とを備える。
本発明の第2の側面の情報処理装置は、テレビジョン放送された番組に含まれているコマーシャルメッセージを検出する検出手段(例えば、図2の検出部61)と、検出された前記コマーシャルメッセージの特徴量を算出する特徴量算出手段(例えば、図2の特徴量算出部62)と、前記コマーシャルメッセージに関する情報である付加情報と、そのコマーシャルメッセージの前記特徴量とを記録する記録手段(例えば、図2のデータベース21)と、コマーシャルメッセージが放送された期間を含む特定条件であって、コマーシャルメッセージを特定するための特定条件に基づいて、これまでに検出された前記コマーシャルメッセージのうち、前記特定条件を満たすコマーシャルメッセージを検索する検索手段(例えば、図2の検索部64)と、送信されてきた、前記特定条件を満たすコマーシャルメッセージの前記付加情報および前記特徴量の送信を要求する送信要求を受信し、検索の結果得られた前記特定条件を満たす全てのコマーシャルメッセージの前記付加情報および前記特徴量を送信する通信手段(例えば、図2の通信部58)とを備える。
情報処理装置には、前記情報処理装置の管理者により入力された、検出されたコマーシャルメッセージの前記付加情報を取得する取得手段(例えば、図2の入力制御部55)をさらに設けることができる。
前記通信手段には、通信網を介して接続されている他の情報処理装置から送信されてきた、検出されたコマーシャルメッセージの前記付加情報を受信させる(例えば、図28のステップS333の処理)ことができる。
本発明の第2の側面の情報処理方法またはプログラムは、テレビジョン放送された番組に含まれているコマーシャルメッセージを検出し(例えば、図4のステップS12)、検出された前記コマーシャルメッセージの特徴量を求め(例えば、図4のステップS14)、前記コマーシャルメッセージに関する情報である付加情報と、そのコマーシャルメッセージの前記特徴量との記録を制御し(例えば、図4のステップS19および図8のステップS44)、送信されてきた、コマーシャルメッセージが放送された期間を含む特定条件であって、コマーシャルメッセージを特定するための特定条件を満たすコマーシャルメッセージの前記付加情報および前記特徴量の送信を要求する送信要求の受信を制御し(例えば、図12のステップS72)、これまでに検出された前記コマーシャルメッセージのうち、受信した前記特定条件を満たすコマーシャルメッセージを検索し(例えば、図12のステップS75)、検索の結果得られた前記特定条件を満たす全てのコマーシャルメッセージの前記付加情報および前記特徴量の送信を制御する(例えば、図12のステップS76)ステップを含む。
本発明の第3の側面の情報処理装置は、コマーシャルメッセージが放送された期間を含む特定条件であって、コマーシャルメッセージを特定するための特定条件を満たすコマーシャルメッセージに関する情報である付加情報、およびそのコマーシャルメッセージの特徴量の送信を要求する送信要求を送信し、前記送信要求に応じて送信されてきた、前記特定条件を満たす全てのコマーシャルメッセージの前記付加情報および前記特徴量を受信する通信手段(例えば、図3の通信部100)と、受信された前記付加情報および前記特徴量を記録する記録手段(例えば、図3のデータベース95)とを備える。
情報処理装置には、テレビジョン放送された番組に含まれているコマーシャルメッセージを検出する検出手段(例えば、図3の検出部112)と、検出された前記コマーシャルメッセージの特徴量を算出する特徴量算出手段(例えば、図3の特徴量算出部113)と、検出された前記コマーシャルメッセージの前記特徴量と、記録されている前記特徴量とを比較して、検出された前記コマーシャルメッセージの前記付加情報を検索する検索手段(例えば、図3の検索部115)とをさらに設けることができる。
情報処理装置には、前記記録手段に記録されている前記付加情報のうち、受信されてから所定の期間以上検索の結果として得られなかった付加情報と、その付加情報のコマーシャルメッセージの前記特徴量とを削除する削除手段(例えば、図3の登録部114)をさらに設けることができる。
情報処理装置には、記録されている前記付加情報を参照して、入力されたキーワードにより特定されるコマーシャルメッセージを検索する検索手段(例えば、図3の検索部115)をさらに設けることができる。
情報処理装置には、前記記録手段に記録されている前記付加情報および前記特徴量のうち、受信されてから所定の期間以上検索の結果として得られなかったコマーシャルメッセージの前記付加情報および前記特徴量を削除する削除手段(例えば、図3の登録部114)をさらに設けることができる。
情報処理装置には、前記記録手段に記録されている前記付加情報および前記特徴量のうち、受信されてから所定の期間以上経過した前記付加情報および前記特徴量を削除する削除手段(例えば、図3の登録部114)をさらに設けることができる。
情報処理装置には、テレビジョン放送された番組を受信する受信手段(例えば、図3の放送受信部91)と、受信された番組に含まれているコマーシャルメッセージを検出する検出手段(例えば、図3の検出部112)と、検出された前記コマーシャルメッセージの特徴量を算出する特徴量算出手段(例えば、図3の特徴量算出部113)と、検出された前記コマーシャルメッセージの前記特徴量と、前記記録手段に記録されている前記特徴量であって、録画が予約されたコマーシャルメッセージの前記特徴量とが一致する場合、検出された前記コマーシャルメッセージを録画する録画手段(例えば、図3の登録部114)とをさらに設けることができる。
本発明の第3の側面の情報処理方法またはプログラムは、コマーシャルメッセージが放送された期間を含む特定条件であって、コマーシャルメッセージを特定するための特定条件を満たすコマーシャルメッセージに関する情報である付加情報、およびそのコマーシャルメッセージの特徴量の送信を要求する送信要求の送信を制御し(例えば、図13のステップS102)、前記送信要求に応じて送信されてきた、前記特定条件を満たす全てのコマーシャルメッセージの前記付加情報および前記特徴量の受信を制御し(例えば、図13のステップS103)、受信された前記付加情報および前記特徴量の記録を制御する(例えば、図13のステップS104)ステップを含む。
以下、図面を参照して、本発明を適用した実施の形態について説明する。
図1は、本発明を適用したCM情報提供システムの一実施の形態の構成例を示している。CM情報提供システムは、放送局11、サーバ12、およびクライアント13−1乃至クライアント13−N(但し、クライアント13−2乃至クライアント13−(N−1)は図示せず)から構成されている。
このCM情報提供システムにおいては、サーバ12およびクライアント13−1乃至クライアント13−Nが、インターネットなどからなる通信網14を介して相互に接続されている。
放送局11は、番組本編およびコマーシャルメッセージ(以下、単にコマーシャルと称する)からなる番組をテレビジョン放送する。
サーバ12は、放送局11において放送された番組を受信し、番組に含まれているコマーシャルと、そのコマーシャルに関する情報であるCM情報とを関係付けて記録する。ここで、CM情報とは、コマーシャルの特徴を示す特徴量と、そのコマーシャルにより宣伝されている企業名、商品名、URL(Uniform Resource Locator)方式で記述された商品を紹介するウェブサイトのアドレス(以下、単にURLと称する)、出演俳優、楽曲、コマーシャルが放送された期間などのコマーシャルに関する付加情報とからなる情報をいう。
サーバ12にはデータベース21が設けられており、サーバ12は、受信した番組に含まれているコマーシャル、およびそのコマーシャルのCM情報をデータベース21に記録する。
また、サーバ12は、通信網14を介してクライアント13−1乃至クライアント13−Nの何れかからの要求に応じて、所定の条件を満たすコマーシャルに関係付けられているCM情報を検索し、その結果得られた全てのCM情報を、通信網14を介してCM情報の送信を要求してきたクライアント(クライアント13−1乃至クライアント13−Nの何れか)にまとめて送信する。
クライアント13−1乃至クライアント13−Nのそれぞれは、例えば、パーソナルコンピュータ、ハードディスクレコーダなどから構成され、放送局11から放送される番組の視聴者であるユーザにより操作される。
クライアント13−1乃至クライアント13−Nのそれぞれは、放送局11において放送された番組を受信して番組を表示したり、受信した番組を録画したりする。また、クライアント13−1乃至クライアント13−Nのそれぞれは、ユーザの操作に応じて、所定の条件を満たすコマーシャルに関係付けられているCM情報の送信をサーバ12に対して要求し、その要求に応じてサーバ12から送信されてきたCM情報を受信する。
また、クライアント13−1乃至クライアント13−Nのそれぞれは、受信したCM情報に含まれている付加情報を表示し、ユーザにコマーシャルに関する情報を提示する。なお、以下、クライアント13−1乃至クライアント13−Nのそれぞれを個々に区別する必要のない場合、単にクライアント13と称する。
なお、図1には1つの放送局11が示されているが、番組を放送する放送局は1つであっても複数であってもよい。
図2は、図1に示したサーバ12の構成例を示すブロック図である。
サーバ12は、データベース21、放送受信部51、制御部52、プログラム記録部53、入力部54、入力制御部55、出力制御部56、出力部57、および通信部58から構成される。
放送受信部51は、テレビジョン放送された番組を受信し、受信した番組から、番組の映像信号やチャンネル情報、放送モード情報、デジタルテレビジョン放送により放送されるデータ放送等の映像信号に付随する情報などを必要に応じて抽出し、制御部52に供給する。ここで、放送モード情報とは、例えば受信した番組がステレオ放送、モノラル放送、または2カ国語放送の何れかであることを示す情報をいう。
制御部52は、プログラム記録部53に記録されている各種のプログラムを読み込んで実行し、サーバ12の全体の動作を制御する。制御部52は、検出部61、特徴量算出部62、登録部63、および検索部64から構成される。
検出部61は、放送受信部51から供給された番組の映像信号からコマーシャルを検出し、検出されたコマーシャルを登録部63に供給する。特徴量算出部62は、放送受信部51から供給された番組の映像信号を基に、検出されたコマーシャルの特徴を示す特徴量を算出し、登録部63に供給する。
登録部63は、検出部61から供給されたコマーシャル、および特徴量算出部62から供給された特徴量をデータベース21に供給して記録させることによって、コマーシャルを付加情報登録待ちリストに登録する。
ここで、データベース21には、新たに検出されたコマーシャルであって、サーバ12の管理者によって、そのコマーシャルに関する情報である付加情報が入力されていないコマーシャルのリストである付加情報登録待ちリストが記録されている。この付加情報登録待ちリストには、新たに検出されたコマーシャルおよびそのコマーシャルの特徴量などが含まれている。
また、登録部63は、データベース21の付加情報登録待ちリストに登録されているコマーシャルの一覧を出力制御部56に供給する。
さらに、登録部63は、付加情報登録待ちリストに登録されているコマーシャルの付加情報が入力制御部55から供給されると、付加情報登録待ちリストに含まれているそのコマーシャル、特徴量、および入力制御部55から供給された付加情報が、データベース21に記録されている付加情報登録済みリストに含まれるように付加情報登録済みリストを更新して、コマーシャルを付加情報登録済みリストに登録する。なお、付加情報登録済みリストの詳細は後述するが、付加情報登録済みリストには、登録されているコマーシャル、そのコマーシャルの特徴量、および付加情報などの情報が含まれている。
検索部64は、データベース21の付加情報登録済みリストに登録されているコマーシャルのうち、所定の条件を満たすコマーシャルを検索し、検索の結果得られたコマーシャルの付加情報および特徴量をCM情報として通信部58に供給する。
データベース21は、例えば、ハードディスクなどからなり、付加情報登録待ちリスト、付加情報登録済みリストなどの各種のデータや情報を記録する。入力部54は、マウスやキーボードなどからなり、サーバ12の管理者の操作に応じた信号を入力制御部55に供給する。入力制御部55は、入力部54から管理者の操作に応じた信号を取得して登録部63に供給する。
出力制御部56は、登録部63から供給されたコマーシャルの一覧などを出力部57に供給して表示させる。出力部57は、液晶ディスプレイ、スピーカなどからなり、出力制御部56から供給された映像信号等に基づいて、画像や音声を再生する。通信部58は、通信網14を介してクライアント13と通信し、各種のデータや情報の送受信を行う。
なお、図2に示すサーバ12には、入力部54および出力部57が設けられているが、これらの入力部54および出力部57は、サーバ12とは別の装置であってもよい。
図3は、図1に示したクライアント13の構成例を示すブロック図である。
クライアント13は、放送受信部91、制御部92、映像記録部93、プログラム記録部94、データベース95、入力部96、入力制御部97、出力制御部98、出力部99、および通信部100から構成される。
放送受信部91は、テレビジョン放送された番組を受信し、受信した番組から、番組の映像信号やチャンネル情報、放送モード情報、デジタルテレビジョン放送により放送されるデータ放送等の映像信号に付随する情報などを必要に応じて抽出し、制御部92に供給する。
制御部92は、プログラム記録部94に記録されている各種のプログラムを読み込んで実行し、クライアント13の全体の動作を制御する。制御部92は、記録再生部111、検出部112、特徴量算出部113、登録部114、および検索部115から構成される。
記録再生部111は、放送受信部91から供給された番組の映像信号を、映像記録部93、出力制御部98、または検出部112および特徴量算出部113に供給する。また、記録再生部111は、映像記録部93から取得した番組の映像信号を出力制御部98、または検出部112および特徴量算出部113に供給する。
検出部112は、記録再生部111から供給された番組の映像信号からコマーシャルを検出する。特徴量算出部113は、記録再生部111から供給された番組の映像信号を基に、検出されたコマーシャルの特徴を示す特徴量を算出し、登録部114に供給する。
登録部114は、特徴量算出部113から供給された特徴量をデータベース95に供給して記録させることによって、コマーシャルを付加情報登録待ちリストに登録する。
ここで、データベース95には、新たに検出されたコマーシャルであって、サーバ12から付加情報が取得されていないコマーシャルのリストである付加情報登録待ちリストが記録されている。この付加情報登録待ちリストには、新たに検出されたコマーシャルの特徴量などが含まれている。
また、登録部114は、クライアント13がサーバ12からCM情報を受信すると、受信したCM情報に含まれている特徴量および付加情報が、データベース95に記録されている付加情報登録済みリストに含まれるように付加情報登録済みリストを更新して、コマーシャルを付加情報登録済みリストに登録する。なお、付加情報登録済みリストの詳細は後述するが、データベース95に記録されている付加情報登録済みリストには、登録されているコマーシャルの特徴量および付加情報などの情報が含まれている。
検索部115は、データベース95の付加情報登録済みリストに登録されているコマーシャルのうち、所定の条件を満たすコマーシャルを検索し、検索の結果得られたコマーシャルの付加情報を出力制御部98に供給する。
映像記録部93は、例えば、ハードディスクなどからなり、記録再生部111から供給された番組の映像信号を記録する。データベース95は、例えば、ハードディスクなどからなり、映像記録部93に記録されている番組に含まれているコマーシャルの位置などを示す情報であるCM位置情報や、付加情報登録待ちリスト、付加情報登録済みリストなどの各種のデータや情報を記録する。
入力部96は、マウス、キーボード、リモートコマンダなどからなり、ユーザの操作に応じた信号を入力制御部97に供給する。入力制御部97は、入力部96からユーザの操作に応じた信号を取得して、記録再生部111、登録部114、または検索部115に供給する。
出力制御部98は、記録再生部111、登録部114、または検索部115から供給された映像信号や各種の情報などを出力部99に供給する。出力部99は、液晶ディスプレイ、スピーカなどからなり、出力制御部98から供給された映像信号等に基づいて、画像や音声を再生する。通信部100は、通信網14を介してサーバ12と通信し、各種のデータや情報の送受信を行う。
なお、図3に示すクライアント13には、入力部96および出力部99が設けられているが、これらの入力部96および出力部99は、クライアント13とは別の装置であってもよい。
ところで、サーバ12は、放送局11において放送される番組を受信して、受信した番組からコマーシャルを検出し、新たなコマーシャルが検出された場合には、そのコマーシャルを付加情報登録待ちリストに登録する処理を行う。
以下、図4のフローチャートを参照して、サーバ12が新たなコマーシャルを検出して付加情報登録待ちリストに登録する処理である仮登録処理について説明する。
ステップS11において、放送受信部51は、放送局11から放送された番組を受信し、検出部61および特徴量算出部62に供給する。ここで、放送局11からアナログ放送信号である番組が送信されてきた場合、放送受信部51は、受信したアナログ信号である番組の映像信号を、デジタル信号である映像信号に変換して、検出部61および特徴量算出部62に供給する。
ステップS12において、検出部61は、放送受信部51から供給された番組からコマーシャルを検出する。例えば、検出部61は、特開2002−16873号広報に記載されている技術を利用してコマーシャルを検出する。
すなわち、検出部61は、コマーシャルが放送される時間の長さ、音量、映像の切り替わりなどのほぼ全てのコマーシャルが有する特徴を必須条件とし、必須条件に基づいて番組からコマーシャルの候補となる区間を検出する。そして、さらに検出部61は、コマーシャルらしさを示す指標である付加条件などに基づいて、検出された候補からコマーシャルの区間を選択する。なお、コマーシャルを検出する方法は、上述した方法に限らず、コマーシャルを確実に検出できる方法であればよい。
ステップS13において、検出部61は、コマーシャルが検出されたか否かを判定する。ステップS13において、コマーシャルが検出されなかったと判定された場合、処理はステップS11に戻り、上述した処理が繰り返される。
これに対して、ステップS13において、コマーシャルが検出されたと判定された場合、検出部61は、番組から検出されたコマーシャルを抽出して登録部63に供給するとともに、特徴量算出部62に特徴量の算出を指示し、処理はステップS14に進む。
ステップS14において、特徴量算出部62は検出部61の指示にしたがって、放送受信部51から供給された番組に含まれている、検出されたコマーシャルの特徴を示す特徴量を求め、求められた特徴量を登録部63に供給する。
例えば、特徴量算出部62は、特許第3744464号広報に記載されている技術を利用して特徴量を求める。すなわち、特徴量算出部62は、コマーシャルを構成する所定の期間の各フレームの対応する画素ごとの平均値を求め、それらの平均値を画素値とする平均画像を求める。そして、特徴量算出部62は、平均画像をいくつかのブロックに分割して各ブロック内の画素の平均値を求め、ブロックごとに得られた平均値が並べられて得られるベクトルに階層的な変換処理を施して、これを特徴量とする。
なお、コマーシャルの特徴量を求める方法は、上述した方法に限らず、どのような方法としてもよい。つまり、特徴量は、もとのコマーシャルの映像よりもデータ量が極めて少なく、かつもとの映像を区別できるだけの独立性を有するものであればよい。
また、例えば、特徴量算出部62がコマーシャルを構成するフレームごとに、画素数および輝度値を軸とするヒストグラムを生成し、各輝度値を有する画素数を示すデータをフレームごとに並べて得られるベクトルを特徴量としてもよい。
例えば、映像信号方式がNTSC(National Television Standards Committee)方式である場合、1秒間の映像は約30枚の画像から構成されている。また、標準解像度の画像であるSD(Standard Definition)画像では、1枚の画像には、図5Aに示すように水平方向に720個の画素、垂直方向に480個の画素が配置され、1つの画素はR(赤)、G(緑)、およびB(青)の3つの値を有している。
SD画像の各画素のR、G、およびBの値がそれぞれ1バイトで表現されている場合、1枚の画像のデータ量は約1メガバイト(720×480×3=1036800)となる。例えば、コマーシャルの再生時間が15秒であるとすると、コマーシャルは約450枚の画像から構成されるため、そのデータ量は約450メガバイト(=1×450)となる。コマーシャルをMPEG(Moving Picture Experts Group phase)2方式で低レート、例えば2Mbpsで圧縮した場合でも、15秒のコマーシャルのデータ量は約4メガバイト(≒2×15/8)となる。
そこで、図5Bに示すように、コマーシャルを構成するフレームごとにヒストグラムを生成すると、1つのフレームすなわち1枚の画像を12バイトで表現することができる。なお、図中、横軸は輝度値を示しており、縦軸は各輝度値を有する画素の数、すなわち頻度を示している。
図5Bの例では、各画素の輝度値が0乃至255のいずれかの値であると仮定し、輝度値を16等分してヒストグラムをとり、各輝度値のバンドの値(頻度)を1バイトで表現できるように正規化している。さらに、画素値が0である付近と255である付近、すなわち黒の画素および白の画素の出現頻度は高くないので、それらの付近の4バンド分が除かれている。
すなわち、図5Bの例では、1つの画像を構成する画素のうち、輝度値が32乃至47である画素、48乃至63である画素、64乃至79である画素、80乃至95である画素、96乃至111である画素、112乃至127である画素、128乃至143である画素、144乃至159である画素、160乃至175である画素、176乃至191である画素、192乃至207である画素、および208乃至223である画素のそれぞれの数、すなわち出現頻度が示されている。
このように、コマーシャルを構成する各画像についてヒストグラムを生成し、これを利用して特徴量を求めることで、再生時間が15秒であるコマーシャルの特徴量のデータ量を約5キロバイト(≒12×30×15)とすることができる。このようにして求められた特徴量からは、もとのコマーシャルを想像することはできないが、同じコマーシャルからは同じ特徴量が求まり、異なるコマーシャルからは高い確率で異なる特徴量が求まる。
図4のフローチャートの説明に戻り、コマーシャルの特徴量が求められると、ステップS15において、登録部63は、特徴量算出部64から供給された特徴量に基づいて、新たに検出されたコマーシャルが付加情報登録済みリストに登録されているか否かを判定する。
例えば、図6に示すように、登録部63に検出部61からコマーシャル141が供給され、特徴量算出部62から特徴量142が供給された場合、登録部63は新たに検出されたコマーシャル141の特徴量142と、付加情報登録済みリストに登録されているコマーシャルの特徴量とを比較することにより、新たに検出されたコマーシャルが付加情報登録済みリストに登録されているか否かを判定する。
図6の例では、データベース21には、付加情報登録済みリストに登録されているコマーシャル143−1乃至コマーシャル143−4、およびそれらのコマーシャルの特徴量144−1乃至特徴量144−4のそれぞれが記録されている。したがって、登録部63は、特徴量142と、特徴量144−1乃至特徴量144−4のそれぞれとを比較する。この場合、特徴量142と特徴量144−3とが同じであるので、コマーシャル141とコマーシャル143−3とは同じであり、登録部63は、検出されたコマーシャルは、すでに付加情報登録済みリストに登録されていると判定する。
なお、求められた特徴量と、付加情報登録済みリストに登録されているコマーシャルの特徴量とを比較して、登録されているか否かを判定すると説明したが、コマーシャルそのものを用いて登録されているか否かを判定するようにしてもよい。
しかしながら、コマーシャルそのものを用いて検索を行うよりは、特徴量を利用して検索を行う方が検索の処理速度やメモリ容量の点では有利である。すなわち、特徴量をキーとして、その特徴量と一致する特徴量を検索する場合、コマーシャルそのものを用いて検索する場合と比較して、検索に用いるデータのデータ量が圧倒的に少ないため、特徴量を用いることによって、より高速に検索を行うことができる。なお、特徴量を用いて検索を行う技術については、特許第3744464号広報に詳細に記載されている。
図4のフローチャートの説明に戻り、ステップS15において、新たに検出されたコマーシャルが付加情報登録済みリストに登録されていると判定された場合、処理はステップS16に進む。ステップS16において、登録部63は、検出されたコマーシャルの付加情報が変更されるように、データベース21に記録されている付加情報登録済みリストを更新し、処理はステップS11に戻り上述した処理が繰り返される。
例えば、付加情報に含まれている、コマーシャルが放送された期間を示す情報には、そのコマーシャルが最初に放送された日時、最後に放送された日時、放送されたチャンネルなどを示す情報が含まれている。登録部63は、最後に放送された日時が、ステップS12の処理においてそのコマーシャルが検出された日時となるように、コマーシャルが放送された期間を示す情報を変更する。また、登録部63は、新たにコマーシャルが放送されたチャンネルや、追加された情報、更新された情報などがあれば、それらの情報を変更、追加して付加情報を更新する。
また、ステップS15において、新たに検出されたコマーシャルが付加情報登録済みリストに登録されていないと判定された場合、ステップS17に進み、登録部63は、特徴量算出部62から供給された特徴量に基づいて、新たに検出されたコマーシャルが付加情報登録待ちリストに登録されているか否かを判定する。
ステップS17において、付加情報登録待ちリストに登録されていると判定された場合、ステップS18に進み、登録部63は、検出されたコマーシャルの付加情報が変更されるように、データベース21に記録されている付加情報登録待ちリストを更新し、処理はステップS11に戻り上述した処理が繰り返される。
例えば、登録部63は、コマーシャルが放送された期間を示す情報に含まれている、最後に放送された日時が、ステップS12の処理においてそのコマーシャルが検出された日時となるように、コマーシャルが放送された期間を示す情報を変更する。また、登録部63は、新たにコマーシャルが放送されたチャンネルや、追加された情報、更新された情報などがあれば、それらの情報を変更、追加して付加情報を更新する。
また、ステップS17において、付加情報登録待ちリストに登録されていないと判定された場合、すなわちそのコマーシャルが初めて検出された場合、登録部63は、検出部61から供給されたコマーシャル、および特徴量算出部62から供給された特徴量をデータベース21に供給して、処理はステップS19に進む。
ステップS19において、データベース21は、登録部63から供給されたコマーシャルおよび特徴量を記録する。
ステップS20において、登録部63は、新たに検出されたコマーシャルを、データベース21に記録されている付加情報登録待ちリストに登録し、処理はステップS11に戻り上述した処理が繰り返される。
より具体的には、登録部63は、コマーシャルおよび特徴量をデータベース21に供給して記録させ、新たに検出されたコマーシャルを付加情報登録待ちリストに登録する。また、このとき、検出部61を介して放送受信部51から登録部63にデータ放送の情報などが供給された場合には、登録部63は、そのデータ放送の情報をデータベース21に供給して記録させ、付加情報の一部として付加情報登録待ちリストに登録する。
例えば、データベース21には、図7Aに示す付加情報登録待ちリストが記録されている。付加情報登録待ちリストには、登録されたコマーシャルごとの情報である登録情報が含まれている。図7Aでは、1つの長方形が1つの登録情報を表しており、登録情報には、文字“映像”により示されるコマーシャルを再生するための映像信号、文字“特徴量”により示されるコマーシャルの特徴量、文字“仮CM登録番号”により示されるコマーシャルを一意に区別するための仮のCM登録番号(以下、仮CM登録番号と称する)が含まれている。
また、登録情報には、文字“企業名”により示される、付加情報としての企業名を示す情報、文字“URL”により示される、付加情報としてのウェブサイトのURLを示す情報、文字“商品名”により示される、付加情報としての商品名を示す情報、および文字“俳優”により示される、付加情報としての出演俳優を示す情報が含まれている。
すなわち、付加情報登録待ちリストには、コマーシャルごとの登録情報が含まれており、各登録情報には、コマーシャル、特徴量、仮CM登録番号、および付加情報が含まれている。ここで、登録情報に含まれている各情報のそれぞれの図中、左側には対応する情報が登録情報に含まれているか否かを示す四角形が表示されている。図7Aの例では、文字“映像”および“特徴量”の左側に設けられた四角形が、他の四角形とは異なる表示形式、すなわち異なる色で表示されており、登録情報には、コマーシャルおよび特徴量だけが含まれていることを示している。
そして、登録情報に含まれる各情報が記録されると、その登録情報により示されるコマーシャルは、付加情報登録済みリストに登録され、付加情報登録待ちリストからは削除される。データベース21には、例えば、図7Bに示す付加情報登録済みリストが記録されている。付加情報登録済みリストには、登録されたコマーシャルごとの情報である登録情報が含まれている。
図7Bでは、1つの長方形が1つの登録情報を表しており、登録情報には、付加情報登録待ちリストにおける場合と同様に、文字“映像”により示されるコマーシャル、文字“特徴量”により示される特徴量、文字“CM登録番号”により示される付加情報としてのコマーシャルを一意に区別するためのCM登録番号、文字“企業名”により示される付加情報としての企業名を示す情報、文字“URL”により示される付加情報としてのURLを示す情報、文字“商品名”により示される付加情報としての商品名を示す情報、および文字“俳優”により示される付加情報としての出演俳優を示す情報が含まれている。
すなわち、付加情報登録済みリストには、コマーシャルごとの登録情報が含まれており、各登録情報には、コマーシャル、特徴量、および付加情報が含まれている。ここで、登録情報に含まれている各情報のそれぞれの図中、左側には対応する情報が登録情報に含まれているか否かを示す四角形が表示されている。図7Bの例では、各情報の左側に設けられた四角形が、図7Aの文字“映像”および“特徴量”の左側に設けられた四角形と同じ表示形式、すなわち同じ色で表示されており、各情報が登録情報に含まれていることを示している。
なお、データベース21には、付加情報登録待ちリストおよび付加情報登録済みリストが記録されていると説明したが、コマーシャルごとの登録情報が含まれた1つのリストを記録するようにしてもよい。そのような場合、例えば、登録情報に付加情報登録済みリストに登録されたコマーシャルであるか否かを示すフラグが含まれるようにし、フラグがセットされているときには、登録情報のコマーシャルは、付加情報登録済みリストに登録されているとされ、フラグがリセットされているときには、付加情報登録待ちリストに登録されているとされる。
以上のようにして、サーバ12は、放送局11から放送された番組から新たなコマーシャルを検出し、付加情報登録待ちリストに登録する。
このように、放送された番組から新たなコマーシャルを検出し、付加情報登録待ちリストに登録することにより、放送局11から放送された全てのコマーシャルについての情報を記録することができる。
このようにして、新たに検出されたコマーシャルが付加情報登録待ちリストに登録されると、サーバ12は、付加情報登録待ちリストに登録されているコマーシャルの付加情報を取得し、付加情報が得られたコマーシャルを付加情報登録済みリストに登録する処理を行う。
コマーシャルを付加情報登録済みリストに登録する処理である登録処理は、例えば、付加情報登録待ちリストに新たにコマーシャルが登録されると開始される。また、その他、サーバ12の管理者が登録処理の開始を指示した場合、最後に登録処理が行われてから、所定の時間が経過した場合などに登録処理が開始されるようにしてもよい。
以下、図8のフローチャートを参照して、サーバ12による登録処理について説明する。
ステップS41において、登録部63は、データベース21に記録されている付加情報登録待ちリストを参照して、付加情報登録待ちリストに登録されているコマーシャルがあるか否かを判定する。
ステップS41において、登録されているコマーシャルがないと判定された場合、検出された全てのコマーシャルが付加情報登録済みリストに登録されているので、登録処理は終了する。
これに対して、ステップS41において、登録されているコマーシャルがあると判定された場合、登録部63はデータベース21から、付加情報登録待ちリストに登録されているコマーシャルを取得して、付加情報登録待ちリストに登録されているコマーシャルの一覧を表示させるための画像データを生成する。そして、登録部63は、生成した画像データを出力制御部56に供給して、処理はステップS42に進む。
ステップS42において、出力制御部56は、登録部63から供給された画像データを出力部57に供給し、付加情報登録待ちリストに登録されているコマーシャルの一覧を表示させる。
これにより、出力部57には、例えば、図9に示すコマーシャルの一覧が表示される。図9に示すコマーシャルの一覧には、付加情報登録待ちリストに登録されているコマーシャルのサムネイル画像が並べられて表示されている。
また、コマーシャルの一覧には、次のページのコマーシャルの一覧を表示させるときに操作されるボタン171、および前のページのコマーシャルの一覧を表示させるときに操作されるボタン172が設けられており、ボタン171の図中、右側、およびボタン172の左側には、それぞれ文字“次の候補”および“前の候補”が表示されている。
サーバ12の管理者は、これらのボタン171またはボタン172を操作することにより、付加情報登録待ちリストに登録されているコマーシャルを次々に確認することができる。このように、コマーシャルの一覧が表示されて、新たなコマーシャルが検出されたことを知った管理者は、コマーシャルのサムネイル画像を選択して、ユーザに提示される情報である付加情報を入力する。
管理者によりサムネイル画像が選択されると、出力部57は、付加情報を入力するための付加情報入力画面を表示する。すなわち、登録部63は、入力制御部55を介して入力部54から供給される、管理者の操作に応じた信号にしたがって、データベース21から付加情報入力画面を表示させるための画像データを取得して出力制御部56に供給する。出力制御部56は、登録部63から供給された画像データを出力部57に供給して、付加情報入力画面を表示させる。
これにより、出力部57には、例えば、図10に示す付加情報入力画面が表示される。図10に示す付加情報入力画面には、付加情報としての企業名を入力するための入力欄191−1、付加情報としてのウェブサイトのURLを入力するための入力欄191−2、付加情報としての商品名を入力するための入力欄191−3、および付加情報としての俳優の名前を入力するための入力欄191−4が設けられている。
付加情報入力画面に設けられた入力欄191−1乃至入力欄191−4のそれぞれの図中、左上には、それらの入力欄に入力される付加情報としての情報を示す文字“企業名”、“URL”、“商品名”、および“俳優”のそれぞれが表示されている。管理者は、入力部54としてのマウスやキーボードなどを操作することにより、これらの入力欄191−1乃至入力欄191−4のそれぞれに、適切な付加情報を入力する。このようにして、管理者は、図9に示した一覧に表示されている1または複数のコマーシャルに対し、それぞれ付加情報入力画面を表示させて付加情報を入力する。
なお、図9に示した一覧に表示されているサムネイル画像が選択された場合、付加情報入力画面が表示されるとともに、そのサムネイル画像により示されるコマーシャルが再生されるようにしてもよい。
図8のフローチャートの説明に戻り、コマーシャルの一覧が表示され、さらにその一覧からコマーシャルが選択されて付加情報が入力されると、ステップS43において、入力制御部55は、管理者の操作に応じて入力部54から供給される信号を取得することによって、入力された付加情報を取得する。そして、入力制御部55は取得した付加情報を登録部63に供給する。
ステップS44において、登録部63は、入力制御部55から供給された付加情報をデータベース21に供給して記録させる。データベース21は、登録部63から供給された付加情報を、付加情報登録待ちリストに登録されているコマーシャルの付加情報として、コマーシャルと関連付けて記録する。
ステップS45において、登録部63は、付加情報が入力されたコマーシャルを付加情報登録待ちリストから付加情報登録済みリストに移し、付加情報登録済みリストに登録する。すなわち、登録部63は、付加情報が入力されたコマーシャルに対して、コマーシャルを特定するためのCM登録番号を付与する。そして、登録部63は、新たにCM登録番号を付与したコマーシャル、そのコマーシャルの特徴量、および入力された付加情報からなる登録情報を生成し、生成した登録情報が付加情報登録済みリストに含まれるように、付加情報登録済みリストを更新する。この場合、登録部63は、コマーシャルに対して付与されたCM登録番号が付加情報に含まれるように付加情報を更新する。
ステップS46において、登録部63は、データベース21に記録されている付加情報登録待ちリストから、新たに付加情報登録済みリストに登録されたコマーシャルの登録情報を削除することにより、付加情報が入力されたコマーシャルを付加情報登録待ちリストから削除し、登録処理は終了する。
このようにして、サーバ12は、管理者により付加情報が入力されたコマーシャルにCM登録番号を付与して、コマーシャルを付加情報登録済みリストに登録する。
このように、付加情報が入力されたコマーシャルを付加情報登録済みリストに登録することによって、放送されたコマーシャルに関するより詳細な情報を提供することができる。
ところで、ユーザが操作するクライアント13は、図11に示すように、ユーザの操作に応じて、コマーシャルを特定するための特定条件を指定してCM情報の送信を要求する。サーバ12では、クライアント13からの要求に対して、必要に応じて特定条件を変更し、変更された特定条件を満たすコマーシャルを検索する。さらに、サーバ12は、検索の結果として得られたコマーシャルのCM情報をまとめてクライアント13に送信する。そして、クライアント13は、サーバ12からのCM情報を受信して、受信したCM情報を付加情報登録済みリストに登録する。
次に、図12のフローチャートを参照して、サーバ12がクライアント13からの要求に応じて、特徴量および付加情報からなるCM情報を送信する処理である、CM情報送信処理について説明する。
ステップS71において、検索部64は、クライアント13からCM情報の送信を要求する送信要求が送信されてきたか否かを判定する。ステップS71において、送信されてこなかったと判定された場合、処理はステップS71に戻り、送信されてきたと判定されるまで、判定の処理が繰り返される。
これに対して、ステップS71において、送信されてきたと判定された場合、ステップS72に進み、通信部58は、通信網14を介してクライアント13から送信されてきた送信要求を受信し、検索部64に供給する。
ステップS73において、検索部64は、通信部58から供給された送信要求から、送信要求に含まれており、送信を要求するCM情報のコマーシャルを特定するための条件である特定条件を抽出する。
ここで、特定条件により示される条件は、例えばコマーシャルが放送された期間などとされる。この場合、クライアント13を操作するユーザは、特定条件として、ユーザの所望する期間を特定条件として指定することにより、指定した期間内に放送されたコマーシャルのCM情報得ることができる。
例えば、前回CM情報の送信の要求を行ったのが1週間前であれば、クライアント13には、1週間前より前に放送が開始されたコマーシャルのCM情報がすでに記録されているため、今回の送信の要求では直近1週間を対象の期間として指定し、CM情報の送信を要求することで過不足なくCM情報を取得することができる。
また、特定条件として、コマーシャルが放送された期間だけではなく、放送局11を特定するための情報、すなわちチャンネルや、ユーザが住んでいる地域で放送を行っている放送局に関する情報などが含まれるようにしてもよい。このように、特定条件として放送局を指定することによって、ユーザは放送局特有のコマーシャル、例えばその放送局を宣伝するコマーシャルに関する情報をより効率よく得ることができる。
特定条件が抽出されると、ステップS74において、検索部64は、特定条件を必要に応じて変更する。例えば、サーバ12に直近1年分のCM情報しか記録されていないにもかかわらず、ユーザが直近2年間を特定条件により示される期間として指定してきた場合、2年前から1年前のCM情報を提供することはできないので、検索部64は、特定条件により示される期間が直近1年間となるように特定条件を変更する。
また、特定条件により示される期間があまりにも長い場合、サーバ12がクライアント13に送信するCM情報のデータ量は膨大な量となってしまい、サーバ12に対する負荷が増大してしまう恐れがある。そのような場合、検索部64が対象となる期間をより短い期間に変更することによってサーバ12に対する負荷の増大を防ぐことができる。
さらに、CM情報を提供する側と提供される側との契約により、CM情報の提供を受けるユーザが利用できる対象の期間やチャンネルなどが制限される場合も考えられる。そのような場合、検索部64は、特定条件により示される期間などをユーザとの契約に基づいて変更する。
ステップS75において、検索部64は、データベース21に記録されている付加情報登録済みリストを参照して、特定条件を満たすコマーシャルを検索する。例えば、検索部64は、付加情報登録済みリストに登録されているコマーシャルのうち、そのコマーシャルの付加情報としての放送された期間を示す情報により示される、コマーシャルが最初に放送された日時が特定条件により示される期間内の日時であるコマーシャルを、特定条件を満たすコマーシャルとして検索する。
一般に、コマーシャルは、所定の期間だけ継続して放送されるため、ユーザが指定する特定条件によっては、クライアント13が以前受信したことのあるCM情報を重複して受信することがあり得るが、最初に放送された日時が特定条件により示される期間内の日時であるコマーシャルを特定条件を満たすコマーシャルとすることによって、クライアント13が同じCM情報を重複して受信することを防止することができる。
検索部64は、特定条件を満たすコマーシャルを検索すると、その結果得られた全てのコマーシャルのCM情報、すなわちコマーシャルの付加情報および特徴量をデータベース21から取得して通信部58に供給する。
ステップS76において、通信部58は、検索部64から供給されたCM情報を、通信網14を介してクライアント13に送信し、処理はステップS71に戻り、上述した処理が繰り返される。
このようにして、サーバ12は特定条件を満たすコマーシャルを検索し、検索の結果得られた全てのコマーシャルのCM情報を一括して送信する。
このように、特定条件を満たすコマーシャルを検索し、検索の結果得られた全てのコマーシャルのCM情報を一括して送信することにより、より簡単にユーザが所望するコマーシャルに関する情報を提供することができる。
すなわち、検索の結果得られたコマーシャルのCM情報をまとめてクライアント13に送信することにより、クライアント13では受信したCM情報を用いて、所望するコマーシャルの付加情報を検索して表示させることができる。したがって、クライアント13は、付加情報の検索を行うたびにサーバ12にアクセスする必要がなくなるので、クライアント13からサーバ12へのアクセス回数や、サーバ12における検索処理数を減らすことができ、サーバ12や通信網14にかかる負担を削減することができる。その結果、サーバ12や通信網14にかかる負担のためにユーザがCM情報を得るために長時間待つ必要もなく、より簡単かつ迅速に所望する情報を得ることができる。
また、コマーシャルの映像(画像および音声)には著作権等の権利があり、サーバ12がクライアント13にコマーシャルそのものを送信すると、権利上の問題が発生する可能性があるが、コマーシャルを特定することができる特徴量と、ユーザが所望するコマーシャルに関する情報である付加情報とを送信することにより、送信されるデータのデータ量を少なくすることができるだけでなく、特徴量を受信するクライアント13側においても特徴量を用いてコマーシャルを特定したり、検索したりすることができる。
次に、図13のフローチャートを参照して、クライアント13がCM情報を受信する処理であるCM情報受信処理について説明する。このCM情報受信処理は、ユーザがCM情報の取得を指示した場合、最後にCM情報を取得してから所定の期間が経過した場合、付加情報登録待ちリストに所定の数以上のコマーシャルが登録された場合などに開始される。
ステップS101において、登録部114は特定条件を定めて、特定条件を満たすコマーシャルのCM情報の送信を要求する送信要求を生成する。
例えば、ユーザによりCM情報の取得が指示された場合、登録部114は、入力制御部97を介して入力部96から供給された信号に基づいて、ユーザが入力部96を操作することにより入力されたコマーシャルが放送された期間や放送局11を特定条件として定め、特定条件が含まれる送信要求を生成する。例えば、最後にCM情報を取得したのが1週間前である場合、ユーザは直近1週間を対象とする期間として指定することで、特定条件を指定する。
また、このとき、最後にCM情報を取得した日時が表示されるようにしてもよい。すなわち、データベース95には、サーバ12から最後にCM情報が取得された日時を示す情報が記録されており、登録部114は、最後にCM情報が取得された日時を示す情報をデータベース95から取得して、出力制御部98を介して出力部99に供給する。そして、出力部99は、登録部114から供給された情報に基づいて、最後にCM情報が取得された日時を表示する。このように、最後にCM情報が取得された日時を表示させることで、ユーザは過不足なくCM情報を取得させることができる。
これに対して、クライアント13がユーザからの指示を受けずに、すなわち自動的に送信要求を生成する場合、例えば、登録部114は、データベース95から最後にCM情報が取得された日時を示す情報を取得して、取得された情報に基づいて特定条件を定め、送信要求を生成する。
登録部114は送信要求を生成すると、生成した送信要求を通信部100に供給する。ステップS102において、通信部100は、登録部114から供給された送信要求を、通信網14を介してサーバ12に送信する。
クライアント13から送信された送信要求がサーバ12において受信されると、サーバ12からクライアント13には、CM情報が送信されてくるので、ステップS103において、通信部100は、サーバ12から送信されてきたCM情報を受信する。また、通信部100は、受信したCM情報を登録部114に供給する。登録部114は通信部100から供給されたCM情報をデータベース95に供給する。
ステップS104において、データベース95は、登録部114から供給されたCM情報を記録する。
ステップS105において、登録部114は、データベース95に記録されている、最後にCM情報が取得された日時を示す情報を更新する。
ステップS106において、登録部114は、新たにサーバ12から受信したCM情報のコマーシャルを、付加情報登録済みリストに登録する。
ここで、データベース95には、サーバ12における場合と同様に付加情報登録待ちリストおよび付加情報登録済みリストが記録されている。すなわち、データベース95に記録されている付加情報登録待ちリストには、コマーシャルごとの登録情報が含まれており、その登録情報には、コマーシャルの特徴量、およびコマーシャルを一意に区別するための仮のCM登録番号が含まれている。
また、データベース95に記録されている付加情報登録済みリストには、コマーシャルごとの登録情報が含まれており、その登録情報には、受信したCM情報に含まれる特徴量および付加情報が含まれている。そして、コマーシャルの付加情報には、サーバ12においてそのコマーシャルに付与されたCM登録番号が含まれている。
登録部114は、新たに受信されたCM情報が供給されると、そのCM情報のコマーシャルの登録情報として、供給されたCM情報が含まれる登録情報を生成する。そして、登録部114は、付加情報登録済みリストに生成した登録情報が含まれるように、データベース95に記録されている付加情報登録済みリストを更新することで、コマーシャルを付加情報登録済みリストに登録する。
ステップS107において、登録部114は、新たに付加情報登録済みリストに登録されたコマーシャルのうち、付加情報登録待ちリストに登録されているコマーシャルのCM位置情報を更新する。
例えば、登録部114は、受信したCM情報に含まれる特徴量と、付加情報登録待ちリストのコマーシャルごとの登録情報に含まれている特徴量とを比較して、特徴量が一致するコマーシャルを検索することで、新たに付加情報登録済みリストに登録されたコマーシャルのうち、付加情報登録待ちリストに登録されているコマーシャルを検索する。
そして、付加情報登録待ちリストに登録されているコマーシャルが検索されると、登録部114は、データベース95に記録されているCM位置情報により示されるコマーシャルのうち、検索されたコマーシャルと同じコマーシャルのCM位置情報を更新する。
例えば、図14に示すように、映像記録部93に、録画された番組として番組1が記録されている場合、データベース95には、番組1に含まれているコマーシャルの位置を示すCM位置情報1が記録されている。
図14の例では、番組1には番組本編の他に、5つのコマーシャル1乃至コマーシャル5のそれぞれが含まれている。そして、CM位置情報1には、これらのコマーシャル1乃至コマーシャル5のそれぞれの位置、すなわち各コマーシャルが記録されている映像記録部93におけるアドレスと、コマーシャル1乃至コマーシャル5のそれぞれを特定するためのCM登録番号または仮CM登録番号とが含まれている。
CM位置情報1には、コマーシャル1のCM登録番号“301”、コマーシャル2の仮CM登録番号“78”、コマーシャル3のCM登録番号“783”、コマーシャル4のCM登録番号“1205”、およびコマーシャル5のCM登録番号“997”が含まれている。
同様に、例えば、図14に示すように、映像記録部93に、録画された番組として番組2が記録されている場合、データベース95には、番組2に含まれているコマーシャルの位置を示すCM位置情報2が記録されている。
番組2には番組本編の他に、2つのコマーシャル6およびコマーシャル7が含まれている。そして、CM位置情報2には、これらのコマーシャル6およびコマーシャル7のそれぞれの位置と、コマーシャル6およびコマーシャル7を特定するためのCM登録番号とが含まれている。すなわち、CM位置情報2には、コマーシャル6のCM登録番号“3506”およびコマーシャル7のCM登録番号“1205”が含まれている。
ここで、コマーシャル4とコマーシャル7とはCM登録番号が同じ番号“1205”であるので、同じコマーシャルであることが分かる。
例えば、データベース95に図14に示したCM位置情報1およびCM位置情報2が記録されており、登録部114が、新たに付加情報登録済みリストに登録されたコマーシャルのうち、付加情報登録待ちリストに登録されているコマーシャルを検索した結果、仮CM登録番号が“78”であるコマーシャルが得られたとする。
この場合、CM位置情報1により示されるコマーシャル2の仮CM登録番号は“78”であるので、登録部114は、CM位置情報1に含まれるコマーシャル2のCM登録番号が、仮CM登録番号“78”から、付加情報登録済みリストに含まれるコマーシャル2の登録情報に含まれているCM登録番号に変更されるように、CM位置情報1を更新する。
図13のフローチャートの説明に戻り、CM位置情報が更新されると、ステップS108において、登録部114は、付加情報登録待ちリストの登録情報のうち、新たに付加情報登録済みリストに登録されたコマーシャルの登録情報を削除して、CM情報受信処理は終了する。
このようにして、クライアント13は、特定条件を指定して、サーバ12から特定条件を満たすコマーシャルのCM情報を一括して受信する。
このように、特定条件を指定して、サーバ12から特定条件を満たすコマーシャルのCM情報を一括して受信することによって、CM情報に含まれている付加情報を検索するたびにサーバ12にアクセスする必要がなくなり、ユーザはより簡単かつ迅速にコマーシャルに関する情報を得ることができる。また、受信したCM情報を記録するようにしたので、クライアント13が通信網14に接続されていないときにも、コマーシャルの付加情報を検索することができる。
なお、特定条件を満たす全てのコマーシャルのCM情報をまとめて受信すると説明したが、特定条件を満たすコマーシャルのCM情報を1つずつ受信したり、特定条件を満たすコマーシャルのCM情報を1つだけ受信したりしてもよい。
また、ユーザは、クライアント13に放送局11から放送された番組を受信させて録画させることができる。クライアント13は、ユーザから番組の録画が指示されると、番組を録画するとともに、番組に含まれているコマーシャルを検出し、検出されたコマーシャルを付加情報登録待ちリストに登録したり、CM位置情報を生成したりする処理であるコマーシャル検出処理を行う。
以下、図15のフローチャートを参照して、クライアント13によるコマーシャル検出処理について説明する。
ステップS131において、放送受信部91は、放送局11から放送された番組を受信して記録再生部111に供給する。ここで、放送局11からアナログ放送信号である番組が送信されてきた場合、放送受信部91は、受信したアナログ信号である番組の映像信号を、デジタル信号である映像信号に変換してから記録再生部111に供給する。記録再生部111は、放送受信部91から供給された番組を、映像記録部93、検出部112、および特徴量算出部113に供給する。
ステップS132において、映像記録部93は、記録再生部111から供給された番組を記録することによって、受信された番組を録画する。
ステップS133において、検出部112は、記録再生部111から供給された番組からコマーシャルを検出する。例えば、検出部112は、図4のステップS12における場合と同様に、必須条件に基づいて番組からコマーシャルの候補となる区間を検出し、コマーシャルらしさを示す指標である付加条件などに基づいて、検出された候補からコマーシャルの区間を選択することにより、コマーシャルを検出する。
ステップS134において、検出部112は、コマーシャルが検出されたか否かを判定する。ステップS134において、コマーシャルが検出されなかったと判定された場合、ステップS135の処理乃至ステップS141の処理はスキップされて、処理はステップS142に進む。
これに対して、ステップS134において、コマーシャルが検出されたと判定された場合、検出部112は、特徴量算出部113に特徴量の算出を指示し、処理はステップS135に進む。
ステップS135において、特徴量算出部113は検出部112の指示にしたがって、記録再生部111から供給された番組に含まれている、検出されたコマーシャルの特徴を示す特徴量を求め、求められた特徴量を登録部114に供給する。ここで、特徴量算出部113は、図4のステップS14の処理においてサーバ12が特徴量を求める方法と同じ方法により、コマーシャルの特徴量を求める。
ステップS136において、登録部114は、特徴量算出部113から供給された特徴量に基づいて、新たに検出されたコマーシャルが付加情報登録済みリストに登録されているか否かを判定する。例えば、登録部114は、データベース95に記録されている付加情報登録済みリストの登録情報に含まれている特徴量のうち、特徴量算出部113から供給された特徴量と同じものがある場合、検出されたコマーシャルが付加情報登録済みリストに登録されていると判定する。
ステップS136において、検出されたコマーシャルが付加情報登録済みリストに登録されていると判定された場合、ステップS137に進み、登録部114は、検出されたコマーシャルのCM位置情報を生成して、処理はステップS142に進む。
例えば、図14に示した番組1を録画しているときに、コマーシャル1が検出された場合、そのコマーシャル1が付加情報登録済みリストに登録されており、コマーシャル1の付加情報に含まれるCM登録番号が“301”であるとき、すなわちコマーシャル1を特定するためのCM登録番号が“301”であるとき、登録部114は、コマーシャル1が記録されている位置、およびコマーシャル1を特定するCM登録番号“301”が含まれるCM位置情報を生成してデータベース95に供給する。データベース95は、登録部114から供給されたCM位置情報を記録する。
また、例えば、図14に示した番組1を録画しているときに、コマーシャル3が検出された場合、データベース95には、すでに番組1に含まれている他のコマーシャル1およびコマーシャル2の位置を示すCM位置情報1が記録されているので、登録部114は、コマーシャル3が記録されている位置およびコマーシャル3を特定するCM登録番号“783”がCM位置情報1に含まれるように、CM位置情報1を更新する。
さらに、ステップS136において、検出されたコマーシャルが付加情報登録済みリストに登録されていないと判定された場合、ステップS138に進み、登録部114は、特徴量算出部113から供給された特徴量に基づいて、新たに検出されたコマーシャルが付加情報登録待ちリストに登録されているか否かを判定する。例えば、登録部114は、データベース95に記録されている付加情報登録待ちリストの登録情報に含まれている特徴量のうち、特徴量算出部113から供給された特徴量と同じものがある場合、検出されたコマーシャルが付加情報登録待ちリストに登録されていると判定する。
ステップS138において、検出されたコマーシャルが付加情報登録待ちリストに登録されていると判定された場合、ステップS139に進み、登録部114は、検出されたコマーシャルのCM位置情報を生成して、処理はステップS142に進む。
例えば、登録部114は、コマーシャルが記録されている位置、およびコマーシャルを特定する仮CM登録番号が含まれるCM位置情報を生成してデータベース95に供給する。データベース95は、登録部114から供給されたCM位置情報を記録する。また、例えば、図14に示した番組1を録画しているときに、コマーシャル2が検出された場合、データベース95には、すでに番組1に含まれている他のコマーシャル1の位置を示すCM位置情報1が記録されているので、登録部114は、コマーシャル2が記録されている位置およびコマーシャル2を特定する仮CM登録番号“78”がCM位置情報1に含まれるように、CM位置情報1を更新する。
また、ステップS138において、検出されたコマーシャルが付加情報登録待ちリストに登録されていないと判定された場合、ステップS140に進み、登録部114は、検出されたコマーシャルを付加情報登録待ちリストに登録する。
すなわち、登録部114は、新たに検出されたコマーシャルに仮のCM登録番号である仮CM登録番号を付与する。そして、登録部114は、仮CM登録番号および特徴量算出部113から供給された特徴量からなる登録情報が、データベース95に記録されている付加情報登録待ちリストに含まれるように、付加情報登録待ちリストを更新する。
ステップS141において、登録部114は、検出されたコマーシャルのCM位置情報を生成してデータベース95に供給する。すなわち、登録部114は、ステップS140の処理において、検出されたコマーシャルに付与した仮CM登録番号と、コマーシャルが記録されている映像記録部93における位置とが含まれるCM位置情報を生成する。データベース95は、登録部114から供給されたCM位置情報を記録し、処理はステップS142に進む。
ステップS134においてコマーシャルが検出されなかったと判定されるか、ステップS137、ステップS139、またはステップS141においてCM位置情報が生成されると、ステップS142において、記録再生部111は、番組の録画を終了するか否かを判定する。ステップS142において、録画を終了しないと判定された場合、ステップS131に戻り、上述した処理が繰り返される。
これに対して、ステップS142において、録画を終了すると判定された場合、録画が終了されてコマーシャル検出処理は終了する。
このようにして、クライアント13は番組を録画するとともに、番組に含まれているコマーシャルを検出する。そして、クライアント13は、検出されたコマーシャルを必要に応じて付加情報登録待ちリストに登録し、CM位置情報を生成する。
このように、検出されたコマーシャルを付加情報登録待ちリストに登録したり、CM位置情報を生成したりすることにより、録画された番組に含まれるコマーシャルと、付加情報登録待ちリストまたは付加情報登録済みリストに登録されているコマーシャルとを関連付けることができる。これにより、ユーザの操作に応じてコマーシャルだけを再生したり、コマーシャルの付加情報を表示したりすることができるようになる。その結果、ユーザはより簡単に所望するコマーシャルの付加情報を得ることができる。
なお、ユーザによっては、コマーシャルだけを録画したいと思うユーザもいる。そのようなユーザの欲求を満たすために、番組を録画しない場合においても、コマーシャル検出処理が行われるようにしてもよい。そのような場合、コマーシャル検出処理においては、検出されたコマーシャルだけが録画されて、コマーシャルが付加情報登録待ちリストに登録されたり、CM位置情報が生成されたりする。
次に、図16のフローチャートを参照して、番組を録画しない場合におけるコマーシャル検出処理について説明する。このコマーシャル検出処理は、例えば、ユーザによりその開始が指示されるか、予め定められた所定の時刻になったときに開始される。
ステップS171において、放送受信部91は、放送局11から放送された番組を受信して記録再生部111に供給する。記録再生部111は、放送受信部91から供給された番組を、検出部112、および特徴量算出部113に供給する。
その後、ステップS172の処理乃至ステップS174の処理が行われるが、これらの処理は図15のステップS133の処理乃至ステップS135の処理と同様なので、その説明は省略する。特徴量算出部113において特徴量が求められると、その特徴量は、特徴量算出部113から登録部114に供給される。また、検出部112において検出されたコマーシャルは検出部112から登録部114に供給される。
ステップS175において、登録部114は、徴量算出部113から供給された特徴量に基づいて、検出されたコマーシャルが記録されているか否かを判定する。例えば、登録部114は、CM位置情報により示されるコマーシャル、すなわちCM位置情報に含まれているCM登録番号または仮CM登録番号により示されるコマーシャルの特徴量と、徴量算出部113から供給された特徴量とを比較し、徴量算出部113から供給された特徴量と一致する特徴量がなかった場合、コマーシャルが記録されていないと判定する。
ステップS175において、記録されていると判定された場合、処理はステップS183に進む。これに対して、ステップS175において、記録されていないと判定された場合、処理はステップS176に進む。
ステップS176において、登録部114は、検出部112から供給されたコマーシャルをデータベース95に供給して記録させることにより、コマーシャルを録画する。例えば、そのコマーシャルがすでに付加情報登録待ちリストまたは付加情報登録済みリストに登録されている場合、登録部114は、登録されている付加情報登録待ちリストまたは付加情報登録済みリストの登録情報にそのコマーシャルが含まれるように、コマーシャルを記録させる。
なお、検出されたコマーシャルが映像記録部93に記録されるようにしてもよい。そのような場合、登録部114がコマーシャルの区間を指定して、記録再生部111にコマーシャルの映像記録部93への記録を指示し、記録再生部111はその指示にしたがって、コマーシャルを映像記録部93に記録させる。
コマーシャルが録画されると、ステップS177の処理乃至ステップS182の処理が行われるが、これらの処理は図15のステップS136の処理乃至ステップS141の処理のそれぞれと同様であるので、その説明は省略する。なお、コマーシャルがデータベース95に記録された場合、CM位置情報により示されるコマーシャルが記録されている位置は、データベース95におけるアドレスとされる。
ステップS173において、コマーシャルが検出されなかったと判定されたか、ステップS175において、記録されていると判定されたか、またはステップS178、ステップS180、若しくはステップS182においてCM位置情報が生成されると、ステップS183において、登録部114は処理を終了するか否かを判定する。
ステップS183において、処理を終了しないと判定された場合、処理はステップS171に戻り、上述した処理が繰り返される。これに対して、ステップS183において、処理を終了すると判定された場合、コマーシャル検出処理は終了する。
このようにして、クライアント13は、番組を録画しない場合においても、受信した番組からコマーシャルを検出して、記録されていないコマーシャルを録画する。
このように、受信した番組からコマーシャルを検出して、記録されていないコマーシャルを録画することによって、ユーザが番組を視聴することなく、クライアント13に記録されていないコマーシャルだけを録画することができる。
ところで、日々多数のコマーシャルが新規に放送されるため、データベース95には、多くのコマーシャルのCM情報が記録される。したがって、CM情報の削除を適切に行わないと、データベース95の記録容量が足りなくなってしまう恐れがある。そこで、ユーザによりCM情報の削除が指示された場合や、最後にCM情報を削除する処理を行ってから所定の期間が経過した場合、またはデータベース95に記録できるデータ量が所定の値以下となった場合などに、クライアント13はCM情報を削除する処理を行う。
以下、図17のフローチャートを参照して、クライアント13がCM情報を削除する処理である、CM情報削除処理について説明する。
ステップS211において、登録部114は、削除するCM情報を特定する条件である、削除条件に合致するCM情報を検索する。
例えば、削除条件は、そのCM情報がサーバ12から受信されてから経過した時間や、検索によって最後に参照してから経過した時間、検索によって引用された回数、録画された番組に含まれているか否かなどに基づいて定められる。
したがって、削除条件は、例えば、サーバ12から受信されてから所定の期間が経過したCM情報、後述するキーワードによる検索において、サーバ12から受信されてから所定の期間以上検索の結果として得られなかったコマーシャルのCM情報、表示されているコマーシャルの付加情報の検索において、サーバ12から受信されてから所定の期間以上検索の結果として得られなかったCM情報などとされる。
登録部114は、データベース95に記録されている付加情報登録済みリストを参照して、削除条件に合致するCM情報を検索する。
ステップS212において、登録部114は、削除条件に合致するCM情報が検索されたか否かを判定する。ステップS212において、CM情報が検索されなかったと判定された場合、すなわち削除すべきCM情報がない場合、ステップS213の処理乃至ステップS216の処理はスキップされて、CM情報削除処理は終了する。
これに対して、ステップS212において、CM情報が検索されたと判定された場合、ステップS213に進み、登録部114は、検索の結果得られた、削除条件に合致するCM情報のコマーシャルが映像記録部93に記録されているか否かを判定する。
ステップS213において、コマーシャルが記録されていないと判定された場合、ステップS215に進む。
これに対して、ステップS213において、コマーシャルが記録されていると判定された場合、ステップS214に進み、登録部114は、ユーザから映像記録部93に記録されているコマーシャルのCM情報の削除が指示されたか否かを判定する。
例えば、削除条件がサーバ12から受信されてから所定の期間が経過したCM情報などである場合、削除しようとするCM情報のコマーシャルが、録画された番組に含まれて映像記録部93に記録されていることがある。そのような場合、CM情報を削除してしまうと、コマーシャルが再生されているときに、そのコマーシャルの付加情報を表示できなくなってしまう。
例えば、映像記録部93に図14に示した番組1が記録されているとき、CM登録番号“997”により特定されるコマーシャルのCM情報を削除してしまうと、番組1を再生しているときなどに番組1に含まれているコマーシャル5の付加情報を表示することができなくなってしまう。
そこで、録画された番組に含まれているコマーシャルのCM情報が削除されるのを防止するために、削除しようとするCM情報のコマーシャルが記録されている場合には、出力部99は、映像記録部93に記録されているコマーシャルのCM情報を削除するためのダイアログを表示する。すなわち、登録部114は、ダイアログを表示させるための画像データをデータベース95から取得して、出力制御部98に供給する。出力制御部98は、登録部114から供給された画像データを出力部99に供給してダイアログを表示させる。
そして、例えば、ユーザが入力部96を操作して、ダイアログに設けられた、CM情報を削除するためのボタンを選択すると、ステップS214において、登録部114はCM情報の削除が指示されたと判定する。
ステップS214において、CM情報の削除が指示されたと判定された場合、処理はステップS215に進む。
ステップS213において、コマーシャルが記録されていないと判定されるか、ステップS214において、CM情報の削除が指示されたと判定されると、ステップS215において、登録部114は、ステップS211の処理において検索されたCM情報を、データベース95の付加情報登録済みリストから削除して、CM情報削除処理は終了する。
また、ステップS214において、CM情報の削除が指示されなかったと判定された場合、ステップS216に進み、登録部114は、ステップS211の処理において検索されたCM情報のうち、映像記録部93に記録されていないコマーシャルのCM情報を削除して、CM情報削除処理は終了する。
なお、ステップS213において、コマーシャルが記録されていると判定された場合、ステップS214の処理を行わずにステップS216に進むようにしてもよいし、またはステップS215に進むようにしてもよい。この場合、記録されているコマーシャルのCM情報は、ユーザによる指示を必要とせずに削除されるか、または削除されずに記録されたままとされる。
このようにして、クライアント13は削除条件に合致したCM情報を検索して、CM情報を削除する。
このように、削除条件に合致するCM情報、すなわち今後参照される可能性が低いと思われるコマーシャルに関する情報を削除することで、常にデータベース95における記録可能な容量を充分に確保しておくことができる。
また、ユーザは、受信された番組や、録画された番組をクライアント13に表示させて視聴することができる。例えば、ユーザが受信した番組の表示を指示した場合、放送受信部91において受信された番組が、記録再生部111および出力制御部98を介して出力部99に供給されて表示される。また、ユーザが録画された番組の表示を指示した場合、映像記録部93に記録されている番組が記録再生部111および出力制御部98を介して出力部99に供給されて表示される。
さらに、放送受信部91または映像記録部93から記録再生部111に供給された番組は、検出部112および特徴量算出部113にも供給される。
このようにして出力部99に表示された番組をユーザが視聴している場合、ユーザがコマーシャルに関する情報を知りたいと思うことがあり得る。そのような場合、例えば、ユーザは入力部96としてのキーボードやリモートコマンダなどに設けられた、付加情報を表示させるための専用のボタンを操作することで、クライアント13にコマーシャルに関する情報、すなわちコマーシャルの付加情報を表示させることができる。
クライアント13は、付加情報の表示が指示されると、付加情報を表示する処理である、付加情報表示処理を開始する。以下、図18のフローチャートを参照して、クライアント13による付加情報表示処理について説明する。
ステップS241において、検出部112は、記録再生部111から供給された番組からコマーシャルを検出し、特徴量算出部113に特徴量の算出を指示する。
ステップS242において、特徴量算出部113は検出部112の指示にしたがって、記録再生部111から供給された番組に含まれている、検出されたコマーシャルの特徴量を求め、求められた特徴量を検索部115に供給する。
ステップS243において、検索部115は、データベース95の付加情報登録済みリストを参照して、付加情報登録済みリストに登録されているコマーシャルのうち、登録情報に含まれている特徴量が、特徴量算出部113から供給された特徴量と一致するコマーシャルを検索する。すなわち、検索部115は、求められた特徴量と同じ特徴量のコマーシャルを検索することによって、検出されたコマーシャルの付加情報を検索する。そして、検索部115は、データベース95から、検索の結果得られたコマーシャルの付加情報を取得して出力制御部98に供給する。
ステップS244において、出力制御部98は検索部115から供給された、検索されたコマーシャルの付加情報を出力部99に供給して付加情報を表示させ、付加情報表示処理は終了する。
これにより、出力部99には、例えば図19に示す画面が表示される。画面には、番組、すなわち番組本編やコマーシャルが表示される領域221と、領域221に表示されているコマーシャルの付加情報が表示される領域222とが設けられている。図19の例では、領域222には、領域221に表示されているコマーシャルの付加情報を示す文字“企業名”、“URL”、“商品名”、“俳優”、および“音楽”のそれぞれが表示されている。
以上のようにして、クライアント13は、ユーザの指示に応じて、表示されているコマーシャルの付加情報を表示する。
このように、表示されているコマーシャルの付加情報を表示することによって、ユーザは、表示されているコマーシャルを視聴しているときに、そのコマーシャルに関する情報を簡単に知ることができる。
なお、付加情報表示処理は、ユーザの指示により開始されると説明したが、ユーザの指示によらず、番組が出力部99に表示されると自動的に開始されるようにしてもよい。また、番組の再生が終了するまで付加情報表示処理が繰り返し行われるようにしてもよいし、表示されているコマーシャルに対して付加情報表示処理が行われるようにしてもよい。
さらに、クライアント13においては、ユーザにより入力されたキーワード、コマーシャルが放送された期間などの所定の条件を出発点として、その条件に合致するコマーシャルと、そのコマーシャルに関する情報とを表示することができる。
以下では、図20のフローチャートを参照し、所定の条件としてキーワードが入力された場合を例として、クライアント13が所定の条件に基づいてコマーシャルを検索し、そのコマーシャルと付加情報とを表示する処理である、コマーシャル検索処理について説明する。なお、コマーシャル検索処理は、ユーザによりキーワードが入力されると開始される。
ステップS271において、入力制御部97は、ユーザの操作に応じて入力部96から供給される信号を取得することにより、入力されたキーワードを取得して検索部115に供給する。
ステップS272において、検索部115は、入力制御部97から供給されたキーワードに基づいて、データベース95の付加情報登録済みリストから、キーワードにより特定されるコマーシャルを検索する。例えば、ユーザによりキーワード“お茶”が入力された場合、検索部115は、付加情報登録済みリストを参照して、付加情報に単語“お茶”が含まれているコマーシャルを検索する。
検索部115は、キーワードにより特定されるコマーシャルが検索されると、検索の結果得られたコマーシャルの付加情報をデータベース95から取得して出力制御部98に供給するとともに、記録再生部111に検索の結果得られたコマーシャルの再生を指示する。なお、検索されたコマーシャルがデータベース95に記録されている場合には、検索部115は、そのコマーシャルをデータベース95から取得して記録再生部111に供給する。
ステップS273において、出力部99は検索されたコマーシャルを再生する。すなわち、記録再生部111は、検索部115からの指示にしたがって、指示されたコマーシャルが映像記録部93に記録されていれば、そのコマーシャルを取得して出力制御部98に供給する。出力制御部98は、記録再生部111から供給されたコマーシャルを出力部99に供給して表示させる。
ステップS274において、出力制御部98は、検索部115から供給された付加情報を出力部99に供給して、再生されているコマーシャルの付加情報を表示させ、コマーシャル検索処理は終了する。これにより、出力部99には、例えば、図21に示す画面が表示される。
図21に示す画面には、検索の結果得られたコマーシャルの一覧が表示される領域251、再生するコマーシャルが表示される領域252、再生されているコマーシャルの付加情報が表示される領域253、およびコマーシャルの再生を制御するためのボタンが表示される領域254が設けられている。
図21の例では、領域251には、検索結果として得られたコマーシャルを示す文字“コマーシャルA”および“コマーシャルB”が表示されている。また、それらの文字の図中、左側には、コマーシャルがクライアント13に記録されているか否かを示す四角形が表示されている。この四角形は、右側の文字により示されるコマーシャルがクライアント13に記録されていないときには、記録されているコマーシャルを示す文字の左側の四角形とは異なる表示形式で表示される。
ユーザは、領域251に表示されているコマーシャルを示す文字を選択することで、選択された文字により示されるコマーシャルを再生させることができる。また、ユーザは、領域254に表示されている各ボタンを操作することによって、検索されたコマーシャルの再生、再生の停止、次または前のコマーシャルの再生などを指示することができる。
検索されたコマーシャルが再生されて領域252にその画像が表示されると、領域253には、再生されているコマーシャルの付加情報が表示されるので、ユーザは、宣伝されている商品の名前、出演俳優、使用されている楽曲などのコマーシャルに関する情報を簡単に得ることができる。
このようにして、クライアント13は、入力されたキーワードに基づいてコマーシャルを検索し、検索の結果得られたコマーシャルおよび付加情報を表示する。
このように、入力されたキーワードに基づいてコマーシャルを検索し、検索の結果得られたコマーシャルおよび付加情報を表示することで、ユーザは、キーワードを入力するという簡単な操作で、自分の好みの俳優が出演しているコマーシャル、好みの企業のコマーシャルなど、キーワードを出発点としてコマーシャルを検索することができる。
また、コマーシャル検索処理において、検索の結果得られたコマーシャルの映像が、クライアント13に記録されていない場合がある。クライアント13は、図22に示すように、通信網14を介してサーバ12からCM情報を取得してデータベース95に記録する。そして、ユーザによりキーワードが入力されると、クライアント13は、データベース95に記録されているCM情報、より詳細にはCM情報に含まれる付加情報から、入力されたキーワードと合致する単語が含まれているCM情報を検索することで、キーワードにより特定されるコマーシャルを検索する。
図22の例では、検索の結果として5つのコマーシャルが得られ、特徴量A乃至特徴量Eのそれぞれは、検索の結果得られたコマーシャルのそれぞれの特徴量を示している。また、図中、特徴量A乃至特徴量Eのそれぞれの下に示される長方形のそれぞれは、クライアント13に録画されているコマーシャルのそれぞれを示している。
ここで、特徴量A乃至特徴量Cおよび特徴量Eのそれぞれは、矢印で示されるようにクライアント13に録画されているコマーシャルのうちの少なくとも何れかの特徴量と一致し、それらのコマーシャルはクライアント13に記録されていることを示している。換言すれば、データベース95には、検索の結果得られたコマーシャルを特定するCM登録番号が含まれたCM位置情報が記録されていることになる。
これに対して、特徴量Dは、矢印で示されるようにクライアント13に録画されているコマーシャルの何れの特徴量とも一致せず、そのコマーシャルはクライアント13に記録されていないことを示している。換言すれば、データベース95には、検索の結果得られたコマーシャルを特定するCM登録番号が含まれたCM位置情報が記録されていないことになる。
このように、クライアント13に、検索されたコマーシャルが記録されていないことがある。このような場合、コマーシャルが検索された後、出力部99には、図23に示すような画面が表示される。なお、図23において、図21における場合と対応する部分には同一の符号を付してあり、その説明は省略する。
図23では、領域251には、図22の特徴量A乃至特徴量Eのそれぞれを有するコマーシャルのそれぞれを示す文字“コマーシャルA”、“コマーシャルB”、“コマーシャルC”、“コマーシャルD”、および“コマーシャルE”のそれぞれが表示されている。
また文字“コマーシャルD”により示されるコマーシャルは、クライアント13には記録されていないので、文字“コマーシャルD”の図中、左側の四角形は、他のコマーシャルを示す文字の左側の四角形のそれぞれとは異なる表示形式(例えば、四角形が白く表示される)で表示されている。
文字“コマーシャルD”により示されるコマーシャルは、クライアント13に記録されていないので、所望するキーワードにより検索されたにもかかわらず、ユーザはそのコマーシャルを再生させることができない。この場合、ユーザが領域251に表示されている文字“コマーシャルD”を選択すると、出力部99には、例えば、図24に示す画面が表示される。
図24では、出力部99には、クライアント13に記録されていないコマーシャルを録画予約するためのダイアログ281が表示されている。ダイアログ281には、コマーシャルの録画を予約するか否かを確認するメッセージ“「コマーシャルD」を録画予約しますか?”が表示されている。
また、ダイアログ281には、コマーシャルの録画予約を指示するときに操作されるボタン291、およびコマーシャルの録画予約をキャンセルするときに操作されるボタン292が設けられており、ボタン291およびボタン292には、それぞれ文字“はい”および“いいえ”が表示されている。
ユーザがボタン292を操作すると、ダイアログ281は閉じられて、図23の文字“コマーシャルD”により示されるコマーシャルは録画予約されない。これに対して、ユーザによりボタン291が操作されると、クライアント13は、図23の文字“コマーシャルD”により示されるコマーシャルを録画予約する。このように、クライアント13においては、検索の結果として得られたものの、クライアント13に記録されていないコマーシャルの録画を予約することができる。
次に、図25のフローチャートを参照して、クライアント13が録画予約されたコマーシャルを受信して録画する処理である、コマーシャルの録画処理について説明する。
ステップS301において、放送受信部91は、録画したいコマーシャルに対して適切なチャンネルを選択する。例えば、一般的なコマーシャルは、複数の放送局で放送されていることが多いが、放送局自身のコマーシャルや、特定の番組のコマーシャルは、その放送局以外では放送されないため、チャンネルを特定する必要がある場合がある。そのような場合、例えば、放送受信部91は、コマーシャルの付加情報としてのコマーシャルが放送されたチャンネルなどの情報に基づいて、受信するチャンネルを選択する。このように付加情報に基づいて受信するチャンネルを選択することで、より効率よくコマーシャルを録画することができる。
また、例えば、付加情報にコマーシャルが放送された時刻などの情報が含まれているときには、その情報に基づいて、番組を受信する時間帯などを定めるようにしてもよい。このように、番組を受信する時間帯を定めることでも、より効率よくコマーシャルを録画することができる。
ステップS302において、放送受信部91は、選択したチャンネルの番組を受信し、受信した番組を記録再生部111を介して、検出部112および特徴量算出部113に供給する。
ステップS303において、検出部112は、記録再生部111から供給された番組からコマーシャルを検出する。検出部112はコマーシャルを検出すると、検出されたコマーシャルを番組から抽出して登録部114に供給するとともに、特徴量算出部113に特徴量の算出を指示する。
ステップS304において、特徴量算出部113は検出部112の指示にしたがって、記録再生部111から供給された番組に含まれている、検出されたコマーシャルの特徴量を求め、求められた特徴量を登録部114に供給する。
ステップS305において、登録部114は、求められた特徴量と、録画予約されたコマーシャルの特徴量とが一致するか否かを判定する。ステップS305において、一致しないと判定された場合、処理はステップS303に戻り、上述した処理が繰り返される。なお、ステップS305において、所定の回数以上、一致しないと判定された場合には、番組を受信するチャンネルや時間帯が変更されるようにしてもよい。
これに対して、ステップS305において、特徴量が一致すると判定された場合、ステップS306に進む。ステップS306において、登録部114は、検出部112から供給されたコマーシャルを録画し、コマーシャルの録画処理は終了する。
すなわち、登録部114は、付加情報登録済みリストの登録情報にそのコマーシャルが含まれるように、データベース95にコマーシャルを記録させる。また、コマーシャルが録画されると、登録部114は、そのコマーシャルが記録されている位置を示すCM位置情報を生成して、データベース95に供給して記録させる。なお、コマーシャルが映像記録部93に記録されるようにしてもよい。そのような場合、登録部114がコマーシャルの区間を指定して、記録再生部111にコマーシャルの映像記録部93への記録を指示し、記録再生部111はその指示にしたがって、コマーシャルを映像記録部93に記録させる。
コマーシャルの録画処理が行われて、コマーシャルが録画されると、例えば、図23に示す画面において、他のコマーシャルを示す文字の左側の四角形とは異なる表示形式で表示されていた、文字“コマーシャルD”の左側の四角形が、図26に示すように、他のコマーシャルを示す文字の左側の四角形と同じ表示形式で表示される。図26では、文字“コマーシャルA”乃至“コマーシャルE”の左側の四角形のそれぞれが、同じ表示形式で表示されている。これにより、ユーザは文字“コマーシャルD”により示されるコマーシャルを再生させて視聴できるようになる。
このようにして、クライアント13は、録画予約されたコマーシャルを受信して録画する。
このように、録画予約されたコマーシャルを受信して録画することによって、ユーザは、録画を予約するという簡単な操作で、いつ、どのチャンネルで放送されるか分からないコマーシャルを録画させることができる。これにより、ユーザは所望するコマーシャルを簡単に視聴することができる。
なお、以上においては、コマーシャルに関する情報である付加情報は、サーバ12を管理する管理者により入力されると説明したが、サーバ12の管理者に限らず、コマーシャルの一覧を公開しても著作権上問題の生じない、他の情報提供者により入力されるようにしてもよい。
そのような場合、CM情報提供システムは、例えば図27に示すように構成される。なお、図27において、図1における場合と対応する部分には同一の符号を付してあり、その説明は省略する。
図27に示すCM情報提供システムには、図1に示したCM情報提供システムに対して、新たに情報入力者端末装置321−1乃至情報入力者端末装置321−N(但し、情報入力者端末装置321−2乃至情報入力者端末装置321−(N−1)は図示せず)のそれぞれが設けられている。情報入力者端末装置321−1乃至情報入力者端末装置321−Nのそれぞれは、通信網14を介してサーバ12と接続されている。
サーバ12は、付加情報登録待ちリストに登録されているコマーシャルの一覧を、通信網14を介して公開し、情報入力者端末装置321−1乃至情報入力者端末装置321−Nのそれぞれは、公開された一覧を見た情報提供者により入力された付加情報を、通信網14を介してサーバ12に送信する。そして、サーバ12は、情報入力者端末装置321−1乃至情報入力者端末装置321−Nのそれぞれから受信した付加情報に基づいて、コマーシャルを付加情報登録済みリストに登録する。
なお、以下、情報入力者端末装置321−1乃至情報入力者端末装置321−Nのそれぞれを個々に区別する必要のない場合、単に情報入力者端末装置321と称する。
次に、図28のフローチャートを参照して、サーバ12が情報入力者端末装置321から付加情報を受信する場合における登録処理について説明する。この登録処理は、例えば、付加情報登録待ちリストに新たにコマーシャルが登録された場合、最後に登録処理が行われてから、所定の時間が経過した場合、情報入力者端末装置321を操作する情報提供者が登録処理の開始を指示した場合などに開始される。
ステップS331において、登録部63は、データベース21に記録されている付加情報登録待ちリストを参照して、付加情報登録待ちリストに登録されているコマーシャルがあるか否かを判定する。ステップS331において、登録されているコマーシャルがないと判定された場合、検出された全てのコマーシャルが付加情報登録済みリストに登録されているので、登録処理は終了する。
これに対して、ステップS331において、登録されているコマーシャルがあると判定された場合、登録部63はデータベース21から、付加情報登録待ちリストに登録されているコマーシャルを取得して、付加情報登録待ちリストに登録されているコマーシャルの一覧を表示させるための画像データを生成する。そして、登録部63は、検索部64を介して生成した一覧を表示させるための画像データを通信部58に供給して、処理はステップS332に進む。
ステップS332において、通信部58は、付加情報登録待ちリストに登録されているコマーシャルの一覧を提示する。例えば、通信部58は、画像データを通信網14を介して情報入力者端末装置321に送信することにより、コマーシャルの一覧を提示する。
このように、サーバ12から情報入力者端末装置321に画像データが送信されると、情報入力者端末装置321は、その画像データを受信して、例えば、図9に示したコマーシャルの一覧を表示する。そして、情報提供者が付加情報を入力するコマーシャルを選択し、図10に示した付加情報入力画面を表示させて付加情報を入力すると、情報入力者端末装置321は、入力された付加情報を、通信網14を介してサーバ12に送信する。
情報入力者端末装置321から付加情報が送信されてくると、ステップS333において、通信部58は、送信されてきた付加情報を受信し、受信した付加情報を検索部64および登録部63を介してデータベース21に供給する。その後、ステップS334の処理乃至ステップS336の処理が行われるが、これらの処理は、図8のステップS44の処理乃至ステップS46の処理のそれぞれと同様であるので、その説明は省略する。
このようにして、サーバ12は、情報入力者端末装置321から付加情報を受信して、コマーシャルを付加情報登録済みリストに登録する。
このように、情報入力者端末装置321から付加情報を受信して、コマーシャルを付加情報登録済みリストに登録することで、より多くの情報提供者から情報を得ることができるので、より迅速に付加情報を得ることができる。
また、図15を参照して説明した、クライアント13によるコマーシャル検出処理においては、図29Aに示すように、番組本編およびコマーシャルが含まれている番組351から、番組351に含まれているコマーシャル352を検出し、検出されたコマーシャル352の特徴量353を求めると説明したが、図29Bに示すように、番組351の特徴量354を求めて、特徴量354からコマーシャル352の特徴量353を抽出するようにしてもよい。
以下、図30のフローチャートを参照して、番組の特徴量を求めてから、求められた特徴量からコマーシャルの特徴量を抽出する場合における、コマーシャル検出処理について説明する。
なお、ステップS361の処理およびステップS362の処理は、図15におけるステップS131の処理およびステップS132の処理と同様であるので、その説明は省略する。
ステップS363において、特徴量算出部113は、記録再生部111から供給された番組の特徴量を求める。その後、ステップS364の処理およびステップS365の処理が行われるが、これらの処理は、図15におけるステップS133の処理およびステップS134の処理と同様であるので、その説明は省略する。
ステップS365において、コマーシャルが検出されたと判定された場合、検出部112は特徴量算出部113に、検出されたコマーシャルの位置に基づいてコマーシャルの特徴量の抽出を指示し、処理はステップS366に進む。
ステップS336において、特徴量算出部113は、検出部112の指示にしたがって、求めた番組の特徴量からコマーシャルの特徴量を抽出し、抽出した特徴量を登録部114に供給する。その後、ステップS367の処理乃至ステップS373の処理が行われるが、これらの処理は、図15のステップS136の処理乃至ステップS142の処理と同様であるので、その説明は省略する。
このようにして、クライアント13は、番組の特徴量からコマーシャルの特徴量を抽出し、検出されたコマーシャルを付加情報登録待ちリストに登録したり、CM位置情報を生成したりする。
このように、番組の特徴量からコマーシャルの特徴量を抽出し、検出されたコマーシャルを付加情報登録待ちリストに登録したり、CM位置情報を生成したりすることにより、録画された番組に含まれるコマーシャルと、付加情報登録待ちリストまたは付加情報登録済みリストに登録されているコマーシャルとを関連付けることができる。
なお、図16を参照して説明したコマーシャル検出処理についても、同様に番組の特徴量からコマーシャルの特徴量を抽出するようにしてもよい。
また、以上においては、クライアント13が受信した番組、またはクライアント13が録画した番組に対してコマーシャル検出処理、付加情報表示処理などの処理が行われると説明したが、パーソナルコンピュータやハードディスクレコーダなどのクライアント13とは異なる他の装置において録画され、他の装置からクライアント13に設けられた入力端子や通信網14を介してクライアント13に入力された番組に対しても、コマーシャル検出処理、付加情報表示処理などの処理が行われるようにすることも勿論可能である。
以上のように、特定条件を満たすコマーシャルを検索し、検索の結果得られた全てのコマーシャルのCM情報を一括して送信することにより、より簡単にユーザが所望するコマーシャルに関する情報を提供することができる。
また、特定条件を指定して、特定条件を満たすコマーシャルのCM情報を一括して受信することによって、CM情報に含まれている付加情報を検索するたびにサーバ12にアクセスする必要がなくなり、ユーザはより簡単かつ迅速にコマーシャルに関する情報を得ることができる。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図31は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。パーソナルコンピュータ401のCPU(Central Processing Unit)411は、ROM(Read Only Memory)412、または記録部418に記録されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)413には、CPU411が実行するプログラムやデータなどが適宜記憶される。これらのCPU411、ROM412、およびRAM413は、バス414により相互に接続されている。
CPU411にはまた、バス414を介して入出力インターフェース415が接続されている。入出力インターフェース415には、キーボード、マウス、マイクロホンなどよりなる入力部416、ディスプレイ、スピーカなどよりなる出力部417が接続されている。CPU411は、入力部416から入力される指令に対応して各種の処理を実行する。そして、CPU411は、処理の結果を出力部417に出力する。
入出力インターフェース415に接続されている記録部418は、例えばハードディスクからなり、CPU411が実行するプログラムや各種のデータを記録する。通信部419は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
また、通信部419を介してプログラムを取得し、記録部418に記録してもよい。
入出力インターフェース415に接続されているドライブ420は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア431が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部418に転送され、記録される。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図31に示すように、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む)、光磁気ディスクを含む)、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア431、または、プログラムが一時的もしくは永続的に格納されるROM412や、記録部418を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部419を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
12 サーバ, 13,13−1乃至13−N クライアント, 21 データベース, 58 通信部, 61 検出部, 62 特徴量算出部, 63 登録部, 64 検索部, 93 映像記録部, 95 データベース, 100 通信部, 112 検出部, 113 特徴量算出部, 114 登録部, 115 検索部