JP2000165790A - 情報再生装置 - Google Patents

Abstract

(57)【要約】 【課題】ＴＶ番組と関連情報を同期再生する従来の方法
では、ＶＣＲ等の録画に対応していないために、録画し
た番組を再生した際には、番組と関連情報が同期再生で
きない。 【解決手段】本発明の番組情報生成方法では、与えられ
た再生中の番組に含まれる部分的な音声パタンが、前記
番組を含む単数あるいは複数の番組に対してあらかじめ
作成された番組全体の音声パタンの中で該当する部分
を、パターンマッチングの手法により求め、与えられた
部分的な音声パタンが該当する番組に関する番組情報を
生成している。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術の分野】本発明はＶＣＲ等のＴＶ放
送等の番組蓄積装置と、ＰＣ等のデータ情報を表示する
機能を持つ装置、あるいは前記二装置が組み合わされた
システムにおいて、ＶＣＲ等により再生されたＴＶ番組
と同期させて番組関連情報を再生表示するために用いる
番組情報を生成する方法に関するものである。

【０００２】

【従来の技術】ＴＶ番組と関連情報を同期再生する従来
の方法としては、ＴＶ電波の垂直消去期間に番組に関連
したＨＴＭＬファイルを多重化して送出し、デコーダを
内蔵したＰＣベースの受信機側で、ＴＶ放送からＨＴＭ
Ｌファイルに関するデータを分離し、ＰＣ上にＴＶ放送
とＨＴＭＬファイルを同期表示させる技術が知られてい
る。

【０００３】

【発明が解決しようとする課題】しかしながら、このよ
うな従来の方法ではＶＣＲ等の録画に対応していないた
めに、録画した番組を再生した際には、番組と関連情報
が同期再生できないという問題点があった。

【０００４】また、この問題は放送局以外の第三者（Ｉ
Ｐ）が番組関連情報の提供を行いにくい原因にもなって
いた。一般的にはＩＰが事前にＴＶ番組の内容を知るこ
とができないために、番組関連情報は必然的に番組の放
映時以降に作成される。この番組関連情報とＴＶ放送番
組を同期再生するためには、ＴＶ放送番組をＶＣＲ等の
番組蓄積装置を使って一時的に記録させる必要がある
が、従来は、ＶＣＲ等に蓄積されたＴＶ番組と、ＩＰか
ら提供された番組関連情報を同期再生する方法がなかっ
たのである。

【０００５】

【課題を解決するための手段】上述の課題を解決するた
めに、本発明の番組情報生成方法では、与えられた再生
中の番組に含まれる部分的な音声パタンが、前記番組を
含む単数あるいは複数の番組に対してあらかじめ作成さ
れた番組全体の音声パタンの中で該当する部分を、パタ
ーンマッチングの手法により求め、与えられた部分的な
音声パタンが該当する番組に関する番組情報を生成して
いる。

【０００６】

【発明の実施の形態】本発明の番組情報生成方法を用い
て番組と関連情報を同期再生する情報再生装置の実施の
形態を図１を用いて説明する。

【０００７】ブロック１１はＶＣＲ等に代表される番組
蓄積装置である。

【０００８】リンク１２は番組蓄積装置１１から出力さ
れる音声信号あるいは映像信号あるいは制御信号を伝え
る伝送路である。

【０００９】ブロック１３は伝送路１２の信号から、番
組蓄積装置１１で現在再生中の番組についての番組ＩＤ
情報や、番組中のどの部分の再生を行っているのかを示
す番組内時間情報を番組情報としてブロック１５に出力
する番組情報出力装置である。番組情報出力装置１３は
ＰＣ上で動作するソフトウェアとして構成することが可
能であり、また１１の装置と一体化させた装置として構
成することも可能である。

【００１０】リンク１４は番組情報出力装置１３によっ
て生成された番組ＩＤ情報及び番組内時間情報等の番組
情報を伝える伝送路である。

【００１１】ブロック１５は、ブロック１７に蓄積され
た番組関連情報の再生を行う、番組関連情報再生装置で
あり、伝送路１４に出力された番組ＩＤ情報に基づいて
まずブロック１７に蓄積された複数の番組関連情報から
該当する番組関連情報を選び、伝送路１４に出力された
番組内時間情報に基づいて番組関連情報のどの部分を再
生するかを決定する機能を持つ。番組関連情報再生装置
１５はＰＣ上で動作するソフトウェアとして構成するこ
とが可能であり、また番組情報出力装置１３と番組関連
情報再生装置１５は同一のＰＣ上で動作させる構成をと
ることも可能である。

【００１２】リンク１６はブロック１７に蓄積された番
組関連情報をブロック１５に伝える伝送路である。

【００１３】ブロック１７は情報蓄積装置であり、外部
から番組関連情報が供給され蓄えられる。情報蓄積装置
１７はハードディスク等のＰＣ用データ蓄積装置で構成
することも可能である。また、情報蓄積装置１７は、他
のブロックから切り離して遠隔地にあるサーバ装置で構
成することも可能であり、この場合伝送路１６は電話線
等で構成される。

【００１４】リンク１８は番組関連情報再生装置１５で
番組関連情報を再生した結果得られた映像や音声信号を
伝える伝送路である。

【００１５】リンク１９は番組蓄積装置１１より出力さ
れる再生された番組の映像及び音声信号を伝える伝送路
である。

【００１６】ブロック２０は伝送路１８と１９の映像及
び音声を同時に提示するための提示装置である。提示装
置２０は例えばＣＲＴモニタを２台並べて構成すること
も可能であり、２系統の信号を受け付けて１画面に統合
表示する機能のある１台のテレビモニタで構成すること
もできる。また提示装置２０はＰＣの一部である出力装
置として構成することも可能である。

【００１７】番組情報出力装置１３が番組ＩＤ情報及び
番組内時間情報等の番組情報を生成する際に補助情報を
用いる方法があり、補助情報の扱いに関して以下に述べ
る５通りの例がある。

【００１８】第一の例として、補助情報を用いない形態
がある。この形態は、伝送路１２と伝送路１４の伝送内
容が同一か、あるいは伝送路１２の情報から伝送路１４
の情報を、補助情報を必要とせずに生成できる場合に用
いることができる。例えば、ＴＶ局から発信されるＴＶ
放送の垂直消去期間（ＶＢＩ）に、ＶＣＲにそのまま記
録可能な方式で、あらかじめ番組情報や時間情報がエン
コードされている場合には、番組情報出力装置１３は前
記情報のデコーダ機能を持つことで、伝送路１２として
映像信号を入力すれば伝送路１４の情報を補助情報無し
で生成することができる。図１では、この形態の例が示
されている。

【００１９】第二に、図１の番組蓄積装置１１と番組情
報出力装置１３の構成を、図２に示すように変更した例
がある。これは番組蓄積時に生成した補助情報を番組蓄
積装置１１に蓄積し、番組再生時にはこの補助情報をも
再生し、再生された補助情報に基づき番組情報出力装置
１３が番組ＩＤ情報と番組内時間情報等を算出する例で
ある。

【００２０】図２のブロック２１は現在時間を計算する
計時装置である。

【００２１】リンク２２は２１の出力する時間情報を１
３に知らせる伝送路である。

【００２２】ブロック２３は番組蓄積装置１１が録画中
に選択しているチャンネルを検知するチャンネル検知装
置である。チャンネルに関する情報はＶＣＲの状態を調
べたり、リモコン等から伝送されるＶＣＲへの録画設定
情報をモニタリングしたり、あるいはＶＣＲへの設定と
は独立にユーザに直接指定させる等の方法で取得するこ
とができる。

【００２３】リンク２４は２３のチャンネル情報を１３
に知らせる伝送路である。

【００２４】時計装置２１、チャンネル検知装置２３は
番組蓄積装置１１と一体化した装置とする構成もとれ
る。また時計装置２１はＰＣの提供する機能で置き換え
ることができる。チャンネル検知装置２３はＰＣ上のソ
フトとして構成することも可能である。

【００２５】リンク２５は、番組情報出力装置１３が、
録画時に番組ＩＤ情報及び番組内時間情報等の番組情報
を番組蓄積装置１１にて番組と共に記録可能な信号に変
換し補助情報として、番組蓄積装置１１に対して出力す
るための伝送路である。

【００２６】番組蓄積装置１１は番組再生時に、番組蓄
積装置１１で記録可能な形式に変換された補助情報も併
せて再生し、番組情報出力装置１３に対して伝送路１２
によって出力する。番組蓄積装置１１で記録可能な形式
とは例えばビデオ信号の垂直消去期間（ＶＢＩ）にデー
タを埋め込む方法が考えられる。

【００２７】番組蓄積装置１１は録画時には番組の記録
と同時に伝送路２５から受け付けた信号を同時にテープ
に記録する。伝送路１２と２５は物理的に一本の双方向
伝送路で構成することもできる。

【００２８】第三に、図１の番組蓄積装置１１と番組情
報出力装置１３の構成を、図３に示すように変更した例
がある。

【００２９】図３においてブロック２６は、番組蓄積時
に番組情報出力装置１３が生成する補助情報の蓄積装置
である。

【００３０】リンク２７は番組情報出力装置１３と蓄積
装置２６を結ぶ伝送路である。蓄積装置２６は蓄積装置
１７と同一装置とする構成をとることができる。図３に
おいて２１〜２４は図２と同じである。

【００３１】番組蓄積装置１１が番組を蓄積すると同時
に番組情報出力装置１３も番組内容を取得し、番組に関
するクローズドキャプションあるいは映像や音声を元に
して作られた番組全体の手がかり信号に対して、手がか
り信号全体に対応づけられた番組ＩＤ情報と、時間で区
切った手がかり信号の各部分に対応づけられた番組内時
間情報等を付加した補助情報を作成し、蓄積装置２６に
格納する。再生時、番組情報出力装置１３は、番組蓄積
装置１１から得られたクローズドキャプション等の情報
を蓄積装置２６から読み出した補助情報とパターンマッ
チングの手法等により比較して、補助情報の中のどの部
分に相当するかを判定し、補助情報に示される対応づけ
により該当する番組ＩＤ情報と番組内時間情報等の番組
情報を生成し出力する。

【００３２】第四に、図１の番組蓄積装置１１と番組情
報出力装置１３の構成を、図４に示すように変更した例
がある。図４においてブロック蓄積装置２６、伝送路２
７は図３と同じである。

【００３３】番組蓄積時には番組情報出力装置１３にお
いて補助情報生成処理を行わず、補助情報は外部で作成
され、番組蓄積と独立したタイミングで外部から蓄積装
置２６に対して供給されるか、あるいは番組情報出力装
置１３が外部より取得して蓄積装置２６に格納する。再
生時には第三の例として説明した同じ手順により、番組
ＩＤ情報と番組内時間情報を生成する。この形態では、
第三の例に比べて、補助情報の生成手順を外部で行う
分、第三の例で録画時に必要であった処理を減らすこと
ができる。

【００３４】第五に、図１と構成は同じだが、補助情報
を用いる例がある。

【００３５】番組蓄積時には第四の例と同じく、番組情
報出力装置１３において補助情報生成処理を行わない。
再生時には、番組情報出力装置１３は電話線等の伝送手
段を使って外部のサーバに接続し、外部で作成しサーバ
に格納された補助情報をそのつど参照しながら、番組情
報出力装置１３において番組ＩＤ情報、番組内時間情報
等の番組情報を生成する。第四の例では再生前に補助情
報を取得しておく必要があったのに対して、この例では
再生までその手順が必要ない。一方第四の例では、補助
情報のダウンロードのための交信は外部で補助情報が用
意されてから再生を行う前までの間の任意の時間に行え
ばよいが、この形態では再生時に外部サーバと連絡する
ため、再生中に交信を行う必要がある。

【００３６】図５は、番組関連情報再生装置１５が読み
込む番組関連情報の一例である。

【００３７】図５において、データ８１は番組ＩＤ情報
に相当するヘッダー情報である。番組を一意に特定でき
るコード体系が存在する場合は、番組ＩＤ情報としてそ
のコードを用いることができる。また、番組伝送メディ
ア、チャンネル、蓄積開始時間等、番組を一意に特定す
ることができる情報セットを番組ＩＤ情報として利用す
ることもできる。

【００３８】データ８２は、番組内時間情報と再生情報
のセットの全体数を記述する。

【００３９】データ８３は番組内時間を表す。

【００４０】データ８４は番組内時間８３で指定された
時間に、再生すべき内容を指定する再生情報である。こ
の情報には、様々なフォーマットで記述されたテキス
ト、図形描画コマンド、画像ファイル名等が含まれる。
また再生情報８４は、特定の項目をマウスでクリックす
る等の入力によって別な情報を提示させると言ったハイ
パーテキスト構造のデータ（例えばＨＴＭＬ）を記述す
ることもできる。

【００４１】ここで、本発明の第１の実施の形態である
音声信号を手がかりとして番組ＩＤ情報、番組内時間情
報の生成する方法について説明する。本実施の形態では
図１におけるブロック番組情報出力装置１３と番組関連
情報再生装置１５は、同一のＰＣ上で別々のソフトウェ
アとして実現されるものとする。図６を用いて、ＰＣに
おいて音声信号を手がかりとした番組ＩＤ情報と番組内
時間情報を生成する場合の、ＰＣ内部の構成要素と、Ｐ
Ｃ上のソフトウェア、およびそれらの間に伝送される各
種情報の関係について説明する。

【００４２】１５１はＰＣ内部にある音声入力装置で、
音声のＡＤ変換装置やデータバッファから構成される。
音声入力装置１５１は図１の番組蓄積装置１１とリンク
１２で接続される。

【００４３】ブロック１５２は主に遠隔地と連絡するた
めの、ＰＣ内部のネットワーク機能、モデム機能等を持
つ入出力装置である。入出力装置１５３はＰＣに内蔵あ
るいは外づけされるハードディスク等の蓄積装置であ
り、図１の蓄積装置１７と、図３の蓄積装置２６を同一
の装置にまとめたものである。

【００４４】ブロック１５４はＰＣ内部の出力装置で、
映像音声信号を外部に出力する。１５４は図１のブロッ
ク２０とリンク１８で接続される。

【００４５】ブロック１５５とブロック１５６はＰＣ上
で動作するプログラムを表しており、情報生成プログラ
ム１５５は図１の番組情報出力装置１３の機能を、情報
再生プログラム１５６は図１の番組関連情報再生装置１
５の機能をソフトウェア化したものである。

【００４６】リンク１６１は、音声データの伝達を表
す。リンク１６２は情報生成プログラム１５５が作成し
た補助情報を蓄積装置１５３に格納するときや、情報生
成プログラム１５５が蓄積装置１５３に格納された補助
情報を参照するとき等の補助情報の伝達を表す。

【００４７】リンク１６３は情報生成プログラム１５５
が情報再生プログラム１５６に出力する番組ＩＤ情報と
番組内時間情報である。リンク１６４は情報再生プログ
ラム１５６が蓄積装置１５３から取得する番組関連情報
の伝達を表す。リンク１６５は情報再生プログラム１５
６が番組関連情報に基づいて発行するテキスト、図形、
画像描画コマンド等の伝達である。リンク１６６は入出
力装置１５２を通して入手され蓄積装置１５３に蓄積さ
れる番組関連情報や補助情報の伝達を表す。

【００４８】図７は、図６の情報生成プログラム１５５
のＶＣＲ再生時に番組ＩＤ情報と番組内時間情報を生成
するためのアルゴリズムを示すものである。

【００４９】ここで、補助情報に含まれる番組全体に関
する手がかり情報を全体音声パタン、ＶＣＲの再生時に
ＶＣＲから得られるある時間幅を持った手がかり情報を
部分音声パタンと呼ぶ。

【００５０】図７において、ブロック１０１では、ＰＣ
装置等に装備された、ＡＤ変換装置やデータバッファ装
置からなる音声信号取り込み機構から、ある時間幅の音
声データを新たに取得する。この音声データを部分音声
パタンと呼ぶ。ブロック１０２では、あらかじめ番組録
画時に情報生成プログラム１５５で作成されたか、ある
いはあらかじめ外部からＰＣに蓄積済みの、同期判定候
補である複数の全体音声パタンの内容全てを対象とし
て、１０１で得られた部分音声パタンのパターンマッチ
ング判定を行う。そして、全てのファイルについて、全
体音声パタンのどの部分ともマッチングがとれなかった
場合にはＮ、パターンマッチングの該当個所が判明した
場合はＹに進む。ここで、マッチングの効率化を図るた
めには、仮に複数のマッチング候補が得られて一つに絞
りきれない場合には一旦はＮとして１０１に進み、再び
１０２に至ったときには、全体パタンの中から前回得ら
れた各マッチング候補に引き続くパタンについて優先的
にマッチング判定を行う方法をとることもできる。この
方法はブロック１０８においても適用することができ
る。

【００５１】ブロック１０３では１０２で得られた情報
を元にして、現在入力されている音声が該当する番組に
関する番組名等の番組ＩＤ情報と、再生されている内容
がその番組の中の該当する時間に関する番組内時間情報
を外部に対して出力する。

【００５２】尚、１０１〜１０３の過程は、外部から番
組ＩＤ情報等の教示を受ける場合は省くことができる。
この場合は、１０５および１０８でパターンマッチング
を行う全体音声パタンは外部より与えられた番組ＩＤ情
報より一意に定まる。

【００５３】ブロック１０４は１０１と同じ働きであ
る。ブロック１０５では、１０２あるいは１０５あるい
は１０８によって最も最近マッチングが判定された全体
音声パタンのマッチング部分に引き続くパタンと、今回
新たに得られた部分音声パタンがマッチングするかどう
かか（同期の維持）の判定を行う。マッチングが検出さ
れればＹ、されなければＮに進む。ブロック１０６は、
ブロック１０５あるいは１０８で得られた情報にもとづ
いて、再生されている内容の、１０２で確定した番組の
中の該当する時間に関する時間情報を外部に対して出力
する。ブロック１０７は１０５のマッチングの未検出判
定が、別途設定された一定の時間あるいは判定回数を越
えたかどうかの判定を行い、越えている場合はＹ、越え
ていない場合はＮに進む。ブロック１０７は、突発的ノ
イズ等の理由で、一時的に１０５の判定が正常に行われ
なかった場合に、比較的処理負荷の高い１０８の処理に
簡単に移行することがないようにすることで、総合的に
処理効率を上げ、マッチング確立までにかかる平均所要
時間を短くするための手順である。

【００５４】ブロック１０８は、現在の部分音声パタン
と１０２で得られた番組の全体音声パタンのパターンマ
ッチングを行う。ブロック１０９では、１０８のマッチ
ングの未検出判定が、別途設定された一定の時間あるい
は判定回数を越えたかどうかの判定を行い、越えている
場合はＹ、越えていない場合はＮに進む。ブロック１０
９の働きはブロック１０７と同様である。ブロック１２
０はブロック１０１と同じ働きである。

【００５５】図７に示した本発明の第１の実施の形態で
は、一旦マッチングがとれる（同期が確立する）と、ま
ず同期の維持判定を行い、同期が維持されていないと判
断された場合は、同一番組内でのマッチング判定を行
う。同期が維持されない理由としてはＶＣＲが停止、巻
き戻し、早送り等の特殊再生状態にあることが考えられ
る。再び再生状態に戻ったときは前回同期が確立してい
た地点から離れた地点で再生が始まる可能性があるた
め、同一番組内全体をマッチングの対象とする。ただ
し、ＶＣＲ等のシーケンシャルアクセスの媒体において
は、特殊再生により同期がはずれた状態の続く時間と、
前回再生されていた地点と新たに再生が始まる地点の時
間差については相関があるため、この相関を利用してマ
ッチングの効率を高めることができる。例えば同期がは
ずれて１秒しか経過していない状況では、最後に同期が
確立されていた地点に近い地点の再生が始まっている可
能性が高いと考えられる。

【００５６】同一番組内でマッチングがとれなかった場
合には、全ての番組についてマッチングを判定する。番
組が変わるという状況は、ＶＣＲ等の再生が連続して録
画された次の番組に及んだ場合や、テープが入れ替えら
れた場合が考えられる。本発明の第１の実施の形態で
は、こうした番組の変更という事態が、特殊再生による
同一番組内の移動よりも頻度が少ないと仮定して、全番
組に関するマッチング判定処理よりも同一番組内のマッ
チング判定処理を優先して行っている。

【００５７】次に図７の１０２において、パターンマッ
チングにより、番組ＩＤ情報と番組内時間情報を得る手
順の一実施形態についての説明を行う。

【００５８】図８は再生時に得られた部分音声パタンの
例であり、ＰＣＭデータの模式図である。縦軸は音量
軸、横軸は時間軸である。ここで、再生される番組の候
補としてａ，ｂ，ｃの番組があり、それぞれについての
全体音声パタンは既に格納されているものとする。図
９、１０、１１はそれぞれ３種類の番組ａ，ｂ，ｃにつ
いての全体音声パタンのＰＣＭデータの模式図を示して
いる。尚、全体音声パタンを含む補助情報には、ヘッダ
情報として番組ＩＤ情報が付けられている。番組ＩＤ情
報としては、番組を一意に特定できるコード体系が存在
する場合はそのコードを用いることができる。また、番
組伝送メディア、チャンネル、蓄積開始時間等、番組を
一意に特定することができる情報セットを番組ＩＤ情報
として利用することもできる。

【００５９】図９、１０、１１に含まれるデータ全体に
対してパターンマッチング判定を行うことにより、３つ
の全体音声パタン中のどの部分が図８の部分音声パタン
と最もマッチングがとれるかを見つけることができる。
本例では図１１の四角で囲んだ部分が図８の部分音声パ
タンと合致することがわかる。この場合は、番組ｂの全
体音声パタンファイルのヘッダ情報から番組ｂの番組Ｉ
Ｄ情報が取得できる。また、図１１の横軸は時間軸を表
しているので、全体音声パタンファイルの情報から、四
角で囲んだ部分の番組内時間情報を得ることができる。

【００６０】図７のブロック１０８で行われる処理は上
記処理をパターンマッチングの対象のファイルを一つに
限定したものである。

【００６１】マッチングの高速化とマッチング精度を高
めるためには、ＰＣＭデータのサンプリング周波数やサ
ンプリングの量子化ビット数を最適な値に決める必要が
ある。また、マッチング精度の向上のためには、データ
同士を比較するときのデータフォーマットを単なるＰＣ
Ｍではなく、ＦＦＴ等の手法によりバンドパスフィルタ
を構成して複数の周波数帯に関して算出した複数のパワ
ーデータを用いる方法もある。

【００６２】また、もともとが同じ番組から作られたデ
ータであっても、データ作成時の環境の違い等から、全
体音声パタンと、部分音声パタンで、音声信号の音量レ
ベルや定常ノイズに相違が生じる可能性がある。この場
合はデータの比較の際に、両データのレベルの差を補正
したり、定常ノイズの影響を差し引く処理を行うことが
望ましい。

【００６３】本実施形態で説明した方法では、早送り再
生、巻き戻し再生等の特殊再生中は同期がはずれ、再生
が再開した時点で再び同期が確定する。前記特殊再生中
でも時間軸の変形した音声信号がＶＣＲ等から供給され
る場合には、それを手がかりにして同期を維持すること
が可能である。この場合は１０８において、部分音声パ
タンの時間軸が圧縮伸張あるいは反転している可能性を
考慮して、通常の時間軸に変換した後に全体音声パタン
とパターンマッチング判定を行えばよい。

【００６４】本発明の第２の実施の形態は、第１の実施
の形態において、音声データの取り込み処理と、音声デ
ータのマッチング判定処理に関する記述を、映像データ
の取り込み処理と映像データのマッチング判定処理に読
み替えることで、映像データのパターンマッチングに基
づいた実施形態である。映像データのパターンマッチン
グを行う方法は、無音部分が続く番組等、音声パターン
に変化が乏しかったり、似たパターンが頻出する場合に
特に有効である。

【００６５】映像に基づくマッチングの場合は、マッチ
ングに用いるデータ形式の例として、映像を構成する一
連のフィールドに対して、各フィールドの平均輝度を算
出したデータを、前記音声データの代わりに用いること
ができる。また、マッチングの精度を高めるために、画
面を複数の領域に分割して、複数の領域毎の平均輝度
や、ＲＧＢ等の色成分毎に輝度を計算した値等、複数の
データセットを用いることもできる。

【００６６】また、音声のマッチングと映像のマッチン
グを組み合わせて利用し、マッチングの効率を高めるこ
とができる。本発明の第３の実施の形態は、第１の実施
の形態において、音声データの取り込み処理および音声
によるマッチング判定処理をそれぞれ、音声データと映
像データの取り込みと、音声によるマッチング判定処理
と映像によるマッチング判定処理と読み替えることによ
って、音声、映像の両方を用いた実施形態である。この
第３の実施の形態では、マッチング判定の際には、常に
音声、映像の両方のマッチングを実行し、どちらか一方
でマッチングが成立すればマッチング確定と見なす方法
をとる。両方ともマッチングが成立した場合には、両者
のうちでより強いマッチングと判定された結果を、最終
的なマッチング結果を考える。この方式はマッチング判
定処理の負荷は高くなるが、マッチングが確定するまで
の平均的な処理手順を短くすることができる。

【００６７】また、本発明の第４の実施の形態では、第
１の実施の形態において、音声データの取り込み処理お
よび音声によるマッチング判定処理を、常に音声のマッ
チング判定のみ行い、マッチングが確定しない場合に限
って、映像のマッチング処理を行いその結果に従い処理
を続けるという形態である。第３の実施の形態に比べる
と、判定に際して常に２種類の処理を同時に実行するわ
けではないので処理負荷は低くすることができる一方
で、音声か映像を全く単独で使う方法に比べると、マッ
チング確定までの手順を短くすることができるという利
点がある。第４の実施の形態は図７の１０２、１０５、
１０８を修正することで実現できる。図１２に１０２に
相当する部分を修正したアルゴリズムを説明する。

【００６８】ブロック２０１は図７のブロック１０２と
同一である。ブロック２０２はブロック１０２の処理を
映像データを使って実行するブロックである。１０５や
１０８に関する修正も図１２で１０２に関して示した修
正と同様である。

【００６９】また、本発明の第５の実施の形態では、第
４の実施の形態において音声と映像のマッチングの優先
度を入れ替えた形態である。図１２において２０１と２
０２の位置関係を入れ替えることによって、本発明の第
５の実施の形態とすることができる。

【００７０】尚、図７の本発明の実施の形態では、番組
ＩＤ情報は再生番組が変わったときのみ通知し、番組内
時間情報は１０３、１０６を実行する度に発行する。別
な方法として番組内時間情報を、同期が確立した時に一
度だけ発行し、それ以降は同期が確立している限り番組
内時間情報を発行せずに、それを受け取る外部プログラ
ム（図６の情報再生プログラム１５６）が時間の経過を
考慮して内部で番組内時間を計算するという方法をとる
こともできる。この場合は図６のリンク１６３の発行頻
度を軽減できる。この場合は、図７の１０７、１０９に
おいて、同期がはずれたと判断された場合（Ｙに進んだ
場合）には、リンク１６３により同期がはずれたことを
通知することで、情報再生プログラム１５６による情報
の提示が、図１の番組蓄積装置１１の再生状態と時間的
にずれた状態で勝手に進むことを防ぐことができる。

【００７１】図１３、１４は本発明の番組情報生成方法
を用いて番組と関連情報を同期再生する情報再生装置に
よって行われるサービスの画面例である。

【００７２】図１３は図１のブロック２０の表示装置に
相当するＰＣの出力画面である。図１３においてブロッ
ク３０１は番組蓄積装置１１からの出力を表示するビデ
オウィンドウである。ブロック３０２は番組関連情報再
生装置１５の作成するウィンドウである。

【００７３】本例では番組蓄積装置１１がニュース番組
を再生している。３０２にはニュース番組に関連するキ
ーワードのリストが表示されており、３０１に表示され
たニュース番組の進行に合わせて、番組中に現れた専門
用語、時事用語等のキーワードがリストに新たに現れ、
それにつれてリストはスクロールする。

【００７４】本例では蓄積装置１７に蓄えられた番組関
連情報データはハイパーテキスト構造をとるものとす
る。図１４は３０２のキーワードリスト中の任意の項目
がリモコン等の入力装置によってユーザから指定された
ときに図１３から遷移した画面の例である。

【００７５】ブロック３０３は、指定された項目の内容
を詳細に説明するためのウィンドウであり、本例ではテ
キストや図が説明に用いられている。

【００７６】

【発明の効果】本発明の番組情報生成方法を用いて番組
と関連情報を同期再生する情報再生装置によれば、放送
局から放送されたテレビ番組等と、放送局自身あるいは
放送局以外の第三者が作成した番組関連情報を、視聴者
が受けて、ＶＣＲ等に蓄積した前記テレビ番組の再生に
同期した状態で、ＰＣ等に蓄積した前記番組関連情報を
再生することが可能となる。

【００７７】また本発明の番組情報生成方法によれば、
一旦ＶＣＲ等に蓄積した番組を自由なタイミングで再生
したり、特殊再生を行ったときに、ＶＣＲの出力する音
声等の情報を利用して、現在再生されている番組は何
か、現在その番組のどの部分（時間）が再生されている
のか、という情報を生成することができる。これらの情
報は、上記のテレビ番組の再生に合わせて番組関連情報
を同期再生するために利用される。

【図面の簡単な説明】

【図１】本発明の番組情報生成方法を用いて番組と関連
情報を同期再生する情報再生装置の情報再生装置の一例
を示す図である。

【図２】本発明の番組情報生成方法を用いて番組と関連
情報を同期再生する情報再生装置の情報再生装置の一例
を示す図である。

【図３】本発明の番組情報生成方法を用いて番組と関連
情報を同期再生する情報再生装置の一例を示す図であ
る。

【図４】本発明の番組情報生成方法を用いて番組と関連
情報を同期再生する情報再生装置の一例を示す図であ
る。

【図５】番組関連情報の例を示す図である。

【図６】ＰＣにおいて、本発明の第１の実施の形態を実
施する場合の、ＰＣ内部の構成要素、ＰＣ上のソフトウ
ェア、およびそれらの間の各種情報の伝達を示す図であ
る。

【図７】本発明の第１の実施の形態を実施するアルゴリ
ズムを説明する図である。

【図８】部分音声パタンの例を示す。

【図９】全体音声パタンの例を示す。

【図１０】全体音声パタンの例を示す。

【図１１】全体音声パタンの例を示す。

【図１２】本発明の第４の実施の形態のアルゴリスムを
説明するための図である。

【図１３】本発明の番組情報生成方法を用いて番組と関
連情報を同期再生する情報再生装置によって行われるサ
ービスの画面例を示す図である。

【図１４】本発明の番組情報生成方法を用いて番組と関
連情報を同期再生する情報再生装置によって行われるサ
ービスの画面例を示す図である。

【符号の説明】

１１ 番組蓄積装置 １２ 伝送路 １３ 番組情報出力装置 １４ 伝送路 １５ 番組関連情報再生装置 １６ 伝送路 １７ 蓄積装置 １８ 伝送路 １９ 伝送路 ２０ 提示装置 ２１ 計時装置 ２２ 伝送路 ２３ チャンネル検知器 ２４ 伝送路 ２６ 蓄積装置 ２７ 伝送路 １５１ 音声入力装置 １５２ 入出力装置 １５３ 蓄積装置 １５４ 出力装置 １５５ 情報生成プログラム １５６ 情報再生プログラム １６１〜１６６ 伝送路

Claims (5)

【特許請求の範囲】
1. 【請求項１】与えられた再生中の番組に含まれる部分的
   な音声パタンが、前記番組を含む単数あるいは複数の番
   組に対してあらかじめ作成された番組全体の音声パタン
   の中で該当する部分を、パターンマッチングの手法によ
   り求め、与えられた部分的な音声パタンが該当する番組
   に関する番組情報を生成することを特徴とする番組情報
   生成方法。
2. 【請求項２】与えられた再生中の番組に含まれる部分的
   な映像パタンが、前記番組を含む単数あるいは複数の番
   組に対してあらかじめ作成された番組全体の映像パタン
   の中で該当する部分を、パターンマッチングの手法によ
   り求め、与えられた部分的な映像パタンが該当する番組
   に関する番組情報を生成することを特徴とする番組情報
   生成方法。
3. 【請求項３】与えられた再生中の番組に含まれる部分的
   な音声パタン及び映像パタンが、前記番組を含む単数あ
   るいは複数の番組に対してあらかじめ作成された番組全
   体の音声パタンおよび映像パタンの中で該当する部分
   を、音声と映像ともにパターンマッチングの手法により
   求め、両者のうちでより強くパターンマッチングした結
   果を元にして最終的な該当個所を求め、与えられた部分
   的な音声パタンおよび映像パタンが該当する番組に関す
   る番組情報を生成することを特徴とする番組情報生成方
   法。
4. 【請求項４】与えられた再生中の番組に含まれる部分的
   な音声パタンおよび映像パタンが、前記番組を含む単数
   あるいは複数の番組に対してあらかじめ作成された番組
   全体の音声パタンおよび映像パタンの中で該当する部分
   を、まず音声に関してパターンマッチングの手法により
   求め、該当個所が得られなかった場合には次に映像に関
   してパターンマッチングの手法により求め、与えられた
   部分的な音声パタンおよび映像パタンが該当する番組に
   関する番組情報を生成することを特徴とする番組情報生
   成方法。
5. 【請求項５】与えられた再生中の番組に含まれる部分的
   な音声パタンおよび映像パタンが、前記番組を含む単数
   あるいは複数の番組に対してあらかじめ作成された番組
   全体の音声パタンおよび映像パタンの中で該当する部分
   を、まず映像に関してパターンマッチングの手法により
   求め、該当個所が得られなかった場合には次に音声に関
   してパターンマッチングの手法により求め、与えられた
   部分的な音声パタンおよび映像パタンが該当する番組に
   関する番組情報を生成することを特徴とする番組情報生
   成方法。