【０００１】
【発明の属する技術分野】
本発明は、デジタル放送のリアルタイム型データ放送サービスにおけるデータ放送とテレビ番組の映像音声が連動した連動型データ放送番組の自動制作送出システムに関する。
【０００２】
【従来の技術】
２０００年１２月からＢＳデジタル放送が始まっているが、２００２年春からは１１０度ＣＳデジタル放送、２００３年から地上波デジタル放送が予定されている。
【０００３】
これらのデジタル放送ではインタラクティブなサービスを行うためのコンテンツの放送、いわゆるデータ放送サービスも実施される。その方式は電波産業会（ＡＲＩＢ）にて規格化されている。ＡＲＩＢ規格の詳細は、「デジタル放送におけるデータ放送符号化方式と伝送方式 ＡＲＩＢ ＳＴＤ−Ｂ２４ 第二編 ＸＭＬベースのマルチメディア符号化方式」、「同付属１ 運用に関するガイドライン」、「同付属２ 基本サービス実施のための運用ガイドライン」、「ＢＳ放送運用規程 ＡＲＩＢ ＴＲ−Ｂ１５」などに詳述されており、今後は携帯型テレビや移動型テレビ向けの運用ガイドラインも策定される予定である。
【０００４】
従来、テレビ番組の映像音声とデータ放送が連動して送出されるような連動型データ放送番組の場合、データ放送コンテンツを何時何分から何時何分まで放送するか予め編成スケジュール情報を編成システムに登録しておく必要があった。
【０００５】
【発明が解決しようとする課題】
したがって、生放送のような作り置きができない場合に課題があった。例えば、野球の実況中継において、解説者が「松井選手」に関して解説している一定期間だけ松井選手の詳細情報を送出することができれば放送帯域を有効活用できるが、このような運用をするためには従来はコンテンツの送出タイミングや送出レート制御を人間が操作する必要があったため、運用コストが大きくなるという課題があった。したがって、本システムでは、映像や音声を認識して自動的に関連するデータ放送コンテンツを制作して、送出することにより、低コストで連動型データ放送番組を自動制作できる連動型データ放送番組自動制作送出システムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記課題を解決するため、請求項１の連動型データ放送番組自動制作送出システムは、複数の映像音声情報入力を切り替える切り替え手段と、映像音声情報の特徴を認識してメタデータを抽出するメタデータ抽出手段と、抽出したメタデータから連動データ放送番組に使用するコンテンツを生成するコンテンツ生成手段と、コンテンツをデータ放送伝送フォーマットに変換して送出する送出手段と、映像音声情報を映像音声伝送フォーマットに変換するエンコード手段と、映像音声伝送フォーマットとデータ放送伝送フォーマットの各データを多重化する多重化手段とを備える。
【０００７】
また、請求項２の連動型データ放送番組自動制作送出システムは、前記メタデータ抽出手段において、映像音声情報の特徴を認識してメタデータを出力する認識手段と、メタデータを内部メタデータ形式に変換する変換テーブル記憶手段と、前記認識手段が出力したメタデータで変換テーブル記憶手段から対応する内部メタデータに変換する変換手段を備える。
【０００８】
また、請求項３の連動型データ放送番組自動制作送出システムは、前記コンテンツ生成手段において、予め作成したコンテンツを記憶するコンテンツ記憶手段と、前記メタデータ抽出手段が抽出したメタデータをキーワードにして前記コンテンツ記憶手段に記憶されたコンテンツを選択するコンテンツ選択手段を備える。
【０００９】
また、請求項４の連動型データ放送番組自動制作送出システムは、前記変換手段が生成した内部メタデータでコンテンツの一部を置き換えて連動データ放送番組を自動生成する自動生成手段を備える。
【００１０】
また、請求項５の連動型データ放送番組自動制作送出システムは、前記コンテンツ生成手段において、予め作成したイベントメッセージを記憶するイベントメッセージ記憶手段と、前記イベントメッセージ記憶手段に記憶されたイベントメッセージを選択するイベントメッセージ選択手段を備える。
【００１１】
また、請求項６の連動型データ放送番組自動制作送出システムは、前記送出手段において、前記コンテンツ生成手段によりコンテンツが生成されてから一定期間だけコンテンツを送出する。
【００１２】
また、請求項７の連動型データ放送番組自動制作送出システムは、映像音声情報入力を切り替えるタイミングとイベントメッセージを出力するタイミングを制御する切り替えスケジューラを備える。
【００１３】
【発明の実施の形態】
（実施の形態１）
以下、本発明に係る連動データ放送番組制作送出システムの実施の形態１について、図面を参照しながら説明する。
【００１４】
図１は、本実施の形態の一つを示すブロック図である。この連動データ放送番組制作送出システムは、切り替え部１０１と、メタデータ抽出部１０２と、コンテンツ生成部１０３と、送出部１０４と、エンコード部１０５と、多重化部１０６とを備えている。
【００１５】
図２は、メタデータ抽出部１０２とコンテンツ生成部１０３の内部構成を含む全体の構成図である。メタデータ抽出部１０２は、認識部１０７と変換テーブル記憶部１０８と変換部１０９を示す。コンテンツ生成部１０３は、コンテンツ記憶部１１０と、コンテンツ選択部１１１と、コンテンツ合成部１１２と、イベントメッセージ記憶部１１３と、イベントメッセージ選択部１１４から構成される。
【００１６】
切り替え部１０１は、外部接続された映像音声入力情報を分配し、エンコード部１０５と認識部１０７に出力する。映像音声入力が切り替わった場合は、イベントメッセージ選択部１１４にトリガーを出力する。
【００１７】
認識部１０７は、画像音声認識手段としては米国Ｖｉｒａｇｅ，ＩｎｃのＶｉｒａｇｅ ＶｉｄｅｏＬｏｇｇｅｒなどの既存の画像音声認識システムで構成する。これはビデオ映像から出演者の顔、画面に表示されているテキスト、音声、話し手の名前をテキスト情報に変換する。
【００１８】
変換テーブル記憶部１０８は、認識部１０７が生成するメタデータをコンテンツ生成部１０３が理解できる内部メタデータ形式に変換するための変換テーブルを持つ。制作者が更新可能である。
【００１９】
変換部１０９は、変換テーブルを使って、コンテンツ選択部１１１が理解できるメタデータを生成する。
【００２０】
コンテンツ記憶部１１０は、コンテンツとコンテンツを選択するためのインデックス情報を保持する。制作者が更新可能である。
【００２１】
コンテンツ選択部１１１は、変換部１０９が出力した内部メタデータとコンテンツ記憶部１１０のインデックス情報を比較し、対応するコンテンツを選択する。なお、対応するコンテンツの候補が複数存在する場合は、制作者に選択させる構成としてもよい。
【００２２】
コンテンツ合成部１１２は、内部メタデータが合成用素材データを含む場合、コンテンツの一部を内部メタデータで置き換えて送出部１０４に送る。合成用素材データを含まない場合は、そのまま送出部１０４に送る。
【００２３】
イベントメッセージ記憶部１１３は、イベントメッセージとイベントメッセージを選択するためのインデックス情報を記憶する。制作者が更新可能である。
【００２４】
イベントメッセージ選択部１１４は、変換部１０９が出力した内部メタデータとインデックス情報を比較し、対応するイベントメッセージを選択する。
【００２５】
送出部１０４は、従来のデジタル放送システムと同等の機能を持つデータ放送送出システムで構成する。
【００２６】
エンコード部１０５は、ＭＰＥＧ２−ＴＳ形式のリアルタイムエンコーダで構成される。
【００２７】
多重化部１０６は、エンコード部１０５によってエンコードされたＡＶデータと送出部１０４によって生成されたデータ放送のＴＳを多重化する従来のシステムで構成される。
【００２８】
以上のような構成を持つ連動データ放送番組制作送出システムについて、野球の実況中継を例に連動データ放送番組が制作されて送出されるまでの動作を図３を使って詳細に説明する。
【００２９】
地上波テレビ放送局のキー局から配信された野球中継の映像音声データが切り替え部１０１に入力されると、エンコード部１０５と認識部１０７に分配される（ステップＳ１００）。ステップ１０１に進む。
【００３０】
認識部１０７では入力された映像音声情報を解析し、メタデータを出力する（ステップＳ１０１）。ここでは、野球中継の解説者が「松井選手の今シーズンの成績です」と発言した場合を考える。認識部１０７では、音声情報から図５のようなメタデータが得られる。ステップ１０２に進む。
【００３１】
ステップ１０２において、変換部１０９では、メタデータが変換テーブルに存在するか判定する。存在する場合は、Ｓ１０３において変換テーブルに従ってメタデータを内部メタデータに変換する。
【００３２】
図７に変換テーブルの一実施例を示す。図７において、
＜内部メタデータ＞というタグは、１つの内部メタデータ変換項目を表す。
【００３３】
＜入力キーワード＞というタグは、認識部１０７によって生成されたメタデータと内部メタデータを対応づけるキーワードを示す。このキーワードは複数個設定可能である。図７の２行目の例では、「まついせんしゅ」と「まついがいやしゅ」の２つのキーワードが設定されている。＜内部メタデータ＞タグの中に１つ存在する。
【００３４】
＜検索キーワード＞というタグは、コンテンツ記憶部１１０に記憶されているコンテンツを検索するのに使用するインデックス情報である。図７の３行目の例では、「松井選手」という検索キーワードを持ち、コンテンツ記憶部１１０に「松井選手」というインデックス情報を持つコンテンツが格納されていた場合には、それがコンテンツ選択部１１１で選択される。＜内部メタデータ＞タグの中に１つ存在する。
【００３５】
＜置き換えデータ群＞というタグは、コンテンツ記憶部１１０に記憶されているコンテンツの一部が置き換え可能な情報を含むデータの場合、このタグの内部に設定された情報を用いて置き換えることを示す。＜内部メタデータ＞タグの中に０または１つ存在する。
【００３６】
＜ファイル＞というタグは、置き換え可能な情報を含むファイル名を示す。図７の９行目の例では、ファイル名は「他球場の経過．ｂｍｌ」である。＜置き換えデータ群＞タグの中に１つ以上存在する。
【００３７】
＜ｐａｒａｍ＞というタグは、置き換える情報を示す。図７の１０行目の例では、ｉｄが１で示されるデータを文字列「甲子園球場 阪神中日戦」で置き換えることを示す。＜ファイル＞タグの中に１つ以上存在する。
【００３８】
図５には、図７の２行目の入力キーワードである「まついせんしゅ」という語句が含まれるので、変換部１０９は検索キーワードとして「松井選手」を含む内部メタデータをコンテンツ選択部１１１に出力する。
【００３９】
ステップ１０４において、コンテンツ選択部１１１は検索キーワード「松井選手」を用いてコンテンツ記憶部１１０を検索する。ここでは、コンテンツ記憶部１１０には検索キーワード「松井選手」、「阪神中日戦」、に対応するコンテンツを保持する場合を考える。コンテンツ記憶部１１０では「松井選手」と実際のコンテンツの格納パスが対応づけられて保存されている。「松井選手」に対応するコンテンツをコンテンツ合成部１１２に出力する。ステップ１０５に進む。
【００４０】
ステップ１０５において、コンテンツ合成部１１２はコンテンツがテンプレートファイルを含むかを判定する。検索キーワードとして「松井選手」を含む内部メタデータは、置き換えが必要なテンプレートファイルを含まないため、ステップ１０７に進む。
【００４１】
ステップ１０７において、送出部１０４は、登録されたコンテンツをデータ放送用伝送フォーマット形式に変換し、制作者により予め決められた時間だけ多重化部１０６に出力する。データ放送用伝送フォーマット形式は、電波産業会発行のＡＲＩＢーＳＴＤ Ｂ２４および関連規格書に準拠する。
【００４２】
エンコード部１０５では、切り替え部１０１から分配された映像音声データをデジタル放送で使用する伝送フォーマット形式に変換し、多重化部１０６に出力する。フォーマットの詳細に関しては、電波産業会発行のＡＲＩＢーＳＴＤ Ｂ２４および関連規格書に準拠する。
【００４３】
これにより、松井選手の成績データが伝送されるので、視聴者はデータボタンを押すことで松井選手の成績を画面上に表示することができる。
【００４４】
次に別の例として、野球中継の解説者が「阪神中日戦は現在４回表を終わって」と発言した場合を考える。この場合は、図６のメタデータが認識部１０７で生成される。
【００４５】
ステップ１０１から１０２までは前述と同様に処理される。
【００４６】
ステップ１０３において、図７の５行目から１４行目までの内部メタデータに変換される。
【００４７】
ステップ１０４おいて、コンテンツ選択部１１１は検索キーワード「阪神中日戦」を用いてコンテンツ記憶部１１０を検索する。ここでは、コンテンツ記憶部１１０には検索キーワード「松井選手」、「阪神中日戦」に対応するコンテンツを保持するため、「阪神中日戦」に対応するコンテンツをコンテンツ合成部１１２に出力する。検索キーワード「阪神中日戦」に対応するコンテンツは図１０の１０００と１００１である。ステップ１０５に進む。
【００４８】
ステップ１０５おいて、内部メタデータは＜置き換えデータ群＞タグを含むため、テンプレートファイルを含む。テンプレートファイルのファイル名は”他球場の経過．ｂｍｌ”である。これは１０００である。
【００４９】
ステップ１０６において、ファイル名”他球場の経過．ｂｍｌ”で示されるファイルにおいて、ｉｄ＝”１”で識別されるデータを”甲子園球場 阪神中日戦”で置き換える。また、ｉｄ＝”２”で識別されるデータをｄａｔａ＝”ｉｎｄｅｘ．ｂｍｌ”で置き換える。置き換えた結果が１００２で示される画面である。
【００５０】
他球場の経過．ｂｍｌでは、下線付文字列「甲子園球場 阪神中日戦」は阪神中日戦の結果を表示するコンテンツへのリンクボタンを表す。そのＵＲＩが”ｉｎｄｅｘ．ｂｍｌ”である。このｉｎｄｅｘ．ｂｍｌは、”他球場の経過．ｂｍｌ”が阪神中日戦の情報の場合は、それに連動して放送される。ｉｎｄｅｘ．ｂｍｌを示す画面が１００３である。
【００５１】
これにより、視聴者はデータボタンを押すことで他球場の経過を知らせるメニュー画面を表示することができる。
【００５２】
置き換えは従来の自動合成装置で実行される。自動合成処理自体は本特許の主題とは異なるので詳細な説明を省略する。これにより、話題に上った情報へのリンクで既存のコンテンツを更新できるので、常に解説者が話す内容に連動したデータ放送コンテンツを自動的に制作送出できる。
【００５３】
ステップ１０７は前述と同じ為説明を省略する。
【００５４】
図１１は、前記のシステムによる映像音声データとデータ放送との連動に関して示した模式図である。１９時１５分１５秒までは映像音声データ１とデータ放送１を放送していたが、１９時１５分１５秒から１９時１５分１７秒に前述の解説者の発言があったため、データ放送１からデータ放送２のコンテンツの放送に更新したことを示す。
【００５５】
次にここでは、野球中継を中断してニュースを伝える場合を例に番組に連動した自動イベントメッセージ送出に関して説明する。
【００５６】
図４はそのフローチャートである。
【００５７】
イベントメッセージ処理は、切り替え部１０１において映像音声入力経路が別の映像音声入力経路に切り替わった時、例えば、ＶＴＲからの入力がインターネットからの入力に切り替わった時、もしくは、コンテンツ選択部１１１でコンテンツが選択された時に開始され、トリガーをイベントメッセージ選択部１１４に出力する（ステップＳ２００およびステップ２０１）。
【００５８】
ステップ２０２において、イベントメッセージ選択部１１４はトリガーの種類に応じてイベントメッセージ記憶部１１３からイベントメッセージデータを選択する。この実施の形態では、トリガーの種類としては、コンテンツ選択部１１１からのトリガーと切り替え部１０１からのトリガーの２種類が存在する。
【００５９】
ステップ２０３において、イベントメッセージを送出部１０４に登録する。
【００６０】
送出部１０４では、データをＡＲＩＢで規定されたイベントメッセージ伝送フォーマットに変換して多重化部に送出する。多重化部１０６では映像音声、データ放送、イベントメッセージを多重して放送する。
【００６１】
切り替え部１０１からのトリガーでは、現在送出中のデータ放送コンテンツの送出をストップするのに用いられる。
【００６２】
コンテンツ選択部１１１からのトリガーでは、新しいコンテンツを取得するように受信機に対して命令するイベントメッセージを送出するのに用いられる。
【００６３】
図１２は、切り替え部１０１において、映像音声入力経路が切り替わった時の映像音声データとデータ放送コンテンツの連動に関する模式図である。１２００は１９時２８分００秒からは映像音声データ１とデータ放送１を放送していることを表す。１２０１は１９時３４分０２秒から映像音声データがニュースのため入力が切り替わったことを表す。
【００６４】
１２０２は臨時ニュースに対応するコンテンツがコンテンツ選択部１１１で選択されたため、トリガーがイベントメッセージ部１１４に送信され、かつ、コンテンツがデータ放送２の放送に切り替わったことを示す。
【００６５】
以上のように、映像音声データから特徴を抽出してそれに対応するデータ放送コンテンツを一定時間放送することで連動データ放送番組を自動制作できる。
【００６６】
なお、検索キーワードに対応するコンテンツが複数存在した場合は、候補を制作者に表示させて選択できるように構成してもよい。そうすることでより多くのコンテンツに適用できるようになる。
【００６７】
また、従来の制作システムのように合成素材データは外部から取得できるような構成できることはいうまでもない。この場合、テレビ放送に連動して自動的に合成素材データを取得してデータ放送コンテンツを生成し、送出することができる。
【００６８】
また、本実施の形態のような音声だけでなく、映像を認識させてメタデータを抽出し、そのデータに基づいて連動型データ放送コンテンツを送出できることはいうまでもない。そうすることで、より柔軟にテレビ放送とデータ放送を連動させることができる。
【００６９】
また、トリガーの種類は２種類に限定されるものでなく、選択されたコンテンツに応じてトリガー切り替えることで３種類以上のイベントメッセージを切り替えて送出できるように構成してもよい。そうすることでより多彩なコンテンツを実現することができる。
【００７０】
メタデータをキーワードにしたデータの伝送制御のパターンは、本実施の形態だけでなく、図８に示すパターンも使用できる。
【００７１】
伝送制御パターンの▲１▼は、認識キーワードが何になっても常時特定のモジュールが伝送される場合である。
【００７２】
▲２▼は、特定の認識キーワードが認識されたときに対応するモジュールが伝送される場合である。
【００７３】
▲３▼は、特定の認識キーワードが認識されたときにモジュールを入れ替える場合である。
【００７４】
▲４▼は、特定の認識キーワードが認識されたときにモジュール間の送出優先順位を変更する場合である。
【００７５】
▲５▼は、特定の認識キーワードが認識されたときにモジュール内の一部または全部のデータを修正した後、そのデータを伝送する場合である。
【００７６】
▲６▼は、特定の認識キーワードが認識されたときにモジュール内の一部または全部のデータを修正した後、そのデータを伝送し、かつ、そのデータのリンク先のデータを含むモジュールも伝送する場合である。
【００７７】
本実施の形態は、伝送制御パターン▲２▼と▲６▼に相当する。
【００７８】
（実施の形態２）
以下、本発明に係る連動データ放送番組制作送出システムの実施の形態２について、図面を参照しながら説明する。
【００７９】
図１３は、その構成を示し、実施の形態１の構成に加え、切り替えスケジューラ１１５を含む。
【００８０】
切り替えスケジューラ１１５は、映像音声を切り替えるスケジュールを管理する。例えば、ボタンを押してから３秒後に第１の映像・音声から第２の映像音声に切り替える指示を切り替え部１０１に指示する。そして、ボタンを押した直後にトリガーをイベントメッセージ選択部１１４に出力する。
【００８１】
図１４は、コマーシャルメッセージ（以下、ＣＭと略す）などのように、決められた時間内に必ず提示を終了しなければならないコンテンツの処理方法を説明した図である。
【００８２】
１４００は画面表示の移り変わりを時間軸に沿って、図示している。左から右に画面表示は変わる。１４０１は、映像コンテンツと関連するデータ放送コンテンツの送出タイミングを示している。
【００８３】
今、図１４の１４００に示すように本編映像１と本編映像１の関連情報が表示されている状態からＣＭ１の映像に切り替わる場合を考える。
【００８４】
本編映像１からＣＭ１映像に切り替え直前、直前とは予め決められた時間、例えば、切り替え３秒前に、切り替えスケジューラ１１５に従ってトリガーをイベントメッセージ選択部１１４に出力する。イベントメッセージ選択部１１４は、データ放送コンテンツ表示消去用のイベントメッセージを選択する。と同時に送出部１０４は本編映像１関連情報の送出を終了する。
【００８５】
受信機側では、イベントメッセージを受信後、本編１関連情報の表示を終了する。切り替えスケジューラ１１５からのトリガーに従って切り替え部１０１は本編映像１からＣＭ１映像に切り替える。この結果、受信機側は、本編映像１からＣＭ１映像に切り替わる。
【００８６】
次に、ＣＭ１映像の内容をメタデータ抽出部１０２で認識し、コンテンツ生成部１０３により、ＣＭ１関連情報が生成されるので、送出部１０４経由で送出される。
【００８７】
これにより、受信機側では、ＣＭ１映像とＣＭ１関連情報が画面上に同時表示される。認識可能なオブジェクトが表示されるまでＣＭ１関連増情が送出されないため、ＣＭ１映像の表示よりもＣＭ１関連情報の表示が遅れる。この時、本編１関連情報の表示を終了して、ＣＭ１関連情報を表示するコンテンツは、ＢＳデジタル放送のデータ放送コンテンツ制作技術者ならモジュールバージョンアップ等を駆使すれば容易に制作可能なため、ここでの詳細な説明を省略する。以後のデータ放送コンテンツの表示切り替えに関しても同様である。
【００８８】
次に、ＣＭ１からＣＭ２映像に切り替え直前に切り替えスケジューラ１１５に従ってトリガーをイベントメッセージ選択部１１４に出力する。イベントメッセージ選択部１１４がデータ放送コンテンツ表示消去用イベントメッセージを送出する。と同時にＣＭ１関連情報の送出を終了する。これにより、受信機側では、イベントメッセージを受信後、ＣＭ１関連情報の表示を消去する。切り替えスケジューラ１１５からのトリガーに従って切り替え部１０１はＣＭ１からＣＭ２映像に切り替える。受信機側で映像は、ＣＭ映像１からＣＭ２映像に切り替わる。
【００８９】
次に、ＣＭ２映像の内容をメタデータ抽出部１０２で認識し、コンテンツ生成部１０３により、ＣＭ２関連情報が生成されるので、送出部１０４経由で送出される。これにより、受信機側では、ＣＭ２映像とＣＭ２関連情報が画面上に同時表示される。
【００９０】
次に、ＣＭ２から本編映像２への切り替え直前に切り替えスケジューラ１１５に従ってトリガーをイベントメッセージ選択部１１４に出力する。イベントメッセージ選択部１１４がデータ放送コンテンツ表示消去用イベントメッセージを送出する。と同時にＣＭ２関連情報の送出を終了する。これにより、受信機側では、イベントメッセージを受信後、ＣＭ２関連情報の表示が消去される。切り替えスケジューラ１１５からのトリガーに従って切り替え部１０１はＣＭ２から本編映像２に切り替える。受信機側で映像は、ＣＭ２から本編映像２に切り替わる。
【００９１】
次に、本編２映像の内容をメタデータ抽出部１０２で認識し、コンテンツ生成部１０３により、本編２関連情報が生成されるので、送出部１０４経由で送出される。これにより、受信機側では、本編２映像と本編２関連情報が画面上に同時表示される。
【００９２】
以上のように、ＣＭのような前に表示されていたデータが後に続くＣＭにかぶさって表示されることが許されないような場合でも、切り替えスケジューラで切り替わる直前のタイミングを管理し、適切なタイミングでトリガーを流してイベントメッセージを送出制御することで、データ放送コンテンツの表示を終了できるので自動的に連動番組データ放送コンテンツを作成して送出することができる。
【００９３】
なお、上記ではコンテンツがイベントメッセージを受信することでＣＭの表示オブジェクトの表示を消す制御をするように構成したが、イベントメッセージは受信せずに、他の方法で消すようにしても良い。例えば、タイマーで表示オブジェクトの表示を消すようにコンテンツに記述して、ＣＭの時間経過後、消えたように見せることにより実現しても良い。このようなタイマーを開始させるトリガーとなるイベントメッセージはＣＭ消去時刻直前に放送局から送信することは言うまでのない。
【００９４】
また、次のように制御しても良い。まず、ＣＭをＣＭ時間より前に送出し、受信機側で予め蓄積する。この時、ＣＭは表示しない状態にしておく。ＣＭ時間が始まったら、イベントメッセージでＣＭを表示するように制御する。この場合、ＣＭの表示をＣＭ映像の切り替えと同時に行いたい場合に好適である。
【００９５】
【発明の効果】
映像音声データから特徴を抽出して、その特徴に対応するデータ放送コンテンツを一定時間放送することで連動データ放送番組を自動制作できる。そのため、例えば、生放送でも連動型データ放送番組を簡単に運用できる。また、キー局から送られた番組の一部やＣＭのデータ放送コンテンツ部分を地方局で自動的に差し替えることができるため、人的な運用コストを削減することができる。さらに、映像と連動したコンテンツを作成してＨＤＤなどの蓄積媒体に作り置きしておく場合でも、連動のタイミングが自動的に設定されるため、制作コスト低減のため有用である。また、イベントメッセージ送出タイミング管理により、他のコンテンツの時間帯まではみ出して表示されるのを防ぐことができるため、ＣＭのように他のコンテンツとの重複表示が許されない場合でも、自動的に連動番組データ放送コンテンツを作成して送出することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態における連動データ放送番組制作送出システムの構成を示すブロック図
【図２】本発明の実施の形態における連動データ放送番組制作送出システムの構成を示すブロック図
【図３】本発明の実施の形態における連動データ放送番組制作送出処理を示すフローチャート
【図４】本発明の実施の形態におけるイベントメッセージ送出処理を示すフローチャート
【図５】本発明の実施の形態における認識データを示す模式図
【図６】本発明の実施の形態における認識データを示す模式図
【図７】本発明の実施の形態における変換テーブル情報を示す模式図
【図８】認識キーワードと伝送制御パターンを示す図
【図９】コンテンツの画面例を示す図
【図１０】コンテンツの画面例と置き換えを示す図
【図１１】本発明の実施の形態におけるデータ放送コンテンツの送出切り替えを示す模式図
【図１２】本発明の実施の形態における映像音声入力経路が切り替わった時の映像音声データとデータ放送コンテンツの連動に関する模式図
【図１３】本発明の実施の形態における連動データ放送番組制作送出システムの構成を示すブロック図
【図１４】本発明の実施の形態におけるデータ放送コンテンツの送出切り替えと画面表示の切り替えを示す模式図
【符号の説明】
１０１ 切り替え部
１０２ メタデータ抽出部
１０３ コンテンツ生成部
１０４ 送出部
１０５ エンコード部
１０６ 多重化部
１０７ 認識部
１０８ 変換テーブル記憶部
１０９ 変換部
１１０ コンテンツ記憶部
１１１ コンテンツ選択部
１１２ コンテンツ合成部
１１３ イベントメッセージ記憶部
１１４ イベントメッセージ選択部
１１５ 切り替えスケジューラ
５００ 認識結果メタデータ
６００ 認識結果メタデータ
７００ 変換テーブル
１０００ コンテンツの画面例
１００１ コンテンツの画面例
１００２ コンテンツの画面例
１００３ コンテンツの画面例
１１００ テレビ放送とデータ放送のタイミングの例
１２００ テレビ放送とデータ放送のタイミングの例
１２０１ テレビ放送とデータ放送のタイミングの例
１２０２ テレビ放送とデータ放送のタイミングの例
１４００ 画面表示の切り替わりの例
１４０１ データ放送コンテンツの送出タイミングの例[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an automatic production and transmission system of an interlocked data broadcasting program in which data broadcasting and video and audio of a television program are interlocked in a digital broadcasting real-time data broadcasting service.
[0002]
[Prior art]
BS digital broadcasting has started in December 2000, but 110-degree CS digital broadcasting is scheduled for spring 2002 and terrestrial digital broadcasting is scheduled for 2003.
[0003]
In these digital broadcasts, content broadcasting for providing an interactive service, that is, a data broadcasting service is also implemented. The method is standardized by the Association of Radio Industries and Businesses (ARIB). For details of the ARIB standard, see "Data Broadcast Coding and Transmission Methods in Digital Broadcasting ARIB STD-B24 Part 2 XML-based Multimedia Coding", "Attachment 1 Operational Guidelines", "Attachment 2 Basic Services" Operation guidelines for implementation ”and“ BS broadcasting operation regulations ARIB TR-B15 ”are detailed, and operation guidelines for portable and mobile TVs will be formulated in the future.
[0004]
Conventionally, in the case of a linked data broadcasting program in which video and audio of a TV program and data broadcasting are transmitted in conjunction with each other, the scheduling schedule information is registered in advance in the scheduling system as to when to broadcast the data broadcasting content from what time to when to what time. I had to keep it.
[0005]
[Problems to be solved by the invention]
Therefore, there has been a problem in a case where it cannot be made as in a live broadcast. For example, in a live broadcast of baseball, if the commentator can send detailed information about Matsui for a certain period of time while commenting on "Matsui", the broadcast band can be used effectively, but in order to operate in this way In the prior art, there has been a problem that the operation cost is increased because humans have to control the transmission timing and transmission rate control of the content. Therefore, this system automatically creates linked data broadcast programs at low cost by recognizing video and audio and automatically producing and sending related data broadcast contents. It is intended to provide a delivery system.
[0006]
[Means for Solving the Problems]
In order to solve the above-mentioned problems, an automatic data broadcasting program automatic production and transmission system according to claim 1 includes a switching unit for switching a plurality of video and audio information inputs, and a metadata for recognizing a feature of the video and audio information and extracting metadata. Extraction means, content generation means for generating content to be used for a linked data broadcast program from the extracted metadata, transmission means for converting the content into a data broadcast transmission format and transmitting the content, and converting the video / audio information to a video / audio transmission format It comprises an encoding means for converting and a multiplexing means for multiplexing each data of the video / audio transmission format and the data broadcast transmission format.
[0007]
Further, the linked data broadcasting program automatic production and transmission system according to claim 2, wherein the metadata extracting means recognizes characteristics of the video and audio information and outputs the metadata, and converts the metadata into an internal metadata format. A conversion table storage unit for converting; and a conversion unit for converting the metadata output by the recognition unit from the conversion table storage unit to corresponding internal metadata.
[0008]
In the linked data broadcasting program automatic production and transmission system according to claim 3, the content generation means includes a content storage means for storing content created in advance, and the metadata extracted by the metadata extraction means as a keyword. A content selection unit for selecting a content stored in the content storage unit;
[0009]
Further, the linked data broadcasting program automatic production and transmission system according to claim 4 includes an automatic generating means for automatically generating a linked data broadcasting program by replacing a part of the content with the internal metadata generated by the conversion means.
[0010]
In the linked data broadcasting program automatic production / transmission system according to claim 5, the content generation means selects an event message storage means for storing a previously created event message, and an event message stored in the event message storage means. And an event message selecting means for performing the operation.
[0011]
According to a sixth aspect of the present invention, there is provided an automatic data broadcasting program production / transmission system according to the sixth aspect, wherein the transmission unit transmits the content for a predetermined period after the content is generated by the content generation unit.
[0012]
Further, the linked data broadcasting program automatic production and transmission system according to claim 7 is provided with a switching scheduler for controlling the timing of switching the input of the video and audio information and the timing of outputting the event message.
[0013]
BEST MODE FOR CARRYING OUT THE INVENTION
(Embodiment 1)
Hereinafter, a first embodiment of a linked data broadcast program production and transmission system according to the present invention will be described with reference to the drawings.
[0014]
FIG. 1 is a block diagram showing one of the present embodiments. The linked data broadcast program production and transmission system includes a switching unit 101, a metadata extraction unit 102, a content generation unit 103, a transmission unit 104, an encoding unit 105, and a multiplexing unit 106.
[0015]
FIG. 2 is an overall configuration diagram including the internal configurations of the metadata extraction unit 102 and the content generation unit 103. The metadata extraction unit 102 includes a recognition unit 107, a conversion table storage unit 108, and a conversion unit 109. The content generation unit 103 includes a content storage unit 110, a content selection unit 111, a content synthesis unit 112, an event message storage unit 113, and an event message selection unit 114.
[0016]
The switching unit 101 distributes the externally connected video and audio input information, and outputs the information to the encoding unit 105 and the recognition unit 107. When the video / audio input is switched, a trigger is output to the event message selection unit 114.
[0017]
The recognition unit 107 is configured by an existing image and voice recognition system, such as Village Video, Inc.'s Village VideoLogger, as the image and voice recognition means. This converts the performer's face, the text displayed on the screen, the voice, and the name of the speaker from the video image into text information.
[0018]
The conversion table storage unit 108 has a conversion table for converting the metadata generated by the recognition unit 107 into an internal metadata format that can be understood by the content generation unit 103. The creator is updatable.
[0019]
The conversion unit 109 uses the conversion table to generate metadata that can be understood by the content selection unit 111.
[0020]
The content storage unit 110 holds content and index information for selecting the content. The creator is updatable.
[0021]
The content selection unit 111 compares the internal metadata output by the conversion unit 109 with the index information of the content storage unit 110, and selects a corresponding content. When there are a plurality of corresponding content candidates, a configuration may be adopted in which the creator selects one.
[0022]
When the internal metadata includes the material data for synthesis, the content synthesizing unit 112 replaces a part of the content with the internal metadata and sends the content to the sending unit 104. If the material data for synthesis is not included, the data is sent to the sending unit 104 as it is.
[0023]
The event message storage unit 113 stores an event message and index information for selecting the event message. The creator is updatable.
[0024]
The event message selection unit 114 compares the internal metadata output by the conversion unit 109 with the index information, and selects a corresponding event message.
[0025]
The sending unit 104 is constituted by a data broadcast sending system having a function equivalent to that of a conventional digital broadcasting system.
[0026]
The encoding unit 105 is configured by an MPEG2-TS format real-time encoder.
[0027]
The multiplexing unit 106 is configured by a conventional system that multiplexes the AV data encoded by the encoding unit 105 and the TS of the data broadcast generated by the transmission unit 104.
[0028]
The operation of a linked data broadcasting program production and transmission system having the above-described configuration from production to transmission of a linked data broadcasting program will be described in detail with reference to FIG.
[0029]
When video and audio data of a baseball broadcast distributed from a key station of a terrestrial television broadcasting station is input to the switching unit 101, it is distributed to the encoding unit 105 and the recognition unit 107 (step S100). Go to step 101.
[0030]
The recognition unit 107 analyzes the input video / audio information and outputs metadata (step S101). Here, let's consider a case where a commentator of a baseball broadcast said, "This is the result of this season for Matsui." In the recognition unit 107, metadata as shown in FIG. 5 is obtained from the voice information. Proceed to step 102.
[0031]
In step 102, the conversion unit 109 determines whether the metadata exists in the conversion table. If there is, in step S103, the metadata is converted to internal metadata according to the conversion table.
[0032]
FIG. 7 shows an embodiment of the conversion table. In FIG.
The tag <internal metadata> represents one internal metadata conversion item.
[0033]
The tag <input keyword> indicates a keyword that associates the metadata generated by the recognition unit 107 with the internal metadata. A plurality of keywords can be set. In the example of the second line in FIG. 7, two keywords “Matsugashi” and “Magashiya” are set. <Internal metadata> There is one in the tag.
[0034]
The tag <search keyword> is index information used to search for the content stored in the content storage unit 110. In the example of the third line in FIG. 7, when a content having a search keyword “Matsui” and index information “Matsui” is stored in the content storage unit 110, the content is stored in the content selection unit 111. Is selected. <Internal metadata> There is one in the tag.
[0035]
The tag <replacement data group> indicates that, when a part of the content stored in the content storage unit 110 is data including replaceable information, replacement is performed using information set inside the tag. <Internal metadata> Zero or one exists in the tag.
[0036]
The tag <file> indicates a file name including replaceable information. In the example of the ninth line in FIG. 7, the file name is “elapse of other stadium.bml”. <Replacement data group> There is one or more in the tag.
[0037]
A tag <param> indicates information to be replaced. The example of the tenth line in FIG. 7 indicates that the data whose id is 1 is to be replaced with the character string “Koshien Stadium Hanshin China-Japan Battle”. One or more <file> tags exist.
[0038]
In FIG. 5, since the phrase “Matsunashishi”, which is the input keyword on the second line in FIG. 7, is included, the conversion unit 109 sends the internal metadata including “Matsui” as a search keyword to the content selection unit 111. Output.
[0039]
In step 104, the content selection unit 111 searches the content storage unit 110 using the search keyword “Matsui”. Here, a case is considered in which the content storage unit 110 holds the content corresponding to the search keywords “Matsui” and “Hanshin China-Japan Battle”. In the content storage unit 110, “Matsui” and the storage path of the actual content are stored in association with each other. The content corresponding to “Matsui” is output to the content synthesizing unit 112. Proceed to step 105.
[0040]
In step 105, the content synthesizing unit 112 determines whether the content includes a template file. Since the internal metadata including “Matsui” as a search keyword does not include a template file that needs to be replaced, the process proceeds to step 107.
[0041]
In step 107, the sending unit 104 converts the registered content into a data broadcasting transmission format and outputs the content to the multiplexing unit 106 for a time determined in advance by the creator. The transmission format for data broadcasting conforms to ARIB-STD B24 issued by the Association of Radio Industries and Businesses and related standards.
[0042]
The encoding unit 105 converts the video / audio data distributed from the switching unit 101 into a transmission format used for digital broadcasting, and outputs the data to the multiplexing unit 106. The details of the format conform to ARIB-STD B24 issued by the Association of Radio Industries and Businesses and related standards.
[0043]
As a result, the performance data of Matsui is transmitted, so that the viewer can display the performance of Matsui on the screen by pressing the data button.
[0044]
Next, as another example, consider a case in which a commentator of a baseball broadcast has stated, "The Hanshin Chunichi match has now finished four times." In this case, the metadata shown in FIG.
[0045]
Steps 101 to 102 are processed in the same manner as described above.
[0046]
In step 103, the metadata is converted into the internal metadata on the fifth to fourteenth lines in FIG.
[0047]
In step 104, the content selection unit 111 searches the content storage unit 110 using the search keyword “Hanshin China-Japan Battle”. Here, in order to hold the content corresponding to the search keywords “Matsui” and “Hanshin Chunichi” in the content storage unit 110, the content corresponding to “Hanshin Chunichi” is output to the content synthesizing unit 112. The contents corresponding to the search keyword "Hanshin China-Japan Battle" are 1000 and 1001 in FIG. Proceed to step 105.
[0048]
In step 105, the internal metadata includes the <replacement data group> tag, and thus includes the template file. The file name of the template file is “Elapsed other stadium.bml”. This is 1000.
[0049]
In step 106, the data identified by id = “1” in the file indicated by the file name “elapse of other stadiums.bml” is replaced with “Koshien Stadium Hanshin Chunichi”. Also, the data identified by id = “2” is replaced with data = “index.bml”. The result of the replacement is a screen 1002.
[0050]
Progress of other stadiums. In bml, the underlined character string "Koshien Stadium Hanshin Chunichi" represents a link button to the content displaying the result of Hanshin Chunichi. The URI is “index.bml”. This index. The bml is broadcast in conjunction with the “elapse of other stadiums. index. The screen 1003 indicating the bml is 1003.
[0051]
This allows the viewer to display a menu screen that informs the progress of the other stadium by pressing the data button.
[0052]
The replacement is performed by a conventional automatic synthesizer. Since the automatic synthesis processing itself is different from the subject of the present patent, a detailed description is omitted. As a result, existing content can be updated with a link to information that has become a topic, so that data broadcast content linked to the content spoken by the commentator can always be automatically produced and transmitted.
[0053]
Step 107 is the same as described above, and a description thereof will be omitted.
[0054]
FIG. 11 is a schematic diagram showing the interlocking of video and audio data and data broadcasting by the above system. The video / audio data 1 and the data broadcast 1 were broadcast until 19:15:15, but since the commentator mentioned above from 19:15:15 to 19:15:17, the data broadcast 1 was broadcast. Indicates that the content has been updated to the broadcast of the content of data broadcast 2.
[0055]
Next, here, an explanation will be given of an automatic event message transmission linked to a program, taking as an example a case of transmitting news by interrupting a baseball broadcast.
[0056]
FIG. 4 is a flowchart thereof.
[0057]
The event message processing is performed when the video / audio input path is switched to another video / audio input path in the switching unit 101, for example, when the input from the VTR is switched to the input from the Internet, or when the content is selected by the content selection unit 111. It is started when selected, and outputs a trigger to the event message selection unit 114 (Step S200 and Step 201).
[0058]
In step 202, the event message selection unit 114 selects event message data from the event message storage unit 113 according to the type of trigger. In this embodiment, there are two types of triggers: a trigger from the content selection unit 111 and a trigger from the switching unit 101.
[0059]
In step 203, the event message is registered in the sending unit 104.
[0060]
The transmission unit 104 converts the data into an event message transmission format specified by ARIB and transmits the data to the multiplexing unit. The multiplexing unit 106 multiplexes and broadcasts video and audio, data broadcasting, and event messages.
[0061]
The trigger from the switching unit 101 is used to stop the transmission of the currently transmitted data broadcast content.
[0062]
The trigger from the content selection unit 111 is used to send an event message instructing the receiver to acquire new content.
[0063]
FIG. 12 is a schematic diagram relating to the interlocking of the video / audio data and the data broadcast content when the video / audio input path is switched in the switching unit 101. 1200 indicates that the video / audio data 1 and the data broadcast 1 are being broadcast from 19:28:00. Reference numeral 1201 indicates that the input of video / audio data has been switched from 19:34:02 due to news.
[0064]
Reference numeral 1202 indicates that the trigger has been transmitted to the event message unit 114 because the content corresponding to the extra news has been selected by the content selection unit 111, and that the content has been switched to the data broadcast 2 broadcast.
[0065]
As described above, a linked data broadcast program can be automatically produced by extracting features from video and audio data and broadcasting the corresponding data broadcast content for a certain period of time.
[0066]
When there are a plurality of contents corresponding to the search keyword, the configuration may be such that the creator can display and select the candidate. That way you can apply it to more content.
[0067]
Also, it goes without saying that the composite material data can be obtained from the outside as in a conventional production system. In this case, it is possible to automatically acquire the composite material data in conjunction with the television broadcast, generate the data broadcast content, and transmit the data broadcast content.
[0068]
In addition, it goes without saying that not only audio as in the present embodiment but also video can be recognized to extract metadata, and linked data broadcast content can be transmitted based on the data. By doing so, the television broadcast and the data broadcast can be linked more flexibly.
[0069]
Further, the types of triggers are not limited to two types, and three or more types of event messages may be switched and transmitted by switching triggers in accordance with the selected content. By doing so, more diverse contents can be realized.
[0070]
As a pattern of data transmission control using metadata as a keyword, not only the present embodiment but also the pattern shown in FIG. 8 can be used.
[0071]
The transmission control pattern (1) is a case where a specific module is always transmitted regardless of the recognition keyword.
[0072]
(2) is a case where a corresponding module is transmitted when a specific recognition keyword is recognized.
[0073]
{Circle around (3)} is a case where a module is replaced when a specific recognition keyword is recognized.
[0074]
(4) is a case where the transmission priority between modules is changed when a specific recognition keyword is recognized.
[0075]
(5) is a case where, when a specific recognition keyword is recognized, a part or all of the data in the module is corrected, and then the data is transmitted.
[0076]
(6) is that when a specific recognition keyword is recognized, some or all of the data in the module is corrected, and then the data is transmitted, and a module including data linked to the data is also transmitted. Is the case.
[0077]
This embodiment corresponds to transmission control patterns (2) and (6).
[0078]
(Embodiment 2)
Hereinafter, a second embodiment of a linked data broadcast program production and transmission system according to the present invention will be described with reference to the drawings.
[0079]
FIG. 13 shows the configuration, and includes a switching scheduler 115 in addition to the configuration of the first embodiment.
[0080]
The switching scheduler 115 manages a schedule for switching video and audio. For example, the switching unit 101 is instructed to switch from the first video / audio to the second video / audio three seconds after the button is pressed. Then, a trigger is output to the event message selection unit 114 immediately after the button is pressed.
[0081]
FIG. 14 is a diagram illustrating a method of processing content, such as a commercial message (hereinafter abbreviated as CM), which must be completely presented within a predetermined time.
[0082]
Reference numeral 1400 shows the transition of the screen display along the time axis. The screen display changes from left to right. Reference numeral 1401 denotes the transmission timing of the data broadcast content related to the video content.
[0083]
Now, consider a case where the state is switched from the state where the main video 1 and the related information of the main video 1 are displayed to the CM1 video as shown by 1400 in FIG.
[0084]
A trigger is output to the event message selection unit 114 in accordance with the switching scheduler 115 immediately before switching to the CM1 video from the main video 1 and immediately before switching to the CM1 video, for example, three seconds before switching. The event message selection unit 114 selects an event message for data broadcast content display erasure. At the same time, the sending unit 104 ends sending of the main video 1 related information.
[0085]
After receiving the event message, the receiver ends the display of the main part 1 related information. The switching unit 101 switches from the main video 1 to the CM1 video according to a trigger from the switching scheduler 115. As a result, the receiver switches from the main video 1 to the CM1 video.
[0086]
Next, the content of the CM1 video is recognized by the metadata extraction unit 102, and the CM1 related information is generated by the content generation unit 103, and is transmitted via the transmission unit 104.
[0087]
As a result, on the receiver side, the CM1 video and the CM1 related information are simultaneously displayed on the screen. Since the CM1-related augmentation is not transmitted until a recognizable object is displayed, the display of the CM1-related information is delayed more than the display of the CM1-video. At this time, since the display of the main part 1 related information is terminated and the content for displaying the CM1 related information can be easily produced by a BS digital broadcasting data broadcast content production technician by making full use of a module upgrade or the like. The detailed description in will be omitted. The same applies to the subsequent display switching of the data broadcast content.
[0088]
Next, a trigger is output to the event message selection unit 114 in accordance with the switching scheduler 115 immediately before switching from the CM1 video to the CM2 video. The event message selection unit 114 sends an event message for data broadcast content display erasure. At the same time, the transmission of the CM1 related information ends. Thus, the receiver deletes the display of the CM1 related information after receiving the event message. The switching unit 101 switches from CM1 to CM2 video according to a trigger from the switching scheduler 115. On the receiver side, the video is switched from CM video 1 to CM2 video.
[0089]
Next, the content of the CM2 video is recognized by the metadata extracting unit 102, and the CM2 related information is generated by the content generating unit 103, and is transmitted via the transmitting unit 104. Thereby, on the receiver side, the CM2 video and the CM2 related information are simultaneously displayed on the screen.
[0090]
Next, a trigger is output to the event message selection unit 114 in accordance with the switching scheduler 115 immediately before switching from the CM 2 to the main video 2. The event message selection unit 114 sends an event message for data broadcast content display erasure. At the same time, the transmission of the CM2 related information ends. Thus, the display of the CM2 related information is deleted on the receiver side after receiving the event message. The switching unit 101 switches from the CM 2 to the main video 2 according to a trigger from the switching scheduler 115. On the receiver side, the video is switched from CM2 to main video 2.
[0091]
Next, the contents of the main part 2 video are recognized by the metadata extracting unit 102, and the main part 2 related information is generated by the content generating unit 103, and is transmitted via the transmitting unit 104. Thereby, on the receiver side, the main part 2 video and the main part 2 related information are simultaneously displayed on the screen.
[0092]
As described above, even in a case where data displayed earlier such as a CM is not allowed to be displayed over a subsequent CM, the timing immediately before switching is managed by the switching scheduler, and appropriate timing is used. Since the display of the data broadcast content can be terminated by sending the trigger and controlling the transmission of the event message, the linked program data broadcast content can be automatically created and transmitted.
[0093]
In the above description, the content is controlled to delete the display of the CM display object by receiving the event message. However, the event message may be deleted by another method without receiving the event message. For example, it may be realized by writing in the content such that the display of the display object is turned off by a timer, and making it appear as if it disappears after the elapse of the CM time. It goes without saying that an event message serving as a trigger for starting such a timer is transmitted from the broadcasting station immediately before the CM erasing time.
[0094]
Further, the control may be performed as follows. First, the CM is transmitted before the CM time, and is stored in the receiver in advance. At this time, the CM is not displayed. When the CM time starts, control is performed so that the CM is displayed by an event message. In this case, it is suitable for displaying the CM at the same time as switching the CM video.
[0095]
【The invention's effect】
By extracting features from video and audio data and broadcasting data broadcasting contents corresponding to the features for a certain period of time, it is possible to automatically produce a linked data broadcasting program. Therefore, for example, a linked data broadcast program can be easily operated even in a live broadcast. In addition, a part of a program transmitted from a key station or a data broadcasting content part of a CM can be automatically replaced by a local station, so that human operation costs can be reduced. Furthermore, even in the case of creating content linked to video and storing it in a storage medium such as an HDD, the timing of linking is automatically set, which is useful for reducing production costs. In addition, event message transmission timing management prevents the content from being displayed outside the time zone of other content, so it is automatically linked even when overlapping display with other content is not allowed, such as CM. Program data broadcast contents can be created and transmitted.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a linked data broadcast program production and transmission system according to an embodiment of the present invention.
FIG. 2 is a block diagram showing a configuration of a linked data broadcast program production and transmission system according to an embodiment of the present invention.
FIG. 3 is a flowchart showing a linked data broadcast program production and transmission process according to the embodiment of the present invention;
FIG. 4 is a flowchart showing an event message sending process according to the embodiment of the present invention.
FIG. 5 is a schematic diagram showing recognition data according to the embodiment of the present invention.
FIG. 6 is a schematic diagram showing recognition data according to the embodiment of the present invention.
FIG. 7 is a schematic diagram showing conversion table information according to the embodiment of the present invention.
FIG. 8 is a diagram showing a recognition keyword and a transmission control pattern.
FIG. 9 is a diagram showing an example of a content screen.
FIG. 10 is a diagram showing a screen example of content and replacement.
FIG. 11 is a schematic diagram showing switching of data broadcast content transmission according to the embodiment of the present invention.
FIG. 12 is a schematic diagram relating to the interlocking of video / audio data and data broadcast content when the video / audio input path is switched according to the embodiment of the present invention.
FIG. 13 is a block diagram showing the configuration of a linked data broadcast program production and transmission system according to an embodiment of the present invention.
FIG. 14 is a schematic diagram showing switching of transmission of data broadcasting content and switching of screen display according to the embodiment of the present invention.
[Explanation of symbols]
101 Switching unit
102 Metadata extraction unit
103 Content Generation Unit
104 sending unit
105 Encoding unit
106 Multiplexer
107 Recognition unit
108 Conversion table storage
109 conversion unit
110 Content Storage Unit
111 Content Selector
112 Content Synthesizer
113 Event message storage
114 Event message selector
115 Switching scheduler
500 Recognition result metadata
600 Recognition result metadata
700 Conversion Table
1000 Content example screen
1001 Content screen example
1002 Content screen example
1003 Content example screen
1100 Examples of TV broadcast and data broadcast timing
1200 Example of timing of TV broadcast and data broadcast
1201 Example of TV broadcast and data broadcast timing
1202 Examples of TV broadcast and data broadcast timing
1400 Example of switching screen display
1401 Example of data broadcast content transmission timing
