JP2016048846A - 情報表示装置、情報表示方法、情報表示プログラム、関連情報形成装置、及び配信システム - Google Patents

Abstract

【課題】映像と関連情報との同期を取りつつ、同期処理の負荷を軽減する情報表示装置を提供する。【解決手段】情報表示装置１０は、映像信号を受信する映像信号受信部１１と、映像信号に含まれる映像を表示する時刻を示す映像表示用タイムスタンプ値を取得する映像表示用タイムスタンプ値取得部と、上記映像信号を表示する映像表示部１２と、映像に同期させて表示する関連表示情報と、関連表示情報を表示する時刻を示す関連情報表示用タイムスタンプ値とを含む関連情報を受信する関連情報受信部１５と、関連情報に含まれる関連情報表示用タイムスタンプ値を取得する関連情報表示用タイムスタンプ値取得部と、関連情報表示用タイムスタンプ値と、映像表示用タイムスタンプ値とを比較して、同期を制御する関連表示情報同期制御部１７と、同期された関連表示情報を表示する関連情報表示部１６とを有する。【選択図】図７

Description

本発明は、情報表示装置、情報表示方法、情報表示プログラム、関連情報形成装置、及び配信システムに関し、例えば、ネットワークを通じて映像及びそれに関連する関連情報を配信する配信システムに適用することができる。

近年、ブロードバンドネットワークの普及に伴い、ネットワークを通じた映像配信技術（例えば、リアルタイムＩＰ放送等）が進展している。映像配信技術の進展に伴い、ユーザにおいては、単なる映像の視聴だけでなく、映像に関連した情報（以下、「関連情報」とも呼ぶ）をリアルタイムに取得したいニーズが高まっている。

このニーズに応えるため、例えば、ベンダーは、映像と共に字幕（関連情報の一例）を配信するサービスを提供しているが、この際、映像と字幕を同期する技術が重要となっている。

特許文献１には、受信機での表示において字幕作成遅延時間の影響を考慮して、受信機側でデジタル字幕放送信号の映像データ・音声データと字幕データとの同期を実現するための技術が記載されている。まず、字幕放送システムは、字幕作成時に生成される字幕入力開始タイミングを示す制御フラグと、字幕重畳タイミングを示す制御フラグを含む遅延制御信号を字幕付き映像信号中に重畳して配信する。前記字幕付き映像信号を受信した受信機は、映像データ及び音声データに対して固定遅延を与えて表示する。一方、字幕データに対しては、前記の制御フラグから算出される可変長の遅延時間を与えて表示している。これにより、映像データ・音声データと字幕データとの表示の同期を可能としている。

特開２００６−２１１６３６号公報

しかしながら、特許文献１に記載の技術は、映像と字幕の同期のために、制御フラグ（字幕重畳タイミングを示すフラグ）を含む遅延制御信号を字幕付き映像信号中に重畳する必要があった。そのため、データの配信量が多くなり、受信機側の同期処理の負荷が大きくなるという問題が生じ得る。

そのため、簡易な手段により、映像と関連情報との同期を取りつつ、映像と関連情報の同期処理の負荷を軽減することができる情報表示装置、情報表示方法、情報表示プログラム、関連情報形成装置、及び配信システムが望まれている。

第１の本発明の情報表示装置は、（１）映像信号を受信する映像信号受信部と、（２）上記映像信号受信部により受信された上記映像信号に含まれる映像を表示する時刻を示す映像表示用タイムスタンプ値を取得する映像表示用タイムスタンプ値取得部と、（３）上記映像表示用タイムスタンプ値取得部により取得された上記映像表示用タイムスタンプ値に基づいて、上記映像信号を表示する映像表示部と、（４）上記映像表示部により表示される映像に同期させて表示する関連表示情報と、該関連表示情報を表示する時刻を示す関連情報表示用タイムスタンプ値とを含む関連情報を受信する関連情報受信部と、（５）上記関連情報受信部により受信された上記関連情報に含まれる上記関連情報表示用タイムスタンプ値を取得する関連情報表示用タイムスタンプ値取得部と、（６）上記関連情報表示用タイムスタンプ値取得部により取得された上記関連情報表示用タイムスタンプ値と、上記映像表示用タイムスタンプ値取得部により取得された上記映像表示用タイムスタンプ値とを比較して、その比較結果に基づいて、上記関連表示情報と上記映像信号との同期を制御する関連表示情報同期制御部と、（７）上記関連表示情報同期制御部により同期された上記関連表示情報を表示する関連情報表示部とを有することを特徴とする。

第２の本発明の情報表示方法は、（１）映像信号受信部が、映像信号を受信し、（２）映像表示用タイムスタンプ値取得部が、上記映像信号受信部により受信された上記映像信号に含まれる映像を表示する時刻を示す映像表示用タイムスタンプ値を取得し、（３）映像表示部が、上記映像表示用タイムスタンプ値取得部により取得された上記映像表示用タイムスタンプ値に基づいて、上記映像信号を表示し、（４）関連情報受信部が、上記映像表示部により表示される映像に同期させて表示する関連表示情報と、該関連表示情報を表示する時刻を示す関連情報表示用タイムスタンプ値とを含む関連情報を受信し、（５）関連情報表示用タイムスタンプ値取得部が、上記関連情報受信部により受信された上記関連情報に含まれる上記関連情報表示用タイムスタンプ値を取得し、（６）関連表示情報同期制御部が、上記関連情報表示用タイムスタンプ値取得部により取得された上記関連情報表示用タイムスタンプ値と、上記映像表示用タイムスタンプ値取得部により取得された上記映像表示用タイムスタンプ値とを比較して、その比較結果に基づいて、上記関連表示情報と上記映像信号との同期を制御し、（７）関連情報表示部が、上記関連表示情報同期制御部により同期された上記関連表示情報を表示することを特徴とする。

第３の本発明の情報表示プログラムは、情報表示装置に搭載されるコンピュータを、（１）映像信号を受信する映像信号受信部と、（２）上記映像信号受信部により受信された上記映像信号に含まれる映像を表示する時刻を示す映像表示用タイムスタンプ値を取得する映像表示用タイムスタンプ値取得部と、（３）上記映像表示用タイムスタンプ値取得部により取得された上記映像表示用タイムスタンプ値に基づいて、上記映像信号を表示する映像表示部と、（４）上記映像表示部により表示される映像に同期させて表示する関連表示情報と、該関連表示情報を表示する時刻を示す関連情報表示用タイムスタンプ値とを含む関連情報を受信する関連情報受信部と、（５）上記関連情報受信部により受信された上記関連情報に含まれる上記関連情報表示用タイムスタンプ値を取得する関連情報表示用タイムスタンプ値取得部と、（６）上記関連情報表示用タイムスタンプ値取得部により取得された上記関連情報表示用タイムスタンプ値と、上記映像表示用タイムスタンプ値取得部により取得された上記映像表示用タイムスタンプ値とを比較して、その比較結果に基づいて、上記関連表示情報と上記映像信号との同期を制御する関連表示情報同期制御部と、（７）上記関連表示情報同期制御部により同期された上記関連表示情報を表示する関連情報表示部として機能させることを特徴とする。

第４の本発明の関連情報形成装置は、（１）取得された映像信号に基づいて表示される映像に関連表示情報を表示させる表示タイミングを指定すると共に、表示させる関連表示情報の入力を受け付ける関連情報入力部と、（２）上記映像信号に含まれる映像の表示時刻を示す映像表示用タイムスタンプ値と、上記関連情報入力部により指定された上記表示タイミングとに基づいて、上記関連表示情報の表示時刻を示す関連表示情報用タイムスタンプ値を推定する関連表示情報用タイムスタンプ値推定部と、（３）上記関連情報入力部により入力された上記関連表示情報及び上記関連情報表示用タイムスタンプ値を含む関連情報を送信する関連情報送信部とを有することを特徴とする。

第５の本発明は、映像信号を配信する１又は複数の配信サーバと、上記各配信サーバから受信した映像信号に含まれる映像に対して表示させる所定の関連情報を作成して送信する関連情報形成装置と、上記各配信サーバから所定の遅延時間が付与された映像信号と、上記関連情報形成装置により作成された上記関連情報とを受信し、上記映像信号に基づく映像と上記関連情報に含まれる関連表示情報とを同期させて表示する情報表示装置とを有する配信システムにおいて、（１）上記各配信サーバは、上記情報表示装置に対しては、所定の遅延時間を付与した映像信号を送信し、上記関連情報形成装置に対しては、所定の遅延時間を付与せずに上記映像信号を送信するものであり、（２）上記関連情報形成装置は、第４の本発明の上記関連情報形成装置であり、（３）上記情報表示装置は、第１の本発明の上記情報表示装置であることを特徴とする。

本発明によれば、簡易な手段により、映像データと関連情報との同期を行うことが可能となり、映像と関連情報の同期処理の負荷を軽減することができるという効果が得られる。

実施形態に係る放送配信システムの全体構成を示すブロック図である。 実施形態に係る関連情報形成装置の構成を示すブロック図である。 実施形態に係るデータベース（ＤＢ）に記憶されるテーブル（レコード）を示す説明図である。 実施形態に係る関連情報形成装置のインタフェース例を示す説明図である。 ＭＰＥＧ２システムのトランスポートパケットの構成を示す説明図である。 ＰＥＳパケットの構成を示す説明図である。 実施形態に係る情報表示装置の構成を示すブロック図である 実施形態に係る関連情報構成部が関連情報の挿入位置に対するタイムスタンプ値を推定する手順を示す説明図である。 実施形態に係る関連情報形成装置におけるタイムスタンプ値を推定する手順を示すフローチャートである。 実施形態に係る情報表示装置におけるＰＴＳを用いた映像と関連情報の同期処理を示すフローチャートである。 実施形態に係る情報表示装置における関連情報受信時刻と関連情報表示の関係から表示の調整が必要な場合を示す説明図である。

（Ａ）主たる実施形態
以下、本発明による情報表示装置、情報表示方法、情報表示プログラム、関連情報形成装置、及び配信システムの一実施形態を、図面を参照しながら詳述する。

（Ａ−１）実施形態の構成
（Ａ−１−１）放送配信システム１の全体構成
図１は、この実施形態の放送配信システム１の全体構成を示すブロック図である。図１において、放送配信システム１は、情報表示装置１０、関連情報形成装置２０、映像入力装置３０、中継サーバ４０、ＩＰＴＶ放送配信サーバ５０、関連情報提供サーバ６０及びネットワークＮを有する。

放送配信システム１は、撮像された映像を利用者の情報表示装置１０にネットワークＮを介して映像配信するシステムである。この実施形態では、特に映像を瞬時に配信する生放送（ライブ放送）を想定している。なお、ネットワークＮの通信方式については限定されないものであるが、例えば、インターネット等のＩＰ通信網を適用することができる。なお、放送配信システム１は、配信システムの一例である。

映像入力装置３０は、中継サーバ４０と接続されており、リアルタイムで撮影された映像信号を中継サーバ４０に送出するものである。映像入力装置３０は、種々様々な装置を適用することができるが、例えば、ビデオカメラ装置等を適用することができる。

中継サーバ４０は、ＩＰＴＶ放送配信サーバ５０、映像入力装置３０、及び関連情報形成装置２０と接続されており、映像入力装置３０から入力される映像信号を所定の符号化方式（例えば、ＭＰＥＧ２ＴＳ形式）でエンコードし、符号化した映像信号（以下、「映像ストリーム」とも呼ぶ）をＩＰＴＶ放送配信サーバ５０、及び、関連情報形成装置２０に対して送出するものである。

ここで、中継サーバ４０は、映像ストリームを一時的に格納し、所定の遅延時間を与えて、映像ストリームとＩＰＴＶ放送配信サーバ５０に対して送信する。一方、中継サーバ４０は、関連情報形成装置２０に対して、映像ストリームを即座に（遅延を与えずに）送信する。これは、情報表示装置１０は、同期すべき映像ストリームと関連情報を含む信号（以下、「関連情報パケット」とも呼ぶ）を互いに異なる経由から受信するため、情報表示装置１０が保持すべき映像ストリームと関連情報パケットの持ち時間を短くするためである。

ＩＰＴＶ放送配信サーバ５０は、中継サーバ４０、及びネットワークＮを介して、情報表示装置１０と接続されている。ＩＰＴＶ放送配信サーバ５０は、中継サーバ４０から送出された映像ストリームを受信し、情報表示装置１０に対してリアルタイムで送出するライブストリーミング配信を行うものである。

関連情報形成装置２０は、関連情報提供サーバ６０、及び中継サーバ４０と接続されており、関連情報入力作業者Ｕが中継サーバ４０から送出される映像ストリームをもとに作成するデータ（以下、「関連情報」とも呼ぶ）を、映像ストリームから算出されるタイムスタンプ値と共に関連情報提供サーバ６０に送出するものである。ここで、「関連情報」とは、映像に関連付けられた何らかの情報を言い、例えば、映像の字幕（日本語、英語等の外国語、及びその翻訳語等）、映像で使用された音源の曲名、映像（テレフォンショッピング等）で紹介された商品のＵＲＬ等が該当する。

関連情報提供サーバ６０は、関連情報形成装置２０、及びネットワークＮを介して、情報表示装置１０と接続されている。関連情報提供サーバ６０は、関連情報形成装置２０から送出された関連情報パケットを受信し、情報表示装置１０に対して瞬時に送出するものである。

情報表示装置１０は、ネットワークＮを介してＩＰＴＶ放送配信サーバ５０、及び、関連情報提供サーバ６０と接続しており、ＩＰＴＶ放送配信サーバから送出された映像ストリームデータを表示する。また、情報表示装置１０は、関連情報提供サーバ６０から送出された関連情報を映像ストリームデータと時刻同期させて表示する機能を提供する。情報表示装置１０は、種々様々な端末を適用することができるが、例えば、パーソナルコンピュータ（ＰＣ）、携帯通信端末（一例は、携帯電話、及びスマートフォン等である）、テレビ受像機、ゲーム機、及びタブレット端末等を適用することができる。

（Ａ−１−２）関連情報形成装置２０の詳細な構成
図２は、関連情報形成装置２０の構成を示すブロック図である。関連情報形成装置２０は、種々様々な装置を適用することができるが、例えば、汎用コンピュータを適用することができる。

関連情報形成装置２０は、映像データ受信部９０、映像データ表示部９１、映像データ解析部９２、入力制御部９３、入力データ管理部９４、ＤＢ９５、入力データ表示部９６、操作パネル制御部９７、関連情報構成部９８及び関連情報送出部９９を有する。

映像データ受信部９０は、中継サーバ４０から映像ストリームを受信し、映像データ表示部９１、及び映像データ解析部９２に転送するものである。

映像データ表示部９１は、映像データ受信部９０から転送された映像ストリームを表示するものである。

映像データ解析部９２は、映像データ受信部９０から転送された映像ストリームを解析し、タイムスタンプ値を随時取得するものである。取得されるタイムスタンプ値は、映像表示用タイムスタンプ値の一例である。

入力制御部９３は、操作パネル制御部９７からの通知を受けて、関連情報入力作業者Ｕにより入力されたデータを取得し、入力データ管理部９４に入力データを転送するものである。また、入力制御部９３は、後述されるように、関連情報構成部９８に入力データを転送するものである。入力データは、種々様々な形式のデータを適用することができるが、例えば、テキストデータ（一例として字幕や、ＨＴＭＬ５をはじめとするマークアップ言語、ＪａｖａＳｃｒｉｐｔ_{（登録商標）}をはじめとするプログラム言語などにより記述されたテキスト）やバイナリデータ（一例として画像、音声、映像などのファイル）にも適用することができる。なお、入力制御部９３は、関連情報入力部の一例である。また、入力データは、関連表示情報の一例である。

入力データ管理部９４は、ＤＢ９５を使用して入力制御部９３から転送された入力データを管理するものである。各入力データには、一意に識別可能なＩＤが付与される。

ＤＢ９５は、入力データ管理部９４で生成されたＩＤと入力データの組を保存、検索するための機能を提供するものである。

図３は、ＤＢ９５（図２）に記憶されるテーブル（レコード）を示す説明図である。テーブルＴは、図３においてＩＤと入力データの項目を有する。例えば、ＩＤが「０００００００１」に対しては入力データ「おはようございます」が記憶されている。

図２に戻って説明を続ける。入力データ表示部９６は、ＤＢ９５に保存されているＩＤと入力データの組を、表示画面上に表示するものである。

操作パネル制御部９７は、入力データの挿入操作を関連情報構成部９８、決定操作を入力制御部９３及び関連情報送出部９９に対して通知するものである。

関連情報構成部９８は、操作パネル制御部９７の通知を受けて、映像データ解析部９２からタイムスタンプ値の取得を行うものである。また、関連情報構成部９８は、関連情報送出部９９の指示により、ＤＢ９５から入力データを取得した後、前記タイムスタンプ値と入力データとを含む関連情報を構成し、関連情報送出部９９に転送するものである。さらに、関連情報構成部９８は、関連情報送出部９９の指示により、入力制御部９３から入力データを取得した後、前記タイムスタンプ値と入力データとを含む関連情報を構成し、関連情報送出部９９に転送するものである。なお、関連情報構成部９８は、関連表示情報用タイムスタンプ値推定部の一例である。

関連情報送出部９９は、操作パネル制御部９７の通知を受けて、関連情報構成部９８から関連情報を取得し、関連情報提供サーバ６０に送出するものである。なお、関連情報送出部９９は、関連情報送信部の一例である。

図４は、関連情報形成装置２０のインタフェース例を示す説明図である。インタフェース例は、インタフェース表示画面６０であり、このインタフェース表示画面６０は、映像表示画面６１、一覧表示・選択手段６２、データ入力手段６３及び操作パネル６４を有する。

映像表示画面６１は、映像データ表示部９１（図２）の表示画面である。映像表示画面６１は、関連情報入力作業者Ｕが挿入すべき関連情報の位置を決定するために視聴される映像を表示する。

一覧表示・選択手段６２は、入力データ表示部９６（図２）の表示画面である。一覧表示・選択手段６２は、例えば、図４に示すレコードを一覧表示し、関連情報入力作業者Ｕにより、一覧表示された任意のレコード（関連情報）を選択できるように表示する。

データ入力手段６３は、入力制御部９３（図２）に対する入力データの入力方法を提供するものである。データ入力手段６３の一例は、図４に示されるように、コマンドライン入力に対応したインタフェースを示している。

操作パネル６４は、関連情報入力作業者Ｕに対して、操作パネル制御部９７（図２）の各種操作（挿入・決定・取消）を実行するための操作方法を提供するものである。操作パネル６４の「ｉｎｓｅｒｔ」は、一覧表示・選択手段６２で選択された関連情報又はデータ入力手段６３により直接入力された関連情報を映像表示画面６１に表示されている映像（フレーム）に挿入する位置を決定する（挿入）ボタンである。操作パネル６４の「ｃａｎｃｅｌ」は、先述の挿入処理を取り消すボタンである。操作パネル６４の「ＯＫ」は、先述の挿入処理を決定するボタンである。

図５は、ＭＰＥＧ２システムのトランスポートパケット（以下、「ＴＳパケット」とも呼ぶ）の構成を示す説明図である。

映像データ受信部９０（図２）が受信する映像ストリームは、複数のＴＳパケットにより構成される。また、各ＴＳパケットは、ＴＳヘッダとＴＳペイロードにより構成される。

ＴＳパケットは、ＴＳヘッダの１２ビット目から１３ビットの領域にＰｒｏｇｒａｍＩＤ（以下、「ＰＩＤ」とも呼ぶ）が格納されており、ＰＩＤによりＴＳペイロードの内容が決定される。

後述するＰＥＳパケットは、Ｖｉｄｅｏデータを示すＰＩＤをＴＳヘッダ内に持つＴＳパケットのＴＳペイロードを連結することにより得ることができる。

なお、Ｖｉｄｅｏデータを示すＰＩＤは、ＰＩＤの値が０であるＴＳパケットのＴＳペイロードに格納されているＰｒｏｇｒａｍＡｓｓｏｃｉａｔｉｏｎＴａｂｌｅ（以下、「ＰＡＴ」とも呼ぶ）、及びＰＩＤがＰＡＴ内で指定されている値であるＴＳパケットのＴＳペイロードに格納されているＰｒｏｇｒａｍＭａｐＴａｂｌｅ（以下、「ＰＭＴ」とも呼ぶ）により特定される。

図６は、映像データが格納されるＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）パケットの構成を示す説明図である。

ＰＥＳパケットは、ＰＥＳヘッダとＰＥＳペイロードとから構成される可変長パケットであり、図６に示すように、そのＰＥＳヘッダには、パケット開始コード、パケット長等の情報に加え、メディアを表示・出力するのに必要な時間情報（タイムスタンプ）としてＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）等も含まれている。

（Ａ−１−３）情報表示装置１０の詳細な構成
図７は、情報表示装置１０の構成を示すブロック図である。

情報表示装置１０は、映像データ受信部１１、映像データ表示部１２、映像データ解析部１３、関連情報受信部１５、関連情報表示部１６、及び、関連情報同期部１７を有する。

この実施形態の情報表示装置は、映像データ受信部や関連情報受信部を除いた部分をハードウェアで構成することも可能であり、また、ＣＰＵが実行するソフトウェア（情報表示プログラム）とＣＰＵとで実現することも可能であるが、いずれの実現方法を採用した場合であっても、機能的には図７で表すことができる。

映像データ受信部１１は、ＩＰＴＶ放送配信サーバ５０から送出される映像ストリームを受信し、映像データ解析部１３に転送するものである。なお、映像データ受信部１１は、映像信号受信部の一例である。

映像データ表示部１２は、映像データ解析部１３から転送される映像ストリームを表示画面に表示するものである。なお、映像データ表示部１２は、映像表示部の一例である。

映像データ解析部１３は、映像データ受信部１１から転送される映像ストリームを解析し、得られたタイムスタンプ値を関連情報同期部１７に転送すると共に、映像ストリームを映像データ表示部１２に転送するものである。なお、映像データ解析部１３は、映像表示用タイムスタンプ値取得部の一例である。

関連情報受信部１５は、関連情報提供サーバ６０から送出される関連情報パケットを受信し、関連情報同期部１７に転送するものである。

関連情報表示部１６は、関連情報同期部１７から転送される関連情報パケットに含まれる入力データを画面に表示するものである。

関連情報同期部１７は、関連情報受信部１５から転送される関連情報に含まれるタイムスタンプ値と、映像データ解析部１３から転送されるタイムスタンプ値により、関連情報表示部１６に対する関連情報の転送時刻を決定するものである。関連情報同期部１７は、関連情報表示用タイムスタンプ値取得部及び関連表示情報同期制御部の一例である。

（Ａ−２）実施形態の動作
まず、映像ストリーム配信の動作の説明を行う。

映像入力装置３０は、自身のエンコーダがエンコードを開始すると、入力された映像信号をＭＰＥＧ２ＴＳ形式に変換する。映像入力装置３０は、エンコード済みの映像ストリームを中継サーバ４０に送信する。

中継サーバ４０は、映像入力装置３０から映像信号を受信する。

中継サーバ４０は、中継先として予め登録されたＩＰＴＶ放送配信サーバ５０、及び、関連情報形成装置２０に対して、エンコード済みの映像ストリームの送出を行う。この際、中継サーバ４０は、関連情報形成装置２０に対しては即座に送出を行うが、ＩＰＴＶ放送配信サーバ５０に対しては一定の遅延時間Ｄ_fixを与えて送出する。この遅延時間Ｄ_fixは、この実施形態では固定値としているが、中継するサーバの数、配信経路等を考慮して可変値としても良い。

ＩＰＴＶ放送配信サーバ５０は、中継サーバ４０から受信した映像ストリームを、配信対象（情報表示装置１０）のネットワークＮに対して送出する。

次に、関連情報形成装置２０の関連情報の配信の動作の説明を行う。

映像データ受信部９０は、中継サーバ４０から映像ストリームを受信する。

映像データ解析部９２は、受信した映像ストリームを解析する。

映像データ解析部９２は、Ｖｉｄｅｏデータを示すＰＩＤをＴＳヘッダ内に持つＴＳパケットのＴＳペイロードを連結することによりＰＥＳパケット（映像データ）を取得する。

映像データ解析部９２は、ＰＥＳパケット中、ＰＴＳ＆ＤＴＳフラグが「０ｂ１１」、又は「０ｂ１０」の場合には、ＰＥＳヘッダの７３ビット目から４０ビット（の内の３３ビット）の領域に存在するＰＴＳ値を取得する。

ＤＢ９５は、次に記載される処理に基づいて、関連情報入力作業者Ｕより入力されたデータを登録する。入力制御部９３は、データ入力手段６３を介して、関連情報入力作業者Ｕより入力されたデータを取得し、操作パネル制御部９７は、操作パネル６４を介して、関連情報入力作業者Ｕによる「ＯＫ」ボタンが押下されたことを入力制御部９３に通知することにより、入力制御部９３は、入力されたデータを入力データ管理部９４に転送する。入力データ管理部９４は、入力されたデータに対して、一意に識別可能なＩＤを付与する。ＤＢ９５は、ＩＤと入力されたデータの組を蓄積する。

また、関連情報構成部９８は、操作パネル制御部９７の通知を受けて、関連情報の挿入位置に対するタイムスタンプ値を推定する。ここで、操作パネル制御部９７の通知の内容は、関連情報入力作業者Ｕが、映像表示画面６１に表示される映像を視聴しながら、操作パネル６４の「ｉｎｓｅｒｔ」ボタンを押下したことについてである。図８は、関連情報構成部９８が関連情報の挿入位置に対するタイムスタンプ値を推定する手順を示す説明図である。図８においてＴ_nは、ある画面（フレーム）の表示時刻を示している。Ｔ_n+1は、Ｔ_nを基準として、表示時刻順で次のフレームに対応する表示時刻を示し、Ｔ_n-1は、Ｔ_nを基準として、表示時刻順で一つ前のフレームに対応する表示時刻を示す。Ｔ₀は、初期フレームの時刻を示し、Ｔ_insertは、操作パネル６４の「ｉｎｓｅｒｔ」ボタンが押下された時刻を示している。時刻Ｔ₀に対応するフレームはＰ₀を示し、ＰＴＳ値は、ＰＴＳ₀を示している。以下、同様に、時刻Ｔ_n-1に対応するフレームはＰ_n-1を示し、ＰＴＳ値は、ＰＴＳ_n-1を示している。時刻Ｔ_nに対応するフレームはＰ_nを示し、ＰＴＳ値は、ＰＴＳ_nを示している。時刻Ｔ_insertに対応するフレームはＰ_insertを示し、ＰＴＳ値は、ＰＴＳ_insertを示している。時刻Ｔ_n+1に対応するフレームはＰ₊₁を示し、ＰＴＳ値は、ＰＴＳ_n+1を示している。時刻Ｔ₀からＴ_nまでの時間は、Ｔ_n―Ｔ₀で示されており、その間のＰＴＳ値は、（ＰＴＳ_n−ＰＴＳ₀）ｍｏｄ２³³である。時刻Ｔ₀からＴ_insertまでの時間は、Ｔ_insert―Ｔ₀で示されており、その間のＰＴＳ値は以下の（１）式で推定される。

ここで、ｍｏｄＮはＮで除算を行った剰余を示す。この実施形態ではＰＴＳは、３３ビットの領域を巡回して使用するため、Ｎは、２³³となる。また、推定した差分値は自然数に切り上げる。なお、この実施形態では上記（１）式を用いるが、固定値を用いても良い。

以下の、図９を用いて、図８の時刻Ｔ_insertのＰＴＳ値であるＰＴＳ_insertを推定する処理を説明する。図９は、タイムスタンプ値を推定する手順を示したフローチャートである。

まず、関連情報構成部９８は、映像データ解析部９２から、映像データの最初に表示した画面に対応するＰＴＳ値（ＰＴＳ₀）と表示時刻（Ｔ₀）及び、直前に表示した画面に対応するＰＴＳ値（ＰＴＳ_n）と表示時刻（Ｔ_n）を取得する（Ｓ１０１）。

次に、関連情報構成部９８は、「ｉｎｓｅｒｔ」ボタンが押下された時刻（Ｔ_insert）と最初に表示した画面の表示時刻（Ｔ₀）の差分（Ｔ_insert−Ｔ₀）に対して、直前までのＰＴＳ値と表示時刻との比率（（ＰＴＳ_n−ＰＴＳ₀）ｍｏｄ２³³）／（Ｔ_n−Ｔ₀）を乗じる（上記（１）式に相当）。つまり、関連情報構成部９８は、「ｉｎｓｅｒｔ」ボタンが押下された時刻に対応するタイムスタンプ値（ＰＴＳ_insert）と最初に表示した画面に対応するＰＴＳ値（ＰＴＳ₀）との差分を推定する（Ｓ１０２）。

最後に、関連情報構成部９８は、最初に表示した画面に対応するＰＴＳ値（ＰＴＳ₀）に前記で推定した差分値を加算し、その結果をｍｏｄ２³³することで、「ｉｎｓｅｒｔ」ボタンが押下された時刻に対応するタイムスタンプ値（ＰＴＳ_insert）の推定値を取得することができる（Ｓ１０３）。

関連情報入力作業者Ｕが、作成済みの入力情報の一覧表示・選択手段６２、又はデータ入力手段６３から入力データを指定した後、操作パネル６４の「ＯＫ」ボタンが押下すると、操作パネル制御部９７から関連情報構成部９８に対して関連情報の生成が要求される。

関連情報構成部９８は、操作パネル６４の「ｉｎｓｅｒｔ」ボタンの押下に際して決定されたタイムスタンプ値ＰＴＳ_insertと選択された入力データとを含む関連情報を作成する。関連情報には、シーケンシャルな番号（関連情報番号）が付与される。関連情報送出部９９は、関連情報構成部９８が作成した関連情報を取得し、関連情報提供サーバ６０に送出する。

関連情報提供サーバ６０は、関連情報形成装置２０から受信した関連情報を、配信対象のネットワークＮに対して送出する。

最後に、情報表示装置１０の動作を説明する。

情報表示装置１０は、ＩＰＴＶ放送配信サーバ５０から送出された映像ストリームを映像データ受信部１１で受信した後、映像データ解析部１３に映像ストリームを転送する。

映像データ解析部１３は、映像ストリームを映像データ表示部１２に転送する。また、映像データ解析部１３は、映像表示用に取得されたＭＰＥＧ２ＴＳのＰＥＳヘッダに格納されたＰＴＳ値を取得し、関連情報同期部１７に転送する。

映像データ表示部１２は、映像データ解析部１３から転送された映像ストリームを表示する。

一方、関連情報受信部１５は、関連情報提供サーバ６０から送出された関連情報パケットを受信した後、当該関連情報パケットを関連情報同期部１７に転送する。

図１０は、情報表示装置１０におけるＰＴＳを用いた映像と関連情報の同期処理を示すフローチャートである。図１０に示すフローチャートは、主として、関連情報同期部１７及び関連情報表示部１６により実行される。

関連情報同期部は、関連情報パケットに含まれるタイムスタンプ値ＰＴＳ_insertを取得すると、今回取得した関連情報とは異なる他の関連情報が存在しているか否かを確認する（Ｓ２０１、Ｓ２０２）。

そして、他の関連情報が存在する場合には、ステップＳ２０３の処理に移行し、関連情報同期部１７は、表示する関連情報の表示調整を行う。一方、他の関連情報が存在する場合には、後述するステップＳ２０４の処理を実行する（Ｓ２０２）。

ステップ２０３における表示調整処理の詳細な説明は、後述する図１１を用いて具体的に説明するが、ステップＳ２０３では、今回受信された関連情報の他に、他の関連情報が受信されていた場合には、関連情報を表示する順序等の調整を行う。例えば、ネットワーク上での揺らぎ等により、情報表示装置１０が関連情報パケットを受信する順序が変化する場合も生じるが、関連情報同期部１７は、今回受信した関連情報及び他の関連情報のそれぞれに含まれているＰＴＳ_insertの値を比較し、ＰＴＳ_insertの値が小さい順に関連情報を並び替えるようにしても良い。この並び替えにより、値の小さいＰＴＳ_insertを有するものから先に関連情報を表示することができる。なお、この実施形態では、関連情報に含まれるＰＴＳ_insertの値の比較に基づいて、関連情報の並べ替えを行うようにしたが、関連情報受信部１５が、関連情報パケットに含まれるシーケンシャルな番号に基づいて、関連情報の並び替えを行うようにしても良い。

関連情報同期部１７は、ＰＴＳ_insertが映像データ解析部１３から転送されたＰＴＳ値以上となった時点で、関連情報を関連情報表示部１６に転送する（Ｓ２０４）。

関連情報表示部１６は、関連情報同期部１７から関連情報が転送された場合、前回表示した関連情報が残っていた場合には不要な関連情報を消去する（Ｓ２０５、Ｓ２０６）。当該関連情報が存在しない場合には、後述するステップＳ２０７の処理を実行する。

関連情報表示部１６は、関連情報の表示を行う（Ｓ２０７）。

図１１は、情報表示装置１０における、関連情報受信時刻と関連情報表示の関係から表示の調整が必要な場合を示す説明図である。

図１１において、「○」（白抜き丸）は関連情報を受信した時に関連情報同期部１７が保持しているＰＴＳ値を示しており、「●」（黒抜き丸）は関連情報の表示を開始するＰＴＳ値を示す。ＰＴＳ₁は、関連情報１のＰＴＳ_insert値を示している。ＰＴＳ₂は、関連情報２のＰＴＳ_insert値を示している。両者は、ＰＴＳ₂＞ＰＴＳ₁の関係を有している。よって、通常であれば、関連情報１が表示された後に、関連情報２が生じされることになる。パケットの遅延等により、両関連情報の表示の調整が必要な場合が生じる。

図１１（Ａ−１）は、関連情報１と関連情報２共に、推定値（ＰＴＳ₁、ＰＴＳ₂）よりも前の時点で関連情報を受信している。この場合、関連情報同期部１７では、関連情報１が受信された後に、関連情報２が受信されており、関連情報１の推定値ＰＴＳ₁が、関連情報２の推定値ＰＴＳ₂よりも小さいため、関連情報同期部１７は、関連情報１を先に表示する。まず、関連情報同期部１７は、映像データ解析部１３から取得する映像のＰＴＳ値と、関連情報１の推定値ＰＴＳ₁を比較し、推定値ＰＴＳ₁が、映像のＰＴＳ値以上となった時点で、関連情報１を関連情報表示部１６に与える。これにより、関連情報１が表示される。関連情報１が表示され、関連情報２の推定値ＰＴＳ₂が映像のＰＴＳ値以上となった時点で、関連情報同期部１７は、関連情報２を関連情報表示部１６に与えて、関連情報２が表示される。

図１１（Ａ−２）は、（Ａ−１）と比べて、関連情報２が関連情報１よりも先に受信した例を示している。この場合、関連情報２が関連情報１よりも先に受信されているが、関連情報同期部１７は、関連情報１及び２の各推定値ＰＴＳ₁とＰＴＳ₂を比較し、値の小さい関連情報１を関連情報２よりも先に表示するように調整する。そして、関連情報同期部１７は、映像データ解析部１３から取得する映像のＰＴＳ値と、関連情報１の推定値ＰＴＳ₁とを比較し推定値ＰＴＳ₁が映像のＰＴＳ値以上となった時点で、関連情報１を関連情報表示部１６に与える。これにより、関連情報１が表示される。関連情報２の表示処理については、（Ａ−１）と同様である。

図１１（Ａ−３）は、（Ａ−１）と比べて、関連情報２が関連情報１の表示中に受信した例を示している。この場合も、関連情報同期部１７では、関連情報１が受信された後に、関連情報２が受信されており、関連情報１の推定値ＰＴＳ₁が、関連情報２の推定値ＰＴＳ₂よりも小さいため、関連情報の表示処理については、（Ａ−１）と異なる点はない。

図１１（Ｂ）は、関連情報２の受信が関連情報２の表示すべき時刻（ＰＴＳ₂）よりも遅れている例を示している。この場合、関連情報同期部１７では、関連情報１が受信された後に、関連情報２が受信されており、関連情報１の推定値ＰＴＳ₁が、関連情報２の推定値ＰＴＳ₂よりも小さいため、関連情報同期部１７は、関連情報１を先に表示する。ただし、関連情報２の受信が遅れているため、関連情報関連情報１は、ＰＴＳ₁から関連情報２の受信時刻に対応するＰＴＳの間表示されることになる。また、関連情報２の表示開始は、関連情報２の受信時刻に対応するＰＴＳとなる。この実施形態では、関連情報表示部１６は、新たな関連情報が関連情報同期部１７より送信されるまでは、前回の関連情報が表示されたままである。言い換えれば、関連情報表示部１６から表示されている関連情報を消去したい場合、空の入力データを含む関連情報パケットを作成し、関連情報提供サーバ６０より配信する必要がある。変形例として、関連情報表示部１６は、表示時刻がＰＴＳ₂になった時点でタイマーを設定し、所定時間後に関連情報１の表示を消去する処理を行っても良い。

図１１（Ｃ−１）は、関連情報１の受信が関連情報１の表示すべき時刻（ＰＴＳ₂）よりも遅れている例を示している。この場合、関連情報１は、関連情報１の受信時刻に対応するＰＴＳからＰＴＳ₂の間表示される。関連情報２は、関連情報１の表示時間中に受信しているので、関連情報２は、ＰＴＳ₂から表示される。

図１１（Ｃ−２）は、（Ｃ−１）と比べて、関連情報２が関連情報１よりも先に受信した例を示している。この場合、関連情報同期部１７では、関連情報１が受信された後に、関連情報２が受信されており、関連情報１の推定値ＰＴＳ₁が、関連情報２の推定値ＰＴＳ₂よりも小さいため、関連情報同期部１７は、関連情報１を先に表示する。まず、関連情報同期部１７は、映像データ解析部１３から取得する映像のＰＴＳ値と、関連情報１の推定値ＰＴＳ₁を比較し、推定値ＰＴＳ₁が、映像のＰＴＳ値以上となった時点で、関連情報１を関連情報表示部１６に与える。これにより、関連情報１が表示される。関連情報１が表示され、関連情報２の推定値ＰＴＳ₂が映像のＰＴＳ値以上となった時点で、関連情報同期部１７は、関連情報２を関連情報表示部１６に与えて、関連情報２が表示される。

図１１（Ｃ−３）は、（Ｃ−２）と比べて、関連情報２が関連情報１によりもさらに先に（ＰＴＳ₁よりも）受信した例を示している。この場合も、関連情報の表示処理についは、（Ｃ−２）と異なる点はない。

図１１（Ｄ−１）は、関連情報１と関連情報２共に、推定値（ＰＴＳ₁、ＰＴＳ₂）よりも後の時点で関連情報を受信している例を示している。この場合、関連情報１は、関連情報の受信時刻に対応するＰＴＳから関連情報２の受信時刻に対応するＰＴＳの間表示される。また、関連情報２の表示開始は関連情報２の受信時刻に対応するＰＴＳとなる。関連情報同期部１７は、映像データ解析部１３から取得する映像のＰＴＳ値と、関連情報１の推定値ＰＴＳ₁を比較し、推定値ＰＴＳ₁が、映像のＰＴＳ値以上となった時点で、関連情報１を関連情報表示部１６に与える。これにより、関連情報１が表示される。関連情報１が表示され、関連情報２の推定値ＰＴＳ₂が映像のＰＴＳ値以上となった時点で、関連情報同期部１７は、関連情報２を関連情報表示部１６に与えて、関連情報２が表示される。

図１１（Ｄ−２）は、（Ｄ−１）と比べて、関連情報１が関連情報２の表示時間中に受信した例を示している。関連情報の表示処理についは、関連情報１の表示開始が関連情報２の表示時間中にずれ込む点が異なる。

図１１（Ｅ−１）は、関連情報２の推定値（ＰＴＳ₂）よりも後の時点で関連情報１を受信し、ささに、関連情報２がＰＴＳ₁よりも先に受信している例を示している。この場合、関連情報１は表示されず、関連情報２はＰＴＳ₂より表示される。まず、関連情報同期部１７は、映像データ解析部１３から取得する映像のＰＴＳ値と、関連情報２の推定値ＰＴＳ₂を比較し、推定値ＰＴＳ₂が、映像のＰＴＳ値以上となった時点で、関連情報２を関連情報表示部１６に与える。これにより、関連情報２が表示される。関連情報２が表示された後に、関連情報１を受信するが、関連情報同期部１７は、現在表示中の映像との乖離を想定して、関連情報１の表示を行わない。

図１１（Ｅ−２）は、（Ｅ−１）と比べて、関連情報２が関連情報１の表示時間中に受信した例を示している。関連情報の表示処理については、（Ｅ−１）と異なる点はない。

図１１（Ｆ）は、関連情報２の推定値（ＰＴＳ₂）よりも後の時点で関連情報１と関連情報２を受信した例を示している。この場合、関連情報１は表示されない。また、関連情報２の表示開始は関連情報２の受信時刻に対応するＰＴＳとなる。

（Ａ−３）実施形態の効果
中継サーバ４０で映像ストリームの配信に固定の遅延時間を与え、関連情報形成装置２０で表示する映像位置を示すタイムスタンプ値を関連情報に含めて配信することにより、情報表示装置１０における映像と関連情報の表示の同期を、映像出力時に取得する必要のあるタイムスタンプ値の比較のみで可能とした。以上により、情報表示装置１０における映像と関連情報表示の同期処理の処理負荷を低減することできるという効果が得られる。また、関連情報を入力し、配信するシステム側の処理負荷も、全体として低減することができるという効果も得られる。

（Ｂ）他の実施形態
上記の実施形態に加えて、さらに、以下に例示するような変形実施形態も挙げることができる。

（Ｂ−１） 上記の実施形態では、放送配信システム１の構成要素として、関連情報形成装置２０を適用した例を示したが、生放送に対する字幕の入力装置を適用しても良い。

１…放送配信システム、１０…情報表示装置、２０…関連情報形成装置、３０…映像入力装置、４０…中継サーバ、５０…ＩＰＴＶ放送配信サーバ、６０…関連情報提供サーバ、１１…映像データ受信部、１２…映像データ表示部、１３…映像データ解析部、１５…関連情報受信部、１６…関連情報表示部、１７…関連情報同期部、６１…映像表示画面、６２…一覧表示・選択手段、６３…データ入力手段、６４…操作パネル、９０…映像データ受信部、９１…映像データ表示部、９２…映像データ解析部、９３…入力制御部、９４…入力データ管理部、９５…ＤＢ、９６…入力データ表示部、９７…操作パネル制御部、９８…関連情報構成部、９９…関連情報送出部、Ｎ…ネットワーク、Ｔ…テーブル

Claims (7)

1. 映像信号を受信する映像信号受信部と、
   上記映像信号受信部により受信された上記映像信号に含まれる映像を表示する時刻を示す映像表示用タイムスタンプ値を取得する映像表示用タイムスタンプ値取得部と、
   上記映像表示用タイムスタンプ値取得部により取得された上記映像表示用タイムスタンプ値に基づいて、上記映像信号を表示する映像表示部と、
   上記映像表示部により表示される映像に同期させて表示する関連表示情報と、該関連表示情報を表示する時刻を示す関連情報表示用タイムスタンプ値とを含む関連情報を受信する関連情報受信部と、
   上記関連情報受信部により受信された上記関連情報に含まれる上記関連情報表示用タイムスタンプ値を取得する関連情報表示用タイムスタンプ値取得部と、
   上記関連情報表示用タイムスタンプ値取得部により取得された上記関連情報表示用タイムスタンプ値と、上記映像表示用タイムスタンプ値取得部により取得された上記映像表示用タイムスタンプ値とを比較して、その比較結果に基づいて、上記関連表示情報と上記映像信号との同期を制御する関連表示情報同期制御部と、
   上記関連表示情報同期制御部により同期された上記関連表示情報を表示する関連情報表示部と
   を有することを特徴とする情報表示装置。
2. 上記関連表示情報同期制御部は、上記関連情報表示用タイムスタンプ値取得部により取得された上記関連情報表示用タイムスタンプ値が上記映像表示用タイムスタンプ値取得部により取得された上記映像表示用タイムスタンプ値以上であった場合には同期を行うことを特徴とする請求項１に記載の情報表示装置。
3. 上記関連情報受信部により受信された関連情報が複数の場合には、関連表示情報同期制御部は、複数の関連情報表示用タイムスタンプ値を比較して、関連情報表示用タイムスタンプ値が小さい順に並び替えた後に、同期の制御を行うことを特徴とする請求項１又は２に記載の情報表示装置。
4. 映像信号受信部が、映像信号を受信し、
   映像表示用タイムスタンプ値取得部が、上記映像信号受信部により受信された上記映像信号に含まれる映像を表示する時刻を示す映像表示用タイムスタンプ値を取得し、
   映像表示部が、上記映像表示用タイムスタンプ値取得部により取得された上記映像表示用タイムスタンプ値に基づいて、上記映像信号を表示し、
   関連情報受信部が、上記映像表示部により表示される映像に同期させて表示する関連表示情報と、該関連表示情報を表示する時刻を示す関連情報表示用タイムスタンプ値とを含む関連情報を受信し、
   関連情報表示用タイムスタンプ値取得部が、上記関連情報受信部により受信された上記関連情報に含まれる上記関連情報表示用タイムスタンプ値を取得し、
   関連表示情報同期制御部が、上記関連情報表示用タイムスタンプ値取得部により取得された上記関連情報表示用タイムスタンプ値と、上記映像表示用タイムスタンプ値取得部により取得された上記映像表示用タイムスタンプ値とを比較して、その比較結果に基づいて、上記関連表示情報と上記映像信号との同期を制御し、
   関連情報表示部が、上記関連表示情報同期制御部により同期された上記関連表示情報を表示する
   ことを特徴とする情報表示方法。
5. 情報表示装置に搭載されるコンピュータを、
   映像信号を受信する映像信号受信部と、
   上記映像信号受信部により受信された上記映像信号に含まれる映像を表示する時刻を示す映像表示用タイムスタンプ値を取得する映像表示用タイムスタンプ値取得部と、
   上記映像表示用タイムスタンプ値取得部により取得された上記映像表示用タイムスタンプ値に基づいて、上記映像信号を表示する映像表示部と、
   上記映像表示部により表示される映像に同期させて表示する関連表示情報と、該関連表示情報を表示する時刻を示す関連情報表示用タイムスタンプ値とを含む関連情報を受信する関連情報受信部と、
   上記関連情報受信部により受信された上記関連情報に含まれる上記関連情報表示用タイムスタンプ値を取得する関連情報表示用タイムスタンプ値取得部と、
   上記関連情報表示用タイムスタンプ値取得部により取得された上記関連情報表示用タイムスタンプ値と、上記映像表示用タイムスタンプ値取得部により取得された上記映像表示用タイムスタンプ値とを比較して、その比較結果に基づいて、上記関連表示情報と上記映像信号との同期を制御する関連表示情報同期制御部と、
   上記関連表示情報同期制御部により同期された上記関連表示情報を表示する関連情報表示部と
   して機能させることを特徴とする情報表示プログラム。
6. 取得された映像信号に基づいて表示される映像に関連表示情報を表示させる表示タイミングを指定すると共に、表示させる関連表示情報の入力を受け付ける関連情報入力部と、
   上記映像信号に含まれる映像の表示時刻を示す映像表示用タイムスタンプ値と、上記関連情報入力部により指定された上記表示タイミングとに基づいて、上記関連表示情報の表示時刻を示す関連表示情報用タイムスタンプ値を推定する関連表示情報用タイムスタンプ値推定部と、
   上記関連情報入力部により入力された上記関連表示情報及び上記関連情報表示用タイムスタンプ値を含む関連情報を送信する関連情報送信部と
   を有することを特徴とする関連情報形成装置。
7. 映像信号を配信する１又は複数の配信サーバと、
   上記各配信サーバから受信した映像信号に含まれる映像に対して表示させる所定の関連情報を作成して送信する関連情報形成装置と、
   上記各配信サーバから所定の遅延時間が付与された映像信号と、上記関連情報形成装置により作成された上記関連情報とを受信し、上記映像信号に基づく映像と上記関連情報に含まれる関連表示情報とを同期させて表示する情報表示装置と
   を有する配信システムにおいて、
   上記各配信サーバは、上記情報表示装置に対しては、所定の遅延時間を付与した映像信号を送信し、上記関連情報形成装置に対しては、所定の遅延時間を付与せずに上記映像信号を送信するものであり、
   上記関連情報形成装置は、請求項６に記載の上記関連情報形成装置であり、
   上記情報表示装置は、請求項１〜３のいずれかに記載の上記情報表示装置であることを特徴とする配信システム。

Images