JP2002369163A - マルチストリーム出力時刻制御方法及びその制御装置 - Google Patents

Abstract

(57)【要約】 【課題】 複数のストリームを同期させて表示させると
ともに、その表示機能を付加した。 【解決手段】 送信側で、伝送する映像データ、音声デ
ータに時刻コードを添付し、送信装置５からネットワー
ク９に送出する。ネットワーク９上に伝送された映像デ
ータ、音声データは受信装置１１、１４によって受信さ
れ、遅延制御装置１２、１５、ストリーム選択装置１３
を介してストリーム「１」、「２」として出力される。
これらのストリームに添付された時刻コードと、受信側
において生成された時刻コードを時刻コード差読取装置
２１へ入力し、遅延指示装置２２で添付された時刻コー
ドと受信側で生成された時刻コードの差が一定となるよ
う遅延制御装置１２、１５の遅延を制御する。これによ
り、ストリーム「１」、「２」を同期させることができ
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数の映像音声ス
トリームをネットワークを介して伝送させるシステムに
おける、マルチストリーム出力時刻制御方法及びマルチ
ストリーム出力時刻制御装置に関するものである。

【０００２】

【従来の技術】インターネットの広帯域化にともない、
インターネットを介した映像や音声のストリーム伝送が
可能となっている。インターネットを介した映像や音声
のストリーム伝送では、映像ストリームと音声ストリー
ムの伝送を従来のテレビジョン放送に比べ、低コストで
実現可能である。

【０００３】それゆえ、１つのプログラムに対して複数
のストリームを伝送させることも容易である。例えば、
野球の試合の映像を伝送させる場合、１塁側スタンドの
映像と音声、３塁側スタンドの映像と音声、ピッチャー
の様子を専門に捉えた映像と音声、バッターの様子を専
門に捉えた映像と音声、バックネット裏からの映像と音
声、１塁側ベンチの映像と音声、３塁側ベンチの映像と
音声、専らある特定の人気選手を捉えた映像と音声等、
多種多様な映像ストリームと音声ストリームを伝送さ
せ、受信者の嗜好に合わせて選択させることができる。

【０００４】従来のインターネットを介した映像や音声
のストリーム伝送の場合、圧縮方式、使用する帯域、ま
たインターネットの輻輳状況によって送信側から受信側
までの伝送時間は大きく異なる。しかも、圧縮／伸長の
処理時間は、映像の内容、例えば画像の動きや複雑さな
どによって変動し、これに伴って伝送時間も変動する。
これらの伝送時間の変動により、送信側において、複数
のストリームを同期させて送信させる場合でも、受信側
で複数のストリームを同期させて出力させることは不可
能である。

【０００５】例えば、上述した野球の試合の映像の例で
説明したように互いに関連する複数のストリームを受信
側で同期させて表示させるためには、複数のストリーム
の出力時の時間的相関を正確に知り、それに基づいて複
数のストリームの出力時刻を制御する必要がある。

【０００６】

【発明が解決しようとする課題】上述したように、イン
ターネットを介した映像や音声のストリーム伝送の場
合、圧縮方式、使用する帯域、またインターネットの輻
輳状況によって送信側から受信側までの伝送時間は大き
く異なり、かつ圧縮／伸長の処理時間は、映像の内容、
例えば画像の動きや複雑さなどによって変動し、これに
伴って伝送時間も変動する。それゆえ、従来では、送信
側で互いに関連する複数のストリームを同期させて送信
させても、受信側で同期させて出力させることができな
いという問題があった。

【０００７】本発明は上記の事情に鑑みてなされたもの
で、インターネット等のネットワークを介した映像や音
声のストリーム伝送において、複数のストリームを同期
させて表示させることができ、かつこのような複数のス
トリームを同期させて表示させる機能を付加したマルチ
ストリーム出力時刻制御方法及びその制御装置を提供す
ることを課題とする。

【０００８】

【課題を解決するための手段】上記の課題を達成するた
めに、本発明は、ｎ本（ｎは１以上の任意の整数）の映
像音声ストリームSt 1,St 2,…St nをネットワークを介
して伝送させるシステムにおいて、送信側で発生させた
時刻コードTS(k,t k),TS(k,t k+1),TS(k,t k+2),…を映
像音声ストリームSt kに乗せて伝送し（kは1からnまで
の整数）、受信側で時刻コードを発生させ、映像音声ス
トリームSt kの時刻コードTS(k,t k)が添付された部分
の受信側での出力時刻をTD(k,t k)と表現したとき、 TD(k,t k) = a k＊TS(k,t k) + b k とさせる［a k,b k］の組を定め、 delay(k) = TD(k,t k) - ［a k＊TS(k,t k) + b k］ を計測し、 delay(k)＞0 であれば、映像音声ストリームSt kの出力時刻を早め、 delay(k)＜0 であれば、映像音声ストリームSt kの出力時刻を遅ら
せ、 TD(k,t k) = a k＊TS(k,t k) + b k とさせることを特徴とする。

【０００９】ここで、送信側で発生させた時刻コード
は、例えば、映像ストリームと音声ストリームが収録さ
れた時刻に基づいて生成され、あるいは、映像ストリー
ムと音声ストリームが受信側で出力されると想定する時
刻に基づいて生成される。

【００１０】また、送信側で発生させた時刻コードは、
例えば、時刻コード記録専用の音声ストリームに記録
し、映像ストリームあるいは音声ストリームと多重させ
て伝送させるか、あるいは、時刻コード記録専用の映像
ストリームに記録し、映像あるいは音声ストリームと多
重させて伝送させるか、あるいは、映像データの一部と
して記録して伝送させるか、あるいは、映像ストリーム
と音声ストリームを含むパケットに付随するデータとし
て記録し、伝送させる。

【００１１】さらに時刻コードは、比較的正確な時計を
用いて生成され、あるいは、ＧＰＳ衛星から送信される
時刻信号に基づいて生成され、ＩＳＤＮなどの通信回線
を介して時刻サーバと通信を行い生成される。

【００１２】さらに、また、delay(1),delay(2),…,del
ay(n)の計測は、例えば、マトリックススイッチャを用
いて、映像音声ストリームStk(k=1,…,n)を切り替える
ことで計測される。

【００１３】またここで、映像音声ストリームStkの出
力時刻を遅らせることは、受信側に設けられた映像音声
ストリーム用バッファに単位分のダミーデータを挿入し
行うか、あるいは、受信側から送信側へ通知を行い、映
像音声ストリームStkの送信を一時中断して行う。

【００１４】さらにここで、映像音声ストリームStkの
出力時刻を早めることは、受信側で映像音声ストリーム
Stkのデータの一部を削除して行う、あるいは、受信側
から送信側へ通知を行い、映像音声ストリームStkのデ
ータの一部を送信しないことで行う。

【００１５】また、本発明に係るマルチストリーム出力
時刻制御装置は、ｎ本（ｎは１以上の任意の整数）の映
像音声ストリームSt 1,St 2,…St nをネットワークを介
して伝送させるシステムにおいて、時刻信号を受けて時
刻コードを発生する時刻コード発生手段と、映像音声ス
トリームに前記時刻コードを添付する時刻コード添付手
段と、時刻コードが添付された映像音声ストリームをネ
ットワークに送信する送信手段と、ネットワークから映
像音声ストリームを受信する受信手段と、前記受信手段
により受信された映像音声ストリームから時刻コードの
情報を分離する分離手段と、前記分離手段により分離さ
れた時刻コードの情報を読み取る読取手段と、前記分離
手段に送る映像音声ストリームを選択する選択手段と、
前記読取手段により読み取られた時刻コードと受信側で
発生された時刻コードを比較する測定手段と、各ストリ
ームの出力時刻を制御する制御手段と、前記測定手段に
よって測定された時刻コードと受信側で発生された時刻
コードの差をストリーム毎に収集し、前記制御手段に指
示する遅延指示手段と、を具備することを特徴とする。

【００１６】ここで、時刻コード発生手段で発生させる
時刻コードは、例えば、映像ストリームと音声ストリー
ムが収録された時刻に基づいて生成され、あるいは、映
像ストリームと音声ストリームが受信手段で受信される
と想定する時刻に基づいて生成され、またここで、時刻
コード発生手段で発生させる時刻コードは、例えば、時
刻コード記録専用の音声ストリームに記録し、映像スト
リームあるいは音声ストリームと多重させて送信手段か
らネットワークに伝送させるか、あるいは、時刻コード
記録専用の映像ストリームに記録し、映像ストリームあ
るいは音声ストリームと多重させて送信手段からネット
ワークに伝送させるか、あるいは、映像データの一部と
して記録して送信手段からネットワークに伝送させる
か、あるいは、映像ストリームと音声ストリームを含む
パケットに付随してデータとして記録し、送信手段から
ネットワークに伝送させることを特徴とする。

【００１７】さらに時刻コードは、比較的正確な時計を
用いて生成され、あるいは、ＧＰＳ衛星から送信される
時刻信号に基づいて生成され、あるいは、ＩＳＤＮ等の
通信回線を介して時刻サーバと通信を行い生成されるこ
とを特徴とする。

【００１８】ここで、また、測定手段は、マトリックス
スイッチャを用いて、映像音声ストリームを切り替えて
計測することを特徴とする。

【００１９】さらに、制御手段は、その手段内の映像音
声ストリーム用バッファに単位分のダミーデータを挿入
して行うか、あるいは、受信側から送信側へ通知を行
い、映像音声ストリームの送信を一時中断して行い、映
像音声ストリームの出力時刻を遅延させることを特徴と
する。

【００２０】さらに、また、制御手段は、その手段内の
映像音声ストリーム用バッファにデータが蓄積されてい
るとき、映像音声ストリームのデータの一部を削除して
行うか、あるいは、受信側から送信側へ通知を行い、映
像音声ストリームのデータの一部を送信しないで行い、
映像音声ストリームの出力時刻を早めることを特徴とす
る。

【００２１】

【発明の実施の形態】以下本発明の実施の形態を図面に
基づいて説明する。図１は、本発明の実施の第１形態に
係るマルチストリーム出力時刻制御機能を有する２本の
映像音声ストリームを、ネットワークを介して伝送させ
るシステムであり、a 1＝a 2＝１、b 1＝b 2と定めた場
合に対応している。ここで、図１（ａ）は送信側システ
ムを、図１（ｂ）は受信側システムをそれぞれ示してい
る。

【００２２】まず、図１（ａ）に示す送信側システムの
ブロック構成図について述べる。図１（ａ）の送信側シ
ステムにおいて、時刻信号発生装置１は、ＧＰＳ衛星な
どから送信される絶対基準時刻信号を受信し、この受信
信号に含まれる時刻信号を時刻コード発生装置２に出力
する。時刻コード発生装置２は、この時刻信号を受けて
所定の時刻コードを発生する。

【００２３】この時刻コードは、時刻コード添付装置４
に入力されるとともに、時刻コード添付装置４には、映
像音声出力装置３から出力される映像データ、音声デー
タも入力される。時刻コード添付装置４では、時刻コー
ドに映像データ、音声データが添付された後、送信装置
５に入力され、その後、送信装置５からネットワーク９
に送出される。

【００２４】一方、また前記映像データ、音声データと
同期して出力されることを想定された別の映像データ、
音声データは、映像音声出力装置６から時刻コード添付
装置７に入力される。この時刻コード添付装置７には、
時刻コード発生装置２から時刻コードが入力され、この
時刻コードに映像音声出力装置６から出力される映像デ
ータ、音声データが添付された後に、送信装置８に入力
され、その後、送信装置８からネットワーク９に送出さ
れる。

【００２５】次に、受信側システムを説明する前に、時
刻コード添付装置４、７によって時刻コードに映像デー
タ、音声データを添付する機能について、図２（ａ）か
ら図２（ｄ）により述べる。図２（ａ）から図２（ｄ）
は、時刻コード添付機能を有する時刻コード添付装置
で、図２（ａ）は、時刻コード記録専用の音声ストリー
ムに記録し、映像ストリームあるいは音声ストリームと
多重させて伝送させる時刻コード添付装置である。

【００２６】図２（ａ）に示す時刻コード添付装置にお
いて、入力された時刻コードは、時刻コード音声変換装
置２４ａによって音声信号に変換されて多重化／圧縮装
置２５に入力される。多重化／圧縮装置２５では、音声
信号を他の映像信号や音声信号と多重化／圧縮させて伝
送用データとして送信装置５に送出する。時刻コード音
声変換装置２４ａでは、時刻コードを、例えばSMPTE／L
TC方式によって音声信号へ変換する。

【００２７】次に、図２（ｂ）に示す時刻コード添付装
置について述べる。図２（ｂ）において、入力された時
刻コードは、時刻コード映像変換装置２４ｂによって映
像信号に変換されて多重化／圧縮装置２５に入力され
る。多重化／圧縮装置２５では、映像信号を他の映像信
号や音声信号と多重化／圧縮させて伝送用データとして
送信装置５に送出する。時刻コード映像変換装置２４ｂ
では、時刻コードを、例えばSMPTE／VITC方式によって
映像信号へ変換する。

【００２８】次に図２（ｃ）に示す時刻コード添付装置
について述べる。図２（ｃ）において、入力された時刻
コードは、時刻コード映像書込装置２４ｃによって、例
えばSMPTE／VITC方式によって入力された映像信号に書
き込まれる。時刻コードが書き込まれた映像信号は、多
重化／圧縮装置２５に入力され、音声信号と多重化／圧
縮させて伝送用データとして送信装置５に送出される。

【００２９】最後に、図２（ｄ）に示す時刻コード添付
装置について述べる。図２（ｄ）において、入力された
音声信号と映像信号を多重化／圧縮装置２５で伝送用デ
ータとした後、その伝送用データを時刻コード伝送デー
タ書込装置２４ｄに入力して時刻コードを書き込む。時
刻コード伝送用データ書込装置２４ｄでは、時刻コード
を、例えば、圧縮方式としてMPEG(Moving Picture Expe
rts Group)規格を用いている場合、PTS(Presentation T
ime Stamp)、DTS(Decoding Time Stamp)領域へ書き込
む。

【００３０】なお、図１（ａ）に示す時刻コード添付装
置４、７によって添付される時刻コードは、受信側で同
期して出力される映像データ、音声データに対して同一
である。また、図示していないが、時刻コード発生装置
２、映像音声出力装置３、６及び時刻コード添付装置
４、７には、同一の同期用信号が入力されており、それ
らを同期して動作させる。このようにして、マルチスト
リーム出力時刻制御のための時刻コードがネットワーク
上を伝送される映像データ、音声データに含まれる形で
送信される。

【００３１】ここで、図１（ｂ）に示す受信側システム
のブロック構成図について述べる。図１（ｂ）の受信側
システムにおいて、受信装置１１、１４はネットワーク
９上に伝送されて来た映像データ、音声データを受信
し、例えば、受信装置１１によって受信された受信信号
は、遅延制御装置１２、ストリーム選択装置１３を介し
て出力される。

【００３２】また、受信装置１４によって受信された受
信信号は、遅延制御装置１５、ストリーム選択装置１３
を介して出力される。

【００３３】ここで、遅延指示装置２２は、受信装置１
１によって受信された映像データと音声データ（以下ス
トリーム「１」と称す）と、受信装置１４によって受信
された映像データと音声データ（以下ストリーム「２」
と称す）を同期させて出力させるため、まず、ストリー
ム選択装置１３から時刻コード分離装置１６へ入力され
るストリームをストリーム「１」と指示する。ストリー
ム選択装置１３は、遅延指示装置２２からの指示に従
い、時刻コード分離装置１６へストリーム「１」を出力
する。

【００３４】すると、時刻コード分離装置１６は、スト
リーム「１」から時刻コードを分離し、時刻コード読取
装置１７へ出力する。時刻コード読取装置１７は、入力
された時刻コードを読み取り、時刻コード差測定装置２
１へ送出する。

【００３５】一方、絶対基準時刻受信装置２０から受信
された絶対時刻基準信号は、時刻コード発生装置１９へ
入力される。時刻コード発生装置１９へ入力された時刻
信号は、時刻コードへ変換されて時刻コード読取装置１
８へ入力される。時刻コード読取装置１８は入力された
時刻コードを読み取り、時刻コード差測定装置２１へ送
出する。時刻コード差測定装置２１は、時刻コード読取
装置１７から入力された時刻コードと時刻コード読取装
置１８から入力された時刻コードの差分を計算し、遅延
指示装置２２へ入力する。

【００３６】遅延指示装置２２は、この差分［TD(1,y1)
-1＊TS(1,y1)］を保持しておく。次に、ストリーム選択
装置１３は、時刻コード分離装置１６へ入力されるスト
リームをストリーム「２」と指示する。ストリーム選択
装置１３は、遅延指示装置２２からの指示に従い、時刻
コード分離装置１６へストリーム「２」を出力する。時
刻コード分離装置１６は、ストリーム「２」から時刻コ
ードを分離し、時刻コード読取装置１７へ出力する。時
刻コード読取装置１７は、入力された時刻コードを読み
取り、時刻コード差測定装置２１へ送出する。

【００３７】一方、絶対基準時刻受信装置２０から受信
された絶対時刻基準信号は、時刻コード発生装置１９へ
入力される。時刻コード発生装置１９へ入力された時刻
信号は、時刻コードへ変換されて時刻コード読取装置１
８へ入力される。時刻コード読取装置１８は入力された
時刻コードを読み取り、時刻コード差測定装置２１へ送
出する。時刻コード差測定装置２１は、時刻コード読取
装置１７から入力された時刻コードと時刻コード読取装
置１８から入力された時刻コードの差分［TD(2,y2)-1＊
TS(2,y2)］を計算し、遅延指示装置２２へ入力する。

【００３８】遅延指示装置２２は、上記ストリーム
「２」の差分と前記ストリーム「１」の測定の際に保持
しておいた差分を次のように比較する。

【００３９】［TD(1,y1)-1＊TS(1,y1)］＞［TD(2,y2)-1
＊TS(2,y2)］であれば、b 1 = b 2 = TD(1,y1)-1＊TS
(1,y1)と定め、［TD(1,y1)-1＊TS(1,y1)］＜［TD(2,y2)
-1＊TS(2,y2)］であれば、b 1 = b 2 = TD(2,y2)-1＊TS
(2,y2)と定める。

【００４０】以下では、［TD(1,y1)-1＊TS(1,y1)］＞
［TD(2,y2)-1＊TS(2,y2)］であったとする。このとき、
delay(1) =［TD(1,y1)-｛1＊TS(1,y1) + b 1｝］＝ 0と
なる。

【００４１】一方、delay(2) =［｛TD(2,y2)-1＊TS(2,y
2)｝- b 2］=［TD(2,y2)-｛1＊TS(2,y2) + b 2｝］とな
り、delay(2)が「0」となら無い場合は、遅延制御装置
１５へストリーム「２」の遅延を指示し、ストリーム
「１」とストリーム「２」の出力時刻を制御する。

【００４２】ここで、例えば、遅延制御装置１５内部の
ストリーム「２」の映像音声ストリーム用バッファにダ
ミーデータを挿入し、ストリーム「２」の出力時刻を遅
らせる。あるいは、遅延制御装置１２内部のストリーム
「１」の映像音声ストリーム用バッファに十分なデータ
が蓄積されていれば、入力されるストリームデータの一
部を削除し、ストリーム「１」の出力時刻を早める。

【００４３】例えば、ストリーム「１」の時刻コード差
測定で送信側で添付した時刻コードと受信側で絶対基準
時刻受信装置２０から発生させた時刻コードの差が１４
フレームであり、ストリーム「２」の測定で送信側で添
付した時刻コードと受信側で絶対基準時刻受信装置２０
から発生させた時刻コードの差が１３フレームであった
場合、ストリーム「１」がストリーム「２」の映像音声
ストリーム用バッファにダミーデータを挿入し、ストリ
ーム「２」の出力時刻を遅らせることでストリーム
「１」とストリーム「２」の出力時刻を同期させること
ができる。

【００４４】なお、図示しないが、遅延制御装置１２、
１５、ストリーム選択装置１３、時刻コード分離装置１
６、時刻コード読取装置１７、１８、時刻コード発生装
置１９及び時刻コード差測定装置２１には、同一の同期
用信号が入力されており、同期して動作させように構成
されている。

【００４５】上記したように、遅延指示装置２２に集積
される各ストリームの時刻コードの差は、送信側システ
ムの時刻コードが、受信側システムで出力されるまでの
時間であり、各ストリームの送信側システムと受信側シ
ステムの処理時間を含めた伝送遅延時間となるため、遅
延制御装置１２、１５の遅延を制御することにより、各
ストリームを同期させて出力させることが可能となる。

【００４６】上記の本実施の第１形態のように構成する
と、各ストリームの出力時刻の「ズレ」を調整し、各ス
トリームを同期させて出力させることが可能となる。す
なわち、送信側システムにおいて、受信側で同期して出
力される映像データと音声データに対して同一である時
刻コードを時刻コード添付装置によって添付し、ネット
ワークに送出し、受信側システムにおいて、送信側シス
テムにおいて添付された時刻コードと受信側システムに
おいて絶対時刻基準信号より生成された時刻コードの差
分を計算し、各ストリームの出力時刻の「ズレ」を算出
し、各ストリームへの遅延を指示し、各ストリームの出
力時刻を制御することが可能となる。

【００４７】ここで、各ストリームの出力時刻の調整の
ための基準値として、各ストリームの送信側システムに
おいて添付された時刻コードに比べ、長時間不変とな
る。また、送信側システムにおいて添付された時刻コー
ドと受信側システムにおいて絶対時刻基準信号より生成
された時刻コードの差分を用いるため、各ストリームの
観測時間の間隔をあけた場合でも精度の高い観測が可能
となる。その結果、遅延指示装置２２は、リアルタイム
性の低い装置でも構築が可能となる。

【００４８】図３（ａ）、（ｂ）は、本発明の実施の第
２形態に係るマルチストリーム出力時刻制御機能を有す
る２本の映像音声ストリームをネットワークを介して伝
送させるシステムであり、a 1 = 1 ,a 2 = 2 ,b 1とb 2
がある定数である場合に対応している。なお、図１
（ａ）、（ｂ）に示す実施の第１形態と同一部分には、
同一符号を付して説明する。

【００４９】まず、図３（ａ）に示す送信側システムの
ブロック構成図について述べる。図３（ａ）の送信側シ
ステムにおいて、時刻コード発生装置１は、所定の時刻
コードを発生する。発生された時刻コードは、時刻コー
ド添付装置４によって映像音声出力装置３から出力され
た映像データ、音声データに添付された後、送信装置５
に入力され、遅延制御装置３１を介してネットワーク９
に送出される。

【００５０】一方、映像音声出力装置６には、別の時刻
コードが添付された映像データが蓄積されており、１／
２倍速で再生され、送信装置８に入力され、遅延制御装
置３２を介してネットワーク９に送出される。

【００５１】次に、図３（ｂ）に示す受信側システムの
ブロック構成図について述べる。図３（ｂ）の受信側シ
ステムにおいて、受信装置１１、１４は、ネットワーク
９上を伝送されて来た映像データ、音声データを受信
し、受信装置１１によって受信された受信信号は、スト
リーム選択装置１３を介してストリーム「１」として出
力され、また受信装置１４によって受信された受信信号
は、ストリーム選択装置１３を介してストリーム「２」
として出力される。

【００５２】ここで、図３（ｂ）において、遅延指示装
置２２は、受信装置１１によって受信された映像デー
タ、音声データ（ストリーム「１」）のある時点ｘ1と
受信装置１４によって受信された映像データ、音声デー
タ（ストリーム「２」）のある時点ｘ2を同時に出力さ
せ、ストリーム「２」を１／２倍速で出力させるため、
まずストリーム選択装置１３は時刻コード分離装置１６
へ入力されるストリームをストリーム「１」と指示す
る。

【００５３】これにより、ストリーム選択装置１３は、
遅延指示装置２２からの指示に従い、時刻コード分離装
置１６へストリーム「１」を出力する。時刻コード分離
装置１６は、ストリーム「１」から時刻コードを分離
し、時刻コード読取装置１７へ出力する。すると、時刻
コード読取装置１７は、入力された時刻コードTS(1,y1)
を読み取り、時刻コード差測定装置２１へ送出する。

【００５４】一方、時刻コード発生装置１９では、時刻
コードTD(1,y1)を発生させ、この時刻コードを時刻コー
ド読取装置１８へ入力する。時刻コード読取装置１８
は、入力された時刻コードを読み取り、時刻コード差測
定装置２１へ送出する。時刻コード差測定装置２１で
は、時刻コード読取装置１７から入力された時刻コード
と時刻コード読取装置１８から入力された時刻コードの
差分TD(1,y1)−［1＊TS(1,y1)］を計算し、遅延指示装
置２２へ入力する。

【００５５】遅延指示装置２２では、この差分からさら
にb 1を引いて、delay(1)を算出する。ここで、delay
(1) ＞ 0であれば、図３（ａ）に示す遅延制御装置３１
へストリーム「１」の遅延を指示し、ストリーム「１」
の出力時刻を制御する。例えば、遅延制御装置３１で、
ストリーム「１」の送信を一時中断し、ストリーム
「１」を早くする。

【００５６】また、delay(1) ＜ 0であれば、図３
（ａ）に示す遅延制御装置３１へストリーム「１」の遅
延を指示し、ストリーム「１」の出力時刻を制御する。
例えば、遅延制御装置３１で、ストリーム「１」のデー
タを一部送信せず、ストリーム「１」を遅くする。

【００５７】遅延指示装置２２では、次に、ストリーム
選択装置１３は時刻コード分離装置１６へ入力されるス
トリームをストリーム「２」と指示する。これにより、
ストリーム選択装置１３は、遅延指示装置２２からの指
示に従い、時刻コード分離装置１６へストリーム「２」
を出力する。時刻コード分離装置１６は、ストリーム
「２」から時刻コードを分離し、時刻コード読取装置１
７へ出力する。すると、時刻コード読取装置１７は、入
力された時刻コードTS(2,y2)を読み取り、時刻コード差
測定装置２１へ送出する。

【００５８】一方、時刻コード発生装置１９では、時刻
コードTD(2,y2)を発生させ、この時刻コードを時刻コー
ド読取装置１８へ入力する。時刻コード読取装置１８
は、入力された時刻コードを読み取り、時刻コード差測
定装置２１へ送出する。時刻コード差測定装置２１で
は、時刻コード読取装置１７から入力された時刻コード
と時刻コード読取装置１８から入力された時刻コードの
差分TD(2,y2)−［2＊TS(2,y2)］を計算し、遅延指示装
置２２へ入力する。

【００５９】遅延指示装置２２では、この差分からさら
にb 2(=x1+b 1-2＊x2)を引いて、delay(2)を算出する。
ここで、delay(2) ＞ 0であれば、図３（ａ）に示す遅
延制御装置３２へストリーム「２」の遅延を指示し、ス
トリーム「２」の出力時刻を制御する。例えば、遅延制
御装置３２で、ストリーム「２」の送信を一時中断し、
ストリーム「２」を早くする。

【００６０】また、delay(2) ＜ 0であれば、図３
（ａ）に示す遅延制御装置３２へストリーム「２」の遅
延を指示し、ストリーム「２」の出力時刻を制御する。
例えば、遅延制御装置３２で、ストリーム「２」のデー
タを一部送信せず、ストリーム「２」を遅くする。

【００６１】なお、図示しないが、ストリーム選択装置
１３、時刻コード分離装置１６、時刻コード読取装置１
７、１８、時刻コード発生装置１９及び時刻コード差測
定装置２１には、同一の同期用信号が入力されており、
同期して動作させように構成されている。

【００６２】上記したように、遅延指示装置２２に集積
される各ストリームの時刻コードの差から、受信装置１
１によって受信された映像データと音声データ（ストリ
ーム「１」）のある時点ｘ1と受信装置１４によって受
信された映像データと音声データ（ストリーム「２」）
のある時点ｘ2を同時に出力させ、同期させて出力させ
ることが可能となる。

【００６３】従って、本実施の第２形態によると、各ス
トリームの出力時刻を調整し、受信装置１１によって受
信された映像データと音声データ（ストリーム「１」）
のある時点ｘ1と受信装置１４によって受信された映像
データと音声データ（ストリーム「２」）のある時点ｘ
2を同時に出力させ、同期させて出力させることも可能
となる。

【００６４】すなわち、送信側システムにおいて、スト
リーム「１」に時刻コードTS(1,y1)を時刻コード添付装
置によって添付し、ネットワークに送出する。一方、受
信側システムにおいて、送信側システムにで添付された
時刻コードTD(1,y1)と受信側システムにおいて生成され
た時刻コードTS(1,y1)と予め定めたb 1の差分、delay
(1) = TD(1,y1)−［TS(1,y1)+b 1］を計算し、図３
（ａ）の遅延制御装置３１において、delay(1)=0なるよ
うにストリームの出力を調整する。

【００６５】また、ストリーム「２」に時刻コードTS
(2,y2)を時刻コード添付装置によって添付し、ネットワ
ークに送出する。一方、受信側システムにおいて、送信
側システムにで添付された時刻コードTD(2,y2)と受信側
システムにおいて生成された時刻コードTS(2,y2)と予め
定めたb 1,x1,x2からb 2 = x1+b 1-2＊x2で算出されるb
2の差分、delay(2) = TD(2,y2)−［2＊TS(2,y2)+b 2］
を計算し、delay(1)=0となるようにストリームの出力を
調整する。

【００６６】受信装置１１によって受信された映像デー
タ、音声データ（ストリーム「１」）のある時点x1と受
信装置１４によって受信された映像データ、音声データ
（ストリーム「２」）のある時点x2を同時に出力させ、
ストリーム「２」を１／２倍速で出力させることが可能
となる。

【００６７】ここで、各ストリームの出力時刻の調整の
ための基準値として、各ストリームの送信側システムに
おいて添付された時刻コードに比べ、長時間不変とな
る。送信側システムにおいて添付された時刻コードと受
信側システムにおいて生成された時刻コードの差分を用
いるため、各ストリームの観測時刻の間隔をあけた場合
でも精度の高い観測が可能となる。さらに、その結果、
遅延指示装置２２は、リアルタイム性の低い装置でも構
築可能となる。

【００６８】図４は、本発明の実施の形態における送信
側システムと受信側システムの具体的な構成例を示す構
成説明図で、図４において、ビデオサーバ４１は図１
（ａ）の送信側システムにおける、時刻コード添付装置
４、７によって時刻コードが添付された映像ストリーム
と音声ストリームを蓄積し、送信装置５、８を備えてい
る。ビデオサーバ４１からはパケット化された映像デー
タがインターネットを介して遅延制御機能付デコーダ４
２に伝送される。

【００６９】遅延制御機能付デコーダ４２は、図１
（ｂ）に示した受信側システムにおける、受信装置１１
と遅延制御装置１２、あるいは受信装置１４と遅延制御
装置１５を備えている。また、映像信号自動切換え装置
４３は、ストリーム選択装置１３に相当し、この映像信
号自動切換え装置４３には、遅延制御機能付デコーダ４
２からの信号が入力される。

【００７０】さらに、映像タイムコード読み出し装置４
４は、時刻コード分離装置１６と時刻コード読取装置１
７に相当し、この読み出し装置４４には、映像信号自動
切換え装置４３からの出力信号が供給され。この映像タ
イムコード読み出し装置４４で読み出された映像基準信
号は、遅延制御機能付デコーダ４２に供給される。

【００７１】さらにまた、遅延差制御装置４５は、時刻
コード読取装置１８、時刻コード発生装置１９、絶対基
準時刻受信装置２０、時刻コード差測定装置２１、遅延
指示装置２２を含み、ＩＳＤＮ回線を介して、絶対基準
時刻サーバ４６から絶対基準時刻を取得し、時刻コード
を発生させるとともに、遅延補正コマンドを遅延制御機
能付デコーダ４２に供給する。４７はディスプレイであ
る。

【００７２】なお、上記構成において、送信側システム
と受信側システムの時刻コード発生装置２、１９への絶
対基準時刻信号の入力は、例えば、ＧＰＳ受信装置やＩ
ＳＤＮ回線を用いて絶対基準時刻サーバから絶対基準時
刻を取得してもよい。その他、本発明は、その趣旨に反
しない範囲で種々変更して実施することが可能である。

【００７３】

【発明の効果】以上述べたように、本発明によれば、イ
ンターネット等のネットワークを介した映像や音声のス
トリーム伝送において、複数のストリームを同期させて
表示させることができ、かつこのような複数のストリー
ムを同期させて表示させる機能を付加したマルチストリ
ーム出力時刻制御が可能となる等の種々の優れた効果が
得られる。

【図面の簡単な説明】

【図１】本発明の実施の第１形態に係るマルチストリー
ム出力時刻制御機能を有する２本の映像音声ストリーム
をネットワークを介して伝送させるシステムであり、図
１（ａ）は送信側システムを、図１（ｂ）は受信側シス
テムを示すブロック構成図。

【図２】時刻コード添付装置による時刻コードに映像デ
ータ、音声データを添付する機能を述べる説明図。

【図３】本発明の実施の第２形態に係るマルチストリー
ム出力時刻制御機能を有する２本の映像音声ストリーム
をネットワークを介して伝送させるシステムであり、図
２（ａ）は送信側システムを、図２（ｂ）は受信側シス
テムを示すブロック構成図。

【図４】本発明の実施の形態における送信側システムと
受信側システムの具体的な構成例を示す構成説明図。

【符号の説明】

１…時刻信号発生装置 ２、１９…時刻コード発生装置 ３、６…映像音声出力装置 ４、７…時刻コード添付装置 ５、８…送信装置 ９…ネットワーク １１、１４…受信装置 １２、１５…遅延制御装置 １３…ストリーム選択装置 １６…時刻コード分離装置 １７、１８…時刻コード読取装置 ２０…絶対基準時刻受信装置 ２１…時刻コード差測定装置 ２２…遅延指示装置

───────────────────────────────────────────────────── フロントページの続き (72)発明者 新井 健一 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 Ｆターム(参考） 5C063 AB03 AB07 AB09 AC01 AC10 CA11 CA16 DA07 DA13 5K028 CC02 EE08 KK01 KK03 KK12 MM07 NN02 SS05 SS15

Claims (19)

【特許請求の範囲】
1. 【請求項１】 ｎ本（ｎは１以上の任意の整数）の映像
   音声ストリームSt 1,St 2,…St nをネットワークを介し
   て伝送させるシステムにおいて、 送信側で発生させた時刻コードTS(k,t k),TS(k,t k+1),
   TS(k,t k+2),…を映像音声ストリームSt kに乗せて伝送
   し（kは1からnまでの整数）、 受信側で時刻コードを発生させ、 映像音声ストリームSt kの時刻コードTS(k,t k)が添付
   された部分の受信側での出力時刻をTD(k,t k)と表現し
   たとき、 TD(k,t k) = a k＊TS(k,t k) + b k とさせる［a k,b k］の組を定め、 delay(k) = TD(k,t k) - ［a k＊TS(k,t k) + b k］ を計測し、 delay(k)＞0 であれば、映像音声ストリームSt kの出力時刻を早め、 delay(k)＜0 であれば、映像音声ストリームSt kの出力時刻を遅ら
   せ、 TD(k,t k) = a k＊TS(k,t k) + b k とさせることを特徴とするマルチストリーム出力時刻制
   御方法。
2. 【請求項２】 前記 b kを全ての kについてdelay(k)≦
   0となるように定めることを特徴とする請求項１記載の
   マルチストリーム出力時刻制御方法。
3. 【請求項３】 前記送信側で発生させた時刻コードを、
   映像音声ストリームが収録された時刻に、または映像音
   声ストリームが受信側で出力されると想定する時刻に基
   づいて生成することを特徴とする請求項１記載のマルチ
   ストリーム出力時刻制御方法。
4. 【請求項４】 前記送信側で発生させた時刻コードを、
   時刻コード記録専用の音声または映像ストリームに記録
   し、映像音声ストリームと多重させて伝送させることを
   特徴とする請求項１記載のマルチストリーム出力時刻制
   御方法。
5. 【請求項５】 前記送信側で発生させた時刻コードを、
   映像データの一部として記録して伝送させるか、または
   映像音声ストリームを含む伝送用データに付随するデー
   タとして記録し伝送させることを特徴とする請求項１記
   載のマルチストリーム出力時刻制御方法。
6. 【請求項６】 前記時刻コードを、ＧＰＳ衛星から送信
   される時刻信号に基づいて、または通信回線を介して時
   刻サーバと通信を行い生成することを特徴とする請求項
   １記載のマルチストリーム出力時刻制御方法。
7. 【請求項７】 前記delay(k) = TD(k,t k) - ［a k＊TS
   (k,t k) + b k］の計測は、マトリックススイッチャを
   用いて、映像音声ストリームStk(k=1,…,n)を切り替え
   て計測することを特徴とする請求項１記載のマルチスト
   リーム出力時刻制御方法。
8. 【請求項８】 前記映像音声ストリームStk(k=1,…,n)
   の出力時刻を遅らせるとき、受信側に設けられた映像音
   声ストリーム用バッファにダミーデータを挿入、または
   受信側から送信側へ通知を行い、映像音声ストリームSt
   kの送信を一時中断することを特徴とする請求項１記載
   のマルチストリーム出力時刻制御方法。
9. 【請求項９】 前記映像音声ストリームStk(k=1,…,n)
   の出力時刻を早めるとき、受信側で映像音声ストリーム
   Stkのデータの一部を削除するか、または受信側から送
   信側へ通知を行い、映像音声ストリームStkのデータの
   一部を送信しないことを特徴とする請求項１記載のマル
   チストリーム出力時刻制御方法。
10. 【請求項１０】 ｎ本（ｎは１以上の任意の整数）の映
    像音声ストリームSt 1,St 2,…St nをネットワークを介
    して伝送させるシステムにおいて、 時刻信号を受けて時刻コードを発生する時刻コード発生
    手段と、 映像音声ストリームに前記時刻コードを添付する時刻コ
    ード添付手段と、 時刻コードが添付された映像音声ストリームをネットワ
    ークに送信する送信手段と、 ネットワークから映像音声ストリームを受信する受信手
    段と、 前記受信手段により受信された映像音声ストリームから
    時刻コードの情報を分離する分離手段と、 前記分離手段により分離された時刻コードの情報を読み
    取る読取手段と、 前記分離手段に送る映像音声ストリームを選択する選択
    手段と、 前記読取手段により読み取られた時刻コードと受信側で
    発生された時刻コードを比較する測定手段と、 各ストリームの出力時刻を制御する制御手段と、 前記測定手段によって測定された時刻コードと受信側で
    発生された時刻コードの差をストリーム毎に収集し、前
    記制御手段に指示する遅延指示手段と、を具備すること
    を特徴とするマルチストリーム出力時刻制御装置。
11. 【請求項１１】 前記時刻コード発生手段で発生させる
    時刻コードを、映像音声ストリームが収録された時刻
    に、または映像音声ストリームが受信手段で受信される
    と想定する時刻に基づいて生成することを特徴とする請
    求項１０記載のマルチストリーム出力時刻制御装置。
12. 【請求項１２】 前記時刻コード発生手段で発生させる
    時刻コードを、時刻コード記録専用の音声または映像ス
    トリームに記録し、映像音声ストリームと多重させて送
    信手段からネットワークに伝送させることを特徴とする
    請求項１０記載のマルチストリーム出力時刻制御装置。
13. 【請求項１３】 前記時刻コード発生手段で発生させる
    時刻コードを、映像データの一部として記録して送信手
    段からネットワークに伝送させるか、または映像音声ス
    トリームを含む伝送用データに付随してデータとして記
    録し、送信手段からネットワークに伝送させることを特
    徴とする請求項１０記載のマルチストリーム出力時刻制
    御装置。
14. 【請求項１４】 前記時刻コード発生手段で発生させる
    時刻コードを、ＧＰＳ衛星から送信される時刻信号に基
    づいて、または通信回線を介して時刻サーバと通信を行
    い生成することを特徴とする請求項１０記載のマルチス
    トリーム出力時刻制御装置。
15. 【請求項１５】 前記測定手段は、マトリックススイッ
    チャを用いて、映像音声ストリームを切り替えて計測す
    ることを特徴とする請求項１０記載のマルチストリーム
    出力時刻制御装置。
16. 【請求項１６】 前記制御手段は、その手段内の映像音
    声ストリーム用バッファにダミーデータを挿入して映像
    音声ストリームの出力時刻を遅延させることを特徴とす
    る請求項１０記載のマルチストリーム出力時刻制御装
    置。
17. 【請求項１７】 前記制御手段は、その手段内の映像音
    声ストリーム用バッファにデータが蓄積されていると
    き、映像音声ストリームのデータの一部を削除し、映像
    音声ストリームの出力時刻を早めることを特徴とする請
    求項１０記載のマルチストリーム出力時刻制御装置。
18. 【請求項１８】 前記制御手段は、映像音声ストリーム
    の出力時刻を遅らせるとき、受信側から送信側へ通知を
    行い、映像音声ストリームの送信を一時中断することを
    特徴とする請求項１０記載のマルチストリーム出力時刻
    制御装置。
19. 【請求項１９】 前記制御手段は、映像音声ストリーム
    の出力時刻を早めるとき、受信側から送信側へ通知を行
    い、映像音声ストリームのデータの一部を送信しないこ
    とを特徴とする請求項１０記載のマルチストリーム出力
    時刻制御装置。