JP2010183448A - ストリーム信号伝送装置及び伝送方法 - Google Patents

Abstract

【課題】ネットワーク・ジッタ等の速い変化の伝送遅延変動を高精度に解消して、かつ複数のストリームを同期させることができるストリーム信号伝送装置を提供する。
【解決手段】ネットワーク９から時刻コードが添付された映像音声ストリームＳＴ１、ＳＴ２を受信する受信装置１１、１４と、受信されたストリーム信号から時刻コードを抽出する時刻コード分離装置１６、１１６及び時刻コード読取装置１７、１１７と、抽出された時刻コードが表す時刻に所定の固定遅延を加算して出力時刻を決めるとともに、受信されたストリーム信号をその出力時刻まで保持した後、出力する遅延制御装置１３０、１３６とを備えている。
【選択図】図２

Description

本発明は、ネットワークを介して映像や音声をストリーム伝送する際に用いて好適なストリーム信号伝送装置及び伝送方法に関する。

近年、通信技術の目覚しい発展によりＩＰ（Internet Protocol）網などのネットワークを介した映像や音声のストリーム伝送が可能となっている。ＩＰ網などのネットワークを介した映像や音声のストリーム伝送では、映像ストリームと音声ストリームの伝送を、テレビジョン放送比べ、低コストで実現可能である。

しかしながら、ネットワークを介した映像や音声のストリーム伝送の場合は、使用する帯域やネットワークの輻輳状況やネットワークの経路差によって送信側から受信側までの伝送時間が大きく異なり、またネットワーク・ジッタなどによって伝送時間も変動する。これらの伝送時間の変動によって、送信側において、複数ストリームを同期させて送信させる場合でも、受信側で複数ストリームを同期させて出力させることはできない。

また、ネットワーク伝送において、１つのプログラムに対して複数ストリームを伝送する場合と、１つのプログラムから２つのストリームを生成して冗長回線で伝送する場合には、受信側で複数ストリームの同期を合わせる機能が必要である。前者は、例えば１つの被写体を複数カメラによって撮影した映像の伝送であり、全てのストリームのネットワーク伝送時間が同じでないと、受信側でストリームの切り替えを行った場合に時間的な違和感が生じてしまう。後者は、１つのプログラムから冗長回線でネットワーク伝送を行い、受信側で２つのストリームの現用／予備切り替える動作の場合などであり、２つのストリームの遅延時間が等しく同期していないと切り替え時にストリームに不連続が生じることになる。

この問題を解決するために、ネットワークを介した映像や音声などの複数ストリームの伝送遅延を調整する機能が必要とされている。このため、送信側において複数ストリームに時刻コードを添付してネットワークに送出して、受信側において時刻コードを用いて各ストリームの遅延を調整して、複数ストリームを同期させるものがある（例えば、特許文献１を参照）。

特開２００２−３６９１６３号公報

ここで図９を参照して特許文献１に記載されている、関連する技術の技術的課題について説明する。図９は、受信側システムの構成を示すブロック図である。図９のネットワーク９には図示していない送信側システムが接続されている。その送信側システムでは、伝送する複数の映像データと音声データに時刻コードが添付され、複数の（この場合２つの）映像音声ストリームとしてネットワーク９に送出される。ネットワーク９上に伝送された各映像音声ストリームは、受信装置１１、１４によってそれぞれ受信される。これらの受信装置１１、１４で受信された映像音声ストリームは、遅延制御装置１２、１５、ストリーム選択装置１３を介してストリーム「１」、「２」として出力される。これらのストリーム「１」、「２」に添付された時刻コードは、時刻コード分離装置１６と時刻コード読取装置１７によって読み取られて、時刻コード差測定装置２１へ入力される。一方、絶対基準時刻受信装置２０、時刻コード発生装置１９及び時刻コード読取装置１８を用いて受信側において生成された時刻コードも、時刻コード差読取装置２１へ入力される。このストリームに添付された時刻コードと受信側で生成された時刻コードとの差が一定になるように、遅延指示装置２２によって遅延制御装置１２、１５の遅延量が制御される。これによってストリーム「１」、「２」を同期させることができる。

しかしながら、このような構成の遅延調整制御は、遅延制御装置１２、１５から出力されたストリーム「１」、「２」に添付された時刻コードと、受信側において生成された時刻コードとの差分が測定され、遅延制御装置１２、１５の出力に基づいて測定された遅延差に応じて遅延制御装置１２、１５の遅延量が調節されるというフィードバック制御で行われている。このフィードバック制御の場合、現在の遅延差とは異なるデータが入力されたときに、その差分に基づいて次回の補正のための遅延量が設定されるという動きになる。したがって、少なくとも現在と異なる遅延差の受信データは遅延補正されないまま出力される。このように、上述の構成での遅延制御は、ネットワーク・ジッタ等の速い変化の伝送遅延変動には追従できない問題があった。

本発明は、上記の事情を考慮してなされたものであり、ネットワーク・ジッタ等の速い変化の伝送遅延変動を高精度に解消して、かつ複数のストリームを同期させることができるストリーム信号伝送装置及び伝送方法を提供することを課題とする。

上記目的を達成するために、本発明は、ネットワークから時刻コードが添付されたストリーム信号を受信する受信手段と、前記受信手段によって受信されたストリーム信号から時刻コードを抽出する抽出手段と、前記抽出手段によって抽出された時刻コードが表す時刻に所定の固定遅延を加算して出力時刻を決めるとともに、前記受信手段によって受信されたストリーム信号をその出力時刻まで保持した後、出力する遅延制御手段とを具備することを特徴とするストリーム信号伝送装置である。

また本発明は、ネットワークから時刻コードが添付されたストリーム信号を受信する受信過程と、前記受信過程で受信されたストリーム信号から時刻コードを抽出する抽出過程と、前記抽出過程で抽出された時刻コードが表す時刻に所定の固定遅延を加算して出力時刻を決めるとともに、前記受信過程で受信されたストリーム信号をその出力時刻まで保持した後、出力する遅延制御過程とを含むことを特徴とするストリーム信号伝送方法である。

本発明によれば、受信したストリーム信号に添付された時刻コードが表す時刻に所定の固定遅延を加算して出力時刻を決めるとともに、受信したストリーム信号をその出力時刻まで保持した後、出力する遅延制御手段を備えたので、固定遅延内の伝送時間の変動を吸収するとともに、出力時刻を固定遅延の設定値一定として、ネットワーク・ジッタ等の速い変化の伝送遅延変動を高精度に解消して、かつ複数のストリームを同期させることができる。

本発明の第１の実施形態の送信側の構成を示すブロック図である。 本発明の第１の実施形態の受信側の構成を示すブロック図である。 本発明の第２の実施形態の送信側の構成を示すブロック図である。 本発明の第２の実施形態の受信側の構成を示すブロック図である。 本発明の第１の実施形態を用いたシステム構成例を示すブロック図である。 本発明の第２の実施の形態を用いたシステム構成例を示すブロック図である。 本発明の第１の実施形態又は第２の実施形態を用いたシステム構成例を示すブロック図である。 本発明の第１の実施形態又は第２の実施形態を用いたシステム構成例を示すブロック図である。 本発明の背景技術を説明するために用いたストリーム信号伝送装置の構成例を示すブロック図である。

［第１の実施形態］
本発明の実施の形態を図面に基づいて説明する。本発明の第１の実施の形態のストリーム信号伝送装置を図１及び図２に示す。本発明の第１の実施の形態のストリーム信号伝送装置は、図１に示す送信側システム−Ａ５００と、図２に示す受信側システム−Ａ６００と、図１及び図２に示すネットワーク９とから構成されている。ただし、本発明の態様は、受信側システム−Ａ６００のみから構成されるものとしてとらえることも、送信側システム−Ａ５００と受信側システム−Ａ６００とから構成されるものとしてとらえることも、送信側システム−Ａ５００や受信側システム−Ａ６００を１又は複数組備えることで構成されるものとしてとらえることも可能である。なお、本実施形態は、ＣＰＵ（中央処理装置）とプログラムとによるソフトウェア制御を一部又は全部に用いる構成としたり、アナログやデジタルの各種回路等を一部又は全部に用いる構成としたりすることができる。

まず、図１に示す送信システム−Ａ５００のブロック構成図について述べる。図１の送信システム−Ａ５００は、時刻信号発生装置１、時刻コード発生装置２、映像音声出力装置３及び６、時刻コード添付装置４及び７並びに送信装置５及び８から構成されている。図１に示す送信システム−Ａ５００は、映像音声出力装置３及び６、時刻コード添付装置４及び７並びに送信装置５及び８を２組分備えることで、２つの映像音声ストリームＳＴ１及びＳＴ２をネットワーク９へ出力する。ただし、これらの構成を３以上の複数組み備えることで、３つ以上の映像音声ストリームＳＴｉ（ｉ＝１、２、…、ｎ）を出力できるような構成とすることもできる。ここでｉはストリームの番号、ｎは複数ストリームの合計数を表す自然数である。

なお、映像音声ストリームＳＴｉは、時系列の複数の映像・音声データから構成されるものであり、時系列の各データはＳＴ（ｉ，ｋ）と表されるものとする。ここで、ｋは時系列の複数の映像・音声データからなる映像・音声データ列の各データの順番を示す変数である。またｉは上記と同様にストリームの番号を表す変数である。以下、変数ｉと変数ｋは、各データの番号とストリームデータの番号として用いるものとする。

図１の送信システム−Ａ５００において、時刻信号発生装置１は、ＧＰＳ（Global Positioning System）衛星などから送信される絶対基準時刻信号やネットワーク時刻同期システムのサーバなどからの時刻信号を受信し、この受信信号に含まれる時刻信号を時刻コード発生装置２に出力する。時刻コード発生装置２は、この時刻信号を受けて所定の時刻コードＴＳ（ｉ，ｋ）を発生する。時刻コードＴＳ（ｉ，ｋ）は、時刻を表す所定の形式のデータである。図１に示す例では、時刻コード発生装置２が、同一内容の２つの時刻コードＴＳ（１，ｋ）とＴＳ（２，ｋ）を発生する。

この時刻コードＴＳ（１，ｋ）は時刻コード添付装置４に入力され、時刻コードＴＳ（２，ｋ）は時刻コード添付装置７に入力される。時刻コード添付装置４には映像音声出力装置３から出力される映像データや音声データも入力される。映像音声出力装置３は、例えば図示していない所定の装置あるいは通信回線を介して映像・音声データ信号を入力したり、あるいは所定の記録媒体から読み出したりすることで、それに基づき映像データと音声データを出力する。時刻コード添付装置４では、時刻コードＴＳ（１，ｋ）に映像音声出力装置３から出力された映像音声データが添付された後（あるいは映像音声出力装置３から出力された映像音声データに時刻コードＴＳ（１，ｋ）が添付された後）、送信装置５に出力され、その後、送信装置５から映像音声ストリームＳＴ１としてネットワーク９に出力される。

一方、また映像音声出力装置３から出力された映像データ、音声データと同期して出力されることが想定された別の映像データ、音声データは、映像音声出力装置３と同様に構成された映像音声出力装置６から出力され、時刻コード添付装置７に入力される。時刻コード添付装置７には、時刻コード発生装置２から時刻コードＴＳ（２，ｋ）が入力される。時刻コード添付装置７では、この時刻コードＴＳ（２，ｋ）に映像音声出力装置６から出力される映像音声データが添付された後に（あるいは映像音声データに時刻コードＴＳ（２，ｋ）が添付された後に）、送信装置８に出力され、その後、送信装置８から映像音声ストリームＳＴ２としてネットワーク９に出力される。

次に、図２に示す受信システム−Ａ６００のブロック構成図について述べる。図２の受信システム−Ａ６００は、受信装置１１及び１４、時刻コード分離装置１６及び１１６、時刻コード読取装置１７及び１１７、遅延制御装置１３０及び１３６、固定遅延指示装置１３５及び１４１、時刻コード読取装置１８、時刻コード発生装置１９並びに絶対基準時刻受信装置２０から構成されている。図２に示す受信システム−Ａ６００は、受信装置１１及び１４、時刻コード分離装置１６及び１１６、時刻コード読取装置１７及び１１７、遅延制御装置１３０及び１３６並びに固定遅延指示装置１３５及び１４１を２組分備えることで、２つの映像音声ストリームＳＴ１及びＳＴ２をネットワーク９から受信して、２つのストリーム「１」及び「２」を出力する。

本実施形態において、受信システム−Ａ６００は、図１の送信側システム−Ａ５００から送信された２つの映像音声ストリームＳＴ１及びＳＴ２をネットワーク９を介して受信する。この映像音声ストリームＳＴ１及びＳＴ２を構成する各データＳＴ（１，ｋ）及びＳＴ（２，ｋ）には、時刻コードＴＳ（１，ｋ）及び時刻コードＴＳ（２，ｋ）が添付され（あるいは含まれ）ている。受信システム−Ａ６００は、受信した映像音声ストリームＳＴ１及びＳＴ２に、あらかじめ設定された固定遅延を与えた上で同期をとり、ストリーム「１」及び「２」として出力する。ただし、２つのストリームＳＴ１及びＳＴ２に対応させて設けられている構成を３以上の複数組み備えることで、３つ以上の映像音声ストリームＳＴ１、ＳＴ２、…、ＳＴｎを受信して、ストリーム「１」、「２」、…、「ｎ」を出力できるような構成とすることもできる。

上述したように、図２の受信システム−Ａ６００において、受信装置１１、１４はネットワーク９上に伝送された映像音声ストリームＳＴ１、ＳＴ２を受信する。そして、受信装置１１によって受信された映像音声ストリームＳＴ１は、遅延制御装置１３０によって遅延量が調整された後、ストリーム「１」として出力される。また、受信装置１４によって受信された映像音声ストリームＳＴ２は、遅延制御装置１３６によって遅延量が調整された後、ストリーム「２」として出力される。

一方、絶対基準時刻受信装置２０は、ＧＰＳ衛星などから送信される絶対基準時刻信号やネットワーク時刻同期システムのサーバなどから受信した時刻信号に基づいて基準となる時刻信号を発生する。この絶対基準時刻受信装置２０から出力された絶対基準時刻信号は、時刻コード発生装置１９へ入力される。時刻コード発生装置１９へ入力された時刻信号は、時刻コードへ変換されて時刻コード読取装置１８へ入力される。時刻コード読取装置１８は入力された時刻コードを読み取り、遅延制御装置１３０、１３６へ送出する。

図２の受信システム−Ａ６００において、受信装置１１の出力は、時刻コード分離装置１６に入力される。時刻コード分離装置１６は、受信した映像音声ストリームＳＴ１から時刻コードＴＳ（１，ｋ）を分離し、時刻コード読取装置１７へ出力する。時刻コード読取装置１７は、入力された時刻コードＴＳ（１，ｋ）を読み取り、遅延制御装置１３０へ送出する。

また、固定遅延指示装置１３５は、遅延制御装置１３０へ所定の固定遅延量ｃｏｎｓｔ（１）を送出する。 固定遅延量ｃｏｎｓｔ（１）は、ストリーム「１」の各データの出力時刻をＴＤ（１，ｋ）で表した場合に、出力時刻ＴＤ（１，ｋ）と時刻コードＴＳ（１，ｋ）の差分に相当する時間、すなわちＴＤ（１，ｋ）＝ＴＳ（１，ｋ）＋ｃｏｎｓｔ（１）の関係を与える時間に相当するデータである。本実施形態の受信側システム−Ａ６００から出力されるストリーム「１」の各データの出力時刻ＴＤ（１，ｋ）が、入力される映像音声ストリームＳＴ１の各データＳＴ（１，ｋ）の時刻コードＴＳ（１，ｋ）に固定遅延量ｃｏｎｓｔ（１）を加算した値となるように遅延制御装置１３０によって制御される。すなわち、遅延制御装置１３０によって、受信した映像音声ストリームＳＴ１の各データが出力時刻ＴＤ（１，ｋ）まで保持され、その出力時刻ＴＤ（１，ｋ）まで保持された映像音声ストリームＳＴ１の各データがストリーム「１」として出力されるように遅延制御が行われる。この固定遅延量ｃｏｎｓｔ（１）は、複数ストリーム「１」、「２」、…のストリーム間の遅延差を遅延制御装置１３０によって調整するための調整しろとなる時間であり、ネットワーク９の伝送時間や遅延差などを考慮して設定される。なお、複数ストリームの各ストリームの番号をｉとした場合、固定遅延量はｃｏｎｓｔ（ｉ）、出力時刻はＴＤ（ｉ，ｋ）（ｉ＝１、２、…、ｎ）で表すことができる。

また、遅延制御装置１３０は、受信時刻検出部１３１、遅延指示部１３２、遅延吸収バッファ１３３及び出力制御部１３４から構成されている。受信時刻検出部１３１は、時刻コード読取装置１８から送出された時刻コードに基づき、受信装置１１が受信データＳＴ（１，ｋ）を受信した時刻Ｒｔ（１，ｋ）を検出して、出力する。ここで、受信時刻ＲｔはＲｔ（ｉ，ｋ）として一般化して表すことができるものとする。出力制御部１３４は、受信データＳＴ（１，ｋ）から時刻コード読取装置１７によって得た時刻コードＴＳ（１，ｋ）に固定遅延指示装置１３５から指示される固定遅延量ｃｏｎｓｔ（１）を加算して出力時刻ＴＤ（１，ｋ）を決める。

遅延指示部１３２は、受信データＳＴ（１，ｋ）の出力時刻ＴＤ（１，ｋ）と受信時刻Ｒｔ（１，ｋ）の差分を算出してそれが遅延時間（すなわち保持時間）となるように、遅延吸収バッファ１３３への受信データＳＴ（１，ｋ）の格納位置を指示する。遅延吸収バッファ１３３は、例えば所定のクロック信号に応じて複数ビット単位で格納情報をシフトする複数段のレジスタからなるシフトレジスタから構成されている。この場合、遅延指示部１３２によって、各受信データＳＴ（１，ｋ）を遅延吸収バッファ１３３における複数段のレジスタのうちのどのレジスタに格納するかが制御される。また、出力制御部１３４は、遅延吸収バッファ１３３に格納された受信データＳＴ（１，ｋ）の出力時刻ＴＤ（１，ｋ）を検出して、出力時刻ＴＤ（１，ｋ）が到来した受信データＳＴ（１，ｋ）をストリーム「１」に出力する。すなわち、出力制御部１３４によって、格納された受信データＳＴ（１，ｋ）が、複数段のレジスタのうちの所定のレジスタから出力時刻ＴＤ（１，ｋ）で取り出されて、ストリーム「１」として出力される。この場合に遅延吸収バッファ１３３における各受信データＳＴ（１，ｋ）の遅延時間（すなわち保持時間）をＢｕｆｆ＿ＰＴ（１，ｋ）として表すこととする。ただし、この遅延時間を一般化して表す式はＢｕｆｆ＿ＰＴ（ｉ，ｋ）である。

なお、遅延吸収バッファ１３３の構成は上記に限らず、例えば各映像音声データＳＴ（ｉ，ｋ）を格納するためのメモリと、遅延時間やそのメモリへの格納位置を設定するためのテーブルなどを用いたソフトウェア制御による構成とすることなどが可能である。

また、同様に受信装置１４の出力は、時刻コード分離装置１１６に入力される。時刻コード分離装置１１６は、映像音声ストリームＳＴ２から時刻コードＴＳ（２，ｋ）を分離し、時刻コード読取装置１１７へ出力する。時刻コード読取装置１１７は、入力された時刻コードＴＳ（２，ｋ）を読み取り、遅延制御装置１３６へ送出する。固定遅延指示装置１４１は、遅延制御装置１３６へ固定遅延量ｃｏｎｓｔ（２）を送出する。固定遅延量ｃｏｎｓｔ（２）は、固定遅延量ｃｏｎｓｔ（１）と同様のデータであり、ストリーム「２」の各データＳＴ（２，ｋ）の出力時刻をＴＤ（２，ｋ）で表した場合に、出力時刻ＴＤ（２，ｋ）と時刻コードＴＳ（２，ｋ）の差分に相当する時間、すなわちＴＤ（２，ｋ）＝ＴＳ（２，ｋ）＋ｃｏｎｓｔ（２）の関係を与える時間に相当するデータである。出力されるストリーム「２」の各データの出力時刻ＴＤ（２，ｋ）が、入力される映像音声ストリームＳＴ２の各データＳＴ（２，ｋ）の時刻コードＴＳ（２，ｋ）に固定遅延量ｃｏｎｓｔ（２）を加算した値となるように制御される。

なお、なお、映像音声ストリームＳＴ１、ＳＴ２に対応するストリーム「１」、「２」を同期させて出力する場合には、ｃｏｎｓｔ（１）とｃｏｎｓｔ（２）は等しい値に設定される。すなわち、各ストリームＳＴ１、ＳＴ２におけるｋ番目のデータＳＴ（１，ｋ）、ＳＴ（２，ｋ）に添付された時刻コードＴＳ（１，ｋ）、ＴＳ（２，ｋ）がＴＳ（１，ｋ）＝ＴＳ（２，ｋ）であるとすると、ｃｏｎｓｔ（１）＝ｃｏｎｓｔ（２）に設定した場合、出力ストリーム「１」及び「２」の出力時刻ＴＤ（１，ｋ）及びＴＤ（２，ｋ）は、ＴＤ（１，ｋ）＝ＴＤ（２，ｋ）となる。

また、遅延制御装置１３６は、遅延制御装置１３０と同様に、受信時刻検出部１３７、遅延指示部１３８、遅延吸収バッファ１３９及び出力制御部１４０から構成されている。受信時刻検出部１３７は、時刻コード読取装置１８から送出された時刻コードに基づき、受信装置１４が受信データＳＴ（２，ｋ）を受信した時刻を検出して、検出した受信時刻を信号Ｒｔ（２，ｋ）として出力する。出力制御部１４０は、受信データＳＴ（２，ｋ）から時刻コード読取装置１１７によって得た時刻コードＴＳ（２，ｋ）に固定遅延指示装置１４１から指示される固定遅延量ｃｏｎｓｔ（２）を加算して出力時刻ＴＤ（２，ｋ）を決める。

遅延指示部１３８は、受信データＳＴ（２，ｋ）の出力時刻ＴＤ（２，ｋ）と受信時刻Ｒｔ（２，ｋ）の差分を算出して遅延吸収バッファ１３９への受信データＳＴ（２，ｋ）の格納位置を指示する。遅延吸収バッファ１３９は、例えば所定のクロック信号に応じて複数ビット単位で格納情報をシフトする複数段のレジスタからなるシフトレジスタから構成されている。この場合、遅延指示部１３８によって各受信データＳＴ（２，ｋ）を複数段のレジスタのうちのどのレジスタに格納するかが制御される。また、出力制御部１４０は、遅延吸収バッファ１３９に格納された受信データＳＴ（２，ｋ）の出力時刻ＴＤ（２，ｋ）の到来を検出して、受信データＳＴ（２，ｋ）をストリーム「２」に出力する。すなわち、出力制御部１４０によって、格納された受信データＳＴ（２，ｋ）が、複数段のレジスタのうちの所定のレジスタから出力時刻ＴＤ（２，ｋ）で取り出されて、ストリーム「２」として出力される。この場合に遅延吸収バッファ１３９における各受信データＳＴ（２，ｋ）の遅延時間をＢｕｆｆ＿ＰＴ（２，ｋ）として表すこととする。

なお、図１に示す時刻コード添付装置４、７によって添付される時刻コードＴＳ（１，ｋ）、ＴＳ（２，ｋ）は、受信側で同期して出力されるストリーム「１」、「２」すなわち、映像音声ストリームＳＴ１、ＳＴ２の各映像データ、音声データに対して同一の値を有するように設定されている。また、図示していないが、時刻コード分離装置１６、１１６、時刻コード読取装置１７、１１７、時刻コード読取装置１８、時刻コード発生装置１９、遅延制御装置１３０、１３６、受信時刻検出部１３１、１３７、遅延指示部１３２、１３８及び出力制御部１３４、１４０には、同一の同期信号が入力されており、同期して動作させるように構成されている。

上記のように、本実施形態では、送信側システム−Ａ５００で時刻コードＴＳ（ｉ，ｋ）を添付したストリームＳＴｉをネットワーク９を介して伝送し、受信側システム−Ａ６００の時刻を基準にして固定遅延ｃｏｎｓｔ（ｉ）を加算した時刻に出力する遅延制御を行う。受信システム−Ａ６００に与える固定遅延の時間は、各ストリームの送信システム−Ａ５００と受信システム−Ａ６００のジッタ等のゆらぎ吸収バッファの処理時間を含めた伝送遅延時間になる。このため、ジッタ等の急な遅延変動がネットワークに生じたとしても、各ストリームを同期させて出力することが可能となる。

また、本発明は各ストリームの遅延を測定して、その遅延差を排除する方式ではなく、各ストリームは独立して遅延調整を行う方式なので、複数ストリームでの基準（マスタ）の選定や、意常時のマスタ／スレーブ切替えのなどの機能が不要となり安定性が得られる利点がある。

なお、本実施形態における遅延時間制御は、数式を用いて以下のように一般化して表すことができる。ｎ本（ｎは１以上の任意の整数）の映像音声ストリームＳＴ１、ＳＴ２、…、ＳＴｎをネットワーク９を介して伝送させるシステムにおいて、送信側システム−Ａ５００で発生させた時刻コードＴＳ（ｉ，ｋ）を映像音声ストリームＳＴｉに乗せて伝送する（ｉ，ｋは自然数）。受信側システム−Ａ６００では、所定の固定遅延ｃｏｎｓｔ（ｉ）を設定し、映像音声ストリームＳＴｉの時刻コードＴＳ（ｉ，ｋ）が添付された各データＳＴ（ｉ，ｋ）の受信側での出力時刻ＴＤ（ｉ，ｋ）を次のように定める。

ＴＤ（ｉ，ｋ）＝ＴＳ（ｉ，ｋ）＋ｃｏｎｓｔ（ｉ）

なお、複数の映像音声ストリームＳＴｉを同期させて出力させる場合には、ｃｏｎｓｔ（ｉ）＝定数として、すべてのストリームＳＴｉに対して等しい固定遅延量を与える。

また、同時に、時刻コードＴＳ（ｉ，ｋ）が添付された各受信データＳＴ（ｉ，ｋ）の受信時刻Ｒｔ（ｉ，ｋ）を検出する。

ここで、ネットワーク・ジッタ等の速い変化の伝送遅延変動は、受信時刻Ｒｔ（ｉ，ｋ）の変動に表れるので、受信データＳＴ（ｉ，ｋ）を遅延吸収バッファ（遅延吸収バッファ１３３、１３９）への格納位置を制御することによって、伝送遅延変動を解消する。

遅延吸収バッファへの格納する位置（すなわち遅延吸収バッファの遅延時間）をＢｕｆｆ＿ＰＴ（ｉ，ｋ）と表現したとき、格納位置Ｂｕｆｆ＿ＰＴ（ｉ，ｋ）は、出力時刻ＴＤ（ｉ，ｋ）から、各受信データＳＴ（ｉ，ｋ）の受信時刻の差分として次のように算出する。

Ｂｕｆｆ＿ＰＴ（ｉ，ｋ）＝ｃｏｎｓｔ（ｉ）−｛Ｒｔ（ｉ，ｋ）−ＴＳ（ｉ，ｋ）｝ ＝ｃｏｎｓｔ（ｉ）＋ＴＳ（ｉ，ｋ）−Ｒｔ（ｉ，ｋ）
＝ＴＤ（ｉ，ｋ）−Ｒｔ（ｉ，ｋ）

これは、ジッタ等の速い変化の伝送遅延変動を、遅延吸収バッファへの格納位置Ｂｕｆｆ＿ＰＴ（ｉ，ｋ）で調整するフィードフォワード制御によって出力時刻を決めることを意味する。

この場合、各データＳＴ（ｉ，ｋ）の出力時刻ＴＤ（ｉ，ｋ）は次のように表される。

ＴＤ（ｉ，ｋ）＝Ｒｔ（ｉ，ｋ）＋Ｂｕｆｆ＿ＰＴ（ｉ，ｋ）

以上のように本実施形態によれば、複数ストリームのネットワーク伝送において、与えた固定遅延で複数ストリームの同期再生を安定して行うことができる。なお、本実施形態は、各ストリームの遅延を測定して、その遅延差を排除する方式ではなく、各ストリームは絶対時刻を基準として独立して遅延調整を行う方式である。このため、複数ストリームでの基準（マスタ）となるストリームの選定や、異常時のマスタ／スレーブ切替えのなどの機能が不要となり、安定性が得られる利点がある。

このように、本実施形態によればネットワークを介した映像や音声のストリーム配信において、ネットワーク・ジッタ等の伝送遅延ゆらぎを高精度に解消して、かつ複数のストリームを同期させて出力することができる効果が得られる。また、映像音声ストリームをネットワークを介して伝送させるシステムにおける、映像音声ストリームの再生制御やストリーム同期切替え等を応答よく、安定して行うことができる。

［発明の他の実施形態］
本発明の第２の実施の形態のストリーム信号伝送装置を図３及び図４に示す。本発明の第２の実施の形態のストリーム信号伝送装置は、図３に示す送信側システム−Ｂ５１０と、図４に示す受信側システム−Ｂ６１０と、図３及び図４に示すネットワーク９とから構成されている。なお、本実施形態において、図１及び図２を参照して説明した第１の実施の形態と同一の構成には同一の符号を付けている。本実施の形態では、図３に示す送信側システム−Ｂ５１０から１つの映像音声を２本の映像音声ストリームとしてネットワーク９に送出する。そして、図４に示す受信側システム−Ｂ６１０は、受信した２本の映像音声ストリームから１つのストリームを選択して出力する。これらの構成によって、本実施形態は、１つの映像音声素材をネットワークに冗長回線で伝送する冗長システムを構築する。

まず、図３に示す送信システム−Ｂ５１０におけるブロック構成図について述べる。図３に示す送信システム−Ｂ５１０では、図１の送信システム−Ａ５００と比べ、映像音声出力装置６及び時刻コード添付装置７が省略されるとともに、時刻コード添付装置４に代えて時刻コード添付装置１０４が設けられている。図３の送信システム−Ｂ５１０において、時刻信号発生装置１は、ＧＰＳ衛星などから送信される絶対基準時刻信号を受信し、この受信信号に含まれる時刻信号を時刻コード発生装置２に出力する。時刻コード発生装置２は、この時刻信号を受けて所定の時刻コードＴＳ（１，ｋ）を発生する。

この時刻コードＴＳ（１，ｋ）は、時刻コード添付装置１０４に入力される。時刻コード添付装置１０４には映像音声出力装置３から出力される映像データ、音声データも入力される。時刻コード添付装置１０４では、時刻コードＴＳ（１，ｋ）に映像データ、音声データが添付された後、送信装置５へ入力され、その後、送信装置５からネットワーク９に出力される。

また、時刻コード添付装置１０４の出力は送信装置５と同時に送信装置８に入力される。その際、送信装置８へ入力される信号は、送信装置５へ入力されるものと同じ時刻コードＴＳ（１，ｋ）に同じ映像データ、音声データが添付されたものである。そして、送信装置８へ入力された信号は、送信装置８からネットワーク９に出力される。つまり映像音声出力装置３から出力される映像データ、音声データに時刻コードが添付されたものが分配されて、送信装置５と送信装置８からネットワーク９へ出力される。すなわち、送信装置５から送信される映像音声ストリームＳＴ１と送信装置８から送信される映像音声ストリームＳＴ２は同一の信号となる。

次に、図４に示す受信システム−Ｂ６１０におけるブロック構成図について述べる。図４に示す受信システム−Ｂ６１０では、図２の受信システム−Ａ６００に対し、遅延制御装置１３０、１３６の出力に、ストリーム切替装置１４２が追加されている。図４の受信システム−Ｂ６１０において、受信装置１１、１４はネットワーク９上に伝送された映像データ、音声データからなる映像音声ストリームＳＴ１、ＳＴ２を受信する。受信装置１１によって受信された受信信号は、遅延制御装置１３０を介して出力される。また、受信装置１４によって受信された受信信号は、遅延制御装置１３６を介して出力される。

遅延制御装置１３０から出力されるストリーム「１」と、遅延制御装置１３６から出力されるストリーム「２」は、ストリーム切替装置１４２に入力され、どちらか一方が選択されて出力される。

その他の受信システム−Ｂ６１０の構成・動作は、図２の受信システム−Ａ６００と同じである。

図４のストリーム「１」とストリーム「２」を同期させるためには、固定遅延指示装置１３５と固定遅延指示装置１４１の固定遅延ｃｏｎｓｔ（１）とｃｏｎｓｔ（２）を同じ値にする。このようして、ストリーム「１」とストリーム「２」の同期がとれた状態で、ストリーム切替装置１４２で切り替えることができる。

［上記実施の形態のシステム構成例］
図５、図６、図７及び図８は、本発明の各実施の形態における送信側システムと受信側システムの具体的な構成例を示すシステム構成図である。なお、以下の構成において、送信システム−Ａ５０１、５０２、送信システム−Ｂ５１１へ入力される映像音声「１１」又は映像音声「２１」は、図１又は図３の映像音声出力装置３へ入力される信号であり、映像音声出力装置３から出力される映像データ及び音声データがそれらに対応する信号となる。送信システム−Ａ５０１、５０２へ入力される映像音声「１２」又は映像音声「２２」は、図１の映像音声出力装置６へ入力される信号であり、映像音声出力装置６から出力される映像データ及び音声データがそれらに対応する信号となる。受信システム−Ａ６０１、６０２、受信システム−Ｂ６１１から出力される映像音声「１１」又は映像音声「１２」は、図２又は図４の受信システム−Ａ６００、受信システム−Ｂ６１０から出力されるストリーム「１」又はストリーム「２」に対応する信号である。

また、ストリーム「１１」又は「１１１」は、図１〜図４の映像音声ストリームＳＴ１に対応する信号であり、ストリーム「２１」又は「２１１」は、図１〜図４の映像音声ストリームＳＴ２に対応する信号である。また、固定遅延「１」、「２」は、固定遅延ｃｏｎｓｔ（１）、（２）に対応する信号である。また、固定遅延「３」は、固定遅延ｃｏｎｓｔ（１）に対応する信号である。「絶対基準時刻」は、図２又は図４の絶対基準時刻受信装置２０の受信信号が示す時刻（あるいは受信信号）に対応する。

図５において、送信システム−Ａ５０１は図１で示される送信システム−Ａ５００と同一の構成であり、受信システム−Ａ６０１は図２で示される受信システム−Ａ６００と同一の構成である。送信システム−Ａ５０１と受信システム−Ａ６０１には、絶対基準時刻が入力され、時刻同期がとられる。映像音声「１１」は送信システム−Ａ５０１に入力され、時刻コードが添付されたストリーム「１１」としてネットワーク９へ送出される。一方、映像音声「１１」に同期した映像音声「１２」は送信システム−Ａ５０１に入力され、時刻コードが添付されたストリーム「１２」としてネットワーク９へ送出される。ストリーム「１１」は受信システム−Ａ６０１で受信され、固定遅延「１」の設定に応じた伝送遅延時間で映像音声「１１」が出力される。ストリーム「１２」は受信システム−Ａ６０１で受信され、設定された固定遅延「２」の設定に応じた伝送遅延時間で映像音声「１２」が出力される。固定遅延「１」と固定遅延「２」を同一の値に設定することにより、ストリーム「１１」とストリーム「１２」の送信側から受信側までの伝送時間は固定遅延時間に調整される。この結果として、送信側で同期させた複数ストリームは受信側で同期させて出力すること可能になる。

図６において、送信システム−Ｂ５１１は図３で示される送信システム−Ｂ５１０と同一の構成であり、受信システム−Ｂ６１１は図４で示される受信システム−Ｂ６１０と同一の構成であり、図６は冗長回線での伝送システムを示す。送信システム−Ｂ５１１と受信システム−Ｂ６１１には、絶対基準時刻が入力され時刻同期がとられる。映像音声「１１」は送信システム−Ｂ５１１に入力され、互いに同一の時刻コードが添付されたストリーム「１１１」とストリーム「２１１」の２本がネットワーク９へ送出される。ストリーム「１１１」は受信システム−Ｂ６１１で受信され、ストリーム「１１１」に基づく出力が選択された場合、固定遅延「１」の設定に応じた伝送遅延時間で映像音声「１１」が出力される。一方、ストリーム「２１１」は受信システム−Ｂ６１１で受信され、ストリーム「２１１」に基づく出力が選択された場合、固定遅延「２」の設定に応じた伝送遅延時間で映像音声「１１」が出力される。受信システム−Ｂ６１１ではストリーム「１１１」の映像出力とストリーム「２１１」の映像出力から１つが選択され、受信システム−Ｂ６１１から映像出力「１１」が出力される。固定遅延「１」と固定遅延「２」を同一値に設定することによって、ストリーム「１１１」とストリーム「２１１」の送信側から受信側までの伝送時間はその固定遅延時間に調整される。この結果、送信側で分配された２本のストリームは受信側で同期がとれており、ストリーム「１１１」とストリーム「２１１」の切替えを行う場合も、映像音声「１１」の出力はシームレス（連続）が確保できる。

図７において、送信システム−Ａ５０１、５０２は図１で示される送信システム−Ａ５００と同一の構成であり、送信システム−Ａ５０１、５０２は離れた位置に設置されている。受信システム−Ｂ６１１は図４で示される受信システム−Ｂ６１０と同一の構成である。送信システム−Ａ５０１、５０２と受信システム−Ｂ６１１には、絶対基準時刻が入力され時刻同期がとられる。映像音声「１１」は送信システム−Ａ５０１に入力され、時刻コードが添付されたストリーム「１１」としてネットワーク９へ送出される。また、映像音声「２１」は送信システム−Ａ５０２に入力され、時刻コードが添付されたストリーム「２１」としてネットワーク９へ送出される。

ストリーム「１１」は受信システム−Ｂ６１１で受信され、ストリーム「１１」に基づく出力が選択された場合、固定遅延「１」の設定に応じた伝送遅延時間で映像音声「１１」が出力される。ストリーム「２１」は受信システム−Ｂ６１１で受信され、ストリーム「２１」に基づく出力が選択された場合、固定遅延「２」の設定に応じた伝送遅延時間で映像音声「２１」が出力される。ストリーム「１１」の映像出力とストリーム「２１」の映像出力から１つを選択し、受信システム−Ｂ６１１から映像出力「１１」または映像出力「２１」が出力される。固定遅延「１」と固定遅延「２」を同一の値に設定することによって、ストリーム「１１」とストリーム「２１」の送信側から受信側までの伝送時間はその固定遅延時間に調整される。この結果として、離れた位置から送出するストリームを、受信側で選択して出力する場合に、映像音声「１１」と映像音声「２１」の時間的な連続性を保つことができる。

図７に示す構成において、送信システムと受信システムの設置場所は、例えば、送信システム−Ａ５０１が大阪、送信システム−Ａ５０２が名古屋、受信システム−Ｂ６１１が東京のように別の場所にあり、大阪と名古屋から東京へ向けてストリームを送出して東京でその内の１つを選択することを想定している。Ｎ対１の構成で複数拠点間にまたがる複数ストリームのネットワーク伝送において、与えた固定遅延で複数ストリームの同期再生を行うことができる（Ｎは１以上の任意の整数）。

図８において、送信システム−Ｂ５１１は図３で示される送信システム−Ｂ５１０と同一の構成であり、受信システム−Ａ６０１、６０２は図２で示される受信システム−Ａ６００と同一の構成である。送信システム−Ｂ５１１と受信システム−Ａ６０１、６０２には、絶対基準時刻が入力され時刻同期がとられる。映像音声「１１」は送信システム−Ｂ５１１に入力され、時刻コードが添付されたストリーム「１１１」とストリーム「２１１」の２本がネットワーク９へ送出される。

ストリーム「１１１」は受信システム−Ａ６０１で受信され、固定遅延「１」の設定に応じた伝送遅延時間で映像音声「１１」が出力される。ストリーム「２１１」は受信システム−Ａ６０２で受信され、固定遅延「３」の設定に応じた伝送遅延時間で映像音声「１１」が出力される。固定遅延「１」と固定遅延「３」を同一の値に設定することによって、ストリーム「１１１」とストリーム「２１１」の送信側から受信側までの伝送時間は固定遅延時間に調整される。この結果として、１つの映像音声「１１」を送信側で２本のストリームに分配して、複数の受信側で受信して同期させて出力することができる。

送信システムと受信システムの設置場所は、例えば、送信システム−Ｂ５１１は東京、受信システム−Ａ６０１は大阪、受信システム−Ａ６０２は名古屋のように別の場所にあり、東京から大阪と名古屋へ向けてストリームを送出することを想定している。１対Ｎの構成で複数拠点間にまたがる複数ストリームのネットワーク伝送において、与えた固定遅延で複数ストリームの同期再生を行うことができる（Ｎは１以上の任意の整数）。

本発明によれば、複数のストリームに対して送信から受信して出力するまでの固定遅延を設定するとともに、映像音声ストリームを構成する各データに対して時刻コードを付与し、この時刻コードに基づいて当該データに対する遅延時間を固定遅延の範囲内で調整することによって、ネットワーク・ジッタ等の速い変化の伝送遅延変動を高精度に解消して、かつ複数のストリームを同期させて出力することができる。すなわち、本発明によれば、複数ストリームのネットワーク伝送において、与えた固定遅延で複数ストリームの同期再生を安定して行うことができる。

また、複数拠点間にまたがる複数ストリームのネットワーク伝送において、与えた固定遅延で複数ストリームの同期再生を安定して行うことができる。

また、本発明は各ストリームの遅延を測定して、その遅延差を排除する方式ではなく、各ストリームは独立して遅延調整を行う方式である。このため、複数ストリームでの基準（マスタ）の選定や、意常時のマスタ／スレーブ切替えのなどの機能が不要となり、安定性が得られる利点がある。

なお、本発明の実施の形態は、上記に限られず、例えば第１の実施の形態の構成と第２の実施の形態の構成を１又は複数用いて相互に組み合わせたり、例えば映像音声ストリームとして、映像または音声のいずれかのストリームのみを伝送するようにしたり、映像と音声の両方を含むストリームと片方のみを含むストリームを混在させて伝送するようにしたりすることができる。また、各図において、各ブロックを分割したり、各ブロックをまとめたり、また、ネットワーク９を複数に分割あるいは分散させたりする構成を採用することも適宜に行うことができる。また、本発明の実施の形態をソフトウェアを用いて構成する場合には、その全部または一部をコンピュータ読み取り可能な記録媒体あるいは通信回線を介して提供することが可能である。

また、本願特許請求の範囲の各構成と、上記実施形態における各構成との対応関係は次の通りである。受信装置１１及び受信装置１４が、ネットワークから時刻コードが添付されたストリーム信号を受信する受信手段に対応する。ここでストリーム信号は、映像音声ストリームＳＴ１、ＳＴ２、…、ＳＴｎに対応する。ストリーム信号から時刻コードを抽出する抽出手段は、時刻コード分離装置１６、１１６と時刻コード読取装置１７、１１７とに対応する。遅延制御装置１３０、１３６が、時刻コードが表す時刻に所定の固定遅延を加算して出力時刻を決めるとともに、受信されたストリーム信号をその出力時刻まで保持した後、出力する遅延制御手段に対応する。また、ストリーム切替装置１４２が、複数の遅延制御手段から出力される複数のストリーム信号に対する選択手段に対応する。また、受信時刻検出部１３１、１３７が、受信手段によってストリーム信号を受信した時刻を検出する受信時刻検出手段に対応する。また、遅延吸収バッファ１３３、１３９の構成要素である複数段のレジスタを構成する各レジスタが、複数の記憶手段に対応する。

５００、５０１、５０２…送信システム−Ａ、６００、６０１、６０２…受信システム−Ａ、５１０、５１１…送信システム−Ｂ、６１０、６１１…受信システム−Ｂ、１…映像信号発生装置、２…時刻コード発生装置、３、６…映像音声出力装置、４、７、１０４…時刻コード添付装置、５、８…送信装置、９…ネットワーク、１１、１４…受信装置、１６、１１６…時刻コード分離装置、１７、１１７…時刻コード読取装置、１８…時刻コード読取装置、１９…時刻コード発生装置、２０…絶対基準時刻受信装置、１３０、１３６…遅延制御装置、１３１、１３７…受信時刻検出部、１３２、１３８…遅延指示部、１３３、１３９…遅延吸収バッファ、１３４、１４０…出力制御部、１３５、１４１…固定遅延指示装置、１４２…ストリーム切替装置。

Claims (6)

1. ネットワークから時刻コードが添付されたストリーム信号を受信する受信手段と、
   前記受信手段によって受信されたストリーム信号から時刻コードを抽出する抽出手段と、
   前記抽出手段によって抽出された時刻コードが表す時刻に所定の固定遅延を加算して出力時刻を決めるとともに、前記受信手段によって受信されたストリーム信号をその出力時刻まで保持した後、出力する遅延制御手段と
   を具備することを特徴とするストリーム信号伝送装置。
2. 前記受信手段と、前記抽出手段と、前記遅延制御手段とを複数備え、
   前記ネットワークから時刻コードが添付されたストリーム信号を複数受信し、
   複数の前記遅延制御手段によって前記ストリーム信号を同期させて出力する
   ことを特徴とする請求項１に記載のストリーム信号伝送装置。
3. さらに複数の前記遅延制御手段から出力される複数のストリーム信号に対する選択手段を備え、
   前記選択手段によって選択したストリーム信号を連続的に出力する
   ことを特徴とする請求項２に記載のストリーム信号伝送装置。
4. 前記遅延制御手段が、前記受信手段によってストリーム信号を受信した時刻を検出する受信時刻検出手段を有し、前記抽出手段によって抽出された時刻コードが表す時刻に所定の固定遅延を加算した時刻から前記受信時刻検出手段で検出した受信時刻を減じた時間分前記ストリーム信号を保持した後に出力する
   ことを特徴とする請求項１から３のいずれか１項に記載のストリーム信号伝送装置。
5. 前記遅延制御手段が、保持時間がそれぞれ異なる複数の記憶手段を有し、前記ストリーム信号の保持時間に応じて、前記複数の記憶手段における格納位置を制御する
   ことを特徴とする請求項１から４のいずれか１項に記載のストリーム信号伝送装置。
6. ネットワークから時刻コードが添付されたストリーム信号を受信する受信過程と、
   前記受信過程で受信されたストリーム信号から時刻コードを抽出する抽出過程と、
   前記抽出過程で抽出された時刻コードが表す時刻に所定の固定遅延を加算して出力時刻を決めるとともに、前記受信過程で受信されたストリーム信号をその出力時刻まで保持した後、出力する遅延制御過程と
   を含むことを特徴とするストリーム信号伝送方法。

Images