JP2012169802A - ストリーミングシステム - Google Patents

ストリーミングシステム Download PDF

Info

Publication number
JP2012169802A
JP2012169802A JP2011028182A JP2011028182A JP2012169802A JP 2012169802 A JP2012169802 A JP 2012169802A JP 2011028182 A JP2011028182 A JP 2011028182A JP 2011028182 A JP2011028182 A JP 2011028182A JP 2012169802 A JP2012169802 A JP 2012169802A
Authority
JP
Japan
Prior art keywords
distribution
clock
value
correction value
clock signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011028182A
Other languages
English (en)
Other versions
JP5720285B2 (ja
Inventor
Chihiro Harada
千尋 原田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2011028182A priority Critical patent/JP5720285B2/ja
Publication of JP2012169802A publication Critical patent/JP2012169802A/ja
Application granted granted Critical
Publication of JP5720285B2 publication Critical patent/JP5720285B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)

Abstract

【課題】ストリーミングシステムで送信側と受信側とでクロック同期を容易に取ること。
【解決手段】本発明におけるストリーミングシステムは、自装置内で出力されたクロック信号に基づいて符号化したストリーミングデータを生成する符号化装置と、自装置内で出力されたクロック信号に基づいてストリーミングデータをストリーミング配信する配信装置と、ストリーミングデータを受信して自装置内で出力されたクロック信号に基づいて復号する受信装置と、を備える。そして、受信装置は、上位装置から受信した配信装置クロック情報の前回受信時からの増加量と、自装置内のクロック信号に基づいて増加してカウントされる値である受信装置クロック情報の上位装置からの配信装置クロック情報を前回受信したときの値からの増加量と、の比率を算出すると共に、当該算出した比率と上位装置から受信した補正値とに基づいて新たな補正値を算出する補正値算出手段を備える。
【選択図】図9

Description

本発明は、ストリーミングシステムにかかり、特に、所定のデータをストリーミング配信するシステムにおいて復号装置のクロックを符号化装置のクロックに同期させることに特徴を有するストリーミングシステムに関する。
映像や音声などをIP(Internet Protocol)ネットワーク伝送するシステムでは、MPEG(Moving Picture Expert Group)技術を用いて圧縮符号化し、一般にトランスポートストリーム(MPEG2-TS)パケット(以下、「TSパケット」と呼ぶ。)で多重伝送される。そして、復号装置側では、ネットワーク伝送のジッタ吸収やコーデックの特性を考慮して、ある程度のFIFOバッファを設置して再生処理を行う。
しかし、符号装置側のクロックと復号装置側のクロックとに差がある場合、符号装置側で生成されるデータ量と復号装置側で消費されるデータ量が異なるため、わずかな差であっても長時間再生を継続すると、いずれは復号装置側のFIFOバッファが飽和/枯渇し、再生中にかくついたり映像が乱れたりと、再生映像の品質に影響を及ぼす、という問題が発生する。
また、システムによっては長期に渡り一度も停止させずに再生を継続させなければならない、という要求もあり、このようなシステムにおける復号装置側では、受信したデータを再生する際には、符号装置側のクロックと等しいクロックを用いて再生を行う必要がある。
上記のような要求に応じて、復号装置側でのクロック同期のため、TSパケット内には、時間情報を挿入して伝送するように規定されている。このパケット内に挿入される時間情報は、PCR(Program Clock Reference:プログラム時刻基準参照値)と呼ばれ、符号装置側での符号時に使用したクロックに基づいたカウンタであり、受信側では、TSパケットに含まれるPCRを参照することで、送信側のクロックと同期するようにしている。
しかしながら、PCRを基にクロックの同期を行うためには、PCR値の精度を上げるために、送信側ではPCRデータを付与したTSパケットを即座に送信する必要がある。また、受信側では、受信したTSパケットを即座にデコードしてPCR値を取得する必要がある。そのため、理論上はクロックを同期させることは可能であるが、実現するためには非常に複雑で効率の悪い処理を行うことになる。
ここで、ストリーム配信においてクロック同期を行う技術として、特許文献1に開示のシステムがある。この文献では、受信側のローカルクロックと、送信側からのデータストリームより抽出された時間情報に対応する位相と、の位相差に基づいて、送信側の基本クロックの周波数を制御し、これにより、送信側と受信側とを同期する、という技術が開示されている。また、受信装置のさらに下流側に別の受信装置が接続されている場合には、下流側の受信装置から送出された周波数制御情報に基づいて中間の受信装置のローカルクロックを制御して同期し、上述同様にこのローカルクロックと送信装置との位相との位相差に基づいて、送信側の基本クロックを制御する、という技術が開示されている。
特開2001−230750号公報
しかしながら、上述した特許文献1に開示の技術は、ストリーム配信を行う送信装置、さらには、当該送信装置と受信装置との間に位置する中継装置、の動作クロックを制御する必要があり、システム全体の制御が複雑となる、という問題が生じる。また、送信装置や中継装置のクロックを制御しているため、これらの装置におけるストリーミング配信動作が制限される、という問題も生じる。
このため、本発明の目的は、上述した課題である、送信側と受信側とでクロック同期を容易に取ることができるストリーミングシステムを提供することにある。
本発明の一形態におけるストリーミングシステムは、
自装置内で出力されたクロック信号に基づいて符号化したストリーミングデータを生成する符号化装置と、自装置内で出力されたクロック信号に基づいて前記ストリーミングデータをストリーミング配信する配信装置と、この配信装置からストリーミング配信された前記ストリーミングデータを受信して自装置内で出力されたクロック信号に基づいて復号する受信装置と、を備え、
前記符号化装置は、自装置内で出力されたクロック信号に基づいて増加してカウントされる値である符号化装置クロック情報を前記配信装置に送信するクロック通知手段を備え、
前記配信装置は、前記符号化装置から受信した前記符号化装置クロック情報の前回受信時からの増加量と、自装置内で出力されたクロック信号に基づいて増加してカウントされる値である配信装置クロック情報の前記符号化装置クロック情報を前回受信したときの値からの増加量と、の比率を算出すると共に、当該算出した比率に基づいて前記受信装置が前記ストリーミングデータを復号する際に用いるクロック信号の補正値を算出し、当該補正値と前記配信装置クロック情報とを前記受信装置側にある下位装置に送信する配信クロック通知手段を備え、
前記受信装置は、前記配信装置側にある上位装置から受信した前記配信装置クロック情報の前回受信時からの増加量と、自装置内で出力されたクロック信号に基づいて増加してカウントされる値である受信装置クロック情報の前記上位装置からの前記配信装置クロック情報を前回受信したときの値からの増加量と、の比率を算出すると共に、当該算出した比率と前記上位装置から受信した前記補正値とに基づいて新たな補正値を算出する補正値算出手段を備えた、
という構成を取る。
また、本発明の他の形態における受信装置は、
自装置内で出力されたクロック信号に基づいて符号化したストリーミングデータを生成する符号化装置と、自装置内で出力されたクロック信号に基づいて前記ストリーミングデータをストリーミング配信する配信装置と、この配信装置からストリーミング配信された前記ストリーミングデータを受信して自装置内で出力されたクロック信号に基づいて復号する受信装置と、を備えたストリーミングシステムにおける前記受信装置であって、
前記符号化装置が、自装置内で出力されたクロック信号に基づいて増加してカウントされる値である符号化装置クロック情報を前記配信装置に送信するクロック通知手段を備え、
前記配信装置が、前記符号化装置から受信した前記符号化装置クロック情報の前回受信時からの増加量と、自装置内で出力されたクロック信号に基づいて増加してカウントされる値である配信装置クロック情報の前記符号化装置クロック情報を前回受信したときの値からの増加量と、の比率を算出すると共に、当該算出した比率に基づいて前記受信装置が前記ストリーミングデータを復号する際に用いるクロック信号の補正値を算出し、当該補正値と前記配信装置クロック情報とを前記受信装置側にある下位装置に送信する配信クロック通知手段を備えている場合に、
前記受信装置は、前記配信装置側にある上位装置から受信した前記配信装置クロック情報の前回受信時からの増加量と、自装置内で出力されたクロック信号に基づいて増加してカウントされる値である受信装置クロック情報の前記上位装置からの前記配信装置クロック情報を前回受信したときの値からの増加量と、の比率を算出すると共に、当該算出した比率と前記上位装置から受信した前記補正値とに基づいて新たな補正値を算出する補正値算出手段を備えている、
という構成を取る。
また、本発明の他の形態におけるプログラムは、
自装置内で出力されたクロック信号に基づいて符号化したストリーミングデータを生成する符号化装置と、自装置内で出力されたクロック信号に基づいて前記ストリーミングデータをストリーミング配信する配信装置と、この配信装置からストリーミング配信された前記ストリーミングデータを受信して自装置内で出力されたクロック信号に基づいて復号する受信装置と、を備えたストリーミングシステムにおける前記受信装置の動作を制御するプログラムであって、
前記符号化装置が、自装置内で出力されたクロック信号に基づいて増加してカウントされる値である符号化装置クロック情報を前記配信装置に送信するクロック通知手段を備え、
前記配信装置が、前記符号化装置から受信した前記符号化装置クロック情報の前回受信時からの増加量と、自装置内で出力されたクロック信号に基づいて増加してカウントされる値である配信装置クロック情報の前記符号化装置クロック情報を前回受信したときの値からの増加量と、の比率を算出すると共に、当該算出した比率に基づいて前記受信装置が前記ストリーミングデータを復号する際に用いるクロック信号の補正値を算出し、当該補正値と前記配信装置クロック情報とを前記受信装置側にある下位装置に送信する配信クロック通知手段を備えている場合に、
前記受信装置に、前記配信装置側にある上位装置から受信した前記配信装置クロック情報の前回受信時からの増加量と、自装置内で出力されたクロック信号に基づいて増加してカウントされる値である受信装置クロック情報の前記上位装置からの前記配信装置クロック情報を前回受信したときの値からの増加量と、の比率を算出すると共に、当該算出した比率と前記上位装置から受信した前記補正値とに基づいて新たな補正値を算出する補正値算出手段を実現させるためのプログラムである。
また、本発明の他の形態におけるストリーミング配信方法は、
自装置内で出力されたクロック信号に基づいて符号化したストリーミングデータを生成する符号化装置と、自装置内で出力されたクロック信号に基づいて前記ストリーミングデータをストリーミング配信する配信装置と、この配信装置からストリーミング配信された前記ストリーミングデータを受信して自装置内で出力されたクロック信号に基づいて復号する受信装置と、を備えたストリーミングシステムによるストリーミング配信方法であって、
前記符号化装置が、自装置内で出力されたクロック信号に基づいて増加してカウントされる値である符号化装置クロック情報を前記配信装置に送信し、
前記配信装置は、前記符号化装置から受信した前記符号化装置クロック情報の前回受信時からの増加量と、自装置内で出力されたクロック信号に基づいて増加してカウントされる値である配信装置クロック情報の前記符号化装置クロック情報を前回受信したときの値からの増加量と、の比率を算出すると共に、当該算出した比率に基づいて前記受信装置が前記ストリーミングデータを復号する際に用いるクロック信号の補正値を算出し、当該補正値と前記配信装置クロック情報とを前記受信装置側にある下位装置に送信し、
前記受信装置は、前記配信装置側にある上位装置から受信した前記配信装置クロック情報の前回受信時からの増加量と、自装置内で出力されたクロック信号に基づいて増加してカウントされる値である受信装置クロック情報の前記上位装置からの前記配信装置クロック情報を前回受信したときの値からの増加量と、の比率を算出すると共に、当該算出した比率と前記上位装置から受信した前記補正値とに基づいて新たな補正値を算出し、この算出した補正値にて自装置内で出力されたクロック信号を補正して当該補正したクロック信号を用いて前記ストリーミングデータを復号する、
という構成を取る。
本発明は、以上のように構成されることにより、ストリーミングシステムにおいて送信側と受信側とでクロック同期を容易に取ることができる。
本発明におけるストリーミングシステムの全体構成を示すブロック図である。 図1に開示したエンコーダの構成を示す機能ブロック図である。 図1に開示した配信サーバの構成を示す機能ブロック図である。 図1に開示したクライアントの構成を示す機能ブロック図である。 図1に開示したエンコーダの動作を示すフローチャートである。 図1に開示した配信サーバの動作を示すフローチャートである。 図1に開示したクライアントの動作を示すフローチャートである。 本発明のストリーミングシステムにおける実測例を示す図である。 本発明の付記1におけるストリーミングシステムの全体構成を示すブロック図である。
<実施形態1>
本発明の第1の実施形態を、図1乃至図8を参照して説明する。図1乃至図4は、本発明であるストリーミングシステムの構成を説明するための図であり、図5乃至図7は、その動作を説明するための図である。図8は、本発明であるストリーミングシステムを用いた実測例を示す図である。
[構成]
本発明の実施形態1におけるストリーミングシステムは、図1に示すように、エンコーダ1と、配信サーバ2と、クライアント3と、がネットワークNを介して接続されて構成されている。上記エンコーダ1は、映像データの符号化を行う装置(符号化装置)であり、この符号化した映像データを配信サーバ2に送信する。上記配信サーバ2は、クライアント3に映像データを配信する装置(配信装置)である。上記クライアント3は、受信した映像データを再生する装置(受信装置)である。
なお、本実施形態では、上記エンコーダ1が最上位装置となり、その下位に配信サーバ2が位置し、最下位にクライアント3が位置していることとする。但し、本発明におけるストリーミングシステムは、配信サーバが複数接続されていてもよい。つまり、配信サーバの下位にさらに他の配信サーバが単数あるいは複数接続され、最下位にクライアント3が位置して接続されていてもよい。以下、各装置1,2,3の構成について詳述する。
上記エンコーダ1は、情報処理装置にて構成されており、図2に示すように、キャプチャ部11と、受信部12と、送信部17と、を備えている。また、エンコーダ1は、装備された演算装置にプログラムが組み込まれることで構築された、符号化部13と、クロック通知部16と、を備えている。また、エンコーダ1は、HDD(hard disk drive)やSSD(solid state drive)などのデータを格納するための補助記憶装置にて構成された記録部14と、RAM(Random Access Memory)などのデータを一時的に記憶する主記憶装置にて構成された記憶部15と、を備えている。
なお、図2における実線矢印は、映像データの流れを表し、点線矢印は、後述するように本発明に関するデータの流れを表している。
上記キャプチャ部11は、キャプチャボードやUSB(Universal Serial Bus)カメラなど外部装置から、ストリーミング配信を行う対象となる映像データであるAudio/Video信号を取り込む装置である。そして、キャプチャ部11は、取り込んだ信号を符号化部13に渡す。また、受信部12は、ネットワークNよりデータを受信するネットワークカードなどの装置であり、例えば、外部装置からストリーミング配信を行う対象となる映像データを受信する。また、送信部17は、ネットワークNにデータを送信するネットワークカードなどの装置であり、ストリーミング配信する映像データや、後述するように本発明に関するデータを配信サーバ2に送信する。
上記符号化部13は、ストリーミング配信を行う対象となる映像データを自装置内で出力されたクロック信号(エンコーダクロック信号)に基づいて符号化する装置である。ここで、符号化部13による符号化は、例えば、キャプチャ部11から入力されたAudio/Video信号や記録部14に格納されているAudio/Video信号をエンコードする場合や、記録部14に格納されている映像ファイルのトランスコード、受信部12で受信したAudio/Video信号のエンコード、さらには受信部12で受信した映像ファイルのトランスコードの場合を含む。そして、符号化部13は、ストリーミング配信される符号化した映像データ(ストリーミングデータ)を、TSパケットで多重化して配信サーバ2に送信する。
なお、本実施形態では、ストリーミング配信されるストリーミングデータとして、映像データを一例に挙げているが、ストリーミングデータは映像データであることに限定されず、いかなるデータ形式のデータであってもよい。
上記クロック通知部16(クロック通知手段)は、エンコーダ1のクロック信号(エンコーダクロック信号)を下位装置である配信サーバ2に伝えるために、上述した映像データを送信しているセッションとは別のユニキャストセッションで、以下に説明する2種類の値「clock0」,「R’」を、下位に位置する配信サーバ2に定期的に送信する。なお、「定期的」とは、例えば、数秒〜数分間隔であるが、かかる間隔に限定されず、また、上記2種類の値の送信は定期的であることに限定されない。
そして、上記「clock0」とは、エンコーダ1のクロック信号に依存して増加してカウントされる値である「エンコーダクロック情報」(符号化装置クロック情報)、例えば、エンコーダ1自体などのシステムが起動してからの経過時間である。また、上記「R’」は、「1」の値である。なお、上記「R’」は、自装置から見た最上位装置とのクロックの速度の比率を表す値であり、最下位装置において映像データを再生する際に利用するクロックの「補正値」である。従って、後述するように、自装置から見た上位装置から受信した「R’」の値に、自装置にて算出した上位装置とのクロックの速度の比率を表す「R」を掛け合わせて、新たな「R’」を算出する。但し、エンコーダ1は最上位装置であるため、「R’」を初期値「1」として設定する。
次に、上記配信サーバ2について説明する。配信サーバ2は、情報処理装置にて構成されており、図3に示すように、受信部21と、送信部25と、を備えている。また、配信サーバ2は、装備された演算装置にプログラムが組み込まれることで構築された、配信クロック通知部24を備えている。また、配信サーバ2は、HDDやSSDなどのデータを格納するための補助記憶装置にて構成された記録部22と、RAMなどのデータを一時的に記憶する主記憶装置にて構成された記憶部23と、を備えている。
なお、図3における実線矢印は、映像データの流れを表し、点線矢印は、後述するように本発明に関するデータの流れを表している。
上記受信部21は、ネットワークNよりデータを受信するネットワークカードなどの装置であり、例えば、エンコーダ1が送信した符号化された映像データや、エンコーダクロック情報「clock0」と補正値「R’」、を受信する。このとき、クライアント3にストリーミング配信する映像データは送信部25に渡し、ライブ映像を蓄積する場合は受信した映像データを記録部22に記録する。
また、送信部25は、ネットワークNにデータを送信するネットワークカードなどの装置であり、エンコーダ1から受信あるいは一旦記録部22に格納されているストリーミング配信する映像データや、後述するように配信サーバ2内で生成されたクロック情報「clock0」と補正値「R’」を、クライアント3などの下位装置に送信する。なお、下位装置に他の配信サーバが接続されている場合には、下位の他の配信サーバに上述した映像データや配信サーバ2内で生成されたクロック情報「clock0」と補正値「R’」を送信する。
なお、配信サーバ2は、自装置内で出力されたクロック信号(配信装置クロック信号)に基づいて作動し、当該配信サーバクロック信号に基づいて映像データを下位装置に配信する。
上記配信クロック通知部24(配信クロック通知手段)は、映像データを受信しているセッションとは別のユニキャストセッションで、エンコーダ1から「clock0」及び「R’」を受信する。そして、配信クロック通知部24は、「clock0」及び「R’」の受信が初回である場合には、「Cbase0」に、上位装置であるエンコーダ1からのエンコーダクロック情報「clock0」の値を記憶する。また、配信クロック通知部24は、「Cbase1」に、自装置である配信サーバ2内で出力されているクロック信号に依存して増加してカウントされる値である配信サーバクロック情報「clock1」(配信装置クロック情報)を記憶する。
ここで、上記配信サーバクロック情報「clock1」は、例えば、配信サーバ2自体などのシステムが起動してからの経過時間を表す情報である。また、上記「Cbase1」として記憶される配信サーバクロック情報「clock1」は、配信サーバ2がエンコーダ1からエンコーダクロック情報「clock0」を受信したときの値である。なお、配信サーバクロック情報「clock1」の測定基準は、エンコーダ1にて生成されるエンコーダクロック情報「clock0」と同一である。そして、「Cbase0」と「Cbase1」は、エンコーダ1と配信サーバ2におけるそれぞれのクロックの進み幅「C0」と「C1」を計測する開始時間となる。
上記配信クロック通知部24は、その後、上位装置であるエンコーダ1からのエンコーダクロック情報「clock0」を受信すると、上記「Cbase0」からのクロックの進み幅、つまり、エンコーダ1におけるクロックの進み幅「C0」を「clock0−Cbase0」にて算出する。また、エンコーダクロック情報「clock0」を受信したときの配信サーバ2内で出力されているクロック信号に依存して増加してカウントされる配信サーバクロック情報「clock1」を取得し、配信サーバ2におけるクロックの進み幅「C1」を「clock1−Cbase1」にて算出する。そして、エンコーダ1と配信サーバ2との各クロックの進み幅「C0」と「C1」との比率「R」を、「C0÷C1」つまり「(clock0−Cbase0)÷(clock1−Cbase1)」で算出できる。さらに、この算出「R」を、エンコーダ1から受信した「R’」に掛け合わせて、最上位装置と自装置である配信サーバ2とのクロックの速度の比率でありクライアント3におけるクロックの補正値となる新たな「R’」を算出する。
上記算出処理を換言すると、以下のようになる。つまり、配信クロック通知部24は、上位装置であるエンコーダ1から初めて「clock0」及び「R’」を受信したタイミングを起点として、その後に上位装置であるエンコーダ1から受信した「clock0」の増加量と、自装置の「clock1」の増加量と、の比率を算出することで、上位装置であるエンコーダ1と自装置である配信サーバ2とのクロックの速度の比率「R」を算出している。さらに、配信クロック通知部24は、この「R」を上位装置であるエンコーダ1から受信した「R’」に掛け合わせることで、後述する新たな補正値「R’」として算出している。
また、上記配信クロック通知部24は、さらに下位装置であるクライアント3に、配信サーバ2内で生成された配信サーバクロック情報「clock1」を、下位装置から見て上位装置のクロック情報「clock0」として送信すると共に、算出した補正値「R’」を送信する。なお、下位装置に他の配信サーバが接続されている場合には、下位の他の配信サーバに配信サーバクロック情報「clock0」と補正値「R’」を送信する。そして、他の配信サーバは、上述した配信サーバ2と同様の構成を取っており、上位装置から受信した映像データを下位装置に送信したり、上位装置から受信した「clock0」と「R’」に基づいて、上述同様に新たな「R’」を算出して下位装置に送信するよう作動する。
なお、上述した下位装置への「clock0」と「R’」との送信処理は、必ずしも同期して処理する必要はなく、「R’」が算出済みであれば非同期に処理してもよい。
次に、上記クライアント3について説明する。クライアント3は、情報処理装置にて構成されており、図4に示すように、受信部31を備えている。また、クライアント3は、装備された演算装置にプログラムが組み込まれることで構築された、復号化部32と、補正値算出部34と、を備えている。また、クライアント3は、RAMなどのデータを一時的に記憶する主記憶装置にて構成された記憶部33を備えている。
なお、図4における実線矢印は、映像データの流れを表し、点線矢印は、後述するように本発明に関するデータの流れを表している。
上記受信部31は、ネットワークNよりデータを受信するネットワークカードなどの装置であり、例えば、上位装置である配信サーバ2あるいは図示しない他の配信サーバから配信された映像データや、配信サーバクロック情報「clock0」と補正値「R’」、を受信する。
上記復号化部32は、ストリーミング配信された映像データを自装置内で出力されたクロック信号(クライアントクロック信号)に基づいてデコード(復号)し、デコードした結果を接続されたAudio出力部35とVideo出力部36とに出力する。なお、Audio出力装置35は、Audio信号を出力するスピーカなどの装置であり、Video出力装置36は、Video信号を表示する液晶ディスプレーなどの装置である。
上記補正値算出部34(補正値算出手段)は、映像データを受信しているセッションとは別のユニキャストセッションで、配信サーバ2(あるいは他の配信サーバ)から「clock0」及び「R’」を受信する。そして、補正値算出部34は、「clock0」及び「R’」の受信が初回である場合には、「Cbase0」に、上位装置である配信サーバ2からの配信サーバクロック情報「clock0」の値を記憶する。また、補正値算出部34は、「Cbase1」に、自装置であるクライアント3内で出力されているクロック信号に依存して増加してカウントされる値であるクライアントクロック情報「clock1」(受信装置クロック情報を記憶する。
ここで、上記クライアントクロック情報「clock1」は、例えば、クライアント3自体などのシステムが起動してからの経過時間を表す情報である。そして、上記「Cbase1」として記憶されるクライアントクロック情報「clock1」は、クライアント3が配信サーバ2から配信サーバクロック情報「clock0」を受信したときの値である。なお、クライアントクロック情報「clock1」の測定基準は、配信サーバ2にて生成される配信サーバクロック情報「clock0」と同一である。そして、「Cbase0」と「Cbase1」は、配信サーバ2とクライアント3におけるそれぞれのクロックの進み幅「C0」と「C1」を計測する開始時間となる。
また、補正値算出部34は、その後、上位装置である配信サーバ2(あるいは他の配信サーバ)から配信サーバクロック情報「clock0」を受信すると、上記「Cbase0」からのクロックの進み幅、つまり、配信サーバ2におけるクロックの進み幅「C0」を「clock0−Cbase0」にて算出する。また、配信サーバクロック情報「clock0」を受信したときのクライアント3内で出力されているクロック信号に依存して増加してカウントされるクライアントクロック情報「clock1」を取得し、自装置であるクライアント3内におけるクロックの進み幅「C1」を「clock1−Cbase1」にて算出する。そして、配信サーバ2とクライアント3の各クロックの進み幅である「C0」と「C1」との比率「R」を算出する。「R」は、「C0÷C1」つまり「(clock0−Cbase0)÷(clock1−Cbase1)」で算出できる。さらに、この算出した「R」を、配信サーバ2から受信した「R’」に掛け合わせて、最上位装置と自装置であるクライアント3とのクロックの速度の比率であり、自装置におけるクロックの補正値である新たな「R’」を算出する。
上記算出処理を換言すると、以下のようになる。つまり、補正値算出部34は、上位装置である配信サーバ2から初めて「clock0」及び「R’」を受信したタイミングを起点として、その後に上位装置である配信サーバ2から受信した「clock0」の増加量と、自装置における「clock1」の増加量と、の比率を算出することで、上位装置である配信サーバ2と自装置であるクライアント3とのクロックの速度の比率「R」を算出している。さらに、補正値算出部34は、この「R」を上位装置である配信サーバ2から受信した「R’」に掛け合わせることで、新たな補正値「R’」として算出している。
また、上記補正値算出部34は、上述したように算出した補正値「R’」を用いて、自装置で出力された映像データを再生する際に用いるクロック信号(クライアントクロック信号)を補正する。例えば、クライアント3のクロック信号の値に「R’」を掛け合わせ、当該クロック信号を「R’倍」に変化させて補正する。そして、クライアント3は、この補正したクロック信号を用いて、映像データをデコードして再生する。なお、上記クロックの補正処理は、必ずしも同期して処理する必要はなく、「R’」が算出済みであれば非同期に処理してもよい。
[動作]
次に、上述したストリーミングシステム、つまり、エンコーダ1、配信サーバ2、クライアント3の動作を、図5乃至図7を参照して説明する。はじめに、映像データのストリーミング配信の動作を説明する。
まず、エンコーダ1は、キャプチャ部11に入力されたAudio/Video信号や記録部14に格納されているAudio/Videoをエンコード、または、記録部14に格納されている映像ファイルのトランスコード、または、受信部12で受信したAudio/Videoのエンコード、または、受信部12で受信した映像ファイルのトランスコード、などのいずれかの符号化処理を行う。そして、符号化した映像データを、TSパケットで多重化して配信サーバ2に送信する。
続いて、配信サーバ2は、エンコーダ1が送信した映像データを受信し、クライアント3に映像データを送信する。なお、ライブ映像を蓄積する場合は、並行して受信した映像データを記録部22に記録する。また、配信サーバ2の下位にさらに他の配信サーバが接続されている場合には、配信サーバ2は他の配信サーバに映像データを送信し、これを受けた他の配信サーバは、さらに下位に位置する別の配信サーバやクライアント3に映像データを送信する。
続いて、クライアント3は、配信サーバ2あるいは他の配信サーバから受信した映像データを復号化部32でデコードし、デコードした結果をAudio出力部35、Video出力部36に出力する。
次に、上記ストリーミング配信と並行して行われる処理であり、クライアント3におけるクロックをエンコーダ1のクロックに同期させる処理について、図5乃至図7を参照して説明する。
まず、最上位装置であるエンコーダ1は、当該エンコーダ1のクロックを下位装置に伝えるために、映像データを送信しているセッションとは別のユニキャストセッションで、図5に示す処理を定期的に行う。つまり、エンコーダ1のクロック通知部16は、エンコーダ1のクロック信号に依存して増加してカウントされる値であるエンコーダクロック情報「clock0」と、自装置から見た最上位装置とのクロックの速度の比率を表しクライアント3にてクロックの補正値として利用される「R’」と、を下位の配信サーバ2に送信する(ステップS1)。なお、エンコーダ1から送信される「R’」は、初期値「1」である。
続いて、上述したエンコーダ1の下位装置である配信サーバ2は、当該配信サーバ2のクロックを下位装置に伝えるために、映像データを送信しているセッションとは別のユニキャストセッションで、図6に示す処理を定期的に行う。まず、配信サーバ2の配信クロック通知部24は、上述したようにエンコーダ1から送信された「clock0」及び「R’」を受信する(ステップS11)。そして、配信クロック通知部24は、「clock0」及び「R’」の受信が初回である場合には(ステップS12でYes)、「Cbase0」に、上位装置であるエンコーダ1からのエンコーダクロック情報「clock0」の値を記憶し、「Cbase1」に、自装置である配信サーバ2内で出力されているクロック信号に依存して増加してカウントされる値である配信サーバクロック情報「clock1」の値を記憶する(ステップS13)。
その後、配信クロック通知部24は、上位装置であるエンコーダ1からのエンコーダクロック情報「clock0」を受信すると(ステップS11)、今度は初回の受信ではないため(ステップS12でNo)、上記「Cbase0」からのクロックの進み幅、つまり、エンコーダ1におけるクロックの進み幅「C0」を「clock0−Cbase0」にて算出する(ステップS14)。また、エンコーダクロック情報「clock0」を受信したときの配信サーバ2内で出力されているクロック信号に依存して増加してカウントされる配信サーバクロック情報「clock1」を取得し、配信サーバ2におけるクロックの進み幅「C1」を「clock1−Cbase1」にて算出する(ステップS14)。そして、エンコーダ1と配信サーバ2との各クロックの進み幅である「C0」と「C1」との比率「R」を、「C0÷C1」つまり「(clock0−Cbase0)÷(clock1−Cbase1)」で算出する(ステップS14)。さらに、この算出した「R」を、エンコーダ1から受信した「R’」に掛け合わせて、最上位装置と自装置である配信サーバ2とのクロックの速度の比率でありクライアント3におけるクロックの補正値である新たな「R’」を算出する(ステップS14)。
その後、上記配信クロック通知部24は、さらに下位装置であるクライアント3に、配信サーバ2内で生成された配信サーバクロック情報「clock1」を、下位装置から見て上位装置のクロック情報「clock0」として送信すると共に、算出した補正値「R’」を送信する(ステップS15)。
なお、下位装置に他の配信サーバが接続されている場合には、下位の他の配信サーバに配信サーバクロック情報「clock0」と補正値「R’」を送信する。そして、この他の配信サーバは、上述した配信サーバ2と同様に作動して新たな「R’」を算出し、下位装置であるさらに他の配信サーバやクライアント3に「clock0」と「R’」を送信する。
続いて、上述した配信サーバ2の下位装置であり、システム内で最下位装置であるクライアント3は、自装置のクロックを補正する補正値「R’」を算出するために、図7に示す処理を定期的に行う。まず、クライアント3の補正値算出部34は、上述したように上位装置である配信サーバ2から送信された「clock0」及び「R’」を受信する(ステップS21)。なお、上位装置が他の配信サーバであっても同様である。
そして、補正値算出部34は、「clock0」及び「R’」の受信が初回である場合には(ステップS22でYes)、「Cbase0」に、上位装置である配信サーバ2からの配信サーバクロック情報「clock0」の値を記憶し、「Cbase1」に、自装置であるクライアント3内で出力されているクロック信号に依存して増加してカウントされる値であるクライアントクロック情報「clock1」を記憶する(ステップS23)。
その後、補正値算出部34は、上位装置である配信サーバ2からの配信サーバクロック情報「clock0」を受信すると(ステップS21)、今度は初回の受信ではないため(ステップS22でNo)、上記「Cbase0」からのクロックの進み幅、つまり、配信サーバ2におけるクロックの進み幅「C0」を「clock0−Cbase0」にて算出する(ステップS24)。また、クライアントクロック情報「clock0」を受信したときの配信サーバ2内で出力されているクロック信号に依存して増加してカウントされるクライアントクロック情報「clock1」を取得し、クライアントにおけるクロックの進み幅「C1」を「clock1−Cbase1」にて算出する(ステップS24)。そして、配信サーバ2とクライアント3との各クロックの進み幅である「C0」と「C1」との比率「R」を、「C0÷C1」つまり「(clock0−Cbase0)÷(clock1−Cbase1)」で算出する(ステップS24)。さらに、この算出した「R」を、配信サーバ2から受信した「R’」に掛け合わせて、最上位装置と自装置であるクライアント3とのクロックの速度の比率でありクライアント3のクロックの補正値である新たな「R’」を算出する(ステップS24)。
その後、クライアント3は、上述したように算出した補正値「R’」を用いて、自装置で出力された映像データを再生する際に用いるクロック信号を補正する。例えば、クライアント3のクロック信号の値に「R’」を掛け合わせ、当該クロック信号を「R’倍」に変化させて補正する(ステップS25)。そして、クライアント3は、この補正したクロック信号を用いて、映像データをデコードして再生する。
以上のように、本発明では、ストリーミングデータを中継する装置(上記実施形態では配信サーバ)で、自装置と最上位装置とのクロックの速度の比率「R’」を算出して、さらに、この「R’」を下位装置に伝搬していくことで、最下位装置であるクライアント3が、最上位装置であるエンコーダ1とのクロックの速度の比率を算出することが可能である。
従って、クライアント3をエンコーダ1のクロックと同期させることができ、再生中にFIFOバッファの飽和/枯渇を防ぐことができる。なお、上記では、再生クロックを変化させる方法として、再生スピードを「R’」にするという比較的容易に実現できる方法を例示したが、再生クロックを変化させる方法は上述した方法に限定されない。
[実測例]
次に、実際に数値を用いて、本発明におけるストリーミングシステムの効果を検証する。前提として、実時間に比べ、エンコーダ1、配信サーバ2、クライアント3のクロックが、それぞれ1.02倍,1.03倍,0.99倍であるとする。このとき、クライアント3は、理論値として、再生クロックをクライアントの元のクロックの1.02÷0.99=1.030303…倍とする必要がある。
上記状況において、図8に示すように、各装置で「Cbase1」を基準としてから実時間で100秒後の時点における「C1」の値は、エンコーダ1、配信サーバ2、クライアント3で、それぞれ102,103,99となる。また、図8に示すように、各装置における上位装置とのクロックの速度の比率「R」は、配信サーバ2では、エンコーダ1から値102を受け取り、「R」の値は102÷103=0.99029126…となる。同様に、クライアント3では、配信サーバ2から値103を受け取り「R」の値は103÷99=1.04040404…となる。
さらに、各装置と最上位装置とのクロックの速度の比率「R’」は、配信サーバ2では、エンコーダから値1を受け取り、配信サーバ2側の「R」の値を掛けた値が「R’」となるため、図8に示すように、R’=0.99029126…である。同様に、クライアント3では、配信サーバ2から値0.99029126…を受け取り、クライアント3側の「R」の値を掛けた値が「R’」となるため、R’=0.99029126…×1.04040404…=1.03030303…となる。従って、上記理論値と一致する。
一般にクロックの偏差はあまり大きいものではなく、経験上、数時間に1秒程度である。そのため、PCRの挿入間隔は100ms以下に規定されているが、本発明ではclock1およびR’を下位装置に送信する際の送信間隔は、PCRのように短くする必要はなく、数秒〜数分に1回程度実施すれば十分な効果が見込まれる。従って、本発明では、クロック同期再生に必要な計算量が、PCRによる同期再生に比べ非常に少なくすることができる。
また、本発明では、装置間におけるRの値は一意であるため、装置間で送受信されるデータが複数あったとしても、Rの値は共通である。従って、クロックを同期させた再生に必要な計算処理が、装置間で送受信する映像などのデータ数に依存しないこととなる。
ここで、上記では、映像データをライブ配信する場合を説明したが、エンコーダ1から受信したデータを蓄積したコンテンツについても、上述した「R’」を別途記録し、コンテンツ配信をコンテンツのビットレートのR’倍のレートで配信することで、同一の効果を得ることができる。
また、上記では、ユニキャスト配信を想定して説明したが、配信サーバ2からの配信がマルチキャストである場合も、別のマルチキャストアドレス/ポートで「clock0」,「R’」を送信することで、ユニキャスト配信と同一の効果を得ることができる。
また、上記では、エンコーダ1とクライアント3の間に中継する装置は配信サーバ2の1台のみの構成であるが、中継する装置が複数台であったりエンコーダ1とクライアントの3みの構成であっても同一の効果を得ることができる。なお、中継する装置である配信サーバが複数台である場合には、これらが上述した配信サーバと同様に、上位装置から受信したデータを処理して下位装置に送信すればよい。
<付記>
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明におけるストリーミングシステムの構成の概略を、図9を参照して説明する。但し、本発明は、以下の構成に限定されない。
(付記1)
自装置内で出力されたクロック信号に基づいて符号化したストリーミングデータを生成する符号化装置100と、自装置内で出力されたクロック信号に基づいて前記ストリーミングデータをストリーミング配信する配信装置200と、この配信装置からストリーミング配信された前記ストリーミングデータを受信して自装置内で出力されたクロック信号に基づいて復号する受信装置300と、を備え、
前記符号化装置100は、自装置内で出力されたクロック信号に基づいて増加してカウントされる値である符号化装置クロック情報を前記配信装置に送信するクロック通知手段101を備え、
前記配信装置200は、前記符号化装置から受信した前記符号化装置クロック情報の前回受信時からの増加量と、自装置内で出力されたクロック信号に基づいて増加してカウントされる値である配信装置クロック情報の前記符号化装置クロック情報を前回受信したときの値からの増加量と、の比率を算出すると共に、当該算出した比率に基づいて前記受信装置が前記ストリーミングデータを復号する際に用いるクロック信号の補正値を算出し、当該補正値と前記配信装置クロック情報とを前記受信装置側にある下位装置に送信する配信クロック通知手段201を備え、
前記受信装置300は、前記配信装置側にある上位装置から受信した前記配信装置クロック情報の前回受信時からの増加量と、自装置内で出力されたクロック信号に基づいて増加してカウントされる値である受信装置クロック情報の前記上位装置からの前記配信装置クロック情報を前回受信したときの値からの増加量と、の比率を算出すると共に、当該算出した比率と前記上位装置から受信した前記補正値とに基づいて新たな補正値を算出する補正値算出手段301を備えた、
ストリーミングシステム。
(付記2)
付記1に記載のストリーミングシステムであって、
前記受信装置が有する前記補正値算出手段は、前記上位装置から受信した前記補正値と自装置にて算出した前記比率とを乗算して新たな補正値を算出する、
ストリーミングシステム。
(付記3)
付記2に記載のストリーミングシステムであって、
前記符号化装置が有する前記クロック通知手段は、前記符号化クロック情報と共に、初期値が「1」である前記補正値を前記配信装置に送信し、
前記配信装置が有する前記配信クロック通知手段は、前記符号化装置から受信した前記補正値と自装置にて算出した前記比率とを乗算して新たな前記補正値を算出する、
ストリーミングシステム。
(付記4)
付記1乃至3のいずれかに記載のストリーミングシステムであって、
前記配信装置と前記受信装置との間に、1つ又は複数の前記配信装置を他の配信装置として接続して備え、
前記他の配信装置が有する前記配信クロック通知手段は、前記符号化装置側にある別の配信装置から受信した前記配信クロック情報の前回受信時からの増加量と、自装置における前記配信クロック情報の前記別の配信装置からの配信クロック情報を前回受信したときの値からの増加量と、の比率を算出すると共に、前記別の配信装置から受信した前記補正値と前記算出した比率とに基づいて新たな前記補正値を算出し、当該算出した補正値と自装置における前記配信クロック情報とを前記受信装置側に位置する下位装置に送信する、
ストリーミングシステム。
(付記5)
付記4に記載のストリーミングシステムであって、
前記他の配信装置が有する前記配信クロック通知手段は、前記別の配信装置から受信した前記補正値と前記算出した比率とを乗算して新たな前記補正値を算出する、
ストリーミングシステム。
(付記6)
付記1乃至5のいずれかに記載のストリーミングシステムであって、
前記受信装置は、自装置にて算出した前記補正値と当該自装置内で出力されたクロック信号とを掛けた値のクロック信号を用いて、前記ストリーミングデータを復号する、
ストリーミングシステム。
(付記7)
自装置内で出力されたクロック信号に基づいて符号化したストリーミングデータを生成する符号化装置と、自装置内で出力されたクロック信号に基づいて前記ストリーミングデータをストリーミング配信する配信装置と、この配信装置からストリーミング配信された前記ストリーミングデータを受信して自装置内で出力されたクロック信号に基づいて復号する受信装置と、を備えたストリーミングシステムにおける前記受信装置であって、
前記符号化装置が、自装置内で出力されたクロック信号に基づいて増加してカウントされる値である符号化装置クロック情報を前記配信装置に送信するクロック通知手段を備え、
前記配信装置が、前記符号化装置から受信した前記符号化装置クロック情報の前回受信時からの増加量と、自装置内で出力されたクロック信号に基づいて増加してカウントされる値である配信装置クロック情報の前記符号化装置クロック情報を前回受信したときの値からの増加量と、の比率を算出すると共に、当該算出した比率に基づいて前記受信装置が前記ストリーミングデータを復号する際に用いるクロック信号の補正値を算出し、当該補正値と前記配信装置クロック情報とを前記受信装置側にある下位装置に送信する配信クロック通知手段を備えている場合に、
前記受信装置は、前記配信装置側にある上位装置から受信した前記配信装置クロック情報の前回受信時からの増加量と、自装置内で出力されたクロック信号に基づいて増加してカウントされる値である受信装置クロック情報の前記上位装置からの前記配信装置クロック情報を前回受信したときの値からの増加量と、の比率を算出すると共に、当該算出した比率と前記上位装置から受信した前記補正値とに基づいて新たな補正値を算出する補正値算出手段を備えている、
受信装置。
(付記8)
付記7に記載の受信装置であって、
前記補正値算出手段は、前記上位装置から受信した前記補正値と自装置にて算出した前記比率とを乗算して新たな補正値を算出する、
受信装置。
(付記9)
自装置内で出力されたクロック信号に基づいて符号化したストリーミングデータを生成する符号化装置と、自装置内で出力されたクロック信号に基づいて前記ストリーミングデータをストリーミング配信する配信装置と、この配信装置からストリーミング配信された前記ストリーミングデータを受信して自装置内で出力されたクロック信号に基づいて復号する受信装置と、を備えたストリーミングシステムにおける前記受信装置の動作を制御するプログラムであって、
前記符号化装置が、自装置内で出力されたクロック信号に基づいて増加してカウントされる値である符号化装置クロック情報を前記配信装置に送信するクロック通知手段を備え、
前記配信装置が、前記符号化装置から受信した前記符号化装置クロック情報の前回受信時からの増加量と、自装置内で出力されたクロック信号に基づいて増加してカウントされる値である配信装置クロック情報の前記符号化装置クロック情報を前回受信したときの値からの増加量と、の比率を算出すると共に、当該算出した比率に基づいて前記受信装置が前記ストリーミングデータを復号する際に用いるクロック信号の補正値を算出し、当該補正値と前記配信装置クロック情報とを前記受信装置側にある下位装置に送信する配信クロック通知手段を備えている場合に、
前記受信装置に、前記配信装置側にある上位装置から受信した前記配信装置クロック情報の前回受信時からの増加量と、自装置内で出力されたクロック信号に基づいて増加してカウントされる値である受信装置クロック情報の前記上位装置からの前記配信装置クロック情報を前回受信したときの値からの増加量と、の比率を算出すると共に、当該算出した比率と前記上位装置から受信した前記補正値とに基づいて新たな補正値を算出する補正値算出手段を実現させるためのプログラム。
(付記10)
付記9に記載のプログラムであって、
前記補正値算出手段は、前記上位装置から受信した前記補正値と自装置にて算出した前記比率とを乗算して新たな補正値を算出する、
プログラム。
(付記11)
自装置内で出力されたクロック信号に基づいて符号化したストリーミングデータを生成する符号化装置と、自装置内で出力されたクロック信号に基づいて前記ストリーミングデータをストリーミング配信する配信装置と、この配信装置からストリーミング配信された前記ストリーミングデータを受信して自装置内で出力されたクロック信号に基づいて復号する受信装置と、を備えたストリーミングシステムによるストリーミング配信方法であって、
前記符号化装置が、自装置内で出力されたクロック信号に基づいて増加してカウントされる値である符号化装置クロック情報を前記配信装置に送信し、
前記配信装置は、前記符号化装置から受信した前記符号化装置クロック情報の前回受信時からの増加量と、自装置内で出力されたクロック信号に基づいて増加してカウントされる値である配信装置クロック情報の前記符号化装置クロック情報を前回受信したときの値からの増加量と、の比率を算出すると共に、当該算出した比率に基づいて前記受信装置が前記ストリーミングデータを復号する際に用いるクロック信号の補正値を算出し、当該補正値と前記配信装置クロック情報とを前記受信装置側にある下位装置に送信し、
前記受信装置は、前記配信装置側にある上位装置から受信した前記配信装置クロック情報の前回受信時からの増加量と、自装置内で出力されたクロック信号に基づいて増加してカウントされる値である受信装置クロック情報の前記上位装置からの前記配信装置クロック情報を前回受信したときの値からの増加量と、の比率を算出すると共に、当該算出した比率と前記上位装置から受信した前記補正値とに基づいて新たな補正値を算出し、この算出した補正値にて自装置内で出力されたクロック信号を補正して当該補正したクロック信号を用いて前記ストリーミングデータを復号する、
ストリーミング配信方法。
(付記12)
付記11に記載のストリーミング配信方法であって、
前記受信装置は、前記上位装置から受信した前記補正値と自装置にて算出した前記比率とを乗算して新たな補正値を算出する、
ストリーミング配信方法。
1 エンコーダ
11 キャプチャ部
12 受信部
13 符号化部
14 記録部
15 記憶部
16 クロック通知部
17 送信部
2 配信サーバ
21 受信部
22 記録部
23 記憶部
24 配信クロック通知部
25 送信部
3 クライアント
31 受信部
32 復号化部
33 記憶部
34 補正値算出部
35 Audio信号出力装置
36 Video信号出力装置
100 符号化装置
101 クロック通知手段
200 配信装置
201 配信クロック通知手段
300 受信装置
301 補正値算出手段

Claims (12)

  1. 自装置内で出力されたクロック信号に基づいて符号化したストリーミングデータを生成する符号化装置と、自装置内で出力されたクロック信号に基づいて前記ストリーミングデータをストリーミング配信する配信装置と、この配信装置からストリーミング配信された前記ストリーミングデータを受信して自装置内で出力されたクロック信号に基づいて復号する受信装置と、を備え、
    前記符号化装置は、自装置内で出力されたクロック信号に基づいて増加してカウントされる値である符号化装置クロック情報を前記配信装置に送信するクロック通知手段を備え、
    前記配信装置は、前記符号化装置から受信した前記符号化装置クロック情報の前回受信時からの増加量と、自装置内で出力されたクロック信号に基づいて増加してカウントされる値である配信装置クロック情報の前記符号化装置クロック情報を前回受信したときの値からの増加量と、の比率を算出すると共に、当該算出した比率に基づいて前記受信装置が前記ストリーミングデータを復号する際に用いるクロック信号の補正値を算出し、当該補正値と前記配信装置クロック情報とを前記受信装置側にある下位装置に送信する配信クロック通知手段を備え、
    前記受信装置は、前記配信装置側にある上位装置から受信した前記配信装置クロック情報の前回受信時からの増加量と、自装置内で出力されたクロック信号に基づいて増加してカウントされる値である受信装置クロック情報の前記上位装置からの前記配信装置クロック情報を前回受信したときの値からの増加量と、の比率を算出すると共に、当該算出した比率と前記上位装置から受信した前記補正値とに基づいて新たな補正値を算出する補正値算出手段を備えた、
    ストリーミングシステム。
  2. 請求項1に記載のストリーミングシステムであって、
    前記受信装置が有する前記補正値算出手段は、前記上位装置から受信した前記補正値と自装置にて算出した前記比率とを乗算して新たな補正値を算出する、
    ストリーミングシステム。
  3. 請求項2に記載のストリーミングシステムであって、
    前記符号化装置が有する前記クロック通知手段は、前記符号化クロック情報と共に、初期値が「1」である前記補正値を前記配信装置に送信し、
    前記配信装置が有する前記配信クロック通知手段は、前記符号化装置から受信した前記補正値と自装置にて算出した前記比率とを乗算して新たな前記補正値を算出する、
    ストリーミングシステム。
  4. 請求項1乃至3のいずれかに記載のストリーミングシステムであって、
    前記配信装置と前記受信装置との間に、1つ又は複数の前記配信装置を他の配信装置として接続して備え、
    前記他の配信装置が有する前記配信クロック通知手段は、前記符号化装置側にある別の配信装置から受信した前記配信クロック情報の前回受信時からの増加量と、自装置における前記配信クロック情報の前記別の配信装置からの配信クロック情報を前回受信したときの値からの増加量と、の比率を算出すると共に、前記別の配信装置から受信した前記補正値と前記算出した比率とに基づいて新たな前記補正値を算出し、当該算出した補正値と自装置における前記配信クロック情報とを前記受信装置側に位置する下位装置に送信する、
    ストリーミングシステム。
  5. 請求項4に記載のストリーミングシステムであって、
    前記他の配信装置が有する前記配信クロック通知手段は、前記別の配信装置から受信した前記補正値と前記算出した比率とを乗算して新たな前記補正値を算出する、
    ストリーミングシステム。
  6. 請求項1乃至5のいずれかに記載のストリーミングシステムであって、
    前記受信装置は、自装置にて算出した前記補正値と当該自装置内で出力されたクロック信号とを掛けた値のクロック信号を用いて、前記ストリーミングデータを復号する、
    ストリーミングシステム。
  7. 自装置内で出力されたクロック信号に基づいて符号化したストリーミングデータを生成する符号化装置と、自装置内で出力されたクロック信号に基づいて前記ストリーミングデータをストリーミング配信する配信装置と、この配信装置からストリーミング配信された前記ストリーミングデータを受信して自装置内で出力されたクロック信号に基づいて復号する受信装置と、を備えたストリーミングシステムにおける前記受信装置であって、
    前記符号化装置が、自装置内で出力されたクロック信号に基づいて増加してカウントされる値である符号化装置クロック情報を前記配信装置に送信するクロック通知手段を備え、
    前記配信装置が、前記符号化装置から受信した前記符号化装置クロック情報の前回受信時からの増加量と、自装置内で出力されたクロック信号に基づいて増加してカウントされる値である配信装置クロック情報の前記符号化装置クロック情報を前回受信したときの値からの増加量と、の比率を算出すると共に、当該算出した比率に基づいて前記受信装置が前記ストリーミングデータを復号する際に用いるクロック信号の補正値を算出し、当該補正値と前記配信装置クロック情報とを前記受信装置側にある下位装置に送信する配信クロック通知手段を備えている場合に、
    前記受信装置は、前記配信装置側にある上位装置から受信した前記配信装置クロック情報の前回受信時からの増加量と、自装置内で出力されたクロック信号に基づいて増加してカウントされる値である受信装置クロック情報の前記上位装置からの前記配信装置クロック情報を前回受信したときの値からの増加量と、の比率を算出すると共に、当該算出した比率と前記上位装置から受信した前記補正値とに基づいて新たな補正値を算出する補正値算出手段を備えている、
    受信装置。
  8. 請求項7に記載の受信装置であって、
    前記補正値算出手段は、前記上位装置から受信した前記補正値と自装置にて算出した前記比率とを乗算して新たな補正値を算出する、
    受信装置。
  9. 自装置内で出力されたクロック信号に基づいて符号化したストリーミングデータを生成する符号化装置と、自装置内で出力されたクロック信号に基づいて前記ストリーミングデータをストリーミング配信する配信装置と、この配信装置からストリーミング配信された前記ストリーミングデータを受信して自装置内で出力されたクロック信号に基づいて復号する受信装置と、を備えたストリーミングシステムにおける前記受信装置の動作を制御するプログラムであって、
    前記符号化装置が、自装置内で出力されたクロック信号に基づいて増加してカウントされる値である符号化装置クロック情報を前記配信装置に送信するクロック通知手段を備え、
    前記配信装置が、前記符号化装置から受信した前記符号化装置クロック情報の前回受信時からの増加量と、自装置内で出力されたクロック信号に基づいて増加してカウントされる値である配信装置クロック情報の前記符号化装置クロック情報を前回受信したときの値からの増加量と、の比率を算出すると共に、当該算出した比率に基づいて前記受信装置が前記ストリーミングデータを復号する際に用いるクロック信号の補正値を算出し、当該補正値と前記配信装置クロック情報とを前記受信装置側にある下位装置に送信する配信クロック通知手段を備えている場合に、
    前記受信装置に、前記配信装置側にある上位装置から受信した前記配信装置クロック情報の前回受信時からの増加量と、自装置内で出力されたクロック信号に基づいて増加してカウントされる値である受信装置クロック情報の前記上位装置からの前記配信装置クロック情報を前回受信したときの値からの増加量と、の比率を算出すると共に、当該算出した比率と前記上位装置から受信した前記補正値とに基づいて新たな補正値を算出する補正値算出手段を実現させるためのプログラム。
  10. 請求項9に記載のプログラムであって、
    前記補正値算出手段は、前記上位装置から受信した前記補正値と自装置にて算出した前記比率とを乗算して新たな補正値を算出する、
    プログラム。
  11. 自装置内で出力されたクロック信号に基づいて符号化したストリーミングデータを生成する符号化装置と、自装置内で出力されたクロック信号に基づいて前記ストリーミングデータをストリーミング配信する配信装置と、この配信装置からストリーミング配信された前記ストリーミングデータを受信して自装置内で出力されたクロック信号に基づいて復号する受信装置と、を備えたストリーミングシステムによるストリーミング配信方法であって、
    前記符号化装置が、自装置内で出力されたクロック信号に基づいて増加してカウントされる値である符号化装置クロック情報を前記配信装置に送信し、
    前記配信装置は、前記符号化装置から受信した前記符号化装置クロック情報の前回受信時からの増加量と、自装置内で出力されたクロック信号に基づいて増加してカウントされる値である配信装置クロック情報の前記符号化装置クロック情報を前回受信したときの値からの増加量と、の比率を算出すると共に、当該算出した比率に基づいて前記受信装置が前記ストリーミングデータを復号する際に用いるクロック信号の補正値を算出し、当該補正値と前記配信装置クロック情報とを前記受信装置側にある下位装置に送信し、
    前記受信装置は、前記配信装置側にある上位装置から受信した前記配信装置クロック情報の前回受信時からの増加量と、自装置内で出力されたクロック信号に基づいて増加してカウントされる値である受信装置クロック情報の前記上位装置からの前記配信装置クロック情報を前回受信したときの値からの増加量と、の比率を算出すると共に、当該算出した比率と前記上位装置から受信した前記補正値とに基づいて新たな補正値を算出し、この算出した補正値にて自装置内で出力されたクロック信号を補正して当該補正したクロック信号を用いて前記ストリーミングデータを復号する、
    ストリーミング配信方法。
  12. 請求項11に記載のストリーミング配信方法であって、
    前記受信装置は、前記上位装置から受信した前記補正値と自装置にて算出した前記比率とを乗算して新たな補正値を算出する、
    ストリーミング配信方法。
JP2011028182A 2011-02-14 2011-02-14 ストリーミングシステム Expired - Fee Related JP5720285B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011028182A JP5720285B2 (ja) 2011-02-14 2011-02-14 ストリーミングシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011028182A JP5720285B2 (ja) 2011-02-14 2011-02-14 ストリーミングシステム

Publications (2)

Publication Number Publication Date
JP2012169802A true JP2012169802A (ja) 2012-09-06
JP5720285B2 JP5720285B2 (ja) 2015-05-20

Family

ID=46973522

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011028182A Expired - Fee Related JP5720285B2 (ja) 2011-02-14 2011-02-14 ストリーミングシステム

Country Status (1)

Country Link
JP (1) JP5720285B2 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10145345A (ja) * 1996-11-14 1998-05-29 Nippon Telegr & Teleph Corp <Ntt> 従属同期方法及びそのシステム
JP2001230750A (ja) * 2000-02-17 2001-08-24 Matsushita Electric Ind Co Ltd ストリーム送信装置とその受信装置、及び基本周波数同期方法
JP2003249922A (ja) * 2002-02-26 2003-09-05 Sony Corp データ受信装置、および受信データ処理方法、並びにコンピュータ・プログラム
JP2003333022A (ja) * 2002-04-12 2003-11-21 Nec Corp 移動無線通信装置及び動作方法
JP2006014089A (ja) * 2004-06-28 2006-01-12 Sony Corp 受信装置、通信システム、受信方法及び受信プログラム
JP2011029756A (ja) * 2009-07-22 2011-02-10 Mitsubishi Electric Corp 同期基準送信端末及び受信端末、同期基準送受信端末、同期システム、同期方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10145345A (ja) * 1996-11-14 1998-05-29 Nippon Telegr & Teleph Corp <Ntt> 従属同期方法及びそのシステム
JP2001230750A (ja) * 2000-02-17 2001-08-24 Matsushita Electric Ind Co Ltd ストリーム送信装置とその受信装置、及び基本周波数同期方法
JP2003249922A (ja) * 2002-02-26 2003-09-05 Sony Corp データ受信装置、および受信データ処理方法、並びにコンピュータ・プログラム
JP2003333022A (ja) * 2002-04-12 2003-11-21 Nec Corp 移動無線通信装置及び動作方法
JP2006014089A (ja) * 2004-06-28 2006-01-12 Sony Corp 受信装置、通信システム、受信方法及び受信プログラム
JP2011029756A (ja) * 2009-07-22 2011-02-10 Mitsubishi Electric Corp 同期基準送信端末及び受信端末、同期基準送受信端末、同期システム、同期方法

Also Published As

Publication number Publication date
JP5720285B2 (ja) 2015-05-20

Similar Documents

Publication Publication Date Title
JP7036962B2 (ja) 再生方法および再生装置
US9426335B2 (en) Preserving synchronized playout of auxiliary audio transmission
US8300667B2 (en) Buffer expansion and contraction over successive intervals for network devices
EP3020204B1 (en) Synchronized data processing between receivers
US9621682B2 (en) Reduced latency media distribution system
JP2016526349A (ja) 複数のオーバーザトップストリーミングクライアントを同期させること
JP6617809B2 (ja) 復号装置、復号方法、および復号用プログラム
JP6122626B2 (ja) 復号装置およびプログラム
JP6753500B2 (ja) 受信機器、および復号・提示方法
US10231007B2 (en) Transmission device, transmitting method, reception device, and receiving method
WO2018224839A2 (en) Methods and systems for generating a reaction video
US10135945B2 (en) Methods and systems for boundary placement in a data stream
EP2479984A1 (en) Device and method for synchronizing content received from different sources
JP5720285B2 (ja) ストリーミングシステム
JP5082715B2 (ja) 受信装置、受信方法およびコンピュータプログラム
JP2008092161A (ja) 通信端末、マルチメディア再生制御方法、およびプログラム
Jung et al. A client-driven media synchronization mechanism for RTP packet-based video streaming
JP2016076884A (ja) マルチメディア同期再生装置及びマルチメディア同期再生方法
JP4188402B2 (ja) 映像受信装置
JP2019097115A (ja) Mpu処理装置、送信装置、mpu処理方法及びプログラム
JP2004112129A (ja) 映像配信装置及び映像配信工程を実現するプログラム
JP2017046236A (ja) コンテンツ伝送システム、送信装置、受信装置、送信方法、受信方法、プログラム
JP2005236559A (ja) 映像受信装置
JP2009141458A (ja) 記録再生装置、記録再生方法及びプログラム

Legal Events

Date Code Title Description
RD07 Notification of extinguishment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7427

Effective date: 20120719

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150309

R150 Certificate of patent or registration of utility model

Ref document number: 5720285

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees