JP2012257051A - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP2012257051A JP2012257051A JP2011128478A JP2011128478A JP2012257051A JP 2012257051 A JP2012257051 A JP 2012257051A JP 2011128478 A JP2011128478 A JP 2011128478A JP 2011128478 A JP2011128478 A JP 2011128478A JP 2012257051 A JP2012257051 A JP 2012257051A
- Authority
- JP
- Japan
- Prior art keywords
- video data
- data streams
- shift
- video
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 16
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000001514 detection method Methods 0.000 claims abstract description 23
- 230000002123 temporal effect Effects 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 33
- 239000000872 buffer Substances 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 24
- 238000011084 recovery Methods 0.000 claims description 16
- 230000037433 frameshift Effects 0.000 description 39
- 230000001360 synchronised effect Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 18
- 230000005540 biological transmission Effects 0.000 description 14
- 101000701446 Homo sapiens Stanniocalcin-2 Proteins 0.000 description 5
- 102100030510 Stanniocalcin-2 Human genes 0.000 description 5
- 230000003111 delayed effect Effects 0.000 description 5
- 101100279959 Gibberella fujikuroi (strain CBS 195.34 / IMI 58289 / NRRL A-6831) STC3 gene Proteins 0.000 description 4
- 101000701440 Homo sapiens Stanniocalcin-1 Proteins 0.000 description 4
- 102100030511 Stanniocalcin-1 Human genes 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 238000001094 photothermal spectroscopy Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 101100393982 Gibberella fujikuroi (strain CBS 195.34 / IMI 58289 / NRRL A-6831) STC5 gene Proteins 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】複数の映像ストリームのフレーム単位での再生ずれを抑える。
【解決手段】本開示に係る情報処理装置は、時間的に同期して送信された異なる複数の映像データストリームをそれぞれ受信する受信部と、前記複数の映像データストリームの時間的なずれを検出するずれ検出部と、前記ずれ検出部で前記複数の映像データストリームの時間的なずれが検出された場合に、ずれを回復する処理を行うずれ回復処理部と、を備える。
【選択図】図3
【解決手段】本開示に係る情報処理装置は、時間的に同期して送信された異なる複数の映像データストリームをそれぞれ受信する受信部と、前記複数の映像データストリームの時間的なずれを検出するずれ検出部と、前記ずれ検出部で前記複数の映像データストリームの時間的なずれが検出された場合に、ずれを回復する処理を行うずれ回復処理部と、を備える。
【選択図】図3
Description
本開示は、情報処理装置、情報処理方法及びプログラムに関する。
従来、例えば下記の特許文献1には、複数の通信を受信側で同期させて受信することを想定した技術が記載されている。
しかしながら、上記特許文献1に記載された技術では、送信側が付与した同期データを受信側で処理しなければならないため、処理が煩雑となり、処理負荷が高くなるという問題がある。また、この方式では、ジッタに起因して発生する複数のストリームのフレーム単位での再生ずれを抑えることはできない。
そこで、複数ストリームのフレーム単位で再生ずれを抑えることが求められていた。
本開示によれば、時間的に同期して送信された異なる複数の映像データストリームをそれぞれ受信する受信部と、前記複数の映像データストリームの時間的なずれを検出するずれ検出部と、前記ずれ検出部で前記複数の映像データストリームの時間的なずれが検出された場合に、ずれを回復する処理を行うずれ回復処理部と、を備える、情報処理装置が提供される。
本開示によれば、複数のストリームのフレーム単位で再生ずれを抑えることが可能となる。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.前提となる技術
2.送信側、受信側の端末構成
3.トランスポートストリームの構成
4.フレーム表示の例
5.フレームずれを検知する処理
6.フレームずれを回復する処理
1.前提となる技術
2.送信側、受信側の端末構成
3.トランスポートストリームの構成
4.フレーム表示の例
5.フレームずれを検知する処理
6.フレームずれを回復する処理
1.前提となる技術
先ず、本実施形態の前提となる技術について説明する。図1は、左目用映像と右目用映像とからなる立体映像を別々にストリーミング(3Dデュアルストリーミング)し、IPネットワークを介して受信側の装置に送信するシステムの一例を示している。
先ず、本実施形態の前提となる技術について説明する。図1は、左目用映像と右目用映像とからなる立体映像を別々にストリーミング(3Dデュアルストリーミング)し、IPネットワークを介して受信側の装置に送信するシステムの一例を示している。
図1に示す構成において、3Dカメラ102で撮影された左目映像と右目映像は、送信側で別々に設けられたエンコーダ110,120により各々が同期してエンコードされ、RTPパケット等にパケット化された後、IPネットワーク300を介して受信側の機器へストリーミングされる。なお、図1では、同一のIPネットワーク300を介して左目映像と右目映像がストリーミングされる様子を示しているが、左目映像と右目映像は別のネットワークを介して別経路でストリーミングされても良い。受信側の機器では、左目映像と右目映像を別々のデコーダ210,220で同期デコードし、表示部(ディスプレイ)230に表示する。
なお、映像をスクリーンに投影する場合は、デコーダ210,220で同期デコードされた映像データが、左目用プロジェクタと右目用プロジェクタ(不図示)にそれぞれ入力される。そして、左目映像が左目用プロジェクタで投影され、右目映像が右目用プロジェクタで投影される。
表示部230は、左目映像と右目映像を所定周期で交互にスクリーン上に投影する。映像をスクリーンに投影する場合、左目用プロジェクタ及び右目用プロジェクタは、左目映像と右目映像を所定周期で交互にスクリーン上に投影する。立体映像を視認するユーザは、左目と右目の前に液晶シャッターを備えるシャッター眼鏡を装着する。シャッター眼鏡は、表示画面上で左目映像と右目映像が切り換わる周期と同期して左右の液晶シャッターを交互に開閉する。そして、左目映像が表示されるタイミングでは、ユーザの左目の前の液晶シャッターのみが開かれ、右目映像が表示されるタイミングでは、ユーザの右目の前の液晶シャッターのみが開かれる。これにより、ユーザの左目には左映像が視認され、右目には右目映像が視認されることとなり、ユーザは立体映像を視認することができる。
図1に示すような複数の映像をストリーミングする構成では、送信側のエンコーダ110,120では複数の映像を同じタイミングで同期エンコード処理し、受信側のデコーダ210,220では同じタイミングで同期デコード処理する。IPネットワーク300上でジッタが少なく、複数のストリームが到着する遅延時間が少ない状態であれば、同期エンコード処理と同期デコード処理を行うことで、3Dデュアルストリームの映像を同期して再生することが可能である。
しかし、複数映像のストリーミングの際にジッタ、遅延、パケットロス等が発生すると、同期デコードすべきタイミングでコンテンツが受信側のデコーダ210,220に入力されない状態が発生し、左右の再生される映像がフレーム単位でずれてしまう。また一度左右の映像がフレーム単位でずれてしまうと、その後の映像もフレーム単位でずれた状態のままとなり、同期デコードを行うことができなくなる。
以上のように、複数映像のストリーミングを行う場合、パケットロス、ネットワーク300におけるジッタ、遅延の影響等により、いずれか一方の映像が他方に対して遅延した状態で受信側の装置に到達ししまうことが考えられる。この場合、左映像と右映像のフレームにずれが生じてしまい、所望の立体映像を表示することが困難となる。このため、以下に説明する本実施形態では、フレームにずれが生じた場合は、これを検出し、回復させる処理を行う。以下、詳細に説明する。
2.送信側、受信側の端末構成
図2及び図3は、送信側と受信側の端末の構成をそれぞれ示す模式図である。図2及び図3に示す各構成要素は、ハードウェア(回路)、またはCPUなどの中央演算処理装置と、これを機能させるためのプログラムから構成することができる。この場合に、そのプログラムは、端末が備えるメモリなどの記憶部に格納されることができ、また、ディスク状記憶媒体、USBメモリなど外部から挿入される記憶媒体に格納されることができる。図2は、送信側端末100の構成を示す模式図である。送信側端末100は、左目映像のエンコーダ110、左目映像のネットワークインタフェース130、右目映像のエンコーダ120、右目映像のネットワークインタフェース140、同期エンコード処理部150、を備える。
図2及び図3は、送信側と受信側の端末の構成をそれぞれ示す模式図である。図2及び図3に示す各構成要素は、ハードウェア(回路)、またはCPUなどの中央演算処理装置と、これを機能させるためのプログラムから構成することができる。この場合に、そのプログラムは、端末が備えるメモリなどの記憶部に格納されることができ、また、ディスク状記憶媒体、USBメモリなど外部から挿入される記憶媒体に格納されることができる。図2は、送信側端末100の構成を示す模式図である。送信側端末100は、左目映像のエンコーダ110、左目映像のネットワークインタフェース130、右目映像のエンコーダ120、右目映像のネットワークインタフェース140、同期エンコード処理部150、を備える。
左目映像のエンコーダ110と右目映像のエンコーダ120は、同期エンコード処理部150が発生する同期クロックに基づいて動作し、左右の映像(左目映像及び右目映像)を同期してエンコードする。エンコードされた左右の映像は、RTPパケットなどにパケット化され、左右のネットワークインターフェース130,140から受信側端末200に送信される。例えばエンコードしたデータをMPEG2システムに入れる場合において、同期エンコード処理部150が発生する同期したクロックに基づきエンコーダ110,120が動作している場合、同じフレームの映像に関しては同じPTS(Presentation Time Stamp)が付与される。
図3は、受信側端末200の構成を示す模式図である。受信側端末200は、左目映像のデコーダ210、右目映像のデコーダ220、左目映像のネットワークインタフェース250、左目映像のバッファ260、右目映像のネットワークインタフェース270、右目映像のバッファ280、フレームずれ検知処理部282、フレームずれ回復処理部284、を備える。また、受信側端末200は、クロック290、PWM292を備える。
ネットワークインタフェース250は、送信側端末100から送られた左目映像のRTPパケットを受信する。ネットワークインタフェース270は、送信側端末100から送られた右目映像のRTPパケットを受信する。受信した左目映像のRTPパケットはバッファ260に送られ、受信した右目映像のRTPパケットはバッファ280に送られる。そして、ネットワークインターフェース250,270から受信したRTPパケットは、バッファ260,280を経由して同期デコードを行っているデコーダ210,220に送信される。
発振器290は、一定の周期でクロック信号を発生させる。デコーダ210,220は、発振器290が発生するクロック信号に基づいて、左目映像と右目映像の同期デコードを行う。
ここで、IPネットワーク300でのジッタや遅延がバッファ260,280で吸収できる程度の大きさであれば、デコーダ210,220が同期デコードし続けることは可能であるが、バッファ260,280の許容量を超えるジッタや遅延がある場合は、フレームずれが発生する。
3.トランスポートストリームの構成
図4は、トランスポートストリームの構成を示す模式図である。図4に示すように、映像データ(ビデオ符号化データ)は、MPEG2システムのTS(Transport Stream)に分割される。送信側端末100のエンコーダ110,120は、映像データの1フレームを複数のTSに分割し、先頭のTSにPTS(Presentation Time Stamp)を記述することで、受信側端末200のデコーダ210,220側がフレームを表示すべきタイミングを通知する。PTSは、トランスポートストリームのTSヘッダに挿入される。また、メディア間の同期をとるためのPCR(Program Clock Reference)情報、PAT,PMT等のプログラム情報などもTSパケットに分割される。また、図4に示すように、IPネットワーク300上でTSを送信する際には、TSパケットの前にRTPヘッダとIPヘッダを追加して送信する。
図4は、トランスポートストリームの構成を示す模式図である。図4に示すように、映像データ(ビデオ符号化データ)は、MPEG2システムのTS(Transport Stream)に分割される。送信側端末100のエンコーダ110,120は、映像データの1フレームを複数のTSに分割し、先頭のTSにPTS(Presentation Time Stamp)を記述することで、受信側端末200のデコーダ210,220側がフレームを表示すべきタイミングを通知する。PTSは、トランスポートストリームのTSヘッダに挿入される。また、メディア間の同期をとるためのPCR(Program Clock Reference)情報、PAT,PMT等のプログラム情報などもTSパケットに分割される。また、図4に示すように、IPネットワーク300上でTSを送信する際には、TSパケットの前にRTPヘッダとIPヘッダを追加して送信する。
なお、放送波などでは、遅延が少なく、ジッタが少なく、ロスがほとんど起きない環境下では、STCをPCRのクロックに同期させて、フレームを同期させることができる。しかし、IPネットワーク300のようにジッタが大きくパケットロスが多い環境下では、PCRを用いたクロック同期を行うことができない。
図5は、本実施形態のようなIPネットワーク300を用いたシステムでのデコードの仕組みを示す模式図である。IPネットワーク300では、放送波のようなPCRを用いたクロック同期を行うことはできないので、PCRの値とは独立してクロックコントロールを行う。受信側端末200は、PWM292により発振器(VCXO)290を制御し、デコーダ210,220にクロック信号を入力する。デコーダ210,220は、入力されたクロック信号に基づいてSTC(システムクロック)をカウントアップし、ネットワークインターフェース250,270から受信したTSのPTSに基づいてフレームの表示を行う。このときのPWMのコントロール方法は、バッファサイズの遷移などの方法で行うことが可能である。
4.フレーム表示の例
図6は、STCとPTSの値に基づいてフレーム表示を行う様子を示す模式図である。図6において、P1,P2,P3・・・は、1フレームのTSパケットを示している。図6に示す構成では、STCとPTSが厳密な同期を行うことはできないので、PTSとSTCは絶対時間では一致しない。そこでフレームを表示は、STCの差分値とPTSの差分値が一致した時に行う。図6に示すように、フレームを表示すべきタイミングSTC1,
STC2においては、STC1,STC2のタイミングよりも前に到着したTSパケットで構成されるP1,P2のフレームを表示している。例えば、30フレーム/sのフレームレートで表示を行う際にSTC1が0[s]のタイミングでPTSが20msの映像フレームを表示したとすると、次のフレームを表示するSTC2は33msとなるので、PTSの値が55msと記述されているTSパケットで構成されるフレームをSTC2のタイミングで表示する。
図6は、STCとPTSの値に基づいてフレーム表示を行う様子を示す模式図である。図6において、P1,P2,P3・・・は、1フレームのTSパケットを示している。図6に示す構成では、STCとPTSが厳密な同期を行うことはできないので、PTSとSTCは絶対時間では一致しない。そこでフレームを表示は、STCの差分値とPTSの差分値が一致した時に行う。図6に示すように、フレームを表示すべきタイミングSTC1,
STC2においては、STC1,STC2のタイミングよりも前に到着したTSパケットで構成されるP1,P2のフレームを表示している。例えば、30フレーム/sのフレームレートで表示を行う際にSTC1が0[s]のタイミングでPTSが20msの映像フレームを表示したとすると、次のフレームを表示するSTC2は33msとなるので、PTSの値が55msと記述されているTSパケットで構成されるフレームをSTC2のタイミングで表示する。
図7は、ジッタが大きい場合にフレーム表示を行う様子を示す模式図である。PTSが記述されたTSパケットの到着タイミングがジッタにより遅れてしまうと、フレームを表示すべきタイミングで該当のフレームが表示できなくなる。図7に示す例では、STC3のタイミングでP3のフレームが到着していないため、STC3のタイミングでP3のフレームを表示することができない。次のSTC4のタイミングでどのフレームを表示するかはデコーダの仕様次第ではあるが、IPネットワーク300ではルーティング変更によりパケット到着が定常的に遅くなる可能性があることを考慮すると、バッファに蓄積されているP3のフレームをSTC4のタイミングで表示し、その後は新たなPTSとSTCの差分値に基づいてフレーム表示を行うことになる。
図7に示すようなジッタが発生した場合においても、2D映像の場合は、ストリーミングする映像データが1つであるため、複数映像におけるフレームずれの問題は生じない。しかしながら、複数の映像データをストリーミングする場合、ある映像データが他のデータに対して遅れてしまう問題が発生する。例えば、3Dデュアルストリーミングでフレーム同期を行う場合、一方のストリーミングデータのみにジッタが発生すると、一方の映像に対して他方の映像が遅れて表示されてしまう。
図8は、3Dの映像データでフレームずれが発生した場合を示す模式図である。左映像のP3のフレームのジッタが大きい場合、P3のフレームを表示すべきタイミング(STC3)で、左映像のP3のフレームを表示することができない。IPネットワーク300に対応したデコーダを用いている場合、次のSTC4のタイミングで右映像はP4のフレームを表示するのに対して、左映像はP3のフレームを表示する。この後のフレームも同様に、STCの差分とPTSの差分に基づいて表示することから、常にフレームずれの状態が継続してしまう。
このため、本実施形態では、フレームずれ検知処理部282が、左目映像と右目映像のデコーダ210,220のデータからフレームずれの発生を検知する。そして、フレームずれ検知処理部282は、左目映像と右目映像にフレームずれが発生している場合は、その旨をフレームずれ回復処理部284に通知する。フレームずれ回復処理部284は、フレームずれが生じている旨の通知を受けると、左目映像と右目映像のバッファ260,280に対してフレームずれの回復処理を行う。
5.フレームずれを検知する処理
図9は、フレームずれを検知する処理を示すフローチャートである。図9に示す処理は、フレームずれ検知処理部282が主として行う。先ず、ステップS10では、フレーム更新タイミングが到来したか否かを判定する。フレーム更新タイミングは、エンコードした映像データのフレームレートに応じて一定の値に定められており、図6〜図8等に示したSTC1,STC2,STC3,・・・に対応する。例えば、30pのフレームレートであれば33.3ms毎にフレームが更新される。ステップS10において、フレーム更新タイミングが到来した場合はステップS12へ進む。一方、ステップS10において、フレーム更新タイミングが到来していない場合は、ステップS10で待機する。
図9は、フレームずれを検知する処理を示すフローチャートである。図9に示す処理は、フレームずれ検知処理部282が主として行う。先ず、ステップS10では、フレーム更新タイミングが到来したか否かを判定する。フレーム更新タイミングは、エンコードした映像データのフレームレートに応じて一定の値に定められており、図6〜図8等に示したSTC1,STC2,STC3,・・・に対応する。例えば、30pのフレームレートであれば33.3ms毎にフレームが更新される。ステップS10において、フレーム更新タイミングが到来した場合はステップS12へ進む。一方、ステップS10において、フレーム更新タイミングが到来していない場合は、ステップS10で待機する。
ステップS12に進んだ場合、フレーム更新タイミングにおいて、フレームずれ検知処理部282は、2つのデコーダ210,220から、デコーダ210,220が表示部230に現在表示している左目映像と右目映像のフレームのPTS(Presentation Time Stamp)を取得する。次のステップS14では、ステップS12で取得した2つのPTSを比較する。
ステップS14での比較の結果、2つのPTSが異なる場合は、ステップS16へ進む。この場合、フレームずれ検知処理部282は、左右の映像のフレームがずれていると判定する。例えば、図8のSTC4では、左目映像がP4のフレームであり、右目映像がP3のフレームであるため、左目映像と右目映像のフレームのPTSが異なり、左右の映像のフレームがずれていると判定する。
一方、ステップS14での比較の結果、2つのPTSが等しい場合は、ステップS10へ戻り、以降の処理を再度行う。
6.フレームずれを回復する処理
図10は、フレームずれが発生した場合に、これを回復させる処理を示すフローチャットである。図10に示す処理は、フレームずれ回復処理部284が主として行う。図8で説明したように、フレームずれが発生した後に映像をデコーダ210,220にそのまま送信し続けると、デコーダ210,220で再生されるフレームが互いにずれた状態が継続されてしまう。このため、フレームずれ回復処理部284は、フレームずれ検知処理部282により左右の映像のフレームがずれていると判定された場合は、バッファ260,280に対して映像データを廃棄し続けるように指示する(ステップS20)。映像データを廃棄する方法としては、例えば映像のコンテンツデータがTTSの場合、TTSパケットのタイムスタンプとシステムクロックを比較して、クロックと同じTTSパケットを廃棄する方法で行うことができる。また、バッファ260,280内部のデータをすべて廃棄するという方法を用いてもよい。
図10は、フレームずれが発生した場合に、これを回復させる処理を示すフローチャットである。図10に示す処理は、フレームずれ回復処理部284が主として行う。図8で説明したように、フレームずれが発生した後に映像をデコーダ210,220にそのまま送信し続けると、デコーダ210,220で再生されるフレームが互いにずれた状態が継続されてしまう。このため、フレームずれ回復処理部284は、フレームずれ検知処理部282により左右の映像のフレームがずれていると判定された場合は、バッファ260,280に対して映像データを廃棄し続けるように指示する(ステップS20)。映像データを廃棄する方法としては、例えば映像のコンテンツデータがTTSの場合、TTSパケットのタイムスタンプとシステムクロックを比較して、クロックと同じTTSパケットを廃棄する方法で行うことができる。また、バッファ260,280内部のデータをすべて廃棄するという方法を用いてもよい。
次に、ステップS22では、フレーム更新タイミングが到来したか否かを判定する。フレーム更新タイミングが到来した場合は、ステップS24へ進む。一方、フレーム更新タイミングが到来していない場合は、ステップS22で待機する。
ステップS24では、フレーム更新タイミングにおいて、2つのデコーダ210,220の双方で映像が更新されていないか、を判定する。2つのデコーダ210,220のいずれか一方で映像が更新されている場合は、そのデコーダのバッファ(デコーダバッファ)の中に映像データが存在しているため、ステップS22へ進み、次のフレーム更新タイミングまで待機する。一方、2つのデコーダ210,220の双方で映像フレームが更新されていない場合は、デコーダバッファが空になっているので、ステップS26へ進み、再度2つのバッファ260,280からデコーダ210,220への映像の送信を再開する。
図10の処理によれば、2つのデコーダ210,220の双方で映像フレームが更新されていない状態となるまでは、バッファ260,280に蓄積された映像データの廃棄が継続される。従って、ジッタ等によるフレームずれが生じた場合は、フレームずれが生じた映像データを廃棄することができる。以上のように、フレームずれが生じている場合は、バッファ260,280に対して回復(廃棄)処理を行うことで、フレームずれを解消することができる。
バッファに蓄積された映像データが廃棄され続けると、デコーダ210,220に新たに映像データが入力されない状態となり、2つのデコーダ210,220の双方において、デコードされてデコーダバッファから出力される映像フレームが更新されない状態となる。そして、デコーダ210,220の双方で映像フレームが更新されていない状態になると、バッファ260,280からデコーダ210,220への映像の送信が再開される。これにより、バッファ260,280からデコーダ210,220へ同期した映像フレームの送信を再開することができる。
図11は、本実施形態の手法により、左右のフレームがずれた状態から回復する様子を示す模式図である。図11では、左映像のフレームP3の到着がジッタ等により遅延した場合を示している。STC4のタイミングでは、右映像についてはフレームP4が表示されるが、左映像はフレームP3が表示される。このため、STC4のタイミングでは、デコーダ210,220のそれぞれで取得されるPTCの値が異なり、フレームずれ検知処理部282により左右のフレームがずれていることが検知される。
フレームずれ回復処理部284は、STC4のタイミングでバッファ260,280に蓄積されている映像フレームを廃棄する。このため、STC4以降に到着したフレームP5は、左右のバッファ260,280において廃棄される。次のフレーム表示タイミングSTC5において、デコーダ210,220の双方で左右映像のフレームの更新が行われていない場合は、バッファ260,280に到着したパケットのデコーダ210,220への送信を再開する。これにより、図8の仕組みに基づいて、PTSの差分情報がクリアされ、次に左右で再び同期されたフレームが表示される。
以上説明したように本実施形態によれば、フレーム単位で同期をとる必要がある複数ストリームの映像を、別のIPネットワーク経由で配信しても、受信側で同期を取って再生することが可能になる。また、受信側でフレーム単位の同期がずれた場合に、自動で検知することが可能となり、同期ずれを自動で回復することが可能になる。
なお、上述した実施形態では、複数のストリーミングデータとして3Dの左右映像を例示したが、例えば4Kの映像を1920×1080ピクセルの4つの映像に分割し、各々を別のネットワークを介して送信する場合などにも利用することができ、分割したデータの同期を確保することが可能である。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、本技術は以下のような構成も取ることができる。
(1)時間的に同期して送信された異なる複数の映像データストリームをそれぞれ受信する受信部と、
前記複数の映像データストリームの時間的なずれを検出するずれ検出部と、
前記ずれ検出部で前記複数の映像データストリームの時間的なずれが検出された場合に、ずれを回復する処理を行うずれ回復処理部と、
を備える、情報処理装置。
(1)時間的に同期して送信された異なる複数の映像データストリームをそれぞれ受信する受信部と、
前記複数の映像データストリームの時間的なずれを検出するずれ検出部と、
前記ずれ検出部で前記複数の映像データストリームの時間的なずれが検出された場合に、ずれを回復する処理を行うずれ回復処理部と、
を備える、情報処理装置。
(2)前記複数の映像データストリームのそれぞれをデコードするデコーダを備え、
前記ずれ検出部は、前記デコーダでデコードされた前記複数の映像データストリームのそれぞれのPTCを映像のフレーム毎に比較して、前記複数の映像データストリームの時間的なずれを検出する、前記(1)に記載の情報処理装置。
前記ずれ検出部は、前記デコーダでデコードされた前記複数の映像データストリームのそれぞれのPTCを映像のフレーム毎に比較して、前記複数の映像データストリームの時間的なずれを検出する、前記(1)に記載の情報処理装置。
(3)前記複数の映像データストリームのデータをそれぞれ蓄積するバッファを備え、
前記ずれ回復処理部は、前記ずれ検出部で前記複数の映像データストリームの時間的なずれが検出された場合に、前記バッファに蓄積された前記複数の映像データストリームのデータを消去する、前記(1)に記載の情報処理装置。
前記ずれ回復処理部は、前記ずれ検出部で前記複数の映像データストリームの時間的なずれが検出された場合に、前記バッファに蓄積された前記複数の映像データストリームのデータを消去する、前記(1)に記載の情報処理装置。
(4)前記ずれ回復処理部は、前記デコーダ内に前記複数の映像データストリームのデータが存在しなくなった時点で、前記バッファに蓄積された前記複数の映像データストリームのデータ消去を停止する、前記(3)に記載の情報処理装置。
(5)前記複数の映像データストリームは、左目映像の映像データストリームと右目映像の映像データストリームとから構成される、前記(1)に記載の情報処理装置。
(6)時間的に同期して送信された異なる複数の映像データストリームをそれぞれ受信すること、
前記複数の映像データストリームの時間的なずれを検出することと、
前記ずれ検出部で前記複数の映像データストリームの時間的なずれが検出された場合に、ずれを回復する処理を行うことと、
を備える、方法。
前記複数の映像データストリームの時間的なずれを検出することと、
前記ずれ検出部で前記複数の映像データストリームの時間的なずれが検出された場合に、ずれを回復する処理を行うことと、
を備える、方法。
(7)時間的に同期して送信された異なる複数の映像データストリームをそれぞれ受信する手段、
前記複数の映像データストリームの時間的なずれを検出する手段、
前記ずれ検出部で前記複数の映像データストリームの時間的なずれが検出された場合に、ずれを回復する処理を行う手段、
をコンピュータに実行させるためのプログラム。
前記複数の映像データストリームの時間的なずれを検出する手段、
前記ずれ検出部で前記複数の映像データストリームの時間的なずれが検出された場合に、ずれを回復する処理を行う手段、
をコンピュータに実行させるためのプログラム。
200 受信側端末
210,220 デコーダ
250,270 ネットワークインターフェース
260,280 バッファ
282 フレームずれ検知処理部
284 フレームずれ回復処理部
210,220 デコーダ
250,270 ネットワークインターフェース
260,280 バッファ
282 フレームずれ検知処理部
284 フレームずれ回復処理部
Claims (7)
- 時間的に同期して送信された異なる複数の映像データストリームをそれぞれ受信する受信部と、
前記複数の映像データストリームの時間的なずれを検出するずれ検出部と、
前記ずれ検出部で前記複数の映像データストリームの時間的なずれが検出された場合に、ずれを回復する処理を行うずれ回復処理部と、
を備える、情報処理装置。 - 前記複数の映像データストリームのそれぞれをデコードするデコーダを備え、
前記ずれ検出部は、前記デコーダでデコードされた前記複数の映像データストリームのそれぞれのPTCを映像のフレーム毎に比較して、前記複数の映像データストリームの時間的なずれを検出する、請求項1に記載の情報処理装置。 - 前記複数の映像データストリームのデータをそれぞれ蓄積するバッファを備え、
前記ずれ回復処理部は、前記ずれ検出部で前記複数の映像データストリームの時間的なずれが検出された場合に、前記バッファに蓄積された前記複数の映像データストリームのデータを消去する、請求項1に記載の情報処理装置。 - 前記ずれ回復処理部は、前記デコーダ内に前記複数の映像データストリームのデータが存在しなくなった時点で、前記バッファに蓄積された前記複数の映像データストリームのデータ消去を停止する、請求項3に記載の情報処理装置。
- 前記複数の映像データストリームは、左目映像の映像データストリームと右目映像の映像データストリームとから構成される、請求項1に記載の情報処理装置。
- 時間的に同期して送信された異なる複数の映像データストリームをそれぞれ受信すること、
前記複数の映像データストリームの時間的なずれを検出することと、
前記ずれ検出部で前記複数の映像データストリームの時間的なずれが検出された場合に、ずれを回復する処理を行うことと、
を備える、情報処理方法。 - 時間的に同期して送信された異なる複数の映像データストリームをそれぞれ受信する手段、
前記複数の映像データストリームの時間的なずれを検出する手段、
前記ずれ検出部で前記複数の映像データストリームの時間的なずれが検出された場合に、ずれを回復する処理を行う手段、
をコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011128478A JP2012257051A (ja) | 2011-06-08 | 2011-06-08 | 情報処理装置、情報処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011128478A JP2012257051A (ja) | 2011-06-08 | 2011-06-08 | 情報処理装置、情報処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012257051A true JP2012257051A (ja) | 2012-12-27 |
Family
ID=47528190
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011128478A Withdrawn JP2012257051A (ja) | 2011-06-08 | 2011-06-08 | 情報処理装置、情報処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012257051A (ja) |
-
2011
- 2011-06-08 JP JP2011128478A patent/JP2012257051A/ja not_active Withdrawn
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10015370B2 (en) | Method for synchronizing video and audio in virtual reality system | |
US20200213625A1 (en) | Recovery From Packet Loss During Transmission Of Compressed Video Streams | |
CN101529907B (zh) | 减少信道改变时间的装置和方法 | |
US9723193B2 (en) | Transmitting device, receiving system, communication system, transmission method, reception method, and program | |
US9661351B2 (en) | Client side frame prediction for video streams with skipped frames | |
JP5768332B2 (ja) | 送信機、受信機及び通信システム | |
JP2017005611A (ja) | 動画像復号装置及び動画像復号方法 | |
KR100744309B1 (ko) | Svc 방식이 적용되는 디지털 비디오 스트림의 전송시스템과 그 전송 방법 | |
CN103096183A (zh) | 一种高效流媒体传输方法 | |
TWI267307B (en) | Timing synchronization module and method for synchronously playing media signal | |
KR101787424B1 (ko) | 패킷화된 통신 네트워크를 통해 통신되는 스트리밍 콘텐츠를 위한 클럭 복원 메커니즘 | |
US9647951B2 (en) | Media stream rate reconstruction system and method | |
WO2020017499A1 (ja) | 映像音声伝送システム、伝送方法、送信装置及び受信装置 | |
JP2003259365A (ja) | データストリーム処理装置 | |
JP5632711B2 (ja) | 送信装置、受信装置及び伝送システム | |
JP2012257051A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP5068282B2 (ja) | 映像伝送装置及び方法 | |
WO2014162748A1 (ja) | 受信装置、及び受信方法 | |
JP2009239375A (ja) | Ip伝送映像データ受信装置及びそれに用いるip伝送映像データ受信方法 | |
JP2008244781A (ja) | 地上波デジタル放送のip再送信システム及びこれで用いるまだら編成時のシームレス切り替え制御方法 | |
US10412441B2 (en) | Systems, methods, and devices for high-bandwidth digital content synchronization | |
JP2011239148A (ja) | 映像表示装置、映像表示方法及びコンピュータプログラム | |
JPH1093841A (ja) | 映像同期信号補正装置 | |
JP2005210160A (ja) | 通信状態表示を有する映像受信端末 | |
JP2003304442A (ja) | 通信システム、撮像システム、撮像装置、撮像信号処理装置および撮像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140902 |