JP2023121551A - 映像受信装置、映像生成方法およびプログラム - Google Patents

映像受信装置、映像生成方法およびプログラム Download PDF

Info

Publication number
JP2023121551A
JP2023121551A JP2022024953A JP2022024953A JP2023121551A JP 2023121551 A JP2023121551 A JP 2023121551A JP 2022024953 A JP2022024953 A JP 2022024953A JP 2022024953 A JP2022024953 A JP 2022024953A JP 2023121551 A JP2023121551 A JP 2023121551A
Authority
JP
Japan
Prior art keywords
circuit
video
error
packet
video signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022024953A
Other languages
English (en)
Inventor
直人 菅
Naoto Suga
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ntt Innovative Devices Corp
Original Assignee
Ntt Innovative Devices Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ntt Innovative Devices Corp filed Critical Ntt Innovative Devices Corp
Priority to JP2022024953A priority Critical patent/JP2023121551A/ja
Publication of JP2023121551A publication Critical patent/JP2023121551A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)

Abstract

【課題】異なる伝送経路を介して送信された複数の映像信号を適切に切り替えて、高品質な映像信号を生成する。【解決手段】異なる伝送経路を介して送信された複数の映像信号を受信する映像受信装置4であって、受信した複数の前記映像信号のそれぞれについて、前記映像信号の復号に必要なパケットのみを通過させるとともに、前記通過させるパケットのヘッダを用いて前記映像信号の第1のエラーを検証し、第1のエラー情報を出力するフィルタ回路52と、 前記第1のエラー情報に基づいて、複数の前記映像信号の中からいずれかの映像信号を選択し、選択した前記映像信号を復号すべき映像信号として出力する選択回路55と、を有する。【選択図】図3

Description

本発明は、複数の経路で送信した映像を受信する映像受信装置、映像生成方法およびプログラムに関する。
マラソン等のテレビ中継においては、移動中継車で撮影した素材を、移動中継車からレースのコース沿いに設けた基地局へ次々と送信している。各基地局で集められた素材は、放送センターに集められ、選択されて実際の放送用映像が生成される。
このとき、移動中継車から同一の素材、すなわちトランスポートストリームなどの映像信号が、複数の基地局で受信される場合がある。この場合、放送センターでは、各基地局で受信される複数の映像信号を逐次切り替えて元の素材を再生する。映像信号を切り替える技術として、特許文献1、2がある。
特開2004-350066号公報 特開2020-178179号公報
放送等の映像信号の伝送おいて、高品質な映像を再生することが求められている。しかしながら、送信側が、映像信号を異なる複数の伝送経路を介して送信し、受信側が、複数の映像信号を受信して1つの映像信号を生成する場合、複数の映像信号を切り替えて連結して高品質な映像信号を生成することは難しい。
本発明は上記の課題に鑑みてなされたものであって、本発明は、異なる伝送経路を介して送信された複数の映像信号を適切に切り替えて、高品質な映像信号を生成する技術を提供することを目的とする。
上記目的を達成するため、本発明の一態様は、異なる伝送経路を介して送信された複数の映像信号を受信する映像受信装置であって、受信した複数の前記映像信号のそれぞれについて、前記映像信号の復号に必要なパケットのみを通過させるとともに、前記通過させるパケットのヘッダを用いて前記映像信号の第1のエラーを検証し、第1のエラー情報を出力するフィルタ回路と、前記第1のエラー情報に基づいて、複数の前記映像信号の中からいずれかの映像信号を選択し、選択した前記映像信号を復号すべき映像信号として出力する選択回路と、を有する。
本発明の一態様は、異なる伝送経路を介して送信された複数の映像信号を受信する映像受信装置であって、受信した複数の前記映像信号のそれぞれについて、前記映像信号のパケットのヘッダを用いて第1のエラーを検証し、第1のエラー情報を出力する第1のエラー検証回路と、複数の前記映像信号のそれぞれについて、ES(Elementary Stream)レベルおよびPES(Packetized Elementary Stream)レベルの少なくとも1つのレベルでの第2のエラーを検証し、第2のエラー情報を出力する第2のエラー検証回路と、前記第1のエラー情報および前記第2のエラー情報に基づいて、複数の前記映像信号からいずれかの映像信号を選択し、選択した前記映像信号を復号すべき映像信号として出力する選択回路とを有する。
本発明の一態様は、異なる伝送経路を介して送信された複数の映像信号を受信する映像受信装置であって、受信した複数の前記映像信号のそれぞれについて、前記映像信号のパケットのヘッダを用いて第1のエラーを検証し、第1のエラー情報を出力する第1のエラー検証回路と、複数の前記映像信号の間の遅延差を、前記映像信号に含まれるPCR(Program clock reference)情報を用いて測定し、オフセット値を出力する測定回路と、複数の前記映像信号を格納し、前記オフセット値を用いて複数の前記映像信号の遅延差を調整して出力するバッファ回路と、前記バッファ回路から出力された複数の前記映像信号から、前記第1のエラー情報に基づいていずれかの映像信号を選択し、選択した前記映像信号を復号すべき映像信号として出力する選択回路と、を有する。
本発明の一態様は、異なる伝送経路を介して送信された複数の映像信号を切り替えて映像信号を生成する映像生成方法であって、映像受信装置が、受信した複数の前記映像信号のそれぞれについて、前記映像信号の復号に必要なパケットのみを通過させるステップと、前記通過させるパケットのヘッダを用いて第1のエラーを検証し、第1のエラー情報を出力するステップと、前記第1のエラー情報に基づいて、複数の前記映像信号の中からいずれかの映像信号を選択し、選択した前記映像信号を復号すべき映像信号として出力するステップと、を行う。
本発明の一態様は、上記映像受信装置として、コンピュータを機能させるプログラムである。
本発明によれば、異なる伝送経路を介して送信された複数の映像信号を適切に切り替えて、高品質な映像信号を生成する技術を提供すことができる。
図1は、映像送受信システムの全体構成図である。 図2は、MPEG2のTSの構成例である。 図3は、本実施形態の映像受信装置の構成例を示す図である。 図4は、測定回路が測定する遅延差を説明するための図である。 図5は、測定回路の遅延調整を説明するための図である。 図6は、バッファ回路の構成例を示す図である。 図7は、選択回路の動作を説明するための図である。 図8は、選択回路の選択方法を示すフローチャートである。 図9は、第1の変形例の映像受信装置の構成例を示す図である。 図10は、第2の変形例の映像受信装置の構成例を示す図である。 図11は、第3の変形例の映像受信装置の構成例を示す図である。
以下、本発明の実施形態を、図面を用いて説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。
図1は、本実施形態の映像送受信システムの全体構成図である。図示する映像送受信システムは、映像送信装置1と、映像受信システム2とを備える。
映像送信装置1は、撮影した映像信号を、複数の伝送経路を介して映像受信システム2に送信する。映像送信装置1には、例えば、放送用の映像を撮影して中継する移動中継車(FPU-TX:Field Pickup Unit-TX)などを用いることができる。
映像送信装置1は、撮影装置11と、符号化回路12と、送信回路13とを含む。撮影装置11は、放送用の素材映像を撮影してデジタルの映像信号(例えばSDI:Serial Digital Interface信号)を出力する。
符号化回路12は、映像信号を圧縮符号化して、符号化信号を出力する。圧縮符号化方式としては、MPEG2やH.264等が使用できる。この時の符号化信号は、MPEG2-TS(Transport Stream)を想定する。
符号化信号に、DVB-ASI(Digital Video Broadcasting-Asynchronous Serial Interface) を用いてもよい。DVB-ASIは、MPEG2-TSに基づいて生成される伝送用信号である。すなわち、DVB-ASIは、DVBが規格で定めているインタフェース(欧州標準規格 EN 50083-9)で、MPEG2-TSのパケット(以下、「TSパケット」)の伝送に使用される。具体的には、DVB-ASIは、MPEG2-TSの各TSパケットの間にスタッフィングデータを挿入して生成される。
本実施形態では、MPEG2-TS、DVB-ASIなどの符号化された映像信号を、以下「TS」(Transport Stream)と称する。なお、本実施形態では、一例として、符号化回路12はMPEG2を用いて符号化し、その出力インタフェースをDVB-ASIまたはTSとしている。しかしながら、本発明はMPEG2に限定されず、他の符号化方式を用いた符号化回路にも適用可能である。
送信回路13は、誤り訂正符号化回路14と、変調器15とを含む。誤り訂正符号化回路14は、符号化回路12から出力されるTSを構成する各TSパケット対して、誤り訂正用符号化し、誤り訂正用の冗長ビットを付加する。誤り訂正方式として例えばRS(Reed-Solomon)符号化を使用してもよい。この場合、16バイトの冗長ビットが付加される。TSパケットが188バイトの場合、誤り訂正符号化されたTSパケットは、188バイト+16バイト=204バイトとなる。
誤り訂正符号化は、RS符号化に限定されず、その他の方式で誤り訂正符号化を実施し、受信側でエラーを検出してもよい。エラー検出のみであれば、RS符号化の代わりにCRC(Cyclic Redundancy Code)を利用することも可能である。
変調器15は、誤り訂正符号化回路14から出力されたTSを、アンテナを用いて、映像受信システム2に向けて送信する。ここでは、変調器15は、TSを無線周波数信号に変調し、複数の伝送経路を介して映像受信システム2に送信する。
映像受信システム3は、複数のRF受信回路3と、映像受信装置4とを有する。図示する例ではn個のRF受信回路3を備える。nは自然数である。
各RF受信回路3は、映像送信装置1から送信された無線周波数信号を受信する。すなわち、映像送信装置1から送信される無線周波数信号は、複数の伝送経路を介して映像受信システム2で受信される。これにより、映像受信システム2は、電波の変動、または、伝送経路の途中に遮蔽物があっても、何れかの伝送経路の信号を受信でき、受信した複数の信号を切り替えることで高品質な映像を維持することができる。
ここでは、映像送信装置1から映像受信システム2への伝送経路として、無線周波数信号による無線伝送を用いるが、これに限定されない。伝送経路が複数であれば、無線と有線、あるいは、有線のみの場合であってもよい。
各RF受信回路3は、復調器31と誤り訂正回路32とを含む。RF受信回路3として、例えば、移動中継車の受信部(FPU-RX)などを使用できる。図示する例では、n個のFPU-RXが複数の伝送経路を経た無線周波数信号をそれぞれ受信する。
復調器31は、映像送信装置1から送信された無線周波数信号を受信及び復調して、TSを誤り訂正回路32に出力する。誤り訂正回路32は、各TSパケットに対して誤り訂正処理を行う。具体的には、誤り訂正回路32は、送信側がRS符号化によってTSパケットに冗長ビットを付加した場合、その冗長ビットを利用してTSパケット誤りの検出および訂正を行う。
訂正が不可能な程度の高いビットエラー率となった場合、誤り訂正回路32は、TSパケットのヘッダのトランスポートエラーインジケータのビットを“1”に設定できる。これによりパケットにエラーが含まれている可能性があることが示される。この処理は、TSペイロードに依存せず、どのパケットに対しても実行可能である。誤り訂正回路32で誤り訂正され、冗長ビットが除去されたTSは、映像受信装置4に出力(供給)される。各RF受信回路3から出力される、誤り訂正処理されたTSは、DVB-ASIであってもよい。
誤り訂正回路32の誤り訂正方式については、前述したように、RSの誤り訂正に限定されず、CRCによるエラー検出も使用することができる。ここでは、各TSパケットに対して誤り訂正処理が行われる例を示したが、送信側で16バイトの冗長ビットが付加されずに、188バイトのまま各TSパケットが伝送され、受信側で誤り訂正処理が行われない場合もある。誤り訂正処理は、送信側および受信側の任意の処理である。
映像受信装置4は、切替回路5と、復号回路6とを含む。本実施形態では、映像受信装置4内に切替回路5と復号回路6とを組込み、復号回路6の機能を切替回路5が共有できるようにしている。すなわち、切替回路5は、復号回路6の一部の回路(機能)を利用してもよい。復号回路6は、復号に必要な映像、音声、アンシラリデータを、TSから抽出して復号する。本実施形態では、復号回路6に備えられている、復号に必要なTSパケットの抽出機能を利用することで、切替回路5が、復号に必要な映像、音声、アンシラリデータのみに基づいてTSの切替動作を行うことができる。
切替回路5は、複数のRF受信回路3からそれぞれ出力される誤り訂正後の複数のTS(映像信号)の中から品質の高いTSを選択し、選択したTSを復号回路6に出力する。
復号回路6は、切替回路5から供給されるTSを復号し、映像・音声のSDI信号(映像信号)を出力する。SDI信号は、図示しないモニタによって表示される。なお、復号回路6は、映像および音声を復号してもよく、あるいは、映像または音声のどちらかを復号してもよい。
図2は、MPEG2のTSの構成例である。
MPEG2で符号化された映像、音声及びアンシラリデータは、ES(Elementary Stream)301を構成する。ES301は、複数のESパケット、すなわちPES(Packetized Elementary Stream)302に分割される。PES302は、付加されたPESヘッダ303を含む。図2では、映像データを含むPES302はPES(映像)とし、音声データを含むPES302はPES(音声)と示す。上記のESの構成は一例であり、一つのESで一つのPESを構成する場合や、複数のESで一つのPESを構成する場合もある。このような場合も、本発明の範囲である。
PES302は、更に分割されて典型的に184バイトのTSペイロードとなる。TSパケット304は、TSペイロードに最低4バイトのTSヘッダが付加されたパケット(188バイト)である。TSヘッダが拡張された場合、一定のパケット長を維持するため、ペイロードは小さくなる。
TSヘッダは、同期ビット、トランスポートエラーインジケータ、PID(パケット識別子)、コンティニュイティカウンタ、PCRフラグ、PCR情報等を含むことができる。同期ビットは、8ビットで、TSパケット304の先頭に存在しTSパケット304の同期を取るためのビットである。なお、PCRフラグやPCR情報を含む場合は、TSヘッダは拡張される。
トランスポートエラーインジケータは、当該TSパケット304に、エラーが存在する可能性を示す1ビットのフラグである。PIDは、13ビットのパケット識別子であって、TSパケット304がどのESに属しているか、すなわち何を伝送しているかを示すためのものである。同一の画像、同一の音声はそれぞれ同じPIDを持つ。
コンティニュイティカウンタは、4ビットのカウンタであり、同じPIDのパケットが新たに送られる毎にインクリメントされ、パケットの消失、繰り返し、順序の乱れの有無などのエラーの有無の判定に使用される。
PCR情報(Program clock reference)は、符号側のクロックを復号側で再生するために使用するTSパケットの時刻情報である。PCR情報はオプションであり、1ビットのPCRフラグによってTSパケットがPCRを含むか否かが示される。なお、PCR情報が含まれているTSパケットは、PCRパケットと称される。PCRパケットは周期的にTSに挿入され、この周期は、MPEG2では10個/秒以上、DVBでは25個/秒以上と規定されている。
このように構成される一連の映像および音声のTSパケット群に、PAT(Program Association Table)、PMT(Program Map Table)等の番組の情報を示すTSパケットが付加されてTSが形成される。PATおよびPMTは、PSI(Program Specific Information:番組特定情報)と称される。PATは、TSに周期的に挿入される。PATのTSヘッダ内のPIDは、0x0の固定であり、TSペイロードを解析することなく、TSヘッダのみを解析することで、PATを検出することができる。0x0の“0x”は、その後に続く数字が16進数表記であることを示す。
なお、TSをDVB-ASIで伝送する場合、各TSパケットは間を空けて伝送される。すなわち、TSパケットの間に、DVB-ASI規格によるスタッフィングデータ305が埋め込まれる。
図3は、図1に示す本実施形態の映像受信装置4の構成図である。映像受信装置4は、異なる伝送経路を介して送信された複数のTS(映像信号)を受信する。映像受信装置4は、切替回路5と、復号回路6とを含む。
切替回路5は、受信回路51と、フィルタ回路52と、測定回路53と、バッファ回路54と、選択回路55とを含む。バッファ回路54は、エラー検出回路56を備えてもよい。図示する例では、切替回路5は、受信回路51、フィルタ回路52およびバッファ回路54を、それぞれ複数個(n個)備えるが、これらの回路は、複数のTSを処理可能な場合はそれぞれ1つの回路であってもよい。
受信回路51は、対応するRF受信回路3から出力されるTSを受信し、当該TSを対応するフィルタ回路52に出力する。なお、TSがDVB-ASIの場合、スタッフィングデータは、受信回路51の出力で無効なデータとして扱われ、フィルタ回路52以降の回路では処理対象とならない。
フィルタ回路52は、受信したTSについて、復号に必要なTSパケットのみを通過させるとともに、前記通過させるTSパケットのTSヘッダを用いてTSのエラー(第1のエラー)を検証し、エラー情報(第1のエラー情報)を出力する。
具体的には、フィルタ回路52は、入力されたTSのTSパケットをフィルタリングして、後段の復号回路6で復号に必要となるTSパケットのみを通過させる。例えば、MPEG2-TS規格では、様々な用途のためにTSパケットが規定されるが、その全てが復号に必要とは限らない。復号に不要なTSパケットとしては、例えば、映像送信装置1がレート調整のために挿入するPRIVATE PACKET等がある。また、復号に不要なデータとしては、例えば、各伝送経路で挿入される制御データなどがある。このような、復号に不要なTSパケットおよびデータは、フィルタ回路52で除去される。
また、フィルタ回路52は、通過させるTSパケットのTSヘッダを解析して、当該TSパケットのエラーの有無を示すエラー情報を生成する。そして、フィルタ回路52は、通過させるTSパケットとエラー情報とを、対応するバッファ回路54および測定回路53へ出力する。エラー情報には、例えば、トランスポートエラーインジケータフラグ、コンティニュイティカウンタエラーフラグ、同期ロスフラグ等の各種フラグを用いることができる。
フィルタ回路52は、TSに含まれるPCR(Program clock reference)情報を有するPCRパケットを通過させてもよい。フィルタ回路52は、PCRパケットを検出し、検出したPCRパケットにPCRフラグを設定し、通過させてもよい。この場合、フィルタ回路52は、通過させるTSパケットと、エラー情報およびPCRフラグとを、対応するバッファ回路54および測定回路53へ出力する。
測定回路53は、フィルタ回路52から出力される、複数のTSの間の遅延差を測定し、オフセット値を出力する。測定回路53は、映像受信装置4に入力される複数のTSを、情報および時間の途切れなくシームレスに切り替えるために、複数のTSの同期を合せる。測定回路53は、複数のTSの間の遅延差を、TSに含まれるPCR情報を用いて測定し、オフセット値を出力してもよい。測定回路53は、フィルタ回路52で設定されたPCRフラグを用いてPCRパケットを特定する。TSヘッダに含まれるPCR情報を用いることで、測定回路53は、異なる伝送経路を介して送信される複数のTSを高精度に同期化することができる。
具体的には、測定回路53は、フィルタ回路52でフィルタリングされたTSパケットに含まれるPCRフラグの間の位相差、すなわちPCRパケット間の遅延差(遅延時間差)を検出し、各バッファ回路54に遅延差を補償するためのオフセット値をそれぞれ出力する。
各バッファ回路54は、このオフセット値を使用して、バッファ回路54から選択回路55へ出力するTSパケットの出力タイミングが同時になるように調整する。なお、遅延差の基準PCRは、複数のTSのうち基準信号として選定されたTSのPCRである。基準信号については後述する。また、測定回路53は、基準信号と基準信号以外のPCRの遅延差を測定できるように、n系統分の遅延差が測定できる回路あるいは機能を有する。
PCR情報は通常40msec周期で伝送されるため、一般的な遅延差の測定に用いられるPATよりも測定周期を短くでき、高精度な同期化が可能となる。なお、PATパケットのPIDは0x0であって、この1つのPIDしかないため、TSパケットからPATを検出し易いため、一般的な遅延差の測定にPATが使用される。
一方、PCRパケットのPIDは、複数存在する場合があり、PCRパケットを特定するのは容易ではない。フィルタ回路52は、復号回路6の機能を用いてPCRを検出してもよい。これによりPCRを容易に検出することができる。具体的には、フィルタ回路52は、復号回路6のPSI解析回路66を利用して、復号に必要なPIDの絞り込むことで、対象となるPCRパケットのPIDも容易に絞り込むことができる。なお、フィルタ回路52がPSI解析回路66と同様の機能を有し、PCRパケットのPIDを特定してもよい。
バッファ回路54は、フィルタ回路52から出力されるTSを格納し、オフセット値を用いて遅延差を調整して、選択回路55に出力する。具体的には、各フィルタ回路52でフィルタリングされたTSは、対応するバッファ回路54に供給され、そこで一定期間保持される。その際に、各TSパケットにはバッファ回路54で生成されたタイムスタンプが設定される。バッファ回路54は、測定回路53から通知されたオフセット値でタイムスタンプを補正することによって、複数の伝送経路を介して同じタイミングで送信された複数のTSパケットを、同じタイミングで選択回路55に出力することができる。
また、各バッファ回路54は、前段にエラー検出回路56を備えていてもよい。エラー検出回路56は、入力されたTSついて、ES(Elementary Stream)レベルおよびPES(Packetized Elementary Stream)レベルの少なくとも1つのレベルでのエラー(第2のエラー)を検証し、エラー情報(第2のエラー情報)を選択回路55に出力する。エラー検出回路56は、エラーが検出された場合、エラーを検出したTSパケットに設定されたタイムスタンプを、エラー情報としてエラータイムスタンプ用バッファに格納する。エラー検出回路56は、PESレイヤあるいはESレイヤでの復号エラーを検出して、TSヘッダでは検出できない映像データまたは音声データに特化したエラーを検出して、高品質な映像提供を実現する。
バッファ回路54は、遅延差が調整されたTSと、フィルタ回路52で検出されたエラー情報と、エラー検出回路56で検出されたエラー情報(エラータイムスタンプ)とを選択回路56に出力する。
選択回路55は、フィルタ回路52で検出されたエラー情報およびエラー検出回路56で検出されたエラー情報に基づいて、複数のTSの中からいずれかのTSを選択し、選択したTSを復号すべき映像信号として出力する。具体的には、選択回路55は、選択しているTSにエラーが無い場合は、当該TSを出力し、エラーが有る場合は、エラーが無い他のTSに切り替えて出力する。なお、選択回路55は、フィルタ回路52で検出されたエラー情報のみに基づいて、複数のTSの中からいずれかのTSを選択してもよい。
このように、選択回路55は、TSパケット毎に、エラー情報を用いて、複数のTSを切り替えて、復号すべきTS(以下、「切替TS」)を復号回路6に供給する。
復号回路6は、切替回路5から供給される切替TSを復号してSDI信号(映像信号)を生成する。図3に示す復号回路6は、デマックス回路61、映像復号回路62、音声復号回路63、アンシラリ処理回路64、マックス回路65、及びPSI解析回路66を含む。
デマックス回路61は、選択回路55から出力された切替TSを、映像、音声およびアンシラリ(補助データ)に分割し、映像を映像復号回路62に、音声を音声復号回路63に、アンシラリをアンシラリ処理回路64に出力する。デマックス回路61は、選択回路55から出力された切替TSをPSI解析回路66に出力する。
映像復号回路62は、送信側(映像送信装置1)で符号化された映像のTSを復号し映像の信号を生成する。音声復号回路63は、送信側で符号化された音声のTSを復号し、音声の信号を生成する。アンシラリ処理回路64は、アンシラリのTSを復号してアンシラリ信号を生成し、解析および処理する。マックス回路65は、これらの映像の信号、音声の信号、アンシラリ信号を多重化し、SDI信号を形成する。
PSI解析回路66は、切替TSのPSI(番組特定情報)を解析して、復号すべきTSパケットか否かを判定し、復号対象のTSパケットを映像復号回路62、音声復号回路63及びアンシラリ処理回路64へ指示する。映像復号回路62、音声復号回路63及びアンシラリ処理回路64は、PSI解析回路66の指示に従って、各TSパケットを復号する。
PSI解析回路66は、解析した復号対象のTSパケットを、通過させるTSパケットとして、フィルタ回路52に指示してもよい。具体的には、PSI解析回路66は、PSIの解析で取得した復号対象のTSパケットのPIDを、フィルタ回路52に通知してもよい。
PSI解析回路66は、切替TSのPSIを解析して、PCRパケットを特定し、PCRパケットを通過させるTSパケットとして、フィルタ回路52に指示してもよい。具体的には、PSI解析回路66は、PCRパケットのPIDを、フィルタ回路52に通知してもよい。
フィルタ回路52は、通知されたPIDを設定し、設定したPID以外のTSパケットを破棄し、設定したPIDのTSパケットのみを通過させる。
以下、本実施形態の切替回路5について詳述する。
<受信回路>
各受信回路51は、RF受信回路3から入力されたTS(例えばDVB-ASI信号)をシリアル/パラレル変換し、パラレル化されたTSを出力する。その際、パラレル化されたTSは、映像受信装置4の内部クロックに同期させて(乗せ換えて)出力される。この内部クロックは、映像送信装置1がTSを伝送する際のクロックとは独立している。ただし、前述したように、DVB-ASI信号の場合、各TSパケットの間には、スタッフィングデータが設定されている。従って、受信回路51の出力は、厳密には内部クロックに載せ替えられたDVB-ASI信号とも言える。
<フィルタ回路>
各フィルタ回路52は、受信回路51から入力されるTSパケットのうち、映像・音声の復号に必要なTSパケットおよびPCRのTSパケット(PCRパケット)のみを抽出し、他のTSパケットを破棄する。なお、本実施形態では、復号に必要なTSパケットおよびPCRパケットは、PSI解析回路66から通知されるものとする。PSI解析回路66は、PSIを解析し、これらのTSパケットを特定し、フィルタ回路52に指示する。
具体的には、フィルタ回路52は、通過させるTSパケットのPIDの指示をPSI解析回路66から受け付けるまで、フィルタリングを行わずに、全てのTSパケットを通過させる。PSI解析回路66は、切替回路5から供給されるTSパケットの中から、PID=0であるPATのTSパケットを解析して、PMTのTSパケットのPIDを特定する。そして、PSI解析回路66は、PMTを解析し、当該解析結果に基づいてPCRのTSパケットのPIDと、復号対象の映像・音声のTSパケットのPIDとを特定する。復号対象のTSパケットのPIDには、復号に必要なその他のTSパケットが存在する場合、そのTSパケットのPIDも含む。
PSI解析回路66は、PMTを解析した後に、これらの特定したPIDをフィルタ回路52に通知する。ここでは、PSI解析回路66は、PID=0のPATのTSパケット、PMTのTSパケット、PCRのTSパケット、復号対象の映像・音声のTSパケットなどを、フィルタ回路52に通知し設定する。これにより、フィルタ回路52は、設定されたPIDのTSパケットのみを通過させる。選択回路55は、フィルタ回路52でフィルタリングされた複数のTSを切り替えて1つの切替TSを復号すべきTSとして復号回路6に出力する。復号回路6は、切替TSを復号する。なお、選択回路55は、PSI解析回路66によるPIDの通知後に切り替え動作を開始するようにしてもよい。
PSI解析回路66は、本来、復号回路6の中で復号処理に使用されるものである。本実施形態では、映像受信装置4に切替回路5と復号回路6とを組み込み、切替回路5と復号回路6とを接続することで、PSI解析回路66の解析結果を切替回路5が容易に適用できるようにした。これにより、本実施形態では、復号に必要な映像・音声・アンシラリデータなどのTSパケットのみを選択回路55に送ることができ、復号に不要なTSパケットのエラー情報に起因する不要な切替を回避することができる。
また、フィルタ回路52は、TSパケットのTSヘッダを解析し、TSパケットの未受信、エラー状況などのエラー情報を生成する。エラー情報は、例えば、トランスポートエラーインジケータフラグ、コンティニュイティカウンタエラーフラグ、同期ロスフラグなどの各種フラグで示してもよい。
トランスポートエラーインジケータフラグは、TSヘッダ内のトランスポートエラーインジケータが”1”の場合、同様に“1”が設定される。すなわち、トランスポートエラーインジケータフラグも、TSパケット内のトランスポートスエラーインジケータと同様に、TSパケットのエラーの存在の可能性を示す。
コンティニュイティカウンタエラーフラグは、コンティニュイティカウンタの番号に抜け(不連続)があった場合に、設定される。番号が抜けているTSパケットは、未受信として扱われる。
同期ロスフラグは、同期ビットのデータが抜けている、正しく検出されない、或いは同期が外れた場合に設定される。
また、フィルタ回路52は、TSパケットのTSヘッダを解析し、TSヘッダ内にPCR情報が存在するか、すなわちTSパケットがPCRパケットか否かを示すPCRフラグをTSパケットに設定してもよい。
このように、本実施形態の切替回路5は、各TSパケットにエラー情報およびPCRフラグなどの独自の各種フラグを設定することで、TSヘッダをその都度解析しなくても、当該各種フラグを検証するだけでTSパケットの種類またはエラー状態を、容易に把握することができる。各種フラグは、測定回路53の遅延差の測定、および、選択回路55のエラー判定などに使用される。
フィルタ回路52で生成された各種フラグは、TSパケットと共にバッファ回路54および測定回路53へ供給される。
<測定回路>
図4は、測定回路53が測定する遅延差を説明する図である。図5は、測定回路53の遅延調整を説明する図である。
映像送信装置1から送信されるTSは、複数の伝送経路を経由して映像受信装置4で受信される。映像受信装置4で受信される複数のTSは、伝送経路毎に異なる遅延が発生する。このため、映像受信装置4が受信する複数のTSの伝送経路による遅延差を調整して、シームレスにTSを切り替える必要がある。
以下、図4及び図5を用いて、遅延差の測定方法、及び、TSパケット間の遅延差を調整する方法について説明する。
本実施形態では、動作開始後、最初に受信したTSパケットの信号(TS)を、基準信号(基準TS)とする。また、基準信号の後に継続して受信する各TSパケットの受信タイミングを基準信号タイミングとする。その他の信号(その他TS)との遅延差の測定および調整は、基準信号の各TSパケットの基準信号タイミングを起点として行う。
また、調整範囲も、この基準信号タイミングを起点として、「早い」または「遅い」方向に所定の時間を設定する。測定回路53は、選択回路55によるTSパケットの切替が発生しても、基準信号を変更しない。従って、調整範囲も、切替(または切替の回数)に依存せず、固定である。基準信号の入力が無くなった状態でも、基準信号タイミングは、現在選択中の信号との相対的なタイミングとして保持される。
図4は、測定回路53に、TS1及びTS2の2つの信号が供給された場合を示す。TS1及びTS2は、異なる伝送経路を介して映像受信装置4に住信される。図示する例では、TS1のTSパケットが、TS2のTSパケットよりも先に受信されているため、TS1が基準信号となる。3つ以上の信号が受信される場合でも、測定回路53は、遅延差を同様に測定する。
ここでは、測定回路53は、遅延差の測定にPCRパケットを用いる。PCRパケットがTSに挿入される周期は、DVBでは通常40ms程度であり、PATパケットよりも短い。測定回路53は、基準信号となるTS1について、フィルタ回路52が設定したPCRフラグを解析してPCR情報が存在するPCRパケットを検出する。測定回路53は、TS2についても同様に、PCRフラグを解析してPCRが存在するPCRパケットを検出する。
そして、測定回路53は、TS1とTS2で、同じタイミングのPCRパケット401、402を特定する。測定回路53は、TSヘッダのPCRに格納されているPCR値(PCR情報)を比較することで、TS1とTS2で同じタイミングのPCRパケット401、402を容易に抽出することができる。PCR値は、90kHz及び27MHzのカウント値である。すなわち、測定回路53は、PCR値が一致するTS1のPCRパケット401と、TS2のPCRパケット402を、同じタイミングのPCRパケットであるとみなす。
次に、測定回路53は、2つのPCRパケット401、402のTSヘッダに設定されたPCRフラグの位相差、すなわちTS1に対するTS2の遅延差Δtを測定し、遅延差Δtをオフセット値としてバッファ回路54に出力する。図示する例では、測定回路53は、このオフセット値をTS2に対応するバッファ回路54に設定する。TS2のバッファ回路54は、TSパケット402の出力を、オフセット値(遅延差Δt)を用いて調整する。なお、測定回路53は、TS1に対応するバッファ回路54には、0のオフセット値を設定してもよく、あるいは、オフセット値を設定しなくてもよい。
このように、各TSのオフセット値は、基準信号のTSを基準として、他のTSでそれぞれ測定され、対応するバッファ回路54に設定される。
オフセット値は、次のPCRパケットを受信するまで、各TSパケットの遅延調整に使用される。従って、PCRパケットの到来間隔が短い程、高精度な遅延調整を行うことができる。ここでは、測定回路53は、到来間隔がPATパケットよりも短いPCRパケットを使用するため、PATパケットを使用する場合よりも高精度な遅延調整が可能となる。
図5は、複数のTSの遅延調整を説明する図である。図示する例では、TS1を基準信号とし、TS1のTSパケットXの到着時刻501を基準信号タイミングとする。他のTS2~TS6のTSパケットA~Eは、TSパケットXと同じPCR値のTSパケットであって、基準信号タイミングより早いまたは遅い時刻502~506に到着している。
基準信号は、動作開始後、各受信回路51が受信したTSのうち最初に受信したTSである。基準信号タイミングは、基準信号の各TSパケットの到着時刻である。基準信号のTSパケットの到着時刻が遅延によって変動した場合、基準信号タイミングも変動する。しかし、ここでは、基準信号TS1のTSパケットXを基準にして、TSパケットXの到着時刻501に対応する他のTS2~6のTSパケットA~Eを、どのように出力タイミングを同期させるかについて示している。
図5に示す調整範囲X(ms)は、基準信号タイミングに対して、早い方向または遅い方向に許容される範囲(調整可能な範囲)を意味する。なお、時間の単位(ms)は、一例であり、これに限定されない。調整範囲Xは、伝送経路の環境に応じて任意に設定できる。調整範囲Xは、ここではバッファ回路54のバッファの保持時間の最大値となる。
出力基準タイミングは、全てのTS1~6のTSパケットX,A~Eが、各バッファ回路54から出力するタイミングであって、基準信号タイミングから調整範囲Xだけ遅れた時刻となる。図5では、基準信号タイミングに対するTSパケットA~Eの到着時刻の遅延差を、オフセット値Δtで示している。
ここでは、到着時刻が基準信号タイミングより早い場合は、Δtは正の値で表し、基準信号タイミングより遅い場合は、Δtは負の値で表している。なお、符号(+、-)を逆にしても後の計算において容易に補正可能である。また、遅延調整量は、[調整範囲X]+[オフセット値]で表すことができる。
厳密には、出力基準タイミングは、基準信号タイミングの時刻に調整範囲Xだけ後の時刻に、後に述べるエラー検出回路56のエラー検出時間が固定値として加算され、TSパケットA~Eの遅延調整量についても、それぞれエラー検出時間が加算される。ただし、ここでは、エラー検出時間を考慮せず、エラー検出時間はないものとして説明する。
例えば、TS2のTSパケットAは、基準信号タイミングに対して、20ms早い時刻502に到着している。測定回路53は、オフセットΔt=20msを測定する。TSパケットAは、バッファ回路54で(X+20)msの遅延調整がなされ、出力基準タイミングに出力される。
TS3のTSパケットBは、基準信号タイミングに対して、Xms早い時刻503に到着している。測定回路53は、オフセットΔt=Xmsを測定する。TSパケットBは、バッファ回路54で(X+X)msの遅延調整がなされ、出力基準タイミングに出力される。
TS4のTSパケットCは、基準信号タイミングに対して、10ms遅い時刻504に到着している。測定回路53は、オフセットΔt=-10msを測定する。TSパケットCは、バッファ回路54で(X-10)msの遅延調整がなされ、出力基準タイミングに出力される。
TS5のTSパケットDは、基準信号タイミングに対して、(1-X)ms遅い時刻505に到着している。測定回路53は、オセットΔt=(1-X)msを測定する。TSパケットDは、バッファ回路54で1msの遅延調整がなされ、出力基準タイミングで出力される。
TS6のTSパケットEは、基準信号タイミングと同じ時刻506で到着している。測定回路53は、オフセットΔt=0msを測定する。TSパケットEは、バッファ回路54でXmsの遅延調整がなされて出力基準タイミングで出力される。
上記のように、どのTSパケットも、調整範囲内で出力タイミングが調整され、同じ出力基準タイミングでバッファ回路54から選択回路55へ出力することができる。これによって、選択回路55は、シームレスにTSを切り替えることができる。
<バッファ回路>
図6は、バッファ回路の構成例を示す図である。
図示するバッファ回路54は、エラー検出回路56と、制御回路541と、遅延調整回路542と、TS用バッファ543と、フラグ用バッファ544と、オフセット値用バッファ545と、エラー用バッファ546と、とを有する。
制御回路541は、対応するフィルタ回路52から出力されたTSパケットをTS用バッファ543に格納し、フィルタ回路52で各TSパケットに対して設定された各種フラグ(エラー情報、PCRフラグ)をTSパケットと紐づけてフラグ用バッファ544に格納する。また、制御回路541は、測定回路53から出力された当該バッファ回路54用のオフセット値を、対応するTSパケットに紐づけてオフセット値用バッファ545に格納する。
また、制御回路541は、TSパケットをTS用バッファ543に格納する際に、格納するタイミングを示すタイムスタンプをTSパケットに付加して、TS用バッファ543に格納する。タイムスタンプは、TSパケットの出力タイミングを管理するためのカウンタ値であり、映像受信装置4の内部クロックによって設定される。
遅延調整回路542は、このタイムスタンプとオフセット値とを使用して、出力タイミングを制御し、複数の伝送経路を介して受信される複数のTSの遅延差を吸収する。
エラー検出回路56は、バッファ回路54内でフィルタ回路52側に構成され、フィルタ回路52から出力されるTSパケットを受信して、PESレイヤおよびESレイヤの少なくとも1つのレイヤでのエラーを、復号前に予め検出する。エラー検出回路56は、検出したエラー情報をエラー用バッファ546に格納する。エラー用バッファ546に格納されたエラー情報は、遅延調整回路542で調整されたTSパケットとともに、選択回路55へ出力される。
エラー検出回路56は、組立回路561と、検出回路562とを含む。組立回路561は、フィルタ回路52から供給されるTSパケットを受信して、PESまたはESを組み立てる。検出回路562は、組み立てたPESまたはES に対して、PESヘッダまたはESヘッダが存在するか否か、パケット長が正しいか否か、組み立てたESが復号可能か否かなどのエラーを検出する。
これにより、復号処理の前に、PESレイヤまたはESレイヤでのエラーを検出し、当該エラーに基づいて選択回路55がTSを切り替えることができる。従って、TSパケットのTSヘッダのエラー情報のみでは、TSペイロードの映像・音声データのエラーを排除できないが、PESレイヤまたはESレイヤでのエラーを検出することで、映像・音声データに特化した高精度なTSの切替を実現することができる。すなわち、TSヘッダから検出できるエラー情報だけでなく、PESまたはESによる映像・音声データ部分におけるエラー情報に応じて、TSを切替ることができる。
エラー検出回路56の組立回路561および検出回路562の機能は、復号回路6が一般的に備えるエラー検出機能と同様である。具体的には、デマックス61、映像復号回62、及び音声復号回路63における検出機構を組み合わせて構成する。このため、復号回路6のエラー検出機能を切替回路5に転用することで、新たに開発することなく、容易にエラー検出回路56を実装することができる。
エラー検出回路56は、エラーを検出した場合、当該エラーに対応するTSパケットのタイムスタンプをエラー用バッファ546に格納する。図2に示すように、PESおよびESは、通常、複数のTSパケットにまたがる。エラー検出回路56は、エラーとなったPESまたはESに対応する全てのTSパケットのタイムスタンプを、エラータイムスタンプとして、エラー用バッファ546に格納する。
エラーを検出した映像・音声のTSパケットを特定する他の方法としては、コンティニュイティカウンタを利用することができる。しかし、TSの速度が速い場合、TSヘッダが全く同じTSパケットが出現する頻度が高くなるため、上述のようなタイムスタンプでTSパケットを特定する方が好ましい。
また、エラー検出回路56のエラー検出動作には、所定の時間が必要となる。従って、遅延調整回路542で出力タイミングの遅延調整を行う場合、オフセット値から算出した遅延調整量に、このエラー検出に要する時間(固定値)を加える必要がある。但し、エラー検出回路56の動作を停止した場合は、このエラー検出に要する時間の加算は不要となる。
このように、エラー検出回路56を動作させた場合、TSの出力の遅延が増加し、最終的な映像出力においても遅延が増加する。従って、ユーザは、エラー検出回路56の動作をOFFにして、画像品質よりも画像出力の低遅延を優先することができる。また、送信側の送信回路13と、受信側の受信回路3との間で、TSパケットの誤り訂正処理が行われ、ほぼ誤りが訂正可能な場合は、エラー検出回路56の動作をOFFにすることで遅延を低減することができる。
なお、本実施形態では、複数のTS(n系統)のエラー検出を同時並行で行うために、TS毎にエラー検出回路56を備える。しかし、エラー検出が短時間に処理できる場合またはTSの数が少ない場合は、切替回路5はエラー検出回路56を備えずに、復号回路6が備えるエラー検出機能を共有することも可能である。
また、図6に示す例では、バッファ回路54の中にエラー検出回路56が構成されているが、エラー検出回路56は、バッファ回路54の外に独立して構成されていてもよい。
<選択回路>
図7は、選択回路53の動作を説明する図である。図7では、n個の伝送経路を経て、n個のバッファ回路54の入力ポート1~nにそれぞれ入力されたn個のTS1~TSnのTSパケットを示す。選択回路55は、バッファ回路54で遅延調整された複数のTSパケットの中から、いずれかのTSパケットを選択する。
図示する例では、点線のTSパケットは、未受信のTSパケットである。未受信は、コンティニュイティカウンタの不連続により検出される。ハッチングされたTSパケットは、フィルタ回路52で検出されたエラーまたはエラー検出回路56で検出されたエラーがあるTSパケットである。それ以外のTSパケットは、いずれのエラーも含まない正常なTSパケットである。
各TSパケットの間には、スタッフィングデータ(但し、典型的には受信回路51において“0”化されている)が埋め込まれていてもよい。TSパケットの長さは、一般的にはμsecオーダであり、遅延調整範囲Xはmsecのオーダになる場合がある。ここでは、説明の便宜上、遅延量もほぼ同じオーダとして示すが、遅延調整範囲Xがmsecのオーダになる場合についても、以下に説明する動作は適用可能である。
図7では、TS1、TSn-1、TSnの最初のTSパケットは未受信で、TS2の最初のTSパケットが最も早く受信されている。従って、TS2が基準信号となり、以降のTS2の各TSパケットの先頭が基準信号タイミングとなる。図7では、基準信号タイミングを、TI1、TI2・・・・と示している。基準信号の入力がなくなった状態でも、基準信号タイミングは現在選択中のTSとの相対的なタイミングとして保持される。
その後で、仮に基準信号が保持した基準信号タイミングより遅れて入力された場合、または、基準信号が保持予定の基準信号タイミングよりも早く入力された場合には、遅れて入力されたタイミングまたは早く入力されたタイミングが優先される。
出力基準タイミングは、基準信号タイミングから調整範囲Xだけ遅延したタイミングである。エラー検出回路56動作時はエラー検出の遅延分が前記タイミングに加算される。ここでは、バッファ回路54の出力ポートにおいて、出力基準タイミングをTO1、TO2・・・と示している。
バッファ回路54は、基準信号以外のその他のTSのTSパケットを、出力基準タイミングになるように出力タイミングを調整する。出力タイミングが調整されたTSパケットは、フィルタ回路52によるエラー情報と、エラー検出回路56によるエラー情報とともに、選択回路55へ供給される。
選択回路55は、フィルタ回路52によるエラー情報と、エラー検出回路56によるエラー情報とを用いて出力基準タイミング毎にTSパケットのエラーの有無を判定し、復号すべきTSパケットを選択する。具体的には、選択回路55は、バッファ回路54から格納が古い順に読み出して処理する。
図7に示す例では、TS1及びTS2は、途中でTSパケットが未受信となる箇所が存在する。また、TS1、TS2、TSn-1及びTSnは、途中でエラーとなるTSパケットが存在する。また、TS1、TS2、TSn-1及びTSnは、TSパケットの受信タイミングが変動する。具体的にはTS1、TSn-1及びTSnのTSパケットは、基準信号タイミングよりも遅くなる場合もあれば早くなる場合もある。TS2のTSパケットは、例えばTI6からTI7で基準信号タイミング自体が変動している。
選択回路55は、動作開始時にTS1を選択し、TS1のTSパケットからエラーを判定する。すなわち、選択回路55は、系統番号の若い順(TS1→TS2→TS3→・・・→TSn-1→TSn)にエラーを判定する。そして、選択回路55は、エラー無と判定されたTSパケットのTSを選択する。
次の出力基準タイミングにおけるTSパケットについては、選択回路55は、まず選択しているTSのTSパケットに対してエラー判定し、当該TSパケットがエラー有と判定された場合、再度、系統番号の若い順にエラー判定を行い、エラーが無い他のTSのTSパケットに切り替えて出力する。全ての系統でエラー有の場合、選択回路55は選択しているTSを選択する。一方、選択しているTSのTSパケットにエラーが無い場合は、当該TSパケットを継続して出力する。この繰り返しでエラー判定及びTSパケット選択が行われる。なお、エラー判定の順番と、どの系統を基準信号にするかは独立に行うことができる。
図8は、選択回路55の選択方法を示すフローチャートである。動作開始時に、選択回路55は、TS1を選択し、TS1のTSパケットを読み込む(S11)。選択回路55は、読み込んだTSパケットにエラーがあるか否かを判定する(S12)。エラーがない場合(S12:NO)、選択回路55は、読み込んだTSパケットのTSを選択し、当該TSパケットを出力する(S13‐1)。そして、選択回路55は、選択したTSの次の出力基準タイミングにおけるTSパケットを読み込み(S14)、S12に戻り以降の処理を繰り返し行う。
一方、読み込んだTSパケットにエラーがある場合であって(S12:YES)、次の系統番号のTSがある場合(S15:YES)、選択回路55は、次の系統番号のTSのTSパケットを読み込む(S16)。そして、選択回路55はS12に戻り、S16で読み込んだTSパケットにエラーがあるか否かを判定し、以降の処理を繰り返し行う。次の系統番号のTSがない場合(S15:NO)、選択回路55は、S13‐2に進み、現在選択しているTSのTSパケットを継続して出力する。
S12のエラー判定において、選択回路55は、フィルタ回路52によるエラー情報と、エラー検出回路56によるエラー情報とを用いて判定する。具体的には、選択回路55は、以下の条件1および条件2の少なくとも1がエラー有の場合に、TSパケットはエラーが有ると判定する。一方、選択回路55は、条件1および条件2のいずれもエラー無の場合は、TSパケットはエラーが無いと判定する。
条件1では、選択回路55は、フィルタ回路52で検出したエラー情報の各種フラグに少なくとも1つのエラーが示されている場合はエラー有と判定し、いずれのフラグもエラーが示されていない場合は、エラー無と判定する。
条件2では、選択回路55は、エラー判定の対象TSパケットのタイムスタンプが、バッファ回路54から送出されたエラー情報(エラータイムスタンプ)に含まれている場合はエラー有と判定し、エラー情報に含まれていない場合はエラー無と判定する。
図8に示す選択回路55の処理により、選択回路55に入力される複数のTSは、以下のように切り替えられる。
・選択しているTS(系統)のTSパケットでエラーが発生しており、他の系統のTSのTSパケットにエラーが発生していない場合は、選択回路55は、エラーが発生していないTSパケットのTSに切り替える。
・選択しているTSのTSパケットでエラーが発生しており、他の系統の全てのTSのTSパケットでもエラーが発生している場合は、選択回路55は、TSを切り替えずに、選択しているTSのTSパケットの出力を継続する。
・選択しているTSのTSパケットにエラーが発生していない場合は、選択回路55は、TSを切り替えずに、選択しているTSのTSパケットの出力を継続する。
なお、図8に示すフローチャートは一例であり、これに限定されない。例えば、図8では、系統番号の若い順にエラー判定を行うが、TSパケットの受信順にエラー判定を行ってもよい。
次に、図7を用いて、選択回路55が行うTSの選択および切替を具体的に説明する。図7では、選択動作の処理タイミングを黒丸(●)で示しているが、処理タイミングは、必ずしもこのタイミングでなくてもよい。
図7では、最も早くTSパケットが受信されたTS2が、基準信号となる。すなわち、TS2は、バッファ回路52の入力ポートに最も早く入力されたTSである。以後、基準信号に基づいて設定された出力基準タイミングで、選択動作が行われる。
選択回路55は、最初の出力基準タイミングTO1で、TS1のTSパケットを選択し、バッファ回路54への格納順にエラーを検証する。しかし、TS1の最初のTSパケットは未受信であって、TS2の最初のTSパケットは受信され、且つエラーがないTSパケットである。選択回路55は、TS2の最初のTSパケットを選択し出力する。
出力基準タイミングTO2では、選択しているTS2の2番目のTSパケットでエラーが発生していない。選択回路55は、TSを切り替えずに、選択しているTS2の2番目のTSパケットの出力を継続する。
出力基準タイミングTO3では、選択しているTS2の3番目のTSパケットでエラーが発生している。選択回路55は、他のTSでエラー判定し、エラーが発生していないTSに切り替える。具体的には、選択回路55は、TS1から順にエラー判定し、エラーが発生していないTS1を選択し、TS1に切り替えてTS1の3番目のTSパケットを出力する。
出力基準タイミングTO4では、選択しているTS1の4番目のTSパケットでエラーが発生している。選択回路55は、TS2から順に他のTSでエラー判定し、TS2は未受信で、TSn-1ではエラーが発生していないため、エラーが発生していないTSn-1に切り替えて、TS n-1の4番目のTSパケットを出力する。
出力基準タイミングTO5では、選択しているTSn-1の5番目のTSパケットでエラーが発生していない。選択回路55は、選択しているTSn-1の5番目のTSパケットの出力を継続する。
出力基準タイミングTO6では、選択しているTSn-1の6番目のTSパケットでエラーが発生している。選択回路55は、TS1から順に他のTSでエラー判定し、TS1及びTS2は未受信で、TSnでエラーが発生していないため、エラーが発生していないTSnに切り替えて、TSnの6番目のTSパケットを出力する。
出力基準タイミングTO7では、選択しているTSnの7番目のTSパケットでエラーが発生している。選択回路55は、TS1から順に他のTSでエラー判定し、TS1でエラーが発生していないため、エラーが発生していないTS1に切り替えて、TS1の7番目のTSパケットを出力する。
出力基準タイミングTO8では、選択しているTS1の8番目のTSパケットでエラーが発生していない。選択回路55は、選択しているTS1の8番目のTSパケットの出力を継続する。
出力基準タイミングTO9では、選択しているTS1の9番目のTSパケットでエラーが発生していない。選択回路55は、選択しているTS1の9番目のTSパケットの出力を継続する。
<本実施形態の作用効果>
以上説明したように、本実施形態の映像受信装置4は、異なる伝送経路を介して送信された複数のTS(映像信号)を受信する映像受信装置であって、受信した複数のTSのそれぞれについて、前記TSの復号に必要なTSパケットのみを通過させるとともに、前記通過させるTSパケットのTSヘッダを用いてTSの第1のエラーを検証し、第1のエラー情報を出力するフィルタ回路52と、第1のエラー情報に基づいて、複数のTSの中からいずれかのTSを選択し、選択したTSを復号すべき映像信号として出力する選択回路55と、を有する。
フィルタ回路52を備えることで、復号に必要なTSパケットのエラーの有無でTSを切り替えることがきる。すなわち、復号に不要なTSパケットのエラーの有無で、TSが頻繁に切り替えてしまうことにより、映像品質が低下するのを回避できる。具体的には、復号に不要なTSパケットのエラーの有無を加味してTSを切り替えた場合、復号に必要なTSパケットにエラーが無くても、不要なTSパケットにエラーがあれば無駄なTSの切り替えが発生してしまうため、切り替えの精度(適格性、確実性)が低下する。
また、フィルタ回路52が復号回路6のPSI解析回路66の機能を使用(共有)する場合、すなわちフィルタリングするTSパケットの指定がPSI解析回路66から通知される場合、切替回路5におけるPSI解析のための回路を大幅に低減でき、高精度で簡易かつ低コストに、TSのシームレスな切替を実現することができる。
本実施形態の切替回路5は、ESレベルおよびPESレベルの少なくとも1つのレベルでの第2のエラーを検証し、第2のエラー情報を選択回路55に出力するエラー検証回路56を備える。これにより、選択回路55は、TSヘッダを用いたエラーだけでなく、PESレイヤまたはESレイヤでの映像、音声に特化したエラーを用いてエラー判定ができ、より高品質のTSを選択することができる。
具体的には、TSパケットのTSペイロード(映像データ等)へのエラー混入を高い精度で排除でき、復号時の映像や音声に発生する傷やノイズが大幅に低減された高品質な映像受信装置を構成することができる。
また、エラー検出回路56は、復号回路6に通常実装されているエラー検出機能を転用することができるので、新たな開発を行わず簡易に実装できる。
本実施形態の切替回路5は、フィルタ回路52から出力される複数のTSの間の遅延差を、PCR情報を用いて測定し、オフセット値を出力する測定回路53を備える。これにより、測定回路53は、PATよりも短い周期のPCRを使用して、高い頻度で遅延を測定することができるため、遅延差変動への追従性が高い映像受信装置を実装することができる。また、複数の系統間のTSパケットの同期精度が向上するため、切替時の映像等の乱れを低減でき高画質な映像信号を生成できる。PCRパケットは、復号回路6のPSI解析回路66を用いることで、容易に検出することができる。この場合、測定回路53の回路構成を大幅に低減できる。
<変形例>
なお、本発明は上記実施形態に限定されず、本実施形態の変形例として、以下の映像受信装置が考えらえる。
図9は、第1の変形例の映像受信装置4Aの構成図である。第1の変形例では、測定回路53Aと、バッファ回路54Aとが、図3に示す本実施形態の映像受信装置4と異なり、その他は、映像受信装置4と同様である。
本変形例のバッファ回路54Aは、エラー検出回路56を有しない。この場合、選択回路55は、フィルタ回路52によるTSヘッダを用いたエラー情報に基づいて、復号すべきTS選択し、出力する。すなわち、選択回路55は、フィルタ回路52によるエラーの有無を用いてTSを切り替える。
また、本変形例の測定回路53は、上記実施形態で説明したPCRパケットを用いて遅延差を測定してもよく、あるいは、PATパケットを用いて遅延差を測定してもよい。
このように本変形例の映像受信装置4Aは、異なる伝送経路を介して送信された複数のTS(映像信号)を受信する映像受信装置であって、受信した複数のTSのそれぞれについて、前記TSの復号に必要なTSパケットのみを通過させるとともに、前記通過させるTSパケットのTSヘッダを用いてTSの第1のエラーを検証し、第1のエラー情報を出力するフィルタ回路52と、第1のエラー情報に基づいて、複数のTSの中からいずれかのTSを選択し、選択したTSを復号すべき映像信号として出力する選択回路55と、を有する。
本変形例では、切替回路5がフィルタ回路52を備えることで、復号に必要なTSパケットのエラーの有無でTSを切り替えることがき、復号に不要なTSパケットのエラーの有無でTSが頻繁に切り替わることによる映像品質の低下を回避できる。
また、フィルタ回路52は、フィルタリングするTSパケットの指定を、復号回路6のPSI解析回路66から受け付けた場合は、フィルタ回路52はPSI解析のための回路を大幅に低減でき、高精度で簡易かつ低コストにTSのシームレス切替が可能となる。なお、フィルタ回路52は、当該フィルタ回路52の内部にPSI解析回路66と同様の回路を備えてもよい。この場合、フィルタ回路52は、復号に必要なTSパケットを解析し、当該TSパケットのみを通過させる。
図10は、第2の変形例の映像受信装置4Bの構成図である。第2の変形例では、フィルタ回路52の替わりにヘッダエラー検出回路57を備えること、および測定回路53Bが、図3の本実施形態の映像受信装置4と異なり、その他は図3の映像受信装置4と同様である。
ヘッダエラー検出回路57は、図3のフィルタ回路52の一部の機能であり、TSパケットのTSヘッダを解析し、信号の有無、エラー状況などのエラー情報(各種フラグ)を生成し、TSパケットとともに測定回路53およびバッファ回路54に出力する。本変形例では、フィルタ回路52を備えないため、受信回路51で受信された全てのTSパケットは、ヘッダエラー回路57を介して測定回路53およびバッファ回路54に出力される。
本変形例の測定回路53は、上記実施形態で説明したPCRパケットを用いて遅延差を測定してもよく、あるいは、PATパケットを用いて遅延差を測定してもよい。PCRパケットを用いる場合、測定回路53は、PSI解析回路66と同様の機能を備え、TSパケットを解析して入力されたTSパケットの中からPCRパケットを検出し、遅延差を測定してオフセット値をバッファ回路54に出力する。また、測定回路53は、PSI解析回路66からPCRパケットのPIDを受け付け、当該PIDを有するTSパケットをPCRパケットとして抽出してもよい。また、PCRパケットのPIDが事前に取得できる場合は、測定回路53にPCRパケットのPIDをあらかじめ設定しておいてもよい。
本変形例のバッファ回路54のエラー検出回路56は、受信回路51で受信された全てのTSパケットに対して、PESまたはESを組み立て、PESレイヤまたはESレイヤでのエラーを検出し、検出結果を選択回路55に出力する。
このように本変形例の映像受信装置4Bは、異なる伝送経路を介して送信された複数のTS(映像信号)を受信する映像受信装置であって、受信した複数のTSのそれぞれについて、TSパケットのTSヘッダを用いて第1のエラーを検証し、第1のエラー情報を出力するヘッダエラー検出回路57(第1のエラー検証回路)と、複数の前記映像信号のそれぞれについて、ESレベルおよびPESレベルの少なくとも1つのレベルでの第2のエラーを検証し、第2のエラー情報を出力するエラー検証回路56(第2のエラー検証回路)と、前記第1のエラー情報および前記第2のエラー情報に基づいて、複数のTSからいずれかのTSを選択し、選択したTSを復号すべきTSとして出力する選択回路55とを有する。
本変形例では、バッファ回路54がエラー検出回路56を備えることで、選択回路55は、TSヘッダを用いたエラーだけでなく、PESレイヤまたはESレイヤでの映像、音声に特化したエラーを用いて高精度にエラー判定ができ、より高品質のTSを選択することができる。
また、測定回路53が、PCRパケットを用いて遅延差を測定する場合であって、PCRパケットの指定を、復号回路6のPSI解析回路66から受け付けた場合は、測定回路53は、PSI解析のための回路構成を大幅に低減でき、高精度で簡易かつ低コストにTSのシームレス切替が可能となる。なお、測定回路53は、当該測定回路53の内部にPSI解析回路66と同様の回路を備えてもよい。
図11は、第3の変形例の映像受信装置4Cの構成図である。第3の変形例では、フィルタ回路52の替わりにヘッダエラー検出回路57を備えること、および、バッファ回路54Cが、図3の本実施形態の映像受信装置4と異なり、その他は図3の映像受信装置4と同様である。
本変形例では、フィルタ回路52を備えないため、受信回路51で受信された全てのTSパケットは、ヘッダエラー回路57を介して測定回路53およびバッファ回路54に出力される。この点については、第2の変形例と同様である。また、ヘッダエラー回路57についても第2の変形例と同様である。
本変形例のバッファ回路54Cは、第1の変形例と同様にエラー検出回路56を有しない。この場合、選択回路55は、ヘッダエラー回路57によるTSヘッダを用いたエラー情報に基づいて、復号すべきTS選択し、出力する。
本変形例の測定回路53は、上記実施形態で説明したPCRパケットを用いて遅延差を測定する。測定回路53がPCRパケットを検出する方法については、第2の変形例と同様である。
このように本変形例の映像受信装置4Cは、異なる伝送経路を介して送信された複数のTS(映像信号)を受信する映像受信装置であって、受信した複数のTSのそれぞれについて、TSパケットのヘッダを用いて第1のエラーを検証し、第1のエラー情報を出力する(ヘッダエラー検出回路57(第1のエラー検証回路)と、複数のTSの間の遅延差を、TSに含まれるPCR情報を用いて測定し、オフセット値を出力する測定回路53と、複数のTSを格納し、前記オフセット値を用いて複数のTSの遅延差を調整して出力するバッファ回路54と、バッファ回路54から出力された複数のTSから、第1のエラー情報に基づいていずれかのTSを選択し、選択したTSを復号すべきTSとして出力する選択回路55と、を有する。
本変形例では、測定回路53が、PATパケットよりも短い周期のPCRパケットを使用して遅延差を測定することで、高い頻度で遅延差を測定でき、遅延差変動への追従性が高速な映像受信装置を提供することができる。
また、測定回路53が、PCRパケットの指定を復号回路6のPSI解析回路66から受け付けた場合は、PSI解析のための回路構成を大幅に低減でき、高精度で簡易かつ低コストにTSのシームレス切替が可能となる。なお、測定回路53は、当該測定回路53の内部にPSI解析回路66と同様の回路を備えてもよい。
<ハードウェア構成>
上記説明した映像受信装置4、4A、4B、4Cには、汎用的なコンピュータシステムを用いることができる。コンピュータシステムは、例えば、CPU(Central Processing Unit、プロセッサ)と、メモリと、ストレージ(HDD:Hard Disk Drive、SSD:Solid State Drive)と、通信装置と、入力装置と、出力装置とを備える。メモリおよびストレージは、記憶装置である。このコンピュータシステムにおいて、CPUがメモリ上にロードされた所定のプログラムを実行することにより、映像受信装置4、4A、4B、4Cの各機能が実現される。
また、映像受信装置4、4A、4B、4Cは、1つのコンピュータで実装されてもよく、あるいは複数のコンピュータで実装されても良い。また、映像受信装置4、4A、4B、4Cは、コンピュータに実装される仮想マシンであっても良い。映像受信装置4、4A、4B、4C用のプログラムは、HDD、SSD、USB(Universal Serial Bus)メモリ、CD (Compact Disc)、DVD (Digital Versatile Disc)などのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。
なお、本発明は上記実施形態および変形例に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。例えば、上記実施形態では、映像受信装置4は、切替回路5と復号回路6とを含むこととしたが、これに限定されない。例えば、映像受信装置4は、複数の装置で実装されていてもよい。すなわち、本発明は、切替回路5の機能を有する切替装置と、復号回路6の機能を有する復号装置とを有する映像受信装置システムであってもよい。
1 :映像送信装置
2 :映像受信システム
3 :RF受信回路
4 :映像受信装置
5 :切替回路
51:受信回路
52:フィルタ回路
53:測定回路
54:バッファ回路
55:選択回路
6 :復号回路
66:PSI解析回路
61:デマックス
62:映像復号回路
63:音声復号回路
64:アンシラリ処理回路

Claims (11)

  1. 異なる伝送経路を介して送信された複数の映像信号を受信する映像受信装置であって、
    受信した複数の前記映像信号のそれぞれについて、前記映像信号の復号に必要なパケットのみを通過させるとともに、前記通過させるパケットのヘッダを用いて前記映像信号の第1のエラーを検証し、第1のエラー情報を出力するフィルタ回路と、
    前記第1のエラー情報に基づいて、複数の前記映像信号の中からいずれかの映像信号を選択し、選択した前記映像信号を復号すべき映像信号として出力する選択回路と、を有すること
    を特徴とする映像受信装置。
  2. 前記選択回路は、選択している映像信号に前記第1のエラーが無い場合は、当該映像信号を出力し、前記第1のエラーが有る場合は、エラーが無い他の映像信号に切り替えて出力すること
    を特徴とする請求項1に記載の映像受信装置。
  3. 複数の前記映像信号のそれぞれについて、ES(Elementary Stream)レベルおよびPES(Packetized Elementary Stream)レベルの少なくとも1つのレベルでの第2のエラーを検証し、第2のエラー情報を前記選択回路に出力するエラー検証回路を有し、
    前記選択回路は、前記第1のエラー情報および前記第2のエラー情報に基づいて、複数の前記映像信号からいずれかの映像信号を選択し、選択した前記映像信号を復号すべき映像信号として出力すること
    を特徴とする請求項1または2に記載の映像受信装置。
  4. 前記フィルタ回路は、前記映像信号に含まれるPCR(Program clock reference)情報を有するパケットを通過させ、
    前記フィルタ回路から出力される複数の前記映像信号の間の遅延差を、前記PCR情報を用いて測定し、オフセット値を出力する測定回路と、
    前記フィルタ回路から出力される、複数の前記映像信号を格納し、前記オフセット値を用いて複数の前記映像信号の遅延差を調整して、前記選択回路に出力するバッファ回路と、を有すること
    を特徴とする請求項1から3のいずれか1項に記載の映像受信装置。
  5. 前記選択回路から出力される映像信号を復号する復号回路を有し、
    前記復号回路は、前記復号に必要なパケットを前記フィルタ回路に通知すること
    を特徴とする請求項1から4のいずれか1項に記載の映像受信装置。
  6. 前記復号回路は、パケット識別子を用いて前記復号に必要なパケットを前記フィルタ回路に通知すること
    を特徴とする請求項5に記載の映像受信装置。
  7. 前記選択回路から出力される映像信号を復号する復号回路を有し、
    前記復号回路は、前記PCR情報を有するパケットのパケット識別子を前記測定回路に通知すること
    を特徴とする請求項4項に記載の映像受信装置。
  8. 異なる伝送経路を介して送信された複数の映像信号を受信する映像受信装置であって、
    受信した複数の前記映像信号のそれぞれについて、前記映像信号のパケットのヘッダを用いて第1のエラーを検証し、第1のエラー情報を出力する第1のエラー検証回路と、
    複数の前記映像信号のそれぞれについて、ES(Elementary Stream)レベルおよびPES(Packetized Elementary Stream)レベルの少なくとも1つのレベルでの第2のエラーを検証し、第2のエラー情報を出力する第2のエラー検証回路と、
    前記第1のエラー情報および前記第2のエラー情報に基づいて、複数の前記映像信号からいずれかの映像信号を選択し、選択した前記映像信号を復号すべき映像信号として出力する選択回路とを有すること
    を特徴とする映像受信装置。
  9. 異なる伝送経路を介して送信された複数の映像信号を受信する映像受信装置であって、
    受信した複数の前記映像信号のそれぞれについて、前記映像信号のパケットのヘッダを用いて第1のエラーを検証し、第1のエラー情報を出力する第1のエラー検証回路と、
    複数の前記映像信号の間の遅延差を、前記映像信号に含まれるPCR(Program clock reference)情報を用いて測定し、オフセット値を出力する測定回路と、
    複数の前記映像信号を格納し、前記オフセット値を用いて複数の前記映像信号の遅延差を調整して出力するバッファ回路と、
    前記バッファ回路から出力された複数の前記映像信号から、前記第1のエラー情報に基づいていずれかの映像信号を選択し、選択した前記映像信号を復号すべき映像信号として出力する選択回路と、を有すること
    を特徴とする映像受信装置。
  10. 異なる伝送経路を介して送信された複数の映像信号を切り替えて映像信号を生成する映像生成方法であって、映像受信装置が、
    受信した複数の前記映像信号のそれぞれについて、前記映像信号の復号に必要なパケットのみを通過させるステップと、
    前記通過させるパケットのヘッダを用いて第1のエラーを検証し、第1のエラー情報を出力するステップと、
    前記第1のエラー情報に基づいて、複数の前記映像信号の中からいずれかの映像信号を選択し、選択した前記映像信号を復号すべき映像信号として出力するステップと、を行うこと
    を特徴とする映像生成方法。
  11. 請求項1から9のいずれか1項に記載の映像受信装置として、コンピュータを機能させるプログラム。
JP2022024953A 2022-02-21 2022-02-21 映像受信装置、映像生成方法およびプログラム Pending JP2023121551A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022024953A JP2023121551A (ja) 2022-02-21 2022-02-21 映像受信装置、映像生成方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022024953A JP2023121551A (ja) 2022-02-21 2022-02-21 映像受信装置、映像生成方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2023121551A true JP2023121551A (ja) 2023-08-31

Family

ID=87798042

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022024953A Pending JP2023121551A (ja) 2022-02-21 2022-02-21 映像受信装置、映像生成方法およびプログラム

Country Status (1)

Country Link
JP (1) JP2023121551A (ja)

Similar Documents

Publication Publication Date Title
JP6566338B2 (ja) 送信方法、送信装置及びシステム
US11019118B2 (en) Transmission method, reception method, transmission apparatus, and reception apparatus
JP6827223B2 (ja) 送信方法、受信方法、送信装置及び受信装置
TWI486059B (zh) 接收設備及方法,程式,以及接收系統
JP5483081B2 (ja) 受信装置及び方法、プログラム、並びに受信システム
US8315312B2 (en) IP stream communicating system, IP stream receiving apparatus and reception processing timing sync method for use in IP stream receiving apparatus
JP6298305B2 (ja) 放送信号ip伝送システムおよび放送信号ip伝送方法
US20180027285A1 (en) Decoding device, reception device, transmission device, transmission/reception system, decoding method, and storage medium having decoding program stored therein
US10523467B2 (en) Transmission device, transmission method, reception device and reception method
US10623535B2 (en) Signal processing apparatus and signal processing method
WO2016031172A1 (ja) 復号装置、逆多重化装置、復号方法及び逆多重化方法
EP1662484B1 (en) Method and apparatus for processing asynchronous audio stream
US8615701B2 (en) Apparatus and method for indicating a packet error in an audio and video communication system
JP6957186B2 (ja) 情報処理装置、情報処理方法、プログラム、および記録媒体製造方法
JP2023121551A (ja) 映像受信装置、映像生成方法およびプログラム
US20180014060A1 (en) Decoding device, reception device, transmission device, transmission/reception system, decoding method, and storage medium having decoding program stored therein
JP7249563B2 (ja) 送信方法、受信方法、送信装置及び受信装置
KR101488729B1 (ko) 디지털 방송 송신장치 및 수신장치와 그 방법들
JP2005151463A (ja) ストリームデータ受信装置およびストリームデータ受信方法
WO2016056201A1 (ja) 送信方法、送信装置及びシステム
JP5069580B2 (ja) 信号再生装置
JP2005020437A (ja) コンテンツ補正システムおよび受信機器
KR100793963B1 (ko) 디지털 방송시스템 및 그 데이터 처리방법
JP3968053B2 (ja) トランスポートストリーム切替装置およびトランスポートストリーム切替プログラム
KR100739802B1 (ko) 데이터 재생 장치 및 방법