JP2018074480A - Reception terminal and program - Google Patents

Reception terminal and program Download PDF

Info

Publication number
JP2018074480A
JP2018074480A JP2016214558A JP2016214558A JP2018074480A JP 2018074480 A JP2018074480 A JP 2018074480A JP 2016214558 A JP2016214558 A JP 2016214558A JP 2016214558 A JP2016214558 A JP 2016214558A JP 2018074480 A JP2018074480 A JP 2018074480A
Authority
JP
Japan
Prior art keywords
receiving terminal
time
pts
pts offset
offset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016214558A
Other languages
Japanese (ja)
Other versions
JP6789761B2 (en
Inventor
侑輝 河村
Yuki Kawamura
侑輝 河村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2016214558A priority Critical patent/JP6789761B2/en
Publication of JP2018074480A publication Critical patent/JP2018074480A/en
Application granted granted Critical
Publication of JP6789761B2 publication Critical patent/JP6789761B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

PROBLEM TO BE SOLVED: To establish synchronism for realizing a broadcast and communication cooperation service.SOLUTION: Reception terminals 2-1 and 2-2 or the like determine PTS offsets Δt1 and Δt2 or the like by subtracting a time of PTS from a time in which an MPU is decoded and a leading frame can be presented. The reception terminal 2-1 determines a maximum value of the PTS offsets Δt1 and Δt2 or the like as a common PTS offset ΔCT. The reception terminals 2-1 and 2-2 or the like set a presentation time by adding the common PTS offset ΔCT to the time of PTS. In a case where the PTS offsets Δt1 and Δt2 or the like are equal to the common PTS offset ΔCT, buffering processing is not performed but in a case where both the offsets are different, buffering processing is performed for a time of a result obtained by subtracting the PTS offsets Δt1 and Δt2 or the like from the common PTS offset ΔCT. The determination of the common PTS offset ΔCT and correction of an application clock to be used for timing control of synchronous presentation are simultaneously performed by synchronous packet communication between reception terminals.SELECTED DRAWING: Figure 7

Description

本発明は、映像信号等の同期を確立する受信端末及びプログラムに関する。   The present invention relates to a receiving terminal and a program for establishing synchronization of video signals and the like.

従来、デジタル放送に用いられているＭＰＥＧ−２ ＴＳ方式に代わる新たな方式として、ＭＭＴ（MPEG Media Transport）方式が規定され（非特許文献１を参照）、ＭＭＴ方式を用いた４Ｋ・８Ｋ衛星放送の試験が開始されている。   Conventionally, the MMT (MPEG Media Transport) system is defined as a new system replacing the MPEG-2 TS system used for digital broadcasting (see Non-Patent Document 1), and 4K / 8K satellite broadcasting using the MMT system. The trial has started.

ＭＭＴ方式は、ＩＳＯ／ＩＥＣの標準規格として、様々なアプリケーションに対応できるように、伝送時のパケット形式、ペイロード形式、制御情報の形式等が規定されている。また、放送システムを実現するためのＭＭＴ方式の詳細仕様として、電波産業会（ＡＲＩＢ）の標準規格が策定されている（非特許文献２を参照）。   In the MMT system, as a standard of ISO / IEC, a packet format, a payload format, a control information format, and the like at the time of transmission are defined so as to be compatible with various applications. In addition, as a detailed specification of the MMT system for realizing a broadcasting system, a standard of the Radio Industries Association (ARIB) has been established (see Non-Patent Document 2).

ＭＭＴ方式は、インターネットが広く普及した現在のコンテンツ配信環境に適するＩＰ上の新たなメディアトランスポート方式である。映像信号及び音声信号の符号データ及び制御情報は、ＭＴＵ（Maximum Transmission Unit）を最大とする可変長のＩＰパケットに格納され、ＩＰの下位層がイーサネット（登録商標）の場合、ＭＴＵは１５００バイトが標準である。また、基準クロックの伝送は規定されておらず、送信装置及び受信端末のそれぞれが、ＮＴＰ（Network Time Protocol）サーバ等から取得した協定世界時（ＵＴＣ：Coordinated Universal Time）を基準にして動作する。   The MMT method is a new media transport method on IP suitable for the current content distribution environment in which the Internet is widely spread. Code data and control information of a video signal and an audio signal are stored in a variable-length IP packet that maximizes an MTU (Maximum Transmission Unit). When the lower layer of the IP is Ethernet (registered trademark), the MTU has 1500 bytes. Standard. Further, the transmission of the reference clock is not defined, and each of the transmission device and the reception terminal operates with reference to Coordinated Universal Time (UTC) acquired from an NTP (Network Time Protocol) server or the like.

また、ＭＭＴ方式では、受信端末にて映像信号及び音声信号を提示する時刻を示すＰＴＳ（Presentation Time Stamp：提示タイムスタンプ）が、ＵＴＣのサンプル値として与えられる。これにより、ＭＭＴ方式を用いて多重された映像信号及び音声信号の送信元が異なる場合であっても、ＰＴＳを用いることで、受信端末にて同期を確立することができる。   In the MMT system, a PTS (Presentation Time Stamp) indicating the time at which a video signal and an audio signal are presented at a receiving terminal is given as a sample value of UTC. Thereby, even if the transmission sources of the video signal and the audio signal multiplexed using the MMT method are different, synchronization can be established at the receiving terminal by using the PTS.

独立して復号可能な符号データの集合をＭＰＵ（Media Processing Unit）といい、ＭＰＵ毎に、最初に提示するフレームのＰＴＳが制御情報に記載され伝送される。映像符号化の場合、他のフレームを参照することなく復号開始可能なイントラフレームを復号順の先頭とする複数フレームの集合がＭＰＵである。ＭＰＵをさらに細分化した単位をＭＦＵ（Media Fragment Unit）といい、ＩＰパケットに格納される符号データの基本単位となる。   A set of code data that can be decoded independently is called an MPU (Media Processing Unit), and for each MPU, a PTS of a frame to be presented first is described in control information and transmitted. In the case of video encoding, an MPU is a set of a plurality of frames having an intra frame that can be decoded without referring to other frames as a head in decoding order. A unit obtained by further subdividing the MPU is called an MFU (Media Fragment Unit), and becomes a basic unit of code data stored in an IP packet.

ところで、放送システムにおいて、このＭＭＴ方式を用いた受信端末は、通信ネットワークを用いない放送単独サービスに加え、通信ネットワークを用いて放送の主映像と同期する付加映像を配信する放送及び通信連携サービスに適用することができる。   By the way, in a broadcasting system, a receiving terminal using this MMT system is not only a broadcasting single service that does not use a communication network, but also a broadcasting and communication cooperation service that distributes an additional video that is synchronized with a main video of broadcasting using a communication network. Can be applied.

例えば、受信端末である８Ｋテレビは、放送の主映像を受信すると共に、通信ネットワークから付加映像を受信し、放送の主映像上の子画面に付加映像を合成して表示したり、放送の主映像の一部を付加映像に差し替えたりする。このような放送及び通信連携サービスは、８Ｋテレビ単体が放送及び通信の両方からコンテンツを受信し、これらのコンテンツを組み合わせて利用するものである。   For example, an 8K television as a receiving terminal receives a broadcast main video, receives an additional video from a communication network, combines the additional video on a sub-screen on the broadcast main video, and displays it. Part of the video is replaced with additional video. In such a broadcasting and communication cooperation service, an 8K TV alone receives contents from both broadcasting and communication, and uses these contents in combination.

一方で、８Ｋテレビと、インターネットの通信ネットワークに接続される複数のモバイル端末とを連携させる放送及び通信連携サービスの実現も望まれている。   On the other hand, realization of a broadcasting and communication cooperation service that links an 8K television and a plurality of mobile terminals connected to an Internet communication network is also desired.

図１４は、複数の受信端末を連携させるサービスの例を説明する図である。図１４において、複数の視聴者は、放送波を受信する８Ｋテレビを用いて主映像及び主音声を視聴する。また、複数の視聴者のそれぞれは、主映像等の視聴に加え、インターネットに接続されたモバイル端末を用いて、好みに合わせた付加映像及び付加音声を視聴する。   FIG. 14 is a diagram illustrating an example of a service that links a plurality of receiving terminals. In FIG. 14, a plurality of viewers watch the main video and the main audio using an 8K television that receives broadcast waves. Each of the plurality of viewers views the additional video and the additional audio according to their preference using a mobile terminal connected to the Internet in addition to viewing the main video and the like.

このとき、モバイル端末は、インターネットから付加映像及び付加音声を受信して再生する際に、この付加映像等と、８Ｋテレビにて再生される主映像及び他のモバイル端末にて再生される付加映像等とを同期させる必要がある。   At this time, when the mobile terminal receives and reproduces the additional video and the additional audio from the Internet, the additional video, the main video reproduced on the 8K television, and the additional video reproduced on the other mobile terminal. Etc. need to be synchronized.

ISO/IEC 23008-1:2014,“Information Technology-High Efficiency Coding and Media Delivery in Heterogeneous Environment-Part1:MPEG Media Transport(MMT)”ISO / IEC 23008-1: 2014, “Information Technology-High Efficiency Coding and Media Delivery in Heterogeneous Environment-Part1: MPEG Media Transport (MMT)” ARIB STD-B60(2014)：“デジタル放送におけるＭＭＴによるメディアトランスポート方式”，電波産業会ARIB STD-B60 (2014): “Media transport method using MMT in digital broadcasting”, Radio Industry Association

ＭＭＴ方式を用いた送信装置及び複数の受信端末において、送信装置から複数の受信端末へ映像信号が送信され、複数の受信端末にて受信した映像信号を同期させる場合を想定する。   A case is assumed in which a video signal is transmitted from a transmission device to a plurality of reception terminals in the transmission device and the plurality of reception terminals using the MMT method, and the video signals received by the plurality of reception terminals are synchronized.

複数の受信端末による連携サービスを実現するための手法として、送信装置が、複数の受信端末におけるそれぞれの受信環境を考慮し、全ての受信端末において同じタイミングで同期して再生できるように、映像信号のＰＴＳに予めオフセットを加算することが考えられる。   As a method for realizing a cooperative service by a plurality of receiving terminals, a video signal is transmitted so that the transmitting apparatus can reproduce in synchronization at the same timing in all the receiving terminals in consideration of the receiving environments in the plurality of receiving terminals. It is conceivable to add an offset in advance to the PTS.

具体的には、送信装置は、複数の受信端末のそれぞれについて、伝送遅延時間及び処理遅延時間からなる遅延時間を予測する。そして、映像信号が格納されたＭＰＵを送信する際に、これらの遅延時間の最大値をＵＴＣに加算した値、すなわち、送信装置にとって未来の時刻をそのＭＰＵのＰＴＳとして設定する。複数の受信端末は、映像信号が格納されたＭＰＵを受信し、ＰＴＳの示す時刻に映像信号を再生する。   Specifically, the transmission apparatus predicts a delay time including a transmission delay time and a processing delay time for each of the plurality of receiving terminals. Then, when transmitting the MPU storing the video signal, a value obtained by adding the maximum value of these delay times to the UTC, that is, a future time for the transmitting apparatus is set as the PTS of the MPU. The plurality of receiving terminals receive the MPU storing the video signal and reproduce the video signal at the time indicated by the PTS.

これにより、複数の受信端末のそれぞれで伝送遅延時間及び処理遅延時間が異なる場合であっても、全ての受信端末は、同じタイミングで映像信号を同期して再生することができる。   As a result, even when the transmission delay time and the processing delay time are different in each of the plurality of receiving terminals, all the receiving terminals can reproduce the video signal synchronously at the same timing.

しかしながら、放送及び通信連携サービスを実用化する際には、当該サービスの対象となる伝送路及び受信端末の受信環境を特定することができない。このため、前述の手法では、あらゆる受信環境に対応した遅延時間の最大値を考慮することは極めて困難であり、非現実的であることから、実際に放送及び通信連携サービスを実現することが難しいという問題があった。また、受信端末はＯＳによって管理されるシステム時計を有するが、実環境では、このシステム時計とＵＴＣとの間には数秒程度のずれが存在し得る。このずれの大きさは受信端末毎に異なるため、各受信端末がそれぞれのシステム時計を参照してＰＴＳに従って映像信号を再生しても、異なる受信端末間では再生タイミングが精確に同期しないという問題があった。   However, when the broadcasting and communication cooperation service is put into practical use, it is not possible to specify the transmission path targeted for the service and the reception environment of the receiving terminal. For this reason, in the above-described method, it is extremely difficult to consider the maximum value of the delay time corresponding to any reception environment, and it is unrealistic, so it is difficult to actually realize the broadcasting and communication cooperation service. There was a problem. In addition, the receiving terminal has a system clock managed by the OS, but in a real environment, there may be a deviation of about several seconds between the system clock and UTC. Since the magnitude of this difference differs for each receiving terminal, there is a problem that even if each receiving terminal reproduces a video signal according to the PTS with reference to the respective system clocks, the reproduction timing is not accurately synchronized between the different receiving terminals. there were.

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、放送及び通信連携サービスを実現するための同期を確立可能な受信端末及びプログラムを提供することにある。   Accordingly, the present invention has been made to solve the above-described problems, and an object of the present invention is to provide a receiving terminal and a program capable of establishing synchronization for realizing a broadcasting and communication cooperation service.

前記課題を解決するために、請求項１の受信端末は、ＭＭＴ（MPEG Media Transport）方式を用いて送信装置から複数の受信端末へ映像信号を送信するシステムの下で、前記複数の受信端末が１台のマスタの受信端末及び１台または複数台のスレーブの受信端末からなる場合に、前記複数の受信端末の間で同期させた前記映像信号を提示して再生する前記マスタの受信端末において、前記送信装置から送信された前記映像信号のＭＰＵ（Media Processing Unit）、及び当該映像信号のＭＰＵの前記送信装置における送信時刻を基準に時刻を指定したＰＴＳ（Presentation Time Stamp）を受信する受信部と、前記映像信号のＭＰＵが実際に復号されて先頭フレームが提示された提示時刻を特定し、前記提示時刻から前記ＰＴＳの時刻を減算し、減算結果の時間をＰＴＳオフセットに決定するＰＴＳオフセット決定部と、前記ＰＴＳオフセット決定部により決定された当該マスタの受信端末の前記ＰＴＳオフセット、及び前記スレーブの受信端末により決定され前記スレーブの受信端末から取得したＰＴＳオフセットのうち、最大値を共通ＰＴＳオフセットに決定する共通オフセット決定部と、前記共通オフセット決定部により決定された前記共通ＰＴＳオフセットを、前記スレーブの受信端末へ送信する送信部と、前記ＰＴＳオフセット決定部により決定された当該マスタの受信端末の前記ＰＴＳオフセットと前記共通オフセット決定部により決定された前記共通ＰＴＳオフセットとが同じである場合、前記映像信号のＭＰＵの符号データをバッファリングすることなく復号するための復号タイミング制御信号を出力し、前記ＰＴＳオフセットと前記共通ＰＴＳオフセットとが異なる場合、前記共通ＰＴＳオフセットから前記ＰＴＳオフセットを減算した結果をバッファリング時間として前記映像信号のＭＰＵの符号データをバッファリングした後に復号するための復号タイミング制御信号を出力し、ＵＴＣ（Coordinated Universal Time）に基づく前記複数の受信端末で共通したアプリ時計に従って、前記映像信号のＭＰＵを提示するための提示タイミング制御信号を出力するタイミング制御部と、を備えたことを特徴とする。   In order to solve the above problem, the receiving terminal according to claim 1 is configured such that the plurality of receiving terminals are under a system that transmits a video signal from a transmitting apparatus to a plurality of receiving terminals using an MMT (MPEG Media Transport) method. In the master receiving terminal that presents and reproduces the video signal synchronized between the plurality of receiving terminals when the master receiving terminal consists of one master receiving terminal and one or more slave receiving terminals, A receiving unit that receives an MPU (Media Processing Unit) of the video signal transmitted from the transmitting device, and a PTS (Presentation Time Stamp) designating a time based on a transmission time of the MPU of the video signal in the transmitting device; The presentation time when the MPU of the video signal is actually decoded and the first frame is presented is specified, the time of the PTS is subtracted from the presentation time, and the time of the subtraction result is PT A PTS offset determining unit that determines the S offset, the PTS offset of the master receiving terminal determined by the PTS offset determining unit, and the PTS offset determined by the slave receiving terminal and acquired from the slave receiving terminal Among them, a common offset determination unit that determines a maximum value as a common PTS offset, a transmission unit that transmits the common PTS offset determined by the common offset determination unit to the receiving terminal of the slave, and a PTS offset determination unit When the determined PTS offset of the receiving terminal of the master and the common PTS offset determined by the common offset determination unit are the same, the code data of the MPU of the video signal is decoded without buffering Decoding timing control When the PTS offset is different from the common PTS offset, the MPU of the video signal is decoded after buffering the code data using the result obtained by subtracting the PTS offset from the common PTS offset as a buffering time. Timing control unit for outputting a decoding timing control signal for outputting a presentation timing control signal for presenting an MPU of the video signal according to an application clock common to the plurality of receiving terminals based on UTC (Coordinated Universal Time) And.

また、請求項２の受信端末は、請求項１に記載の受信端末において、さらに、外部から取得した前記ＵＴＣに基づいて、当該マスタの受信端末にて用いる前記アプリ時計の時刻を生成するアプリ時計生成部を備え、前記タイミング制御部が、前記アプリ時計生成部により生成された前記アプリ時計を用いて、前記提示タイミング制御信号を出力する、ことを特徴とする。   The receiving terminal according to claim 2 is the receiving terminal according to claim 1, and further, based on the UTC acquired from the outside, an application clock that generates the time of the application clock used in the receiving terminal of the master. A generation unit is provided, and the timing control unit outputs the presentation timing control signal using the application clock generated by the application clock generation unit.

また、請求項３の受信端末は、請求項２に記載の受信端末において、さらに、同期パケットを生成し、前記同期パケットを前記送信部に出力する同期パケット出力処理部と、前記スレーブの受信端末から同期パケットをそれぞれ受信する同期パケット受信部と、前記同期パケット受信部により受信された前記同期パケットを入力し、前記同期パケットに含まれる前記スレーブの受信端末により決定されたＰＴＳオフセット、前記同期パケットが前記スレーブの受信端末から送信された時刻を示す開始タイムスタンプ、及び前記同期パケットが前記スレーブの受信端末から送信される周期を示すポーリング間隔を抽出する同期パケット入力処理部と、前記ＰＴＳオフセット決定部により決定された当該マスタの受信端末の前記ＰＴＳオフセット、前記同期パケット入力処理部により抽出された前記スレーブの受信端末の前記ＰＴＳオフセット、前記同期パケット入力処理部により抽出された前記開始タイムスタンプまたは前記同期パケット受信部により前記同期パケットが受信された時刻を示す受信タイムスタンプ、及び前記同期パケット入力処理部により抽出された前記ポーリング間隔が格納された同期メンバ端末リストと、前記アプリ時計生成部により生成された前記アプリ時計の現在時刻と前記同期メンバ端末リストに格納された前記開始タイムスタンプまたは前記受信タイムスタンプとの間の差分値を算出し、前記タイミング制御部に格納された前記ポーリング間隔に所定時間を加算して加算結果を求め、前記差分値が前記加算結果以上の場合に、前記同期メンバ端末リストから、前記開始タイムスタンプまたは前記受信タイムスタンプ及び前記ポーリング間隔、並びに、当該開始タイムスタンプまたは当該受信タイムスタンプ及び当該ポーリング間隔に対応する前記ＰＴＳオフセットを削除することで、前記同期メンバ端末リストを更新する更新部と、を備え、前記共通オフセット決定部が、前記同期メンバ端末リストに格納された当該マスタの受信端末の前記ＰＴＳオフセット、及び前記スレーブの受信端末の前記ＰＴＳオフセットのうち、最大値を共通ＰＴＳオフセットに決定し、前記同期パケット出力処理部が、前記共通オフセット決定部により決定された前記共通ＰＴＳオフセットを、前記同期パケット入力処理部により入力された前記同期パケットに設定し、前記同期パケットを、前記送信部に出力し、前記送信部が、前記同期パケット出力部により出力された前記同期パケットを、前記スレーブの受信端末へ送信する、ことを特徴とする。   Moreover, the receiving terminal of Claim 3 is a receiving terminal of Claim 2, Furthermore, the synchronous packet output process part which produces | generates a synchronous packet and outputs the said synchronous packet to the said transmission part, The said receiving terminal of a slave A synchronization packet receiving unit for receiving each of the synchronization packets, and the synchronization packet received by the synchronization packet receiving unit, the PTS offset determined by the slave receiving terminal included in the synchronization packet, the synchronization packet A synchronization packet input processing unit for extracting a start time stamp indicating a time when the synchronization packet is transmitted from the slave reception terminal, and a polling interval indicating a period in which the synchronization packet is transmitted from the slave reception terminal, and determining the PTS offset The PTS offset of the receiving terminal of the master determined by the section The PTS offset of the slave receiving terminal extracted by the synchronization packet input processing unit, the start time stamp extracted by the synchronization packet input processing unit, or the time when the synchronization packet was received by the synchronization packet receiving unit A synchronization member terminal list in which the received reception time stamp and the polling interval extracted by the synchronization packet input processing unit are stored; a current time of the application clock generated by the application clock generation unit; and the synchronization member terminal list A difference value between the start time stamp or the reception time stamp stored in the timing control unit is calculated, a predetermined time is added to the polling interval stored in the timing control unit to obtain an addition result, and the difference value is If the result of the addition is greater than or equal to the result, the synchronous member terminal list The synchronous member terminal list is updated by deleting the start time stamp or the reception time stamp and the polling interval, and the PTS offset corresponding to the start time stamp or the reception time stamp and the polling interval. And the common offset determination unit sets a maximum value among the PTS offset of the master receiving terminal and the PTS offset of the slave receiving terminal stored in the synchronous member terminal list. A common PTS offset is determined, and the synchronization packet output processing unit sets the common PTS offset determined by the common offset determination unit to the synchronization packet input by the synchronization packet input processing unit, and the synchronization packet Is output to the transmitter, The transmission unit transmits the synchronization packet output by the synchronization packet output unit to the slave receiving terminal.

また、請求項４の受信端末は、ＭＭＴ（MPEG Media Transport）方式を用いて送信装置から複数の受信端末へ映像信号を送信するシステムの下で、前記複数の受信端末が１台のマスタの受信端末及び１台または複数台のスレーブの受信端末からなる場合に、前記複数の受信端末の間で同期させた前記映像信号を提示して再生する前記スレーブの受信端末において、前記送信装置から送信された前記映像信号のＭＰＵ（Media Processing Unit）、及び当該映像信号のＭＰＵの前記送信装置における送信時刻を基準に時刻を指定したＰＴＳ（Presentation Time Stamp）を受信する第１の受信部と、前記映像信号のＭＰＵが実際に復号されて先頭フレームが提示された提示時刻を特定し、前記提示時刻から前記ＰＴＳの時刻を減算し、減算結果の時間をＰＴＳオフセットに決定するＰＴＳオフセット決定部と、前記ＰＴＳオフセット決定部により決定された当該スレーブの受信端末の前記ＰＴＳオフセットを、前記マスタの受信端末へ送信する送信部と、前記マスタの受信端末のＰＴＳオフセット及び前記スレーブの受信端末のＰＴＳオフセットのうちの最大値を共通ＰＴＳオフセットとして、前記マスタの受信端末から受信する第２の受信部と、前記ＰＴＳオフセット決定部により決定された当該スレーブの受信端末の前記ＰＴＳオフセットと前記第２の受信部により受信された前記共通ＰＴＳオフセットとが同じである場合、前記映像信号のＭＰＵの符号データをバッファリングすることなく復号するための復号タイミング制御信号を出力し、前記ＰＴＳオフセットと前記共通ＰＴＳオフセットとが異なる場合、前記共通ＰＴＳオフセットから前記ＰＴＳオフセットを減算した結果をバッファリング時間として前記映像信号のＭＰＵの符号データをバッファリングした後に復号するための復号タイミング制御信号を出力し、ＵＴＣ（Coordinated Universal Time）に基づく前記複数の受信端末で共通したアプリ時計に従って、前記映像信号のＭＰＵを提示するための提示タイミング制御信号を出力するタイミング制御部と、を備えたことを特徴とする。   According to a fourth aspect of the present invention, there is provided a receiving terminal in which a plurality of receiving terminals receive a single master in a system that transmits video signals from a transmitting apparatus to a plurality of receiving terminals using an MMT (MPEG Media Transport) method. In the case of comprising a terminal and one or more slave receiving terminals, the slave receiving terminal that presents and reproduces the video signal synchronized between the plurality of receiving terminals is transmitted from the transmitting device. A first receiving unit that receives an MPU (Media Processing Unit) of the video signal, and a PTS (Presentation Time Stamp) designating a time based on a transmission time of the MPU of the video signal in the transmission device; The presentation time when the MPU of the signal is actually decoded and the first frame is presented is specified, the time of the PTS is subtracted from the presentation time, and the time of the subtraction result is PTS offset A PTS offset determining unit that determines the PTS offset of the slave receiving terminal determined by the PTS offset determining unit, a transmitting unit that transmits to the master receiving terminal, a PTS offset of the master receiving terminal, and A second receiving unit that receives the maximum value of the PTS offsets of the slave receiving terminal as a common PTS offset from the master receiving terminal, and the slave receiving terminal determined by the PTS offset determining unit When the PTS offset and the common PTS offset received by the second receiving unit are the same, a decoding timing control signal for decoding without buffering the code data of the MPU of the video signal is output, The PTS offset is different from the common PTS offset A decoding timing control signal for decoding after buffering the code data of the MPU of the video signal using the result of subtracting the PTS offset from the common PTS offset as a buffering time, and UTC (Coordinated Universal Time) And a timing control unit that outputs a presentation timing control signal for presenting the MPU of the video signal in accordance with an application clock common to the plurality of receiving terminals based on.

また、請求項５の受信端末は、請求項４に記載の受信端末において、さらに、当該スレーブの受信端末の前記送信部が前記ＰＴＳオフセットを前記マスタの受信端末へ送信したときの、当該スレーブの受信端末が保持する自らの時刻情報が格納されたシステム時計の時刻（開始タイムスタンプ）、前記マスタの受信端末により前記ＰＴＳオフセットが受信されたときの前記アプリ時計の時刻（受信タイムスタンプ）、前記マスタの受信端末により前記共通ＰＴＳオフセットが当該スレーブの受信端末へ送信されたときの前記アプリ時計の時刻（送信タイムスタンプ）、及び当該スレーブの受信端末における前記第２の受信部が前記共通ＰＴＳオフセットを受信したときの前記システム時計の時刻に基づいて、当該スレーブの受信端末にて用いる前記アプリ時計の時刻を生成するアプリ時計生成部を備え、前記タイミング制御部が、前記アプリ時計生成部により生成された前記アプリ時計を用いて、前記提示タイミング制御信号を出力する、ことを特徴とする。   The receiving terminal according to claim 5 is the receiving terminal according to claim 4, and further when the transmitting unit of the slave receiving terminal transmits the PTS offset to the master receiving terminal. The time of the system clock (start time stamp) in which the time information held by the receiving terminal is stored, the time of the app clock when the PTS offset is received by the master receiving terminal (reception time stamp), The time of the application clock (transmission time stamp) when the common PTS offset is transmitted to the slave receiving terminal by the master receiving terminal, and the second receiving unit in the slave receiving terminal is the common PTS offset Used at the receiving terminal of the slave based on the time of the system clock when receiving An application clock generation unit configured to generate a time of the application clock, wherein the timing control unit outputs the presentation timing control signal using the application clock generated by the application clock generation unit. To do.

また、請求項６の受信端末は、請求項４または５に記載の受信端末において、さらに、同期パケット出力処理部及び同期パケット入力処理部を備え、前記同期パケット出力処理部が、前記ＰＴＳオフセット決定部により決定された当該スレーブの受信端末の前記ＰＴＳオフセットを含む同期パケットを生成し、前記同期パケットを前記送信部に出力し、前記送信部が、前記同期パケット出力処理部により出力された前記同期パケットを、前記マスタの受信端末へ送信し、前記第２の受信部が、前記共通ＰＴＳオフセットを含む同期パケットを、前記マスタの受信端末から受信し、前記同期パケット入力処理部が、前記第２の受信部により受信された前記同期パケットを入力し、前記同期パケットに含まれる前記共通ＰＴＳオフセットを抽出し、前記タイミング制御部が、前記ＰＴＳオフセット決定部により決定された当該スレーブの受信端末の前記ＰＴＳオフセットと前記同期パケット入力処理部により抽出された前記共通ＰＴＳオフセットとが同じである場合、前記映像信号のＭＰＵの符号データをバッファリングすることなく復号するための復号タイミング制御信号を出力し、前記ＰＴＳオフセットと前記共通ＰＴＳオフセットとが異なる場合、前記共通ＰＴＳオフセットから前記ＰＴＳオフセットを減算した結果をバッファリング時間として前記映像信号のＭＰＵの符号データをバッファリングした後に復号するための復号タイミング制御信号を出力し、ＵＴＣ（Coordinated Universal Time）に基づく前記複数の受信端末で共通したアプリ時計に従って、前記映像信号のＭＰＵを提示するための提示タイミング制御信号を出力する、ことを特徴とする。   The receiving terminal according to claim 6 is the receiving terminal according to claim 4 or 5, further comprising a synchronization packet output processing unit and a synchronization packet input processing unit, wherein the synchronization packet output processing unit is configured to determine the PTS offset. Generating the synchronization packet including the PTS offset of the slave receiving terminal determined by the unit, outputting the synchronization packet to the transmission unit, and the transmission unit outputting the synchronization packet output by the synchronization packet output processing unit A packet is transmitted to the master receiving terminal, the second receiving unit receives a synchronization packet including the common PTS offset from the master receiving terminal, and the synchronization packet input processing unit The synchronization packet received by the receiver is input, and the common PTS offset included in the synchronization packet is extracted. When the timing control unit has the same PTS offset of the slave receiving terminal determined by the PTS offset determination unit and the common PTS offset extracted by the synchronization packet input processing unit, Outputs a decoding timing control signal for decoding MPU code data without buffering, and buffering the result obtained by subtracting the PTS offset from the common PTS offset when the PTS offset is different from the common PTS offset Output the decoding timing control signal for decoding after buffering the code data of the MPU of the video signal as time, and according to the application clock common to the plurality of receiving terminals based on UTC (Coordinated Universal Time) Presents MPU A presentation timing control signal for outputting is output.

さらに、請求項７のプログラムは、コンピュータを、請求項１から６までのいずれか一項に記載の受信端末として機能させることを特徴とする。   Furthermore, the program of Claim 7 makes a computer function as a receiving terminal as described in any one of Claim 1-6.

以上のように、本発明によれば、放送及び通信連携サービスを実現するための同期を確立することが可能となる。   As described above, according to the present invention, it is possible to establish synchronization for realizing a broadcasting and communication cooperation service.

本発明の概要を説明するための全体システムを示す構成図である。It is a block diagram which shows the whole system for demonstrating the outline | summary of this invention. 受信端末間でＰＴＳオフセットが異なる場合の提示タイミングを説明する図である。It is a figure explaining the presentation timing in case PTS offset differs between receiving terminals. 共通ＰＴＳオフセットを用いた場合の提示タイミングを説明する図である。It is a figure explaining the presentation timing at the time of using a common PTS offset. 本発明の実施形態による受信端末を含む全体システムの例を示す構成図である。It is a block diagram which shows the example of the whole system containing the receiving terminal by embodiment of this invention. 同期パケットの送受信シーケンス例を説明する図である。It is a figure explaining the example of a transmission / reception sequence of a synchronous packet. 同期パケットのデータ構成例を示す図である。It is a figure which shows the data structural example of a synchronous packet. 受信端末の構成例を示すブロック図である。It is a block diagram which shows the structural example of a receiving terminal. マスタの同期提示制御部の構成例を示すブロック図である。It is a block diagram which shows the structural example of the synchronous presentation control part of a master. スレーブの同期提示制御部の構成例を示すブロック図である。It is a block diagram which shows the structural example of the synchronous presentation control part of a slave. マスタの同期提示制御部の処理例を示すフローチャートである。It is a flowchart which shows the process example of the synchronous presentation control part of a master. スレーブの同期提示制御部の処理例を示すフローチャートである。It is a flowchart which shows the process example of the synchronous presentation control part of a slave. 同期メンバ端末リストのデータ構成例を示す図である。It is a figure which shows the data structural example of a synchronous member terminal list. アプリ時計生成部の処理例を説明する図である。It is a figure explaining the process example of an application clock production | generation part. 複数の受信端末を連携させるサービスの例を説明する図である。It is a figure explaining the example of the service which cooperates a some receiving terminal. 実験結果を説明する図である。It is a figure explaining an experimental result.

以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔本発明の概要〕
まず、本発明の概要について説明する。図１は、本発明の概要を説明するための全体システムを示す構成図である。このシステムは、送信装置１及び複数の受信端末２−１，２−２等を備えて構成される。送信装置１と受信端末２−１，２−２等とは、例えば放送波が伝送される放送伝送路、またはインターネットの通信伝送路（通信回線）である伝送路３−１，３−２等によりそれぞれ接続される。 Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the drawings.
[Outline of the Invention]
First, an outline of the present invention will be described. FIG. 1 is a configuration diagram showing an overall system for explaining the outline of the present invention. This system includes a transmission device 1 and a plurality of reception terminals 2-1, 2-2 and the like. The transmission device 1 and the reception terminals 2-1, 2-2, etc. are, for example, a broadcast transmission path through which broadcast waves are transmitted, or transmission paths 3-1 and 3-2 that are communication transmission paths (communication lines) of the Internet. Are connected to each other.

送信装置１は、映像信号及び音声信号のＭＰＵを送信する時刻のＵＴＣを基準に、そのＭＰＵのＰＴＳを指定する。そして、送信装置１は、映像信号及び音声信号のＭＰＵ、並びにそのＰＴＳを、伝送路３−１，３−２等を介して受信端末２−１，２−２等へ送信する。   The transmission device 1 designates the PTS of the MPU with reference to the UTC at the time when the MPU of the video signal and the audio signal is transmitted. Then, the transmission apparatus 1 transmits the MPU of the video signal and the audio signal, and the PTS thereof to the reception terminals 2-1, 2-2 and the like via the transmission paths 3-1, 3-2 and the like.

受信端末２−１，２−２等は、送信装置１から送信された映像信号及び音声信号のＭＰＵ、並びにそのＰＴＳを、伝送路３−１，３−２等を介して受信する。受信端末２−１，２−２等において、ＰＴＳが既に過去の時刻となった場合には、ＰＴＳにて指定された時刻に、映像信号及び音声信号のＭＰＵを提示することができない。また、受信した瞬間にはＰＴＳが未来の時刻であったとしても、復号処理時間を考慮すると、ＰＴＳにて指定された時刻までにＭＰＵを復号し、提示を間に合わせることができない場合も起こり得る。   The reception terminals 2-1, 2-2, etc. receive the video signal and audio signal MPUs transmitted from the transmission device 1 and their PTSs via the transmission paths 3-1, 3-2, etc. In the receiving terminals 2-1, 2-2, etc., when the PTS has already reached the past time, the MPU of the video signal and the audio signal cannot be presented at the time specified by the PTS. Even if the PTS is in the future at the moment of reception, there may be a case where the MPU is decoded by the time designated by the PTS and the presentation cannot be made in time, considering the decoding processing time. .

このため、受信端末２−１，２−２等は、ＰＴＳで指定された時刻のＵＴＣに対し、それぞれの受信環境に応じた伝送遅延時間及び処理遅延時間の和を考慮したオフセット（以下、ＰＴＳオフセットという。）を加算した時刻に、そのＭＰＵを提示することとなる。伝送遅延時間は、伝送路３−１，３−２等による遅延時間である。   For this reason, the receiving terminals 2-1, 2-2, etc., offset from the UTC at the time specified by the PTS in consideration of the sum of the transmission delay time and the processing delay time according to the respective reception environment (hereinafter referred to as PTS). The MPU is presented at the time when the offset is added. The transmission delay time is a delay time due to the transmission paths 3-1, 3-2 and the like.

図２は、受信端末２−１，２−２の間でＰＴＳオフセットが異なる場合の提示タイミングを説明する図である。横軸はＵＴＣを示す。送信装置１により指定されるＰＴＳを時刻ＴＳとする。また、伝送路３−１の伝送遅延時間をΔｔd1、受信端末２−１の処理遅延時間をΔｔp1とし、伝送路３−２の伝送遅延時間をΔｔd2、受信端末２−２の処理遅延時間をΔｔp2とする。図２の送信装置１は、ＭＰＵの送信時刻をそのまま、そのＭＰＵのＰＴＳとして指定している。そうすると、受信端末２−１におけるＰＴＳオフセットΔｔ１はΔｔd1＋Δｔp1となり、受信端末２−２におけるＰＴＳオフセットΔｔ２はΔｔd2＋Δｔp2となる。 FIG. 2 is a diagram for explaining the presentation timing when the PTS offset differs between the receiving terminals 2-1 and 2-2. The horizontal axis represents UTC. The PTS specified by the transmission apparatus 1 and the time T S. Further, the transmission delay time of the transmission line 3-1 is Δt d1 , the processing delay time of the receiving terminal 2-1 is Δt p1 , the transmission delay time of the transmission line 3-2 is Δt d2 , and the processing delay of the receiving terminal 2-2. Let time be Δt p2 . The transmission apparatus 1 in FIG. 2 designates the transmission time of the MPU as it is as the PTS of the MPU. Then, the PTS offset Δt1 at the receiving terminal 2-1 is Δt d1 + Δt p1 , and the PTS offset Δt2 at the receiving terminal 2-2 is Δt d2 + Δt p2 .

受信端末２−１は、ＰＴＳで指定された時刻ＴＳにＰＴＳオフセットΔｔ１を加算し、加算結果の時刻ＴＳ＋Δｔ１に、映像信号及び音声信号のＭＰＵを提示する。また、受信端末２−２は、ＰＴＳで指定された時刻ＴＳにＰＴＳオフセットΔｔ２を加算し、加算結果の時刻ＴＳ＋Δｔ２に、映像信号及び音声信号のＭＰＵを提示する。 The receiving terminal 2-1 adds the PTS offset Δt1 to the time T S specified by the PTS, and presents the MPU of the video signal and the audio signal at the time T S + Δt1 of the addition result. In addition, the receiving terminal 2-2 adds the PTS offset Δt2 to the time T S specified by the PTS, and presents the MPU of the video signal and the audio signal at the time T S + Δt2 of the addition result.

図２に示したように、受信端末２−１，２−２の時計がＵＴＣに同期していたとしても、受信端末２−１，２−２の間でＰＴＳオフセットΔｔ１，Δｔ２が異なる場合には、ＭＰＵの提示処理は同期しない。   As shown in FIG. 2, even when the clocks of the receiving terminals 2-1 and 2-2 are synchronized with UTC, the PTS offsets Δt1 and Δt2 are different between the receiving terminals 2-1 and 2-2. Does not synchronize the MPU presentation process.

そこで、本発明の実施形態では、受信端末２−１，２−２等の間でＭＰＵの提示処理の同期を確立するために、受信端末２−１，２−２等の間で共通のＰＴＳオフセット（以下、共通ＰＴＳオフセットという。）を用いる。   Therefore, in the embodiment of the present invention, in order to establish synchronization of the MPU presentation process between the receiving terminals 2-1, 2-2, etc., a common PTS between the receiving terminals 2-1, 2-2, etc. An offset (hereinafter referred to as a common PTS offset) is used.

図３は、共通ＰＴＳオフセットを用いた場合の提示タイミングを説明する図である。横軸はＵＴＣを示す。図２と同様に、送信装置１により指定されるＰＴＳを時刻ＴＳとする。また、受信端末２−２におけるＰＴＳオフセットΔｔ２が、受信端末２−１におけるＰＴＳオフセットΔｔ１よりも大きいものとする。 FIG. 3 is a diagram illustrating presentation timing when a common PTS offset is used. The horizontal axis represents UTC. Similar to FIG. 2, the time T S the PTS specified by the transmission device 1. Further, it is assumed that the PTS offset Δt2 at the receiving terminal 2-2 is larger than the PTS offset Δt1 at the receiving terminal 2-1.

この場合の共通ＰＴＳオフセットΔＣＴは、全てのＰＴＳオフセットΔｔ１，Δｔ２のうち最大のオフセット値であるＰＴＳオフセットΔｔ２が用いられる。   In this case, the common PTS offset ΔCT is the PTS offset Δt2 that is the maximum offset value among all the PTS offsets Δt1 and Δt2.

受信端末２−１は、共通ＰＴＳオフセットΔＣＴから自らのＰＴＳオフセットΔｔ１を減算し、減算結果の時間の間、映像信号及び音声信号のＭＰＵをバッファリングし、その後に、映像信号及び音声信号のＭＰＵを提示する。つまり、受信端末２−１は、ＰＴＳで指定された時刻ＴＳに共通ＰＴＳオフセットΔＣＴを加算し、加算結果の時刻ＴＳ＋ΔＣＴに、映像信号及び音声信号のＭＰＵを提示する。また、受信端末２−２は、ＰＴＳで指定された時刻ＴＳにＰＴＳオフセットΔｔ２である共通ＰＴＳオフセットΔＣＴを加算し、加算結果の時刻ＴＳ＋ΔＣＴに、映像信号及び音声信号のＭＰＵを提示する。受信端末２−２はバッファリングを行わない。 The receiving terminal 2-1 subtracts its own PTS offset Δt1 from the common PTS offset ΔCT, buffers the MPU of the video signal and the audio signal for the time of the subtraction result, and thereafter, MPU of the video signal and the audio signal. Present. That is, the receiving terminal 2-1 adds the common PTS offset ΔCT to the time T S specified by the PTS, and presents the MPU of the video signal and the audio signal at the time T S + ΔCT of the addition result. In addition, the receiving terminal 2-2 adds the common PTS offset ΔCT that is the PTS offset Δt2 to the time T S specified by the PTS, and presents the MPU of the video signal and the audio signal at the time T S + ΔCT of the addition result. . The receiving terminal 2-2 does not perform buffering.

図３に示したように、受信端末２−１，２−２間でＰＴＳオフセットΔｔ１，Δｔ２が異なる場合であっても、ＰＴＳオフセットΔｔ１，Δｔ２のうちの最大値を共通ＰＴＳオフセットΔＣＴとして用いるようにした。これにより、受信端末２−１，２−２間でＭＰＵの提示処理を同期させることができる。   As shown in FIG. 3, even when the PTS offsets Δt1 and Δt2 are different between the receiving terminals 2-1 and 2-2, the maximum value of the PTS offsets Δt1 and Δt2 is used as the common PTS offset ΔCT. I made it. Thereby, the MPU presentation process can be synchronized between the receiving terminals 2-1 and 2-2.

このように、受信端末２−１，２−２等の間で共通ＰＴＳオフセットΔＣＴを用いて、映像信号及び音声信号のＭＰＵを提示する。この仕組みを放送及び通信連携サービスに適用することにより、放送及び通信連携サービスを実現するための同期を確立することが可能となる。   In this way, the MPUs of the video signal and the audio signal are presented using the common PTS offset ΔCT between the receiving terminals 2-1, 2-2 and the like. By applying this mechanism to the broadcasting and communication cooperation service, synchronization for realizing the broadcasting and communication cooperation service can be established.

〔全体システム〕
次に、本発明の実施形態による受信端末を含む全体システムについて説明する。図４は、本発明の実施形態による受信端末を含む全体システムの例を示す構成図である。このシステムは、送信装置１及び受信端末２−１，２−２，２−３を備えて構成される例であり、送信装置１から送信された映像信号及び音声信号を、受信端末２−１，２−２，２−３にて同じＵＴＣの時刻に再生する。つまり、送信装置１から送信された映像信号及び音声信号の再生処理（映像信号及び音声信号のＭＰＵの提示処理）を、受信端末２−１，２−２，２−３間で同期させる。 [Overall system]
Next, the overall system including the receiving terminal according to the embodiment of the present invention will be described. FIG. 4 is a configuration diagram illustrating an example of the entire system including the receiving terminal according to the embodiment of the present invention. This system is an example comprising a transmission device 1 and reception terminals 2-1, 2-2, 2-3, and the video signal and the audio signal transmitted from the transmission device 1 are received by the reception terminal 2-1. , 2-2, and 2-3 at the same UTC time. That is, the reproduction process of the video signal and the audio signal transmitted from the transmission apparatus 1 (the MPU presentation process of the video signal and the audio signal) is synchronized between the reception terminals 2-1, 2-2, 2-3.

送信装置１と受信端末２−１，２−２，２−３とは、例えば放送波が伝送される放送伝送路、またはインターネットの通信伝送路である伝送路３−１，３−２，３−３によりそれぞれ接続される。伝送路３−１，３−２，３−３は、同じ種類の伝送路であってもよいし、異なる種類の伝送路であってもよい。また、受信端末２−１，２−２，２−３は互いに、例えばインターネットやＬＡＮの通信伝送路である伝送路３−４により接続される。   The transmission device 1 and the reception terminals 2-1, 2-2, 2-3 are, for example, broadcast transmission paths for transmitting broadcast waves, or transmission paths 3-1, 3-2, 3 that are communication transmission paths for the Internet -3, respectively. The transmission paths 3-1, 3-2, and 3-3 may be the same type of transmission path or may be different types of transmission paths. The receiving terminals 2-1, 2-2, 2-3 are connected to each other by a transmission path 3-4 that is a communication transmission path of the Internet or LAN, for example.

送信装置１及び受信端末２−１，２−２，２−３は、図示しないＮＴＰサーバからインターネットの通信伝送路を介して、ＵＴＣを含むＮＴＰパケットを定期的に受信する。受信端末２−１，２−２，２−３については、ＯＳの制御によるＮＴＰパケットに基づいたシステム時計の補正が行われることがある。ただし、ＯＳが管理するシステム時計は、参照先のＮＴＰサーバの違いや、前回補正されてからの時間経過により、受信端末２−１，２−２，２−３間で精確に同期することは保証されない。   The transmitting device 1 and the receiving terminals 2-1, 2-2, 2-3 periodically receive NTP packets including UTC from an NTP server (not shown) via the Internet communication transmission path. For the receiving terminals 2-1, 2-2 and 2-3, the system clock may be corrected based on the NTP packet under the control of the OS. However, the system clock managed by the OS cannot be accurately synchronized between the receiving terminals 2-1, 2-2 and 2-3 due to the difference in the reference NTP server and the time elapsed since the last correction. Not guaranteed.

送信装置１は、映像信号を例えばＨＥＶＣ（High Efficiency Video Coding）にて符号化すると共に、音声信号を例えばＡＡＣ（Advanced Audio Coding）にて符号化し、映像信号及び音声信号の符号データを生成し、映像信号及び音声信号のＭＰＵを生成する。   The transmission device 1 encodes a video signal using, for example, HEVC (High Efficiency Video Coding), encodes an audio signal using, for example, AAC (Advanced Audio Coding), and generates code data of the video signal and the audio signal. An MPU for a video signal and an audio signal is generated.

送信装置１は、映像信号及び音声信号のＭＰＵを送信する時刻のＵＴＣを基準に、そのＭＰＵのＰＴＳを指定する。そして、送信装置１は、映像信号及び音声信号のＭＰＵを、ＭＦＵを単位としてＭＭＴＰパケットに格納すると共に、ＰＴＳ等の制御情報をＭＭＴＰパケットに格納し、ＩＰパケットを生成する。送信装置１は、ＩＰパケットを、伝送路３−１，３−２，３−３を介して受信端末２−１，２−２，２−３へそれぞれ送信する。   The transmission device 1 designates the PTS of the MPU with reference to the UTC at the time when the MPU of the video signal and the audio signal is transmitted. Then, the transmission apparatus 1 stores the MPU of the video signal and the audio signal in the MMTP packet in units of MFU, and stores control information such as PTS in the MMTP packet to generate an IP packet. The transmission device 1 transmits the IP packet to the reception terminals 2-1, 2-2 and 2-3 via the transmission paths 3-1, 3-2 and 3-3, respectively.

ここで、受信端末２−１，２−２，２−３のうちの受信端末２−１がマスタの端末であり、他の受信端末２−２，２−３がスレーブの端末であるとする。このようなマスタ及びスレーブの種別は、ユーザにより予め設定されるか、または受信端末２−１，２−２，２−３間の通信により自動的に決定されるものとする。受信端末２−１は、自らがマスタであることが設定されマスタとして動作し、受信端末２−２，２−３は、自らがスレーブであること及び受信端末２−１がマスタであることが設定されスレーブとして動作する。   Here, of the receiving terminals 2-1, 2-2, 2-3, the receiving terminal 2-1 is a master terminal, and the other receiving terminals 2-2, 2-3 are slave terminals. . Such master and slave types are set in advance by the user or automatically determined by communication between the receiving terminals 2-1, 2-2, and 2-3. The receiving terminal 2-1 is set as a master and operates as a master, and the receiving terminals 2-2 and 2-3 are a slave and the receiving terminal 2-1 is a master. Set and operate as a slave.

受信端末２−１，２−２，２−３は、送信装置１から伝送路３−１，３−２，３−３を介してＩＰパケットを受信し、ＩＰパケットに含まれるＭＭＴＰパケットから、映像信号及び音声信号のＭＰＵ並びにＰＴＳ等の制御情報を抽出する。   The receiving terminals 2-1, 2-2, 2-3 receive IP packets from the transmission device 1 via the transmission paths 3-1, 3-2, 3-3, and from the MMTP packets included in the IP packets, Control information such as MPU and PTS of the video signal and audio signal is extracted.

受信端末２−１，２−２，２−３は、ＭＰＵを復号して提示可能となった時刻と、当該ＭＰＵに対応するＰＴＳの時刻とを比較することにより、ＰＴＳオフセットΔｔ１，Δｔ２，Δｔ３をそれぞれ決定する。   The receiving terminals 2-1, 2-2 and 2-3 compare the time when the MPU can be decoded and presented with the time of the PTS corresponding to the MPU, thereby obtaining the PTS offsets Δt 1, Δt 2 and Δt 3. Respectively.

受信端末２−１は、ＰＴＳオフセットΔｔ２，Δｔ３をそれぞれ含む後述する同期パケットを、受信端末２−２，２−３から受信し、ＰＴＳオフセットΔｔ１，Δｔ２，Δｔ３のうちの最大値を共通ＰＴＳオフセットΔＣＴに決定する。   The receiving terminal 2-1 receives later-described synchronization packets including the PTS offsets Δt2 and Δt3 from the receiving terminals 2-2 and 2-3, and sets the maximum value among the PTS offsets Δt1, Δt2, and Δt3 to the common PTS offset. ΔCT is determined.

受信端末２−１，２−２，２−３は、共通ＰＴＳオフセットΔＣＴから自らのＰＴＳオフセットΔｔ１，Δｔ２，Δｔ３を減算し、減算結果の時間の間、映像信号及び音声信号のＭＰＵをバッファリングし、その後、映像信号及び音声信号のＭＰＵを復号して提示する。つまり、受信端末２−１，２−２，２−３は、ＰＴＳで指定された時刻ＴＳに対し共通ＰＴＳオフセットΔＣＴを加算し、加算結果の時刻ＴＳ＋ΔＣＴのタイミングで、映像信号及び音声信号のＭＰＵを提示する。加算結果の時刻ＴＳ＋ΔＣＴのタイミングは、後述するアプリ時計の時刻に従ったタイミングである。尚、自らのＰＴＳオフセットΔｔ１，Δｔ２，Δｔ３と共通ＰＴＳオフセットΔＣＴとが同じ場合、バッファリング処理は不要である。 The receiving terminals 2-1, 2-2 and 2-3 subtract their own PTS offsets Δt 1, Δt 2 and Δt 3 from the common PTS offset ΔCT, and buffer the MPUs of the video signal and the audio signal during the subtraction time. Thereafter, the MPU of the video signal and the audio signal is decoded and presented. That is, the receiving terminals 2-1, 2-2, 2-3 add the common PTS offset ΔCT to the time T S specified by the PTS, and at the timing of the addition result time T S + ΔCT, the video signal and audio Present the MPU of the signal. The timing of the addition result time T S + ΔCT is a timing according to the time of the application clock described later. Note that if the own PTS offset Δt1, Δt2, Δt3 and the common PTS offset ΔCT are the same, the buffering process is unnecessary.

また、受信端末２−１は、ＯＳの制御によるシステム時計の時刻補正とは別に、ＮＴＰサーバから取得したＵＴＣの時刻に基づいて、当該受信端末２−１のアプリケーションのソフトウェアが使用する時刻情報（以下、アプリ時計の時刻という。）を生成する。受信端末２−２，２−３は、受信端末２−１から同期パケットを受信し、同期パケットに含まれる受信端末２−１のアプリ時計の時刻に基づいて、自らのアプリケーションのソフトウェアが使用するアプリ時計の時刻を受信端末２−１のアプリ時計に合わせる。アプリ時計は、受信端末２−１，２−２，２−３のＯＳが管理するシステム時計とは別に、映像信号及び音声信号の再生処理等を行うアプリケーションのソフトウェアが自ら管理し、使用する時計である。受信端末２−１，２−２，２−３は、システム時計とアプリ時計の差分値を示す変数を保持し、システム時計にこの差分値を加算することで、アプリ時計の時刻を生成することができる。   In addition to the time correction of the system clock under the control of the OS, the receiving terminal 2-1 uses time information used by the application software of the receiving terminal 2-1 based on the UTC time acquired from the NTP server ( Hereinafter, the time of the application clock is generated. The receiving terminals 2-2 and 2-3 receive the synchronization packet from the receiving terminal 2-1, and are used by the application software based on the time of the application clock of the receiving terminal 2-1 included in the synchronization packet. The time of the application clock is set to the application clock of the receiving terminal 2-1. In addition to the system clock managed by the OS of the receiving terminals 2-1, 2-2, 2-3, the application clock is a clock that is managed and used by application software that performs video signal and audio signal playback processing. It is. The receiving terminals 2-1, 2-2 and 2-3 hold a variable indicating a difference value between the system clock and the application clock, and generate the time of the application clock by adding the difference value to the system clock. Can do.

これにより、受信端末２−１，２−２，２−３は、ＵＴＣに基づいた同じアプリ時計の時刻を用いて、映像信号及び音声信号のＭＰＵの提示処理を行うことができる。これにより、ＯＳに管理されたシステム時計のみを用いる場合よりも、受信端末２−１，２−２，２−３間で、映像信号及び音声信号のＭＰＵの提示処理をより精確に同期させることができる。   Thereby, the receiving terminals 2-1, 2-2, and 2-3 can perform the MPU presentation process of the video signal and the audio signal using the time of the same application clock based on the UTC. Thereby, the presentation processing of the MPU of the video signal and the audio signal is more accurately synchronized between the receiving terminals 2-1, 2-2, 2-3 than when only the system clock managed by the OS is used. Can do.

〔同期パケットの送受信処理〕
次に、同期パケットの送受信処理について説明する。前述のとおり、同期パケットは、共通ＰＴＳオフセットΔＣＴを決定するために、及び受信端末２−１，２−２，２−３間でそれぞれのアプリ時計を合わせるために、受信端末２−１と受信端末２−２，２−３との間で送受信される。 [Synchronous packet transmission / reception processing]
Next, transmission / reception processing of a synchronization packet will be described. As described above, the synchronization packet is received by the receiving terminal 2-1 in order to determine the common PTS offset ΔCT and to synchronize the respective application clocks between the receiving terminals 2-1, 2-2, 2-3. Transmission / reception is performed between the terminals 2-2 and 2-3.

図５は、同期パケットの送受信シーケンス例を説明する図である。受信端末２−２は、ＰＴＳオフセットΔｔ２を決定し、ＰＴＳオフセットΔｔ２を含む同期パケットを受信端末２−１へ送信する（ａ）。同様に、受信端末２−３は、ＰＴＳオフセットΔｔ３を決定し、ＰＴＳオフセットΔｔ３を含む同期パケットを受信端末２−１へ送信する（ｂ）。   FIG. 5 is a diagram for explaining an example of a synchronization packet transmission / reception sequence. The receiving terminal 2-2 determines the PTS offset Δt2, and transmits a synchronization packet including the PTS offset Δt2 to the receiving terminal 2-1 (a). Similarly, the receiving terminal 2-3 determines the PTS offset Δt3 and transmits a synchronization packet including the PTS offset Δt3 to the receiving terminal 2-1 (b).

受信端末２−１は、受信端末２−２，２−３からＰＴＳオフセットΔｔ２，Δｔ３を受信し、ＰＴＳオフセットΔｔ１，Δｔ２，Δｔ３のうちの最大値を共通ＰＴＳオフセットΔＣＴに決定する。そして、受信端末２−１は、共通ＰＴＳオフセットΔＣＴを含む同期パケットを受信端末２−２，２−３へ送信する（ｃ，ｄ）。受信端末２−２，２−３は、受信端末２−１から共通ＰＴＳオフセットΔＣＴを受信する。   The receiving terminal 2-1 receives the PTS offsets Δt2, Δt3 from the receiving terminals 2-2, 2-3, and determines the maximum value among the PTS offsets Δt1, Δt2, Δt3 as the common PTS offset ΔCT. Then, the receiving terminal 2-1 transmits a synchronization packet including the common PTS offset ΔCT to the receiving terminals 2-2 and 2-3 (c, d). The receiving terminals 2-2 and 2-3 receive the common PTS offset ΔCT from the receiving terminal 2-1.

受信端末２−１，２−２，２−３は、共通ＰＴＳオフセットΔＣＴから自らのＰＴＳオフセットΔｔ１，Δｔ２，Δｔ３を減算した結果に応じて、映像信号及び音声信号のＭＰＵをバッファリングし、映像信号及び音声信号のＭＰＵを提示する。   The receiving terminals 2-1, 2-2 and 2-3 buffer the video signal and audio signal MPU according to the result of subtracting their own PTS offsets Δt 1, Δt 2 and Δt 3 from the common PTS offset ΔCT, MPU of signal and audio signal is presented.

（同期パケット）
図６は、同期パケットのデータ構成例を示す図である。この同期パケットは、ポーリング間隔ＰＴ、開始タイムスタンプＴ１、受信タイムスタンプＴ２、送信タイムスタンプＴ３、受信中のＭＭＴパッケージＩＤ、ＰＴＳオフセットΔｔまたは共通ＰＴＳオフセットΔＣＴ、及び予備データから構成される。図６に示す構造の同期パケットを用いることで、受信端末２−１，２−２，２−３間でのアプリ時計の時刻同期と、共通ＰＴＳオフセットΔＣＴの共有とを、一往復のパケット通信により同時に実現することができる。 (Synchronous packet)
FIG. 6 is a diagram illustrating a data configuration example of the synchronization packet. The synchronization packet includes a polling interval PT, a start time stamp T1, a reception time stamp T2, a transmission time stamp T3, a receiving MMT package ID, a PTS offset Δt or a common PTS offset ΔCT, and spare data. By using the synchronization packet having the structure shown in FIG. 6, one round-trip packet communication between the application clock time synchronization between the receiving terminals 2-1, 2-2 and 2-3 and the common PTS offset ΔCT sharing. Can be realized simultaneously.

図６では、ポーリング間隔ＰＴは８ビット長、開始タイムスタンプＴ１は６４ビット長、受信タイムスタンプＴ２は６４ビット長である。送信タイムスタンプＴ３は６４ビット長、受信中のＭＭＴパッケージＩＤは３２ビット長、ＰＴＳオフセットΔｔまたは共通ＰＴＳオフセットΔＣＴは６４ビット長である。図６に示す構造の同期パケットは、先頭から送信タイムスタンプＴ３までがＮＴＰで規定されるＮＴＰパケットの構造と同一である。図６に示す構造の同期パケットは、先頭から送信タイムスタンプＴ３までがＮＴＰで規定されるＮＴＰパケットの構造と同一である。ただし、同期パケットでは用いない領域を予約領域（Ｒｅｓｅｒｖｅｄ）として示している。   In FIG. 6, the polling interval PT is 8 bits long, the start time stamp T1 is 64 bits long, and the reception time stamp T2 is 64 bits long. The transmission time stamp T3 is 64 bits long, the MMT package ID being received is 32 bits long, and the PTS offset Δt or the common PTS offset ΔCT is 64 bits long. The synchronization packet having the structure shown in FIG. 6 has the same structure as that of the NTP packet defined by NTP from the beginning to the transmission time stamp T3. The synchronization packet having the structure shown in FIG. 6 has the same structure as that of the NTP packet defined by NTP from the beginning to the transmission time stamp T3. However, an area not used in the synchronization packet is shown as a reserved area (Reserved).

ポーリング間隔ＰＴには、スレーブが送信する同期パケットの送信周期が設定される。この送信周期は、ＮＴＰが規定する方式と同様に指定することができ、前記例では受信端末２−２，２−３により設定される。開始タイムスタンプＴ１は、スレーブが送信する同期パケットの送信時刻であり、前記例では受信端末２−２，２−３により設定される。受信タイムスタンプＴ２は、マスタが受信する同期パケットの受信時刻であり、前記例では受信端末２−１により設定される。   In the polling interval PT, the transmission cycle of the synchronization packet transmitted by the slave is set. This transmission cycle can be specified in the same manner as the method defined by NTP, and is set by the receiving terminals 2-2 and 2-3 in the above example. The start time stamp T1 is the transmission time of the synchronization packet transmitted by the slave, and is set by the receiving terminals 2-2 and 2-3 in the above example. The reception time stamp T2 is the reception time of the synchronization packet received by the master, and is set by the reception terminal 2-1 in the above example.

送信タイムスタンプＴ３は、マスタが送信する同期パケットの送信時刻であり、前記例では受信端末２−１により設定される。受信中のＭＭＴパッケージＩＤは、スレーブが受信中の映像信号及び音声信号に関する番組（チャンネル）を識別するためのＩＤであり、前記例では受信端末２−２，２−３により設定される。この受信中のＭＭＴパッケージＩＤは、送信装置１から送信される制御情報に含まれる情報である。   The transmission time stamp T3 is the transmission time of the synchronization packet transmitted by the master, and is set by the receiving terminal 2-1 in the above example. The MMT package ID being received is an ID for identifying a program (channel) related to the video signal and audio signal being received by the slave, and is set by the receiving terminals 2-2 and 2-3 in the above example. This MMT package ID being received is information included in the control information transmitted from the transmission device 1.

ＰＴＳオフセットΔｔは、スレーブからマスタへ送信されるスレーブのＰＴＳオフセットであり、前記例では受信端末２−２，２−３により設定される。共通ＰＴＳオフセットΔＣＴは、マスタからスレーブへ送信されるオフセットであり、前記例では受信端末２−１により設定される。   The PTS offset Δt is a slave PTS offset transmitted from the slave to the master, and is set by the receiving terminals 2-2 and 2-3 in the above example. The common PTS offset ΔCT is an offset transmitted from the master to the slave, and is set by the receiving terminal 2-1 in the above example.

〔受信端末２の構成〕
次に、受信端末２−１，２−２，２−３（総称して受信端末２という。）の構成について説明する。図７は、受信端末２の構成例を示すブロック図である。この受信端末２は、ユーザインタフェース処理部１０、無線ＬＡＮインタフェース１１、システム時計１２、符号データバッファ１３、復号器１４、復号済データバッファ１５、ディスプレイ１６、スピーカ１７、パケット受信部２０、制御情報処理部２１、符号データ結合部２２、アプリ時計生成部２３及び同期提示制御部２４を備えている。 [Configuration of receiving terminal 2]
Next, the configuration of receiving terminals 2-1, 2-2, 2-3 (collectively referred to as receiving terminal 2) will be described. FIG. 7 is a block diagram illustrating a configuration example of the receiving terminal 2. The receiving terminal 2 includes a user interface processing unit 10, a wireless LAN interface 11, a system clock 12, a coded data buffer 13, a decoder 14, a decoded data buffer 15, a display 16, a speaker 17, a packet receiving unit 20, a control information processing Unit 21, code data combination unit 22, application clock generation unit 23, and synchronization presentation control unit 24.

受信端末２は、例えばタブレット端末、スマートフォン等のモバイル端末、またはスマートテレビである。無線ＬＡＮインタフェース１１からスピーカ１７までの各構成部の処理は、当該受信端末２のＯＳ及びハードウェアにより行われる。また、ユーザインタフェース処理部１０及びパケット受信部２０から同期提示制御部２４までの各構成部の処理は、ＭＭＴ受信機能を実装したアプリケーションにより行われる。   The receiving terminal 2 is, for example, a tablet terminal, a mobile terminal such as a smartphone, or a smart TV. The processing of each component from the wireless LAN interface 11 to the speaker 17 is performed by the OS and hardware of the receiving terminal 2. In addition, the processing of each component from the user interface processing unit 10 and the packet receiving unit 20 to the synchronous presentation control unit 24 is performed by an application in which an MMT receiving function is implemented.

ユーザインタフェース処理部１０は、ユーザの操作に従い、同期パラメータの一つとしてマスタの端末のＩＰアドレスを同期提示制御部２４に設定する。これにより、受信端末２−１は自らのＩＰアドレスが指定されることでマスタに設定され、受信端末２−２，２−３は他端末のＩＰアドレスが指定されることでスレーブに設定される。その他の同期パラメータとして、受信端末２−１には、ＮＴＰサーバに対する時刻参照の周期、受信端末２−２，２−３には、同期パケットのポーリング間隔が設定され得る。尚、図７において、ユーザインタフェース処理部１０から各部に入力される設定項目は、ユーザ操作に従う以外に、受信端末間の通信等によって設定され得る（図示せず）。   The user interface processing unit 10 sets the IP address of the master terminal in the synchronization presentation control unit 24 as one of the synchronization parameters according to the user's operation. Thus, the receiving terminal 2-1 is set as a master by designating its own IP address, and the receiving terminals 2-2 and 2-3 are set as slaves by designating the IP addresses of other terminals. . As other synchronization parameters, the reception terminal 2-1 may be set with a time reference period for the NTP server, and the reception terminals 2-2 and 2-3 may be set with a synchronization packet polling interval. In FIG. 7, setting items input to each unit from the user interface processing unit 10 can be set by communication between receiving terminals or the like other than following a user operation (not shown).

ユーザインタフェース処理部１０は、ユーザの操作に従って番組の選局を行い、受信パラメータを設定してパケット受信部２０に出力する。また、ユーザインタフェース処理部１０は、送信装置１から送信された制御情報に含まれるサービス情報を制御情報処理部２１から入力してディスプレイ１６に表示する。   The user interface processing unit 10 selects a program according to a user operation, sets reception parameters, and outputs them to the packet reception unit 20. Further, the user interface processing unit 10 inputs service information included in the control information transmitted from the transmission device 1 from the control information processing unit 21 and displays the service information on the display 16.

無線ＬＡＮインタフェース１１は、各種データを受信する受信部として機能すると共に、各種データを送信する送信部として機能する。無線ＬＡＮインタフェース１１は、送信装置１から、映像信号及び音声信号のＭＰＵ、並びにＰＴＳ等の制御情報を含むＩＰパケットを受信し、ＩＰパケットからＭＭＴＰパケットを抽出し、ＭＭＴＰパケットをパケット受信部２０に出力する。ＭＭＴＰパケットには、映像信号及び音声信号のＭＰＵ、並びにＰＴＳ等の制御情報が格納されている。   The wireless LAN interface 11 functions as a reception unit that receives various data and also functions as a transmission unit that transmits various data. The wireless LAN interface 11 receives an IP packet including control information such as a video signal and audio signal MPU and PTS from the transmission device 1, extracts an MMTP packet from the IP packet, and sends the MMTP packet to the packet receiver 20. Output. The MMTP packet stores video signal and audio signal MPU, and control information such as PTS.

無線ＬＡＮインタフェース１１は、受信端末２’（受信端末２−１，２−２，２−３のうち当該受信端末２以外の端末）から同期パケットを受信する。そして、無線ＬＡＮインタフェース１１は、同期パケットをアプリ時計生成部２３及び同期提示制御部２４に出力する。また、無線ＬＡＮインタフェース１１は、同期提示制御部２４から同期パケットを入力し、同期パケットを受信端末２’へ送信する。   The wireless LAN interface 11 receives a synchronization packet from the receiving terminal 2 ′ (a terminal other than the receiving terminal 2 among the receiving terminals 2-1, 2-2 and 2-3). Then, the wireless LAN interface 11 outputs the synchronization packet to the application clock generation unit 23 and the synchronization presentation control unit 24. The wireless LAN interface 11 also receives a synchronization packet from the synchronization presentation control unit 24 and transmits the synchronization packet to the receiving terminal 2 ′.

無線ＬＡＮインタフェース１１は、ＯＳの制御により、ＮＴＰサーバからＵＴＣを含むＮＴＰパケットを受信し、システム時計１２に出力する（図示せず）。また、無線ＬＡＮインタフェース１１は、当該受信端末２がマスタである場合、アプリケーションの制御により、ＮＴＰサーバからＵＴＣを含むＮＴＰパケットを受信し、ＮＴＰパケットをアプリ時計生成部２３に出力する。   The wireless LAN interface 11 receives an NTP packet including UTC from the NTP server under the control of the OS, and outputs the NTP packet to the system clock 12 (not shown). Further, when the receiving terminal 2 is the master, the wireless LAN interface 11 receives an NTP packet including UTC from the NTP server under the control of the application, and outputs the NTP packet to the application clock generation unit 23.

システム時計１２は、当該受信端末２が保持する自らの時刻情報（ＯＳの時刻）が格納されており、アプリ時計生成部２３により、システム時計１２の時刻が読み出される。システム時計１２は、ＯＳの制御により、無線ＬＡＮインタフェース１１を介してＮＴＰサーバからＵＴＣを含むＮＴＰパケットが入力され、時刻情報が補正される（図示せず）。   The system clock 12 stores its own time information (OS time) held by the receiving terminal 2, and the application clock generation unit 23 reads the time of the system clock 12. The system clock 12 receives an NTP packet including UTC from the NTP server via the wireless LAN interface 11 under the control of the OS, and corrects time information (not shown).

符号データバッファ１３には、符号データ結合部２２により結合された映像信号及び音声信号の符号データが格納される。また、図示しない符号データ読出部は、同期提示制御部２４により出力される復号タイミング制御信号に従って、符号データバッファ１３から映像信号及び音声信号の符号データを読み出して復号器１４に出力する。   The code data buffer 13 stores code data of the video signal and the audio signal combined by the code data combining unit 22. Further, a code data reading unit (not shown) reads the code data of the video signal and the audio signal from the code data buffer 13 according to the decoding timing control signal output from the synchronous presentation control unit 24 and outputs the code data to the decoder 14.

復号器１４は、符号データバッファ１３から、同期提示制御部２４からの復号タイミング制御信号に従って読み出された映像信号及び音声信号の符号データを入力する。そして、復号器１４は、映像信号の符号データを復号すると共に、音声信号の符号データを復号し、復号済みデータを生成する。復号器１４は、復号済みデータを復号済データバッファ１５に格納する。   The decoder 14 inputs the code data of the video signal and the audio signal read from the code data buffer 13 according to the decoding timing control signal from the synchronous presentation control unit 24. Then, the decoder 14 decodes the encoded data of the video signal and also decodes the encoded data of the audio signal to generate decoded data. The decoder 14 stores the decoded data in the decoded data buffer 15.

復号済データバッファ１５には、復号器１４により復号された映像信号及び音声信号の復号済みデータが格納される。また、図示しない復号済みデータ読出部は、同期提示制御部２４により出力される提示タイミング制御信号に従って、復号済データバッファ１５に格納された映像信号の復号済みデータを読み出してディスプレイ１６に出力する。また、復号済みデータ読出部は、音声信号の復号済みデータを読み出してスピーカ１７に出力する。   The decoded data buffer 15 stores decoded data of the video signal and audio signal decoded by the decoder 14. A decoded data reading unit (not shown) reads decoded data of the video signal stored in the decoded data buffer 15 and outputs it to the display 16 in accordance with the presentation timing control signal output by the synchronous presentation control unit 24. The decoded data reading unit reads the decoded data of the audio signal and outputs it to the speaker 17.

ディスプレイ１６は、復号済データバッファ１５から、同期提示制御部２４からの提示タイミング制御信号に従って読み出された映像信号の復号済みデータを入力し、再生する。スピーカ１７は、復号済データバッファ１５から、同期提示制御部２４からの提示タイミング制御信号に従って読み出された音声信号の復号済みデータを入力し、再生する。   The display 16 inputs the decoded data of the video signal read according to the presentation timing control signal from the synchronous presentation control unit 24 from the decoded data buffer 15 and reproduces it. The speaker 17 inputs the decoded data of the audio signal read from the decoded data buffer 15 according to the presentation timing control signal from the synchronous presentation control unit 24 and reproduces it.

パケット受信部２０は、ユーザインタフェース処理部１０から受信パラメータを入力すると共に、無線ＬＡＮインタフェース１１からＭＭＴＰパケットを入力する。パケット受信部２０は、受信パラメータに従ってＭＭＴＰパケットの受信処理を開始し、フィルタ処理、ヘッダ部の除去処理及びペイロード部のデータ抽出処理等を行う。   The packet receiving unit 20 inputs reception parameters from the user interface processing unit 10 and inputs MMTP packets from the wireless LAN interface 11. The packet receiver 20 starts MMTP packet reception processing according to the reception parameters, and performs filter processing, header portion removal processing, payload portion data extraction processing, and the like.

パケット受信部２０は、ＭＭＴＰパケットから映像信号及び音声信号の符号データ、並びにＰＴＳ等の制御情報を抽出する。そして、パケット受信部２０は、映像信号及び音声信号の符号データを符号データ結合部２２に出力すると共に、ＰＴＳ等の制御情報を制御情報処理部２１に出力する。   The packet receiving unit 20 extracts code data of video signals and audio signals, and control information such as PTS from the MMTP packet. Then, the packet receiving unit 20 outputs the code data of the video signal and the audio signal to the code data combining unit 22 and outputs control information such as PTS to the control information processing unit 21.

パケット受信部２０は、制御情報処理部２１からパケットＩＤを入力し、ＭＭＴＰパケットから映像信号及び音声信号の符号データを抽出する際に、パケットＩＤに基づいて、所定の映像信号及び音声信号が格納されたＭＭＴＰパケットを特定する。尚、パケットＩＤは、映像信号及び音声信号が格納されているＭＭＴＰパケットを識別するためのＩＤである。   When the packet receiving unit 20 receives the packet ID from the control information processing unit 21 and extracts the code data of the video signal and the audio signal from the MMTP packet, the packet receiving unit 20 stores a predetermined video signal and audio signal based on the packet ID. Identified MMTP packets. The packet ID is an ID for identifying the MMTP packet in which the video signal and the audio signal are stored.

制御情報処理部２１は、パケット受信部２０から制御情報のＭＭＴＰパケットが入力され、制御情報を解析してＭＭＴパッケージテーブル、ＰＴＳ等を抽出し、当該受信端末２による提示対象の映像信号及び音声信号のＭＰＵに対応するＰＴＳを特定する。そして、制御情報処理部２１は、ＭＭＴパッケージテーブルを解析することで、所定の映像信号及び音声信号が格納されているＭＭＴＰパケットのパケットＩＤを抽出すると共に、当該受信端末２が受信中のＭＭＴパッケージＩＤを抽出する。   The control information processing unit 21 receives the MMTP packet of the control information from the packet receiving unit 20, analyzes the control information, extracts the MMT package table, the PTS, and the like, and the video signal and audio signal to be presented by the receiving terminal 2 The PTS corresponding to the MPU is specified. The control information processing unit 21 analyzes the MMT package table to extract the packet ID of the MMTP packet in which the predetermined video signal and audio signal are stored, and the MMT package being received by the receiving terminal 2 Extract the ID.

制御情報処理部２１は、ＰＴＳ及び受信中のＭＭＴパッケージＩＤを同期提示制御部２４に出力し、パケットＩＤをパケット受信部２０に出力する。また、制御情報処理部２１は、抽出した情報のうち、符号データを結合するために必要なパラメータを符号データ結合部２２に出力し、サービス情報をユーザインタフェース処理部１０に出力する。   The control information processing unit 21 outputs the PTS and the receiving MMT package ID to the synchronous presentation control unit 24, and outputs the packet ID to the packet receiving unit 20. Also, the control information processing unit 21 outputs parameters necessary for combining the code data to the code data combining unit 22 among the extracted information, and outputs service information to the user interface processing unit 10.

符号データ結合部２２は、パケット受信部２０から映像信号及び音声信号の符号データを入力すると共に、制御情報処理部２１から符号データを結合するためのパラメータを入力する。そして、符号データ結合部２２は、パラメータに基づいて、映像信号及び音声信号の符号データを結合し、復号器１４にて復号可能な形式の符号データを生成して符号データバッファ１３に格納する。符号データバッファ１３に格納された符号データは、制御情報処理部２１が出力するＰＴＳに対応している。   The code data combining unit 22 receives the code data of the video signal and the audio signal from the packet receiving unit 20 and inputs parameters for combining the code data from the control information processing unit 21. The code data combining unit 22 combines the code data of the video signal and the audio signal based on the parameters, generates code data in a format that can be decoded by the decoder 14, and stores the code data in the code data buffer 13. The code data stored in the code data buffer 13 corresponds to the PTS output from the control information processing unit 21.

アプリ時計生成部２３は、システム時計１２からシステム時計の時刻を読み出す。また、アプリ時計生成部２３は、当該受信端末２がマスタとして機能する場合、無線ＬＡＮインタフェース１１からＮＴＰパケットを入力し、当該受信端末２がスレーブとして機能する場合、無線ＬＡＮインタフェース１１から同期パケットを入力する。そして、アプリ時計生成部２３は、ＮＴＰパケットまたは同期パケットから時刻情報を抽出する。   The application clock generation unit 23 reads the time of the system clock from the system clock 12. The application clock generation unit 23 receives an NTP packet from the wireless LAN interface 11 when the receiving terminal 2 functions as a master, and receives a synchronization packet from the wireless LAN interface 11 when the receiving terminal 2 functions as a slave. input. Then, the application clock generation unit 23 extracts time information from the NTP packet or the synchronization packet.

アプリ時計生成部２３は、当該受信端末２がマスタとして機能する場合、システム時計の時刻とＮＴＰパケットに含まれる時刻情報に基づいて差分値を算出し、これをＵＴＣに対するシステム時計の差分値として保持する。そして、アプリ時計生成部２３は、システム時計の時刻に、保持した差分値を加算することで、アプリ時計の時刻を生成する。そして、アプリ時計生成部２３は、アプリ時計の時刻を同期提示制御部２４に出力する。   When the receiving terminal 2 functions as a master, the application clock generation unit 23 calculates a difference value based on the time of the system clock and the time information included in the NTP packet, and holds this as a difference value of the system clock with respect to UTC. To do. Then, the application clock generation unit 23 generates the time of the application clock by adding the held difference value to the time of the system clock. Then, the application clock generation unit 23 outputs the time of the application clock to the synchronous presentation control unit 24.

アプリ時計生成部２３は、当該受信端末２がスレーブとして機能する場合、システム時計の時刻と同期パケットに含まれる時刻情報に基づいて差分値を算出し、これをマスタのアプリ時計に対するシステム時計の差分値として保持する。そして、アプリ時計生成部２３は、システム時計の時刻に、保持した差分値を加算することで、アプリ時計の時刻を生成する。そして、アプリ時計生成部２３は、アプリ時計の時刻を同期提示制御部２４に出力する。アプリ時計生成部２３の処理の詳細については後述する。   When the receiving terminal 2 functions as a slave, the application clock generation unit 23 calculates a difference value based on the time of the system clock and the time information included in the synchronization packet, and calculates the difference between the system clock and the master application clock. Hold as value. Then, the application clock generation unit 23 generates the time of the application clock by adding the held difference value to the time of the system clock. Then, the application clock generation unit 23 outputs the time of the application clock to the synchronous presentation control unit 24. Details of the process of the application clock generation unit 23 will be described later.

これにより、スレーブのアプリ時計をマスタのアプリ時計に一致させることができ、マスタ及びスレーブ間で、アプリ時計をＵＴＣの時刻に同期させることができる。   Thereby, the slave application clock can be matched with the master application clock, and the application clock can be synchronized with the UTC time between the master and the slave.

同期提示制御部２４は、ユーザインタフェース処理部１０から同期パラメータを入力し、アプリ時計生成部２３からアプリ時計の時刻を入力する。また、同期提示制御部２４は、制御情報処理部２１からＰＴＳ及び受信中のＭＴＴパッケージＩＤを入力し、無線ＬＡＮインタフェース１１から同期パケットを入力する。さらに、同期提示制御部２４は、同期パケットを無線ＬＡＮインタフェース１１に出力する。   The synchronization presentation control unit 24 inputs synchronization parameters from the user interface processing unit 10 and inputs the time of the application clock from the application clock generation unit 23. Further, the synchronization presentation control unit 24 inputs the PTS and the receiving MTT package ID from the control information processing unit 21 and inputs the synchronization packet from the wireless LAN interface 11. Further, the synchronization presentation control unit 24 outputs the synchronization packet to the wireless LAN interface 11.

同期提示制御部２４は、同期提示制御を行い、所定のタイミングで復号タイミング制御信号及び提示タイミング制御信号を出力する。同期提示制御部２４の詳細については後述する。   The synchronous presentation control unit 24 performs synchronous presentation control, and outputs a decoding timing control signal and a presentation timing control signal at a predetermined timing. Details of the synchronous presentation control unit 24 will be described later.

〔同期提示制御部２４／マスタ〕
次に、図７に示した同期提示制御部２４について、受信端末２がマスタとして機能する場合及びスレーブとして機能する場合に分けて詳細に説明する。まず、受信端末２−１（マスタ）の同期提示制御部２４について説明する。図８は、受信端末２−１の同期提示制御部２４の構成例を示すブロック図であり、図１０は、受信端末２−１の同期提示制御部２４の処理例を示すフローチャートである。 [Synchronous presentation control unit 24 / master]
Next, the synchronous presentation control unit 24 illustrated in FIG. 7 will be described in detail separately when the receiving terminal 2 functions as a master and when it functions as a slave. First, the synchronous presentation control unit 24 of the receiving terminal 2-1 (master) will be described. FIG. 8 is a block diagram illustrating a configuration example of the synchronization presentation control unit 24 of the reception terminal 2-1, and FIG. 10 is a flowchart illustrating a processing example of the synchronization presentation control unit 24 of the reception terminal 2-1.

図８を参照して、この同期提示制御部２４は、ＰＴＳオフセット決定部３０、同期メンバ端末リスト３１、同期パケット入力処理部３２、共通オフセット決定部３３、同期パケット出力処理部３４、タイミング制御部３５及び更新部３６を備えている。   Referring to FIG. 8, this synchronization presentation control unit 24 includes a PTS offset determination unit 30, a synchronization member terminal list 31, a synchronization packet input processing unit 32, a common offset determination unit 33, a synchronization packet output processing unit 34, and a timing control unit. 35 and an update unit 36.

以下、図８及び図１０を参照して、マスタの同期提示制御部２４の処理を詳細に説明する。まず、同期提示制御部２４は、自らのＰＴＳオフセットΔｔ１を決定する（ステップＳ１００１）。   Hereinafter, with reference to FIG.8 and FIG.10, the process of the synchronous presentation control part 24 of a master is demonstrated in detail. First, the synchronous presentation control unit 24 determines its own PTS offset Δt1 (step S1001).

具体的には、ＰＴＳオフセット決定部３０は、所定の１つのＭＰＵが図７に示した復号器１４により復号され、その先頭フレームが提示可能となった時刻を特定すると共に、図７に示した制御情報処理部２１から当該ＭＰＵのＰＴＳを入力する。そして、ＰＴＳオフセット決定部３０は、先頭フレームが提示可能となった時刻からＰＴＳの時刻を減算し、減算結果をＰＴＳオフセットΔｔ１に決定する。   Specifically, the PTS offset determination unit 30 specifies a time when a predetermined one MPU is decoded by the decoder 14 shown in FIG. 7 and the head frame can be presented, and is shown in FIG. The MPU PTS is input from the control information processing unit 21. Then, the PTS offset determination unit 30 subtracts the PTS time from the time when the first frame can be presented, and determines the subtraction result as the PTS offset Δt1.

この減算結果の時間は、図２に示したように、伝送路３−１の伝送遅延時間Δｔd1及び受信端末２−１の処理遅延時間Δｔp1の加算結果の時間に相当するＰＴＳオフセットΔｔ１である。 As shown in FIG. 2, the time of the subtraction result is a PTS offset Δt1 corresponding to the time of the addition result of the transmission delay time Δt d1 of the transmission line 3-1 and the processing delay time Δt p1 of the receiving terminal 2-1. is there.

これにより、伝送遅延時間Δｔd1及び処理遅延時間Δｔp1を個別に測定することなく、ＰＴＳオフセットΔｔ１を直接決定することができるから、処理負荷を低減することができる。 As a result, the PTS offset Δt1 can be directly determined without separately measuring the transmission delay time Δt d1 and the processing delay time Δt p1 , thereby reducing the processing load.

ＰＴＳオフセット決定部３０は、当該受信端末２−１のＩＰアドレス及びＰＴＳオフセットΔｔ１を同期メンバ端末リスト３１に格納し、ＰＴＳオフセットΔｔ１をタイミング制御部３５に出力する。ＰＴＳオフセット決定部３０は、同期メンバ端末リスト３１に同じ受信端末２−１のエントリが存在する場合、これらの情報を更新して格納する。   The PTS offset determination unit 30 stores the IP address of the receiving terminal 2-1 and the PTS offset Δt1 in the synchronization member terminal list 31, and outputs the PTS offset Δt1 to the timing control unit 35. When there is an entry for the same receiving terminal 2-1 in the synchronized member terminal list 31, the PTS offset determining unit 30 updates and stores these pieces of information.

同期提示制御部２４は、ステップＳ１００１から移行して、当該受信端末２−１が受信端末２−２，２−３から受信したＰＴＳオフセットΔｔ２，Δｔ３等を含む同期パケットを入力する（ステップＳ１００２）。   The synchronization presentation control unit 24 proceeds from step S1001 and inputs a synchronization packet including the PTS offsets Δt2, Δt3, etc. received by the receiving terminal 2-1 from the receiving terminals 2-2 and 2-3 (step S1002). .

以下、受信端末２−２から受信した同期パケットを入力した場合について説明する。受信端末２−３から受信した同期パケットについても同様である。同期パケット入力処理部３２は、図７に示した無線ＬＡＮインタフェース１１から、ＰＴＳオフセットΔｔ２等を含む同期パケットを入力する。そして、同期パケット入力処理部３２は、同期パケットからＭＭＴパッケージＩＤ（受信端末２−２が受信中の番組のＭＭＴパッケージＩＤ）を抽出する。   Hereinafter, a case where the synchronization packet received from the receiving terminal 2-2 is input will be described. The same applies to the synchronization packet received from the receiving terminal 2-3. The synchronization packet input processing unit 32 inputs a synchronization packet including the PTS offset Δt2 and the like from the wireless LAN interface 11 shown in FIG. Then, the synchronization packet input processing unit 32 extracts the MMT package ID (MMT package ID of the program being received by the receiving terminal 2-2) from the synchronization packet.

同期パケット入力処理部３２は、図７に示した制御情報処理部２１からＭＭＴパッケージＩＤ（受信端末２−１が受信中の番組のＭＭＴパッケージＩＤ）を入力する。そして、同期パケット入力処理部３２は、受信端末２−１のＭＭＴパッケージＩＤと受信端末２−２のＭＭＴパッケージＩＤとを比較する。   The synchronous packet input processing unit 32 inputs the MMT package ID (the MMT package ID of the program being received by the receiving terminal 2-1) from the control information processing unit 21 illustrated in FIG. 7. Then, the synchronous packet input processing unit 32 compares the MMT package ID of the receiving terminal 2-1 with the MMT package ID of the receiving terminal 2-2.

同期パケット入力処理部３２は、両ＭＭＴパッケージＩＤが一致すると判定した場合、同期パケットからＰＴＳオフセットΔｔ２、ポーリング間隔ＰＴ及び開始タイムスタンプＴ１を抽出する。そして、同期パケット入力処理部３２は、当該同期パケットの送信元である受信端末２−２のＩＰアドレス、ＰＴＳオフセットΔｔ２、ポーリング間隔ＰＴ及び開始タイムスタンプＴ１を同期メンバ端末リスト３１に格納する。同期パケット入力処理部３２は、同期メンバ端末リスト３１に同じ受信端末２−２のエントリが存在する場合、これらの情報を更新して格納する。   If it is determined that both MMT package IDs match, the synchronization packet input processing unit 32 extracts the PTS offset Δt2, the polling interval PT, and the start time stamp T1 from the synchronization packet. Then, the synchronization packet input processing unit 32 stores the IP address, PTS offset Δt2, polling interval PT, and start time stamp T1 of the receiving terminal 2-2 that is the transmission source of the synchronization packet in the synchronization member terminal list 31. When there is an entry for the same receiving terminal 2-2 in the synchronous member terminal list 31, the synchronous packet input processing unit 32 updates and stores these pieces of information.

一方、同期パケット入力処理部３２は、両ＭＭＴパッケージＩＤが一致しないと判定した場合、同期メンバ端末リスト３１への格納処理を行わない。   On the other hand, if the synchronization packet input processing unit 32 determines that the two MMT package IDs do not match, the synchronization packet input processing unit 32 does not perform storage processing in the synchronization member terminal list 31.

同期パケット入力処理部３２は、両ＭＭＴパッケージＩＤの一致または不一致を示すフラグを設定し、入力した同期パケット及び設定したフラグを同期パケット出力処理部３４に出力する。   The synchronization packet input processing unit 32 sets a flag indicating whether or not both MMT package IDs match, and outputs the input synchronization packet and the set flag to the synchronization packet output processing unit 34.

図１２は、同期メンバ端末リスト３１のデータ構成例を示す図である。この同期メンバ端末リスト３１は、受信端末２−１，２−２，２−３のＩＰアドレス、ＰＴＳオフセットΔｔ１，Δｔ２，Δｔ３、ポーリング間隔ＰＴ及び開始タイムスタンプＴ１の各データにより構成される。   FIG. 12 is a diagram illustrating a data configuration example of the synchronous member terminal list 31. The synchronous member terminal list 31 includes data of IP addresses of receiving terminals 2-1, 2-2, 2-3, PTS offsets Δt1, Δt2, Δt3, polling interval PT, and start time stamp T1.

受信端末２−１（マスタ）のエントリには、ポーリング間隔ＰＴ及び開始タイムスタンプＴ１は格納されない。   The entry of the receiving terminal 2-1 (master) does not store the polling interval PT and the start time stamp T1.

図８及び図１０に戻って、同期提示制御部２４は、ステップＳ１００２から移行して、ＰＴＳオフセットΔｔ１，Δｔ２，Δｔ３のうちの最大値を共通ＰＴＳオフセットΔＣＴに決定する（ステップＳ１００３）。   Returning to FIG. 8 and FIG. 10, the synchronization presentation control unit 24 proceeds from step S1002 and determines the maximum value among the PTS offsets Δt1, Δt2, and Δt3 as the common PTS offset ΔCT (step S1003).

具体的には、共通オフセット決定部３３は、同期メンバ端末リスト３１からＰＴＳオフセットΔｔ１，Δｔ２，Δｔ３を読み出し、ＰＴＳオフセットΔｔ１，Δｔ２，Δｔ３のうちの最大値を共通ＰＴＳオフセットΔＣＴに決定する。そして、共通オフセット決定部３３は、共通ＰＴＳオフセットΔＣＴを同期パケット出力処理部３４及びタイミング制御部３５に出力する。   Specifically, the common offset determining unit 33 reads the PTS offsets Δt1, Δt2, and Δt3 from the synchronous member terminal list 31, and determines the maximum value among the PTS offsets Δt1, Δt2, and Δt3 as the common PTS offset ΔCT. Then, the common offset determination unit 33 outputs the common PTS offset ΔCT to the synchronization packet output processing unit 34 and the timing control unit 35.

同期提示制御部２４は、ステップＳ１００３から移行して、共通ＰＴＳオフセットΔＣＴ等を含む同期パケットを出力する（ステップＳ１００４）。   The synchronization presentation control unit 24 proceeds from step S1003 and outputs a synchronization packet including the common PTS offset ΔCT and the like (step S1004).

具体的には、同期パケット出力処理部３４は、共通オフセット決定部３３から共通ＰＴＳオフセットΔＣＴを入力すると共に、同期パケット入力処理部３２から同期パケット及びフラグを入力する。また、同期パケット出力処理部３４は、図７に示したアプリ時計生成部２３からアプリ時計の時刻を入力する。   Specifically, the synchronization packet output processing unit 34 inputs the common PTS offset ΔCT from the common offset determination unit 33 and also receives the synchronization packet and flag from the synchronization packet input processing unit 32. Further, the synchronization packet output processing unit 34 inputs the time of the application clock from the application clock generation unit 23 shown in FIG.

同期パケット出力処理部３４は、フラグが一致を示している場合、同期パケット入力処理部３２から入力した同期パケットに、共通ＰＴＳオフセットΔＣＴ、並びにアプリ時計の時刻が反映された受信タイムスタンプＴ２及び送信タイムスタンプＴ３を設定する。そして、同期パケット出力処理部３４は、同期パケットを図７に示した無線ＬＡＮインタフェース１１に出力する。   When the flag indicates a match, the synchronization packet output processing unit 34 receives the reception time stamp T2 in which the common PTS offset ΔCT and the time of the application clock are reflected in the synchronization packet input from the synchronization packet input processing unit 32 and the transmission. A time stamp T3 is set. Then, the synchronization packet output processing unit 34 outputs the synchronization packet to the wireless LAN interface 11 shown in FIG.

この場合、同期パケットに設定されていたＰＴＳオフセットΔｔ２は、共通ＰＴＳオフセットΔＣＴに書き換えられる。図６にて説明したとおり、受信タイムスタンプＴ２は、受信端末２−１が受信端末２−２から同期パケットを受信したときの受信時刻であり、送信タイムスタンプＴ３は、受信端末２−１が受信端末２−２へ同期パケットを送信するときの送信時刻を示す。これらの時刻は、アプリ時計の時刻が用いられる。   In this case, the PTS offset Δt2 set in the synchronization packet is rewritten to the common PTS offset ΔCT. As described in FIG. 6, the reception time stamp T2 is the reception time when the reception terminal 2-1 receives the synchronization packet from the reception terminal 2-2, and the transmission time stamp T3 is received by the reception terminal 2-1. The transmission time when the synchronization packet is transmitted to the receiving terminal 2-2 is shown. The time of the application clock is used for these times.

これにより、受信端末２−２から受信した同期パケットに対する返信用のパケットとして、共通ＰＴＳオフセットΔＣＴ、受信タイムスタンプＴ２及び送信タイムスタンプＴ３が当該同期パケットに上書きされる。そして、上書き後の同期パケットが、対応する同期パケットが送信されてきた受信端末２−２へ送信される。同様に、受信端末２−３から受信した同期パケットに対しても、返信用のパケットとして、共通ＰＴＳオフセットΔＣＴ、受信タイムスタンプＴ２及び送信タイムスタンプＴ３が上書きされる。そして、上書き後の同期パケットが、対応する同期パケットが送信されてきた受信端末２−３へ送信される。   As a result, the common PTS offset ΔCT, the reception time stamp T2, and the transmission time stamp T3 are overwritten on the synchronization packet as a reply packet to the synchronization packet received from the reception terminal 2-2. Then, the overwritten synchronization packet is transmitted to the receiving terminal 2-2 from which the corresponding synchronization packet has been transmitted. Similarly, the common PTS offset ΔCT, the reception time stamp T2, and the transmission time stamp T3 are overwritten as a reply packet for the synchronization packet received from the reception terminal 2-3. Then, the overwritten synchronization packet is transmitted to the receiving terminal 2-3 from which the corresponding synchronization packet has been transmitted.

一方、同期パケット出力処理部３４は、フラグが不一致を示している場合、同期パケット入力処理部３２から入力した同期パケットに共通ＰＴＳオフセットΔＣＴを設定せず、アプリ時計の時刻が反映された受信タイムスタンプＴ２及び送信タイムスタンプＴ３のみを設定する。そして、同期パケット出力処理部３４は、同期パケットを図７に示した無線ＬＡＮインタフェース１１に出力する。   On the other hand, when the flag indicates a mismatch, the synchronization packet output processing unit 34 does not set the common PTS offset ΔCT in the synchronization packet input from the synchronization packet input processing unit 32, and the reception time reflecting the time of the application clock Only the stamp T2 and the transmission time stamp T3 are set. Then, the synchronization packet output processing unit 34 outputs the synchronization packet to the wireless LAN interface 11 shown in FIG.

これにより、受信端末２−１のＭＭＴパッケージＩＤと受信端末２−２のＭＭＴパッケージＩＤとが異なる場合、すなわち両端末にて受信中の番組が異なる場合、受信端末２−２から受信した同期パケットに対する返信用のパケットとして、受信タイムスタンプＴ２及び送信タイムスタンプＴ３のみが上書きされた同期パケットが、受信端末２−２へ送信される。受信端末２−３についても同様である。   Thus, when the MMT package ID of the receiving terminal 2-1 and the MMT package ID of the receiving terminal 2-2 are different, that is, when the programs being received at the two terminals are different, the synchronization packet received from the receiving terminal 2-2. As a reply packet, a synchronization packet in which only the reception time stamp T2 and the transmission time stamp T3 are overwritten is transmitted to the reception terminal 2-2. The same applies to the receiving terminal 2-3.

同期提示制御部２４は、ステップＳ１００４から移行して、共通ＰＴＳオフセットΔＣＴに基づいたバッファリング処理を行い（ステップＳ１００５）、バッファリング処理の後にＭＰＵを提示する（ステップＳ１００６）。   The synchronization presentation control unit 24 proceeds from step S1004 to perform a buffering process based on the common PTS offset ΔCT (step S1005), and presents the MPU after the buffering process (step S1006).

具体的には、タイミング制御部３５は、ＰＴＳオフセット決定部３０からＰＴＳオフセットΔｔ１を入力すると共に、共通オフセット決定部３３から共通ＰＴＳオフセットΔＣＴを入力する。また、タイミング制御部３５は、図７に示した制御情報処理部２１からＰＴＳを入力すると共に、アプリ時計生成部２３からアプリ時計の時刻を入力する。   Specifically, the timing control unit 35 inputs the PTS offset Δt1 from the PTS offset determination unit 30 and the common PTS offset ΔCT from the common offset determination unit 33. Further, the timing control unit 35 inputs the PTS from the control information processing unit 21 shown in FIG. 7 and also inputs the time of the application clock from the application clock generation unit 23.

タイミング制御部３５は、ＰＴＳの時刻（図３ではＴＳ）に共通ＰＴＳオフセットΔＣＴを加算し、加算結果の時刻を提示時刻ＰＴＳ＋ΔＣＴ（図３ではＴＳ＋ΔＣＴ）として設定する。 The timing control unit 35 adds the common PTS offset [Delta] CT in PTS time (in FIG. 3 T S), sets the time of the addition result as the presentation time PTS + [Delta] CT (FIG 3 T S + ΔCT).

タイミング制御部３５は、ＰＴＳオフセットΔｔ１と共通ＰＴＳオフセットΔＣＴとを比較し、両オフセットが同一である場合（ΔＣＴ＝Δｔ１）、バッファリング処理は不要であると判定する。一方、タイミング制御部３５は、両オフセットが異なる場合（ΔＣＴ＞Δｔ１）、共通ＰＴＳオフセットΔＣＴからＰＴＳオフセットΔｔ１を減算し、減算結果ΔＣＴ−Δｔ１をバッファリング時間としたバッファリング処理が必要であると判定する。   The timing control unit 35 compares the PTS offset Δt1 and the common PTS offset ΔCT, and determines that the buffering process is unnecessary when both offsets are the same (ΔCT = Δt1). On the other hand, when the two offsets are different (ΔCT> Δt1), the timing control unit 35 needs to perform buffering processing by subtracting the PTS offset Δt1 from the common PTS offset ΔCT and setting the subtraction result ΔCT−Δt1 as a buffering time. judge.

タイミング制御部３５は、バッファリング処理が不要であると判定した場合、符号データバッファ１３に符号データをバッファリングすることなく復号することを示す復号タイミング制御信号を、図７に図示しない符号データ読出部に出力する。つまり、タイミング制御部３５は、アプリ時計の時刻が提示時刻ＰＴＳ＋ΔＣＴのときに符号データの復号が完了してＭＰＵを提示可能となるように、前述の復号タイミング制御信号を出力する。   When it is determined that the buffering process is unnecessary, the timing control unit 35 outputs a decoding timing control signal indicating that the encoded data is decoded without being buffered in the encoded data buffer 13, and the encoded data is not illustrated in FIG. To the output. That is, the timing control unit 35 outputs the above-described decoding timing control signal so that the decoding of the code data is completed and the MPU can be presented when the time of the application clock is the presentation time PTS + ΔCT.

これにより、符号データは、図７に示した符号データバッファ１３にバッファリングされることなく、符号データバッファ１３から読み出される。そして、図７に示した復号器１４は、符号データバッファ１３から読み出された符号データを入力し、復号を行い、復号済みデータを復号済データバッファ１５に格納する。   As a result, the code data is read from the code data buffer 13 without being buffered in the code data buffer 13 shown in FIG. 7 receives the code data read from the code data buffer 13, performs decoding, and stores the decoded data in the decoded data buffer 15. The decoder 14 shown in FIG.

一方、タイミング制御部３５は、バッファリング処理が必要であると判定した場合、符号データバッファ１３に符号データを時間ΔＣＴ−Δｔ１だけバッファリングした後に復号することを示す復号タイミング制御信号を、図７に図示しない符号データ読出部に出力する。この復号タイミング制御信号は、アプリ時計の時刻に基づいた提示時刻ＰＴＳ＋ΔＣＴ（図３ではＴＳ＋ΔＣＴ）のタイミングで復号器１４による復号が完了して提示できるように、符号データバッファ１３に符号データを時間ΔＣＴ−Δｔ１だけバッファリングした後、符号データバッファ１３から符号データを読み出すことを示す信号である。つまり、タイミング制御部３５は、アプリ時計の時刻が提示時刻ＰＴＳ＋ΔＣＴのときに符号データの復号が完了してＭＰＵを提示可能となるように、前述の復号タイミング制御信号を出力する。 On the other hand, when the timing control unit 35 determines that the buffering process is necessary, the timing control unit 35 generates a decoding timing control signal indicating that the encoded data is decoded after buffering the encoded data in the encoded data buffer 13 for the time ΔCT−Δt1. Are output to a code data reading unit (not shown). This decoding timing control signal is sent to the code data buffer 13 so that the decoding can be presented by the decoder 14 at the presentation time PTS + ΔCT (T S + ΔCT in FIG. 3) based on the time of the application clock. This signal indicates that the code data is read from the code data buffer 13 after buffering for the time ΔCT−Δt1. That is, the timing control unit 35 outputs the above-described decoding timing control signal so that the decoding of the code data is completed and the MPU can be presented when the time of the application clock is the presentation time PTS + ΔCT.

これにより、符号データは、図７に示した符号データバッファ１３に時間ΔＣＴ−Δｔ１だけバッファリングされ、符号データバッファ１３から読み出される。そして、図７に示した復号器１４は、符号データバッファ１３から読み出された符号データを入力し、復号を行い、復号済みデータを復号済データバッファ１５に格納する。   As a result, the code data is buffered in the code data buffer 13 shown in FIG. 7 for the time ΔCT−Δt1 and read out from the code data buffer 13. 7 receives the code data read from the code data buffer 13, performs decoding, and stores the decoded data in the decoded data buffer 15. The decoder 14 shown in FIG.

このように、タイミング制御部３５は、ＰＴＳオフセットΔｔ１及び共通ＰＴＳオフセットΔＣＴに基づいて、符号データの復号タイミングを制御する。尚、最終的な提示タイミングの制御は復号済データバッファ１５の出力部において行うため、復号タイミングについて厳密な制御を行わなくてもよい。つまり、タイミング制御部３５の制御にかかわらず、復号器１４から符号データの入力を要求される場合には、バッファリング時間（ΔＣＴ−Δｔ１）によらず復号器１４に符号データを入力してもよい。ただし、復号済データバッファ１５がオーバーフローしないことを考慮する必要がある。   In this way, the timing control unit 35 controls the decoding timing of the code data based on the PTS offset Δt1 and the common PTS offset ΔCT. Since the final presentation timing control is performed at the output unit of the decoded data buffer 15, it is not necessary to strictly control the decoding timing. That is, regardless of the control of the timing control unit 35, when the decoder 14 requests input of code data, the code data may be input to the decoder 14 regardless of the buffering time (ΔCT−Δt1). Good. However, it is necessary to consider that the decoded data buffer 15 does not overflow.

そして、タイミング制御部３５は、ＭＰＵの提示処理を微調整し、アプリ時計の時刻が提示時刻ＰＴＳ＋ΔＣＴのときに、ディスプレイ１６及びスピーカ１７への復号済データの提示タイミングを制御するための提示タイミング制御信号を、図７には図示しない復号済データ読出部に出力する。   Then, the timing control unit 35 finely adjusts the MPU presentation process, and the presentation timing control for controlling the presentation timing of the decoded data to the display 16 and the speaker 17 when the time of the application clock is the presentation time PTS + ΔCT. The signal is output to a decoded data reading unit (not shown in FIG. 7).

これにより、復号済データ読出部は、図７に示した復号済データバッファ１５から復号済みデータを読み出し、図７に示したディスプレイ１６は、復号済データバッファ１５から読み出された映像信号の復号済みデータを入力して再生する。また、図７に示したスピーカ１７は、復号済データバッファ１５から読み出された音声信号の復号済みデータを入力して再生する。   Thus, the decoded data reading unit reads the decoded data from the decoded data buffer 15 shown in FIG. 7, and the display 16 shown in FIG. 7 decodes the video signal read from the decoded data buffer 15. Enter and play the completed data. Further, the speaker 17 shown in FIG. 7 inputs and reproduces the decoded data of the audio signal read from the decoded data buffer 15.

一方で、同期提示制御部２４の更新部３６は、同期メンバ端末リスト３１から受信端末２−２，２−３（スレーブ）毎に、開始タイムスタンプＴ１（前回受信した同期パケットから抽出された開始タイムスタンプＴ１）及びポーリング間隔ＰＴ（前回受信した同期パケットから抽出されたポーリング間隔ＰＴ）を読み出す。また、更新部３６は、図７に示したアプリ時計生成部２３からアプリ時計の時刻を入力する。   On the other hand, the update unit 36 of the synchronization presentation control unit 24 starts the time stamp T1 (start extracted from the previously received synchronization packet) for each of the receiving terminals 2-2 and 2-3 (slave) from the synchronization member terminal list 31. The time stamp T1) and the polling interval PT (the polling interval PT extracted from the previously received synchronization packet) are read out. Moreover, the update part 36 inputs the time of an application clock from the application clock production | generation part 23 shown in FIG.

更新部３６は、アプリ時計が示す現在時刻と開始タイムスタンプＴ１の時刻との間の差分値を算出し、ポーリング間隔ＰＴに予め設定された時間を加えて加算時間を求める。そして、更新部３６は、差分値が加算時間以上の場合に、当該開始タイムスタンプＴ１等に対応する受信端末２−２，２−３のエントリを同期メンバ端末リスト３１から削除する。   The update unit 36 calculates a difference value between the current time indicated by the application clock and the time of the start time stamp T1, and obtains an addition time by adding a preset time to the polling interval PT. Then, when the difference value is equal to or longer than the addition time, the update unit 36 deletes the entry of the receiving terminals 2-2 and 2-3 corresponding to the start time stamp T1 and the like from the synchronous member terminal list 31.

尚、同期メンバ端末リスト３１に保持する開始タイムスタンプＴ１は、受信端末２−２，２−３から同期パケットを受信した受信端末２−１のアプリ時刻（受信タイムスタンプＴ２）に代えてもよい。具体的には、同期パケット出力処理部３４は、受信タイムスタンプＴ２を同期メンバ端末リスト３１に格納する。更新部３６は、同期メンバ端末リスト３１から受信タイムスタンプＴ２及びポーリング間隔ＰＴを読み出し、アプリ時計が示す現在時刻と受信タイムスタンプＴ２の時刻との間の差分値を算出し、ポーリング間隔ＰＴに予め設定された時間を加えて加算時間を求める。そして、更新部３６は、差分値が加算時間以上の場合に、当該受信タイムスタンプＴ２等に対応する受信端末２−２，２−３のエントリを同期メンバ端末リスト３１から削除する。   The start time stamp T1 held in the synchronization member terminal list 31 may be replaced with the application time (reception time stamp T2) of the reception terminal 2-1 that has received the synchronization packet from the reception terminals 2-2 and 2-3. . Specifically, the synchronization packet output processing unit 34 stores the reception time stamp T2 in the synchronization member terminal list 31. The update unit 36 reads the reception time stamp T2 and the polling interval PT from the synchronous member terminal list 31, calculates a difference value between the current time indicated by the application clock and the time of the reception time stamp T2, and sets the polling interval PT in advance. Add the set time to obtain the addition time. Then, when the difference value is equal to or longer than the addition time, the update unit 36 deletes the entry of the reception terminals 2-2 and 2-3 corresponding to the reception time stamp T2 and the like from the synchronous member terminal list 31.

そして、共通オフセット決定部３３は、同期パケット入力処理部３２が新たな同期パケットを入力して同期メンバ端末リスト３１にＰＴＳオフセット等を格納した後、同期メンバ端末リスト３１に格納されたＰＴＳオフセットを用いて、新たな共通ＰＴＳオフセットΔＣＴを決定する。   Then, after the synchronization packet input processing unit 32 inputs a new synchronization packet and stores the PTS offset or the like in the synchronization member terminal list 31, the common offset determination unit 33 receives the PTS offset stored in the synchronization member terminal list 31. To determine a new common PTS offset ΔCT.

このように、同期メンバ端末リスト３１に残されたＰＴＳオフセットから、共通ＰＴＳオフセットΔＣＴが更新され、タイミング制御部３５にて、更新された共通ＰＴＳオフセットΔＣＴに基づく処理が行われる。また、更新された共通ＰＴＳオフセットΔＣＴは、受信端末２−２，２−３へ送信される。   As described above, the common PTS offset ΔCT is updated from the PTS offsets remaining in the synchronized member terminal list 31, and the timing control unit 35 performs processing based on the updated common PTS offset ΔCT. Further, the updated common PTS offset ΔCT is transmitted to the receiving terminals 2-2 and 2-3.

〔同期提示制御部２４／スレーブ〕
次に、受信端末２−２（スレーブ）の同期提示制御部２４について説明する。図９は、受信端末２−２の同期提示制御部２４の構成例を示すブロック図であり、図１１は、受信端末２−２の同期提示制御部２４の処理例を示すフローチャートである。受信端末２−３（スレーブ）についても同様である。 [Synchronous presentation control unit 24 / slave]
Next, the synchronous presentation control unit 24 of the receiving terminal 2-2 (slave) will be described. FIG. 9 is a block diagram illustrating a configuration example of the synchronization presentation control unit 24 of the reception terminal 2-2, and FIG. 11 is a flowchart illustrating a processing example of the synchronization presentation control unit 24 of the reception terminal 2-2. The same applies to the receiving terminal 2-3 (slave).

図９を参照して、この同期提示制御部２４は、ＰＴＳオフセット決定部４０、同期パケット出力処理部４１、同期パケット入力処理部４２及びタイミング制御部４３を備えている。   Referring to FIG. 9, the synchronization presentation control unit 24 includes a PTS offset determination unit 40, a synchronization packet output processing unit 41, a synchronization packet input processing unit 42, and a timing control unit 43.

以下、図９及び図１１を参照して、スレーブの同期提示制御部２４の処理を詳細に説明する。まず、同期提示制御部２４は、自らのＰＴＳオフセットΔｔ２を決定する（ステップＳ１１０１）。   Hereinafter, the processing of the slave synchronization presentation control unit 24 will be described in detail with reference to FIGS. 9 and 11. First, the synchronous presentation control unit 24 determines its own PTS offset Δt2 (step S1101).

具体的には、ＰＴＳオフセット決定部４０は、図８に示したＰＴＳオフセット決定部３０と同様に、所定の１つのＭＰＵが図７に示した復号器１４により復号され、その先頭フレームが提示可能となった時刻を特定すると共に、図７に示した制御情報処理部２１から当該ＭＰＵのＰＴＳを入力する。そして、ＰＴＳオフセット決定部４０は、先頭フレームが提示可能となった時刻からＰＴＳの時刻を減算し、減算結果をＰＴＳオフセットΔｔ２に決定し、ＰＴＳオフセットΔｔ２を同期パケット出力処理部４１及びタイミング制御部４３に出力する。   Specifically, in the same way as the PTS offset determination unit 30 shown in FIG. 8, the PTS offset determination unit 40 can decode one predetermined MPU by the decoder 14 shown in FIG. 7 and present its head frame. At the same time, the PTS of the MPU is input from the control information processing unit 21 shown in FIG. Then, the PTS offset determination unit 40 subtracts the time of the PTS from the time when the first frame can be presented, determines the subtraction result as the PTS offset Δt2, and sets the PTS offset Δt2 to the synchronization packet output processing unit 41 and the timing control unit. Output to 43.

この減算結果の時間は、図２に示したように、伝送路３−２の伝送遅延時間Δｔd2及び受信端末２−２の処理遅延時間Δｔp2の加算結果の時間に相当するＰＴＳオフセットΔｔ２である。 As shown in FIG. 2, the time of the subtraction result is a PTS offset Δt2 corresponding to the time of the addition result of the transmission delay time Δt d2 of the transmission line 3-2 and the processing delay time Δt p2 of the receiving terminal 2-2. is there.

同期提示制御部２４は、ステップＳ１１０１から移行して、当該受信端末２−２のＰＴＳオフセットΔｔ２等を含む同期パケットを出力する（ステップＳ１１０２）。   The synchronization presentation control unit 24 proceeds from step S1101 and outputs a synchronization packet including the PTS offset Δt2 and the like of the receiving terminal 2-2 (step S1102).

具体的には、同期パケット出力処理部４１は、ＰＴＳオフセット決定部４０からＰＴＳオフセットΔｔ２を入力すると共に、図７に示した制御情報処理部２１からＭＭＴパッケージＩＤ（受信端末２−２が受信中の番組のＭＭＴパッケージＩＤ）を入力する。また、同期パケット出力処理部４１は、図７に示したアプリ時計生成部２３からアプリ時計の時刻を入力する。   Specifically, the synchronization packet output processing unit 41 receives the PTS offset Δt2 from the PTS offset determination unit 40 and also receives the MMT package ID (received by the receiving terminal 2-2 from the control information processing unit 21 illustrated in FIG. Enter the MMT package ID). The synchronous packet output processing unit 41 inputs the time of the application clock from the application clock generation unit 23 illustrated in FIG.

同期パケット出力処理部４１は、ＰＴＳオフセットΔｔ２、ポーリング間隔ＰＴ及び受信中のＭＭＴパッケージＩＤ、並びに、システム時計１２の現在時刻を開始タイムスタンプＴ１として同期パケットに設定する。そして、同期パケット出力処理部４１は、ＰＴＳオフセットΔｔ２等を含む同期パケットを、図７に示した無線ＬＡＮインタフェース１１に直ちに出力する。   The synchronous packet output processing unit 41 sets the PTS offset Δt2, the polling interval PT, the MMT package ID being received, and the current time of the system clock 12 as a start time stamp T1 in the synchronous packet. Then, the synchronization packet output processing unit 41 immediately outputs a synchronization packet including the PTS offset Δt2 and the like to the wireless LAN interface 11 shown in FIG.

図６にて説明したとおり、ポーリング間隔ＰＴは、受信端末２−２が受信端末２−１へ同期パケットを送信する送信周期であり、予めスレーブの受信端末２−２の同期提示制御部２４に同期パラメータの一つとして設定された値が用いられる。受信中のＭＭＴパッケージＩＤは、受信端末２−２が送信装置１から受信中の映像信号及び音声信号に関する番組のＩＤである。開始タイムスタンプＴ１は、受信端末２−２が受信端末２−１へ同期パケットを送信するときの送信時刻であり、システム時計１２の時刻が用いられる。   As described with reference to FIG. 6, the polling interval PT is a transmission cycle in which the reception terminal 2-2 transmits a synchronization packet to the reception terminal 2-1, and is previously transmitted to the synchronization presentation control unit 24 of the slave reception terminal 2-2. A value set as one of the synchronization parameters is used. The MMT package ID being received is an ID of a program related to a video signal and an audio signal being received from the transmitting apparatus 1 by the receiving terminal 2-2. The start time stamp T1 is a transmission time when the reception terminal 2-2 transmits a synchronization packet to the reception terminal 2-1, and the time of the system clock 12 is used.

これにより、ポーリング間隔ＰＴ、開始タイムスタンプＴ１、受信中のＭＭＴパッケージＩＤ及びＰＴＳオフセットΔｔ２が設定された同期パケットが、受信端末２−２から受信端末２−１へ送信される。同様に、受信端末２−３からも、ポーリング間隔ＰＴ、開始タイムスタンプＴ１、受信中のＭＭＴパッケージＩＤ及びＰＴＳオフセットΔｔ３が設定された同期パケットが、受信端末２−１へ送信される。   As a result, a synchronization packet in which the polling interval PT, the start time stamp T1, the MMT package ID being received, and the PTS offset Δt2 are set is transmitted from the receiving terminal 2-2 to the receiving terminal 2-1. Similarly, the receiving terminal 2-3 transmits a synchronization packet in which the polling interval PT, the start time stamp T1, the MMT package ID being received, and the PTS offset Δt3 are set to the receiving terminal 2-1.

同期提示制御部２４は、ステップＳ１１０２から移行して、共通ＰＴＳオフセットΔＣＴ等を含む同期パケットを入力する（ステップＳ１１０３）。   The synchronization presentation control unit 24 proceeds from step S1102 and inputs a synchronization packet including the common PTS offset ΔCT and the like (step S1103).

具体的には、同期パケット入力処理部４２は、図７に示した無線ＬＡＮインタフェース１１から、共通ＰＴＳオフセットΔＣＴ等を含む同期パケットを入力する。そして、同期パケット入力処理部４２は、同期パケットから共通ＰＴＳオフセットΔＣＴを抽出し、共通ＰＴＳオフセットΔＣＴをタイミング制御部４３に出力する。   Specifically, the synchronization packet input processing unit 42 inputs a synchronization packet including the common PTS offset ΔCT and the like from the wireless LAN interface 11 illustrated in FIG. Then, the synchronization packet input processing unit 42 extracts the common PTS offset ΔCT from the synchronization packet and outputs the common PTS offset ΔCT to the timing control unit 43.

同期提示制御部２４は、ステップＳ１１０３から移行して、図１０のステップＳ１００５と同様に、共通ＰＴＳオフセットΔＣＴに基づいたバッファリング処理を行う（ステップＳ１１０４）。そして、同期提示制御部２４は、図１０のステップＳ１００６と同様に、バッファリング処理の後にＭＰＵを提示する（ステップＳ１１０５）。   The synchronization presentation control unit 24 shifts from step S1103 to perform buffering processing based on the common PTS offset ΔCT as in step S1005 of FIG. 10 (step S1104). And the synchronous presentation control part 24 presents MPU after a buffering process similarly to FIG.10 S1006 (step S1105).

具体的には、タイミング制御部４３は、ＰＴＳオフセット決定部４０からＰＴＳオフセットΔｔ２を入力すると共に、同期パケット入力処理部４２から共通ＰＴＳオフセットΔＣＴを入力する。また、タイミング制御部４３は、図７に示した制御情報処理部２１からＰＴＳを入力すると共に、アプリ時計生成部２３からアプリ時計の時刻を入力する。   Specifically, the timing control unit 43 inputs the PTS offset Δt 2 from the PTS offset determination unit 40 and also receives the common PTS offset ΔCT from the synchronization packet input processing unit 42. Further, the timing control unit 43 inputs the PTS from the control information processing unit 21 shown in FIG. 7 and also inputs the time of the application clock from the application clock generation unit 23.

タイミング制御部４３は、タイミング制御部３５と同様の処理を行い、符号データの復号タイミングを制御すると共に、ディスプレイ１６及びスピーカ１７への復号済データの提示タイミングを制御する。   The timing control unit 43 performs the same processing as the timing control unit 35, controls the decoding timing of the encoded data, and controls the presentation timing of the decoded data to the display 16 and the speaker 17.

このように、受信端末２−２において、映像信号及び音声信号のＭＰＵは、送信装置１により指定された時刻をＰＴＳ（ＴＳ）とすると、時刻ＰＴＳ（ＴＳ）＋ΔＣＴに提示される。受信端末２−３も同様である。 Thus, at the receiving terminal 2-2, MPU video and audio signals, when the time specified by the transmitter 1 and the PTS (T S), are presented in the time PTS (T S) + ΔCT. The same applies to the receiving terminal 2-3.

〔アプリ時計の同期処理〕
次に、図７に示したアプリ時計生成部２３の同期処理について説明する。この同期処理は、受信端末２−１，２−２，２−３のアプリ時計を一致させる処理である。受信端末２−１，２−２，２−３において、ＯＳにより管理されるシステム時計１２の時刻は、ＮＴＰサーバから取得したＵＴＣとの間で誤差が生じる可能性がある。また、ＯＳによっては、アプリケーションの権限でシステム時計１２の時刻を補正することができない場合がある。 [Synchronization processing of application clock]
Next, the synchronization process of the application clock generation unit 23 shown in FIG. 7 will be described. This synchronization process is a process for matching the application clocks of the receiving terminals 2-1, 2-2, 2-3. In the receiving terminals 2-1, 2-2 and 2-3, there is a possibility that an error may occur between the time of the system clock 12 managed by the OS and the UTC acquired from the NTP server. Depending on the OS, the time of the system clock 12 may not be corrected with the authority of the application.

そこで、前述のとおり、受信端末２−１（マスタ）のアプリ時計生成部２３は、システム時計１２の時刻とＮＴＰパケットから取得したＵＴＣの時刻との間の差分値（遅れ時間Δtda）を算出して保持する。この差分値（遅れ時間Δtda）は、ＵＴＣに対するシステム時計１２の遅れ時間であり、マイナスの値のときは進みがあることを意味する。そして、アプリ時計生成部２３は、システム時計１２の時刻に対し、保持した差分値を加算することで、アプリ時計の時刻を生成する。   Therefore, as described above, the application clock generation unit 23 of the receiving terminal 2-1 (master) calculates a difference value (delay time Δtda) between the time of the system clock 12 and the UTC time acquired from the NTP packet. Hold. This difference value (delay time Δtda) is the delay time of the system clock 12 with respect to UTC, and a negative value means that there is advance. Then, the application clock generation unit 23 adds the held difference value to the time of the system clock 12 to generate the time of the application clock.

また、受信端末２−２，２−３（スレーブ）のアプリ時計生成部２３は、システム時計１２の時刻と受信端末２−１から受信した同期パケットに含まれる時刻情報に基づいて、以下の数式（１）にて、差分値（遅れ時間Δtdb）を算出して保持する。
〔数１〕
遅れ時間Δtdb＝（Ｔ２＋Ｔ３）／２−（Ｔ１＋Ｔ４）／２ ・・・（１）
Ｔ１，Ｔ２，Ｔ３は、受信端末２−２，２−３が受信端末２−１から受信した同期パケットに含まれる開始タイムスタンプＴ１、受信タイムスタンプＴ２及び送信タイムスタンプＴ３である。Ｔ４は、受信端末２−２，２−３が受信端末２−１から同期パケットを受信したときのシステム時計１２の時刻である。 In addition, the application clock generation unit 23 of the receiving terminals 2-2 and 2-3 (slave) uses the following formula based on the time of the system clock 12 and the time information included in the synchronization packet received from the receiving terminal 2-1. In (1), the difference value (delay time Δtdb) is calculated and held.
[Equation 1]
Delay time Δtdb = (T2 + T3) / 2− (T1 + T4) / 2 (1)
T1, T2, and T3 are a start time stamp T1, a reception time stamp T2, and a transmission time stamp T3 included in the synchronization packet received by the receiving terminals 2-2 and 2-3 from the receiving terminal 2-1. T4 is the time of the system clock 12 when the receiving terminals 2-2 and 2-3 receive the synchronization packet from the receiving terminal 2-1.

この差分値（遅れ時間Δtdb）は、受信端末２−１のアプリ時計に対するシステム時計１２の遅れ時間であり、マイナスの値のときは進みがあることを意味する。そして、アプリ時計生成部２３は、システム時計１２の時刻に、保持した差分値を加算することで、アプリ時計の時刻を生成する。   This difference value (delay time Δtdb) is a delay time of the system clock 12 with respect to the application clock of the receiving terminal 2-1, and a negative value means that there is advance. Then, the application clock generator 23 generates the time of the application clock by adding the held difference value to the time of the system clock 12.

図１３は、アプリ時計生成部２３の処理例を説明する図であり、ＮＴＰサーバが保持するＵＴＣ、受信端末２−１（マスタ）のシステム時計１２及びアプリ時計、並びに受信端末２−２（スレーブ）のシステム時計１２及びアプリ時計における時刻の相関関係の一例を示す。横軸は時間軸である。   FIG. 13 is a diagram for explaining a processing example of the application clock generation unit 23. The UTC held by the NTP server, the system clock 12 and the application clock of the receiving terminal 2-1 (master), and the receiving terminal 2-2 (slave) ) Shows an example of time correlation in the system clock 12 and the application clock. The horizontal axis is the time axis.

図１３に示すように、受信端末２−１のシステム時計１２は、ＮＴＰサーバから取得したＵＴＣの時刻に対し、遅れ時間Δtdaの絶対値の時間だけ進んでいるものとする。遅れ時間Δtdaはマイナスの値である。また、受信端末２−２のシステム時計１２は、受信端末２−１のアプリ時計に対し、遅れ時間Δtdbの絶対値の時間だけ遅れているものとする。遅れ時間Δtdbはプラスの値である。   As shown in FIG. 13, it is assumed that the system clock 12 of the receiving terminal 2-1 is advanced by the absolute value of the delay time Δtda with respect to the UTC time acquired from the NTP server. The delay time Δtda is a negative value. Further, it is assumed that the system clock 12 of the receiving terminal 2-2 is delayed by the absolute value of the delay time Δtdb with respect to the application clock of the receiving terminal 2-1. The delay time Δtdb is a positive value.

受信端末２−１のアプリ時計生成部２３は、システム時計１２の時刻とＵＴＣの時刻との間の差分値である遅れ時間Δtda（マイナス値）を算出し、システム時計１２の時刻に遅れ時間Δtdaを加算することで、アプリ時計の時刻を生成する。   The application clock generation unit 23 of the receiving terminal 2-1 calculates a delay time Δtda (minus value) that is a difference value between the time of the system clock 12 and the UTC time, and the delay time Δtda is calculated as the time of the system clock 12. Is added to generate the time of the app clock.

受信端末２−２のアプリ時計生成部２３は、システム時計１２の時刻と受信端末２−１のアプリ時計との間の差分値である遅れ時間Δtdb（プラス値）を算出し、システム時計１２の時刻に遅れ時間Δtdbを加算することで、アプリ時計の時刻を生成する。   The application clock generation unit 23 of the reception terminal 2-2 calculates a delay time Δtdb (plus value) that is a difference value between the time of the system clock 12 and the application clock of the reception terminal 2-1, and the system clock 12 The time of the application clock is generated by adding the delay time Δtdb to the time.

これにより、受信端末２−２のアプリ時計を受信端末２−１のアプリ時計に一致させることができ、受信端末２−１，２−２間でアプリ時計を同期させることができる。受信端末２−３についても同様である。つまり、受信端末２−１，２−２，２−３のアプリ時計は、ＮＴＰサーバのＵＴＣに同期することとなる。   Thereby, the application clock of the receiving terminal 2-2 can be matched with the application clock of the receiving terminal 2-1, and the application clock can be synchronized between the receiving terminals 2-1 and 2-2. The same applies to the receiving terminal 2-3. That is, the application clocks of the receiving terminals 2-1, 2-2, 2-3 are synchronized with the UTC of the NTP server.

以上のように、本発明の実施形態の受信端末２−１（マスタ）によれば、同期提示制御部２４は、ＭＰＵが復号されてその先頭フレームが提示可能となった時刻から、当該ＭＰＵに対応するＰＴＳの時刻を減算し、減算結果をＰＴＳオフセットΔｔ１に決定し、ＰＴＳオフセットΔｔ１、及び受信端末２−２，２−３（スレーブ）から取得したＰＴＳオフセットΔｔ２，Δｔ３のうちの最大値を共通ＰＴＳオフセットΔＣＴに決定する。この共通ＰＴＳオフセットΔＣＴは、受信端末２−２，２−３へ送信される。   As described above, according to the receiving terminal 2-1 (master) of the embodiment of the present invention, the synchronous presentation control unit 24 sends the MPU to the MPU from the time when the MPU is decoded and the head frame can be presented. The time of the corresponding PTS is subtracted, the subtraction result is determined as the PTS offset Δt1, and the maximum value of the PTS offset Δt1 and the PTS offsets Δt2 and Δt3 acquired from the receiving terminals 2-2 and 2-3 (slave) is determined. The common PTS offset ΔCT is determined. This common PTS offset ΔCT is transmitted to the receiving terminals 2-2 and 2-3.

そして、同期提示制御部２４は、復号対象のＭＰＵに対応するＰＴＳの時刻に共通ＰＴＳオフセットΔＣＴを加算し、加算結果を提示時刻ＰＴＳ＋ΔＣＴに設定する。同期提示制御部２４は、ＰＴＳオフセットΔｔ１と共通ＰＴＳオフセットΔＣＴとを比較し、両オフセットが同一である場合（ΔＣＴ＝Δｔ１）、バッファリング処理は不要であると判定し、符号データをバッファリングすることなく復号することを示す復号タイミング制御信号を出力する。一方、同期提示制御部２４は、両オフセットが異なる場合（ΔＣＴ＞Δｔ１）、共通ＰＴＳオフセットΔＣＴからＰＴＳオフセットΔｔ１を減算し、減算結果ΔＣＴ−Δｔ１をバッファリング時間としたバッファリング処理が必要であると判定し、符号データを減算結果ΔＣＴ−Δｔ１分バッファリングして復号することを示す復号タイミング制御信号を出力する。   And the synchronous presentation control part 24 adds common PTS offset (DELTA) CT to the time of PTS corresponding to MPU of decoding object, and sets an addition result to presentation time PTS + (DELTA) CT. The synchronization presentation control unit 24 compares the PTS offset Δt1 and the common PTS offset ΔCT, and when both offsets are the same (ΔCT = Δt1), determines that the buffering process is unnecessary and buffers the code data. A decoding timing control signal indicating that decoding is performed without any error is output. On the other hand, when the two offsets are different (ΔCT> Δt1), the synchronous presentation control unit 24 needs to perform buffering processing by subtracting the PTS offset Δt1 from the common PTS offset ΔCT and setting the subtraction result ΔCT−Δt1 as the buffering time. And a decoding timing control signal indicating that the code data is buffered by the subtraction result ΔCT−Δt1 and decoded.

そして、同期提示制御部２４は、ＭＰＵの提示処理を微調整し、アプリ時計の時刻が提示時刻ＰＴＳ＋ΔＣＴのときに、復号済データの提示タイミングを制御するための提示タイミング制御信号を出力する。   Then, the synchronous presentation control unit 24 finely adjusts the MPU presentation process, and outputs a presentation timing control signal for controlling the presentation timing of the decoded data when the time of the application clock is the presentation time PTS + ΔCT.

ここで、受信端末２−１のアプリ時計生成部２３は、システム時計１２の時刻とＵＴＣの時刻との間の差分値を算出して保持し、システム時計１２の時刻に、保持した差分値を加算することで、アプリ時計の時刻を生成する。受信端末２−１の同期提示制御部２４は、このアプリ時計の時刻を使用して処理を行う。   Here, the application clock generation unit 23 of the receiving terminal 2-1 calculates and holds the difference value between the time of the system clock 12 and the time of UTC, and the held difference value at the time of the system clock 12. By adding, the time of the application clock is generated. The synchronous presentation control unit 24 of the receiving terminal 2-1 performs processing using the time of the application clock.

また、本発明の実施形態の受信端末２−２，２−３（スレーブ）によれば、同期提示制御部２４は、マスタの場合と同様にＰＴＳオフセットΔｔ２，Δｔ３を決定し、受信端末２−１から共通ＰＴＳオフセットΔＣＴを取得する。   Further, according to the receiving terminals 2-2 and 2-3 (slave) according to the embodiment of the present invention, the synchronization presentation control unit 24 determines the PTS offsets Δt2 and Δt3 as in the case of the master, and receives the receiving terminal 2- 1 to obtain a common PTS offset ΔCT.

そして、同期提示制御部２４は、マスタの場合と同様に、提示時刻ＰＴＳ＋ΔＣＴを設定し、ＰＴＳオフセットΔｔ２，Δｔ３と共通ＰＴＳオフセットΔＣＴとを比較し、バッファリング処理の有無が反映された復号タイミング制御信号を出力する。同期提示制御部２４は、マスタの場合と同様に、ＭＰＵの提示処理を微調整し、アプリ時計の時刻が提示時刻ＰＴＳ＋ΔＣＴのときに、提示タイミング制御信号を出力する。   Then, as in the case of the master, the synchronous presentation control unit 24 sets the presentation time PTS + ΔCT, compares the PTS offsets Δt2 and Δt3 with the common PTS offset ΔCT, and decodes timing control that reflects the presence or absence of buffering processing. Output a signal. As in the case of the master, the synchronous presentation control unit 24 finely adjusts the MPU presentation process, and outputs a presentation timing control signal when the time of the application clock is the presentation time PTS + ΔCT.

ここで、受信端末２−２，２−３のアプリ時計生成部２３は、システム時計１２の時刻と、受信端末２−１から受信した同期パケットに含まれる時刻情報に基づいて、前記数式（１）にて差分値を算出して保持し、システム時計１２の時刻に対し、保持した差分値を加算することで、アプリ時計の時刻を生成する。受信端末２−２，２−３の同期提示制御部２４は、このアプリ時計の時刻を使用して処理を行う。   Here, the application clock generation unit 23 of the reception terminals 2-2 and 2-3 receives the formula (1) based on the time of the system clock 12 and the time information included in the synchronization packet received from the reception terminal 2-1. ) Calculates and holds the difference value, and adds the held difference value to the time of the system clock 12 to generate the time of the application clock. The synchronous presentation control unit 24 of the receiving terminals 2-2 and 2-3 performs processing using the time of the application clock.

このように、受信端末２−１，２−２，２−３は、全端末で共通する共通ＰＴＳオフセットΔＣＴを用い、全端末で同一の時刻のアプリ時計に従って復号タイミング制御及び提示タイミング制御を行うようにした。これにより、受信端末２−１，２−２，２−３間でＭＰＵの提示時刻を同一にすることができ、提示処理を同期させることができる。   In this way, the receiving terminals 2-1, 2-2, 2-3 use the common PTS offset ΔCT common to all terminals, and perform decoding timing control and presentation timing control according to the application clock at the same time on all terminals. I did it. Thereby, the presentation time of MPU can be made the same between receiving terminals 2-1, 2-2, and 2-3, and a presentation process can be synchronized.

したがって、この仕組みを放送及び通信連携サービスに適用することにより、放送及び通信連携サービスを実現するための同期を確立することが可能となる。例えば、第１の受信端末が放送番組を表示し、当該第１の受信端末の近傍に設置されたデジタルサイネージ等の第２の受信端末が、当該放送番組に関連する付加映像や広告等を、インターネット等で配信を受けて表示する場合に、放送番組の表示処理と広告等の表示処理との間で同期を確立することができる。また、放送番組を用いずに、インターネット等で配信される複数の広告等の映像表示処理を、受信端末間で同期させることも可能である。   Therefore, by applying this mechanism to the broadcasting and communication cooperation service, it is possible to establish synchronization for realizing the broadcasting and communication cooperation service. For example, a first receiving terminal displays a broadcast program, and a second receiving terminal such as digital signage installed in the vicinity of the first receiving terminal displays an additional video, an advertisement, or the like related to the broadcast program, When receiving and displaying distribution on the Internet or the like, synchronization can be established between display processing of broadcast programs and display processing of advertisements and the like. Moreover, it is also possible to synchronize video display processing such as a plurality of advertisements distributed over the Internet or the like between the receiving terminals without using a broadcast program.

〔実験結果〕
次に、本発明の実施形態の実験結果について説明する。図１５は、実験結果を説明する図である。この実験結果は、室内実験にて得られたものであり、送信装置１から２台の受信端末２−１，２−２へフレーム番号を重畳した同一内容の映像信号を送信したときの結果を示している。 〔Experimental result〕
Next, experimental results of the embodiment of the present invention will be described. FIG. 15 is a diagram for explaining experimental results. This experimental result was obtained in an indoor experiment, and the result when a video signal having the same content on which the frame number is superimposed is transmitted from the transmitting apparatus 1 to the two receiving terminals 2-1 and 2-2 is shown. Show.

受信端末２−１（マスタ）の伝送路３−１の伝送遅延時間を３秒に固定し、受信端末２−２（スレーブ）の伝送路３−２の伝送遅延時間を１秒から５秒まで１秒単位に変化させ、各２０回の測定を行い、フレーム番号のずれ及びその回数を測定した。   The transmission delay time of the transmission path 3-1 of the receiving terminal 2-1 (master) is fixed to 3 seconds, and the transmission delay time of the transmission path 3-2 of the receiving terminal 2-2 (slave) is from 1 second to 5 seconds. The measurement was changed in units of 1 second, and each measurement was performed 20 times.

まず、受信端末２−２の伝送路３−２の伝送遅延時間を５秒とし、本発明の同期機能を無効とした場合、図１５には図示してないが、両端末に同時に表示された映像信号のフレーム番号の差は１２０となる結果が得られた。このフレーム数１２０は、両端末の伝送遅延差である２秒に相当する数である。一方、本発明の同期機能を有効とした場合に、両端末に同時に表示された映像信号のフレーム番号の差は０となる結果が得られた。   First, when the transmission delay time of the transmission path 3-2 of the receiving terminal 2-2 is set to 5 seconds and the synchronization function of the present invention is disabled, it is not shown in FIG. As a result, the difference between the frame numbers of the video signals was 120. The number of frames 120 is a number corresponding to 2 seconds, which is a difference in transmission delay between both terminals. On the other hand, when the synchronization function of the present invention is enabled, the difference between the frame numbers of the video signals simultaneously displayed on both terminals is 0.

また、本発明の同期機能を有効とした場合の合計１００（２０×５）回の試行により、図１５に示す結果が得られた。図１５において、表示された映像信号のフレーム番号のずれは、受信端末２−１のフレーム番号に対して受信端末２−２のフレーム番号が遅れている場合に負数、進んでいる場合に正数としている。   Moreover, the result shown in FIG. 15 was obtained by a total of 100 (20 × 5) trials when the synchronization function of the present invention was enabled. In FIG. 15, the frame number shift of the displayed video signal is a negative number when the frame number of the receiving terminal 2-2 is delayed with respect to the frame number of the receiving terminal 2-1, and a positive number when the frame number is advanced. It is said.

例えば、受信端末２−２の伝送路３−２の伝送遅延時間を１秒とした場合の２０回の試行において、受信端末２−２では、−２フレームの回数（フレーム番号が２だけ遅れた回数）が４であり、−１フレームの回数（フレーム番号が１だけ遅れた回数）が５であり、・・・、２フレーム（フレーム番号が２だけ進んだ回数）が３である結果が得られた。   For example, in 20 trials when the transmission delay time of the transmission path 3-2 of the receiving terminal 2-2 is 1 second, the receiving terminal 2-2 has the number of -2 frames (the frame number is delayed by 2). The number of times) is 4, the number of times of -1 frame (the number of times the frame number is delayed by 1) is 5, and the result of 2 frames (the number of times the frame number has advanced by 2) is 3 is obtained. It was.

図１５から、両端末の伝送遅延差に関わらず、端末間のフレーム番号のずれの大きさは、最大３フレームに収まっていることがわかる。また、１００回の試行によるフレーム番号のずれの平均は、−０．１８であった。これにより、受信端末２−１，２−２間で、提示処理が平均で１フレームを下まわる高い精度で同期していることがわかる。   From FIG. 15, it can be seen that the maximum frame number shift between the terminals is within 3 frames regardless of the transmission delay difference between the two terminals. Further, the average of the frame number deviations after 100 trials was -0.18. Thereby, it turns out that the presentation process synchronizes with high precision which is less than one frame on average between the receiving terminals 2-1 and 2-2.

以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、図４及び図５では、マスタの受信端末２−１に対して２台のスレーブの受信端末２−２，２−３を備えたシステムの例を示したが、本発明は、３台以上のスレーブの受信端末２−２，２−３等を備えたシステムにも適用がある。また、受信端末２の無線ＬＡＮインタフェース１１は、有線ＬＡＮインタフェースやＢｌｕｅｔｏｏｔｈ（登録商標）など、規格を問わず各種の通信インタフェースにも適用がある。例えば、符号データのＩＰパケットの受信には無線ＬＡＮインタフェースを用い、同期パケットの送受信にはＢｌｕｅｔｏｏｔｈ（登録商標）インタフェースを用いるなど、複数の通信インタフェースを組み合わせた構成も可能である。さらに、図７においては、ユーザインタフェース処理部１０から各処理部に対する設定項目を入力しているが、例えば無線通信タグや無線通信ビーコンなど、外部との通信によってこれらの設定を行う構成も可能である。   The present invention has been described with reference to the embodiment. However, the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the technical idea thereof. For example, in FIGS. 4 and 5, an example of a system including two slave receiving terminals 2-2 and 2-3 with respect to the master receiving terminal 2-1 is shown. The present invention is also applicable to a system including the slave receiving terminals 2-2 and 2-3. The wireless LAN interface 11 of the receiving terminal 2 is also applicable to various communication interfaces such as a wired LAN interface and Bluetooth (registered trademark). For example, a configuration in which a plurality of communication interfaces are combined, such as using a wireless LAN interface for receiving IP packets of code data and using a Bluetooth (registered trademark) interface for transmitting and receiving synchronization packets, is possible. Further, in FIG. 7, setting items for each processing unit are input from the user interface processing unit 10, but a configuration in which these settings are performed by communication with the outside, such as a wireless communication tag or a wireless communication beacon, is also possible. is there.

尚、本発明の実施形態による受信端末２のハードウェア構成としては、通常のコンピュータを使用することができる。受信端末２は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインタフェース等を備えたコンピュータによって構成される。受信端末２に備えたユーザインタフェース処理部１０、無線ＬＡＮインタフェース１１、システム時計１２、符号データバッファ１３、復号器１４、復号済データバッファ１５、ディスプレイ１６、スピーカ１７、パケット受信部２０、制御情報処理部２１、符号データ結合部２２、アプリ時計生成部２３及び同期提示制御部２４の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現することができる。また、これらのうち一部の機能については、その機能を有する専用ハードウェアを受信端末２内に内蔵し、ＣＰＵにより実行されるプログラムから制御してもよい。これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。   Note that a normal computer can be used as the hardware configuration of the receiving terminal 2 according to the embodiment of the present invention. The receiving terminal 2 is configured by a computer including a volatile storage medium such as a CPU and a RAM, a nonvolatile storage medium such as a ROM, an interface, and the like. User interface processing unit 10, wireless LAN interface 11, system clock 12, encoded data buffer 13, decoder 14, decoded data buffer 15, display 16, speaker 17, packet receiving unit 20, control information processing provided in the receiving terminal 2 The functions of the unit 21, the code data combining unit 22, the application clock generation unit 23, and the synchronous presentation control unit 24 can be realized by causing the CPU to execute a program describing these functions. Some of these functions may be controlled from a program executed by the CPU by incorporating dedicated hardware having such functions in the receiving terminal 2. These programs are stored in the storage medium and read out and executed by the CPU. These programs can also be stored and distributed in a storage medium such as a magnetic disk (floppy (registered trademark) disk, hard disk, etc.), optical disk (CD-ROM, DVD, etc.), semiconductor memory, etc. You can also send and receive.

１ 送信装置
２ 受信端末
３ 伝送路
１０ ユーザインタフェース処理部
１１ 無線ＬＡＮインタフェース
１２ システム時計
１３ 符号データバッファ
１４ 復号器
１５ 復号済データバッファ
１６ ディスプレイ
１７ スピーカ
２０ パケット受信部
２１ 制御情報処理部
２２ 符号データ結合部
２３ アプリ時計生成部
２４ 同期提示制御部
３０，４０ ＰＴＳオフセット決定部
３１ 同期メンバ端末リスト
３２，４２ 同期パケット入力処理部
３３ 共通オフセット決定部
３４，４１ 同期パケット出力処理部
３５，４３ タイミング制御部
３６ 更新部 DESCRIPTION OF SYMBOLS 1 Transmission apparatus 2 Reception terminal 3 Transmission path 10 User interface process part 11 Wireless LAN interface 12 System clock 13 Code | symbol data buffer 14 Decoder 15 Decoded data buffer 16 Display 17 Speaker 20 Packet receiving part 21 Control information processing part 22 Code | symbol data combination Unit 23 application clock generation unit 24 synchronization presentation control unit 30, 40 PTS offset determination unit 31 synchronization member terminal list 32, 42 synchronization packet input processing unit 33 common offset determination unit 34, 41 synchronization packet output processing unit 35, 43 timing control unit 36 Update Department

Claims (7)

ＭＭＴ（MPEG Media Transport）方式を用いて送信装置から複数の受信端末へ映像信号を送信するシステムの下で、前記複数の受信端末が１台のマスタの受信端末及び１台または複数台のスレーブの受信端末からなる場合に、前記複数の受信端末の間で同期させた前記映像信号を提示して再生する前記マスタの受信端末において、
前記送信装置から送信された前記映像信号のＭＰＵ（Media Processing Unit）、及び当該映像信号のＭＰＵの前記送信装置における送信時刻を基準に時刻を指定したＰＴＳ（Presentation Time Stamp）を受信する受信部と、
前記映像信号のＭＰＵが実際に復号されて先頭フレームが提示された提示時刻を特定し、前記提示時刻から前記ＰＴＳの時刻を減算し、減算結果の時間をＰＴＳオフセットに決定するＰＴＳオフセット決定部と、
前記ＰＴＳオフセット決定部により決定された当該マスタの受信端末の前記ＰＴＳオフセット、及び前記スレーブの受信端末により決定され前記スレーブの受信端末から取得したＰＴＳオフセットのうち、最大値を共通ＰＴＳオフセットに決定する共通オフセット決定部と、
前記共通オフセット決定部により決定された前記共通ＰＴＳオフセットを、前記スレーブの受信端末へ送信する送信部と、
前記ＰＴＳオフセット決定部により決定された当該マスタの受信端末の前記ＰＴＳオフセットと前記共通オフセット決定部により決定された前記共通ＰＴＳオフセットとが同じである場合、前記映像信号のＭＰＵの符号データをバッファリングすることなく復号するための復号タイミング制御信号を出力し、前記ＰＴＳオフセットと前記共通ＰＴＳオフセットとが異なる場合、前記共通ＰＴＳオフセットから前記ＰＴＳオフセットを減算した結果をバッファリング時間として前記映像信号のＭＰＵの符号データをバッファリングした後に復号するための復号タイミング制御信号を出力し、ＵＴＣ（Coordinated Universal Time）に基づく前記複数の受信端末で共通したアプリ時計に従って、前記映像信号のＭＰＵを提示するための提示タイミング制御信号を出力するタイミング制御部と、
を備えたことを特徴とする受信端末。 Under a system that transmits video signals from a transmission device to a plurality of receiving terminals using the MMT (MPEG Media Transport) method, the plurality of receiving terminals are one master receiving terminal and one or a plurality of slaves. In the case of a receiving terminal, in the master receiving terminal that presents and reproduces the video signal synchronized between the plurality of receiving terminals,
A receiving unit that receives an MPU (Media Processing Unit) of the video signal transmitted from the transmitting device, and a PTS (Presentation Time Stamp) designating a time based on a transmission time of the MPU of the video signal in the transmitting device; ,
A PTS offset determining unit that identifies a presentation time when the MPU of the video signal is actually decoded and a head frame is presented, subtracts the time of the PTS from the presentation time, and determines the time of the subtraction result as a PTS offset; ,
Of the PTS offset of the master receiving terminal determined by the PTS offset determining unit and the PTS offset determined by the slave receiving terminal and acquired from the slave receiving terminal, the maximum value is determined as the common PTS offset. A common offset determination unit;
A transmission unit for transmitting the common PTS offset determined by the common offset determination unit to the receiving terminal of the slave;
When the PTS offset of the master receiving terminal determined by the PTS offset determination unit and the common PTS offset determined by the common offset determination unit are the same, buffer code data of the MPU of the video signal When the decoding timing control signal for decoding is output and the PTS offset is different from the common PTS offset, the MPU of the video signal is obtained by subtracting the PTS offset from the common PTS offset as a buffering time. A decoding timing control signal for decoding after the encoded data is buffered and presenting the MPU of the video signal in accordance with an application clock common to the plurality of receiving terminals based on UTC (Coordinated Universal Time) Presentation timing control A timing controller for outputting a No.,
A receiving terminal comprising: 請求項１に記載の受信端末において、
さらに、外部から取得した前記ＵＴＣに基づいて、当該マスタの受信端末にて用いる前記アプリ時計の時刻を生成するアプリ時計生成部を備え、
前記タイミング制御部は、
前記アプリ時計生成部により生成された前記アプリ時計を用いて、前記提示タイミング制御信号を出力する、ことを特徴とする受信端末。 The receiving terminal according to claim 1,
Furthermore, based on the UTC acquired from the outside, an application clock generation unit that generates the time of the application clock used in the receiving terminal of the master,
The timing controller is
The receiving terminal, wherein the presentation timing control signal is output using the application clock generated by the application clock generation unit. 請求項２に記載の受信端末において、
さらに、同期パケットを生成し、前記同期パケットを前記送信部に出力する同期パケット出力処理部と、
前記スレーブの受信端末から同期パケットをそれぞれ受信する同期パケット受信部と、
前記同期パケット受信部により受信された前記同期パケットを入力し、前記同期パケットに含まれる前記スレーブの受信端末により決定されたＰＴＳオフセット、前記同期パケットが前記スレーブの受信端末から送信された時刻を示す開始タイムスタンプ、及び前記同期パケットが前記スレーブの受信端末から送信される周期を示すポーリング間隔を抽出する同期パケット入力処理部と、
前記ＰＴＳオフセット決定部により決定された当該マスタの受信端末の前記ＰＴＳオフセット、前記同期パケット入力処理部により抽出された前記スレーブの受信端末の前記ＰＴＳオフセット、前記同期パケット入力処理部により抽出された前記開始タイムスタンプまたは前記同期パケット受信部により前記同期パケットが受信された時刻を示す受信タイムスタンプ、及び前記同期パケット入力処理部により抽出された前記ポーリング間隔が格納された同期メンバ端末リストと、
前記アプリ時計生成部により生成された前記アプリ時計の現在時刻と前記同期メンバ端末リストに格納された前記開始タイムスタンプまたは前記受信タイムスタンプとの間の差分値を算出し、前記タイミング制御部に格納された前記ポーリング間隔に所定時間を加算して加算結果を求め、前記差分値が前記加算結果以上の場合に、前記同期メンバ端末リストから、前記開始タイムスタンプまたは前記受信タイムスタンプ及び前記ポーリング間隔、並びに、当該開始タイムスタンプまたは当該受信タイムスタンプ及び当該ポーリング間隔に対応する前記ＰＴＳオフセットを削除することで、前記同期メンバ端末リストを更新する更新部と、
を備え、
前記共通オフセット決定部は、
前記同期メンバ端末リストに格納された当該マスタの受信端末の前記ＰＴＳオフセット、及び前記スレーブの受信端末の前記ＰＴＳオフセットのうち、最大値を共通ＰＴＳオフセットに決定し、
前記同期パケット出力処理部は、
前記共通オフセット決定部により決定された前記共通ＰＴＳオフセットを、前記同期パケット入力処理部により入力された前記同期パケットに設定し、前記同期パケットを、前記送信部に出力し、
前記送信部は、
前記同期パケット出力部により出力された前記同期パケットを、前記スレーブの受信端末へ送信する、ことを特徴とする受信端末。 The receiving terminal according to claim 2,
Further, a synchronization packet output processing unit that generates a synchronization packet and outputs the synchronization packet to the transmission unit;
A synchronization packet receiver for receiving a synchronization packet from each of the slave receiving terminals;
The synchronization packet received by the synchronization packet receiving unit is input, the PTS offset determined by the slave receiving terminal included in the synchronization packet, and the time when the synchronization packet is transmitted from the slave receiving terminal A synchronization packet input processing unit that extracts a start time stamp and a polling interval indicating a cycle in which the synchronization packet is transmitted from the slave receiving terminal;
The PTS offset of the master receiving terminal determined by the PTS offset determining unit, the PTS offset of the slave receiving terminal extracted by the synchronization packet input processing unit, and the extracted by the synchronization packet input processing unit A synchronization member terminal list in which a start time stamp or a reception time stamp indicating the time when the synchronization packet is received by the synchronization packet reception unit, and the polling interval extracted by the synchronization packet input processing unit are stored;
A difference value between the current time of the application clock generated by the application clock generation unit and the start time stamp or the reception time stamp stored in the synchronous member terminal list is calculated and stored in the timing control unit A predetermined time is added to the polling interval obtained to obtain an addition result, and when the difference value is equal to or greater than the addition result, from the synchronous member terminal list, the start timestamp or the reception timestamp and the polling interval, And an update unit that updates the synchronous member terminal list by deleting the PTS offset corresponding to the start time stamp or the reception time stamp and the polling interval;
With
The common offset determining unit
Of the PTS offset of the master receiving terminal stored in the synchronous member terminal list and the PTS offset of the slave receiving terminal, the maximum value is determined as a common PTS offset,
The synchronous packet output processing unit
The common PTS offset determined by the common offset determination unit is set in the synchronization packet input by the synchronization packet input processing unit, and the synchronization packet is output to the transmission unit,
The transmitter is
The receiving terminal, wherein the synchronizing packet output by the synchronizing packet output unit is transmitted to the receiving terminal of the slave. ＭＭＴ（MPEG Media Transport）方式を用いて送信装置から複数の受信端末へ映像信号を送信するシステムの下で、前記複数の受信端末が１台のマスタの受信端末及び１台または複数台のスレーブの受信端末からなる場合に、前記複数の受信端末の間で同期させた前記映像信号を提示して再生する前記スレーブの受信端末において、
前記送信装置から送信された前記映像信号のＭＰＵ（Media Processing Unit）、及び当該映像信号のＭＰＵの前記送信装置における送信時刻を基準に時刻を指定したＰＴＳ（Presentation Time Stamp）を受信する第１の受信部と、
前記映像信号のＭＰＵが実際に復号されて先頭フレームが提示された提示時刻を特定し、前記提示時刻から前記ＰＴＳの時刻を減算し、減算結果の時間をＰＴＳオフセットに決定するＰＴＳオフセット決定部と、
前記ＰＴＳオフセット決定部により決定された当該スレーブの受信端末の前記ＰＴＳオフセットを、前記マスタの受信端末へ送信する送信部と、
前記マスタの受信端末のＰＴＳオフセット及び前記スレーブの受信端末のＰＴＳオフセットのうちの最大値を共通ＰＴＳオフセットとして、前記マスタの受信端末から受信する第２の受信部と、
前記ＰＴＳオフセット決定部により決定された当該スレーブの受信端末の前記ＰＴＳオフセットと前記第２の受信部により受信された前記共通ＰＴＳオフセットとが同じである場合、前記映像信号のＭＰＵの符号データをバッファリングすることなく復号するための復号タイミング制御信号を出力し、前記ＰＴＳオフセットと前記共通ＰＴＳオフセットとが異なる場合、前記共通ＰＴＳオフセットから前記ＰＴＳオフセットを減算した結果をバッファリング時間として前記映像信号のＭＰＵの符号データをバッファリングした後に復号するための復号タイミング制御信号を出力し、ＵＴＣ（Coordinated Universal Time）に基づく前記複数の受信端末で共通したアプリ時計に従って、前記映像信号のＭＰＵを提示するための提示タイミング制御信号を出力するタイミング制御部と、
を備えたことを特徴とする受信端末。 Under a system that transmits video signals from a transmission device to a plurality of receiving terminals using the MMT (MPEG Media Transport) method, the plurality of receiving terminals are one master receiving terminal and one or a plurality of slaves. In the case of a receiving terminal, in the slave receiving terminal that presents and reproduces the video signal synchronized between the plurality of receiving terminals,
A first receiving unit receives a MPU (Media Processing Unit) of the video signal transmitted from the transmission device and a PTS (Presentation Time Stamp) designating a time based on a transmission time of the MPU of the video signal in the transmission device. A receiver,
A PTS offset determining unit that identifies a presentation time when the MPU of the video signal is actually decoded and a head frame is presented, subtracts the time of the PTS from the presentation time, and determines the time of the subtraction result as a PTS offset; ,
A transmitting unit that transmits the PTS offset of the slave receiving terminal determined by the PTS offset determining unit to the master receiving terminal;
A second receiving unit that receives a maximum value among the PTS offset of the master receiving terminal and the PTS offset of the slave receiving terminal as a common PTS offset;
When the PTS offset of the slave receiving terminal determined by the PTS offset determining unit and the common PTS offset received by the second receiving unit are the same, buffer the code data of the MPU of the video signal When a decoding timing control signal for decoding without ringing is output and the PTS offset is different from the common PTS offset, the result of subtracting the PTS offset from the common PTS offset is used as a buffering time to In order to output a decoding timing control signal for decoding after buffering MPU code data, and presenting the MPU of the video signal according to an application clock common to the plurality of receiving terminals based on UTC (Coordinated Universal Time) Presenting timing control signal And a timing control unit for power,
A receiving terminal comprising: 請求項４に記載の受信端末において、
さらに、当該スレーブの受信端末の前記送信部が前記ＰＴＳオフセットを前記マスタの受信端末へ送信したときの、当該スレーブの受信端末が保持する自らの時刻情報が格納されたシステム時計の時刻（開始タイムスタンプ）、前記マスタの受信端末により前記ＰＴＳオフセットが受信されたときの前記アプリ時計の時刻（受信タイムスタンプ）、前記マスタの受信端末により前記共通ＰＴＳオフセットが当該スレーブの受信端末へ送信されたときの前記アプリ時計の時刻（送信タイムスタンプ）、及び当該スレーブの受信端末における前記第２の受信部が前記共通ＰＴＳオフセットを受信したときの前記システム時計の時刻に基づいて、当該スレーブの受信端末にて用いる前記アプリ時計の時刻を生成するアプリ時計生成部を備え、
前記タイミング制御部は、
前記アプリ時計生成部により生成された前記アプリ時計を用いて、前記提示タイミング制御信号を出力する、ことを特徴とする受信端末。 The receiving terminal according to claim 4,
Further, when the transmitting unit of the slave receiving terminal transmits the PTS offset to the master receiving terminal, the time (start time) of the system clock storing its own time information held by the slave receiving terminal is stored. Stamp), the time of the application clock when the PTS offset is received by the master receiving terminal (reception time stamp), and when the common PTS offset is transmitted to the slave receiving terminal by the master receiving terminal To the receiving terminal of the slave based on the time of the application clock (transmission time stamp) and the time of the system clock when the second receiving unit in the receiving terminal of the slave receives the common PTS offset. An application clock generator for generating the time of the application clock used
The timing controller is
The receiving terminal, wherein the presentation timing control signal is output using the application clock generated by the application clock generation unit. 請求項４または５に記載の受信端末において、
さらに、同期パケット出力処理部及び同期パケット入力処理部を備え、
前記同期パケット出力処理部は、
前記ＰＴＳオフセット決定部により決定された当該スレーブの受信端末の前記ＰＴＳオフセットを含む同期パケットを生成し、前記同期パケットを前記送信部に出力し、
前記送信部は、
前記同期パケット出力処理部により出力された前記同期パケットを、前記マスタの受信端末へ送信し、
前記第２の受信部は、
前記共通ＰＴＳオフセットを含む同期パケットを、前記マスタの受信端末から受信し、
前記同期パケット入力処理部は、
前記第２の受信部により受信された前記同期パケットを入力し、前記同期パケットに含まれる前記共通ＰＴＳオフセットを抽出し、
前記タイミング制御部は、
前記ＰＴＳオフセット決定部により決定された当該スレーブの受信端末の前記ＰＴＳオフセットと前記同期パケット入力処理部により抽出された前記共通ＰＴＳオフセットとが同じである場合、前記映像信号のＭＰＵの符号データをバッファリングすることなく復号するための復号タイミング制御信号を出力し、前記ＰＴＳオフセットと前記共通ＰＴＳオフセットとが異なる場合、前記共通ＰＴＳオフセットから前記ＰＴＳオフセットを減算した結果をバッファリング時間として前記映像信号のＭＰＵの符号データをバッファリングした後に復号するための復号タイミング制御信号を出力し、ＵＴＣ（Coordinated Universal Time）に基づく前記複数の受信端末で共通したアプリ時計に従って、前記映像信号のＭＰＵを提示するための提示タイミング制御信号を出力する、ことを特徴とする受信端末。 In the receiving terminal according to claim 4 or 5,
Furthermore, a synchronization packet output processing unit and a synchronization packet input processing unit are provided,
The synchronous packet output processing unit
Generating a synchronization packet including the PTS offset of the slave receiving terminal determined by the PTS offset determination unit, and outputting the synchronization packet to the transmission unit;
The transmitter is
The synchronization packet output by the synchronization packet output processing unit is transmitted to the master receiving terminal,
The second receiver is
Receiving a synchronization packet including the common PTS offset from the receiving terminal of the master;
The synchronous packet input processing unit
Input the synchronization packet received by the second receiver, and extract the common PTS offset included in the synchronization packet;
The timing controller is
When the PTS offset of the slave receiving terminal determined by the PTS offset determination unit and the common PTS offset extracted by the synchronization packet input processing unit are the same, the code data of the MPU of the video signal is buffered When a decoding timing control signal for decoding without ringing is output and the PTS offset is different from the common PTS offset, the result of subtracting the PTS offset from the common PTS offset is used as a buffering time to In order to output a decoding timing control signal for decoding after buffering MPU code data, and presenting the MPU of the video signal according to an application clock common to the plurality of receiving terminals based on UTC (Coordinated Universal Time) Presentation timing Receiving terminal for outputting a control signal, characterized in that. コンピュータを、請求項１から６までのいずれか一項に記載の受信端末として機能させるためのプログラム。   The program for functioning a computer as a receiving terminal as described in any one of Claim 1-6.
JP2016214558A 2016-11-01 2016-11-01 Receiving terminal and program Active JP6789761B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016214558A JP6789761B2 (en) 2016-11-01 2016-11-01 Receiving terminal and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016214558A JP6789761B2 (en) 2016-11-01 2016-11-01 Receiving terminal and program

Publications (2)

Publication Number Publication Date
JP2018074480A true JP2018074480A (en) 2018-05-10
JP6789761B2 JP6789761B2 (en) 2020-11-25

Family

ID=62114498

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016214558A Active JP6789761B2 (en) 2016-11-01 2016-11-01 Receiving terminal and program

Country Status (1)

Country Link
JP (1) JP6789761B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020053892A (en) * 2018-09-27 2020-04-02 株式会社ヒット Communication device, control method thereof, program, and system
JP2020202446A (en) * 2019-06-07 2020-12-17 日本放送協会 MMT receiver and program
JP2021064899A (en) * 2019-10-16 2021-04-22 日本電気株式会社 Reception device, reception method, and program for reception
JP7315758B1 (en) 2022-06-10 2023-07-26 Ｎｔｔエレクトロニクス株式会社 Media transmission system, transmitting device, transmitting system, receiving device and receiving system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008067179A (en) * 2006-09-08 2008-03-21 Sharp Corp Receiver and coded data reproduction method
JP2012049836A (en) * 2010-08-27 2012-03-08 Hitachi Consumer Electronics Co Ltd Video/audio output apparatus, video/audio output system and master apparatus
JP2015149705A (en) * 2013-10-21 2015-08-20 ソニー株式会社 Information processing device and method, and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008067179A (en) * 2006-09-08 2008-03-21 Sharp Corp Receiver and coded data reproduction method
JP2012049836A (en) * 2010-08-27 2012-03-08 Hitachi Consumer Electronics Co Ltd Video/audio output apparatus, video/audio output system and master apparatus
JP2015149705A (en) * 2013-10-21 2015-08-20 ソニー株式会社 Information processing device and method, and program

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020053892A (en) * 2018-09-27 2020-04-02 株式会社ヒット Communication device, control method thereof, program, and system
JP2020202446A (en) * 2019-06-07 2020-12-17 日本放送協会 MMT receiver and program
JP7303670B2 (en) 2019-06-07 2023-07-05 日本放送協会 MMT receiver and program
JP2021064899A (en) * 2019-10-16 2021-04-22 日本電気株式会社 Reception device, reception method, and program for reception
JP7371437B2 (en) 2019-10-16 2023-10-31 日本電気株式会社 Receiving device, receiving method, and receiving program
JP7315758B1 (en) 2022-06-10 2023-07-26 Ｎｔｔエレクトロニクス株式会社 Media transmission system, transmitting device, transmitting system, receiving device and receiving system
WO2023238907A1 (en) * 2022-06-10 2023-12-14 Ｎｔｔイノベーティブデバイス株式会社 Media transmission system, sending device, sending system, reception device, and reception system
JP2023180769A (en) * 2022-06-10 2023-12-21 Ｎｔｔイノベーティブデバイス株式会社 Media transmission system, transmitting device, transmitting system, receiving device, and receiving system

Also Published As

Publication number Publication date
JP6789761B2 (en) 2020-11-25

Similar Documents

Publication Publication Date Title
JP7260687B2 (en) Transmission method and transmission device
US9479584B2 (en) Synchronous media rendering of demuxed media components across multiple devices
JP6610555B2 (en) Reception device, transmission device, and data processing method
JP5903924B2 (en) Receiving apparatus and subtitle processing method
KR101967818B1 (en) Receiver and the receiving method thereof
US10305617B2 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
KR20160139020A (en) Broadcast and broadband hybrid service with mmt and dash
JP2018074480A (en) Reception terminal and program
US10334293B2 (en) Multiplexing apparatus, receiving apparatus, multiplexing method, and delay adjustment method
WO2015173986A1 (en) Reception device, transmission device, and data processing method
KR101888464B1 (en) Multi-vision system with multiple synchronization
JP2014230154A (en) Transmission apparatus, transmission method, reception apparatus, and reception method
JP5841715B2 (en) VIDEO / AUDIO OUTPUT DEVICE, VIDEO / AUDIO OUTPUT SYSTEM, AND MASTER DEVICE
JP2014116662A (en) Decoding apparatus and program
US10231007B2 (en) Transmission device, transmitting method, reception device, and receiving method
CN114286149B (en) Audio and video synchronous rendering method and system of cross-equipment and system
JP2024096838A (en) Broadcast service communication network distribution device and method
JP2018182617A (en) Information processing apparatus, information processing method, program, and recording medium manufacturing method
JPWO2016163325A1 (en) Transmitting apparatus, transmitting method, receiving apparatus, and receiving method
JP2016032236A (en) Transmitter, transmission method, receiver and reception method
JP7303670B2 (en) MMT receiver and program
JP2017028463A (en) Transmitter, transmission method, receiver, receive method, and program
JP2015046708A (en) Communication system, communication method, transmission-side synchronous signal distribution device, transmission-side synchronous control device, reception-side synchronous signal distribution device, reception-side synchronous control device and program
JP2010183237A (en) System and method of content synchronous reproduction, reproduction terminal, method of controlling the same, and control program
JP6684433B2 (en) Transmission device, transmission method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190930

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200728

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201009

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201104

R150 Certificate of patent or registration of utility model

Ref document number: 6789761

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250