JP2018057013A - 復号装置、受信機器、送信機器、送受信システム、復号方法、および復号用プログラムが記憶された記憶媒体 - Google Patents

復号装置、受信機器、送信機器、送受信システム、復号方法、および復号用プログラムが記憶された記憶媒体 Download PDF

Info

Publication number
JP2018057013A
JP2018057013A JP2017217394A JP2017217394A JP2018057013A JP 2018057013 A JP2018057013 A JP 2018057013A JP 2017217394 A JP2017217394 A JP 2017217394A JP 2017217394 A JP2017217394 A JP 2017217394A JP 2018057013 A JP2018057013 A JP 2018057013A
Authority
JP
Japan
Prior art keywords
packet
time
decoding
information
mpu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017217394A
Other languages
English (en)
Other versions
JP2018057013A5 (ja
JP6434600B2 (ja
Inventor
謙介 霜觸
Kensuke Shimofure
謙介 霜觸
靖久 中田
Yasuhisa Nakada
靖久 中田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JP2018057013A publication Critical patent/JP2018057013A/ja
Publication of JP2018057013A5 publication Critical patent/JP2018057013A5/ja
Application granted granted Critical
Publication of JP6434600B2 publication Critical patent/JP6434600B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4382Demodulation or channel decoding, e.g. QPSK demodulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341Demultiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343Extraction or processing of packetized elementary streams [PES]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348Demultiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6106Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6112Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving terrestrial transmission, e.g. DVB-T
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • H04N21/64322IP

Abstract

【課題】順次送信された情報を適切なタイミングで復号して再生する復号装置、受信機器、送信機器、送受信システム、復号方法および復号用プログラムが記憶された記憶媒体を提供する。【解決手段】復号装置であって、復号部21が、送信機器10から送信されたパケットを復号する。復号時期決定部22が、パケットに含まれる、世界時に協定世界時を近づけるための時刻の調整に応じた調整情報に基づいて、復号部21がパケットを復号するタイミングを決定する。パケットは、自パケットを含む集合であるアクセスユニットの処理間隔を示す処理間隔情報を含んでおり、復号時期決定部22が、調整情報によって時刻の調整が行われることが示されている場合に、処理間隔情報が示す間隔に応じた間隔で、各アクセスユニットを構成するパケットを順次復号すると決定する。【選択図】図12

Description

本発明は、符号化されたパケットを復号する復号装置、受信機器、送信機器、送受信システム、復号方法、および復号用プログラムが記憶された記憶媒体に関する。
世界各国で、テレビジョン放送で送受信される信号をアナログ信号からデジタル信号に変更するデジタル化が進められている。日本では、ISDB−T(Integrated Services Digital Broadcasting−Terrestrial)方式に基づく地上デジタル放送が行われている。
ISDB−T方式に基づく地上デジタル放送では、電波によって、多数の受信機器に映像情報と音声情報とを含むテレビジョン番組情報、およびデータ放送情報(以下、テレビジョン番組情報等という)が送信される。また、衛星放送や、ケーブルテレビジョン放送においても、同様な情報が送信される。受信機器は、送信されたテレビジョン番組情報等に基づいて、映像や音声を再生する。
また、受信機器に出力させる映像や音声の質を向上させたり、種類を増加させたりする等の理由から、より多くの情報を受信機器に送信することが検討され、MMT(MPEG(Moving Picture Experts Group) Media Transport)と呼ばれる新たなメディアトランスポート方式の標準化が進められている(例えば、非特許文献1参照)。
特許文献1には、MMTにおいて、符号化されたデータを適切に復号する方法が記載されている。
国際公開第2014/196189号
"デジタル放送におけるMMTによるメディアトランスポート方式 1.1版"、[online]、平成26年12月、一般社団法人電波産業会、[平成27年2月26日検索]、インターネット<URL:http://arib.or.jp/english/html/overview/doc/2-STD-B60v1_1.pdf>
しかし、電波によってテレビジョン番組情報等が送信されても、気象条件の変化等によって、受信機器が当該テレビジョン番組情報等を適切に受信できない場合がある。
そこで、MMTでは、通信回線および電波という複数の伝送路を介して、テレビジョン番組情報等が送受信され、電波によって送信されたテレビジョン番組情報等を適切に受信できなかった場合に、通信回線を介して送信されたテレビジョン番組情報等に基づいて、映像や音声を再生する。そのように再生するためには、受信機器が、通信回線を介して送信されたテレビジョン番組情報等と、電波によって送信されたテレビジョン番組情報等とを適切なタイミングで復号して再生する必要がある。
ここで、放送事業者は、NTP(Network Time Protocol)のタイムスタンプに基づいて、受信機器が適切なタイミングで再生可能なように、時刻情報を生成してテレビジョン番組情報等に対応付けて送信する。ここで、NTPのタイムスタンプとは、NTPに基づく時刻を示す情報をいう。受信機器は、別途取得したNTPのタイムスタンプとテレビジョン番組情報等に対応付けられた時刻情報とに基づいて、テレビジョン番組情報等に基づく映像や音声を適切なタイミングで再生する。
NTPのタイムスタンプは、協定世界時に基づいている。協定世界時は、数年に1度、世界時に近づけるために調整される。当該調整は、閏秒の挿入または閏秒の削除によって行われる。具体的には、閏秒が挿入される場合には、例えば、8時59分59秒(以下、「8:59:59」等という)を示すタイムスタンプが2回連続して生成される。また、閏秒が削除される場合には、8:59:58の次の秒を示すタイムスタンプが9:00:00を示すように生成される。
そうすると、特許文献1に記載されている方法では、当該調整が行われる場合に、受信機器は、送信されたテレビジョン番組情報等に基づく映像や音声を再生するタイミングを適切に判断することができない。非特許文献1には、当該調整が行われる場合の対応について、何ら開示されていない。
また、当該調整が行われない場合であっても、通信回線を介して送信されたテレビジョン番組情報等と、電波によって送信されたテレビジョン番組情報等とを受信した受信機器が、それら情報を適切なタイミングで復号して映像や音声を再生することができない。
さらに、当該調整が行われない場合であっても、通信回線を介してテレビジョン番組情報等が送信された場合に、送信順とは異なった順序で受信機器がテレビジョン番組情報等を受信したときに、当該受信機器が、それら情報を適切なタイミングで復号して再生することができない。
そこで、本発明は、順次送信された情報を適切なタイミングで復号する復号装置、受信機器、送信機器、送受信システム、復号方法、および復号用プログラムが記憶された記憶媒体を提供することを目的とする。
本発明による復号装置は、送信機器から送信されたパケットを復号する復号手段と、パケットに含まれる、世界時に協定世界時を近づけるための時刻の調整に応じた調整情報に基づいて、復号手段がパケットを復号するタイミングを決定する復号時期決定手段とを備え、パケットは、自パケットを含む集合であるアクセスユニットの処理間隔を示す処理間隔情報を含み、復号時期決定手段は、調整情報によって時刻の調整が行われることが示されている場合に、処理間隔情報が示す間隔に応じた間隔で、各アクセスユニットを構成するパケットを順次復号すると決定することを特徴とする。
本発明による受信機器は、いずれかの態様の復号装置と、パケットを受信する受信装置とを備えたことを特徴とする。
本発明による送信機器は、受信側に、コンテンツに応じたパケットを所定のタイミングで復号させるために、世界時に協定世界時を近づけるための時刻の調整に応じた調整情報と、自パケットを含む集合であるアクセスユニットの処理間隔を示す処理間隔情報とを含むパケットを送信する送信手段を備えたことを特徴とする。
本発明による送受信システムは、受信機器と、いずれかの態様の送信機器とを備えたことを特徴とする。
本発明による復号方法は、送信機器から送信されたパケットを復号する復号ステップと、パケットに含まれる、世界時に協定世界時を近づけるための時刻の調整に応じた調整情報に基づいて、復号ステップでパケットを復号するタイミングを決定する復号時期決定ステップとを含み、パケットは、自パケットを含む集合であるアクセスユニットの処理間隔を示す処理間隔情報を含み、復号時期決定ステップで、調整情報によって時刻の調整が行われることが示されている場合に、処理間隔情報が示す間隔に応じた間隔で、各アクセスユニットを構成するパケットを順次復号すると決定することを特徴とする。
本発明による復号用プログラムが記憶された記憶媒体は、コンピュータに、送信機器から送信されたパケットを復号する復号処理と、パケットに含まれる、世界時に協定世界時を近づけるための時刻の調整に応じた調整情報に基づいて、復号処理でパケットを復号するタイミングを決定する復号時期決定処理とを実行させ、パケットは、自パケットを含む集合であるアクセスユニットの処理間隔を示す処理間隔情報を含み、復号時期決定処理で、調整情報によって時刻の調整が行われることが示されている場合に、処理間隔情報が示す間隔に応じた間隔で、各アクセスユニットを構成するパケットを順次復号すると決定させることを特徴とする復号用プログラムが記憶されている。
本発明によれば、順次送信された情報を適切なタイミングで復号することができる。
本発明の第1の実施形態の送受信システムの構成例を示すブロック図である。 電波によって送受信されるマルチメディア情報のプロトコル構成を示すプロトコルスタック図である。 通信回線を介して送受信されるマルチメディア情報のプロトコル構成を示すプロトコルスタック図である。 受信機器における受信バッファの構成例を示すブロック図である。 MPU内におけるアクセスユニットとその提示時刻、および復号時刻の概要を示す説明図である。 閏秒が挿入される場合に送受信されるMPUの例を示す説明図である。 受信機器が、閏秒が挿入される場合に送受信されるMPUを処理する例を示す説明図である。 受信機器が、閏秒が挿入される場合に送受信されるMPUを処理する例を示すフローチャートである。 閏秒が削除される場合に送受信されるMPUの例を示す説明図である。 受信機器が、閏秒が削除される場合に送受信されるMPUを処理する例を示す説明図である。 受信機器が、閏秒が削除される場合に送受信されるMPUを処理する例を示すフローチャートである。 本発明の第2の実施形態の復号装置の構成例を示すブロック図である。
実施形態1.
本発明の第1の実施形態の送受信システムについて、図面を参照して説明する。図1は、本発明の第1の実施形態の送受信システムの構成例を示すブロック図である。図1に示すように、本発明の第1の実施形態の送受信システムは、情報を送信する送信機器100と、情報を受信する受信機器200とを含む。なお、送信機器100および受信機器200は、例えば、プログラム制御に従って処理を実行する、CPU(Central Processing Unit)等の単数または複数の回路が搭載されたコンピュータによって実現されてもよい。具体的には、例えば、送信機器100および受信機器200に、以下に述べる各動作を実現させるためのソフトウェアが搭載される。そして、送信機器100および受信機器200は、当該ソフトウェアのプログラム制御に従って処理を実行することにより、以下に述べる各動作を実現するように構成されていてもよい。
なお、以下、挿入または削除される時間である閏秒が1秒であるとして説明するが、当該時間は1秒よりも短くてもよいし、長くてもよい。
送信機器100は、例えば、放送事業者等によって設置され、テレビジョン番組情報等を送信する。受信機器200は、例えば、テレビジョン番組情報等に基づく映像や音声を視聴する視聴者によって設置され、送信機器100が送信したテレビジョン番組情報等を受信する。そして、受信機器200は、受信したテレビジョン番組情報等に基づく映像や音声を提示(再生や出力ともいう)する。なお、受信機器200に提示される映像や音声には、いわゆるアプリを含むアプリケーションソフトウェアの情報や、字幕、データ等の様々な情報が含まれる。また、送信機器100が送信した情報を受信する装置と、当該装置が受信した当該情報を復号する装置とが別個に用意されていてもよい。さらに、当該情報を復号する装置と別個に、復号された当該情報に基づく映像や音声等を提示する装置が用意されていてもよい。つまり、以下に述べる各動作を実現する手段は、それぞれ別個の装置であってもよい。
図1に示すように、送信機器100は、マルチメディア情報600aを、アンテナ300を介して電波によって送信する。また、送信機器100は、マルチメディア情報600bを、通信回線(インターネット等の通信ネットワークであってもよい)400を介して送信する。そして、受信機器200は、マルチメディア情報600aを、アンテナ500を介して受信する。また、受信機器200は、マルチメディア情報600bを、通信回線400を介して受信する。マルチメディア情報600a,600bは、いずれもテレビジョン番組情報等を含む情報であるが、詳細については後述する。
なお、受信機器200は、例えば、マルチメディア情報600a,600bを受信する受信ユニット210と、後述する復号処理を実行する復号ユニット220とを含む。
送信機器100と受信機器200との間で送受信されるマルチメディア情報600a,600bについて説明する。
図2は、電波によって送受信されるマルチメディア情報600aのプロトコル構成を示すプロトコルスタック図である。図2に示すように、マルチメディア情報600aは、TLV(Type Length Value)パケット形式のIP(Internet Protocol)パケットと、制御信号であるTMCC(Transmission and Multiplexing Configuration and Control)とを含む。
そして、TLV形式のIPパケット(以下、TLVパケットともいう)は、NTPに基づく時刻情報や、MMTに基づくテレビジョン番組情報等を含む。
図3は、通信回線400を介して送受信されるマルチメディア情報600bのプロトコル構成を示すプロトコルスタック図である。図3に示すように、マルチメディア情報600bは、テレビジョン番組情報等に応じたIPパケットとNTPに基づく時刻情報とを含む。そして、当該IPパケットは、MMTに基づくテレビジョン番組情報等を含む。
マルチメディア情報600a,600bに含まれるテレビジョン番組情報等の映像情報および音声情報について説明する。ここで、映像情報は、映像信号に基づく情報である。また、音声情報は、音声信号に基づく情報である。そして、送信機器100が、映像信号および音声信号を符号化してMFU(Media Fragment Unit)に格納する。そして、複数のMFUによる、例えば、1GOP(Group Of Picture)分のデータによってMPU(Media Processing Unit)が構成されるのであるが、送信機器100は、MFUをMMTP(MMT Protcol)ペイロードに格納して、MMTPパケットでIPパケットとして伝送する。映像信号および音声信号は、符号化されたりパケット化されたりして様々な形式に変換されるが、本例では、様々な形式に変化するそれら映像信号に基づく情報および音声信号に基づく情報を、映像情報および音声情報とそれぞれ総称する。そして、映像情報および音声情報を含み、視聴者に提示するための情報をコンテンツ情報ともいう。
MMTPパケットは、MMTPヘッダーと呼ばれるヘッダー部とMMTPペイロードと呼ばれるペイロード部とを含む。コンテンツ情報は、MMTPペイロードに含まれる。送信機器100は、NTPカウンタに基づいて時刻を示す情報であるタイムスタンプ情報を含むMMTPヘッダーを生成する。
また、MMTPペイロードには、自情報が含まれるMMTPパケットが含むコンテンツ情報に基づく映像や音声を受信機器200に出力させる時刻(以下、提示時刻という)を示すMPU_presentation_time情報が格納される。受信機器200は、MPU_presentation_time情報が示す提示時刻にコンテンツ情報に基づく映像や音声を出力するように処理を実行する。なお、提示時刻は、NTPタイムスタンプ形式で表される。
MMTPペイロードには、mpu_sequence_number情報が格納される。mpu_sequence_number情報は、同一のアセット毎に、各MPUを他のMPUから識別するように付されたシーケンス番号であるmpu_sequence_numberを示す情報である。
さらに、MMTPペイロードには、パケットID情報が格納される。パケットID情報は、例えば、一のアセットを構成するMMTPパケットを他のアセットを構成するMMTPパケットから識別するためのパケットIDを示す情報である。
なお、時刻情報には、協定世界時を世界時に近づけるための調整に応じたフラグが用意されている。具体的には、例えば、閏秒が挿入される場合には、当該閏秒が挿入されるタイミングの所定時間前から当該タイミングまでに送信される時刻情報に、閏秒が挿入されることに応じた閏秒挿入フラグがセットされる。
また、例えば、閏秒が削除される場合には、当該閏秒が削除されるタイミングの所定時間前から当該タイミングまでに送信される時刻情報に、閏秒が削除されることに応じた閏秒削除フラグがセットされる。なお、所定時間前とは、例えば、当該タイミングの1か月前である。また、閏秒挿入フラグおよび閏秒削除フラグは、調整情報に相当する。そして、フラグがセットされるタイミングやリセットされるタイミング、およびセットされるフラグの種類はこれらに限られず、他のタイミングや他の種類に応じたフラグが用いられてもよい。
次に、受信機器200の構成について説明する。図4は、受信機器200における受信バッファの構成例を示すブロック図である。
図4に示す例では、受信機器200の受信バッファは、TLVパケットバッファ201、IPパケットバッファ202、MMTPトランスポートバッファ203、MMTPバッファ204、復号前バッファ205、復号器206、および復号ピクチャバッファ207を含む。
TLVパケットバッファ201には、電波によって送信されたマルチメディア情報600aから抽出されたTLVパケットが入力されて一時的に記憶される。
IPパケットバッファ202には、TLVパケットバッファ201に一時的に記憶されたTLVパケットに基づくIPパケットが入力されて一時的に記憶される。また、IPパケットバッファ202には、送信機器100から送信されたマルチメディア情報600bのIPパケットが通信回線400を介して入力されて一時的に記憶される。
MMTPトランスポートバッファ203では、IPパケットバッファ202に一時的に記憶されたMMTP化されているIPパケットが、MMTPヘッダーに含まれているパケットID情報に基づいて、映像や音声などアセット毎に分類される。そして、分類されたIPパケットは、分類結果に応じたMMTPバッファ204に入力される。
図4に示す例では、MMTPバッファ204は、MMTP B1、MMTP Bn、およびMMTP Bsを含む。そして、映像についてのアセットのIPパケットは、MMTP B1に入力される。また、音声についてのアセットのIPパケットは、MMTP Bnに入力される。そして、制御メッセージについてのアセットのIPパケットは、MMTP Bsに入力されて一時的に記憶される。
MMTP B1に入力された、映像についてのアセットのIPパケットは、NAL(Network Abstraction Layer)ユニットのデータに復元されてMMTP B1に一時的に記憶される。
MMTP Bnに入力された、音声についてのアセットのIPパケットは、LATM(Low−overhead MPEG−4 Audio Transport Multiplex)/LOAS(Low Overhead Audio Stream)形式のデータに復元されてMMTP Bnに一時的に記憶される。なお、ここでは、音声についてのアセットのIPパケットが、一例としてLATM/LOAS形式のデータに復元されるとして説明するが、他の形式のデータに復元されるように構成されていてもよい。
そして、MMTPバッファ204に一時的に記憶された各データおよび制御メッセージは、復号前バッファ205に入力される。
図4に示すように、復号前バッファ205は、エレメンタリストリーム1用のエレメンタリストリームバッファEB1、エレメンタリストリームn用のメインバッファBn、およびシステム情報のためのメインバッファBsを含む。
エレメンタリストリームバッファEB1には、MMTP B1に一時的に記憶されているNALユニットのデータが入力される。なお、エレメンタリストリームバッファEB1は、例えば、CPB(Coded Picture Buffer)である。
メインバッファBnには、MMTP Bnに一時的に記憶されているLATM/LOAS形式のデータが入力されて一時的に記憶される。なお、メインバッファBnには、Raw Data Stream形式のデータが入力されて一時的に記憶されてもよい。
メインバッファBsには、MMTP Bsに一時的に記憶されている制御メッセージが入力されて一時的に記憶される。なお、ここでは、一例としてのLATM/LOAS形式のデータが、一例としてRaw Data Stream形式のデータに復元されるとして説明するが、他の形式のデータが、さらに他の形式のデータに復元されるように構成されていてもよい。
復号前バッファ205に入力された各データおよび制御メッセージは、DTS(Decode Time Stamp)に応じたタイミングで、復号器206に出力されて復号されて一時的に記憶される。DTSについては後述する。
図4に示すように、復号器206は、映像デコーダD1、音声デコーダDn、およびシステムデコーダDsを含む。
エレメンタリストリームバッファEB1から復号器206に出力されたデータは、映像デコーダD1によって映像データに復号される。そして、復号された映像データは、必要に応じて、復号ピクチャバッファ207に入力されて一時的に記憶される。
また、メインバッファBnから復号器206に出力されたデータは、音声デコーダDnによって音声データに復号される。
さらに、メインバッファBsから復号器206に出力された制御メッセージは、システムデコーダDsによって制御情報に復号される。そして、当該制御情報は、受信機器200における各部の制御に用いられる。
DTS(復号時刻ともいう)について説明する。映像信号や音声信号の提示時刻と復号時刻とは、MPUタイムスタンプ記述子とMPU拡張タイムスタンプ記述子とが用いられて提供される。
図5は、MPU内におけるアクセスユニットとその提示時刻、および復号時刻の概要を示す説明図である。図5には、MPUを構成するビット列が、同じ提示時刻の単位であるアクセスユニットごとに模式的に示されている。そして、図5に示す例では、各アクセスユニットを構成するビット列によって、BフレームやIフレームまたはBフレーム(以下、I/Bフレームと記す)が構成されている。図5において、IRAP(Intra Random Access Point)とは、符号化が開始されたタイミングにおけるビット列である。また、図5に示す例では、7フレームおきにI/Bフレームが配置され、その間のフレームはBフレームである。
図5に示す例では、各アクセスユニットには予め提示順に番号が付されている。図5では、「B」、「I/B」、および「IRAP」に付された番号によって各アクセスユニットの提示順が示されている。そして、図5の上段に示す例では、提示順とは異なった順序で各アクセスユニットが復号されたことが示されている。
前述したように、MMTPペイロードには、MPU_presentation_time情報が格納されている。MPU_presentation_time情報によって、当該MPUにおいて最初に提示されるアクセスユニットの提示時刻がNTPタイムスタンプ形式で示される。したがって、図5において、25番目のアクセスユニットのBフレームに基づく映像は、MPU_presentation_time情報によって示されている時刻に提示される。なお、MPU_presentation_time情報は、提示時刻情報に相当する。
そして、MPUにおけるn番目のアクセスユニットのDTSは以下の式で算出される。
DTS(n)=MPU_Presentation_time−MPU_decoding_time_offset÷timescale+Σpts_offset(k)÷timescale・・・(1)
なお、MPU_Presentation_timeは、MPU_presentation_time情報によってNTPタイムスタンプ形式で示されている時刻である。MPU_decoding_time_offsetは、最初に復号されるアクセスユニットの復号時刻と、最初に提示されるアクセスユニットの提示時刻との差分値である。pts_offsetは、同じMPU内の提示順序において、直前のアクセスユニットの提示時刻と現在のアクセスユニットの提示時刻との差分値である。timescaleは、これらの時刻の単位を示す値である。kは、このMPUにおけるアクセスユニットの数である。pts_offsetは、処理間隔情報に相当する。
なお、MPUにおけるn番目のアクセスユニットの提示時刻であるPTS(Presentation Time Stamp)は、以下の式で算出される。
PTS(n)=DTS(n)+dts_pts_offset(n)÷timescale・・・(2)
なお、dts_pts_offset(n)は、MPUにおけるn番目のアクセスユニットの復号時刻と提示時刻との差分値である。
(1)式および(2)式を用いて受信機器200がDTSおよびPTSを算出可能なように、送信機器100は、受信機器200におけるMPUの復号開始前に当該受信機器200が受信できるように、各情報を送信する。
次に、本発明の実施形態における送信機器100および受信機器200の動作について説明する。まず、協定世界時を世界時に近づけるために閏秒が挿入される場合における送信機器100および受信機器200の動作について説明する。
図6は、閏秒が挿入される場合に送受信されるMPUの例を示す説明図である。
本例では、各MPUは、0.5秒間隔で順次送信されているとする。そうすると、図6に示す例では、8:59:57.0に、mpu_sequence_number情報が示す値(図6において、MPU_sequence_numberと示す)が「1」であるMPUのMMTPパケットがそれぞれ送信される。また、8:59:57.5に、mpu_sequence_number情報が示す値が「2」であるMPUのMMTPパケットがそれぞれ送信される。8:59:58.0に、mpu_sequence_number情報が示す値が「3」であるMPUのMMTPパケットがそれぞれ送信される。また、8:59:58.5に、mpu_sequence_number情報が示す値が「4」であるMPUのMMTPパケットがそれぞれ送信される。1回目の8:59:59.0に、mpu_sequence_number情報が示す値が「5」であるMPUのMMTPパケットがそれぞれ送信される。また、1回目の8:59:59.5に、mpu_sequence_number情報が示す値が「6」であるMPUのMMTPパケットがそれぞれ送信される。2回目の8:59:59.0に、mpu_sequence_number情報が示す値が「7」であるMPUのMMTPパケットがそれぞれ送信される。また、2回目の8:59:59.5に、mpu_sequence_number情報が示す値が「8」であるMPUのMMTPパケットがそれぞれ送信される。9:00:00.0に、mpu_sequence_number情報が示す値が「9」であるMPUのMMTPパケットがそれぞれ送信される。また、9:00:00.5に、mpu_sequence_number情報が示す値が「10」であるMPUのMMTPパケットがそれぞれ送信される。
そして、MPU_presentation_time情報が示す提示時刻に応じた値は、送信された時刻の2秒後の時刻に応じた値を示しているとする。
そうすると、図6に示す例では、mpu_sequence_number情報が示す値が「1」であるMPUのMMTPパケットのMPU_presentation_time情報が示す値に応じた提示時刻は、8:59:59.0である。また、mpu_sequence_number情報が示す値が「2」であるMPUのMMTPパケットのMPU_presentation_time情報が示す値に応じた提示時刻は、8:59:59.5である。mpu_sequence_number情報が示す値が「3」であるMPUのMMTPパケットのMPU_presentation_time情報が示す値に応じた提示時刻は、9:00:00.0である。また、mpu_sequence_number情報が示す値が「4」であるMPUのMMTPパケットのMPU_presentation_time情報が示す値に応じた提示時刻は、9:00:00.5である。mpu_sequence_number情報が示す値が「5」であるMPUのMMTPパケットのMPU_presentation_time情報が示す値に応じた提示時刻は、9:00:01.0である。また、mpu_sequence_number情報が示す値が「6」であるMPUのMMTPパケットのMPU_presentation_time情報が示す値に応じた提示時刻は、9:00:01.5である。mpu_sequence_number情報が示す値が「7」であるMPUのMMTPパケットのMPU_presentation_time情報が示す値に応じた提示時刻は、9:00:01.0である。また、mpu_sequence_number情報が示す値が「8」であるMPUのMMTPパケットのMPU_presentation_time情報が示す値に応じた提示時刻は、9:00:01.5である。mpu_sequence_number情報が示す値が「9」であるMPUのMMTPパケットのMPU_presentation_time情報が示す値に応じた提示時刻は、9:00:02.0である。また、mpu_sequence_number情報が示す値が「10」であるMPUのMMTPパケットのMPU_presentation_time情報が示す値に応じた提示時刻は、9:00:02.5である。
したがって、mpu_sequence_number情報が示す値が「5」であるMPUのMMTPパケットとmpu_sequence_number情報が示す値が「7」であるMPUのMMTPパケットとは、いずれもMPU_presentation_time情報が示す値に応じた提示時刻が9:00:01.0である。よって、MPU_presentation_time情報が示す値に応じた提示時刻が9:00:01.0であるMPUが2つ存在することになる。
また、mpu_sequence_number情報が示す値が「6」であるMPUのMMTPパケットとmpu_sequence_number情報が示す値が「8」であるMPUのMMTPパケットとは、いずれもMPU_presentation_time情報が示す値に応じた提示時刻が9:00:01.5である。よって、MPU_presentation_time情報が示す値に応じた提示時刻が9:00:01.5であるMPUが2つ存在することになる。
それに対して、閏秒として8:59:59が挿入されたことにより、8:59:59.0〜8:59:59.999までが2回繰り返されたにもかかわらず、MPU_presentation_time情報が示す値に応じた提示時刻が8:59:59.0〜8:59:59.999の間の時刻であるMPUが2つしかない。そうすると、2回目の8:59:59.0〜8:59:59.999の間の提示に用いられるMPUがないことになる。
つまり、設定されたMPU_presentation_time情報に基づいて、提示に用いるMPUの処理タイミングを決定すると、閏秒が挿入された場合に、問題が生じうる。そして、特許文献1に記載された発明は、このような問題を解決することができない。
図7は、受信機器200が、閏秒が挿入される場合に送受信されるMPUを処理する例を示す説明図である。図8は、受信機器200が、閏秒が挿入される場合に送受信されるMPUを処理する例を示すフローチャートである。
図7に示す例では、mpu_sequence_number情報が示す値が1〜10であるMPUのMMTPパケットが送信される。そして、当該MMTPパケットに含まれている時刻情報に閏秒挿入フラグがセットされ(ステップS101のY)、閏秒が挿入されるタイミングまで所定の時間内である場合に(ステップS102のY)、ステップS103の処理に移行し、そうでない場合に(ステップS101のN、またはステップS102のN)、ステップS108の処理に移行する。受信機器200は、ステップS108の処理で、MPU_presentation_time情報に基づくタイミングで、提示に用いるMMTPパケットを処理する通常の処理を実行する(ステップS108)。
具体的には、受信機器200は、ステップS108の処理で、MPU_presentation_time情報に基づいて、前述した(1)式および(2)式を用いた算出結果に基づくタイミングで、各MMTPパケットを復号および提示する。
また、受信機器200は、ステップS103の処理で、自走モードで決定したタイミングに基づいて復号等の処理を行うと決定する(ステップS103)。
なお、閏秒挿入フラグは、図6,7において、NTP leap_indicatorと示され、9:00:00.0にリセットされるまで、セットされている。具体的には、例えば、9:00:00.0より前に送信されるMMTPパケットに含まれている時刻情報には閏秒挿入フラグがセットされ、9:00:00.0以後に送信されるMMTPパケットに含まれている時刻情報には閏秒挿入フラグがセットされない。
ここで、自走モードについて説明する。自走モードとは、受信機器200が各MPUのMMTPパケットを復号するタイミングを、MPU_presentation_time情報を参照することなく決定するモードをいう。
受信機器200は、自走モードで、以下の処理によってMMTPパケットを復号するタイミングを決定する(ステップS104)。具体的には、受信機器200は、直前のステップS108の処理において(1)式の計算に用いたpts_offsetの値に応じた間隔で、以降のアクセスユニットを復号するタイミングを順に決定する。より具体的には、例えば、pts_offsetの値の時間間隔で、当該アクセスユニットを構成するMMTPパケットを復号するように、当該アクセスユニットを構成する各MMTPパケットを復号するタイミングを決定する。
そして、受信機器200は、ステップS104の処理で決定したタイミングに基づいて、各アクセスユニットを構成する各MMTPパケットを復号する(ステップS105)。なお、復号の単位は、アクセスユニットでもよいし、他の単位であってもよい。
受信機器200は、ステップS105の処理で復号したMMTPパケットに基づく映像や音声を提示する(ステップS106)。具体的には、直前のステップS108の処理において(1)式の計算に用いたpts_offsetの値に応じた間隔で、以降のアクセスユニットに応じた映像や音声を提示するタイミングを順に決定する。より具体的には、例えば、pts_offsetの値の時間間隔で、当該アクセスユニットを構成するMMTPパケットに応じた映像や音声を提示するように、当該アクセスユニットを構成する各MMTPパケットに応じた映像や音声を提示するタイミングを決定する。そして、受信機器200は、決定したタイミングで、当該映像や音声を提示する。
受信機器200は、閏秒が挿入されてから所定の時間が経過していない場合に(ステップS107のN)、ステップS104の処理に移行する。
すると、ステップS104〜S106の処理が繰り返されることによって、図7の下段に示すように、各アクセスユニットを構成するMMTPパケットは、mpu_sequence_number情報が示すシーケンス番号の順に、pts_offsetの値に応じたタイミングで復号される。そして、各MMTPパケットに基づく映像等が順次提示される。
なお、一般に、一連のMPUにおいて、pts_offsetの値は変化しない。よって、前回のステップS108の処理における算出結果や当該算出に用いたpts_offsetの値に基づいて、次回以降のアクセスユニットのMMTPパケットを復号するタイミングの決定に用いることによって、各MMTPパケットを適切なタイミングで、復号したり、当該MMTPパケットに基づく映像等を順次提示したりすることができる。
受信機器200は、閏秒が挿入されてから所定の時間が経過した場合に(ステップS107のY)、MPU_presentation_time情報に基づいて、提示に用いるMMTPパケットのタイミングを決定する通常の処理に移行する(ステップS108)。
ステップS107の処理における判断は、閏秒挿入フラグがセットされなくなってから所定の時間が経過したか否かに基づいて行われてもよい。
なお、ステップS102,S107の処理における「所定の時間」は、例えば、3秒である。したがって、ステップS104〜S106の処理は、閏秒が挿入されるタイミングの前後各3秒間に亘って繰り返される。具体的には、ステップS104〜S106の処理は、例えば、閏秒が挿入される9:00:00の3秒前である8:59:57から、閏秒が挿入された9:00:00の3秒後である9:00:03までの間、繰り返される。
したがって、本例では、受信機器200は、閏秒が挿入されるタイミングの前後3秒間に亘って、自走モードによる処理を行い、それ以外の期間はステップS108の通常の処理を行う。なお、本例において説明に用いた時刻や秒数は例示であり、他の時刻や秒数等であってもよい。
次に、協定世界時を世界時に近づけるために閏秒が削除される場合における送信機器100および受信機器200の動作について説明する。図9は、閏秒が削除される場合に送受信されるMPUの例を示す説明図である。
図9に示す例では、各MPUは、0.5秒間隔で順次送信されているとする。そうすると、図9に示す例では、8:59:56.0に、mpu_sequence_number情報が示す値が「1」であるMPUのMMTPパケットがそれぞれ送信される。また、8:59:56.5に、mpu_sequence_number情報が示す値が「2」であるMPUのMMTPパケットがそれぞれ送信される。8:59:57.0に、mpu_sequence_number情報が示す値が「3」であるMPUのMMTPパケットがそれぞれ送信される。また、8:59:57.5に、mpu_sequence_number情報が示す値が「4」であるMPUのMMTPパケットがそれぞれ送信される。8:59:58.0に、mpu_sequence_number情報が示す値が「5」であるMPUのMMTPパケットがそれぞれ送信される。また、8:59:58.5に、mpu_sequence_number情報が示す値が「6」であるMPUのMMTPパケットがそれぞれ送信される。9:00:00.0に、mpu_sequence_number情報が示す値が「7」であるMPUのMMTPパケットがそれぞれ送信される。また、9:00:00.5に、mpu_sequence_number情報が示す値が「8」であるMPUのMMTPパケットがそれぞれ送信される。9:00:01.0に、mpu_sequence_number情報が示す値が「9」であるMPUのMMTPパケットがそれぞれ送信される。また、9:00:01.5に、mpu_sequence_number情報が示す値が「10」であるMPUのMMTPパケットがそれぞれ送信される。
そして、MPU_presentation_time情報が示す提示時刻に応じた値は、送信された時刻の2秒後の時刻に応じた値を示しているとする。
そうすると、図9に示す例では、mpu_sequence_number情報が示す値が「1」であるMPUのMMTPパケットのMPU_presentation_time情報が示す値に応じた提示時刻は、8:59:58.0である。また、mpu_sequence_number情報が示す値が「2」であるMPUのMMTPパケットのMPU_presentation_time情報が示す値に応じた提示時刻は、8:59:58.5である。mpu_sequence_number情報が示す値が「3」であるMPUのMMTPパケットのMPU_presentation_time情報が示す値に応じた提示時刻は、8:59:59.0である。また、mpu_sequence_number情報が示す値が「4」であるMPUのMMTPパケットのMPU_presentation_time情報が示す値に応じた提示時刻は、8:59:59.5である。mpu_sequence_number情報が示す値が「5」であるMPUのMMTPパケットのMPU_presentation_time情報が示す値に応じた提示時刻は、9:00:00.0である。また、mpu_sequence_number情報が示す値が「6」であるMPUのMMTPパケットのMPU_presentation_time情報が示す値に応じた提示時刻は、9:00:00.5である。mpu_sequence_number情報が示す値が「7」であるMPUのMMTPパケットのMPU_presentation_time情報が示す値に応じた提示時刻は、9:00:02.0である。また、mpu_sequence_number情報が示す値が「8」であるMPUのMMTPパケットのMPU_presentation_time情報が示す値に応じた提示時刻は、9:00:02.5である。mpu_sequence_number情報が示す値が「9」であるMPUのMMTPパケットのMPU_presentation_time情報が示す値に応じた提示時刻は、9:00:03.0である。また、mpu_sequence_number情報が示す値が「10」であるMPUのMMTPパケットのMPU_presentation_time情報が示す値に応じた提示時刻は、9:00:03.5である。
したがって、mpu_sequence_number情報が示す値が「3」であるMPUのMMTPパケットのMPU_presentation_time情報が示す値に応じた提示時刻である8:59:59.0と、mpu_sequence_number情報が示す値が「4」であるMPUのMMTPパケットのMPU_presentation_time情報が示す値に応じた提示時刻である8:59:59.5とが、存在しないことになる。つまり、mpu_sequence_number情報が示す値が「3」であるMPUのMMTPパケットに応じた映像等、およびmpu_sequence_number情報が示す値が「4」であるMPUのMMTPパケットに応じた映像等が提示されないことになる。
また、MPU_presentation_time情報が示す値に応じた提示時刻が9:00:01.0であるMPUと、MPU_presentation_time情報が示す値に応じた提示時刻が9:00:01.5であるMPUとが、存在しないことになる。
つまり、設定されたMPU_presentation_time情報に基づいて、提示に用いるMPUの処理タイミングを決定すると、閏秒が削除された場合に、問題が生じうる。そして、特許文献1に記載された発明は、このような問題を解決することができない。
図10は、受信機器200が、閏秒が削除される場合に送受信されるMPUを処理する例を示す説明図である。図11は、受信機器200が、閏秒が削除される場合に送受信されるMPUを処理する例を示すフローチャートである。
図10に示す例では、図9に示す例と同様なタイミングで、mpu_sequence_number情報が示す値が1〜10であるMPUのMMTPパケットが送信される。そして、当該MMTPパケットに含まれている時刻情報に閏秒削除フラグがセットされ(ステップS201のY)、閏秒が削除されるタイミングまで所定の時間内である場合に(ステップS202のY)、ステップS203の処理に移行し、そうでない場合に(ステップS201のN、またはステップS202のN)、ステップS208の処理に移行する。受信機器200は、ステップS208の処理で、MPU_presentation_time情報に基づくタイミングで、提示に用いるMMTPパケットを処理する通常の処理を実行する(ステップS208)。
具体的には、受信機器200は、ステップS208の処理で、MPU_presentation_time情報に基づいて、前述した(1)式および(2)式を用いた算出結果に基づくタイミングで、各MMTPパケットを復号および提示する。
また、受信機器200は、ステップS203の処理で、自走モードで決定したタイミングに基づいて復号等の処理を行うと決定する(ステップS203)。
なお、閏秒削除フラグは、図9,10において、NTP leap_indicatorと示され、9:00:00.0にリセットされるまで、セットされている。具体的には、例えば、9:00:00.0より前に送信されるMMTPパケットに含まれている時刻情報には閏秒削除フラグがセットされ、9:00:00.0以後に送信されるMMTPパケットに含まれている時刻情報には閏秒削除フラグがセットされない。
そして、受信機器200は、自走モードで、以下の処理によってMMTPパケットを復号するタイミングを決定する(ステップS204)。すなわち、受信機器200は、直前のステップS208の処理において(1)式の計算に用いたpts_offsetの値に応じた間隔で、以降のアクセスユニットを復号するタイミングを順に決定する。より具体的には、例えば、pts_offsetの値の時間間隔で、当該アクセスユニットを構成するMMTPパケットを復号するように、当該アクセスユニットを構成する各MMTPパケットを復号するタイミングを決定する。
そして、受信機器200は、ステップS204の処理で決定したタイミングに基づいて、各アクセスユニットを構成する各MMTPパケットを復号する(ステップS205)。
受信機器200は、ステップS205の処理で復号したMMTPパケットに基づく映像や音声を提示する(ステップS206)。具体的には、直前のステップS208の処理において(1)式の計算に用いたpts_offsetの値に応じた間隔で、以降のアクセスユニットに応じた映像や音声を提示するタイミングを順に決定する。より具体的には、例えば、pts_offsetの値の時間間隔で、当該アクセスユニットを構成するMMTPパケットに応じた映像や音声を提示するように、当該アクセスユニットを構成する各MMTPパケットに応じた映像や音声を提示するタイミングを決定する。そして、受信機器200は、決定したタイミングで、当該映像や音声を提示する。
受信機器200は、閏秒が削除されてから所定の時間が経過していない場合に(ステップS207のN)、ステップS204の処理に移行する。
すると、ステップS204〜S206の処理が繰り返されることによって、図10の下段に示すように、各アクセスユニットを構成する各MMTPパケットは、mpu_sequence_number情報が示すシーケンス番号の順に、pts_offsetの値に応じたタイミングで復号される。そして、各MMTPパケットに基づく映像等が順次提示される。
なお、前述したように、一般に、一連のMPUにおいて、pts_offsetの値は変化しない。よって、前回のステップS208の処理における算出結果や当該算出に用いたpts_offsetの値に基づいて、次回以降のアクセスユニットのMMTPパケットを復号するタイミングの決定に用いることによって、各MMTPパケットを適切なタイミングで、復号したり、当該MMTPパケットに基づく映像等を順次提示したりすることができる。
受信機器200は、閏秒が削除されてから所定の時間が経過した場合に(ステップS207のY)、MPU_presentation_time情報に基づいて、提示に用いるMMTPパケットのタイミングを決定する通常の処理に移行する(ステップS208)。
ステップS207の処理における判断は、閏秒削除フラグがセットされなくなってから所定の時間が経過したか否かに基づいて行われてもよい。
なお、ステップS202,S207の処理における「所定の時間」は、例えば、3秒である。したがって、ステップS204〜S206の処理は、閏秒が削除されるタイミングの前後各3秒間に亘って繰り返される。具体的には、ステップS204〜S206の処理は、例えば、閏秒として削除される8:59:59の3秒前である8:59:56から、閏秒として削除された8:59:59の3秒後である9:00:03までの間、繰り返される。
したがって、本例では、受信機器200は、閏秒が削除されるタイミングの前後3秒間に亘って、自走モードによる処理を行い、それ以外の期間はステップS208の通常の処理を行う。なお、本例において説明に用いた時刻や秒数は例示であり、他の時刻や秒数等であってもよい。
本実施形態によれば、受信機器200が、閏秒が挿入されるタイミングに応じた期間、および閏秒が削除されるタイミングに応じた期間、自走モードで、MMTPパケットの処理を行う。したがって、閏秒が挿入または削除されたことによって生じる問題の発生を未然に防ぐことができる。
具体的には、閏秒が挿入されるタイミングに応じた期間、および閏秒が削除されるタイミングに応じた期間、式(1)や式(2)を用いた前回の算出処理における算出結果や当該算出に用いたpts_offsetの値を次回以降の処理のタイミングの決定に用いることによって、各MMTPパケットを適切なタイミングで、復号したり、当該MMTPパケットに基づく映像等を順次提示したりすることができる。各MMTPパケットを適切なタイミングで、復号したり、当該MMTPパケットに基づく映像等を順次提示したりするので、各MMTPパケットを適切な順序で、復号したり、当該MMTPパケットに基づく映像等を順次提示したりすることができる。
また、受信機器200が、通信回線を介して送信されたテレビジョン番組情報等に応じたパケットと、電波によって送信されたテレビジョン番組情報等に応じたパケットとを受信した場合であっても、テレビジョン番組情報等の提示順に適切な順序およびタイミングで復号することができる。
さらに、受信機器200が、通信回線を介して送信されたテレビジョン番組情報等に応じたパケットが、送信順とは異なる順序で受信した場合であっても、テレビジョン番組情報等の提示順に適切な順序およびタイミングで復号することができる。
実施形態2.
次に、本発明の第2の実施形態の復号装置20について、図面を参照して説明する。図12は、本発明の第2の実施形態の復号装置20の構成例を示すブロック図である。図12に示すように、本発明の第2の実施形態の復号装置20は、復号部21および復号時期決定部22を含む。
復号部21は、送信機器10(図1に示す第1の実施形態における送信機器100に相当)から送信されたパケットを復号する。
復号時期決定部22は、パケットに含まれる、世界時に協定世界時を近づけるための時刻の調整に応じた調整情報に基づいて、復号部21がパケットを復号するタイミングを決定する。
パケットは、自パケットを含む集合であるアクセスユニットの処理間隔を示す処理間隔情報を含んでおり、復号時期決定部22は、調整情報によって時刻の調整が行われることが示されている場合に、処理間隔情報が示す間隔に応じた間隔で、各アクセスユニットを構成するパケットを順次復号すると決定する。
本実施形態によれば、順次送信された情報を適切なタイミングで復号して再生することができる。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、2015年3月2日に出願された日本出願特願2015−040456を基礎とする優先権を主張し、その開示の全てをここに取り込む。
10、100 送信機器
20 復号装置
21 復号部
22 復号時期決定部
200 受信機器
300、500 アンテナ
400 通信回線
600a、600b マルチメディア情報

Claims (9)

  1. 送信機器から送信されたパケットを復号する復号手段と、
    前記パケットに含まれる、世界時に協定世界時を近づけるための時刻の調整に応じた調整情報に基づいて、前記復号手段が前記パケットを復号するタイミングを決定する復号時期決定手段とを備え、
    前記パケットは、自パケットを含む集合であるアクセスユニットの処理間隔を示す処理間隔情報を含み、
    前記復号時期決定手段は、前記調整情報によって前記時刻の調整が行われることが示されている場合に、前記処理間隔情報が示す間隔に応じた間隔で、各アクセスユニットを構成する前記パケットを順次復号すると決定する
    ことを特徴とする復号装置。
  2. 前記復号時期決定手段は、前記時刻の調整が行われるタイミングに応じた所定の期間、前記処理間隔情報が示す間隔に応じた間隔で、各アクセスユニットを構成する前記パケットを順次復号すると決定する
    ことを特徴とする請求項1に記載の復号装置。
  3. 前記パケットは、前記アクセスユニットを含む集合を構成するパケットに基づくコンテンツが提示される時刻を示す提示時刻情報を含み、
    前記復号時期決定手段は、前記所定の期間以外のときには、前記提示時刻情報に基づいて前記復号手段が復号する前記パケットのタイミングを決定する
    ことを特徴とする請求項2に記載の復号装置。
  4. 前記調整情報は、閏秒の挿入または削除を示す情報である
    請求項1から請求項3のうちいずれかに記載の復号装置。
  5. 請求項1から請求項4のうちいずれかに記載の復号装置と、
    前記パケットを受信する受信装置とを備えた
    ことを特徴とする受信機器。
  6. 受信側に、コンテンツに応じたパケットを所定のタイミングで復号させるために、世界時に協定世界時を近づけるための時刻の調整に応じた調整情報と、自パケットを含む集合であるアクセスユニットの処理間隔を示す処理間隔情報とを含むパケットを送信する送信手段を備えた
    ことを特徴とする送信機器。
  7. 請求項5に記載の受信機器と、
    前記送信機器、または請求項6に記載の送信機器とを備えた
    ことを特徴とする送受信システム。
  8. 送信機器から送信されたパケットを復号し、
    前記パケットに含まれる、世界時に協定世界時を近づけるための時刻の調整に応じた調整情報に基づいて、前記パケットを復号するタイミングを決定し、
    前記パケットは、自パケットを含む集合であるアクセスユニットの処理間隔を示す処理間隔情報を含み、
    前記調整情報によって前記時刻の調整が行われることが示されている場合に、前記処理間隔情報が示す間隔に応じた間隔で、各アクセスユニットを構成する前記パケットを順次復号すると決定する
    ことを特徴とする復号方法。
  9. コンピュータに、
    送信機器から送信されたパケットを復号する復号処理と、
    前記パケットに含まれる、世界時に協定世界時を近づけるための時刻の調整に応じた調整情報に基づいて、前記復号処理で前記パケットを復号するタイミングを決定する復号時期決定処理とを実行させ、
    前記パケットは、自パケットを含む集合であるアクセスユニットの処理間隔を示す処理間隔情報を含み、
    前記復号時期決定処理で、前記調整情報によって前記時刻の調整が行われることが示されている場合に、前記処理間隔情報が示す間隔に応じた間隔で、各アクセスユニットを構成する前記パケットを順次復号すると決定させる
    ための復号用プログラムが記憶された記憶媒体。
JP2017217394A 2015-03-02 2017-11-10 復号装置、復号方法、および復号用プログラム Active JP6434600B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015040456 2015-03-02
JP2015040456 2015-03-02

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017503336A Division JP6264501B2 (ja) 2015-03-02 2016-02-18 復号装置、復号方法、および復号用プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018177365A Division JP6617809B2 (ja) 2015-03-02 2018-09-21 復号装置、復号方法、および復号用プログラム

Publications (3)

Publication Number Publication Date
JP2018057013A true JP2018057013A (ja) 2018-04-05
JP2018057013A5 JP2018057013A5 (ja) 2018-10-25
JP6434600B2 JP6434600B2 (ja) 2018-12-05

Family

ID=56849299

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2017503336A Active JP6264501B2 (ja) 2015-03-02 2016-02-18 復号装置、復号方法、および復号用プログラム
JP2017217394A Active JP6434600B2 (ja) 2015-03-02 2017-11-10 復号装置、復号方法、および復号用プログラム
JP2018177365A Active JP6617809B2 (ja) 2015-03-02 2018-09-21 復号装置、復号方法、および復号用プログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017503336A Active JP6264501B2 (ja) 2015-03-02 2016-02-18 復号装置、復号方法、および復号用プログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2018177365A Active JP6617809B2 (ja) 2015-03-02 2018-09-21 復号装置、復号方法、および復号用プログラム

Country Status (6)

Country Link
US (3) US10194196B2 (ja)
JP (3) JP6264501B2 (ja)
KR (3) KR102041090B1 (ja)
AR (1) AR103816A1 (ja)
MX (1) MX371468B (ja)
WO (1) WO2016139908A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10194196B2 (en) 2015-03-02 2019-01-29 Nec Corporation Decoding device, reception device, transmission device, transmission/reception system, decoding method, and storage medium having decoding program stored therein
JP6585508B2 (ja) * 2015-04-02 2019-10-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 送信方法、受信方法、送信装置及び受信装置
JP6679314B2 (ja) * 2015-03-31 2020-04-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 受信方法、受信装置及び送受信システム
WO2018110478A1 (ja) * 2016-12-13 2018-06-21 日本電気株式会社 受信装置、および通信システム
JP6763439B2 (ja) * 2016-12-13 2020-09-30 日本電気株式会社 受信装置、送信装置、通信システム、受信方法、送信方法、通信方法、受信用プログラム、および送信用プログラム
EP3926861A4 (en) 2019-03-20 2022-11-16 NEC Platforms, Ltd. BROADCAST CONTROL DEVICE, METHOD AND PROGRAM, AND STORAGE MEDIA

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010272071A (ja) * 2009-05-25 2010-12-02 Hitachi Kokusai Electric Inc 端末装置
WO2016129413A1 (ja) * 2015-02-10 2016-08-18 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP2016152620A (ja) * 2015-02-18 2016-08-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 送信方法、受信方法、送信装置及び受信装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998054910A2 (en) 1997-05-27 1998-12-03 Koninklijke Philips Electronics N.V. Method of switching video sequences and corresponding switching device and decoding system
JPH11340938A (ja) * 1998-05-28 1999-12-10 Sony Corp データ多重化装置及び方法
US20060093045A1 (en) 1999-06-29 2006-05-04 Roger Anderson Method and apparatus for splicing
JP4538908B2 (ja) * 2000-06-14 2010-09-08 ソニー株式会社 データ変換装置及び方法
JP4531562B2 (ja) 2002-06-27 2010-08-25 トムソン ライセンシング フィルタ係数用のランダムアクセスメモリのための自動的なバンク切り替えを検出及び実行する方法及び装置
KR20080022757A (ko) 2006-09-07 2008-03-12 엘지전자 주식회사 디지털 방송 신호와 상기 신호를 처리하는 장치 및 방법
US7779109B2 (en) 2007-01-31 2010-08-17 International Business Machines Corporation Facilitating synchronization of servers in a coordinated timing network
US8549893B2 (en) * 2009-03-06 2013-10-08 Thermo Finnigan Llc System and method for a gas chromatograph to mass spectrometer interface
KR101163048B1 (ko) 2010-12-07 2012-07-05 에스케이하이닉스 주식회사 출력 타이밍 제어회로 및 그를 이용하는 반도체 장치
US20130173742A1 (en) 2011-12-28 2013-07-04 United Video Properties, Inc. Systems and methods for latency-based synchronized playback at multiple locations
US9369976B2 (en) * 2012-06-27 2016-06-14 Qualcomm Incorporated Supporting coordinated universal time in LTE
KR20140008237A (ko) 2012-07-10 2014-01-21 한국전자통신연구원 엠엠티의 하이브리드 전송 서비스에서 패킷 전송 및 수신 장치 및 방법
US9426196B2 (en) 2013-01-04 2016-08-23 Qualcomm Incorporated Live timing for dynamic adaptive streaming over HTTP (DASH)
EP3007454A4 (en) * 2013-06-05 2016-06-01 Panasonic Ip Corp America DATA DECODING METHOD, DATA DECODING DEVICE AND DATA TRANSMISSION METHOD
US20150032845A1 (en) * 2013-07-26 2015-01-29 Samsung Electronics Co., Ltd. Packet transmission protocol supporting downloading and streaming
US9547333B2 (en) 2013-10-10 2017-01-17 General Electric Company System and method for synchronizing networked components
KR20160083107A (ko) 2013-12-09 2016-07-11 엘지전자 주식회사 방송 콘텐트 및 방송 콘텐츠와 관련된 어플리케이션을 포함하는 방송 신호를 처리하는 방법 및 장치
CN105917655B (zh) 2014-01-13 2019-07-09 Lg电子株式会社 经由一个或者多个网络发送或者接收广播内容的设备和方法
CN107113462B (zh) 2014-11-20 2020-10-27 松下电器(美国)知识产权公司 发送方法、接收方法、发送装置以及接收装置
US10194196B2 (en) 2015-03-02 2019-01-29 Nec Corporation Decoding device, reception device, transmission device, transmission/reception system, decoding method, and storage medium having decoding program stored therein
JP6489203B2 (ja) 2015-03-02 2019-03-27 日本電気株式会社 受信機器、および復号・提示方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010272071A (ja) * 2009-05-25 2010-12-02 Hitachi Kokusai Electric Inc 端末装置
WO2016129413A1 (ja) * 2015-02-10 2016-08-18 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP2016152620A (ja) * 2015-02-18 2016-08-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 送信方法、受信方法、送信装置及び受信装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
河村ほか: "8K SHV放送に向けたMMT多重伝送システムの試作検証", 映像情報メディア学会 2014年年次大会講演予稿集[CD-ROM], JPN6016017967, 10 August 2014 (2014-08-10), ISSN: 0003884818 *

Also Published As

Publication number Publication date
KR102041090B1 (ko) 2019-11-06
US10194196B2 (en) 2019-01-29
AR103816A1 (es) 2017-06-07
US20180332337A1 (en) 2018-11-15
KR101995194B1 (ko) 2019-07-02
JP2019024222A (ja) 2019-02-14
JPWO2016139908A1 (ja) 2017-11-30
US20180027285A1 (en) 2018-01-25
JP6264501B2 (ja) 2018-01-24
WO2016139908A1 (ja) 2016-09-09
US10491944B2 (en) 2019-11-26
KR102137349B1 (ko) 2020-07-23
JP6617809B2 (ja) 2019-12-11
KR20190077129A (ko) 2019-07-02
KR20170125081A (ko) 2017-11-13
MX2017011369A (es) 2018-01-23
JP6434600B2 (ja) 2018-12-05
MX371468B (es) 2020-01-29
KR20190125542A (ko) 2019-11-06
US20200059688A1 (en) 2020-02-20

Similar Documents

Publication Publication Date Title
JP6617809B2 (ja) 復号装置、復号方法、および復号用プログラム
JP7260687B2 (ja) 送信方法および送信装置
JP6966581B2 (ja) 送信方法、受信方法、送信装置及び受信装置
JP6302274B2 (ja) 送信装置及び受信装置
JP7200329B2 (ja) 送信方法、受信方法、送信装置及び受信装置
JP6753500B2 (ja) 受信機器、および復号・提示方法
JP2023111993A (ja) 送信方法、受信方法、送信装置及び受信装置
JP2022118086A (ja) 受信方法、送信方法、受信装置及び送信装置
JP6957186B2 (ja) 情報処理装置、情報処理方法、プログラム、および記録媒体製造方法
JP7257646B2 (ja) 送信方法、受信方法、送信装置及び受信装置
JP2017046236A (ja) コンテンツ伝送システム、送信装置、受信装置、送信方法、受信方法、プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180911

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180911

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180911

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180925

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181023

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181108

R150 Certificate of patent or registration of utility model

Ref document number: 6434600

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150