JP2022064531A - 送信装置および受信装置 - Google Patents

送信装置および受信装置 Download PDF

Info

Publication number
JP2022064531A
JP2022064531A JP2020173226A JP2020173226A JP2022064531A JP 2022064531 A JP2022064531 A JP 2022064531A JP 2020173226 A JP2020173226 A JP 2020173226A JP 2020173226 A JP2020173226 A JP 2020173226A JP 2022064531 A JP2022064531 A JP 2022064531A
Authority
JP
Japan
Prior art keywords
time
tai
mpu
utc
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020173226A
Other languages
English (en)
Other versions
JP7569195B2 (ja
Inventor
侑輝 河村
Yuki Kawamura
知也 楠
Kazuya Kusunoki
悠喜 山上
Yuki Yamagami
裕靖 永田
Hiroyasu Nagata
浩一郎 今村
Koichiro Imamura
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2020173226A priority Critical patent/JP7569195B2/ja
Publication of JP2022064531A publication Critical patent/JP2022064531A/ja
Application granted granted Critical
Publication of JP7569195B2 publication Critical patent/JP7569195B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】MPU拡張タイムスタンプ記述子を使用せずに、うるう秒の対策をすることができる送信装置を提供する。【解決手段】送信装置300は、TAIクロック再生部310と、HEVCエンコーダ部330と、TAI-MPUタイムスタンプを決定するPTS決定部350と、MPUシーケンス番号と、TAI-MPUタイムスタンプと、TAI-MPUタイムスタンプがMPUに付与されたのと同じタイミングにおけるUTC時刻とTAI時刻との差分を示すUTC-TAIオフセットと、を含む記述子をTAI-MPUタイムスタンプ記述子として生成する記述子生成部370と、ISOBMFFメタデータ生成部380と、符号化された映像信号と、TAI-MPUタイムスタンプ記述子と、DTS-PTS差分情報を含むメタデータと、を多重化してMMT信号を生成するMMT多重化部340と、を備える。【選択図】図5

Description

本発明は、送信装置および受信装置に係り、特に、MMT(MPEG Media Transport)を用いた放送システムで映像や音声のコンテンツを送受信する送信装置および受信装置に関する。
非特許文献1に規定されるMMTでは、映像・音声コーデックの処理単位をMPU(Media Processing Unit)と呼ぶ。MPUの先頭データは、過去に送信されたデータに依存せずに処理が可能なランダムアクセスポイントである必要がある。MMTの放送利用を規定する非特許文献2では、映像符号化のイントラ(Intra)フレーム(フレーム内符号化を行うフレーム)を復号順の先頭とするGOP(Group Of Picture)をMPUとして扱う。
なお、映像符号化方式の一例として用いられるHEVC(High Efficiency Video Coding)の規格上ではGOPという用語は使用されていない。ただし、MPEG-2 Videoなどの従来方式にならい、イントラフレームを先頭とするフレームの集合を便宜上、GOPと呼ぶことがある。
非特許文献1によれば、本来、MPUは、ISOBMFF(ISO Base Media File Format)形式をベースとしたものとして規定されている。また、非特許文献1では、MMTP(MMT Protocol)により、ISOBMFFのメタデータ部分をMPUメタデータおよびムービーフラグメントメタデータとして送信する方法が規定されている。しかし、非特許文献2で規定される放送用途では、処理の低遅延化を図るためMPUメタデータおよびムービーフラグメントメタデータの生成・伝送を省略しており、HEVCエンコーダが生成するNAL(Network Abstraction Layer)ユニットをそのままMMTP/UDP(User Diagram Protocol)/IP(Internet Protocol)パケットに多重して送信する。
ISOBMFFは、基本のデータ構造が非特許文献3により規定されており、その拡張として、例えば、非特許文献4では、HTTP(Hypertext Transfer Protocol)/TCP(Transmission Control Protocol)通信を用いた映像ストリーミング配信方式であるMPEG-DASH(Dynamic Adaptive Streaming over HTTP)の運用方法や拡張データ構造が規定されている。MPEG-DASHと同様にHTTP/TCPを用いる動画ストリーミング配信方式として、非特許文献5に規定されるHLS(HTTP Live Streaming)が使用されている。MPEG-DASHとHLSで共通に使用できるISOBMFFベースのセグメント形式については、非特許文献6においてCMAFとして規定されている。なお、CMAFは、非特許文献1および非特許文献2よりも最近策定された、新しい規格である。CMAFでは、セグメント形式の共通化の他に、映像ストリーミング配信の低遅延化を図る技術として、セグメント構造をさらに細分化するチャンク構造が定義された。
非特許文献2では、放送における映像・音声コンテンツ伝送の低遅延化を図るために、ISOBMFF構造のメタデータ生成と、ムービーフラグメントメタデータとしての伝送と、を省略することとしている。しかし、ムービーフラグメントメタデータの伝送を省略すると、DTS-PTS差分情報(dts_pts_offset)を受信装置のデコーダに伝送できないという問題があった。このDTS-PTS差分情報は、映像符号化のフレーム間参照構造に伴う、映像フレームの復号タイミングを指示するDTS(Decoding Timestamp)と、映像フレームの提示タイミングを指示するPTS(Presentation Timestamp)との差分値を指示する情報である。
そこで、非特許文献2では、このDTS-PTS差分情報等の情報を別途記述する「MPU拡張タイムスタンプ記述子」を定義し、制御情報であるMMT Package Table(MPテーブル)内の記述子として伝送することを規定した。MPU拡張タイムスタンプ記述子には、MPU(GOP)内の全てのフレームのDTS-PTS差分情報を列挙する。
なお、映像を符号化したビットストリーム上は、受信装置において復号処理を実行する順に映像フレームが符号化されている。したがって、復号タイミングを指示するDTSは、送信装置から受信装置へ明示的に送信されなくとも、受信装置でフレームレートの逆数を加算していくことで計算により容易に求められる。例えば、毎秒60フレームの映像であれば、各映像フレームのDTSは、受信した順に60分の1秒を一定間隔で加算していくことで求められる。
他方、非特許文献7においては、非特許文献2で規定されたMMTの利用方法について、実際のサービス(高度広帯域衛星デジタル放送)を対象に、より詳細な運用方法が規定されている。非特許文献7によれば、MPU拡張タイムスタンプ記述子について、該当するMPUよりも、早いタイミングで伝送することを要求している。しかしながら、MPU拡張タイムスタンプ記述子は、MPU全体の映像符号化が終わった後でなければ生成できない。このような映像遅延を回避するために、MMTにおいても、新たにCMAFで規定されたチャンク構造に対応したISOBMFFメタデータを使用することが考えられる。CMAFチャンクは、ISOBMFFをベースにした構造であるため、MMTPでの多重化が可能である。このとき、MPU(GOP)をさらに細分化した数フレーム単位をチャンクとして構成する。そして、チャンク単位で、ISOBMFFメタデータによるDTS-PTS差分情報を記述し、MMTPのムービーフラグメントメタデータとして伝送することで、MPU拡張タイムスタンプ記述子を使用せずとも、デコーダに対して必要なDTS-PTS差分情報を伝送できる。具体的には、TrackFragmentRunBox(‘trun’)のsample_composition_time_offsetにより、チャンク内の各フレームのDTS-PTS差分情報を記述することができる。
各MPUの提示タイミングは、既存の技術では、MPUタイムスタンプ記述子(非特許文献1)により、MPU先頭の提示タイミングの絶対時刻が伝送され、その時刻が受信装置での映像・音声提示制御に使用される。MPUタイムスタンプ記述子に記載されるMPUタイムスタンプ(mpu_presentation_time)は、MPUの提示時刻を64ビットのNTP(Network Time Protocol)形式のUTC(Coordinated Universal Time)時刻で示す。そのため、「うるう秒」の挿入・削除が行われると、MPUタイムスタンプの巻き戻りなど非連続が生じる。この対策として、MPU拡張タイムスタンプ記述子において、2ビットのうるう秒指示子(mpu_prasentation_time_leap_indicator;以下、Leap Indicatorと略記する)を伝送することとされた。うるう秒指示子(Leap Indicator)は、MPUタイムスタンプ記述子に記載された同一のMPUシーケンス番号で対応付けられるMPUのMPUタイムスタンプ(UTC時刻)が、次の(1)~(3)のいずれであるかを示す。
(1)「うるう秒」を挿入する日(UTC基準)の「うるう秒」を挿入する前の時刻を基準とする(Leap Indicator=1)、
(2)「うるう秒」を削除する日(UTC基準)の「うるう秒」を削除する前の時刻を基準とする(Leap Indicator=2)、
(3)「うるう秒」のない日(UTC基準)の時刻や「うるう秒」の挿入・削除された後の時刻を基準とする(Leap Indicator=0)。
なお、UTC基準の一日は、日本時間の午前9時0分0秒から翌日の午前8時59分59秒までに対応する。「うるう秒」の挿入では、日本時間の午前8時59分59秒のあとに午前8時59分60秒の挿入されることで1日が1秒伸びる。一方、「うるう秒」の削除では、午前8時59分59秒が削除されることで、1日が1秒短くなる。
"Information technology - High efficiency coding and media delivery in heterogeneous environments: MPEG media transport", ISO/IEC 23008-1 「デジタル放送におけるMMTによるメディアトランスポート方式(ARIB STD-B60)」 "ISO/IEC base media file format", ISO/IEC 14496-12 "Dynamic adaptive streaming over HTTP (DASH) - Part 1: Media presentation description and segment formats", ISO/IEC 23009-1 "HTTP Live Streaming"、[online]、[令和2年7月7日検索]、インターネット〈URL:https://developer.apple.com/streaming/〉 "Common media application format (CMAF) for segmented media", ISO/IEC23000-19 「高度広帯域衛星デジタル放送運用規定(第三分冊)(ARIB TR-B39)」
しかしながら、DTS-PTS差分情報をISOBMFFメタデータで送信することにしてMPU拡張タイムスタンプ記述子を使用しないこととした場合、MPU拡張タイムスタンプ記述子の「うるう秒」に関する補助情報(うるう秒指示子)を伝送することができなくなってしまう。
本発明は、以上のような問題点に鑑みてなされたものであり、MPU拡張タイムスタンプ記述子を使用せずに、うるう秒の対策をすることができる送信装置および受信装置を提供することを課題とする。
前記課題を解決するために、本発明に係る送信装置は、符号化された映像信号と、MPU(Media Processing Unit)に付与されるタイムスタンプ記述子と、メタデータとを多重化したMMT(MPEG Media Transport)信号を送信する送信装置であって、TAI(International Atomic Time)時刻を提供する時刻サーバと通信してTAI時刻を表現するカウンタ値を再生するTAIクロック再生部と、映像フレームの符号化を行って符号化された映像信号とGOP(Group Of Picture)開始トリガ信号とを出力する映像エンコーダ部と、前記TAIクロック再生部で再生されたTAI時刻を表現するカウンタ値に基づいて、前記映像エンコーダ部からの前記GOP開始トリガ信号に従って、MPUに付与するPTS(Presentation Timestamp)として、TAI時刻で表したMPUタイムスタンプを決定するPTS決定部と、MPUシーケンス番号と、前記TAI時刻で表したMPUタイムスタンプと、前記TAI時刻で表したMPUタイムスタンプが前記MPUに付与されたのと同じタイミングにおける秒で表したUTC(Coordinated Universal Time)時刻とTAI時刻との差分を示すUTC-TAIオフセットと、を含む記述子を前記タイムスタンプ記述子として生成する記述子生成部と、前記映像エンコーダ部から、各フレームのピクチャリオーダー情報としてDTS(Decoding Timestamp)とPTSとの差分値を指示する情報であるDTS-PTS差分情報を取得し、前記メタデータとして、前記MPU単位または前記MPUを分割したチャンク単位で前記DTS-PTS差分情報を含むISOベース・メディア・ファイル・フォーマット(ISOBMFF)のメタデータを生成するISOBMFFメタデータ生成部と、前記符号化された映像信号と、前記MPUに付与されるタイムスタンプ記述子と、前記DTS-PTS差分情報を含む前記メタデータと、を多重化して前記MMT信号を生成するMMT多重化部と、を備える構成とした。
また、本発明に係る受信装置は、送信装置から送信されるMMT信号を受信する受信装置であって、UTC時刻を提供する時刻サーバと通信してUTC時刻を表現するカウンタ値を再生するUTCクロック再生部と、前記MMT信号に多重され伝送されたタイムスタンプ記述子から、所定のMPUにおけるTAI時刻で表したMPUタイムスタンプと、UTC-TAIオフセットと、を抽出する記述子解析部と、前記UTCクロック再生部で再生されたUTC時刻を表現するカウンタ値に前記UTC-TAIオフセットを加算することで前記カウンタ値をTAI時刻を表現するカウンタ値へ変換するTAIオフセット加算部と、前記MMT信号に多重され伝送されたメタデータから各フレームのピクチャリオーダー情報としてDTSとPTSとの差分値を指示する情報であるDTS-PTS差分情報を抽出するISOBMFFメタデータ解析部と、前記TAI時刻で表したMPUタイムスタンプと、前記ISOBMFFメタデータ解析部から抽出された各フレームのDTS-PTS差分情報と、から各フレームのTAI時刻で表したPTSを計算するPTS計算部と、前記MMT信号に多重され伝送された映像信号を復号した映像フレームが入力され、前記TAIオフセット加算部で変換されたTAI時刻を表現するカウンタ値と、各フレームのTAI時刻で表したPTSと、を比較して必要に応じて前記映像フレームを並べ替えて出力するピクチャリオーダーバッファと、を備える構成とした。
本発明は、以下に示す優れた効果を奏するものである。
送信装置は、TAI時刻で表したMPUタイムスタンプを使用して、MPUの提示時刻を伝送することができる。また、送信装置によれば、TAI時刻で表したMPUタイムスタンプがMPUに付与されたのと同じタイミングにおけるUTC時刻とTAI時刻の差分を示すUTC-TAIオフセットをMMT信号により伝送することができる。TAI時刻で表したMPUタイムスタンプは、うるう秒の挿入・削除に関わらず単純増加するため、このMMT信号を受信する受信装置は、TAI時刻を基準クロックとすることで、うるう秒の挿入・削除について特別に考慮した制御を必ずしもする必要がなく、映像・音声等の提示制御が可能となる。また、受信装置は、MMT信号に多重され伝送されてきたタイムスタンプ記述子から抽出されたUTC-TAIオフセットを利用することによって、UTC時刻を提供する時刻サーバから取得したUTC時刻をTAI時刻に変換し、映像・音声等の提示制御に使用することができる。
本発明の第1実施形態に係る伝送システムの全体構成を示すブロック図である。 比較例に係るMPUタイムスタンプ記述子の構造を示すデータ構造図である。 実施例に係るTAI-MPUタイムスタンプ記述子の構造を示すデータ構造図である。 UTC時刻(NTP形式)とTAI時刻(PTP形式)の関係とうるう秒の挿入を示す説明図である。 本発明の第1実施形態に係る送信装置の構成を模式的に示すブロック図である。 本発明の第1実施形態に係る送信装置の動作を示すフローチャートである。 本発明の第1実施形態に係る受信装置の構成を模式的に示すブロック図である。 本発明の第1実施形態に係る受信装置の動作を示すフローチャートである。 本発明の第2実施形態に係る送信装置の構成を模式的に示すブロック図である。
以下、本発明に係る送信装置および受信装置の実施形態について説明する。
(第1実施形態)
ここでは、説明の都合上、1.伝送システムの全体構成、2.MPUに付与されるタイムスタンプ記述子、3.UTC-TAIオフセット、4.送信装置の構成、5.送信装置の動作、6.受信装置の構成、7.受信装置の動作、の各章に分けて説明する。
[1.伝送システムの全体構成]
まず、第1実施形態に係る伝送システムの全体構成について図1を参照して説明する。
伝送システム1は、送信装置300と、受信装置500と、を含んでいる。
送信装置300は、映像音声信号源100から入力された映像音声信号を符号化して送出するものである。一例として、送信装置300は、映像を映像符号化方式のHEVCでエンコードを行い、また、音声を音声符号化方式のAACでエンコードを行い、MMTで多重化して送信している。MMTでは、符号化された映像・音声データの処理単位であるMPUに、絶対時刻のMPUタイムスタンプを付与して送信することになっている。送信装置300は、TAI時刻サーバ200をリファレンスクロックとして利用してTAI(国際原子時)時刻を参照し、TAI時刻を基準とした映像・音声等のMPUの提示時刻と、提示時刻と同じタイミングのUTC時刻とTAI時刻の差分情報をMMT制御情報の記述子に記載して伝送する。以下では、この記述子を、TAI-MPUタイムスタンプ記述子と呼称して説明する。
映像音声信号源100は、映像信号や音声信号等のコンテンツを蓄積した電子機器やサーバ等である。例えば映像信号を蓄積した映像信号源は、ビデオカメラやビデオサーバ等である。
TAI時刻サーバ200は、GPS等から時刻情報を取得して、ネットワークを介して各種機器にTAI時刻を分配する時刻サーバである。本実施形態では、TAI時刻サーバ200は、例えば、PTP(Precision Time Protocol)サーバであるものとする。PTPサーバは、UTC時刻とTAI時刻との差分情報も配信するため、各種機器は、UTC時刻を得ることもできる。なお、PTPサーバには、GPS等の信号源を直接参照するグランドマスターと、グランドマスターに同期するスレイブとの種別があるが、どちらであってもよい。
図1に示す伝送路400は、放送やインターネット等を模式的に示している。ここで、放送とは、例えば、衛星放送、地上放送、ケーブル放送、IP(Internet Protocol)マルチキャスト放送を意味する。つまり、送信装置300は、例えば、衛星放送、地上放送、ケーブル放送、IPマルチキャスト放送等のMMT(MPEG Media Transport)を用いたコンテンツ伝送を行う。
受信装置500は、送信装置300が送出したMMTPパケット列(MMT信号)を伝送路400を通じて受信し、多重分離し、放送番組の映像や音声を復号・再生するものである。送出されたMMT信号には、映像・音声データと、TAI時刻のタイムスタンプ情報と、が多重化されている。受信装置500は、映像を復号してモニタ600に出力し、また、音声を復号してスピーカ700に出力する。図1では、モニタ600やスピーカ700が、受信装置500の外部に図示されているが、モニタ600やスピーカ700は、受信装置500に内蔵していてもよい。また、受信装置500としては、例えば、一般的なテレビ、スマートフォン、タブレットが挙げられる。なお、図1では、図面を見やすくするために受信装置500を1台のみ図示したが、通常、受信装置500は複数台である。
受信装置500は、インターネット上などに存在するUTC時刻サーバ800から、UTC時刻を取得する。本実施形態では、UTC時刻サーバ800は、例えば、NTPサーバであるものとする。なお、送信側のPTPサーバは、放送局設備として使用されていたり業務用サーバとして使用されたりしているが、受信側では、PTPサーバは普及していないのが現状であり、NTPサーバが、時刻合わせに一般的に利用されている。
受信装置500は、UTC時刻サーバ800に同期したUTC(協定世界時、ユニバーサルタイム)時刻と、送信装置300から受信した記述子(TAI-MPUタイムスタンプ記述子)のTAI時刻を基準とした映像・音声のMPUの提示時刻と、提示時刻と同じタイミングのUTC時刻とTAI時刻の差分情報を参照して、映像・音声等を再生する。
TAI時刻とUTC時刻との相違点は、UTC時刻が、うるう秒の挿入によって同じ値を繰り返す場合があるのに対して、TAI時刻は、うるう秒の挿入があっても構わずカウントアップされる点である。後記するように、本実施形態では、送信装置300は、映像・音声等のMPUの提示時刻を、TAI時刻で表現して記載した記述子を伝送する。一方、受信装置500は、一般にネットワークを介してNTPサーバ等のUTC時刻サーバ800から提供されるUTC時刻を参照しているため、従来は、TAI時刻を得ることができなかった。これに対して、後記するように、本実施形態では、送信装置300は、TAI-MPUタイムスタンプ記述子に、UTC時刻とTAI時刻との差分情報として、UTC-TAIオフセットを含めて伝送する。これにより、受信装置500は、UTC時刻サーバ800から提供されるUTC時刻のカウント値を、TAI時刻のカウント値へ変換して基準クロックとして利用することができるので、TAIオフセット加算部においてうるう秒の存在を考慮した制御を行う必要がなくなる。
UTC時刻サーバ800から受信装置500へは、UTC時刻に加えて、うるう秒の挿入・削除を予告する、うるう秒指示子(Leap Indicator)が提供される。うるう秒指示子は、0または1または2の値をとる。うるう秒指示子が0の場合はうるう秒の挿入・削除の予定がないことを示す。うるう秒指示子が1の場合には次の午前8時59分59秒(日本時間)のあとにうるう秒の挿入が予定されていることを示す。うるう秒指示子が2の場合には次の午前8時59分58秒(日本時間)のあとにうるう秒の削除が予定されていることを示す。受信装置500は、うるう秒指示子によって、うるう秒の追加・削除のタイミングを事前に知ることができる。
なお、送信装置300は、PTPサーバ等のTAI時刻サーバ200からUTC時刻とTAI時刻との差分情報を得ることができ、これを記述子に記載することは容易である。
PTPサーバの場合、Announce Messageにより、過去に行ったうるう秒の挿入・削除の積算によるUTC時刻とTAI時刻の差分をcurrentUTCOffsetとして配信している。このcurrentUTCOffsetの値は、2020年6月時点では37秒である。また、この37秒のうちの10秒は、1972年にUTCが制定された際の初期値である。つまり、37秒のうちの27秒は、過去に27回行われたうるう秒の挿入による積算値である。
[2.MPUに付与されるタイムスタンプ記述子]
次に、本実施形態に係る送信装置300が、MPUに付与されるタイムスタンプ記述子として生成するTAI-MPUタイムスタンプ記述子(図3参照)について、既存のMPUタイムスタンプ記述子(図2参照)と対比しながら説明する。図2は、非特許文献1で規定されるMPUタイムスタンプ記述子のデータ構造を示している。また、図3は、本実施形態に係るTAI-MPUタイムスタンプ記述子のデータ構造の一例を示している。
なお、図2、図3の項目「データ表記」において、uimsbfは、unsigned integer most significant bit firstの略語であり、「符号無し整数、最上位ビットが先頭」を意味する。また、simsbfは、signed integer most significant bit firstの略語であり、「符号あり整数、最上位ビットが先頭」を意味する。
図2に示す既存のMPUタイムスタンプ記述子において、「descriptor_tag」には、記述子の種類を特定するための識別値が格納される。
「descriptor_length」には、記述子のバイトサイズを示す数値が格納される。
forループの中で、「mpu_sequence_number」と、「mpu_presentation_time」とについて、複数の組み合わせを格納することができる。
「mpu_sequence_number」には、対象のMPUを指定するMPUシーケンス番号が格納される。
「mpu_presentation_time」には、NTP形式のUTC時刻のMPUタイムスタンプが格納される。
図3に示すTAI-MPUタイムスタンプ記述子は、図2に示すMPUタイムスタンプ記述子と比べて、forループの中が一部異なっている。TAI-MPUタイムスタンプ記述子は、「mpu_presentation_time」に代えて、「tai_mpu_presentation_time」を備えている。「tai_mpu_presentation_time」には、TAI時刻のMPUタイムスタンプが格納される。TAI時刻には様々な記述フォーマット(形式)を取り得るが、図3においては、一例として「tai_mpu_presentation_time」のビット数を64ビットとした。この64ビットのタイムスタンプをNTP形式と同様に用いる場合、前半32ビットが秒数を表し、後半32ビットが、小数点以下(2進数小数)を表す。
その他の記述フォーマットの例として、PTP形式と同様のタイムスタンプを用いることもでき、この場合は合計80ビットで、前半48ビットで秒数を表し、後半32ビットで小数点以下(ナノ秒)を表す。
また、図3に示すTAI-MPUタイムスタンプ記述子は、MPUタイムスタンプ記述子にはなかった「utc_tai_offset」を備えている。
「utc_tai_offset」には、そのMPUに「tai_mpu_presentation_time」が付与されたのと同じタイミングにおける、秒で表したUTC時刻とTAI時刻との差分が格納される。以下では、このUTC時刻とTAI時刻との差分のことをUTC-TAIオフセットと呼称し、詳細に説明する。
[3.UTC-TAIオフセット]
次に、UTC-TAIオフセットについて図4を参照して説明する。図4は、「うるう秒」を挿入する場合の概念図である。図4の横軸において、時間T1は、日本時間でうるう秒挿入日の午前8時59分59秒である。時間T2は、日本時間でうるう秒挿入日の午前8時59分60秒(うるう秒)である。時間T3は、日本時間でうるう秒挿入日の午前9時00分00秒である。図4の縦軸は、UTC時刻(NTP形式)の起点日時からのカウンタ値と、TAI時刻(PTP形式)の起点日時からのカウンタ値をそれぞれ示している。
図4に示すように、UTC時刻(NTP形式)とTAI時刻(PTP形式)とは、それぞれ、ある起点日時からのカウンタ値によって、時刻情報を示している。具体的には、UTC時刻(NTP形式)は、起点日時を1900年1月1日0:00:00(UTC)としている。UTC時刻(NTP形式)のカウンタ値は、1900年1月1日0:00:00(UTC)からの経過時間をカウントした値である。
また、TAI時刻(PTP形式)は、起点日時を1970年1月1日0:00:00(UTC)としている。TAI時刻(PTP形式)のカウンタ値は、1970年1月1日0:00:00(UTC)からの経過時間をカウントした値である。なお、本明細書中では、(UTC)の表記は、協定世界時(ユニバーサルタイム)の絶対時刻を示している。
以下では、特に断らない場合、単にUTC時刻と表記した場合、1900年1月1日0:00:00(UTC)を起点(エポック)としたNTP形式の時刻情報を示すものとする。また、単にTAI時刻と表記した場合、その表記は、1970年1月1日0:00:00(UTC)を起点(エポック)としたPTP形式の時刻情報を示すものとする。
UTC時刻に適用される「うるう秒」の挿入・削除については、削除も考慮されているが、過去の実績としては挿入されたことしかない。「うるう秒」挿入の場合には、図4に太い破線で示すように、UTC時刻のカウンタ値は、時間T2において非連続であり、1秒だけ巻き戻ることとなる。一方、図4に太い実線で示すように、TAI時刻のカウンタ値は、時間T2において巻き戻ることはない。よって、図4に示すように、うるう秒を挿入した後のUTC-TAIオフセットΔ2は、うるう秒を挿入する前のUTC-TAIオフセットΔ1よりも1秒だけ小さな値となる。
以下では、分かりやすくするために、うるう秒の挿入前後のUTC-TAIオフセットΔ1,Δ2を区別せずに、単にUTC-TAIオフセットと表記する。
UTC-TAIオフセットは、UTC時刻のカウンタ値の整数部(NTP形式のタイムスタンプでは64ビットのうち上位の32ビット)と、TAI時刻のカウンタ値の整数部(PTP形式のタイムスタンプでは80ビットのうち上位の48ビット)との差分の秒によって表現することができる。
UTC-TAIオフセットは、例えば、(i)UTC時刻の起点とTAI時刻の起点との違いによる70年分のオフセット値と、(ii)過去のうるう秒の挿入が積算された秒数を示すオフセット値と、の和によって定義することができる。このように、前記(i)のオフセット値と前記(ii)のオフセット値との和で定義された場合、UTC-TAIオフセットのデータは、例えば32ビットの整数で表現できる。具体例として、(i)が-2208988800(秒)、(ii)が37(秒)とすると、UTC-TAIオフセットは(i)と(ii)の和である-2208988763(秒)を伝送する。
なお、前記(i)の70年分のオフセット値は既知の固定値であるため、織り込み済みのものとして、送信装置300から受信装置500へ伝送するUTC-TAIオフセットの値は、前記(ii)過去のうるう秒の挿入が積算された秒数を示すオフセット値のみとしてもよい。具体例としては、(i)の-2208988800秒は織り込み済みのものとして、UTC-TAIオフセットの値としては(ii)の37(秒)を伝送する。
また、UTC-TAIオフセットには、差分を表すのに十分なビット幅を有する必要があるが、前記した32ビットのビット幅に限るものではない。UTC-TAIオフセットが、例えば、前記(i)の70年分のオフセット値を含まず、前記(ii)過去のうるう秒の挿入が積算された秒数を示すオフセット値のみであるものとした場合、例えば、8ビットや16ビットのビット幅でも十分である。
さらに、UTC時刻とTAI時刻とのどちらを基準とするかによってオフセットの正負が変わるが、送信装置300と受信装置500との間で認識が合うように共通の規格・運用によって定めればよく、本実施形態の適用において、オフセットの正負がどちらかに限定されるものではない。例えば、UTC時刻を基準としてTAI時刻に変換するには、UTC時刻に対して負数のオフセットを加算する必要があるが、オフセットが負数となることも織り込み済みとして、UTC-TAIオフセットの値としては絶対値の2208988763(秒)を伝送することとしても良い。
また、伝送される記述子に記載されるTAI時刻は、フォーマットの一例としての形式では、PTP形式と同様の1970年1月1日0:00:00(UTC)を起点としたカウンタ値で表現されるが、その他の日時を起点とした表現を用いたとしても、本実施形態の適用性をなんら損なうものではない。
[4.送信装置の構成]
次に、送信装置300の構成例について図5を参照して説明する。なお、説明を簡略化するために、特にピクチャリオーダー(フレームの復号順序と表示順序の並び替え)情報が必要な映像処理に特化して説明し、音声処理の説明を省略し、送信装置300は、HEVC/MMTエンコーダであるものとする。
送信装置300は、符号化された映像信号と、MPU(Media Processing Unit)に付与されるタイムスタンプ記述子と、メタデータとを多重化したMMT(MPEG Media Transport)信号を送信するものであり、TAIクロック再生部310と、フレームバッファ部320と、HEVCエンコーダ部(映像エンコーダ部)330と、MMT多重化部340と、PTS決定部350と、MPUシーケンス番号カウンタ部360と、記述子生成部370と、ISOBMFFメタデータ生成部380と、を備えている。
TAIクロック再生部310は、TAI(International Atomic Time)時刻を提供するTAI時刻サーバ200(例えばPTPサーバ)と通信してTAI時刻を表現するカウンタ値を再生するものである。TAIクロック再生部310は、TAI時刻サーバ200から離散的に送られてくるPTPパケットのTAI時刻のカウンタ値を連続的なものとして再生して、この再生された絶対値のTAI時刻(装置内の基準クロック)をPTS決定部350に出力する。また、本実施形態では、TAIクロック再生部310は、TAI時刻サーバ200からUTC-TAIオフセット(currentUTCOffset)を取得して保持する。
受信装置500において利用するUTC-TAIオフセットは、例えば、前記(i)の70年分のオフセット値と、前記(ii)過去のうるう秒の挿入が積算された秒数を示すオフセット値との和で定義され、32ビットのビット幅を有する。この場合、TAIクロック再生部310は、TAI時刻サーバ200から取得した(ii)過去のうるう秒の挿入が積算された秒数(currentUTCOffset)に対して、前記(i)の70年分のオフセット値を加算した値を有するUTC-TAIオフセットをPTS決定部350に出力する。なお、UTC-TAIオフセットが、例えば、前記(ii)過去のうるう秒の挿入が積算された秒数を示すオフセット値で定義される場合、TAIクロック再生部310は、TAI時刻サーバ200から取得した(ii)過去のうるう秒の挿入が積算された秒数(currentUTCOffset)をそのままUTC-TAIオフセットとしてPTS決定部350に出力する。
フレームバッファ部320は、映像音声信号源100から入力する映像信号を保持するメモリであり、保持された映像信号は、HEVCエンコーダ部330に入力される。つまり、フレームバッファ部320は、HEVCエンコーダ部330に入力される前の映像信号を一時的に保持する。
HEVCエンコーダ部330は、映像フレームの符号化を行って符号化された映像信号とGOP(Group Of Picture)開始トリガ信号とを出力するものである。HEVCエンコーダ部330は、フレームバッファ部320から映像フレームを取得し、符号化を行う。HEVCエンコーダ部330においては、各フレームについて、フレーム内符号化やフレーム間参照符号化など各種符号化モードを決定して、符号化モードを行う。放送用途では、およそ0.5秒の一定周期でフレーム内符号化を行うイントラフレームでの符号化を行う。
HEVCエンコーダ部330は、符号化された映像信号(HEVC符号化データ)をMMT多重化部340に出力する。MMT多重化部340では、イントラフレームを先頭とするGOPをMPUとして扱うため、HEVCエンコーダ部330は、イントラフレームを符号化したタイミングで、PTS決定部350とMPUシーケンス番号カウンタ部360にGOP開始トリガを送信する。HEVCエンコーダ部330は、各フレームのピクチャリオーダー情報としてDTS-PTS差分情報を、ISOBMFFメタデータ生成部380に出力する。
GOP開始トリガ信号とは、HEVCエンコーダ部330が、あるフレームをフレーム内符号化のみでイントラフレームとして符号化し、新規のMPU(GOP)が開始することを送信装置300内の各部に通知するトリガ信号である。なお、GOP開始トリガ信号の実現のためにインターフェースやデータの形式が限定されるものではない。一例として、HEVCエンコーダ部330が、符号化処理中のフレームの符号化モードをイントラフレームと決定した時点でGOP開始トリガ信号を出力しても良い。また、既存のエンコーダへの軽微な機能付加によってGOP開始トリガ信号を実現することができる。例えば、HEVCエンコーダ部330が、既存のエンコーダと、このエンコーダから実際にイントラフレームとして符号化された符号データが出力されたこと検知するとGOP開始トリガ信号を生成する付加機能部と、を備える構成としても良い。このようにGOP開始トリガ信号の実現のためには様々な実装が可能である。
PTS決定部350は、TAIクロック再生部310で再生されたTAI時刻を表現するカウンタ値に基づいて、HEVCエンコーダ部330からのGOP開始トリガ信号に従って、MPUに付与するPTS(Presentation Timestamp)として、TAI時刻で表したMPUタイムスタンプ(以下、TAI-MPUタイムスタンプという)を決定するものである。PTS決定部350は、TAI-MPUタイムスタンプを記述子生成部370に出力する。また、PTS決定部350は、TAI-MPUタイムスタンプを決定するのと同じタイミングのUTC-TAIオフセット情報を、記述子生成部370に出力する。
なお、PTS決定部350がGOP開始トリガ信号を受けたUTC時刻をそのまま該当MPUのPTSとすると、処理タイミングによる誤差を生じる可能性がある。このような誤差を防止するため、本実施形態では、PTS決定部350は、新規に開始するMPUに付与するPTSを次のように決定する。すなわち、PTS決定部350は、新規に開始するMPUの直前のMPU内のフレーム数に基づいて当該直前のMPUのデュレーション(時間長)を計算する。そして、PTS決定部350は、当該直前のMPUに付与されたPTS(UTC時刻)に、当該直前のMPUのデュレーション(時間長)を加算した値(UTC時刻)を、新規に開始するMPUのPTSとして決定する。つまり、前のMPUの先頭時刻にそのMPUの継続時間を加算した時刻を次のMPUの先頭時刻とすることを再帰的に繰り返す。PTS決定部350は、このようにすることで正確なPTSを算出してMPUに付与できる。
MPUシーケンス番号カウンタ部360は、MPU毎に、そのMPUを特定するためのMPUシーケンス番号を1ずつインクリメントするものである。MPUシーケンス番号カウンタ部360は、MPUシーケンス番号の現在値を保持しており、HEVCエンコーダ部330からのGOP開始トリガ信号に従って、MPUシーケンス番号をカウントアップして、新たなMPUのMPUシーケンス番号を決定し、MPUシーケンス番号の現在値を記述子生成部370に出力する。
記述子生成部370は、MPUシーケンス番号と、TAI時刻で表したMPUタイムスタンプ(TAI-MPUタイムスタンプ)と、UTC-TAIオフセットと、を含む記述子をTAI-MPUタイムスタンプ記述子(図3)として生成する。ここで、UTC-TAIオフセットは、TAI-MPUタイムスタンプがMPUに付与されたのと同じタイミングにおける秒で表したUTC(Coordinated Universal Time)時刻とTAI時刻との差分を示す。TAI-MPUタイムスタンプ記述子は、MMTの制御情報に多重化されてMMT多重化部340に出力される。
ISOBMFFメタデータ生成部380は、HEVCエンコーダ部330から、各フレームのピクチャリオーダー情報としてDTS(Decoding Timestamp)とPTSとの差分値を指示する情報であるDTS-PTS差分情報を取得し、MPU単位またはMPUを分割したチャンク単位のメタデータとして、DTS-PTS差分情報を含むISOBMFFのメタデータを生成する。フレーム間参照を用いた符号化処理のために順序を入れ替えたI(イントラ)フレーム、P(Predictive)フレーム、B(Bidirectionally Predictive)フレームには、時間方向にリオーダー(復号順序と表示順序の並び替え)が発生するので、ISOBMFFメタデータ生成部380は、そのリオーダー情報として、DTS-PTS差分情報のISOBMFFメタデータを生成する。生成されたメタデータはムービーフラグメントメタデータのパケットに多重化されてMMT多重化部340に出力される。
なお、DTS-PTS差分情報を含むISOBMFFメタデータは、MPU(GOP)を分割したチャンク単位で生成して送信することもできる。例えば、MPU(GOP)が32フレームで構成される場合に、8フレームをチャンクとし、8フレーム分のDTS-PTS差分情報を含むISOBMFFメタデータを生成し、ムービーフラグメントメタデータとして送信することができる。
MMT多重化部340は、映像信号と各種制御情報とを多重化し、MMT信号として伝送路400を介して受信装置500へ伝送する。MMT多重化部340には、HEVCエンコーダ部330から、HEVC符号化データが入力し、記述子生成部370から、TAI-MPUタイムスタンプ記述子が入力し、ISOBMFFメタデータ生成部380からメタデータが入力する。MMT多重化部340は、符号化された映像信号(HEVC符号化データ)と、MPUに付与されるタイムスタンプ記述子(TAI-MPUタイムスタンプ記述子)と、DTS-PTS差分情報を含むメタデータと、を多重化してMMT信号を生成する。
[5.送信装置の動作]
次に、図6を参照(適宜図1および図5参照)して、本発明の第1実施形態に係る送信装置の動作について説明する。
送信装置300のTAIクロック再生部310は、TAI時刻サーバ200と通信してTAI時刻を表現するカウンタ値を再生する(ステップS101)。一方、HEVCエンコーダ部330は、入力する映像信号の符号化を行ってHEVC符号データとGOP開始トリガ信号とを出力する。
そして、PTS決定部350は、TAIクロック再生部310で再生されたTAI時刻を表現するカウンタ値に基づいて、HEVCエンコーダ部330からのGOP開始トリガ信号に従って、TAI-MPUタイムスタンプを決定する(ステップS102)。
そして、記述子生成部370は、MPUシーケンス番号と、TAI-MPUタイムスタンプと、UTC-TAIオフセットと、を含むTAI-MPUタイムスタンプ記述子を生成する(ステップS103)。一方、ISOBMFFメタデータ生成部380は、HEVCエンコーダ部330から、各フレームのピクチャリオーダー情報としてDTS-PTS差分情報を取得し、DTS-PTS差分情報を含むISOBMFFメタデータとして生成する。
そして、MMT多重化部340は、HEVCエンコーダ部330からのHEVC符号データと、記述子生成部370からのTAI-MPUタイムスタンプ記述子と、DTS-PTS差分を含むメタデータと、を多重化してMMT信号を生成し、伝送路400から受信装置500へ送信する(ステップS104)。
[6.受信装置の構成]
次に、受信装置500の構成例について図7を参照して説明する。なお、説明を簡略化するために、特にピクチャリオーダー(復号順序と表示順序の並び替え)情報が必要な映像処理に特化して説明し、音声処理の説明を省略している。
受信装置500は、送信装置300から送信されるMMT信号を受信する受信装置であって、UTCクロック再生部510と、MMT多重分離部520と、記述子解析部530と、TAIオフセット加算部540と、ISOBMFFメタデータ解析部550と、PTS計算部560と、HEVCデコーダ部(映像デコーダ部)570と、ピクチャリオーダーバッファ580と、を備えている。
UTCクロック再生部510は、UTC時刻を提供するUTC時刻サーバ800(例えばNTPサーバ)と通信してUTC時刻を表現するカウンタ値を再生するものである。UTCクロック再生部510は、UTC時刻のカウンタ値をクロックとして再生し、TAIオフセット加算部540に出力する。また、UTCクロック再生部510は、UTC時刻サーバ800から提供されるうるう秒の挿入・削除を予告する、うるう秒指示子(Leap Indicator)も受信する。
MMT多重分離部520は、この受信装置500に入力するMMT信号から、例えば、制御情報、MPUシーケンス番号、メタデータ、HEVC符号データ(符号化された映像信号)を分離して、制御情報からTAI-MPUタイムスタンプ記述子を抽出する。MMT多重分離部520は、TAI-MPUタイムスタンプ記述子等の制御情報およびMPUシーケンス番号を記述子解析部530に出力する。MMT多重分離部520は、メタデータをISOBMFFメタデータ解析部550に出力し、HEVC符号データをHEVCデコーダ部570に出力する。
記述子解析部530は、MMT信号に多重され伝送されたTAI-MPUタイムスタンプ記述子から、所定のMPUにおけるTAI時刻で表したMPUタイムスタンプ(TAI-MPUタイムスタンプ)と、UTC-TAIオフセットと、を抽出するものである。記述子解析部530は、MMT多重分離部520から取得したTAI-MPUタイムスタンプ記述子を解析して、現在のMPUのTAI-MPUタイムスタンプと、UTC-TAIオフセットとを特定する。記述子解析部530は、UTC-TAIオフセットをTAIオフセット加算部540に出力する。記述子解析部530は、TAI-MPUタイムスタンプをPTS計算部560に出力する。なお、TAI-MPUタイムスタンプには、MPUの先頭のピクチャの絶対時刻による提示時刻が格納されている。
TAIオフセット加算部540は、UTCクロック再生部510で再生されたUTC時刻を表現するカウンタ値にUTC-TAIオフセットを加算することでカウンタ値をTAI時刻を表現するカウンタ値へ変換するものである。TAIオフセット加算部540は、UTCクロック再生部510から取得したUTC時刻に対して、記述子解析部530から取得したUTC-TAIオフセットを加算して、クロックをTAI時刻の絶対時刻で表現されたクロックへ変換する。TAIオフセット加算部540は、TAI時刻のクロックをピクチャリオーダーバッファ580に出力する。
ここで、TAI-MPUタイムスタンプ記述子で伝送されるUTC-TAIオフセットは、あくまでも送信装置300がPTSを決定したタイミングのUTC時刻においてのUTC-TAIオフセットである。そのため、送信装置300と受信装置500との間に伝送遅延がある場合には、以下の注意が必要である。図4に示したようにUTC時刻へのうるう秒の挿入のタイミングではUTC-TAIオフセットが減少し、一方、うるう秒の削除のタイミングでは図示を省略するがUTC-TAIオフセットが増加する。伝送遅延がなければ、受信装置500においてUTC時刻へうるう秒の挿入・削除のタイミングは、例えばTAI-MPUタイムスタンプ記述子で伝送されるUTC-TAIオフセットが増減するタイミングと等しい。一方、伝送遅延がある場合、受信装置500がUTC時刻サーバ800から直接参照するUTC時刻へのうるう秒の挿入・削除のタイミングに対して、TAI-MPUタイムスタンプ記述子で伝送されるUTC-TAIオフセットが増減するタイミングが伝送遅延の分だけ遅延し、タイミングにずれが生じることで正しくTAI時刻に変換されない可能性がある。
これを回避するために、本実施形態では、以下の方法を用いてもよい。この対処方法では、受信装置500のUTCクロック再生部510は、送信装置300からのMMT信号の受信開始時の一度だけUTC時刻サーバ800(例えばNTPサーバ)から取得したUTC時刻の絶対値を利用して、その後は、UTC時刻サーバ800から取得される時刻情報を単に時間経過の速度リファレンスとして使用して、単純増加する時刻を出力する。UTCクロック再生部510は、MMT信号の受信開始後にUTC時刻サーバ800(例えばNTPサーバ)の時刻情報を時間経過の速度リファレンスとして使用する際に、うるう秒指示子も参照して、うるう秒の挿入・削除が行われたとしても、そのうるう秒の影響を除外するよう考慮した制御として、TAI時刻と同様に単純増加する時刻(UTC時刻の絶対値)を出力し続ける。このようにすることで、UTCクロック再生部510の後段のTAIオフセット加算部540は、うるう秒の挿入・削除について特別に考慮した制御が不要となる。この場合、TAIオフセット加算部540は、MMT信号の受信開始後最初に受信したUTC-TAIオフセット(初期値)を保持して、その後、TAI-MPUタイムスタンプ記述子で伝送されるUTC-TAIオフセットが増減しても、受信開始時に保持したUTC-TAIオフセットの初期値をそのまま利用する。
なお、TAIオフセット加算部540は、送信側と受信側とで共通の規格・運用の取り決めによる必要に応じて、TAI-MPUタイムスタンプ記述子で伝送されるUTC-TAIオフセットの値をそのままUTC時刻に加算するのではなく、伝送されてきたUTC-TAIオフセットの正負符号の反転や、織り込み済みの固定値のオフセットの加算などを行った上で、UTC時刻に加算することでTAI時刻に変換する。
ISOBMFFメタデータ解析部550は、MMT信号に多重され伝送されたメタデータからDTS-PTS差分情報を抽出するものである。ISOBMFFメタデータ解析部550は、MMT多重分離部520で分離されたメタデータから、例えば現在のMPUに属する各フレームのDTS-PTS差分情報を抽出し、DTS-PTS差分情報をPTS計算部560に出力する。DTS-PTS差分情報は、絶対時刻ではなく相対値で表現されている。なお、DTS-PTS差分情報を含むISOBMFFメタデータが、MPU(GOP)を分割したチャンク単位で受信される場合には、ISOBMFFメタデータ解析部550は、例えば、8フレームのチャンク単位でDTS-PTS差分情報をPTS計算部560に出力する。
PTS計算部560は、TAI時刻で表したMPUタイムスタンプ(TAI-MPUタイムスタンプ)と、ISOBMFFメタデータ解析部550から抽出された各フレームのDTS-PTS差分情報と、からMPU内の各フレームのTAI時刻で表したPTSを計算するものである。PTS計算部560は、記述子解析部530から取得したTAI-MPUタイムスタンプと、ISOBMFFメタデータ解析部550から出力されたDTS-PTS差分情報(相対値)とから、各フレームのTAI時刻で表したPTSを計算する。TAIオフセット加算部540は、各フレームのTAI時刻のPTSをピクチャリオーダーバッファ580に出力する。
HEVCデコーダ部570は、MMT多重分離部520で分離されたHEVC符号データを復号し、復号した映像フレーム(各ピクチャ)をピクチャリオーダーバッファ580に出力する。
ピクチャリオーダーバッファ580は、MMT信号に多重され伝送された映像信号を復号した映像フレームが入力され、TAIオフセット加算部540で変換されたTAI時刻を表現するカウンタ値と、PTS計算部560で算出された各フレームのTAI時刻で表したPTSと、を比較し、必要に応じて映像フレームを並べ替えて、モニタ600等に出力する。
なお、送信装置300と受信装置500の間に伝送遅延がある場合においては、PTSで指示されたTAI時刻が、TAIオフセット加算部540で変換されたTAI時刻に対して過去の時刻になる場合がある。この場合、ピクチャリオーダーバッファ580は、PTSに加算するオフセット時間を調整し、各フレームのPTSにこのオフセット時間を加算したTAI時刻と、TAIオフセット加算部540で変換されたTAI時刻と、を比較して提示制御を行う。オフセット時間については、バッファアンダーフローが起きる場合にはオフセット時間を大きくし、バッファオーバーフローが起きる場合にはオフセット時間を小さくするように制御を行うことで、安定した再生が可能となる。
[7.受信装置の動作]
次に、図8を参照(適宜図1および図7参照)して、本発明の第1実施形態に係る受信装置の動作について説明する。
受信装置500のUTCクロック再生部510は、UTC時刻サーバ800と通信してUTC時刻を表現するカウンタ値を再生する(ステップS201)。一方、MMT多重分離部520は、伝送されてきたMMT信号から、制御情報、MPUシーケンス番号、メタデータ、HEVC符号データを分離して、制御情報からTAI-MPUタイムスタンプ記述子を抽出する。
そして、記述子解析部530は、MMT信号から多重分離されたTAI-MPUタイムスタンプ記述子から、TAI-MPUタイムスタンプと、UTC-TAIオフセットと、を抽出する(ステップS202)。そして、TAIオフセット加算部540は、UTCクロック再生部510で再生されたUTC時刻を表現するカウンタ値にUTC-TAIオフセットを加算して、TAI時刻へ変換する(ステップS203)。
そして、ISOBMFFメタデータ解析部550は、MMT信号から多重分離されたメタデータから、DTS-PTS差分を抽出する(ステップS204)。そして、PTS計算部560は、TAI-MPUタイムスタンプと、例えばMPUに属する各フレームのDTS-PTS差分とから、MPU内の各フレームのTAI時刻で表したPTSを計算する(ステップS205)。一方、HEVCデコーダ部570は、MMT信号から多重分離されたHEVC符号データを復号し、復号した映像フレーム(各ピクチャ)をピクチャリオーダーバッファ580に出力する。
そして、ピクチャリオーダーバッファ580は、TAI時刻を表現するカウンタ値と、各フレームのTAI時刻で表したPTS(必要に応じてオフセット時間を加算)と、を比較し、必要に応じて映像フレームを並べ替えてモニタ600に出力する(ステップS206)。
(第2実施形態)
次に、第2実施形態に係る伝送システムについて説明する。第2実施形態に係る伝送システムの全体構成は第1実施形態と同様であり(図1参照)、送信装置の構成が異なっている。図9は、第2実施形態に係る送信装置を模式的に示すブロック図である。なお、図9において、図5に示した送信装置の構成と同じ構成には同じ符号を付して説明を省略する。
図9に示すように、送信装置300Bは、TAIクロック再生部310と、フレームバッファ部320と、HEVCエンコーダ部330と、MMT多重化部340と、PTS決定部350と、MPUシーケンス番号カウンタ部360と、記述子生成部370と、ISOBMFFメタデータ生成部380と、を備えると共に、さらに、起点(エポック)を変えるために起点オフセット加算部390を備えている。
本実施形態では、TAIクロック再生部310は、通信によりTAI時刻サーバ200から取得したTAI時刻のカウンタ値を、装置内の基準クロックとして再生し、起点オフセット加算部390に出力する。また、TAIクロック再生部310は、TAI時刻サーバ200からUTC-TAIオフセット(currentUTCOffset)を取得して保持し、起点オフセット加算部390に出力する。
起点オフセット加算部390は、TAIクロック再生部310で再生されたTAI時刻を表現するカウンタ値に秒で表した所定の固定値のオフセットを加算して、TAI時刻を表現するカウンタ値の起点を変更するものである。起点オフセット加算部390は、オフセットが加算されたTAI時刻を表現するカウンタ値と、UTC-TAIオフセットとをPTS決定部350に出力する。本実施形態では、PTS決定部350は、起点オフセット加算部390でオフセットが加算されたTAI時刻を表現するカウンタ値と、GOP開始トリガ信号と、に従って、TAI時刻で表したMPUタイムスタンプ(TAI-MPUタイムスタンプ)を決定する。
TAI時刻を提供するTAI時刻サーバ200がPTPサーバである場合、TAIクロック再生部310で再生されたTAI時刻を表現するカウンタ値は、起点(エポック)が1970年1月1日0:00:00(UTC)の時刻情報を示している。起点オフセット加算部390は、この起点(エポック)を変更する。起点オフセット加算部390は、再生されたTAI時刻を表現するカウンタ値に、正のオフセットまたは負のオフセットを加算することができる。正のオフセットが加算される場合、起点(エポック)が時間的に遡ることに相当するので、起点が1970年1月1日0:00:00(UTC)よりも前の日時、例えばUTC時刻の起点と同じ日時のように変更することができる。一方、正のオフセットが加算される場合、起点(エポック)が延期されることに相当するので、起点が1970年1月1日0:00:00(UTC)よりも後の日時、例えば2000年1月1日0:00:00(UTC)のように変更することができる。
TAI時刻を提供するTAI時刻サーバ200がPTPサーバである場合、起点オフセット加算部390は、一例として、次のようにTAI時刻を表現するカウンタ値の起点を、NTP形式のUTC時刻の起点と同じ日時に変更してもよい。すなわち、起点オフセット加算部390は、TAI時刻を表現するカウンタ値の起点を1970年1月1日0:00:00(UTC)とするPTP形式のTAI時刻を表現するカウンタ値に、秒で表した所定のオフセットを加算することで、NTP(Network Time Protocol)形式のUTC時刻と同様の1900年1月1日0:00:00(UTC)を起点としたTAI時刻を表現するカウンタ値を生成する。ここで、PTP形式のTAI時刻を表現するカウンタ値(秒部分)に加算されるオフセットは、具体的には、NTP形式のUTC時刻において1970年1月1日0:00:00(UTC)を表現するカウンタ値(秒部分)である。
このようにTAI時刻を表現するカウンタ値の起点を、NTP形式のUTC時刻の起点と同じ日時に変更した場合、起点オフセット加算部390がPTS決定部350に出力するUTC-TAIオフセットにおいて、前記(i)の70年分のオフセット値を考慮する必要はない。よって、この場合、起点オフセット加算部390がPTS決定部350に出力するUTC-TAIオフセットは、前記(ii)過去のうるう秒の挿入が積算された秒数を示すオフセット値とすればよい。
なお、第1実施形態では、TAIクロック再生部310が、TAI時刻サーバ200から取得したcurrentUTCOffsetに例えば前記(i)の70年分のオフセット値を加算した値を有するUTC-TAIオフセットを出力できることとしたが、このような機能を起点オフセット加算部390へ集約してもよい。つまり、第2実施形態では、TAIクロック再生部310は、currentUTCOffsetをそのまま起点オフセット加算部390へ出力し、起点オフセット加算部390が、再生されたTAI時刻を表現するカウンタ値にオフセットを加算する機能と、PTS決定部350へ出力するUTC-TAIオフセットの値を決定する機能と、を兼務するようにしてもよい。
(変形例)
前記各実施形態に係る送信装置および受信装置において、映像コーデックはHEVCの場合を例に説明したが、これ限定されるものではない。例えば、AVC(Advanced Video Coding)、VVC(Versatile Video Coding)やAV1(AOMedia Video 1)のようなその他の映像符号化方式であっても適用が可能である。
また、映像コーデックのみならず、AAC(Advanced Audio Codec)など音声コーデックにも適用可能である。なお、映像でGOPに相当する符号化単位のMPUは、音声コーデックの場合、任意のAU(Access Unit)を境界にすることができるため、一定の時間周期でMPUを構成する場合や、映像のGOPに同期してMPUを構成する場合が考えられる。
また、送信装置は、TAI時刻(起点日時を変更した場合も含む)によるTAI-MPUタイムスタンプを含むTAI-MPUタイムスタンプ記述子と、UTC時刻によるMPUタイムスタンプを含むMPUタイムスタンプ記述子とを併用して送信しても良い。さらにこの場合、MPUタイムスタンプ(UTC)の秒未満の小数部とTAI-MPUタイムスタンプの秒未満の小数部はうるう秒によらず共通であるため、TAI-MPUタイムスタンプ記述子ではTAI-MPUタイムスタンプの秒未満の小数部(小数点以下のビット部分)を省略し、整数部(秒数を表すビット部分)のみを伝送することも可能である。
また、送信側と受信側との間に伝送遅延がある場合に受信装置500において正しくTAI時刻に変換されない可能性に対処する方法として、前記実施形態で説明した対処方法の代わりに以下の対処方法を用いてもよい。この変形例の受信装置500では、UTCクロック再生部510は、UTC時刻サーバ800から取得したUTC時刻の絶対値を常に利用してTAIオフセット加算部540に出力し、うるう秒の挿入・削除が行われたときには、それを反映したUTC時刻の絶対値を出力する。そして、TAIオフセット加算部540は、TAI-MPUタイムスタンプ記述子で伝送されるUTC-TAIオフセットの増減するのを待たず、うるう秒指示子で予告されたUTC時刻へうるう秒の挿入・削除のタイミングに合わせて、先行的にUTC-TAIオフセットを増減させる。変形例の受信装置500は、UTC-TAIオフセットの絶対値を知るにはTAI-MPUタイムスタンプ記述子を少なくとも一回受信する必要があるものの、UTC時刻へのうるう秒の削除・挿入によってUTC-TAIオフセットがどのように増減するかは、送信側と受信側とで共通の規格・運用の取り決めによって容易に予測できる。
以上、本発明の実施形態に係る送信装置および受信装置について説明したが、本発明の趣旨はこれらの記載に限定されるものではなく、特許請求の範囲の記載に基づいて広く解釈されなければならない。また、これらの記載に基づいて種々変更、改変などしたものも本発明の趣旨に含まれることはいうまでもない。
本実施形態に係る送信装置および受信装置は、衛星放送、地上放送、ケーブル放送、IPマルチキャスト放送などでMMTを用いたコンテンツ伝送に利用することができる。
1 伝送システム
100 映像音声信号源
200 TAI時刻サーバ(時刻サーバ)
300,300B 送信装置
310 TAIクロック再生部
320 フレームバッファ部
330 HEVCエンコーダ部(映像エンコーダ部)
340 MMT多重化部
350 PTS決定部
360 MPUシーケンス番号カウンタ部
370 記述子生成部
380 ISOBMFFメタデータ生成部
390 起点オフセット加算部
400 伝送路
500 受信装置
510 UTCクロック再生部
520 MMT多重分離部
530 記述子解析部
540 TAIオフセット加算部
550 ISOBMFFメタデータ解析部
560 PTS計算部
570 HEVCデコーダ部
580 ピクチャリオーダーバッファ
600 モニタ
700 スピーカ
800 UTC時刻サーバ(時刻サーバ)

Claims (4)

  1. 符号化された映像信号と、MPU(Media Processing Unit)に付与されるタイムスタンプ記述子と、メタデータとを多重化したMMT(MPEG Media Transport)信号を送信する送信装置であって、
    TAI(International Atomic Time)時刻を提供する時刻サーバと通信してTAI時刻を表現するカウンタ値を再生するTAIクロック再生部と、
    映像フレームの符号化を行って符号化された映像信号とGOP(Group Of Picture)開始トリガ信号とを出力する映像エンコーダ部と、
    前記TAIクロック再生部で再生されたTAI時刻を表現するカウンタ値に基づいて、前記映像エンコーダ部からの前記GOP開始トリガ信号に従って、MPUに付与するPTS(Presentation Timestamp)として、TAI時刻で表したMPUタイムスタンプを決定するPTS決定部と、
    MPUシーケンス番号と、前記TAI時刻で表したMPUタイムスタンプと、前記TAI時刻で表したMPUタイムスタンプが前記MPUに付与されたのと同じタイミングにおける秒で表したUTC(Coordinated Universal Time)時刻とTAI時刻との差分を示すUTC-TAIオフセットと、を含む記述子を前記タイムスタンプ記述子として生成する記述子生成部と、
    前記映像エンコーダ部から、各フレームのピクチャリオーダー情報としてDTS(Decoding Timestamp)とPTSとの差分値を指示する情報であるDTS-PTS差分情報を取得し、前記メタデータとして、MPU単位または前記MPUを分割したチャンク単位で前記DTS-PTS差分情報を含むISOベース・メディア・ファイル・フォーマット(ISOBMFF)のメタデータを生成するISOBMFFメタデータ生成部と、
    前記符号化された映像信号と、前記MPUに付与されるタイムスタンプ記述子と、前記DTS-PTS差分情報を含む前記メタデータと、を多重化して前記MMT信号を生成するMMT多重化部と、を備える
    ことを特徴とする送信装置。
  2. 前記TAIクロック再生部で再生されたTAI時刻を表現するカウンタ値に秒で表した所定のオフセットを加算して、TAI時刻を表現するカウンタ値の起点を変更する起点オフセット加算部を備え、
    前記PTS決定部は、前記起点オフセット加算部で前記オフセットが加算されたTAI時刻を表現するカウンタ値と、前記GOP開始トリガ信号と、に従って、前記TAI時刻で表したMPUタイムスタンプを決定する、
    ことを特徴とする請求項1に記載の送信装置。
  3. 前記TAI時刻を提供する時刻サーバはPTP(Precision Time Protocol)サーバであり、
    前記起点オフセット加算部は、TAI時刻を表現するカウンタ値の起点を1970年1月1日0:00:00(UTC)とするPTP形式のTAI時刻を表現するカウンタ値に、秒で表した所定の正のオフセットまたは負のオフセットを加算することで、1970年1月1日0:00:00(UTC)よりも前の日時または後の日時を起点としたTAI時刻を表現するカウンタ値を生成する、
    ことを特徴とする請求項2に記載の送信装置。
  4. 送信装置から送信されるMMT信号を受信する受信装置であって、
    UTC時刻を提供する時刻サーバと通信してUTC時刻を表現するカウンタ値を再生するUTCクロック再生部と、
    前記MMT信号に多重され伝送されたタイムスタンプ記述子から、所定のMPUにおけるTAI時刻で表したMPUタイムスタンプと、UTC-TAIオフセットと、を抽出する記述子解析部と、
    前記UTCクロック再生部で再生されたUTC時刻を表現するカウンタ値に前記UTC-TAIオフセットを加算することで前記カウンタ値をTAI時刻を表現するカウンタ値へ変換するTAIオフセット加算部と、
    前記MMT信号に多重され伝送されたメタデータから各フレームのピクチャリオーダー情報としてDTSとPTSとの差分値を指示する情報であるDTS-PTS差分情報を抽出するISOBMFFメタデータ解析部と、
    前記TAI時刻で表したMPUタイムスタンプと、前記ISOBMFFメタデータ解析部から抽出された各フレームのDTS-PTS差分情報と、から各フレームのTAI時刻で表したPTSを計算するPTS計算部と、
    前記MMT信号に多重され伝送された映像信号を復号した映像フレームが入力され、前記TAIオフセット加算部で変換されたTAI時刻を表現するカウンタ値と、各フレームのTAI時刻で表したPTSと、を比較して必要に応じて前記映像フレームを並べ替えて出力するピクチャリオーダーバッファと、を備える
    ことを特徴とする受信装置。
JP2020173226A 2020-10-14 2020-10-14 送信装置および受信装置 Active JP7569195B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020173226A JP7569195B2 (ja) 2020-10-14 2020-10-14 送信装置および受信装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020173226A JP7569195B2 (ja) 2020-10-14 2020-10-14 送信装置および受信装置

Publications (2)

Publication Number Publication Date
JP2022064531A true JP2022064531A (ja) 2022-04-26
JP7569195B2 JP7569195B2 (ja) 2024-10-17

Family

ID=81385947

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020173226A Active JP7569195B2 (ja) 2020-10-14 2020-10-14 送信装置および受信装置

Country Status (1)

Country Link
JP (1) JP7569195B2 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5708866B1 (ja) 2014-04-10 2015-04-30 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP6679314B2 (ja) 2015-03-31 2020-04-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 受信方法、受信装置及び送受信システム
JPWO2017057040A1 (ja) 2015-09-30 2018-08-16 ソニー株式会社 データ処理装置、及び、データ処理方法
US10652849B2 (en) 2018-07-16 2020-05-12 Sinclair Broadcast Group, Inc. Using broadcast physical layer for one-way time transfer of universal coordinated time to receivers

Also Published As

Publication number Publication date
JP7569195B2 (ja) 2024-10-17

Similar Documents

Publication Publication Date Title
JP7506219B2 (ja) 再生方法および再生装置
US8351514B2 (en) Method, protocol, and apparatus for transporting advanced video coding content
US10547893B2 (en) Receiving method, receiving device, and transmission and reception system
EP2628297B1 (en) Method for synchronizing multimedia flows and corresponding device
US11849166B2 (en) Transmitting method, receiving method, transmitting device, and receiving device
JP7295293B2 (ja) 送信方法、受信方法、送信装置及び受信装置
JP7307237B2 (ja) 受信方法、送信方法、受信装置及び送信装置
JP2019024222A (ja) 復号装置、受信機器、送信機器、送受信システム、復号方法、および復号用プログラムが記憶された記憶媒体
JP2023029415A (ja) 送信方法、受信方法、送信装置及び受信装置
JP2013192148A (ja) 受信装置、クロック復元方法及びプログラム
JP2018182617A (ja) 情報処理装置、情報処理方法、プログラム、および記録媒体製造方法
JPWO2016139909A1 (ja) 復号装置、受信機器、送信機器、送受信システム、復号方法、および復号用プログラム
JP2022064531A (ja) 送信装置および受信装置
CN108702533B (zh) 发送装置、发送方法、接收装置和接收方法
JP2021197584A (ja) 多重信号変換装置及びそのプログラム、並びに、受信機
JP7257646B2 (ja) 送信方法、受信方法、送信装置及び受信装置
JP7116137B2 (ja) 送信方法、受信方法、送信装置及び受信装置
US20220303609A1 (en) Receiving method, receiving device, and transmission and reception system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230904

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240828

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240910

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20241004