JP2022139106A - 送信装置及び受信装置 - Google Patents
送信装置及び受信装置 Download PDFInfo
- Publication number
- JP2022139106A JP2022139106A JP2021039349A JP2021039349A JP2022139106A JP 2022139106 A JP2022139106 A JP 2022139106A JP 2021039349 A JP2021039349 A JP 2021039349A JP 2021039349 A JP2021039349 A JP 2021039349A JP 2022139106 A JP2022139106 A JP 2022139106A
- Authority
- JP
- Japan
- Prior art keywords
- content
- information
- time
- control information
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 47
- 230000008569 process Effects 0.000 claims abstract description 27
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 230000004048 modification Effects 0.000 description 22
- 238000012986 modification Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 14
- VKALYYFVKBXHTF-UHFFFAOYSA-N 4-(methylsulfanyl)-m-cresol Chemical compound CSC1=CC=C(O)C=C1C VKALYYFVKBXHTF-UHFFFAOYSA-N 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】 異なる方式のコンテンツを適切に同期することを可能とする送信装置及び受信装置を提供する。【解決手段】 送信装置は、視点の自由度を有する第1コンテンツに付随する第1制御情報を処理する第1処理部と、前記第1コンテンツ及び前記第1制御情報に加えて、視点の自由度を有していない第2コンテンツを送信する送信部と、を備え、前記第1制御情報は、前記第2コンテンツを特定するための参照情報と、前記第1コンテンツの提示時刻を示す第1絶対時刻情報と、を含む。【選択図】図2
Description
本発明は、送信装置及び受信装置に関する。
従来、2D映像及び音声などのコンテンツを伝送する標準規格として、ISO/IEC 23008-1(以下、MMT(MPEG Media Transport))及びISO/IEC 23009-1(以下、MPEG-DASH(Dynamic Adaptive Stream over HTTP))が知られている。このような標準規格では、コンテンツを提示する絶対時刻を示すタイムスタンプ記述子が制御情報(MMT-SI(Signaling Information))の一つとして定義されている。
一方で、360°映像及び3Dオブジェクトなどのコンテンツを伝送する仕組みも提案されている(例えば、非特許文献1)。このような仕組としては、利用者が座位で頭を動かした範囲の視点移動を伴う3DoF+(Degree of Freedom)、利用者が自由に動く範囲の視点移動を伴う6DoFなどが知られている。このような仕組みでは、360°映像と3Dオブジェクトとの位置関係は、シーン記述によって示される。
3GPP TR 26.928 V16.1.0 2020年12月
上述した背景下において、発明者等は、異なる方式のコンテンツを組み合わせて提示する利用シーンについて着目したところ、上述したシーン記述がMMT-SIとは独立しているため、異なる方式のコンテンツを適切に同期することができないことを見出した。
そこで、本発明は、上述した課題を解決するためになされたものであり、異なる方式のコンテンツを適切に同期することを可能とする送信装置及び受信装置を提供することを目的とする。
開示に係る送信装置は、視点の自由度を有する第1コンテンツに付随する第1制御情報を処理する第1処理部と、前記第1コンテンツ及び前記第1制御情報に加えて、視点の自由度を有していない第2コンテンツを送信する送信部と、を備え、前記第1制御情報は、前記第2コンテンツを特定するための参照情報と、前記第1コンテンツの提示時刻を示す第1絶対時刻情報と、を含む。
開示に係る受信装置は、視点の自由度を有する第1コンテンツ、前記第1コンテンツに付随する第1制御情報及び視点の自由度を有していない第2コンテンツを受信する受信部と、前記第1制御情報を処理する第1処理部と、を備え、前記第1制御情報は、前記第2コンテンツを特定するための参照情報と、前記第1コンテンツの提示時刻を示す第1絶対時刻情報と、を含む。
本発明によれば、異なる方式のコンテンツを適切に同期することを可能とする送信装置及び受信装置を提供することができる。
次に、本発明の実施形態について説明する。なお、以下の図面の記載において、同一または類似の部分には、同一または類似の符号を付している。ただし、図面は模式的なものであり、各寸法の比率などは現実のものとは異なることに留意すべきである。
したがって、具体的な寸法などは以下の説明を参酌して判断すべきものである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。
[開示の概要]
開示の概要に係る送信装置は、視点の自由度を有する第1コンテンツに付随する第1制御情報を処理する第1処理部と、前記第1コンテンツ及び前記第1制御情報に加えて、視点の自由度を有していない第2コンテンツを送信する送信部と、を備え、前記第1制御情報は、前記第2コンテンツを特定するための参照情報と、前記第1コンテンツの提示時刻を示す第1絶対時刻情報と、を含む。
開示の概要に係る送信装置は、視点の自由度を有する第1コンテンツに付随する第1制御情報を処理する第1処理部と、前記第1コンテンツ及び前記第1制御情報に加えて、視点の自由度を有していない第2コンテンツを送信する送信部と、を備え、前記第1制御情報は、前記第2コンテンツを特定するための参照情報と、前記第1コンテンツの提示時刻を示す第1絶対時刻情報と、を含む。
開示の概要に係る受信装置は、視点の自由度を有する第1コンテンツ、前記第1コンテンツに付随する第1制御情報及び視点の自由度を有していない第2コンテンツを受信する受信部と、前記第1制御情報を処理する第1処理部と、を備え、前記第1制御情報は、前記第2コンテンツを特定するための参照情報と、前記第1コンテンツの提示時刻を示す第1絶対時刻情報と、を含む。
開示の概要では、第1コンテンツ及び第2コンテンツを組み合わせて提示する新たな利用シーンについて着目した場合において、第1制御情報は、第2コンテンツを特定するための参照情報と、第1コンテンツの提示時刻を示す第1絶対時刻情報と、を含む。このような構成によれば、第1制御情報に基づいて、第1コンテンツ及び第2コンテンツを適切に同期することができる。
[実施形態]
(伝送システム)
以下において、実施形態に係る伝送システムについて説明する。図1は、実施形態に係る伝送システム10を示す図である。図1に示すように、デジタル無線伝送システムは、送信装置100及び受信装置200を備える。
(伝送システム)
以下において、実施形態に係る伝送システムについて説明する。図1は、実施形態に係る伝送システム10を示す図である。図1に示すように、デジタル無線伝送システムは、送信装置100及び受信装置200を備える。
実施形態において、送信装置100は、視点の自由度を有する第1コンテンツ及び視点の自由度を有していない第2コンテンツを受信装置200に送信する。さらに、送信装置100は、第1コンテンツに付随する第1制御情報及び第2コンテンツに付随する第2制御情報を受信装置200に送信する。
第1コンテンツは、360°映像及び3Dオブジェクトを含んでもよい。第1コンテンツ及び第1制御情報は、第1方式で送信されてもよい。第1コンテンツは、利用者が座位で頭を動かした範囲の視点移動を伴う3DoF+(Degree of Freedom)、利用者が自由に動く範囲の視点移動を伴う6DoFなどに準拠してもよい。第1コンテンツは、視点の自由度を有するため、同一時刻(フレーム)において、2以上の360°映像を含んでもよく、2以上の3Dオブジェクトを含んでもよい。第1制御情報は、シーン記述と称されてもよい。
第2コンテンツは、2D映像及び音声の少なくともいずれか1つを含んでもよい。第2コンテンツ及び第2制御情報は、第2方式で送信されてもよい。第2方式は、ISO/IEC 23008-1(以下、MMT(MPEG Media Transport))に準拠する方式であってもよい。以下においては、第2方式がMMTに準拠するMMTP(MMT Protocol)であるケースについて例示する。第2制御情報は、MMT-SI(Signaling Information)と称されてもよい。
送信装置100から受信装置200への伝送は、特に限定されるものではないが、衛星放送を用いた伝送であってもよく、インターネット網を用いた伝送であってもよく、移動体通信網を用いた伝送であってもよい。
特に限定されるものではないが、伝送システムは、デジタル無線伝送システムであってもよい。デジタル無線伝送システムは、4K、8K衛星放送で用いるシステムであってもよい。受信装置200は、スマートフォン、タブレット端末、ヘッドマウントディスプレイなどのユーザ端末であってもよい。
(送信装置)
以下において、実施形態に係る送信装置について説明する。図2は、実施形態に係る送信装置100を示すブロック図である。
以下において、実施形態に係る送信装置について説明する。図2は、実施形態に係る送信装置100を示すブロック図である。
図2に示すように、送信装置100は、第1処理部101と、第2処理部102と、送信部103と、を有する。
第1処理部101は、視点の自由度を有する第1コンテンツに付随する第1制御情報(シーン記述)を処理する。第1処理部101は、第1コンテンツを処理してもよい。すなわち、第1処理部101は、360°映像を処理してもよく、3Dオブジェクトを処理してもよい。
例えば、第1処理部101は、シーン記述のパケット化によってMMTPパケットを生成してもよい。第2処理部102は、ERP(Equirectangular projection)やキューブマップなどの射影変換を360°映像に適用して、360°映像を2D映像に変換してもよい。第2処理部102は、360°映像に適用した射影変換の種類を示すメタデータを生成してもよい。第1処理部101は、3Dオブジェクトをメッシュ形式で符号化してもよい。メッシュ形式の符号化としては、ISO/IEC 14496-16 “Animation framework extension (AFX)”が用いられてもよい。第1処理部101は、3Dオブジェクトをポイントクラウド形式で符号化してもよい。ポイントクラウド形式の符号化としては、ISO/IEC 23090-5 “Video-based Point Cloud Compression”が用いられてもよい。
ここで、第1コンテンツは、一定時間幅で区切られた単位で1つのファイルに纏められる。一定時間幅は、500msであってもよい。例えば、フレームレートが60fps(frame per second)である場合には、1つのファイルは、30 frameを含む。
シーン記述は、1つのファイル毎に生成され、360°映像及び3Dオブジェクトを特定する情報をフレーム毎に含む。例えば、シーン記述は、フレームの3Dオブジェクトの名称を示す情報要素(object_name)、フレーム番号を示す情報要素(frame_number)、フレームにおける3Dオブジェクトの位置を示す情報要素(translation_object)、フレームにおける3Dオブジェクトの回転を示す情報要素(rotation_object)、フレームにおける3Dオブジェクトの大きさを示す情報要素(scale_object)などを含む。
第2処理部102は、視点の自由度を有していない第2コンテンツに付随する第2制御情報(MMT-SI)を処理する。第2処理部102は、第2コンテンツを処理してもよい。すなわち、第2処理部102は、2D映像を処理してもよく、音声を処理してもよい。例えば、第2処理部102は、2D映像、音声及びMMT-SIのパケット化によってMMTPパケットを生成してもよい。
例えば、MMTPパケットは、IP(Internet Protocol)パケットに格納される。IPパケットは、UDP(User Datagram Protocol)を用いて伝送されてもよく、TCP(Transmission Control Protocol)を用いて伝送されてもよい。
ここで、第2コンテンツは、一定時間幅で区切られた単位(以下、MPU;Media Processing Unit)で処理される。MPUは、1以上のアクセスユニットを含む。アクセスユニットは、MFU(Media Fragment Unit)として扱われることもある。2D映像に関するMFUは、NAL(Network Abstraction Layer)ユニットと称されてもよく、音声に関するMFUは、MHAS(MPEG-H 3D Audio Stream)パケットと称されてもよい。
MMT-SIは、PA(Package Access)メッセージを含み、PAメッセージは、第2コンテンツの一覧を示すMPT(MMT Package Table)を含む。さらに、MMT-SIは、第2コンテンツの提示時刻を示す第2絶対時刻情報を含む。第2絶対時刻情報は、MPUの提示時刻、すなわち、MPUにおいて最初に提示するアクセスユニットの時刻を意味してもよい。第2絶対時刻情報は、MPUタイムスタンプ記述子と称されてもよい。
MPUタイムスタンプ記述子は、UTC(Coordinated Universal Time)を基準時刻として生成されてもよい。基準時刻は、TAI(International Atomic Time)が用いられてもよく、GPS(Global Positioning System)から提供される時刻が用いられてもよい。基準時刻は、NTP(Network Time Protocol)サーバから提供される時刻であってもよく、PTP(Precision Time Protocol)サーバから提供される時刻であってもよい。
送信部103は、第1コンテンツ、第1制御情報、第2コンテンツ及び第2制御情報(以下、送信信号)を送信する。
図2では、説明の便宜から第1処理部101及び第2処理部102が別々な処理部であるケースについて例示したが、実施形態はこれに限定されるものではない。第1処理部101及び第2処理部102は1つの処理部によって構成されてもよい。
(受信装置)
以下において、実施形態に係る受信装置について説明する。図3は、実施形態に係る受信装置200を示すブロック図である。
以下において、実施形態に係る受信装置について説明する。図3は、実施形態に係る受信装置200を示すブロック図である。
図3に示すように、受信装置200は、受信部201と、第1処理部202と、第2処理部203と、を有する。
受信部201は、第1コンテンツ、第1制御情報、第2コンテンツ及び第2制御情報(以下、受信信号)を受信する。受信信号は、上述した送信信号と同義であってもよい。
第1処理部202は、視点の自由度を有する第1コンテンツに付随する第1制御情報(シーン記述)を処理する。第1処理部202は、第1コンテンツを処理してもよい。例えば、第1処理部202は、シーン記述に基づいて第1コンテンツを処理し、第1コンテンツ(360°映像及び3Dオブジェクト)を出力する。ここで、第1処理部202は、視点情報(視点位置や視線方向)に基づいて、360°映像及び3Dオブジェクトを出力する。視点情報は、ユーザI/F(Interface)から入力されてもよく、受信装置200が有するセンサ(加速度センサ、GPSセンサなど)から入力されてもよい。
第2処理部203は、視点の自由度を有していない第2コンテンツに付随する第2制御情報(MMT-SI)を処理する。第2処理部203は、第2コンテンツを処理してもよい。例えば、第2処理部203は、MMT-SIに基づいて第2コンテンツを処理し、第2コンテンツ(2D映像及び音声)を出力する。さらに、第2処理部203は、MMT-SIに含まれる第2絶対時刻情報(MPUタイムスタンプ記述子)に基づいて、第2コンテンツの提示時刻を特定する。
図3では、説明の便宜から第2処理部203及び第1処理部202が別々な処理部であるケースについて例示したが、実施形態はこれに限定されるものではない。第2処理部203及び第1処理部202は1つの処理部によって構成されてもよい。
(第1コンテンツ)
以下において、実施形態に係る第1コンテンツについて説明する。ここでは、t=0、t=1及びt=2における第1コンテンツについて説明する。t=0、t=1及びt=2の時間間隔は特に限定されるものではない。
以下において、実施形態に係る第1コンテンツについて説明する。ここでは、t=0、t=1及びt=2における第1コンテンツについて説明する。t=0、t=1及びt=2の時間間隔は特に限定されるものではない。
例えば、図4に示すように、t=0において、3Dオブジェクトが表示されずに、360°映像が表示されてもよい。360°映像は、3Dオブジェクトの背景映像であると考えてもよい。t=1において、360°映像に重畳される形式で3Dオブジェクトが表示されてもよい。さらに、t=1において、360°映像に重畳される3Dオブジェクトの位置及び回転が変更されてもよい。
上述したシーン記述は、t=0、t=1及びt=2のそれぞれについて、3Dオブジェクトの位置、回転及び大きさを示す情報要素を含み、360°映像上に3Dオブジェクトを適切に重畳することができる。
(利用シーン)
上述した背景下において、実施形態に係る利用シーンについて説明する。上述したように、第1コンテンツに付随するシーン記述は、第2コンテンツに付随するMMT-SIとは独立した制御情報である。すなわち、第1コンテンツとしては整合が取れているが、第2コンテンツと第1コンテンツとを適切に同期することができない。実施形態では、このような利用シーンに着目して、以下に示す仕組みを導入する。
上述した背景下において、実施形態に係る利用シーンについて説明する。上述したように、第1コンテンツに付随するシーン記述は、第2コンテンツに付随するMMT-SIとは独立した制御情報である。すなわち、第1コンテンツとしては整合が取れているが、第2コンテンツと第1コンテンツとを適切に同期することができない。実施形態では、このような利用シーンに着目して、以下に示す仕組みを導入する。
なお、以下において、同期とは、第1コンテンツ(ファイル)と第2コンテンツ(例えば、MPU)との提示時刻が適切に揃うことを意味する。従って、同期は、2D映像と3Dオブジェクトとの提示時刻が揃うことを含んでもよく、音声と3Dオブジェクトとの提示時刻が揃うことを含んでもよい。同様に、同期は、2D映像と360°映像との提示時刻が揃うことを含んでもよく、音声と360°映像との提示時刻が揃うことを含んでもよい。
(制御方法)
実施形態に係る制御方法では、シーン記述は、第1コンテンツの提示時刻を示す第1絶対時刻情報を含む。第1絶対時刻情報は、シーン記述に含まれる最初のフレームの提示時刻であってもよい。
実施形態に係る制御方法では、シーン記述は、第1コンテンツの提示時刻を示す第1絶対時刻情報を含む。第1絶対時刻情報は、シーン記述に含まれる最初のフレームの提示時刻であってもよい。
例えば、第1絶対時刻情報は、UTCを基準時刻として生成されてもよい。基準時刻は、TAIが用いられてもよく、GPSから提供される時刻が用いられてもよい。基準時刻は、NTPサーバから提供される時刻であってもよく、PTPサーバから提供される時刻であってもよい。さらに、第1絶対時刻情報は、第2絶対時刻情報(すなわち、MPUタイムスタンプ記述子)と同一基準時刻に基づいて生成されてもよい。
さらに、シーン記述は、第2コンテンツを特定するための参照情報を含む。参照情報は、第2コンテンツを構成するMPUを特定するための情報であってもよい。すなわち、参照情報は、シーン記述に含まれるオブジェクトとして第2コンテンツ(MPU)を扱うための情報である。
具体的には、図5に示すように、シーン記述に含まれる最初のフレームの提示時刻は、シーン記述に含まれる第1絶対時刻情報によって特定される。シーン記述に含まれる2番目以降フレームの提示時刻は、シーン記述に含まれるフレーム番号及び第1コンテンツのフレームレートによって特定することが可能である。例えば、フレームレートが30fpsであるケースを考えると、n番目のフレームの提示時刻は、MPUタイムスタンプ記述子によって特定される時刻に1/30×nを加算することによって特定される。但し、シーン記述に含まれる最初のフレームのフレーム番号は”0”である。
一方で、2D映像及び音声は、MPUタイムスタンプ記述子(図5では、単にtimestamp)に基づいて提示されるため、2D映像及び音声の同期が取れる。ここで、上述した参照情報がシーン記述に含まれるため、受信装置200は、シーン記述に含まれる参照情報に基づいて、第1コンテンツとともに提示すべき第2コンテンツの有無を確認することができる。
実施形態に係る制御方法では、図6に示すように、シーン記述は、オブジェクトの名称、フレーム番号、3Dオブジェクトの位置、回転、大きさを示す情報要素をフレーム毎に含む。さらに、シーン記述は、第1絶対時刻情報及び参照情報を含む。
具体的には、シーン記述は、第1絶対時刻情報として、“absolute_time_UTC”:”0xda192c2f.813953de(2015-12-14 20:53:19.504)”を含む。図6では、“absolute_time_UTC”は、64bitで表記された時刻と、年月日及び時間で表記された時刻と、を含む。しかしながら、“absolute_time_UTC”は、後者を含まずに、64bitで表記された時刻を含んでもよく、前者を含まずに、年月日及び時間で表記された時刻を含んでもよい。“absolute_time_UTC”は、他の形式で表された時刻を含んでもよい。
実施形態に係る制御例では、MMT-SIが用いられるため、シーン記述は、参照情報として、MMT-SIを特定可能な情報を含めばよく、MMT-SIを特定可能な情報は、第2コンテンツのリソースを特定するための情報であってもよい。例えば、シーン記述は、参照情報として、"object_name":”2d_video&audio”,"uri":”mmt://example.co.jp://51216”を含む。”2d_video&audio”は、2D映像及び音声がオブジェクトとして含まれていることを意味し、”mmt://example.co.jp://51216”は、第2コンテンツのリソース(”example.co.jp”のポート番号” 51216”)を特定するための情報である。
シーン記述は、HTTP(Hyper Text Transfer Protocol)などのプロトコルで伝送されてもよい。
実施形態に係る制御方法では、受信装置200は、シーン記述をエントリーポイントとして、第1コンテンツとともに提示すべき第2コンテンツ(MMT-SI)の有無を確認した上で、MMT-SIが存在する場合には、シーン記述に含まれる第1絶対時刻情報に基づいて、第2コンテンツの提示時刻を特定する。受信装置200は、MMT-SIに含まれるMPUタイムスタンプ記述子に基づいて、第2コンテンツ(2D映像及び3音声)の提示時刻を特定してもよい。
(作用及び効果)
実施形態では、第1コンテンツ及び第2コンテンツを組み合わせて提示する新たな利用シーンについて着目した場合において、第1制御情報は、第2コンテンツを特定するための参照情報と、第1コンテンツの提示時刻を示す第1絶対時刻情報と、を含む。このような構成によれば、第1制御情報に基づいて、第1コンテンツ及び第2コンテンツを適切に同期することができる。
実施形態では、第1コンテンツ及び第2コンテンツを組み合わせて提示する新たな利用シーンについて着目した場合において、第1制御情報は、第2コンテンツを特定するための参照情報と、第1コンテンツの提示時刻を示す第1絶対時刻情報と、を含む。このような構成によれば、第1制御情報に基づいて、第1コンテンツ及び第2コンテンツを適切に同期することができる。
実施形態では、MMT-SI(MPUタイムスタンプ記述子)が用いられるため、既存のMMTPに対する改変を抑制しながら、2D映像と音声との同期を取りながら、第1コンテンツ及び第2コンテンツを適切に同期することができる。
[変更例1]
以下において、実施形態の変更例1について説明する。以下においては、上述した実施形態に対する相違点について説明する。
以下において、実施形態の変更例1について説明する。以下においては、上述した実施形態に対する相違点について説明する。
具体的には、実施形態では、2D映像と音声との同期がMMT-SIに含まれる第2絶対時刻情報(MPUタイムスタンプ記述子)に基づいて取られている。変更例1では、2D映像と音声との同期についても、シーン記述に含まれる情報要素(第1絶対時刻情報及び参照情報)に基づいて取られる。従って、変更例1では、少なくとも、MMT-SIに含まれるMPUタイムスタンプ記述子については省略されてもよい。変更例1では、MMT-SIそのものが省略されてもよい。以下においては、MMT-SIそのものが省略されるケースについて説明する。
(制御方法)
変更例1に係る制御方法では、シーン記述は、実施形態と同様に、第1コンテンツの提示時刻を示す第1絶対時刻情報及び第2コンテンツを特定するための参照情報を含む。
変更例1に係る制御方法では、シーン記述は、実施形態と同様に、第1コンテンツの提示時刻を示す第1絶対時刻情報及び第2コンテンツを特定するための参照情報を含む。
具体的には、図7に示すように、シーン記述に含まれる最初のフレームの提示時刻は、実施形態と同様に、シーン記述に含まれる第1絶対時刻情報によって特定される。
一方で、2D映像及び音声の提示時刻は、MPUタイムスタンプ記述子が存在しないため、シーン記述に含まれる第1絶対時刻情報によって特定される。シーン記述に含まれる参照情報は、2D映像に関するMPUを特定するための情報と、音声に関するMPUを特定するための情報と、を含む。受信装置200は、シーン記述に含まれる参照情報に基づいて、第1コンテンツとともに提示すべき第2コンテンツの有無を確認することができる。
変更例1に係る制御方法では、図8に示すように、シーン記述は、図6に示した情報要素と同様の情報要素を含む。
但し、変更例1に係る制御例では、MMT-SIが省略されるため、シーン記述は、参照情報として、MMT-SIを特定可能な情報は、第2コンテンツを構成するMPUを直接的に特定するための情報を含む。例えば、シーン記述は、2D映像に関する参照情報として、"uri":"mmt://example.co.jp://51216?asset_ID_value=100&mpu_sequence_number=10000"を含む。”mmt://example.co.jp://51216”は、第2コンテンツのリソース(”example.co.jp”のポート番号” 51216”)を特定するための情報である。”asset_ID_value=100&mpu_sequence_number=10000"は、”asset_ID”が100であり、シーケンス番号が10000であるMPUを特定するための情報要素である。シーン記述は、音声に関する参照情報として、"uri":"mmt://example.co.jp://51216?asset_ID_value=102&mpu_sequence_number=5000"を含む。”mmt://example.co.jp://51216”は、第2コンテンツのリソース(”example.co.jp”のポート番号” 51216”)を特定するための情報である。” asset_ID_value=102&mpu_sequence_number=5000"は、”asset_ID”が102であり、シーケンス番号が5000であるMPUを特定するための情報要素である。
変更例1に係る制御方法では、受信装置200は、シーン記述をエントリーポイントとして、第1コンテンツとともに提示すべき第2コンテンツの有無を確認した上で、第2コンテンツが存在する場合には、シーン記述に含まれる第1絶対時刻情報に基づいて、MMT-SIを用いることなく、第2コンテンツ(2D映像及び3音声)の提示時刻を特定する。
(作用及び効果)
変更例1では、第1コンテンツ及び第2コンテンツを組み合わせて提示する新たな利用シーンについて着目した場合において、第1制御情報は、第2コンテンツを特定するための参照情報と、第1コンテンツの提示時刻を示す第1絶対時刻情報と、を含む。このような構成によれば、第1制御情報に基づいて、第1コンテンツ及び第2コンテンツを適切に同期することができる。
変更例1では、第1コンテンツ及び第2コンテンツを組み合わせて提示する新たな利用シーンについて着目した場合において、第1制御情報は、第2コンテンツを特定するための参照情報と、第1コンテンツの提示時刻を示す第1絶対時刻情報と、を含む。このような構成によれば、第1制御情報に基づいて、第1コンテンツ及び第2コンテンツを適切に同期することができる。
変更例1では、MMT-SIの伝送に伴う帯域を節約しながら、2D映像と音声との同期を取りながら、第1コンテンツ及び第2コンテンツを適切に同期することができる。
[変更例2]
以下において、実施形態の変更例2について説明する。以下においては、上述した実施形態に対する相違点について説明する。
以下において、実施形態の変更例2について説明する。以下においては、上述した実施形態に対する相違点について説明する。
実施形態では、第1絶対時刻情報の基準時刻が第2絶対時刻情報(MPUタイムスタンプ記述子)の基準時刻と同一であるケースについて説明した。これに対して、変更例2では、第1絶対時刻情報の基準時刻が第2絶対時刻情報の基準時刻と異なるケースについて説明する。
例えば、第1絶対時刻情報の基準時刻(以下、第1基準時刻)は、UTC以外の時刻(TAI、GPSから提供される時刻)であってもよい。第2絶対時刻情報(MPUタイムスタンプ記述子)の基準時刻(以下、第2基準時刻)はUTCであってもよい。このようなケースにおいて、第1制御情報(シーン記述)及び第2制御情報(MMT-SI)の少なくともいずれか1つは、第1基準時刻と第2基準時刻との変換情報を含むことが好ましい。
第1に、シーン記述が変換情報を含むケースについて説明する。変換情報は、第1基準時刻で表された第1絶対時刻情報及び第2基準時刻で表された第1絶対時刻情報の双方を含んでもよい。
例えば、第1基準時刻がTAIであり、第2基準時刻がUTCである場合には、図9に示すように、シーン記述は、TAI(図9では、absolute_time_TAI)で表された第1絶対時刻情報及びUTCで表された第1絶対時刻情報(図9では、absolute_time_UTC)の双方を含んでもよい。第1基準時刻が27MHzクロックであり、第2基準時刻がUTCである場合には、図10に示すように、シーン記述は、27MHzクロックで表された第1絶対時刻情報(図10では、27MHz)及びUTCで表された第1絶対時刻情報(図10では、absolute_time_UTC)の双方を含んでもよい。
なお、27MHzクロックは、既存の放送システム(例えば、MPEG-2 Transport Stream)、既存のコンテンツシステム(例えば、MPEG-2 Program Stream)などで用いるシステムクロックである。MPEG-2 Program Streamは、MP4ファイルなどのダウンロードに用いられてもよく、DVDビデオに用いられてもよい。
ここでは、変換情報が第2基準時刻で表される第1絶対時刻情報を含むが、変更例2はこれに限定されるものではない。変換情報は、第1基準時刻で表される第1絶対時刻情報を第2基準時刻で表される第1絶対時刻情報に読み替えるための情報を含めばよい。
第2に、MMT-SIが変換情報を含むケースについて説明する。変換情報は、第1基準時刻で表された第2絶対時刻情報及び第2基準時刻で表された第2絶対時刻情報の双方を含んでもよい。
例えば、第1基準時刻がTAIであり、第2基準時刻がUTCである場合には、図11に示すように、MMT-SI(MPUタイムスタンプ記述子)は、UTCで表された第2絶対時刻情報(図11では、absolute_time_UTC)及びTAIで表された第2絶対時刻情報(図11では、absolute_time_TAI)の双方を含んでもよい。
ここでは、変換情報が第2基準時刻で表される第2絶対時刻情報を含むが、変更例2はこれに限定されるものではない。変換情報は、第1基準時刻で表される第2絶対時刻情報を第2基準時刻で表される第2絶対時刻情報に読み替えるための情報を含めばよい。
[その他の実施形態]
本発明は上述した開示によって説明したが、この開示の一部をなす論述及び図面は、この発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
本発明は上述した開示によって説明したが、この開示の一部をなす論述及び図面は、この発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
上述した開示では特に触れていないが、MMTに関する用語は、ISO/IEC 23008-1、ARIB STD-B60、ARIB TR-B39などで規定された内容に基づいて解釈されてもよい。
上述した開示では、MMT-SIに含まれる第2絶対時刻情報として、MPUタイムスタンプ記述子を例示した。しかしながら、上述した開示はこれに限定されるものではない。MMT-SIに含まれる第2絶対時刻情報は、MPU拡張タイムスタンプ記述子であってもよい。
上述した開示では特に触れていないが、受信装置200は、必要に応じて、第1コンテンツの一部を送信装置100に要求してもよい。このような構成によれば、第1コンテンツの伝送に伴う帯域を節約し、受信装置200の処理負荷の増大を抑制することができる。
上述した開示では、第2コンテンツの伝送方式としてMMTPを例示した。しかしながら、上述した開示はこれに限定されるものではない。第2コンテンツの伝送方式は、ISO/IEC 23009-1(以下、MPEG-DASH(Dynamic Adaptive Stream over HTTP))に準拠する方式であってもよい。このようなケースにおいて、第2制御情報は、MPD(Media Presentation Description)であってもよい。すなわち、上述した開示において、MMT-SIはMPDと読み替えられてもよい。
上述した開示では特に触れていないが、送信装置100及び受信装置200が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、CD-ROMやDVD-ROM等の記録媒体であってもよい。
或いは、送信装置100及び受信装置200が行う各処理を実行するためのプログラムを記憶するメモリ及びメモリに記憶されたプログラムを実行するプロセッサによって構成されるチップが提供されてもよい。
10…伝送システム、100…送信装置、101…第1処理部、102…第2処理部、103…送信部、200...受信装置、201…受信部、202…第1処理部、203…第2処理部
Claims (6)
- 視点の自由度を有する第1コンテンツに付随する第1制御情報を処理する第1処理部と、
前記第1コンテンツ及び前記第1制御情報に加えて、視点の自由度を有していない第2コンテンツを送信する送信部と、を備え、
前記第1制御情報は、前記第2コンテンツを特定するための参照情報と、前記第1コンテンツの提示時刻を示す第1絶対時刻情報と、を含む、送信装置。 - 前記第2コンテンツに付随する第2制御情報を処理する第2処理部を備え、
前記第2制御情報は、前記第2コンテンツの提示時刻を示す第2絶対時刻情報を含む、請求項1に記載の送信装置。 - 前記第1制御情報は、前記第2コンテンツの提示時刻を示す情報として前記第1絶対時刻情報を含む、請求項1に記載の送信装置。
- 前記第1制御情報は、前記第1絶対時刻情報の基準時刻と前記第2絶対時刻情報の基準時刻との間の変換情報を含む、請求項2に記載の送信装置。
- 前記第2制御情報は、前記第1絶対時刻情報の基準時刻と前記第2絶対時刻情報の基準時刻との間の変換情報を含む、請求項2に記載の送信装置。
- 視点の自由度を有する第1コンテンツ、前記第1コンテンツに付随する第1制御情報及び視点の自由度を有していない第2コンテンツを受信する受信部と、
前記第1制御情報を処理する第1処理部と、を備え、
前記第1制御情報は、前記第2コンテンツを特定するための参照情報と、前記第1コンテンツの提示時刻を示す第1絶対時刻情報と、を含む、受信装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021039349A JP2022139106A (ja) | 2021-03-11 | 2021-03-11 | 送信装置及び受信装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021039349A JP2022139106A (ja) | 2021-03-11 | 2021-03-11 | 送信装置及び受信装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022139106A true JP2022139106A (ja) | 2022-09-26 |
Family
ID=83399078
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021039349A Pending JP2022139106A (ja) | 2021-03-11 | 2021-03-11 | 送信装置及び受信装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022139106A (ja) |
-
2021
- 2021-03-11 JP JP2021039349A patent/JP2022139106A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7260687B2 (ja) | 送信方法および送信装置 | |
US11849166B2 (en) | Transmitting method, receiving method, transmitting device, and receiving device | |
EP2728858B1 (en) | Receiving apparatus and receiving method thereof | |
US10305617B2 (en) | Transmission apparatus, transmission method, reception apparatus, and reception method | |
US10567455B2 (en) | Reception device, reception method, transmission device, and transmission method | |
JP2015149680A (ja) | 送信装置及び受信装置 | |
KR20160041909A (ko) | 송신 장치, 송신 방법, 수신 장치 및 수신 방법 | |
JP6323536B2 (ja) | 受信装置および受信方法 | |
KR20160075507A (ko) | 수신 장치, 수신 방법, 송신 장치, 및 송신 방법 | |
JP2018182677A (ja) | 情報処理装置、情報処理方法、プログラム、および記録媒体製造方法 | |
US20210329350A1 (en) | Receiving device, receiving method, transmission device, and transmission method | |
JP6957186B2 (ja) | 情報処理装置、情報処理方法、プログラム、および記録媒体製造方法 | |
US10631037B2 (en) | Decoding device, reception device, transmission device, transmission/reception system, decoding method, and storage medium having decoding program stored therein | |
JP2022139106A (ja) | 送信装置及び受信装置 | |
JP2022139100A (ja) | 送信装置及び受信装置 | |
KR102373187B1 (ko) | 수신 장치 및 데이터 처리 방법 | |
JP2020080481A (ja) | インターネット経由で同時配信されるテレビ番組における字幕データの処理システム、処理方法およびプログラム | |
EP3280147A1 (en) | Method and apparatus for transmitting and receiving broadcast signal | |
JP2022139133A (ja) | メディア処理装置 | |
WO2023153472A1 (ja) | メディア処理装置、送信装置及び受信装置 | |
WO2023153473A1 (ja) | メディア処理装置、送信装置及び受信装置 | |
JP2023117151A (ja) | メディア処理装置及びユーザ端末 | |
JP2023117157A (ja) | メディア処理装置、送信装置及び受信装置 | |
KR20180000320A (ko) | 하이브리드 방송 서비스를 위한 타임드 메타데이터 송신 방법 및 장치 | |
JP2023117400A (ja) | メディア処理装置、送信装置及び受信装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240208 |