CN110463209A - 用于在多媒体系统中发送和接收信号的设备和方法 - Google Patents

用于在多媒体系统中发送和接收信号的设备和方法 Download PDF

Info

Publication number
CN110463209A
CN110463209A CN201880021673.1A CN201880021673A CN110463209A CN 110463209 A CN110463209 A CN 110463209A CN 201880021673 A CN201880021673 A CN 201880021673A CN 110463209 A CN110463209 A CN 110463209A
Authority
CN
China
Prior art keywords
data
data cell
type
time
mmt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880021673.1A
Other languages
English (en)
Other versions
CN110463209B (zh
Inventor
金东妍
朴勍模
裵宰贤
苏泳完
梁贤九
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110463209A publication Critical patent/CN110463209A/zh
Application granted granted Critical
Publication of CN110463209B publication Critical patent/CN110463209B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4886—Data services, e.g. news ticker for displaying a ticker, e.g. scrolling banner for news, stock exchange, weather data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Abstract

一种多媒体系统中的发送设备的方法，包括步骤：在给定时间点播放第一类型数据的同时，检测将第一类型数据改变为第二类型数据的请求；以及在播放第二类型数据之前，发送重放第一类型数据中在给定时间点之前播放的数据和/或第二类型数据中在给定时间点之前播放的数据所需的信息。

Description

用于在多媒体系统中发送和接收信号的设备和方法
技术领域
本发明涉及一种在多媒体系统中发送和接收信号的方法和设备，尤其涉及一种在多媒体系统中发送和接收复杂多媒体信号的方法和设备。
背景技术
随着对多媒体内容的需求增加，已经提出了各种多媒体方案。其中代表性的多媒体方案是运动图像专家组(MPEG)媒体传输(MMT)方案。
MMT方案是用于经由包括互联网协议(IP)网络和数字广播网络的异构分组交换网络来传输和传送与多媒体服务相关联的编码媒体数据的技术。这里，编码媒体数据包括定时(timed)视听媒体数据和非定时(non-timed)数据。
此外，已经提出MMT方案以高效且有效地传递媒体数据。特别是，关于MMT方案，已经提出了用于发送和接收包括各种类型的多媒体数据和多媒体服务的复杂多媒体数据的各种方案。
同时，以上信息仅作为背景信息提供，以帮助理解本公开。对于任何上述内容是否适用于本公开的现有技术，没有做出任何确定，也没有断言。
发明内容
技术问题
根据本公开的一个方面，提供了一种用于在多媒体系统中发送和接收信号的方法和设备。
根据本公开的一个方面，提供了一种用于在多媒体系统中发送和接收复杂多媒体信号的方法和设备。
根据本公开的一个方面，当多媒体系统支持用于相同内容的不同类型的数据时，提供了用于支持与正在再现的数据的类型被改变的情况相关联的操作的方法和设备。
根据本公开的一个方面，提供了一种用于发送和接收与多媒体系统中的字幕改变相关联的信息的方法和设备。
根据本公开的一个方面，提供了一种用于在多媒体系统中支持基于多种语言的字幕的方法和设备。
根据本公开的一个方面，提供了一种用于在多媒体系统中支持与字幕改变相关联的操作的方法和设备。
根据本公开的一个方面，提供了一种用于在多媒体系统中改善与字幕改变相关联的用户体验的方法和设备。
技术方案
根据本公开的一个方面，提供一种多媒体系统中的发送设备的方法。所述方法包括：在给定时间点再现第一类型数据的同时检测从第一类型数据改变为第二类型数据的请求，以及在再现第二类型数据之前，发送重放第一类型数据中在给定时间点之前再现的数据和第二类型数据中在给定时间点之前再现的数据中的至少一个所需的信息。
根据本公开的另一个方面，提供一种多媒体系统中的接收设备的方法。所述方法包括：在给定时间点再现第一类型数据的同时检测从第一类型数据改变为第二类型数据的请求；以及在再现第二类型数据之前，接收重放第一类型数据中在给定时间点之前再现的数据和第二类型数据中在给定时间点之前再现的数据中的至少一个所需的信息。
根据本公开的一个方面，提供一种多媒体系统的发送设备。所述发送设备包括：控制器，被配置为在给定时间点再现第一类型数据的同时检测从第一类型数据改变为第二类型数据的请求；以及发送单元，被配置为在再现第二类型数据之前，发送重放第一类型数据中在给定时间点之前再现的数据和第二类型数据中在给定时间点之前再现的数据中的至少一个所需的信息。
根据本公开的另一个方面，提供了一种多媒体系统中的接收设备。所述接收设备包括：控制器，被配置为在给定时间点再现第一类型数据的同时检测从第一类型数据改变为第二类型数据的请求；以及接收单元，被配置为在再现第二类型数据之前，接收重放第一类型数据中在给定时间点之前再现的数据和第二类型数据中在给定时间点之前再现的数据中的至少一个所需的信息。
有益效果
根据实施例，能够在多媒体系统中发送和接收信号。
根据实施例，能够在多媒体系统中发送和接收复杂多媒体信号。
根据实施例，在MMT系统提供包括一种或多种语言的字幕数据的多媒体流服务的情况下，当字幕语言改变并且字幕的长度彼此不同时可能发生的用户体验恶化可以得到缓解。
根据实施例，在多媒体系统中支持用于相同内容的不同类型的数据的情况下，能够支持当再现的数据的类型改变时执行的操作。
根据实施例，能够在多媒体系统中发送和接收与字幕改变相关联的信息。
根据实施例，能够在多媒体系统中支持基于多种语言的字幕。
根据实施例，能够支持与多媒体系统中的字幕改变相关联的操作。
根据实施例，能够改善与多媒体系统中的字幕改变相关联的用户体验。
附图说明
根据以下结合附图的详细描述，根据本公开的特定示例性实施例的以上和其他方面，特征和优点将更加明显，其中：
图1是示意性地示出根据实施例的MMT系统的MMT数据模型的示图；
图2是示意性地示出根据实施例的MMT系统中的呈现时间线和MPU之间的映射的示例的示图；
图3是示意性地示出根据实施例的MMT系统中的MMT封装的示例的示图；
图4是示意性地示出根据实施例的MMT系统中的MMT发送设备的内部结构的示例的示图；
图5是示意性地示出根据实施例的MMT系统中的MMT发送设备的内部结构的示例的示图；
图6是示意性地示出根据实施例的在MMT系统中改变字幕数据的处理的示图；
图7是示意性地示出根据实施例的在MMT系统中执行改变字幕的配置的方法的示图；
图8是示意性地示出根据实施例的MMT系统中的MMT发送设备的内部结构的另一示例的示图；以及
图9是示意性地示出根据实施例的MMT系统中的MMT接收设备的内部结构的另一示例的示图。
应当注意，通过上述附图，类似的附图标记用于表示相同或相似的元件，特征和结构。
具体实施方式
参考附图的以下详细描述有助于全面地理解由权利要求及其等同物限定的本公开的各种实施例。尽管以下详细描述包括各种特定的具体解释以帮助理解，但是它们仅被认为是示例。因此，本领域技术人员可以认识到，在不脱离本公开的范围的情况下，可以对本文描述的各种实施例进行各种修改和改变。此外，为了清楚和简洁，可以省略对已知功能和元件的描述。
在以下详细描述和权利要求中使用的术语和词语不限于字面含义，并且仅用于帮助获得对本公开的清楚和一致的理解。因此，本领域技术人员应该清楚，提供本公开的各种实施例的以下描述仅用于说明性目的，并且不旨在限制由所附权利要求及其等同物限定的本公开。
此外，应当理解，除非上下文另有明确说明，否则诸如“一个”和“该”的单数表达也包括多个表达。因此，作为示例，“组件表面”包括一个或多个组件表面。
尽管包括诸如第一，第二等序数的术语可用于描述各种元件，但是结构元件不受这些术语的限制。这些术语仅用于区分元件与其他元件的目的。例如，在不脱离本公开的范围的情况下，第一元件可以被称为第二元件，并且类似地，第二元件也可以被称为第一元件。如这里所使用的，术语“和/或”包括一个或多个相关项的任何和所有组合。
这里使用的术语仅用于描述特定实施例，并不旨在限制本公开。如本文所用，除非上下文另有明确说明，否则单数形式也旨在包括复数形式。在本公开中，诸如“包括”和/或“具有”的术语可以被解释为表示特定特征，数量，步骤，操作，组成元件，组件或其组合，但是可以不被解释为排除一个或多个其他特征，数字，步骤，操作，组成元件，组件或其组合的存在或添加的可能性。
除非另外定义，否则本文使用的所有术语，包括技术和科学术语，具有与本公开所属领域的技术人员通常理解的含义相同的含义。诸如在通常使用的字典中定义的那些术语将被解释为具有与相关领域中的上下文含义相同的含义。
根据本公开的各种实施例，电子设备可以包括通信功能。例如，终端可以是智能手机，平板个人计算机(PC)，移动电话，视频电话，电子书阅读器，台式PC，膝上型PC，上网本PC，个人数字助理(PDA)，便携式多媒体播放器(PMP)，MP3播放器，移动医疗设备，相机或可穿戴设备(例如，头戴式设备(HMD)，电子服装，电子手镯，电子项链，电子附件，电子纹身或智能手表)。
根据本公开的各种实施例，电子设备可以是具有通信功能的智能家用电器。例如，智能家用电器可以是电视，数字视频光盘(DVD)播放器，音频播放器，冰箱，空调，真空吸尘器，烤箱，微波炉，洗衣机，干衣机，空气净化器，机顶盒，电视盒(例如，Samsung HomeSyncTM，Apple TVTM或Google TVTM)，游戏机，电子词典，便携式摄像机或电子相框。
根据本公开的各种实施例，终端可以是医疗器械(例如，磁共振血管造影(MRA)设备，磁共振成像(MRI)设备，计算机断层扫描(CT)设备和超声设备)，导航设备，全球定位系统(GPS)接收器，事件数据记录器(EDR)，飞行数据记录器(FDR)，汽车信息娱乐设备，船用电子设备(例如，船舶导航设备和陀螺罗盘)，航空电子设备，安全设备，或工业或家庭机器人。
根据本公开的各种实施例，电子设备可以是家具或建筑物/结构的一部分，电子板，电子签名接收设备，投影仪和各种测量仪器(例如，水表，电表，燃气表和电磁波表)，每个都具有通信功能。
根据本公开的各种实施例，电子设备可以是上述设备的组合。此外，对于本领域技术人员显而易见的是，根据本公开的各种实施例的终端不限于上述设备。
根据各种实施例，发送设备和接收设备中的每一个可以是例如电子设备。根据各种实施例，发送设备可以被称为发送实体，并且接收设备可以被称为接收实体。
此外，根据各种实施例，发送设备可以是服务提供者或终端。
此外，根据各种实施例，接收设备可以是终端或服务提供者。
此外，根据各种实施例，术语“终端”可以与诸如移动站(MS，以下称为MS)，无线终端，移动设备，用户设备(UE，以下称为UE)等的术语互换。此外，根据各种实施例，术语“服务提供者”可以与诸如“广播服务器”等的术语互换。
根据本公开的一个方面，提供了一种用于在多媒体系统中发送和接收信号的方法和设备。
根据本公开的一个方面，提供了一种用于在多媒体系统中发送和接收复杂多媒体信号的方法和设备。
根据本公开的一个方面，当多媒体系统支持用于相同内容的不同类型的数据时，提供了用于支持与正在再现的数据的类型被改变的情况相关联的操作的方法和设备。
根据本公开的一个方面，提供了一种用于在多媒体系统中发送和接收与字幕改变相关联的信息的方法和设备。
根据本公开的一个方面，提供了一种用于在多媒体系统中支持基于多种语言的字幕的方法和设备。
根据本公开的一个方面，提供了一种用于在多媒体系统中支持与字幕改变相关联的操作的方法和设备。
根据本公开的一个方面，提供了一种用于在多媒体系统中改善与字幕改变相关联的用户体验的方法和设备。
实施例中提出的方法和设备可以适用于各种通信系统，例如，数字视频广播系统(诸如互联网协议电视(IPTV，以下称为“IPTV”)服务和移动广播服务(诸如数字多媒体广播(DMB，以下简称“DMB”)服务，数字视频广播-手持(DVB-H，以下简称“DVB-H”)服务，先进的电视系统委员会-移动/手持(ATSC-M/H，以下称为“ATSC-M/H”)服务))，运动图像专家组(MPEG)媒体传输(MMT，以下称为“MMT”)系统，演进分组系统(EPS，以下称被称为“EPS”)，长期演进(LTE，以下简称“LTE”)移动通信系统，长期演进-先进(LTE-A，以下简称“LTE-A”)移动通信系统，高速下行链路分组接入(HSDPA，以下简称作为“HSDPA”)移动通信系统，高速上行链路分组接入(HSUPA，以下简称“HSUPA”)移动通信系统，第三代合作伙伴计划系统2(3GPP2，以下称为“3GPP2”)的高速率分组数据(HRPD，简称“HRPD”)移动通信，3GPP2的宽带码分多址(WCDMA，以下称为“WCDMA”)移动通信系统，3GPP2的码分多址(CDMA，以下简称“CDMA”)移动通信系统，电气和电子工程师学会(IEEE，以下简称“IEEE”)802.16m通信系统，移动互联网协议(Mobile IP，以下简称作为“Mobile IP”)系统等。
此外，实施例中提出的方法和设备可以适用于基于MMT方案的高级电视系统委员会(ATSC，以下称为“ATSC”)系统。
在下文中，为了便于描述，在各种实施例中，假设多媒体系统是基于MMT方案的多媒体系统。
首先，将在下面描述各种实施例中使用的术语。
首先，将描述多媒体数据。
多媒体数据可以包括一个或多个媒体组件(component)。媒体组件可以是例如视频文件，音频文件，字幕等。这里，字幕可以包括说明、字幕等，说明是通过将音频数据的内容转换为文本数据而获得的文本数据以帮助听力困难的用户，字幕作为语言的文本来表达相应内容，例如电影中的人之间的对话等，文本可以与相应内容的语言相同或不同。例如，对于用英语制作的电影，可以生成各种类型的字幕数据，诸如英文字幕，韩文字幕，日文字幕，英文说明等。
其次，将描述数据流。
多媒体数据可以经由诸如移动通信网络等的网络从发送设备发送到接收设备，并且在传输时，多媒体数据可以由接收设备经由一系列处理过程再现，这是多媒体流传输。多媒体数据以根据传输协议和用于传输的传输格式定义的单元进行分段，并且发送分段单元。当发送单条多媒体数据时，根据传输协议和传输格式中定义的规则，一起发送包括在多媒体数据中的媒体组件和描述媒体组件之间的关系的元数据。因此，即使接收设备尚未接收到整个多媒体数据，接收设备也可以基于元数据再现其传输完成的多媒体数据的一部分。
例如，当多媒体数据包括以一种或多种语言(例如，多种语言)产生的字幕数据时，字幕数据的长度可以根据相应语言的语言特征而不同，即使该语言描述相同的内容。在这种情况下，要再现相应部分、即相应的字幕数据的时间也不同。例如，当场景的字幕语言是韩语时，字幕数据的长度可以是30个词语。当字幕语言是英语时，字幕数据的长度可以是20个词语。因此，字幕数据的长度对于每个字幕语言是不同的，并且字幕数据的呈现起始时间、呈现结束时间和呈现持续时间也是不同的。这里，呈现起始时间也可以被表示为“呈现开始时间”或“呈现起始时间”。
因此，当再现包括以一种或多种语言(例如，多种语言)产生的字幕数据的多媒体数据时，当发生诸如终端的用户选择或其他原因的预定事件，并且字幕语言、即字幕数据的语言从第一语言改变为第二语言时，由于字幕数据的长度不同，因此字幕数据可能被异常再现。在下文中，为了便于描述，将以第一语言写入的字幕称为“第一字幕”，并且将以第二语言写入的字幕称为“第二字幕”。
在为场景，例如第一场景，呈现的第一字幕被改变为第二字幕的状态下，如果用于第一场景的第二字幕的呈现的完成早于第一字幕的呈现，则虽然终端的用户可能不能完全读取第一字幕和第二字幕中的任何一个，但是可能等待直到呈现第一场景之后的第二场景的第二字幕为止。
这可能是使包括以多种语言产生的字幕数据的多媒体数据流传输服务中的用户体验恶化的因素。
因此，在多媒体系统中提供包括以一种或多种语言(例如，多种语言)产生的字幕数据的多媒体流传输服务的情况下，当用于生成字幕数据的语言、也就是字幕语言改变时，本公开的实施例提供用于减少由字幕长度的改变引起的用户体验恶化的方法和设备。
首先，将在下面描述实施例中使用的术语。
首先，将参照图1描述根据实施例的MMT系统中的MMT数据模型。
图1是示意性地示出根据实施例的MMT系统的MMT数据模型的示图。
参照图1，在MMT系统中，逻辑媒体数据的单个集合被称为分组。MMT分组可以包括与媒体数据集合相对应的一个或多个资产、描述资产之间的时间和空间关系的呈现信息、发送资产所需的服务质量(QoS)信息、或者包括传递相关信息的资产传递特性。
此外，资产是包括在单个多媒体呈现中的媒体数据集合，并且资产可以包括具有相同资产标识符(ID)的一个或多个媒体处理单元(MPU)。包括在单个资产中的每个MPU可以包括彼此不重叠的资产的片段。也就是说，两个连续且不同的MPU不包括相同的媒体样本。
此外，MPU指示可以在MMT接收设备的呈现引擎中被独立消耗的媒体数据的单元。
单个MMT设备处理单个MPU的处理可以包括以MPU为单位的媒体数据的封装或解封装、以及分组或解分组。
此外，单个MPU可以以MPU片段为单位进行分段。因此，一个MPU可以被分段成一个或多个MPU片段。这里，MPU片段可以是例如媒体片段单元(MFU)。
此外，单个MPU可以以数据单元为单位进行分段以用于分组。因此，单个MPU可以被分段成一个或多个数据单元。
单个MPU可以由与MPU中包括的数据相对应的单个资产ID和单个MPU序列号指定。例如，单个资产中包括的两个不同的MPU可以具有相同的资产ID，但是彼此具有不同的MPU序列号。
此外，包括在MPU中的媒体数据可以包括与时间相关的定时媒体数据(timedmedia data)和与时间无关的非定时媒体数据(non-timed media data)。当媒体数据包括定时媒体数据时，需要与定时媒体数据一起提供解释在时间轴上一个分组的不同资产之间的关系的呈现信息。对于所有MPU，可以提供呈现时间信息作为呈现信息的一部分，下面将参照图2进行描述。
图2是示意性地示出根据实施例的MMT系统中的呈现时间线和MPU之间的映射的示例的示图。
参照图2，示出了资产和MPU之间的映射关系。例如，MPU#1、MPU#2和MPU#3被映射到资产#1，MPU#1、MPU#2和MPU#3被映射到资产#2，且MPU#1被映射到资产#3。
其次，将描述根据实施例的基于MMT系统的ISO基础媒体文件格式的MPU。
首先，ISO基础媒体文件格式(ISO BMFF)表示ISO/IEC 14496-12标准。单个MPU可能需要与ISOBMFF文件兼容。MPU的MPU序列号和资产ID由“mmpu”框提供，并且MPU序列号和资产ID可以是在封装在文件中的MPU中指定相应MPU作为唯一MPU的元素。
此外，在定时媒体的情况下，可以存在单个“sidx”框，其是MPU的电影片段的索引。“moov”框需要包含解码和再现媒体数据所需的所有codex配置信息。
此外，定时媒体被存储为ISOBMFF的轨道。这里，对于定时媒体数据允许单个媒体轨道。此外，非定时媒体被存储为ISOBMFF的元数据的一部分。
将参照图3描述根据实施例的MMT系统中的MMT封装的示例。
图3是示意性地示出根据实施例的MMT系统中的MMT封装的示例的示图。
参照图3，示出了定时媒体和非定时媒体。为了执行MPU分组传输，单个MMT提示轨道提供将封装的MPU转换为MMT协议(MMTP)有效载荷和MMTP分组所需的信息。
第三，将描述根据实施例的MMT系统中的多媒体数据的配置。
首先，当向终端提供一条多媒体内容时，多媒体内容可以包括视频数据、音频数据和字幕数据。特别地，可以基于多种语言提供字幕作为多条字幕数据。例如，包括在一条多媒体数据中的媒体组件可以包括单条视频数据、单条音频数据和两条字幕数据。两条字幕数据可以包括英文字幕数据和韩文字幕数据。
每个媒体组件可以以在ISO基础媒体文件格式(ISO/IEC 14496-12)中定义的轨道的形式被存储，并且轨道可以被定义为MMT系统中的资产。
因此，包括视频数据、音频数据、英文字幕数据和韩文字幕数据的多媒体数据可以在MMT系统中被产生为视频资产、音频资产、英文字幕资产和韩文字幕资产，并且每个资产可以被分段为一个或多个MPU。
在字幕资产的情况下，假设在一个场景中表示的字幕数据集合是字幕段(以下为了便于描述而称为“段”)，对应于单个段的数据可以被包括在一个MPU中。
第四，将描述根据实施例的MMT系统中的信令信息。
在MMT系统中，发送设备和接收设备可以执行MMT分组传递和MMT分组消耗所需的信令信息的发送和接收。
MMT信令信息以MMT信令消息的形式发送，并且MMT信令消息的公共格式可以表示如下表1所示。
[表1]
表1表示MMT信令消息的正常格式的语法，并且表1中包括的参数的语义可以被表示为如表2中所示。
[表2]
在表2中，Table 61表示ISO/IEC 23008-1:2014(E)第1版的表34。
在表2中，message_id字段指示信令消息的标识符。有效的消息标识符值在ISO/IEC 23008-1:2014(E)第1版的表34中列出，并且message_id字段的字段值可以具有以下含义。
如果message_id字段的字段值是例如0x0000，则这指示分组接入(PA)消息。如果message_id字段的字段值是例如0x0001到0x000F范围内的任何一个值，则这指示媒体呈现信息(MPI)消息。对于分组，将16个相邻值分配给MPI消息。如果(message_id字段的字段值)％16等于15，则MPI消息传递完整的呈现信息(PI)。如果(message_id字段的字段值)％16等于N，则MPI消息传递子集(子集-N)MPI。这里，N是0至14范围内的值。
此外，如果message_id字段的字段值是例如0x0010到0x001F范围内的任何一个值，则这指示MMT分组表(MPT)消息。对于分组，将16个相邻值分配给MPT消息。如果(message_id字段的字段值)％16等于15，则MPT消息传递完整的MPT。如果(message_id字段的字段值)％16等于N，则MPT消息传递子集(子集-N)MPT。这里，N是0至14范围内的值。
此外，如果message_id字段的字段值是例如0x0200，则这指示时钟关系信息(CRI)消息。如果message_id字段的字段值是例如0x0201，则这指示设备能力信息(DCI)消息。如果message_id字段的字段值是例如0x0202，则这指示应用层前向纠错(AL-FEC)消息。如果message_id字段的字段值是例如0x0203，则这指示假设接收器缓冲模型(HRBM)消息。例如，如果message_id字段的字段值是0x0204到0x7FFF范围内的任何一个值，则这指示为国际标准化组织(ISO)而保留。例如，如果message_id字段的字段值是0x8000到0xFFFF范围内的任何一个值，则这指示出于私有目的而保留。
在表2中，version(版本)字段指示信令消息的版本。MMT发送实体和MMT接收实体二者可以验证所接收的消息是否具有新版本。
在表2中，length(长度)字段指示信令消息的长度。除PA消息和MPI消息之外的信令消息的长度可以是例如2个字节。由于有时不可能在2个字节的长度字段中表示MPI表的长度，所以PA消息和MPI消息的长度可以是4个字节。这里，应该理解PA消息包括至少一个MPI表。
在表2中，extension(扩展)字段包括用于需要扩展的信令消息的扩展信息。可以为每个对应的信令消息指定扩展字段的内容和长度。
在表2中，message_payload字段包括信令消息的有效载荷。message_payload字段的格式可以通过message_id字段的值来标识。第五，将描述根据实施例的MMT系统中的MMT分组(MP)表。
发送和消耗MMT分组所需的信息可以以每个角色的表的形式存储，并且所需的表可以通过MMT信令消息从MMT发送设备发送到MMT接收设备。
包括在单个MMT分组中的所有资产的列表被存储在MP表中，并且可以通过分组接入(PA)消息来发送。MP表可以包括在MMT分组中包括的所有资产的时间相关信息、数据的位置以及消耗资产所需的相关描述符。
这里，MP表可以表示为如表3所示。MP表可以被实现为完整MP表或子集MP表。完整MP表可以包括与包括所有资产的分组相关的信息，并且子集MP表可以包括存储在完整MP表中的信息的一部分。此外，MP表子集-0可以包括消耗分组所需的最小信息。
[表3]
表3指示MP表的语法，并且表3中包括的参数的语义可以被表示为表4中所示。
[表4]
在表4中，table_id字段指示MP表的标识符。完整MP表和每个子集MP表可以使用不同的表标识符。MP表子集号可以由table_id字段隐式表示。由于table_id值是连续分配的，因此可以从table_id字段推导出MP表子集号。也就是说，MP表子集号等于通过从table_id字段的字段值中减去基本MP表的table_id字段的字段值而获得的值。MP表子集号提供对应MP表的子集号。数字“0”指示基本MP表。数字“1”到“14”指示MP表子集。数字“15”具有特殊含义，因为它表示完整MP表。
在表4中，version(版本)字段指示MP表的版本。在接收到版本字段时，更新版本会立即覆盖旧版本。如果table_id字段指示完整MP表，如果子集-0MP表具有与版本字段相同的版本值(当MP_table_mode字段的字段值是“1”时)，如果具有更低子集号的所有MP表子集具有与版本字段相同的版本值(当MP_table_mode字段的字段值为“0”时)，或者如果MP表子集的处理是独立的(当MP_table_mode字段的字段值是“2”时)，如果子集-0MP表具有更新版本，则具有高达14的更高子集号的所有MP表子集(预先存储在MMT接收实体中)被认为是过时的，除了MP_table_mode是独立模式的情况之外。当MP表子集号不为0并且MP_table_mode为“1”时，可以忽略具有与存储在MMT接收实体中的子集-0MP表的版本不同的版本的MP表子集的内容。当MP表子集号不为0并且MP_table_mode为“0”时，可以忽略具有与存储在MMT接收实体中的较低子集MP表子集的版本不同的版本的MP表子集的内容。每次版本变化时，版本字段的字段值可以增加模256。
在表4中，length(长度)字段以字节指示MP表的长度，并且计数从下一字段的开始到MP表的最后字节的字节。值“0”对于长度字段无效。
在表4中，MP_table_mode字段指示当使用MP表子集机制时MP表处理的模式。在“sequential_order_processing_mode”中，使用对应MP表的非零子集号，MMT接收实体可以在MMT接收实体处理对应MP表子集之前接收具有较低子集号并且具有与对应MP表子集的版本相同的版本的所有MP表子集。例如，如果MMT接收实体没有接收到具有相同版本的子集-2MP表，则MMT接收实体不能处理子集-3MP表。在“order_irrelevant_processing_mode”中，使用被设置为非零值的相应MP表子集的子集号，MMT接收实体可能需要在接收到MP表子集之后立即处理MP表子集，直到存储在MMT接收实体中的子集-0MP表具有与对应MP表子集的版本相同的版本。在“independent_processing_mode”中，每个MP表子集的版本是单独管理的。一个分段的MP表(其中每个MP表子集都通过多个MMT传输实体中的一个传递)适用于“independent_processing_mode”。MP表的子集的独立模式可以用于多信道实例化。也就是说，从子集-0MP表到子集-N MP表的MP表子集被分配为从通道0(Ch-0)到通道N(Ch-N)的逻辑通道。当MPI消息同时传递MPI表子集和关联的MP表子集时，MPI表中的PI_mode和MP表中的MP_table_mode可以具有相同的值。
此外，表3的MP_table_mode具有根据表5中所示的值的含义。
[表5]
Value Description
00 “sequential_order_processing_mode”
01 “order_irrelevant_processing_mode”
10 “independent_processing_mode”
11 Reserved
此外，表3中包括的每个参数具有表6中所示的含义。
[表6]
此外，在表6中，例如，部分(例如，部分9.5.1，9.6.1和9.6.2)表示ISO/IEC 23008-1：2014(E)第1版标准的部分。
在表6中，MMT_package_id字段指示对应分组的唯一标识符。MMT_package_id_length字段以字节指示MMT_package_id字符串的长度，不包括终止空字符。MMT_package_id_byte字段指示MMT_package_id的字节。当MMT_package_id_byte字段是字符串时，字符串中不包含终止空字符。在表6中，asset_id指示在ISO/IEC 23008-1:2014(E)第1版标准的部分9.6.2中定义的资产标识符，并且将省略其详细描述。在表6中，asset_type字段提供资产的类型，asset_type字段表示用MP4REG(http://www.mp4ra.org)注册的四字符代码(4CC)类型。
在表6中，MP_table_descriptors字段提供MP表的描述符，并且MP_table_descriptors_length字段包括描述符语法循环的长度。从下一个字段到描述符语法循环的最后一个计算长度。可以将一些描述符插入到对应语法循环中。例如，可以使用additional_package_information_URL描述符，其可以提供对应分组的分组信息网页的URL。
在表6中，MP_table_descriptors_byte字段可以指示描述符循环中的一个字节。number_of_assets字段提供由对应MP表提供信息的资产的数量。packet_id字段提供MMTP分组报头中的MMTP会话的标识符。asset_clock_relation_flag字段指示资产是使用网络时间协议(NTP)时钟还是另一个时钟系统作为时钟参考。如果asset_clock_relation_flag字段的字段值是“1”，则包括asset_clock_relation_id字段。如果asset_clock_relation_flag的字段值是“0”，则NTP时钟用于资产。
在表6中，asset_clock_relation_id字段提供资产的时钟关系标识符。asset_clock_relation_id字段用于参考由CRI_descriptor()为资产传递的时钟关系。asset_clock_relation_id字段的字段值是CRI描述符提供的clock_relation_id值中的一个。这里，CRI描述符在ISO/IEC 23008-1:2014(E)第1版标准的部分9.5.1中描述，并且将省略其详细描述。
在表6中，asset_timescale_flag字段指示是否提供“asset_timescale”信息。如果asset_timescale_flag字段的字段值被设置为“1”，则包括asset_timescale信息。如果asset_timescale_flag字段的字段值被设置为“0”，则asset_timescale信息是90,000(90kHz)。
在表6中，location_count字段提供与资产相关联的位置信息的数量。当资产通过一个位置传递时，location_count字段的字段值被设置为“1”。当执行批量传递时，其中包括在资产中的MPU通过多个通道传递，location_count字段的字段值不设置为“1”。当通过多个位置传递一个资产时，MMT接收实体可以从所有指示的位置接收资产的所有MPU。
在表6中，asset_timescale字段提供被表示为一秒内的单元数的用于资产的所有时间戳的时间单元信息。
在表6中，MMT_general_location_info_for_asset_location字段提供资产的位置信息。这里，可以使用资产的一般位置参考信息，其在ISO/IEC23008-1:2014(E)第1版标准的部分9.6.1中描述。location_type字段的值在'0x00'和'0x06'之间，可以用于资产位置。
在表6中，asset_descriptors_length字段指示从下一字段的开始到资产描述符语法循环的结尾计数的字节数。asset_descriptors_byte字段指示资产描述符中的字节。default_asset_flag字段指示资产是否被标记为默认资产。如果资产被标记为默认资产，则对于对应定时资产可以存在MPU时间戳描述符。如果default_asset_flag字段的字段值是“0”，则可以将资产标记为默认资产。
此外，asset_id将描述如下。
首先，asset_id语法元素组可以用于提供资产ID。如果存在“mmpu”框，则asset_id语法元素组中的值可以与“mmpu”框的资产ID相同。将省略当“mmpu”框不存在时资产ID的分配的描述。
这里，asset_id语法可以如表7所示。
[表7]
表7中包括的每个参数的含义可以如表8所示。
[表8]
此外，在表8中，部分(例如，部分6.3.3)表示ISO/IEC 23008-1:2014第1版标准的部分。
在表8中，asset_id_scheme字段提供了在ISO/IEC 23008-1；2014第1版标准的部分6.3.3中定义的资产ID方案。asset_id_length字段以字节指示asset_id字段的长度，并且asset_id_byte字段指示asset_id中的字节。
此外，标识符映射将描述如下。
首先，标识符映射语法组元素提供内容标识符和MMTP分组子流之间的映射，并且MMTP分组子流是共享相同分组标识符packet_id的MMTP分组的子集。内容标识符可以以其他形式提供，诸如资产ID、URL或图案。
这里，Identifier_mapping()的语法可以如表9所示。
[表9]
表9中包括的每个参数的含义可以如表10所示。
[表10]
在表10中，“Table 6”表示下面提供的表11，并且identifier_type字段提供用于映射到packet_id字段的标识符的类型。可用标识符类型列表在下面的表11中提供。
在表10中，用于标识符映射的标识符类型可以如下表11中所示。
[表11]
此外，表11中的部分(例如，部分9.6.2)表示ISO/IEC 23008-1:2014(E)第1版标准的部分。因此，将省略其详细描述。此外，表9中包括的每个参数的含义可以如下表12中所示。
[表12]
在表12中，URL是URL的列表。URL_count字段的字段值指示在URL的列表中提供的URL的数量。在表12中，URL_length字段以字节指示后续URL的长度。URL_byte字段指示URL的字节，其被格式化为UTF-8字符串。在regex_length字段中，标识符作为与URL集合匹配的常规表达提供，并且regex_length字段指示RegEx字符串的长度。
在表12中，regex_byte字段指示作为UTF-8字符串提供的RegEx字符串的字节。在representation_id_length字段中，标识符被提供为DASH Representation@id。representation_id_length字段的字段值指示DASH Representation@id字符串的长度。
在表12中，representation_id_byte字段指示Representation@id字符串的字节。在private_length字段中，标识符作为私有数据提供。private_length字段以字节提供私有标识符的长度，并且private_byte字段指示私有标识符的字节。
第六，将描述根据实施例的MMT系统的MPU时间戳描述符。
为每个资产的每个MPU发送呈现时间信息。呈现时间信息可以被包括在描述每个资产的特性的MP表中。在MMT系统中，在MPU时间戳描述符中描述每个MPU的呈现起始时间，并且MPU时间戳描述符被包括在MP表中。因此，每个资产中的MPU可以在呈现时间轴上彼此同步。
MPU时间戳描述符可以如下表13所示。(此描述符在应用任何偏移、诸如'elst'框提供的一个偏移之后，以呈现顺序提供MPU的第一AU的呈现时间。当呈现信息呈现时，应忽略该描述符。)
[表13]
这里，表13中包括的每个参数的含义可以如下表14中所示。
[表14]
在表14中，descriptor_tag字段表示指示描述符类型的标签值。descriptor_length字段以字节指示从descriptor_length字段之后的字节到描述符的最后字节计数的长度。在表14中，mpu_sequence_number字段指示在随后的mpu_presentation_time处再现的MPU的序列号。mpu_presentation_time字段基于64位NTP时间戳格式表示指定MPU中第一访问单元(AU)的呈现时间。
将参照图4描述根据实施例的MMT系统中的MMT发送设备的内部结构的示例。
图4是示意性地示出根据实施例的MMT系统中的MMT发送设备的内部结构的示例的示图。
参照图4，MMT发送设备100可以包括字幕改变指示单元101和MMT数据发送单元102。
当从MMT接收设备或与MMT发送设备100通信的另一设备接收到从当前发送的第一字幕改变为第二字幕的请求时，字幕改变指示单元101可以校正描述当前发送的MMT分组和MMT数据的信令信息，并且可以向MMT数据发送单元102传递执行改变字幕的配置(字幕改变配置)所需的信息。
当第一字幕和第二字幕被包括在不同资产中时，需要在MP表中改变字幕资产的资产ID，并且需要发送被包括在第二字幕所属的资产中的、包括每个MPU的呈现时间信息的MPU时间戳描述符。
在将第一字幕改变为第二字幕的情况下，将参照执行改变字幕的配置的操作来详细描述确定第一字幕数据的传输终止部分和第二字幕数据的传输起始部分，并且校正相关信息以适合于确定的时间的方法。将省略其详细描述。
改变字幕所需的信息可以记录在字幕改变描述符中，并且字幕改变描述符可以通过MMT信令消息发送。这将在与字幕改变描述符相关的后续描述中描述，并且这里将省略其详细描述。
此外，MMT数据发送单元102可以向MMT接收设备发送从字幕改变指示单元101接收的记录了执行改变字幕的配置所需的信息的字幕改变描述符、校正的信令信息和MMT数据。
图4示出MMT发送设备100被实现为单独的单元的情况，诸如字幕改变指示单元101和MMT数据发送单元102。然而，字幕改变指示单元101和MMT数据发送单元102可以集成到单个单元中，并且字幕改变指示单元101和MMT数据发送单元102可以被实现为至少一个处理器。
在图4中，已经描述了MMT系统中的MMT发送设备的内部结构的示例。随后，将参照图5描述根据实施例的MMT系统中的MMT接收设备的内部结构的示例。
图5是示意性地示出根据实施例的MMT系统中的MMT接收设备的内部结构的示例的示图。
参照图5，MMT接收设备200可以包括MMT数据接收单元201、字幕改变配置单元202和媒体数据输出单元203。
媒体数据输出单元203可以物理地存在于MMT接收设备200内部，或者可以存在于MMT接收设备200外部。
MMT数据接收单元201可以接收从MMT发送设备发送的MMT数据。MMT数据可以包括在MMT分组中包括的媒体数据、信令消息、相关数据等。
字幕改变配置单元202可以生成再现字幕数据所需的信息，并且可以使用从MMT发送设备发送的字幕改变描述符将其发送到媒体数据输出单元203，使得呈现第一字幕直到确定的时间为止，并且从确定的时间开始呈现第二字幕。这里，将参照用于执行改变字幕的配置的操作来描述生成再现字幕数据所需的信息的方法，并且这里将省略其详细描述。
媒体数据输出单元203可以将再现从字幕改变配置单元202传送的字幕数据所需的信息与媒体数据组合，并且可以输出多媒体内容。
虽然图5示出了MMT接收设备200被实现为单独单元的情况，诸如MMT数据接收单元201、字幕改变配置单元202和媒体数据输出单元203，但是MMT数据接收单元201，字幕改变配置单元202和媒体数据输出单元203中的至少两个可以被集成为单个单元。此外，MMT数据接收单元201、字幕改变配置单元202和媒体数据输出单元203可以被实现为至少一个处理器。
在图5中，已经描述了根据实施例的MMT系统中的MMT接收设备的内部结构的示例。随后，将参照图6描述根据实施例的在MMT系统中改变字幕数据的处理。
图6是示意性地示出根据实施例的在MMT系统中改变字幕数据的处理的示图。
图6示出了基于MMT媒体数据的呈现时间将第一字幕改变为第二字幕的处理。首先，在图6中，假设第一字幕是例如韩语字幕，并且第二字幕是例如英语字幕。这里，韩语字幕是原始字幕，并且英语字幕是要改变为的字幕。在第一字幕和第二字幕中，每个段被包括在MPU中。因此，段通过MPU发送，并且对应于一个或多个段的数据可以被存储在单个MPU中。
另外，如图6所示，在呈现第一字幕的段1的同时在字幕改变时间将第一字幕改变为第二字幕的情况下，如果在字幕改变时间已经完成第二字幕的段1的呈现，则终端的用户可能不会完全阅读段1和段2中的任何一个，并且可能需要等待第二字幕的后续段的呈现，即第二字幕的段2。
在这种情况下，直到第二字幕的段2的开始为止，可以重放第一字幕的段1和/或第二字幕的段1，使得终端的用户充分体验字幕数据提供的上下文。也就是说，已经过去的先前字幕数据在第一字幕的最后一段和第二字幕的第一段之间的空白时间段期间被重放，使得终端的用户可以充分体验由字幕数据提供的上下文。
图6示出了根据实施例的在MMT系统中改变字幕数据的处理。随后，将描述根据实施例的MMT系统中的字幕改变描述符。
为了在第一字幕和第二字幕之间的空白时间段期间重放先前的字幕数据，也就是说，在由于从第一字幕改变到第二字幕而没有提供字幕的时间段期间，需要确定(i)重放字幕数据的持续时间(Duration_reset)和(ii)要重放的字幕数据。
因此，MMT发送设备需要将字幕改变描述符发送到MMT接收设备，使得MMT接收设备确定要重放字幕数据的持续时间和要重放的字幕数据。
字幕改变描述符可以包括：(1)第二字幕的段1的呈现起始时间(MPUPT_new_passed)，(2)第二字幕的段2的呈现起始时间(MPUPT_new_next)，(3)第一字幕的段1的呈现持续时间(duration_original_passed)，以及(4)第二字幕的段1的呈现持续时间(duration_new_passed)。
这里，字幕改变描述符可以被表示为表15和表16中所示。表15和表16是基于单个段存储在单个MPU中的情况来描述的。然而，如上所述，单个段可以包括在单个MPU中，或者多个段可以包括在单个MPU中。
首先，根据MMT标准，单个分组可以对应于单个节目，例如，新闻节目、足球比赛等。单个分组可以包括多种语言的字幕，例如，英语字幕、韩语字幕等，以及视频和音频数据。在这种情况下，可以根据MMT标准将每种语言的字幕数据映射到单个资产。每种语言的字幕可以包括呈现起始时间信息和呈现结束时间信息。尽管对相同内容产生每种语言的字幕，但是每种语言的字幕长度可以根据相应语言的特征而不同。此外，即使在传输或渲染处理期间，也可以执行从预定语言的字幕到另一种语言的字幕的改变。因为执行改变的时间尚未达到新语言字幕的呈现起始时间，所以在预定持续时间内不会在屏幕上显示信息。在这种情况下，可以替代地显示改变之前的字幕，即原始字幕，从而可以改善用户体验。
为此，服务器需要在字幕改变描述符中描述相关信息，并且可以将字幕改变描述符发送到终端。字幕改变描述符可以包括与每个字幕MPU的MPU呈现时间和持续时间相关联的信息。终端可以基于与MPU呈现时间和持续时间相关联的信息，确定要显示的字幕资产以及在后续字幕的呈现起始时间之前的空白时间段(间隔时间段)期间显示字幕资产的时间段。
[表15]
[表16]
表16表示根据实施例的字幕改变描述符，也就是说，服务器(即字幕服务器)发送到终端的信息，使得终端确定要显示的字幕以及要显示字幕的时间段。这里，在表16中包括的每个参数的含义可以如表17所示。
[表17]
此外，在表17中，部分(例如，部分9.5.2)表示ISO/IEC 23008-1:2014(E)第1版标准的部分。
在表17中，descriptor_tag字段表示指示描述符类型的标签值。descriptor_length字段以字节指示从descriptor_length字段之后的字节到描述符的最后一个字节计数的长度。MPUPT_new_passed字段表示包括在改变后的字幕资产中的过去MPU的mpu_presentation_time。在ISO/IEC23008-1:2014(E)第1版标准的部分9.5.2中定义mpu_presentation_time。
在表17中，MPUPT_new_next字段指示改变后的字幕资产中的后续MPU的mpu_presentation_time。在ISO/IEC 23008-1:2014(E)第1版标准的部分9.5.2中定义mpu_presentation_time。
在表17中，duration_original_passed字段指示原始字幕资产中过去MPU的呈现持续时间，并且duration_original_passed字段以毫秒表示。
在表17中，duration_new_passed字段指示改变后的字幕资产中过去MPU的呈现持续时间，并且duration_new_passed字段以毫秒表示。
字幕描述符被写为字幕改变描述符，并且可以作为字幕资产的资产描述符之一被包括在MP表中。MP表可以被包括在PA消息中，并且可以每当与包括在MMT分组中的资产相关联的信息被改变时从MMT发送设备发送到MMT接收设备。
此外，与PA消息相反，字幕描述符可以经由单独的MMT信令消息独立地从MMT发送设备发送到MMT接收设备。包括字幕描述符的信令消息可以是例如字幕改变消息。字幕改变消息的格式可以符合上述MMT信令信息格式。
随后，将参照图7描述根据实施例的在MMT系统中执行改变字幕的配置的方法。
图7是示意性地示出根据实施例的在MMT系统中执行改变字幕的配置的方法的示图。
参照图7，MMT接收设备使用从MMT发送设备发送的字幕改变描述符，以便改变字幕数据的元数据并将适当的字幕数据传递到媒体数据输出单元。
改变字幕的配置如下进行。
1.MMT接收设备接收从服务器发送的字幕改变描述符。
(1)第二字幕的段1的呈现起始时间(MPUPT_new_passed)
(2)第二字幕的段2的呈现起始时间(MPUPT_new_next)
(3)第一字幕的段1的呈现持续时间(duration_original_passed)
(4)第二字幕的段1的呈现持续时间(duration_new_passed)
2.MMT接收设备基于(1)、(2)和(4)计算第二字幕的段1和第二字幕的段2之间的空白时间段。
3.MMT接收设备通过考虑在#2和以下项(即(1)、(2)、(3)、(4)和
(5))中计算的时间段，确定直到第二字幕的段2的呈现开始为止要重放的段、以及要重放段的持续时间(Duration_rest)。
这里，Duration_rest是从尝试改变字幕的时间点到第二字幕的段2的呈现开始的时间点的持续时间(＝MPUPT_new_next)。
在现有的MMT系统中，在Duration_rest期间，在屏幕上不显示字幕。然而，根据实施例，可以在Duration_rest期间显示字幕以便改善用户体验。
因此，在Duration_rest期间要重放的段可以是第一字幕的段1、第二字幕的段1、或者第一字幕的段1和第二字幕的段1二者。如果重放第一字幕的段1和第二字幕的段1二者，则可以确定用于重放第一字幕的段1的持续时间和用于重放第二字幕的段1的持续时间彼此相同或不同。这里，包括用于重放第一字幕的段1的持续时间和用于重放第二字幕的段1的持续时间两者的持续时间可以对应于Duration_rest。
(1)在2中计算的时间段
(2)包括第一字幕的段1的MPU的元数据的内容
(3)包括第二字幕的段1的MPU的元数据的内容
(4)MMT接收设备的解码器的特性，例如，媒体数据解码器的特性，其中，解码器的特性可以包括解码器的能力等
(5)MMT接收设备的渲染器的特性，例如，媒体渲染器的特性，其中渲染的特性可以包括渲染的能力
4.MMT接收设备确定在#3中确定的Duration_rest期间要重放的段的重放模式。
(1)正常重放模式：从确定的段的呈现结束时间起执行与Duration_rest相对应的时间段内的重放(1x速度)
(2)技巧重放模式：在Duration_rest内重放确定的段的全部(确定的段的呈现持续时间χDuration_rest(即重放持续时间)x速度)
(3)私有模式：根据MMT接收设备确定的方法执行重放
5.MMT接收设备可以基于#4中确定的重放模式来调整要重放的段的MPU呈现时间(MPU_presentation_time)。
(1)正常重放模式：通过从MPUPT_new_next指示的时间点向后计算确定的段的重放持续时间而获得的时间
(2)技巧重放模式：通过从MPUPT_new_next指示的时间点向后计算与Duration_rest相对应的时间段而获得的时间
(3)私有模式：根据MMT接收设备确定的方法向后计算
6.在技巧重放模式的情况下，基于在4中确定的重放模式调整在要重放的段中包括的数据的重放时间。例如，当确定的段包括N个媒体样本时，可以将每个媒体样本的重放持续时间调整为所确定的段的重放持续时间χDuration_restχN。这里，媒体样本的重放持续时间可以被包括在MPU元数据中。
7.在#2到#6中确定的信息和数据以及相关的媒体数据被传递到渲染器。
如上所述，两个或更多个段可以被包括在单个MPU中。在这种情况下，代替MPU呈现时间，可以使用在段中包括的数据的第一数据单元的呈现起始时间。
此外，在确定Duration_rest和重放模式的处理中，考虑第二字幕的段1和段2之间的空白时间段与Duration_rest的比率，可以在第二字幕的段2的开始之前提供预定的空白时间段。在这种情况下，还需要额外调整确定的段的Duration_rest和MPU_presentation_time。
实施例基于使用空白时间段的情况，即，在正在呈现第一字幕的段1的同时当字幕语言从第一语言改变为第二语言时直到呈现第二字幕的段2为止的时间段。然而，在空白时间段期间，视频数据被改变为后续场景。如果重放先前场景的先前字幕，则字幕可能与内容的意图完全不同，并且用户体验可能恶化。因此，根据MMT接收设备做出的决定，可以不对整个内容的某些部分执行根据本公开的实施例的方法。也就是说，MMT接收设备可以根据情况需要选择性地应用根据本公开的实施例的方法。MMT接收设备考虑用于识别内容的上下文的上下文识别技术、用户偏好信息、用户的年龄、用户读取单词的速度、显示器的大小、显示器的分辨率、显示器的视野，显示器的空间信息、感兴趣的区域等来做出决定。
用于改变字幕的所有上述操作可以由MMT接收设备执行，或者可以由MMT发送设备执行。如果在MMT发送设备中执行用于改变字幕的所有操作，则MMT接收设备可以执行用于接收和再现MMT数据的正常操作。
在图7中，已经描述了根据实施例的执行用于在MMT系统中改变字幕的配置的方法的示例。随后，将参照图8描述根据实施例的MMT系统中的MMT发送设备的内部结构的另一示例。
图8是示意性地示出根据实施例的MMT系统中的MMT发送设备的内部结构的另一示例的示图。
参照图8，MMT发送设备800可以包括发送单元811、控制器813、接收单元815和存储单元817。
首先，控制器813可以控制MMT发送设备800的整体操作。控制器813可以控制MMT发送设备800执行根据实施例的与改变字幕的操作相关的整体操作。这里，与改变字幕的操作相关的整体操作与参照图1至图7描述的相同。因此，将省略其详细描述。
发送单元811可以在控制器813的控制下将各种类型的数据、各种信号和各种消息发送到MMT接收设备等。这里，发送单元811发送的各种类型的数据、各种信号和各种消息与上面已经描述的图1至图7的那些相同，因此，将省略其详细描述。
此外，接收单元815可以在控制器813的控制下从MMT接收设备等接收各种类型的数据、各种信号和各种消息。这里，接收单元815接收的各种类型的数据、各种信号和各种消息与上面已经描述的图1至图7的那些相同，因此，将省略其详细描述。
存储单元817可以存储MMT发送设备800的操作所需的程序和各种类型的数据，特别是根据实施例的与改变字幕的操作相关的信息。此外，存储单元817可以存储接收单元815从MMT接收设备等接收的各种类型的数据、各种信号和各种消息。
虽然图8示出了MMT发送设备800被实现为单独的单元，诸如发送单元811、控制器813、接收单元815和存储单元817，但是发送单元811、控制器813、接收单元815和存储单元817中的至少两个可以被集成为单个单元。此外，发送单元811、控制器813、接收单元815和存储单元817可以被实现为至少一个处理器。
在图8中，已经描述了根据实施例的MMT系统中的MMT发送设备的内部结构的示例。随后，将参照图9描述根据实施例的MMT系统中的MMT接收设备的内部结构的示例。
图9是示意性地示出根据实施例的MMT系统中的MMT接收设备的内部结构的另一示例的示图。
参照图9，MMT接收设备900可以包括发送单元911、控制器913、接收单元915和存储单元917。
首先，控制器913可以控制MMT接收设备900的整体操作。控制器913可以控制MMT接收设备900执行根据实施例的与用于改变字幕的操作相关的整体操作。这里，与改变字幕的操作相关的整体操作与参照图1至图7描述的相同。因此，将省略其详细描述。
发送单元911可以在控制器913的控制下将各种类型的数据、各种信号和各种消息发送到MMT发送设备等。这里，发送单元911发送的各种类型的数据、各种信号和各种消息与上面已经描述的图1至图7的那些相同，因此，将省略其详细描述。
此外，接收单元915可以在控制器913的控制下从MMT发送设备等接收各种类型的数据、各种信号和各种消息。这里，接收单元915接收的各种类型的数据、各种信号和各种消息与上面已经描述的图1至图7的那些相同，因此，将省略其详细描述。
存储单元917可以存储MMT接收设备900的操作所需的程序和各种类型的数据，特别是与根据实施例的改变字幕的操作相关的信息。此外，存储单元917可以存储接收单元915从MMT发送设备等接收的各种类型的数据、各种信号和各种消息。
虽然图9示出了MMT接收设备900被实现为单独的单元，诸如发送单元911、控制器913、接收单元915和存储单元917，但是发送单元911、控制器913、接收单元915和存储单元917中的至少两个可以被集成为单个单元。此外，发送单元911、控制器913、接收单元915和存储单元917可以被实现为至少一个处理器。
根据实施例，提供了一种多媒体系统中的发送设备。发送设备可以包括：控制器，被配置为在给定时间点再现第一类型数据的同时检测从第一类型数据改变为第二类型数据的请求；以及发送单元，被配置为在再现第二类型数据之前，发送重放第一类型数据中在给定时间点之前再现的数据和第二类型数据中在给定时间点之前再现的数据中的至少一个所需的信息。
这里，当第一类型数据包括第一类型第一数据单元并且第二类型数据包括第二类型第一数据单元时，所述信息包括在再现第二类型第一数据单元之前，发送重放第一类型第一数据单元中在给定时间点之前再现的数据和第二类型第一数据单元中在给定时间点之前再现的数据中的至少一个所需的信息。
这里，所述信息包括：从在第二类型第一数据单元的过去第二数据单元中包括的第一第三数据单元的呈现时间、在第二类型第一数据单元的后续第二数据单元中包括的第一第三数据单元的呈现时间、第一类型第一数据单元的过去第二数据单元的呈现持续时间、以及第二类型第一数据单元的过去第二数据单元的呈现持续时间中选择的至少一个。
第一数据单元包括资产，第二数据单元包括媒体处理单元(MPU)，并且第三数据单元包括访问单元。
第一类型数据和第二类型数据与相同内容相关联。
根据实施例，提供了一种多媒体系统中的接收设备。所述接收设备包括：控制器，被配置为在给定时间点再现第一类型数据的同时检测从第一类型数据改变为第二类型数据的请求；以及接收单元，被配置为在再现第二类型数据之前，接收重放第一类型数据中在给定时间点之前再现的数据和第二类型数据中在给定时间点之前再现的数据中的至少一个所需的信息。
这里，当第一类型数据包括第一类型第一数据单元并且第二类型数据包括第二类型第一数据单元时，所述信息包括在再现第二类型第一数据单元之前，发送重放第一类型第一数据单元中在给定时间点之前再现的数据和第二类型第一数据单元中在给定时间点之前再现的数据中的至少一个所需的信息。
这里，所述信息包括：在从第二类型第一数据单元的过去第二数据单元中包括的第一第三数据单元的呈现时间、在第二类型第一数据单元的后续第二数据单元中包括的第一第三数据单元的呈现时间、第一类型第一数据单元的过去第二数据单元的呈现持续时间、以及第二类型第一数据单元的过去第二数据单元的呈现持续时间中选择的至少一个。
这里，控制器在再现第二类型第一数据单元的后续的第二数据单元之前，重放第一类型第一数据单元中在给定时间点之前再现的数据和第二类型第一数据单元中在给定时间点之前再现的数据中的至少一个。
这里，控制器基于在第二类型第一数据单元的过去第二数据单元中包括的第一第三数据单元的呈现时间、在第二类型第一数据单元的后续第二数据单元中包括的第一第三数据单元的呈现时间、以及第二类型第一数据单元的过去第二数据单元的呈现持续时间来识别第二类型第一数据单元的过去第二数据单元与第二类型第一数据单元的后续第二数据单元之间的空白时间段；确定第一类型第一数据单元中在给定时间点之前再现的数据和第二类型第一数据单元中在在给定时间点之前再现的数据中的至少一个作为要重放的对象，并且基于空白时间段、第一类型第一数据单元的过去第二数据单元的元数据、第二类型第一数据单元的过去第二数据单元的元数据、解码器的能力、以及渲染器的能力确定重放要重放的对象的持续时间；以及在用于重放的持续时间重放要重放的对象。
这里，控制器基于从第一模式、第二模式和第三模式中确定的一种模式在用于重放的持续时间重放要重放的对象，其中，第一模式包括用于从要重放的对象的呈现结束时间重放对应于用于重放的持续时间的数据的模式；第二模式包括用于在用于重放的持续时间内重放要重放的对象的全部的模式；以及第三模式包括用于基于由接收设备确定的方案在用于重放的持续时间中重放要重放的对象的模式。
这里，控制器基于确定的模式调整要重放的对象的第三数据单元呈现时间。
第一数据单元包括资产，第二数据单元包括媒体处理单元(MPU)，并且第三数据单元包括访问单元。
第一类型数据和第二类型数据与相同内容相关联。
本公开的特定方面可以实现为计算机可读记录介质中的计算机可读代码。计算机可读记录介质是预定数据存储设备，其可以存储可由计算机系统读取的数据。计算机可读记录介质可以包括只读存储器(ROM)，随机存取存储器(RAM)，CD-ROM，磁带，软盘，最佳数据存储设备和载波(诸如通过互联网的数据传输)。计算机可读记录介质可以通过连接到网络的计算机系统分发，因此计算机可读代码以分布式方式存储和执行。此外，用于实现本公开的功能程序，代码和代码段可以由本公开所属领域的程序员容易地解释。
将理解，根据本公开的实施例的方法和装置可以以硬件，软件或硬件和软件的组合的形式实现。任何这样的软件可以存储在例如易失性或非易失性存储设备中，诸如ROM，诸如RAM的存储器，存储器芯片，存储器设备或存储器IC，或者可记录的光学或磁性介质(诸如CD，DVD)，磁盘或磁带等，而不管其被擦除的能力或其重新记录的能力。还可以理解，软件可以存储在机器(例如，计算机)可读存储介质中。还可以理解，移动终端中包括的存储器是适合于存储包括由处理器设备执行的指令的程序的机器可读设备的一个示例，从而实现本公开的实施例。
因此，本公开包括用于实现在说明书的所附权利要求中描述的装置和方法的代码的程序，以及用于存储程序的机器(计算机等)可读存储介质。此外，程序可以通过预定介质(诸如通过有线或无线连接传送的通信信号)进行电子传送，并且本公开适当地包括程序的等同物。
此外，根据本公开的实施例的装置可以从与其有线或无线连接的程序提供设备接收程序，并且可以存储程序。程序提供设备可以包括程序，该程序包括指令，通过该指令，程序处理设备执行预设内容保护方法；存储器，用于存储内容保护方法所需的信息等，通信单元，用于与程序处理设备执行有线或无线通信；以及控制器，用于在程序处理设备的请求下或自动地将相应的程序发送到收发器。
同时，尽管已经在本公开的详细描述中描述了本公开的具体实施例，但是在不脱离本公开的范围的情况下可以进行各种修改。因此，本公开的范围不应被限定为限于实施例，而是应由所附权利要求及其等同物限定。

Claims (15)

1.一种多媒体系统中的发送设备的方法，所述方法包括：
在给定时间点再现第一类型数据的同时检测从第一类型数据改变为第二类型数据的请求；以及
在再现第二类型数据之前，发送重放第一类型数据中在给定时间点之前再现的数据和第二类型数据中在给定时间点之前再现的数据中的至少一个所需的信息。
2.根据权利要求1所述的方法，其中，当第一类型数据包括第一类型第一数据单元并且第二类型数据包括第二类型第一数据单元时，所述信息包括在再现第二类型第一数据单元之前，重放第一类型第一数据单元中在给定时间点之前再现的数据和第二类型第一数据单元中在给定时间点之前再现的数据中的至少一个所需的信息。
3.根据权利要求2所述的方法，其中，所述信息包括：从在第二类型第一数据单元的过去第二数据单元中包括的第一第三数据单元的呈现时间、在第二类型第一数据单元的后续第二数据单元中包括的第一第三数据单元的呈现时间、第一类型第一数据单元的过去第二数据单元的呈现持续时间、以及第二类型第一数据单元的过去第二数据单元的呈现持续时间中选择的至少一个。
4.根据权利要求3所述的方法，其中，第一数据单元包括资产，第二数据单元包括媒体处理单元(MPU)，并且第三数据单元包括访问单元。
5.根据权利要求1所述的方法，其中，第一类型数据和第二类型数据与相同内容相关联。
6.一种多媒体系统中的接收设备的方法，所述方法包括：
在给定时间点再现第一类型数据的同时检测从第一类型数据改变为第二类型数据的请求；以及
在再现第二类型数据之前，接收重放第一类型数据中在给定时间点之前再现的数据和第二类型数据中在给定时间点之前再现的数据中的至少一个所需的信息。
7.根据权利要求6所述的方法，其中，当第一类型数据包括第一类型第一数据单元并且第二类型数据包括第二类型第一数据单元时，所述信息包括在再现第二类型第一数据单元之前，重放第一类型第一数据单元中在给定时间点之前再现的数据和第二类型第一数据单元中在给定时间点之前再现的数据中的至少一个所需的信息。
8.根据权利要求7所述的方法，其中，所述信息包括：从在第二类型第一数据单元的过去第二数据单元中包括的第一第三数据单元的呈现时间、第二类型第一数据单元的后续第二数据单元中包括的第一第三数据单元的呈现时间、第一类型第一数据单元的过去第二数据单元的呈现持续时间、以及第二类型第一数据单元的过去第二数据单元的呈现持续时间中选择的至少一个。
9.根据权利要求7所述的方法，还包括：
在再现第二类型第一数据单元的后续第二数据单元之前，重放第一类型第一数据单元中在给定时间点之前再现的数据和第二类型第一数据单元中在给定时间点之前再现的数据中的至少一个。
10.根据权利要求9所述的方法，其中，重放从第一类型第一数据单元中在给定时间点之前再现的数据和第二类型第一数据单元中在给定时间点之前再现的数据中选择的至少一个包括：
基于在第二类型第一数据单元的过去第二数据单元中包括的第一第三数据单元的呈现时间、在第二类型第一数据单元的后续第二数据单元中包括的第一第三数据单元的呈现时间、以及第二类型第一数据单元的过去第二数据单元的呈现持续时间，识别第二类型第一数据单元的过去第二数据单元与第二类型第一数据单元的后续第二数据单元之间的空白时间段；
确定第一类型第一数据单元中在给定时间点之前再现的数据和第二类型第一数据单元中在在给定时间点之前再现的数据中的至少一个作为要重放的对象，并且基于空白时间段、第一类型第一数据单元的过去第二数据单元的元数据、第二类型第一数据单元的过去第二数据单元的元数据、解码器的能力以及渲染器的能力来确定重放要重放的对象的持续时间；以及
在用于重放的持续时间重放要重放的对象。
11.根据权利要求10所述的方法，其中，在用于重放的持续时间重放要重放的对象基于从第一模式，第二模式和第三模式中确定的一种模式，
其中，第一模式包括用于从要重放的对象的呈现结束时间起重放与用于重放的持续时间对应的数据的模式；
第二模式包括用于在用于重放的持续时间内重放要重放的对象的全部的模式；以及
第三模式包括用于基于由接收设备确定的方案在用于重放的持续时间内重放要重放的对象的模式。
12.根据权利要求11所述的方法，其中，在用于重放的持续时间内重放要重放的对象还包括：基于确定的模式来调整要重放的对象的第三数据单元呈现时间。
13.根据权利要求8所述的方法，其中，第一数据单元包括资产，第二数据单元包括媒体处理单元(MPU)，并且第三数据单元包括访问单元。
14.一种发送设备，被配置为实现权利要求1至5中任一项所述的方法。
15.一种接收设备，被配置为实现权利要求6至13中任一项所述的方法。
CN201880021673.1A 2017-03-29 2018-03-28 用于在多媒体系统中发送和接收信号的设备和方法 Active CN110463209B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20170040338 2017-03-29
KR10-2017-0040338 2017-03-29
PCT/KR2018/003667 WO2018182313A1 (ko) 2017-03-29 2018-03-28 멀티미디어 시스템에서 신호를 송신 및 수신하는 장치 및 방법

Publications (2)

Publication Number Publication Date
CN110463209A true CN110463209A (zh) 2019-11-15
CN110463209B CN110463209B (zh) 2022-04-19

Family

ID=63677606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880021673.1A Active CN110463209B (zh) 2017-03-29 2018-03-28 用于在多媒体系统中发送和接收信号的设备和方法

Country Status (5)

Country Link
US (1) US11805293B2 (zh)
EP (1) EP3573341B1 (zh)
KR (1) KR102465142B1 (zh)
CN (1) CN110463209B (zh)
WO (1) WO2018182313A1 (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050123267A1 (en) * 2003-11-14 2005-06-09 Yasufumi Tsumagari Reproducing apparatus and reproducing method
WO2007142648A1 (en) * 2006-06-09 2007-12-13 Thomson Licensing System and method for closed captioning
JP2008072586A (ja) * 2006-09-15 2008-03-27 Matsushita Electric Ind Co Ltd デジタルａｖストリーム再生装置
CN101278348A (zh) * 2005-10-11 2008-10-01 三星电子株式会社 同时再现多条数据的再现方法和设备
US20090300700A1 (en) * 2008-06-02 2009-12-03 Hon Hai Precision Industry Co., Ltd. Replayable tv system
US20110142415A1 (en) * 2009-12-11 2011-06-16 Samsung Electronics Co., Ltd. Digital content and apparatus and method for reproducing the digital content
CN102883172A (zh) * 2011-07-15 2013-01-16 日立民用电子株式会社 接收装置、接收方法和发送接收方法
CN103257821A (zh) * 2012-02-15 2013-08-21 三星电子株式会社 图像显示设备中改变字幕属性的装置和方法
US20130219444A1 (en) * 2012-02-17 2013-08-22 Sony Corporation Receiving apparatus and subtitle processing method
JP2015216621A (ja) * 2014-12-05 2015-12-03 ソニー株式会社 受信装置、およびデータ処理方法
CN106416283A (zh) * 2014-05-15 2017-02-15 索尼公司 接收设备、传输设备以及数据处理方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040081434A1 (en) 2002-10-15 2004-04-29 Samsung Electronics Co., Ltd. Information storage medium containing subtitle data for multiple languages using text data and downloadable fonts and apparatus therefor
KR100970727B1 (ko) 2002-10-15 2010-07-16 삼성전자주식회사 텍스트 데이터와 다운로드 폰트를 이용한 다국어 지원용서브 타이틀 데이터가 기록된 정보저장매체 및 그 장치
JP5119566B2 (ja) 2004-02-16 2013-01-16 ソニー株式会社 再生装置および再生方法、プログラム記録媒体、並びにプログラム
EP1758121B1 (en) * 2004-06-18 2010-09-01 Panasonic Corporation Reproduction device, program, and reproduction method
WO2008114595A1 (ja) * 2007-03-22 2008-09-25 Mitsubishi Electric Corporation 映像再生装置および映像再生方法
JP2009177720A (ja) * 2008-01-28 2009-08-06 Sony Corp 表示制御装置、表示制御方法、およびプログラム
US10642574B2 (en) * 2013-03-14 2020-05-05 Apple Inc. Device, method, and graphical user interface for outputting captions
US10244203B1 (en) * 2013-03-15 2019-03-26 Amazon Technologies, Inc. Adaptable captioning in a video broadcast
JP6331670B2 (ja) * 2014-05-12 2018-05-30 ソニー株式会社 受信装置、および送信装置、並びにデータ処理方法
CN105744346A (zh) * 2014-12-12 2016-07-06 深圳Tcl数字技术有限公司 字幕切换方法及装置
US10448068B2 (en) * 2015-01-19 2019-10-15 Samsung Electronics Co., Ltd. Method and apparatus for transmitting and receiving signaling information associated with multimedia content
CN113660518A (zh) * 2016-03-10 2021-11-16 麦克赛尔株式会社 广播接收装置
KR102482207B1 (ko) 2016-03-11 2022-12-29 삼성전자주식회사 디지털 방송 시스템에서 서비스 전환을 위한 방법 및 장치
WO2017183403A1 (en) * 2016-04-22 2017-10-26 Sharp Kabushiki Kaisha Systems and methods for signaling of an identifier of a data channel

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050123267A1 (en) * 2003-11-14 2005-06-09 Yasufumi Tsumagari Reproducing apparatus and reproducing method
CN101278348A (zh) * 2005-10-11 2008-10-01 三星电子株式会社 同时再现多条数据的再现方法和设备
WO2007142648A1 (en) * 2006-06-09 2007-12-13 Thomson Licensing System and method for closed captioning
JP2008072586A (ja) * 2006-09-15 2008-03-27 Matsushita Electric Ind Co Ltd デジタルａｖストリーム再生装置
US20090300700A1 (en) * 2008-06-02 2009-12-03 Hon Hai Precision Industry Co., Ltd. Replayable tv system
US20110142415A1 (en) * 2009-12-11 2011-06-16 Samsung Electronics Co., Ltd. Digital content and apparatus and method for reproducing the digital content
CN102883172A (zh) * 2011-07-15 2013-01-16 日立民用电子株式会社 接收装置、接收方法和发送接收方法
CN103257821A (zh) * 2012-02-15 2013-08-21 三星电子株式会社 图像显示设备中改变字幕属性的装置和方法
US20130219444A1 (en) * 2012-02-17 2013-08-22 Sony Corporation Receiving apparatus and subtitle processing method
CN106416283A (zh) * 2014-05-15 2017-02-15 索尼公司 接收设备、传输设备以及数据处理方法
JP2015216621A (ja) * 2014-12-05 2015-12-03 ソニー株式会社 受信装置、およびデータ処理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LINGYAN ZHANG: "《Towards Video Quality of Experience and Selective Attention：A Subtitle-Based Measurement Study》", 《2016 IEEE INTERNATIONAL CONFERENCE ON SERVICES COMPUTING》 *
尹璐: "《基于MPEG足球视频场景切换检索的研究》", 《中国优秀硕士学位论文全文数据库》 *

Also Published As

Publication number Publication date
KR20190125967A (ko) 2019-11-07
EP3573341A1 (en) 2019-11-27
US11805293B2 (en) 2023-10-31
KR102465142B1 (ko) 2022-11-10
CN110463209B (zh) 2022-04-19
EP3573341A4 (en) 2019-11-27
WO2018182313A1 (ko) 2018-10-04
EP3573341B1 (en) 2022-07-13
US20230179826A1 (en) 2023-06-08

Similar Documents

Publication Publication Date Title
US8904446B2 (en) Method and apparatus for indexing content within a media stream
CN103891301B (zh) 用于同步多媒体广播服务的媒体数据的方法和装置
US10924810B2 (en) Reception device, reception method, transmission device, and transmission method
US10306338B2 (en) Personalized user interface for managing multimedia streams
CN104683852B (zh) 处理广播信息的方法和设备
EP3145205B1 (en) Reception device, transmission device, and data processing method
US8646021B2 (en) Method and apparatus for providing an interactive application within a media stream
US11395018B2 (en) Information processing apparatus, information processing method, and program
US20120090009A1 (en) Video Assets Having Associated Graphical Descriptor Data
JP6728246B2 (ja) マルチメディアシステムにおける信号送受信方法及び装置
CN104065978B (zh) 一种媒体内容定位的方法及系统
US11438650B2 (en) Information processing apparatus, information processing method, transmission apparatus, and transmission method
KR20100022912A (ko) 방송 데이터를 전송하는 방법 및 장치와 방송 데이터를 수신하는 방법 및 장치
CN103269450B (zh) 一种面向Android智能电视的多媒体系统
EP3258696B1 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
CN108810575B (zh) 一种发送目标视频的方法和装置
US20160322080A1 (en) Unified Processing of Multi-Format Timed Data
CN105847990B (zh) 播放媒体文件的方法和设备
CN110463209A (zh) 用于在多媒体系统中发送和接收信号的设备和方法
WO2016090916A1 (zh) 码流传输方法和装置
CN104768060B (zh) 一种频道切换方法及装置
JP4755717B2 (ja) 放送受信端末装置
EP3668101B1 (en) Transmission device, transmission method, reception device, and reception method
US11937013B2 (en) Method for video processing, an electronic device for video playback and a video playback system
CN108702541A (zh) 服务通告中的组件指示

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant