CN1914903A - 用于解码文本字幕流的文本字幕解码器和方法 - Google Patents
用于解码文本字幕流的文本字幕解码器和方法 Download PDFInfo
- Publication number
- CN1914903A CN1914903A CN 200480041531 CN200480041531A CN1914903A CN 1914903 A CN1914903 A CN 1914903A CN 200480041531 CN200480041531 CN 200480041531 CN 200480041531 A CN200480041531 A CN 200480041531A CN 1914903 A CN1914903 A CN 1914903A
- Authority
- CN
- China
- Prior art keywords
- text
- dialog
- text subtitle
- style
- buffer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Signal Processing For Digital Recording And Reproducing (AREA)
- Television Signal Processing For Recording (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Abstract
公开了一种用于解码记录媒介上记录的文本字幕流的方法和文本字幕解码器。字幕加载缓冲器初始地加载文本字幕流,该文本字幕流包括定义一组区域样式的对话样式段以及具有用于具有至少一个区域的对话的对话呈现信息和对话文本数据的对话呈现段。文本字幕处理器将对话呈现段解析为每一区域的合成信息、表现信息和对话文本数据。接着,文本表现器根据表现信息将文本串表现为每一区域的位图对象,且在图形平面内合成经表现的位图对象。
Description
技术领域
本发明涉及用于解码记录媒介上记录的文本字幕流的文本字幕解码器及方法,记录媒介的示例是蓝光盘(BD)。
背景技术
光盘广泛地用作记录大量数据的光学记录媒介。当前,在各种光盘中,一种新的高密度数字视频盘(以下称作“HD-DVD”),诸如蓝光盘(以下称作“BD”),正被开发用于写入和存储高清晰度视频和音频数据。现在,被认为是下一代HD-DVD技术的蓝光盘(BD)的全球标准技术规范正作为下一代光学记录解决方案在建立之中,它能具有明显超过常规DVD及许多其它数字装置的数据。
因此,应用了蓝光盘(BD)标准的光学再现装置也正在开发中。但是,由于蓝光盘(BD)标准仍未完成,在开发完整的光学再现装置过程中具有诸多困难。特别是,为有效再现来自蓝光盘(BD)的数据,不仅应提供主AV数据及为用户便利所需的各种数据,诸如作为与主AV数据有关的补充数据的字幕信息,还应组织并提供用于再现光盘中记录的主数据和字幕数据的管理信息。
然而,当前的蓝光盘(BD)标准中,由于补充数据(特别是字幕信息)的标准未完全统一,基于蓝光盘(BD)的光学再现装置的完全开发中存在诸多限制。此外,这些限制引发了向用户提供诸如字幕的补充数据中的各种问题。
发明内容
因此,本发明涉及用于解码记录媒介上记录的文本字幕流的文本字幕解码器和方法,它们基本上消除了由于相关技术的限制和缺陷引起的一个或多个问题。
本发明的目的在于提供一种用于解码记录媒介上记录的文本字幕流的方法和文本字幕解码器,该文本字幕流包括用于每一对话区域的文本串以及解码该文本串所需的合成和表现信息。
本发明的其它优点、目的和特征将部分在以下描述中阐述,且部分将通过以下内容的仔细阅读而为本领域熟练技术人员显而易见,或通过本发明的实施而获知。通过说明书和权利要求书以及附图中特别指出的结构可实现并获得本发明的目的和其它优点。
为实现这些目的和其它优点且根据本发明的用途,如这里体现和广泛描述的,提供了一种用于解码记录媒介上记录的文本字幕流的方法。最初,将记录媒介上记录的文本字幕流载入字幕加载缓冲器,其中文本字幕流包括对话样式段和对话呈现段。对话样式段定义一组区域样式,且对话呈现段包括用于具有至少一个区域的对话的对话呈现信息和对话文本数据。此后,将对话呈现段解析为每个区域的合成信息、表现信息和对话文本数据。
随后,将经解析的合成和表现信息存入第一缓冲器,并进一步将经解析的对话文本数据存入第二缓冲器,其中第二缓冲器中存储的对话文本数据包括用于每一区域的一个或多个文本串。根据表现信息将第二缓冲器中存储的文本串表现为用于每一区域的位图对象,并将所表现的位图对象存入第三缓冲器。最后,根据合成信息在图形平面中合成每一区域的被存储的位图对象。
根据本发明的另一方面,一种用于解码记录媒介上记录的文本字幕流的文本字幕解码器包括:字幕加载缓冲器、文本字幕处理器、对话合成缓冲器、对话缓冲器、文本表现器、位图对象缓冲器和图形平面。字幕加载缓冲器初始地加载文本字幕流,所述文本字幕流包括定义一组区域样式的对话样式段以及包括用于具有至少一个区域的对话的对话呈现信息和对话文本数据的对话呈现段。文本字幕处理器将对话呈现段解析为每一区域的合成信息、表现信息和对话文本数据。接着,对话合成缓冲器存储来自文本字幕处理器的经解析的合成和表现信息,且对话缓冲器存储对话文本数据,所述对话文本数据包括每一区域的一个或多个文本串。
此后,包含在文本字幕解码器中的文本表现器根据表现信息将对话缓冲器中存储的文本串表现为每一区域的位图对象,且位图对象缓冲器存储所表现的位图对象。最后,在图形平面中根据合成信息合成位图对象缓冲器中存储的位图对象。
本发明的另一方面中,一种用于再现光盘上记录的文本字幕流的光盘播放器包括:音频解码器,它被配置为将所述光盘上记录的音频流解码为音频数据;视频解码器,它被配置为将所述光盘上记录的视频流解码为视频图像数据;文本字幕解码器,它被配置为将所述光盘上记录的文本字幕流解码为文本字幕图像数据;以及图像叠加单元,它被配置为叠加经解码的文本字幕图像数据和经解码的视频图像数据。文本字幕解码器包括文本字幕处理器、文本表现器和图形平面。文本字幕处理器对于具有至少一个区域的对话将所述文本字幕流解析为合成信息、表现信息和对话文本数据,其中对话文本数据包括每一区域的一个或多个文本串。文本表现器根据表现信息将文本串表现为每一区域的图形数据,而图形平面根据所述合成信息合成所表现的图形数据。
可以理解,本发明的以上一般描述和以下详细描述都是示例性和说明性的,并旨在提供对所要求保护的本发明的进一步说明。
附图说明
包含附图以提供对本发明的进一步理解,且附图结合并构成了本申请的一部分,附图示出了本发明的实施例并连同说明书一起用于解释本发明的原理。附图中:
图1示出了根据本发明的光盘中记录的数据文件的结构。
图2示出了根据本发明的光盘的数据存储区。
图3示出了根据本发明的显示屏上呈现的文本字幕和主图像。
图4示出了说明根据本发明的主AV剪辑和文本字幕剪辑的再现控制的示意图。
图5A示出了根据本发明的显示屏上呈现的对话。
图5B示出了根据本发明的显示屏上呈现的对话区域。
图5C示出了根据本发明的对话区域的样式信息。
图6A示出了呈现时间戳中显示屏上文本字幕对话的呈现。
图6B示出了显示屏上呈现的文本字幕对话之间的连续性。
图7A示出了根据本发明的文本字幕流文件的结构。
图7B示出了根据本发明的文本字幕流中包括的DPU和DSU中包含的特定信息。
图8示出了根据本发明的用于解码主AV流和文本字幕流的装置。
图9示出了根据本发明的文本字幕解码器。
图10示出了说明根据本发明的文本字幕解码器执行的解析、表现和合成过程的图形表示。
图11示出了根据本发明的文本字幕解码器中包括的各种组件的操作时间。
具体实施方式
现详细参考本发明的较佳实施例,其示例在附图中示出。只要可能,相同的标号将贯穿附图用于表示相同或相似的部分。
在本详细描述中,主数据表示属于作者在光盘中记录的标题(例如,电影标题)的音频/视频(AV)数据。一般,AV数据按MPEG2格式记录,并常称作AV流或主AV流。此外,补充数据表示再现主数据所需的所有其它数据,其示例为文本字幕流、交互图形流、呈现图形流和补充音频流(例如,用于可浏览幻灯片)。这些补充数据流可按MPEG2格式或按任何其它数据格式记录。它们可与AV流一起被多路复用或者可作为光盘内的独立数据文件存在。
字幕表示与正再现的视频(图像)数据相对应的说明信息,且它可用预定语言表示。例如,当用户在观看显示屏上的图像的同时选择观看以各种语言表示的多个字幕之一的选项,则与选定字幕相对应的说明信息显示于显示屏的预定部分上。如果所显示的说明信息是文本数据(例如字符),选定的字幕常称作文本字幕。根据本发明的一个方面,MPEG2格式的多个文本字幕流可记录于光盘中,且它们可作为多个独立的流文件存在。每一文本字幕流文件包括文本字幕的文本数据和再现文本数据所需的再现控制数据。根据本发明的另一方面,仅MPEG2格式的单个文本字幕流可记录于光盘中。
图1示出了根据本发明的蓝光盘(以下“BD”)中记录的数据文件的文件结构。参考图1,至少一个BD目录(BDMV)包括在根目录(root)中。每一BD目录都包括索引文件(index.bdmv)和对象文件(MovieObject.bdmv),它们用于与一个或多个用户交互。例如,索引文件可包含表示具有多个可选菜单和电影标题的索引表的数据。每一BD目录还包括四个文件目录,它们包含要再现的音频/视频(AV)数据和再现AV数据所需的各种数据。
每一BD目录中包括的文件目录是流目录(STREAM)、剪辑信息目录(CLIPINF)、播放列表目录(PLAYLIST)和辅助数据目录(AUX DATA)。首先,流目录(STREAM)包括具有特定数据格式的音频/视频(AV)流文件。例如,AV流文件可采用MPEG2传输分组的形式并命名为“*.m2ts”,如图1所示。流目录还可包括一个或多个文本字幕流文件,其中每一文本字幕流文件包括用于按特定语言表示的文本字幕的文本(例如字符)数据以及该文本数据的再现控制信息。文本字幕流文件作为独立流文件存在于流目录内并可被命名为“.m2ts”或“.txtst”,如图1所示。流目录中包含的AV流文件或文本字幕流文件常称作剪辑流文件。
接着,剪辑信息目录(CLIPINF)包括分别与流目录中包含的流文件(AV或文本字幕)相对应的剪辑信息文件。每一剪辑信息文件包含相应流文件的属性和再现定时信息。例如,一剪辑信息文件可包括映射信息,其中呈现时间戳(PTS)和源分组号(SPN)通过入口点映射(EPM)一对一映射。使用映射信息,通过播放项或子播放项所提供的定时信息(进入时间(In-Time)和离开时间(Out-Time))可确定流文件的特定位置,这将在稍后更详细地描述。在行业标准中,每对流文件及其相应的剪辑信息被指定为一剪辑。例如,CLIPINF中包含的01000.clpi包括STREAM中包含的01000.m2ts的属性和再现定时信息,且01000.clpi和01000.m2ts形成一剪辑。
返回图1,播放列表目录(PLAYLIST)包括一个或多个播放列表文件(*.mpls),其中每一播放列表文件都包括指定至少一个主AV剪辑和该主AV剪辑的再现时间的至少一个播放项。更特别地,播放项包含指定输入时间和输出时间的信息,它们表示播放项内的剪辑信息文件名(Clip_Information_File_Name)所指定的主AV剪辑的再现开始和结束时间。因此,播放列表文件表示一个或多个主AV剪辑的基本再现控制信息。此外,播放列表文件还可包括子播放项,它表示文本字幕流文件的基本再现控制信息。当子播放项包含在播放列表文件中以再现一个或多个文本字幕流文件时,使子播放项与播放项同步。另一方面,当子播放项被用于再现可浏览幻灯片时,它可以不与播放项同步。根据本发明,子播放项的主要功能是控制一个或多个文本字幕流文件的再现。
最后,辅助数据目录(AUX DATA)可包括辅助数据流文件,其示例是字体文件(例如aaaaa.font)、弹出菜单文件(未示出)和用于生成喀哒声的声音文件(例如Sound.bdmv)。先前提到的文本字幕流文件可包含在辅助数据目录中而非流目录中。
图2示出了根据本发明的光盘的数据存储区。参考图2,光盘包括占据盘卷的最内部分的文件系统信息区、占据盘卷的最外部分的流区以及位于文件系统信息区和流区之间的数据库区。在文件系统信息区中,存储用于管理图1所示的整个数据文件的系统信息。接着,AV流和一个或多个文本字幕流被存入流区。图1所示的通用文件、播放列表文件和剪辑信息文件被存入盘卷的数据库区。如以上所讨论的,通用文件包括索引文件和对象文件,且播放列表文件和剪辑信息文件包括再现流区中存储的AV流和文本字幕流所需的信息。使用数据库区和/或流区中存储的信息,用户能选择特定回放模式并按选定的回放模式再现主AV和文本字幕流。
图3示出了根据本发明的显示屏上呈现的文本字幕和主图像。当主AV流和相应文本字幕流同步再现时,主图像和文本字幕同时显示于显示屏上。
图4是示出根据本发明的主AV剪辑和文本字幕剪辑的再现控制的示意图。参考图4,播放列表文件包括控制至少一个主AV剪辑的再现的至少一个播放项以及控制多个文本字幕剪辑的再现的子播放项。图4所示的用于英语和韩语文本字幕的文本字幕剪辑1和文本字幕剪辑2之一可与主AV剪辑同步,以使主图像和相应的文本字幕在特定的呈现时间处同时显示于显示屏上。为在显示屏上显示文本字幕,需要显示控制信息(例如位置和大小信息)和呈现时间信息,其示例在图5A到5C中示出。
图5A示出了根据本发明的显示屏上呈现的对话。对话表示给定呈现时间期间在显示屏上显示的整个文本字幕数据。一般,对话的呈现时间可按呈现时间戳(PTS)表示。例如,图5A所示的对话的呈现始于PTS(k)并结束于PTS(k+1)。因此,图5A所示的对话表示PTS(k)和PTS(k+1)之间在显示屏上显示的文本字幕数据的整个单元。对话包括至少一行字幕文本(字符)。当对话中有两行或更多行字幕文本时,可根据为对话定义的样式来显示整个文本数据。
此外,图5B示出了根据本发明的对话区域。区域表示在给定呈现时间期间显示于显示屏上的文本字幕数据(对话)的划分部分。换言之,对话包括至少一个区域,且每一区域可包括至少一行字幕文本。表示区域的整个文本字幕数据可根据分配给该区域的区域样式(全局样式)显示于显示屏上。对话中包含的区域的最大数量应根据字幕数据的期望解码速率来确定,因为区域的数量越大一般会导致解码率越低。例如,对话的区域的最大数量可限于2个以达到合理大小的解码速率。但是,出于其它目的,最大数量可大于2个。
图5C示出了根据本发明的对话区域的样式信息。样式信息表示定义显示对话中包含的至少一部分区域所需的属性的信息。样式信息的某些示例是位置、区域大小、背景色、文本对齐、文本流向信息及其它。样式信息可被分类成区域样式信息(全局样式信息)和行内样式信息(局部样式信息)。
区域样式信息定义应用于整个对话区域的区域样式(全局样式)。例如,区域样式信息可包含该区域的区域位置、区域大小、字体颜色、背景色、文本流向、文本对齐、行距、字体名称、字体样式和字体大小的至少一个。例如,如图5C所示,两个不同的区域样式应用于区域1和区域2。具有位置1、大小1和蓝背景色的区域样式被应用于区域1,且具有位置2、大小2和红背景色的不同区域样式被应用于区域2。
另一方面,行内样式信息定义应用于区域中包含的文本串的特定部分的行内样式(局部样式)。例如,行内样式信息可包含字体类型、字体大小、字体样式和字体颜色的至少一个。文本串的特定部分可以是区域内的整个文本行或者文本行的特定部分。参考图5C,特定行内样式被应用于区域1中包含的文本部分“mountain”。换言之,文本串的特定部分的字体类型、字体大小、字体样式和字体颜色中的至少一种与区域1内的文本串的其余部分不同。
图6A示出了呈现时间戳(PTS)间隔中显示屏上的文本字幕对话的呈现。在PTS1到PTS6之间显示了四个对话。更具体地,对话#1仅有一个区域且文本#1显示于PTS1到PTS2之间的区域内,对话#2具有区域1和区域2且文本#1和文本#1分别在PTS2和PTS3之间显示于区域1和区域2内。此后,对话#3也只有一个区域且文本#2在PTS3和PTS4之间显示于该区域内。PTS4和PTS5之间不呈现对话,且文本#3在PTS5和PTS6之间显示于对话#4的区域内。定义对话的信息包括对话呈现时间信息和对话文本数据,包括要在对话的每个区域内显示的样式信息和文本串。呈现时间信息的一示例是PTS开始和PTS结束的组,且样式信息包括上述区域(全局)样式信息和行内(局部)样式信息。如图6A所示,不同的样式信息组可应用于各对话。
图6B示出了在PTS间隔内在显示屏上正呈现的文本字幕对话之间的连续性。参考图6B,对话#1和对话#2之间存在连续性。对话#1的区域中的文本#1的显示与对话#2的区域1中的文本#1的显示连续。换言之,当在两个区域中呈现文本#1时,两个对话的PTS间隔是连续的且使用相同的样式信息(区域和行内)。类似地,对话#2和对话#3之间存在另一连续性,因为对话#2的区域2中文本#2的显示与对话#3的区域中的文本#2的显示连续。为确保显示相同字幕文本的两个接连对话之间的连续性,对话的呈现时间(PTS间隔)必须是连续的。此外,当在各区域中分别呈现相同文本时,必须使用相同的区域和行内样式信息。再参考图6B,对话#3和对话#4之间没有连续性,因为它们的PTS间隔是不连续的。指示符(例如连续呈现标记(continuous_presentation_flag))可包含于当前对话的呈现信息中以指示对话是否与前一对话是连续的。
图7A示出了根据本发明的文本字幕流文件(例如,图1中示出的10001.m2ts)。它可以是由包含多个传输分组(TP)的MPEG2传输流构成,这些传输分组都具有相同的分组标识符(例如,PIN=0x18xx)。当盘播放器接收到包括特定文本字幕流的许多输入流时,它用其PID找到属于该文本字幕流的所有传输分组。参考图7A,传输分组的每个子集形成一分组流元(PES)分组。图7A所示的PES分组之一对应于定义一组区域样式的对话样式单元(DSU)。DSU常称作对话样式段(DSS)。所有其余PES分组都对应于对话呈现单元(DPU),它们每一个都包括具有至少一个区域的对话的呈现信息,以及指示每个区域的区域样式指示符、行内样式信息和文本串的对话文本数据。
图7B示出了根据本发明的包括在文本字幕流中的DPU和DSU内所包含的特定信息。DSU包含定义一组区域样式的信息集,它们每一个被应用于对话的相应区域。此外,DPU包含对话的对话文本数据和对话呈现信息。对话文本数据包括要包含在每个对话区中的文本串、要应用于文本串的特定部分的行内样式信息以及指示要应用于每个对话区域的区域样式的区域样式标识符。区域样式标识符标识DSU中定义的该组区域样式中的一个。另一方面,对话呈现信息包括对话的呈现时间信息和调色板(颜色)更新信息。呈现时间信息可包括用于在显示屏上呈现对话的呈现开始时间(例如,PTS_start)和呈现结束时间(例如PTS_end),且调色板更新信息可包括指示在更新显示颜色时是否更新要应用的对话的显示颜色和调色板信息(例如,用于更新的调色板)的指示符(例如调色板更新标记(palette_update_flag))。
文本字幕中包含的所有数据可根据它们的基本功能被分类成三种数据类型。例如,数据可分类成对话文本数据、合成信息和表现信息,如图7B所示。对话文本数据包括对话的文本串、行内样式信息和每一区域的区域样式标识符。合成信息包括呈现时间信息,其示例为呈现开始和结束时间,对话区域的位置信息,以及对话的调色板更新信息。最后,表现信息包括将文本串表现为用于呈现的图形数据所需的信息。参考图7B,DSU中包含的每个区域的水平和垂直位置是合成信息的一部分,且DSU中包含的区域宽度、区域高度、字体颜色、背景色、文本流向、文本对齐、行距、字体名称、字体样式和字体大小表示上述表现信息。
现详细参考根据本发明的解码主AV流和文本字幕流的装置,其示例在图8中示出。该装置包括分组标识符(PID)过滤器5,用于根据它们的分组标识符将输入流分成视频流、音频流、图形流和文本字幕流;用于解码视频流的视频解码部分20;用于解码音频流的音频解码部分10;用于解码图形流的图形解码部分30;以及用于解码文本字幕流的文本字幕解码部分40。
文本字幕流可从光盘或者从附加外部源提取,如图8所示。为此,该装置附加地包括选择输入数据源的开关6。因而,如果从光盘提取文本字幕流,则开关6选择与PID过滤器5相连的数据线A。另一方面,如果它们从外部源输入,则开关6选择与外部源相连的线路B。
再参考图8,音频解码部分10、视频解码部分20和图形解码部分30分别包括传输缓冲器11、21和31,用于存储要解码的流数据。视频平面(VP)23和图形平面33分别包含在视频解码部分20和图形解码部分30中,用于将经解码的信号转换成可显示的视频和图形图像。图形解码部分30包括用于控制可显示图形图像的颜色和透明程度的颜色查找表(CLUT)34。
当文本字幕解码部分40接收来自开关6的支持单种语言的文本字幕流时,文本字幕流的整个部分可一次性预载入字幕预载缓冲器(SPB)41。或者,当具有支持多语言的一个以上文本字幕流时,所有的文本字幕流都可一次性预载入SPB 41。因此,SPB 41的大小应根据从开关6接收的文本字幕流文件的总数来确定。例如,为预载0.5兆字节的文本字幕流文件,SPB41的大小应大于或等于0.5兆字节。此外,为确保当用户在两个0.5兆字节的文本字幕流文件之间切换时文本字幕的无缝呈现,SPB 41的大小应大于或等于1兆字节。SPB 42的大小应足够大以立刻预载所有需要的文本字幕流文件。
图8所示的文本字幕解码部分40还包括字体预载缓冲器(FPB)410,用于存储可包含在图1所示的辅助数据目录中的所有相关联的字体文件。类似地,FPB 410的大小应足够大,以一次性预载所有需要的字体文件,从而确保支持一种或多种语言的文本字幕的无缝呈现。由于预载所有可用文本字幕流文件和相关字体文件,可按简单的方式完成预载数据的提取和使用。因此,SPB 41和FPB 410的控制可以相当简单。文本字幕解码部分40还包括解码SPB 41中存储的每个文本字幕流的文本字幕解码器42、其中将经解码的字幕数据合成为可显示字幕图像的图形平面43、以及控制经转换的字幕图形的颜色和透明程度中的至少一个的颜色查找表(CLUT)44。
图8所示的装置还包括图像叠加部分50,它叠加从视频解码部分20、图形解码部分30和文本字幕解码部分40输出的图像。这些组合图像被显示于显示屏上,如图3所示。一般,从视频解码部分20的VP 23输出的视频图像可显示为显示屏的背景,且从图形解码部分30和/或文本字幕解码部分40输出的图像可按预定顺序叠加于视频图像上。例如,如果图形解码部分30的输出图像是呈现图形图像,这些图像可由第一累加器52最初叠加于视频图像上,随后,来自文本字幕解码部分40的文本字幕图像可由第二累加器53叠加于视频图像上。然而,如果图形解码部分30的输出图像是交互图形图像,则来自文本字幕解码部分40的文本字幕图像可由第一累加器52最初叠加于视频图像上。此后,交互图形图像可由第二累加器53进一步叠加于叠加了字幕的图像上。最后,图8所示的装置还包括用于解码输入传输流(例如,MPEG传输流)的系统解码器4以及用于控制上述装置的所有组件的操作的微处理器3。
现详细参考根据本发明的用于再现文本字幕流的方法和文本字幕解码器。当光盘播放器(其示例在图8中示出)预载光盘时,最初从光盘中提取光盘上记录的再现主数据所需的信息并将其存入存储(未示出)。当用户选择与播放列表相关联的特定标题时,将播放列表文件中指定的至少一个文本字幕流文件初始地预载入SPB 41并将与字幕流文件有关的字体文件预载入FPB 410。
例如,当用户选择与图4所示的播放列表相关联的标题时,初始地将用于文本字幕剪辑1(英语)和文本字幕剪辑2(韩语)的文本字幕流文件中的至少一个预载入SPB 41。此外,与该文本字幕流文件有关的所有字体文件(它们可以在文本字幕剪辑的剪辑信息文件中指定)被预载入FPB 410。此后,开始播放列表的回放。在播放列表的回放期间,主AV剪辑中包含的AV流由音频解码部分10和视频解码部分20解码,且预载的文本字幕流之一由文本字幕解码器42解码。随后,经解码的文本字幕图像可叠加于经解码的主视频图像上,并在显示屏上显示整个图像。
图9详细示出了图8所示的解码装置中包含的文本字幕解码器42。文本字幕解码器42所执行的解码过程包括解析、表现和合成步骤。在解析步骤中,将SPB 41中存储的文本字幕流解析成合成信息、表现信息和对话文本数据。在表现步骤中,使用表现信息将对话文本数据中包含的文本串表现为每个区域的图形数据(位图数据),这将表现文本串所需的信息表示为图形数据。最后,在合成步骤中,经表现的文本串根据合成信息被加入GP 43,该合成信息表示对话的对话呈现信息、调色板更新信息和位置信息。
在一个或多个文本字幕流和有关字体文件被分别预载入SPB 41和FPB 410之后,文本字幕解码器42中包含的文本字幕处理器421将预载入SPB 41的文本字幕流解析为合成信息、表现信息和对话文本数据。更特别地,文本字幕处理器421初始地将预载的字幕流中包含的对话样式单元(DSU)传送到对话合成缓冲器(DCB)425,且它将预载的文本字幕流中包含的对话呈现单元(DPU)解析为合成信息、表现信息和对话文本数据。随后,将合成和表现信息存入DCB 425,并将对话文本数据存入对话缓冲器(DB)422。DB 422中存储的对话文本数据包括每一对话区域的区域样式标识符、文本串和行内样式信息。接着,文本表现器423在对话呈现控制器426的控制下将DB 422中存储的文本串表现为每一对话区域的位图对象(图形数据)。换言之,文本表现器423使用DB 422中存储的区域样式标识符和行内样式信息、从对话呈现控制器426提供的表现信息以及从FPB 410提供的有关字体数据,将DB 422中存储的文本串表现为每一对话区域的位图对象。随后,将文本表现器423为每个对话区所表现的位图对象存入位图对象缓冲器(BOB)424。
最后,根据对话呈现控制器426所提供的合成信息,被存入BOB 424的每个位图对象在GP43中合成(被加入其中)。CLUT 44使用合成信息中所包含的调色板更新信息来调节GP 43的输出的颜色和/或透明程度。在文本表现器423和GP 43执行表现和合成过程期间,可应用用户选择的特定样式信息。对话呈现控制器426可接收这种用户选择的样式信息并将该信息提供给文本表现器423和/或GP 43。用户可选择的样式信息的示例是区域位置和字体大小。
图10是示出图9所示的文本字幕解码器42所执行的解析、表现和合成过程的简单图示。在解析过程中,DSU初始地被传送到DCB 425并将DPU解析成合成信息、对话文本数据和表现信息。用于对话文本数据中包含的每个对话区域的文本串使用表现信息被表现为位图对象,且为每个区域表现的位图对象根据合成信息在GP 43内合成,该合成信息可包括呈现信息、调色板信息和区域位置信息。
图11示出了用户所察觉的全局时间轴中GP 43、BOB 424、DCB 425和DB 422的操作时间。参考图11,解码开始时间(DST)表示文本字幕解码器42开始解码被预载入SPB 41的文本字幕流的时间。更特别地,DST表示DB 422和DCB 425开始存储由文本字幕处理器421解析的对话文本数据和合成及表现信息。位图对象准备时间(BORT)表示BOB 424存储文本表现器423所表现的所有位图对象并准备好输出这些位图对象的时间。呈现时间戳(PTS)表示在GP 43内合成所有位图对象的时间。例如,当文本字幕处理器421开始将DSU和DPU#1解析为对话文本数据、合成信息和表现信息时,DB 422在DST1处开始存储对话文本数据。同时,DCB 425开始存储合成和表现信息。此后,在BORT1处,文本表现器423将对话文本数据中包含的文本串表现为每一对话区域的位图对象,且BOB 424存储所有位图对象并准备好输出所存储的对象。接着,在PTS1 start和PTS1 end之间,在GP 43内合成所有位图对象。在PTS1 end之前,文本字幕处理器421开始将DSU和DPU#2解析为对话文本数据、合成信息和表现信息,且为解码DPU#2而再次重复所有上述用于解码DPU#1的步骤,如图11所示。
可以限制用于文本字幕对话的对话呈现周期(例如,在PTS1 start和PTS1 end之间)(例如,大于或等于一秒),从而避免显示屏内对话的频繁改变。此外,当所有位图对象都在GP 43内合成时,可删除BOB 424中存储的位图对象。然而,当两个相继的DPU是连续的时候,如图11所示,在为当前的DPU生成位图对象的时候可使用为前一DPU在BOB 424中存储的位图对象的至少一部分。然而,当两个DPU之间存在不连续性时,可从BOB 424中删除这些位图对象。
工业适用性
本领域的熟练技术人员显见的是,可在本发明中进行各种修改和变型而不背离本发明的精神或范围,因而,本发明旨在覆盖本发明的修改和变型,只要它们在所附权利要求书及其等效物的范围之内即可。
根据本发明,定义记录媒介上记录的文本字幕流中所包含的数据的数据结构,使得可以按非常有效和标准化的方式使文本字幕流与主AV流一起被再现。此外,通过分别将所有必要的文本字幕流和有关字体文件预载入缓冲器,确保了支持多语言的文本字幕的无缝呈现。
Claims (21)
1.一种用于解码记录媒介上记录的文本字幕流的方法,所述方法包括:
将所述文本字幕流载入字幕加载缓冲器,所述文本字幕流包括定义一组区域样式的对话样式段以及包括用于具有至少一个区域的对话的对话呈现信息和对话文本数据的对话呈现段;
将所述对话呈现段解析为每个区域的合成信息、表现信息和对话文本数据;
将所述经解析的合成和表现信息存入第一缓冲器,并进一步将所述对话文本数据存入第二缓冲器,所述对话文本数据包括用于每一区域的一个或多个文本串;
根据所述表现信息将所述第二缓冲器中存储的文本串表现为用于每一区域的位图对象,并将所表现的位图对象存入第三缓冲器;以及
根据所述合成信息在图形平面中合成每一区域的被存储的位图对象。
2.如权利要求1所述的方法,其特征在于,还包括紧接着所述文本字幕流被加载之后将所述对话样式段存入所述第一缓冲器。
3.如权利要求1所述的方法,其特征在于,所述表现信息包括每一区域的区域大小、字体颜色、背景色、文本流向、文本对齐、行距、字体名称、字体样式和字体大小中的至少一个。
4.如权利要求1所述的方法,其特征在于,所述表现信息包括指定由对话样式段定义的所述一组区域样式之一的区域样式信息的至少一部分。
5.如权利要求1所述的方法,其特征在于,所述对话文本数据还包括一区域样式标识符,它标识由所述对话样式段定义的所述一组区域样式之一。
6.如权利要求1所述的方法,其特征在于,还包括在解析所述对话呈现段之前将字体数据载入字体载入缓冲器,当表现所述第二缓冲器中存储的文本串时使用所述字体数据。
7.如权利要求1所述的方法,其特征在于,所述合成信息包括每一区域的呈现时间信息、调色板更新信息和区域位置中的至少一个。
8.如权利要求1所述的方法,其特征在于,所述合成信息包括所述对话呈现段中包含的对话呈现信息。
9.如权利要求1所述的方法,其特征在于,所述合成信息包括指定由所述对话样式段定义的所述一组区域样式之一的区域样式信息的至少一部分。
10.一种用于解码记录媒介上记录的文本字幕流的方法,所述方法包括:
一次性将所述文本字幕流预载入字幕预载缓冲器,所述文本字幕流包括定义一组区域样式的对话样式段以及包括用于具有至少一个区域的对话的对话呈现信息和对话文本数据的对话呈现段,所述对话文本数据包括用于每一区域的区域样式标识符和一个或多个文本串;
一次性将有关字体数据预载入字体预载缓冲器;
在预载所述文本字幕流后将所述对话样式段存入对话合成缓冲器;
将所存储的对话呈现段解析为每一区域的合成信息、表现信息和对话文本数据;
将经解析的每一区域的合成和表现信息存入对话合成缓冲器;
将经解析的每一区域的对话文本数据存入对话缓冲器;
根据所述表现信息和预载的字体数据,将所述文本串表现为每一区域的位图对象;
将所表现的每一区域的位图对象存入位图对象缓冲器;以及
根据所述合成信息在图形平面内合成每一区域的经存储的位图对象。
11.一种用于解码记录媒介上记录的文本字幕流的文本字幕解码器,所述文本字幕解码器包括:
被配置为加载所述文本字幕流的字幕加载缓冲器,所述文本字幕流包括定义一组区域样式的对话样式段以及包括用于具有至少一个区域的对话的对话呈现信息和对话文本数据的对话呈现段;
文本字幕处理器,它被配置为将所述对话呈现段解析为每一区域的合成信息、表现信息和对话文本数据;
对话合成缓冲器,它被配置为存储来自所述文本字幕处理器的经解析的合成和表现信息;
对话缓冲器,它被配置成存储对话文本数据,所述对话文本数据包括每一区域的一个或多个文本串;
文本表现器,它被配置为根据所述表现信息将所述对话缓冲器中存储的文本串表现为每一区域的位图对象;
位图对象缓冲器,它被配置为存储所表现的位图对象;以及
图形平面,它被配置为根据所述合成信息合成所述位图对象缓冲器中存储的位图对象。
12.如权利要求11所述的文本字幕解码器,其特征在于,所述对话合成缓冲器在加载所述文本字幕流之后立即存储所述对话样式段。
13.如权利要求11所述的文本字幕解码器,其特征在于,所述表现信息包括每一区域的区域大小、字体颜色、背景色、文本流向、文本对齐、行距、字体名称、字体样式和字体大小中的至少一个。
14.如权利要求11所述的文本字幕解码器,其特征在于,所述表现信息包括指定由所述对话样式段定义的所述一组区域样式之一的区域样式信息的至少一部分。
15.如权利要求11所述的文本字幕解码器,其特征在于,所述对话文本数据还包括一区域样式标识符,它标识由所述对话样式段定义的所述一组区域样式之一。
16.如权利要求11所述的文本字幕解码器,其特征在于,还包括被配置成在解析所述对话呈现段之前载入字体数据的字体载入缓冲器,其中当表现所述对话缓冲器中存储的文本串时所述文本表现器使用所述字体数据。
17.如权利要求11所述的文本字幕解码器,其特征在于,所述合成信息包括每一区域的呈现时间信息、调色板更新信息和区域位置中的至少一个。
18.如权利要求11所述的文本字幕解码器,其特征在于,所述合成信息包括所述对话呈现段中包含的对话呈现信息。
19.如权利要求11所述的文本字幕解码器,其特征在于,所述合成信息包括指定由所述对话样式段定义的所述一组区域样式之一的区域样式信息的至少一部分。
20.一种用于解码记录媒介上记录的文本字幕流的文本字幕解码器,所述文本字幕解码器包括:
字幕预载缓冲器,它被配置为一次性预载所述文本字幕流,所述文本字幕流包括定义一组区域样式的对话样式段以及包括用于具有至少一个区域的对话的对话呈现信息和对话文本数据的对话呈现段,所述对话文本数据包括每一区域的区域样式标识符和一个或多个文本串;
字体预载缓冲器,它被配置成一次性预载有关的字体数据;
对话合成缓冲器,它被配置为在预载所述文本字幕流之后存储所述对话样式段;
文本字幕处理器,它被配置为将所述对话呈现段解析为每一区域的合成信息、表现信息和对话文本数据,经解析的每一区域的合成和表现信息被存入所述对话合成缓冲器;
对话缓冲器,它被配置成存储每一区域的经解析的对话文本数据;
文本表现器,它被配置为根据所述表现信息和预载的字体数据将所述文本串表现为每一区域的位图对象;
位图对象缓冲器,它被配置为存储每一区域的所表现的位图对象;
图形平面,其中根据所述合成信息合成所述位图对象缓冲器中存储的每一区域的位图对象;以及
对话呈现控制器,它被配置为分别将表现信息和合成信息提供给所述文本表现器和所述图形平面。
21.一种用于再现光盘上记录的文本字幕流的光盘播放器,所述光盘播放器包括:
音频解码器,它被配置为将所述光盘上记录的音频流解码为音频数据;
视频解码器,它被配置为将所述光盘上记录的视频流解码为视频图像数据;
文本字幕解码器,它被配置为将所述光盘上记录的文本字幕流解码为文本字幕图像数据;以及
图像叠加单元,它被配置为叠加经解码的文本字幕图像数据和经解码的视频图像数据,其中所述文本字幕解码器包括:
文本字幕处理器,它被配置为对于具有至少一个区域的对话,将所述文本字幕流解析为合成信息、表现信息和对话文本数据,所述对话文本数据包括每一区域的一个或多个文本串;
文本表现器,它被配置为根据所述表现信息将文本串表现为每一区域的图形数据;以及
图形平面,它被配置为根据所述合成信息合成经表现的图形数据。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US54285004P | 2004-02-10 | 2004-02-10 | |
US60/542,852 | 2004-02-10 | ||
US60/542,850 | 2004-02-10 | ||
US60/543,328 | 2004-02-11 | ||
KR1020040016564 | 2004-03-11 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN1914903A true CN1914903A (zh) | 2007-02-14 |
Family
ID=37722648
Family Applications (8)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2004800415292A Expired - Fee Related CN100473133C (zh) | 2004-02-10 | 2004-10-12 | 再现文本字幕的方法和文本字幕解码系统 |
CN 200480041530 Pending CN101080770A (zh) | 2004-02-10 | 2004-10-13 | 具有用于管理各种数据流的数据结构的记录介质以及记录和再现的方法和装置 |
CN200710139867A Expired - Fee Related CN100585717C (zh) | 2004-02-10 | 2004-11-26 | 在记录介质上生成、记录和再现文本字幕的方法与装置 |
CNB2004800415273A Expired - Fee Related CN100555438C (zh) | 2004-02-10 | 2004-11-26 | 具有用于管理文本字幕的数据结构的记录介质以及记录和再现方法和装置 |
CN 200480042284 Pending CN1926628A (zh) | 2004-02-10 | 2004-11-26 | 具有管理与不同语言相关联的数据流的数据结构的记录介质以及记录和再现方法和装置 |
CN 200480041531 Pending CN1914903A (zh) | 2004-02-10 | 2004-12-08 | 用于解码文本字幕流的文本字幕解码器和方法 |
CN 200580004498 Pending CN1918649A (zh) | 2004-02-10 | 2005-01-12 | 用于解码文本字幕流的记录介质和方法及装置 |
CN 200580004499 Pending CN1918650A (zh) | 2004-02-10 | 2005-01-12 | 用于解码文本字幕流的记录介质和方法及装置 |
Family Applications Before (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2004800415292A Expired - Fee Related CN100473133C (zh) | 2004-02-10 | 2004-10-12 | 再现文本字幕的方法和文本字幕解码系统 |
CN 200480041530 Pending CN101080770A (zh) | 2004-02-10 | 2004-10-13 | 具有用于管理各种数据流的数据结构的记录介质以及记录和再现的方法和装置 |
CN200710139867A Expired - Fee Related CN100585717C (zh) | 2004-02-10 | 2004-11-26 | 在记录介质上生成、记录和再现文本字幕的方法与装置 |
CNB2004800415273A Expired - Fee Related CN100555438C (zh) | 2004-02-10 | 2004-11-26 | 具有用于管理文本字幕的数据结构的记录介质以及记录和再现方法和装置 |
CN 200480042284 Pending CN1926628A (zh) | 2004-02-10 | 2004-11-26 | 具有管理与不同语言相关联的数据流的数据结构的记录介质以及记录和再现方法和装置 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 200580004498 Pending CN1918649A (zh) | 2004-02-10 | 2005-01-12 | 用于解码文本字幕流的记录介质和方法及装置 |
CN 200580004499 Pending CN1918650A (zh) | 2004-02-10 | 2005-01-12 | 用于解码文本字幕流的记录介质和方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (8) | CN100473133C (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7529467B2 (en) | 2004-02-28 | 2009-05-05 | Samsung Electronics Co., Ltd. | Storage medium recording text-based subtitle stream, reproducing apparatus and reproducing method for reproducing text-based subtitle stream recorded on the storage medium |
CN101059984B (zh) * | 2004-02-28 | 2010-08-18 | 三星电子株式会社 | 再现记录基于文本的字幕流的存储介质的方法 |
CN102483858A (zh) * | 2009-08-17 | 2012-05-30 | 三星电子株式会社 | 用于处理用于附加数据的三维再现的信号的方法和设备 |
CN103067665A (zh) * | 2012-12-25 | 2013-04-24 | 天津市亚安科技股份有限公司 | 基于视频亮度自适应叠加字符颜色的实现方法 |
CN105338394A (zh) * | 2014-06-19 | 2016-02-17 | 阿里巴巴集团控股有限公司 | 字幕数据的处理方法及系统 |
CN107005733A (zh) * | 2014-12-19 | 2017-08-01 | 索尼公司 | 发送装置、发送方法、接收装置以及接收方法 |
CN108924622A (zh) * | 2018-07-24 | 2018-11-30 | 腾讯科技(深圳)有限公司 | 一种视频处理方法及其设备、存储介质、电子设备 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4569673B2 (ja) * | 2008-06-24 | 2010-10-27 | Necカシオモバイルコミュニケーションズ株式会社 | 字幕付映像再生装置、字幕付映像再生方法及びプログラム |
CN101764949B (zh) * | 2008-11-10 | 2013-05-01 | 新奥特(北京)视频技术有限公司 | 一种基于区域划分的定时字幕的冲突检测方法 |
CN106652983B (zh) * | 2016-09-18 | 2021-04-02 | 福建网龙计算机网络信息技术有限公司 | 一种字幕制作方法及系统 |
CN108012176A (zh) * | 2016-10-28 | 2018-05-08 | 深圳市中兴微电子技术有限公司 | 一种数据切换方法、装置及终端 |
CN108040277B (zh) | 2017-12-04 | 2020-08-25 | 海信视像科技股份有限公司 | 针对解码后得到的多语种字幕的字幕切换方法及装置 |
CN110109965A (zh) * | 2018-02-02 | 2019-08-09 | 上海颐为网络科技有限公司 | 知识分享平台上建立知识结构的辅助提示方法和组件 |
CN111399788B (zh) * | 2018-12-29 | 2023-09-08 | 西安诺瓦星云科技股份有限公司 | 媒体文件播放方法和媒体文件播放装置 |
CN116634218B (zh) * | 2023-05-25 | 2024-04-02 | 优酷网络技术(北京)有限公司 | 推广信息显示方法、装置、设备、介质 |
-
2004
- 2004-10-12 CN CNB2004800415292A patent/CN100473133C/zh not_active Expired - Fee Related
- 2004-10-13 CN CN 200480041530 patent/CN101080770A/zh active Pending
- 2004-11-26 CN CN200710139867A patent/CN100585717C/zh not_active Expired - Fee Related
- 2004-11-26 CN CNB2004800415273A patent/CN100555438C/zh not_active Expired - Fee Related
- 2004-11-26 CN CN 200480042284 patent/CN1926628A/zh active Pending
- 2004-12-08 CN CN 200480041531 patent/CN1914903A/zh active Pending
-
2005
- 2005-01-12 CN CN 200580004498 patent/CN1918649A/zh active Pending
- 2005-01-12 CN CN 200580004499 patent/CN1918650A/zh active Pending
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7529467B2 (en) | 2004-02-28 | 2009-05-05 | Samsung Electronics Co., Ltd. | Storage medium recording text-based subtitle stream, reproducing apparatus and reproducing method for reproducing text-based subtitle stream recorded on the storage medium |
CN101059984B (zh) * | 2004-02-28 | 2010-08-18 | 三星电子株式会社 | 再现记录基于文本的字幕流的存储介质的方法 |
US8437612B2 (en) | 2004-02-28 | 2013-05-07 | Samsung Electronics Co., Ltd. | Storage medium recording text-based subtitle stream, reproducing apparatus and reproducing method for reproducing text-based subtitle stream recorded on the storage medium |
CN102483858A (zh) * | 2009-08-17 | 2012-05-30 | 三星电子株式会社 | 用于处理用于附加数据的三维再现的信号的方法和设备 |
CN103067665A (zh) * | 2012-12-25 | 2013-04-24 | 天津市亚安科技股份有限公司 | 基于视频亮度自适应叠加字符颜色的实现方法 |
CN105338394A (zh) * | 2014-06-19 | 2016-02-17 | 阿里巴巴集团控股有限公司 | 字幕数据的处理方法及系统 |
CN105338394B (zh) * | 2014-06-19 | 2018-11-30 | 阿里巴巴集团控股有限公司 | 字幕数据的处理方法及系统 |
US10178439B2 (en) | 2014-06-19 | 2019-01-08 | Alibaba Group Holding Limited | Managing interactive subtitle data |
CN107005733A (zh) * | 2014-12-19 | 2017-08-01 | 索尼公司 | 发送装置、发送方法、接收装置以及接收方法 |
CN107005733B (zh) * | 2014-12-19 | 2020-06-16 | 索尼公司 | 发送装置、发送方法、接收装置以及接收方法 |
CN108924622A (zh) * | 2018-07-24 | 2018-11-30 | 腾讯科技(深圳)有限公司 | 一种视频处理方法及其设备、存储介质、电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN100555438C (zh) | 2009-10-28 |
CN1918650A (zh) | 2007-02-21 |
CN101080770A (zh) | 2007-11-28 |
CN1914684A (zh) | 2007-02-14 |
CN100473133C (zh) | 2009-03-25 |
CN1926628A (zh) | 2007-03-07 |
CN100585717C (zh) | 2010-01-27 |
CN1914906A (zh) | 2007-02-14 |
CN1918649A (zh) | 2007-02-21 |
CN101093709A (zh) | 2007-12-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7561780B2 (en) | Text subtitle decoder and method for decoding text subtitle streams | |
US7982802B2 (en) | Text subtitle decoder and method for decoding text subtitle streams | |
US7643732B2 (en) | Recording medium and method and apparatus for decoding text subtitle streams | |
US7587405B2 (en) | Recording medium and method and apparatus for decoding text subtitle streams | |
US7756398B2 (en) | Recording medium and method and apparatus for reproducing text subtitle stream for updating palette information | |
CN1918650A (zh) | 用于解码文本字幕流的记录介质和方法及装置 | |
US20050207737A1 (en) | Recording medium, method, and apparatus for reproducing text subtitle streams | |
US20050196146A1 (en) | Method for reproducing text subtitle and text subtitle decoding system | |
CN100536533C (zh) | 用于再现、记录和生成文本字幕流的方法及装置 | |
RU2378720C2 (ru) | Носитель записи и способ и устройство воспроизведения и записи потоков текстовых субтитров | |
CN1934645A (zh) | 用于再现文本字幕流的记录介质、方法和装置 | |
KR20050094265A (ko) | 고밀도 광디스크 및 고밀도 광디스크의 텍스트 서브타이틀재생 방법과 재생 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20070214 |
|
C20 | Patent right or utility model deemed to be abandoned or is abandoned |