CN112075083B - 一种包含字幕的高动态范围视频处理的方法及装置 - Google Patents

一种包含字幕的高动态范围视频处理的方法及装置 Download PDF

Info

Publication number
CN112075083B
CN112075083B CN201880093151.2A CN201880093151A CN112075083B CN 112075083 B CN112075083 B CN 112075083B CN 201880093151 A CN201880093151 A CN 201880093151A CN 112075083 B CN112075083 B CN 112075083B
Authority
CN
China
Prior art keywords
frame
subtitle
video data
video
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880093151.2A
Other languages
English (en)
Other versions
CN112075083A (zh
Inventor
袁乐
王正
吴仁坚
黄芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202310384229.9A priority Critical patent/CN116489454A/zh
Publication of CN112075083A publication Critical patent/CN112075083A/zh
Application granted granted Critical
Publication of CN112075083B publication Critical patent/CN112075083B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43632—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635—HDMI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/087—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only
    • H04N7/088—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital
    • H04N7/0884—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital for the transmission of additional display-information, e.g. menu for programme or channel selection
    • H04N7/0885—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital for the transmission of additional display-information, e.g. menu for programme or channel selection for the transmission of subtitles
    • G06T5/92—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/025—Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame
    • H04N7/035—Circuits for the digital non-picture data signal, e.g. for slicing of the data signal, for regeneration of the data-clock signal, for error detection or correction of the data signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination

Abstract

本申请实施例公开了一种包含字幕的高动态范围视频处理的方法和装置。该方法包括：将HDR视频数据封装成与传输接口相匹配的视频数据帧；将字幕信息封装成与所述传输接口相匹配的字幕信息帧；通过该传输接口向显示设备分离传输该视频数据帧和该字幕信息帧，其中，该视频数据帧和该字幕信息帧为两种数据包格式。本申请提供的方法将动态元数据HDR视频内容和字幕信息分别传送给显示设备，使得显示设备可以获得分离的视频内容和字幕信息，然后对HDR视频和字幕分别进行针对性处理，改善了动态元数据HDR视频的字幕显示效果。

Description

一种包含字幕的高动态范围视频处理的方法及装置
技术领域
本申请涉及多媒体通信领域，尤其涉及一种包含字幕的高动态范围视频处理的方法及装置。
背景技术
高动态范围(High Dynamic Range，HDR)视频技术拓展了可显示的图像的亮度范围，因而能够记录较大的亮度范围信息，展现更多的亮部和暗部细节。用于描述HDR视频特性的元数据的形态包括静态元数据HDR和动态元数据HDR，无论是静态元数据HDR还是动态元数据HDR，都需要对具有宽动态特性的视频信号源进行色调映射tone mapping处理才能正确呈现在屏幕上。静态元数据HDR用固定的映射方法来处理所有图像，映射方式不随视频画面的变化而不同；动态元数据HDR则会根据图像内容的变化动态调整映射方法，让各种亮度范围的画面都能够以最佳的方式显示和呈现。
字幕在用户观看节目时起到了很大的辅助作用，几乎各种类型的电视节目如连续剧、电影、综艺节目等都配有字幕，而且现在用户弹幕字幕也日渐流行，在观看动态元数据HDR视频时，字幕的显示效果在很大程度上影响了用户的观看体验。然而动态元数据HDR没有对字幕内容部分进行描述，依据现有的视频处理方法对包含字幕的动态元数据HDR视频进行处理，字幕显示效果不佳。
发明内容
本申请的实施例提供一种包含字幕的高动态范围视频处理的方法及装置，改善了动态元数据HDR视频的字幕显示效果。
本申请第一方面提供了一种包含字幕的高动态范围视频处理的方法，该方法包括：将HDR视频数据封装成与传输接口相匹配的视频数据帧；将字幕信息封装成与所述传输接口相匹配的字幕信息帧；通过该传输接口向显示设备分离传输该视频数据帧和该字幕信息帧，其中，该视频数据帧和该字幕信息帧为两种数据包格式。
本申请提供的视频处理的方法将动态元数据HDR视频内容和字幕信息分别传送给显示设备，使得显示设备可以获得分离的视频内容和字幕信息，然后对HDR视频和字幕分别进行针对性处理，改善了动态元数据HDR视频的字幕显示效果。
在一种可能的实施方式中，该通过所述传输接口向显示设备分离传输该视频数据帧和该字幕信息帧具体包括：通过该传输接口向该显示设备分时传输该视频数据帧和该字幕信息帧。
在一种可能的实施方式中，该传输接口对应多个传输频段，通过该传输接口分频传输该视频数据帧和该字幕信息帧。
在一种可能的实施方式中，该传输接口对应多个传输通道，通过该传输接口分通道传输该视频数据帧和该字幕信息帧。
在一种可能的实施方式中，该字幕信息帧在垂直消隐区内传输，该垂直消隐区为传输相邻两帧视频数据帧之间的时间间隔。
发送两帧视频数据帧之间存在一段时间间隔，该时间间隔可以用来传输视频数据以外的信息，例如音频信息、metadata信息，由于传输接口可以提供很高的带宽用于传输音视频信息，而字幕信息又远远小于视频数据的信息量，视频数据帧之间的时间间隔完全足够传送字幕信息帧。
在一种可能的实施方式中，该视频数据帧按时间顺序通过该传输接口依次传输，其中，第N帧视频数据帧在第N个时隙内传输，与该第N帧视频数据相对应的字幕信息帧在该第N个时隙的垂直消隐区内传输，该N为正整数。
将字幕信息帧在与该字幕信息帧相对应的视频数据帧同一个时隙内传输可以确保视频画面和字幕同步。
在一种可能的实施方式中，预设字幕信息帧和视频数据帧的对应关系，按照预设的对应关系分时传输该视频数据帧和该字幕信息帧。
预先设置字幕信息帧和视频数据帧的对应关系，按照预设的对应关系发送字幕信息帧和视频数据帧可以确保视频画面和字幕同步。
在一种可能的实施方式中，该字幕信息帧包括以下至少一项：类型标识字段和多个有效字幕信息载荷字节。
在一种可能的实施方式中，该字幕信息帧还包括版本标识字段或长度标识字段中的至少一项，其中，该长度标识字段的取值与该多个有效字幕信息载荷字节的个数有关。
版本标识字段便于后续对基于该封装格式的字幕信息帧进行演进和完善，例如首次推出的字幕信息帧格式为初始版本，后续为解决新的需求增加新的字段相继可能出现版本2、版本3等，该字段用于指示当前信息帧为哪个版本，便于播放设备和显示设备根据字幕信息帧版本的不同进行对应处理；长度标识字段用于指示传输的字幕信息帧的长度，便于初步判断字幕信息帧的大小，以调整传送该字幕信息帧所占用的字节数，提升对字幕处理的灵活性。
在一种可能的实施方式中，该多个有效字幕信息载荷字节中包含的有效字幕信息包括以下至少一项：字幕文本内容、与该字幕文本内容对应的码字以及字幕绘制的控制信息。
在一种可能的实施方式中，该字幕绘制的控制信息包括以下至少一项：字幕的字体、大小、色彩、位置、字幕的宽高比、透明度、色域信息或比特深度。
在一种可能的实施方式中，该多个有效字幕信息载荷字节中包含有效信息标识位字节，该有效信息标识位字节用于限定其他有效字幕信息载荷字节各自的标识内容。
在一种可能的实施方式中，该传输接口为高清晰度多媒体接口HDMI。
在一种可能的实施方式中，该方法还包括：接收传输流，该传输流包括该HDR视频数据、该字幕信息和元数据metadata，其中，该metadata包含对该HDR视频数据进行色调映射tone mapping的映射关系。
在一种可能的实施方式中，该方法还包括：将该metadata封装成与该传输接口相匹配的元数据信息帧；与该第N帧视频数据相对应的元数据信息帧在该第N个时隙的垂直消隐区内传输。
在一种可能的实施方式中，该字幕信息帧在该metadata之前传输；或者该字幕信息帧在该metadata之后传输。本申请第二方面提供了一种包含字幕的高动态范围视频处理的方法，该方法包括：通过传输接口分别接收从播放设备传来的视频数据帧和字幕信息帧；将该视频数据帧解封装得到HDR视频数据；以及将该字幕信息帧解封装得到字幕信息；对该HDR视频数据和字幕图片分别进行tone mapping，其中，该字幕图片依据该字幕信息绘制得到；叠加tone mapping后的HDR视频数据和tone mapping后的字幕图片，得到包含字幕的视频图像。
在一种可能的实施方式中，通过传输接口分别接收从播放设备传来的视频数据帧和字幕信息帧具体包括：通过该传输接口分时接收从该播放设备传来的该视频数据帧和该字幕信息帧。
在一种可能的实施方式中，该字幕信息帧在垂直消隐区内传输，该垂直消隐区为传输相邻两帧视频数据帧之间的时间间隔。
发送两帧视频数据帧之间存在一段时间间隔，该时间间隔可以用来传输视频数据以外的信息，例如音频信息、metadata信息，由于传输接口可以提供很高的带宽用于传输音视频信息，而字幕信息又远远小于视频数据的信息量，视频数据帧之间的时间间隔完全足够传送字幕信息帧。
在一种可能的实施方式中，该视频数据帧按时间顺序通过该传输接口依次传输，其中，第N帧视频数据帧在第N个时隙内传输，与该第N帧视频数据相对应的字幕信息帧在该第N个时隙的垂直消隐区内传输，该N为正整数。
将字幕信息帧在与该字幕信息帧相对应的视频数据帧同一个时隙内传输可以确保视频画面和字幕同步。
在一种可能的实施方式中，预设字幕信息帧和视频数据帧的对应关系，按照预设的对应关系分时传输该视频数据帧和该字幕信息帧。
预先设置字幕信息帧和视频数据帧的对应关系，按照预设的对应关系发送字幕信息帧和视频数据帧可以确保视频画面和字幕同步。
在一种可能的实施方式中，该字幕信息帧包括以下至少一项：类型标识字段和多个有效字幕信息载荷字节。
在一种可能的实施方式中，该字幕信息帧还包括版本标识字段或长度标识字段中的至少一项，其中，该长度标识字段的取值与该多个有效字幕信息载荷字节的个数有关。
在一种可能的实施方式中，该多个有效字幕信息载荷字节中包含的有效字幕信息包括以下至少一项：字幕文本内容、与该字幕文本内容对应的码字以及字幕绘制的控制信息。
在一种可能的实施方式中，该字幕绘制的控制信息包括以下至少一项：字幕的字体、大小、色彩、位置、字幕的宽高比、透明度、色域信息或比特深度。
在一种可能的实施方式中，该多个有效字幕信息载荷字节中包含有效信息标识位字节，该有效信息标识位字节用于限定其他有效字幕信息载荷字节各自的标识内容。
在一种可能的实施方式中，传输接口对应多个传输频段，通过传输接口分别接收从播放设备传来的视频数据帧和字幕信息帧具体包括：通过该传输接口接收从该播放设备分频传输来的该视频数据帧和该字幕信息帧；或者，该传输接口对应多个传输通道，该通过传输接口分别接收从播放设备传来的视频数据帧和字幕信息帧具体包括：通过该传输接口接收从该播放设备分通道传输来的该视频数据帧和该字幕信息帧。
在一种可能的实施方式中，该方法还包括：通过该传输接口接收元数据信息帧；解封装该元数据信息帧得到metadata，其中，该metadata包含对该HDR视频数据进行色调映射tone mapping的映射关系；对该HDR视频数据和字幕图片分别进行色调映射，包括：根据该metadata对该HDR视频数据进行色调映射；根据显示设备的能够显示的亮度范围对该字幕图片进行色调映射。
在一种可能的实施方式中，该传输接口为高清晰度多媒体接口HDMI。
本申请第三方面提供了一种包含字幕的高动态范围视频处理的播放装置，该装置包括：处理器和传输接口；该处理器，被配置为实现如下操作：将HDR视频数据封装成与传输接口相匹配的视频数据帧；将字幕信息封装成与所述传输接口相匹配的字幕信息帧；该传输接口，用于向显示设备分离传输所述视频数据帧和所述字幕信息帧，其中，所述视频数据帧和所述字幕信息帧为两种数据包格式。。
在一种可能的实施方式中，该传输接口具体用于：向该显示设备分时传输所述视频数据帧和所述字幕信息帧。
在一种可能的实施方式中，在一种可能的实施方式中，该字幕信息帧在垂直消隐区内传输，该垂直消隐区为传输相邻两帧视频数据帧之间的时间间隔。
发送两帧视频数据帧之间存在一段时间间隔，该时间间隔可以用来传输视频数据以外的信息，例如音频信息、metadata信息，由于传输接口可以提供很高的带宽用于传输音视频信息，而字幕信息又远远小于视频数据的信息量，视频数据帧之间的时间间隔完全足够传送字幕信息帧。
在一种可能的实施方式中，该视频数据帧按时间顺序通过该传输接口依次传输，其中，第N帧视频数据帧在第N个时隙内传输，与该第N帧视频数据相对应的字幕信息帧在该第N个时隙的垂直消隐区内传输，该N为正整数。
将字幕信息帧在与该字幕信息帧相对应的视频数据帧同一个时隙内传输可以确保视频画面和字幕同步。
在一种可能的实施方式中，预设字幕信息帧和视频数据帧的对应关系，按照预设的对应关系分时传输该视频数据帧和该字幕信息帧。
预先设置字幕信息帧和视频数据帧的对应关系，按照预设的对应关系发送字幕信息帧和视频数据帧可以确保视频画面和字幕同步。
在一种可能的实施方式中，该字幕信息帧包括以下至少一项：类型标识字段和多个有效字幕信息载荷字节。
在一种可能的实施方式中，该字幕信息帧还包括版本标识字段或长度标识字段中的至少一项，其中，该长度标识字段的取值与该多个有效字幕信息载荷字节的个数有关。
在一种可能的实施方式中，该多个有效字幕信息载荷字节中包含的有效字幕信息包括以下至少一项：字幕文本内容、与该字幕文本内容对应的码字以及字幕绘制的控制信息。
在一种可能的实施方式中，所述传输接口具体用于：向所述显示设备分频传输所述视频数据帧和所述字幕信息帧；或者，向所述显示设备分通道传输所述视频数据帧和所述字幕信息帧。
在一种可能的实施方式中，该传输接口为高清晰度多媒体接口HDMI。
在一种可能的实施方式中，该传输接口为传输接口为HDMI发送器。
在一种可能的实施方式中，该装置还包括：接收接口，用于接收传输流，所述传输流包括所述HDR视频数据、所述字幕信息和元数据metadata，其中，所述metadata包含对所述HDR视频数据进行色调映射tone mapping的映射关系。
在一种可能的实施方式中，该处理器还用于：将所述metadata封装成与所述传输接口相匹配的元数据信息帧；所述传输接口，用于将与所述第N帧视频数据相对应的元数据信息帧在所述第N个时隙的垂直消隐区内传输给所述显示设备。
在一种可能的实施方式中，该装置还包括存储器，该存储器用于存储程序指令，该程序指令用于驱动该处理器执行上述操作。
在一种可能的实施方式中，该存储器包括计算机可读存储介质、软盘设备、硬盘设备、光盘设备或磁盘设备中的至少一项。
在一种可能的实施方式中，该处理器还被配置为执行上述第一方面的任一种可能的实施方式中所述的方法。
本申请第四方面提供了一种包含字幕的高动态范围视频处理的显示装置，该装置包括：接收接口和处理器；所述接收接口，用于分别接收从播放设备传来的视频数据帧和字幕信息帧；所述处理器，用于将所述视频数据帧解封装得到HDR视频数据；将所述字幕信息帧解封装得到字幕信息；对所述HDR视频数据和字幕图片分别进行tone mapping，其中，所述字幕图片依据所述字幕信息绘制得到；叠加tone mapping后的HDR视频数据和tonemapping后的字幕图片，得到包含字幕的视频图像。
在一种可能的实施方式中，该传输接口具体用于：分时接收从所述播放设备传来的所述视频数据帧和所述字幕信息帧。
在一种可能的实施方式中，该字幕信息帧在垂直消隐区内传输，所述垂直消隐区为传输相邻两帧视频数据帧之间的时间间隔。
在一种可能的实施方式中，按时间顺序通过所述传输接口依次接收所述视频数据帧，其中，第N帧视频数据帧在第N个时隙内传输，与所述第N帧视频数据相对应的字幕信息帧在所述第N个时隙的垂直消隐区内传输，所述N为正整数。
在一种可能的实施方式中，该传输接口为高清晰度多媒体接口HDMI。
在一种可能的实施方式中，该传输接口为传输接口为HDMI接收器。
在一种可能的实施方式中，该装置还包括存储器，该存储器用于存储程序指令，该程序指令用于驱动该处理器执行上述操作。
在一种可能的实施方式中，该存储器包括计算机可读存储介质、软盘设备、硬盘设备、光盘设备或磁盘设备中的至少一项。
在一种可能的实施方式中，该处理器还被配置为执行上述第二方面的任一种可能的实施方式中所述的方法。
本申请第五方面提供了一种包含字幕的高动态范围视频处理的播放装置，该装置包括：封装模块，用于将HDR视频数据封装成与传输接口相匹配的视频数据帧；该封装模块，还用于将字幕信息封装成与所述传输接口相匹配的字幕信息帧；传输模块，用于通过该传输接口向显示设备分离传输该视频数据帧和该字幕信息帧，其中，该视频数据帧和该字幕信息帧为两种数据包格式。
在一种可能的实施方式中，该通过所述传输接口向显示设备分离传输该视频数据帧和该字幕信息帧具体包括：通过该传输接口向该显示设备分时传输该视频数据帧和该字幕信息帧。
在一种可能的实施方式中，该传输接口对应多个传输频段，通过该传输接口分频传输该视频数据帧和该字幕信息帧。
在一种可能的实施方式中，该传输接口对应多个传输通道，通过该传输接口分通道传输该视频数据帧和该字幕信息帧。
在一种可能的实施方式中，该传输接口为高清晰度多媒体接口HDMI。
在一种可能的实施方式中，该装置还包括：接收模块，用于接收传输流，该传输流包括该HDR视频数据、该字幕信息和元数据metadata，其中，该metadata包含对该HDR视频数据进行色调映射tone mapping的映射关系。
在一种可能的实施方式中，该封装模块还用于：将该metadata封装成与该传输接口相匹配的元数据信息帧；与该第N帧视频数据相对应的元数据信息帧在该第N个时隙的垂直消隐区内传输。
在一种可能的实施方式中，该字幕信息帧在该metadata之前传输；或者该字幕信息帧在该metadata之后传输。
本申请第六方面提供了一种包含字幕的高动态范围视频处理的显示装置，该装置包括：接收模块，用于通过传输接口分别接收从播放设备传来的视频数据帧和字幕信息帧；解封装模块，用于将该视频数据帧解封装得到HDR视频数据；该解封装模块，还用于将该字幕信息帧解封装得到字幕信息；处理模块，用于对该HDR视频数据和字幕图片分别进行tonemapping，其中，该字幕图片依据该字幕信息绘制得到；叠加模块，用于叠加tone mapping后的HDR视频数据和tone mapping后的字幕图片，得到包含字幕的视频图像。
在一种可能的实施方式中，该装置还包括：接收模块，用于通过该传输接口接收元数据信息帧；解封装模块还用于，解封装该元数据信息帧得到metadata，其中，该metadata包含对该HDR视频数据进行色调映射tone mapping的映射关系；处理模块具体用于：根据该metadata对该HDR视频数据进行色调映射；处理模块具体用于：根据显示设备的能够显示的亮度范围对该字幕图片进行色调映射。
在一种可能的实施方式中，该传输接口为高清晰度多媒体接口HDMI。
本申请第七方面提供了一种包含字幕的高动态范围视频处理的系统，该系统包括：播放装置和显示装置，该播放装置为第三方面或第五方面或者其任一种可能的实时方式中所述的播放装置；该显示装置为第四方面或第六方面或者其任一种可能的实时方式中所述的显示装置。
本申请第八方面提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机或处理器上运行时，使得所述计算机或处理器执行如上述第一方面或者其任一种可能的实施方式中所述的方法。
本申请第九方面提供了一种包含指令的计算机程序产品，当其在计算机或处理器上运行时，使得所述计算机或处理器执行如上述第一方面或者其任一种可能的实施方式中所述的方法。
附图说明
图1为本申请实施例提供的一种示例性的应用场景示意图；
图2a为本申请实施例提供的一种静态元数据色调映射关系的示意图；
图2b为本申请实施例提供的一种动态元数据色调映射关系的示意图
图3为本申请实施例提供的一种视频播放系统的框架示意图；
图4为本申请实施例提供的一种传输通路的时序示意图；
图5为本申请实施例提供的一种视频播放系统的硬件架构示意图；
图6为本申请实施例提供的一种播放设备的硬件架构示意图；
图7为本申请实施例提供的一种显示设备的硬件架构示意图；
图8为本申请实施例提供的一种包含字幕的视频显示的方法流程图；
图9为本申请实施例提供的另一种包含字幕的视频显示的方法流程图。
具体实施方式
本申请的说明书实施例和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
如图1所示，为本申请实施例提供的一种示例性的应用场景示意图。在该应用场景中，播放设备102完成音视频流101的接收和解码，播放设备102通过高清晰度多媒体接口(High Definition Multimedia Interface，HDMI)将解码得到的视频或音频数据发送给显示设备103进行显示或播放，从而使用户可以欣赏到视频或音频内容。
示例性的，该音视频流101可以来自网站流媒体、远端网络设备、互联网、光纤网络等，该视频流可以是动态元数据HDR视频数据，也可以是静态元数据HDR视频数据；示例性的，音视频流101可以是传输流(Transport Stream，TS)格式的数据流，TS中可以包含视频流、音频流、字幕数据包等，音视频流也可以采用其他类似格式的数据流，例如流媒体也可以使用(Matroska Video File，MKV)的格式来同时封装音频数据、视频数据和字幕数据等，类似的还有音频视频交织(Audio Video Interleaved，AVI)格式，本申请对音视频流的传输格式不做限定；示例性的，视频流中可以包括：HDR视频数据，以及用于描述HDR视频的元数据。在这种情况下，元数据和HDR视频数据均压缩在视频流中。在另一种可选的情况中，TS中可以包含视频流、音频流、字幕数据包、用于描述HDR视频的元数据，此种情况下，用于描述HDR视频数据的元数据放在TS中，而没有压缩在视频流中。字幕数据包中可以包括：字幕的字体、大小、色彩、位置、字幕的宽高比、色域信息、比特深度，以及字幕的文本内容等。元数据包含了对视频图像数据的描述。示例性的，静态元数据描述的是整条视频的制作环境，可以包括：视频制作调色和校正所用的监视器的相关信息、峰值亮度、黑位、RGB三色坐标和白色点坐标等。示例性的，动态元数据中一般包含了对视频图像每一帧内容的描述，例如可以包含图像的最高亮度、最低亮度、平均亮度等；可选的，动态元数据还可以包括某一帧图像与显示屏的参考映射曲线，应当理解，动态元数据中包含的参考映射曲线随着视频图像的变化而有所不同。
在一种可选的方案中，播放设备102可以是机顶盒(Set Top Box，STB)、多媒体播放器等，STB主要包含了较多的安全性功能，例如插卡计费、视频的加密解密等，一些质量较高的视频存在数字权利保护机制，需要STB侧解密之后，TV侧才能观看；STB侧接收到的视频数据通常是经过编码的视频数据，STB还具有解码功能，STB通常会将视频数据解码之后再发送给TV侧显示。下面以STB为例对本申请实施例涉及的应用场景进行说明，STB解析接收到的TS，得到视频数据和字幕数据等，然后，STB对视频数据进行解码、并对字幕进行绘制，在一种可选的情况中，STB将视频内容和字幕内容叠加在一起，通过有线或无线的HDMI、Display Port传输等方式传送给显示设备103。
示例性的，显示设备103可以是TV、电脑显示器或者任何具有显示功能的固定终端或移动终端。TV对STB发送来的叠加在一起的视频和字幕进行显示处理后显示在屏幕上。示例性的，显示处理可以是TV根据预设的色调映射关系对视频的亮度进行调整，使得视频内容与TV的显示能力相适应。在一种可选的情况中，当STB传来的视频为具有动态元数据的HDR视频，TV为具有HDR显示功能的TV，TV基于动态元数据中包含的多组色调映射关系对不同的视频画面进行色调映射tone mapping处理，使各种不同画面都能够以最佳方式显示和呈现。在该应用场景中，STB将视频内容和字幕内容叠加在一起再发送给TV，因此TV侧并不会区分视频和字幕，而统一采用处理动态元数据HDR视频的映射方法对视频和字幕的叠加结果进行处理，在显示视频内容的过程中，字幕亮度会存在闪烁。
应当理解，本申请实施例重点关注包含字幕的视频的显示，因此重点讲述对视频数据和字幕数据的处理，对音频数据和其他数据的处理则省略不提，并不代表STB不能解析和处理视频数据和字幕数据之外的其他数据。以上应用场景仅为了便于说明，不用于限定本实施例。本申请实施例还可以扩展到更多的视频显示的应用场景中
应当理解，本申请中提及的“色调映射”是对“tone mapping”的中文翻译，tonemapping的实质是将视频图像的亮度范围调节到显示屏可显示的亮度范围内，为了便于理解色调映射的概念，下面分别给出一组静态元数据HDR和一组动态元数据HDR的tonemapping示意图，如图2a和图2b所示。
静态元数据HDR视频用固定的映射方法来处理所有的视频图像，如图2a所示，静态元数据HDR视频具有一个固定的映射曲线，该映射曲线输入的亮度范围为0-4000尼特nit，输出的亮度范围为0-500nit，TV对最高亮度为200nit、最高亮度为1500nit和最高亮度为4000nit的三帧图像，均采用该映射曲线进行tone mapping处理，处理之后显示在显示器上。由于映射关系曲线与前两帧图像实际具有的亮度范围不相符，前两帧图像丢失了大部分图像细节，整体偏暗，显示效果较差。动态元数据HDR视频具有多组映射曲线，在显示视频图像的过程中根据图像的实际亮度调整所使用的映射曲线，如图2b所示，给出了三组不同的映射曲线，映射曲线1输入的亮度范围为0-500尼特nit，输出的亮度范围为0-500nit，映射曲线2输入的亮度范围为0-1500尼特nit，输出的亮度范围为0-500nit，映射曲线3输入的亮度范围为0-4000尼特nit，输出的亮度范围为0-500nit，TV根据图像帧的实际亮度范围选择合适的映射曲线进行tone mapping处理，使得不同亮度的图像都能以最佳方式呈现在屏幕上，例如选取映射曲线2对最高亮度为1500nit的图像进行色调映射，处理之后的图像很好的保留了图像细节。应当理解，上述映射曲线的输入亮度表示的是视频信号源所表示的亮度；而输出亮度则是显示设备如TV所能真正显示出的亮度。对于HDR视频来说，一般在专业影视制作环境下制作的视频信号所表示的亮度范围比消费类电视机所能显示的亮度范围要大。tone mapping为一种将输入的视频信号的亮度范围映射和匹配到显示设备显示的亮度范围的技术。
如图3所示，为本申请实施例提供的一种视频显示系统的框架示意图。播放设备302包括解复用模块、视频解码模块、字幕解析模块和封装模块，封装模块对视频数据和字幕数据分别进行封装，显示设备303包括解封装模块、视频处理模块、字幕处理模块、视频和字幕叠加模块(或者也可以称为视频和字幕混合模块)、显示模块等。应当理解，本申请实施例从功能的角度对播放设备和显示设备进行划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统。各个模块相互之间的耦合可以是通过一些接口实现，这些接口通常是电性通信接口，但是也不排除可能是机械接口或其它的形式接口。因此，作为分离部件说明的模块可以是或者也可以不是物理上分开的，既可以位于一个地方，也可以分布到同一个或不同设备的不同位置上。
播放设备302从外部接收传输流301，关于传输流的来源、格式及包含的内容请参考对音视频流101部分的描述，在此不再赘述。
解复用模块，例如可以是解复用器Demux或Demultiplexer，解复用模块用于对接收的TS进行解析，得到视频流、字幕数据、音频数据以及其他类型的数据。应当理解，得到的视频数据可以是标准动态范围(Standard Dynamic Range，SDR)视频数据、静态元数据HDR视频或动态元数据HDR视频数据，本申请实施例以动态元数据HDR视频为例对包含字幕的视频显示系统进行说明。
视频解码模块，例如可以是视频解码器，示例性的，视频解码器可以是高效率视频编码(High Efficiency Video Coding，HEVC)Video Decoder、VP9 Video Decoder、第二代音视频编码标准(2nd Audio Video coding Standard,AVS2)Video Decoder以及未来可以支持HDR视频的其他新编码标准等，视频解码器可以是软件解码器、也可以是硬件解码器，但是应当理解，软件解码器的性能和功耗与硬件解码器相比通常会比较差。由于从TS中解析得到的视频数据通常都是经过编码的视频数据，视频解码模块用于对解析得到的动态元数据HDR视频流进行解码，得到HDR视频数据和动态元数据metadata。
字幕解析模块，例如可以是图形处理模块(Graphic Processing Module)，或者可以说由图形处理模块对字幕数据进行解析，示例性的，图形处理模块可以是运行在通用中央处理单元(Central Processing Unit，CPU)或图形处理单元(Graphics ProcessingUnit，GPU)上的软件模块，也可以是专用的逻辑电路，或者是专用的图像信号处理器(ImageSignal Processor，ISP)。字幕信息包含在TS的封装格式中，字幕解析模块将字幕信息从TS封装格式中提取出来，示例性的，字幕信息可以包括字幕的文本内容、与字幕文本内容对应的码字、字幕的字体、大小、色彩、位置、字幕的宽高比、透明度、色域信息、比特深度等信息，字幕解析模块将字幕信息从TS封装格式中提取出来，在此对字幕文本内容对应的码字进行举例说明，中文和英文在计算机里用不同的码字来表示，例如“hello”用字符编码后占用5个byte，而“你好”用字符编码之后占用4个byte，图形处理模块将字幕内容对应的具体码字提取出来之后送给封装模块打包成与传输接口(或传输通道)相匹配的格式。
通常来说，播放设备302还可以包括视频/字幕混合模块(图3中未示出)，当播放设备接收的视频数据为SDR视频数据或者静态元数据HDR视频数据时，视频/字幕混合模块用于将视频解码器输出的视频数据和字幕解析模块输出的字幕信息混合(或叠加)在一起，然后对叠加数据进行打包并通过HDMI传送给显示设备。本申请提供的一个实施例中，视频数据和字幕信息并不会送到视频/字幕混合模块进行混合，而是对视频数据和字幕信息分开进行处理，例如对视频数据和字幕信息分别封装，并分别传输给显示设备。
封装模块，用于对HDR视频数据(包括动态metadata)和字幕信息分别进行封装。示例性的，该封装模块可以是HDMI发送器Transmitter，将包含动态metadata的HDR视频数据、字幕信息分别封装成与HDMI相匹配的数据包，并通过HDMI将封装之后的数据包分别传送给显示设备，在传送的过程中数据包直接是彼此隔离的。在一种可选的情况中，在对数据进行封装时，处理的数据量通常很大，由软件进行少量的控制配置，封装过程由HDMItransmitter中的硬件来完成；可选的，封装过程也可以全部由软件完成，软件封装的速度和性能与硬件相比会比较差。有一点需要说明，由于HDMI这类数字通道通常需要同时传输视频、音频以及其他一些附加信息，为了确保不同种类的信息都能够被正确的接收和识别，各种数据和信息需要按照一定格式进行封装打包再进行传输，即视频数据和字幕数据在播放设备和显示设备之间传输时需要封装成与传输接口(或者说传输通道)相匹配的数据包格式。在一种可选的情况中，HDMI Transmitter将字幕信息封装成一个独立的信息帧，并从HDMI发送端口发送给显示设备。可选的，封装格式的字幕信息帧包括类型标识字段和多个有效字幕信息载荷字节，可选的，字幕信息帧还可以包括版本标识字段或长度标识字段中的至少一项，其中，长度标识字段的取值用于指示多个有效字幕信息载荷字节的个数。示例性的，多个有效字幕信息载荷字节中包含的有效字幕信息包括以下至少一项：字幕文本内容、与字幕文本内容对应的码字以及字幕绘制的控制信息。字幕绘制的控制信息包括以下至少一项：字幕的字体、大小、色彩、位置、字幕的宽高比、透明度、色域信息或比特深度等信息。
示例性的，表1为本申请实施例提供的一种字幕信息帧的封装格式。
表1
Figure GDA0003648443260000101
由表可得，封装的信息帧可以包括信息帧类型标识字段“InfoFrame Type Code”，占用1个字节，用于标识该信息帧为字幕信息帧，其对应的具体代码需申请和批准，基于该字段，播放设备的传输接口可以将字幕信息单独封装成与视频数据帧不同的字幕信息帧并将字幕信息帧和视频数据帧分离发送、对应的显示设备的传输接口可以基于该字段识别出接收的信息帧为字幕信息帧；信息帧还可以包括用于识别信息帧版本的字段“InfoFrameVersion Number”，该字段占用1个字节，该字段便于后续对基于该封装格式的字幕信息帧进行演进和完善，例如首次推出的字幕信息帧格式为初始版本，后续为解决新的需求增加新的字段相继可能出现版本2、版本3等，该字段用于指示当前信息帧为哪个版本，便于播放设备和显示设备根据字幕信息帧版本的不同进行对应处理；信息帧还可以包括用于指示信息帧的长度的字段“Length of InfoFrame”，该字段占用1个字节，该字段用于指示传输的字幕信息帧的长度，便于初步判断字幕信息帧的大小，以调整传送该字幕信息帧所占用的字节数，提升对字幕处理的灵活性；信息帧还包括表征有效字幕信息载荷的各字节“DataByte 1”-“Data Byte N”，其中，每个Data Byte占用1个字节，N为有效字幕信息载荷字节的个数，长度标识字段的取值为N，即长度标识字段用于指示有效字幕信息载荷字节的个数。示例性的，有效字幕信息可以包括字幕文本内容，与字幕文本内容对应的码字，也可以包括字幕绘制的控制信息，例如，字幕绘制的控制信息包含但不限于字幕的字体、大小、色彩、位置、字幕的宽高比、透明度、色域信息、比特深度等信息，其中色彩包括前景色彩和背景色彩，透明度包括前景透明度和背景透明度。在一种可能的实施方式中，该多个有效字幕信息载荷字节中包含有效信息标识位字节，该有效信息标识位字节用于限定其他有效字幕信息载荷字节各自的标识内容。示例性的，Data Byte 1可以为有效信息标识位，用于指示本字幕信息帧内是否包含有效的字体、字号大小、前景色彩、背景色彩、前景透明度、背景透明度、位置信息。如表2所示，为Data Byte 1的一种具体示例。
表2
bit7 bit 6 bit 5 bit 4 bit 3 bit 2 bit 1 bit 0
F0 S0 C0 A0 P0 保留 保留 保留
各bit标识的含义如下：
F0为1表示Data Byte 3为有效字段(播放设备指定字幕字体)，F0为0表示该字段为无效字段(播放设备不指定字幕字体，显示设备自行决定使用什么字体绘制字幕)。
S0为1表示Data Byte 4为有效字段(播放设备指定字幕字体大小)，S0为0表示该字段为无效字段(播放设备不指定字幕字号大小，显示设备自行决定使用何种大小的字号绘制字幕)。
C0为1表示Data Byte 5～Data Byte 7为有效字段(播放设备指定字幕的前景色彩)，C0为0表示该字段为无效字段(播放设备不指定字幕前景色彩，显示设备自行决定使用什么色彩绘制字幕)。
A0为1表示Data Byte 8为有效字段(播放设备指定字幕的前景透明度)，A0为0表示该字段为无效字段(播放设备不指定字幕的前景透明度，显示设备自行决定使用什么前景透明度绘制字幕)。
P0为1表示Data Byte 9～Data Byte 12为有效字段(播放设备指定字幕的位置坐标)，C0为0表示该字段为无效字段(播放设备不指定的位置坐标，显示设备自行决定在什么位置坐标绘制字幕)。
bit2-bit0为保留位，在一种可选的情况中，可以通过设置保留位增加新的载荷字节限定字幕的宽高比和色域信息等。
以下为有效字幕信息载荷各字节的一种示例性限定：
Data Byte 2，1个字节，用于承载字符内容长度，该字段取决于字幕信息帧中实际的字幕字符的个数，单位为字节。在一种可选的情况中，一个字幕信息帧最大支持243个字节的字符内容传输，则Data Byte 2的取值为243。
Data Byte 3，1个字节，用0～255指示256种不同字体。
Data Byte 4，1个字节，用0～255表示256种不同大小的字号。
Data Byte 5～Data Byte 7，3个字节，表示不同色彩用于绘制字幕，其中Byte 5是高位字节，Byte 7是低位字节。
Data Byte8，1个字节，用0～255表示256种不同级别的字幕的透明度。
Data Byte 9～Data Byte 10，2个字节，表示字幕左上角在视频画面中的横坐标。Byte 9是高位字节，Byte 10是低位字节。
Data Byte 11～Data Byte 12，2个字节，表示字幕左上角在视频画面中的纵坐标。Byte 11是高位字节，Byte 12是低位字节。
Data Byte 13～Data Byte N，为可能的字幕文本字符、标点符号等信息。
应当理解，字幕信息帧的封装格式可以基于HDMI/消费技术协会(ConsumerTechnology Association，CTA)标准的现有机制进行扩展，表1和表2所示的信息帧的封装格式只是一种示例，并不是对封装格式的限制。
在一种可选的情况中，在HDMI中传输的HDR视频数据包、动态元数据metadata包和字幕数据包是分开封装的，彼此隔离，从而三个不同的数据包或者信息帧能够被显示设备正确的接收和识别。
HDMI发送器将视频数据帧、动态元数据信息帧和字幕信息帧以及其他的信息帧或数据包分离传输给显示设备。应当理解，HDMI内部有多条通道，其中一部分通道用于传输数据信息，还有一部分用于传输时钟、校验信号、电源信号以及地信号等控制信息。在一种可选的情况中，数据通道是分时复用的，各种数据包不能同时传送。通道单位时间内传输的数据量受工作频率的限制，通道单位时间内能够传输的最大数据量为HDMI通道的带宽，示例性的，HDMI2.1的带宽是18G bps(bit per second)。可选的，传输接口分时传输HDR视频数据帧、动态元数据信息帧和字幕信息帧。可选的，传输接口对应多个传输频段，传输接口分频传输视频数据帧、动态元数据帧和字幕信息帧；可选的，传输接口对应多个传输通道，传输接口分通道传输视频数据帧、动态元数据帧和字幕信息帧。
应当理解，这种分时传输的方式需要能够确保视频的画面内容与字幕信息在时间上是同步的，避免出现字幕超期或滞后于对白画面。可以依据帧级对齐传输的特性，将附加的字幕信息封装其在所匹配的画面帧所对应的信息传输时间段内传输，就可以保证画面与字幕的同步。也可以说任意一帧字幕信息帧和与该帧字幕信息帧相匹配的视频数据帧在同一个时隙内传输，以此来保证画面与字幕的同步。在一种可选的情况中，播放设备和显示设备可以提前约定字幕信息帧和视频数据帧的对应关系，例如，播放设备和显示设备可以约定显示设备接收的第N帧字幕信息帧与第N帧视频数据帧相对应，也可以约定显示设备接收的第N+M帧字幕信息帧与第N帧视频数据相对应，其中，M可以是±1，±2等整数，显示设备根据提前约定的关系实现视频数据帧和字幕信息帧的对应也可以实现画面与字幕的同步。另外，可选的，某一帧动态元数据必须在其对应的视频数据之前或之后的某个特定时间内传输，在类似高效视频编码(High Efficiency Video Coding，HEVC)等压缩视频流中，动态元数据需要在与其对应的某一帧图像的头信息的语法结构中。下面对本申请实施例提供的一种对视频数据、metadata、字幕数据进行传输的方式进行说明，如图4所示，为本申请实施例提供的一种传输通路的时序示意图。
HDMI传输通路按时间顺序依次传输视频帧1,2,3,…,N,N+1,…，每传送一帧视频数据帧及与该数据帧相关的信息占用一段时隙，如图中的Interval所示，传送第N帧视频数据及与该数据帧相关的信息的时隙为“Interval of Frame N”，传送第N+1帧视频数据及与该数据帧相关的信息的时隙为“Interval of Frame N+1”，该Interval与视频的帧率有关，示例性的，如果帧率为每秒50帧，那么Interval为1/50秒。传输相邻的两帧视频数据帧之间的时间间隔称为垂直消隐区(Vertical Blanking)，该时间段可以用来传输视频数据帧以外的与该数据帧相关的信息，例如可以是音频信息、HDR元数据信息、字幕信息等。这些信息以称为InfoFrame的信息帧的方式提供，可选的，这些信息帧可以是CTA标准规定的信息帧或经过电气电子工程师学会(Institute of Electrical and Electronics Engineers，IEEE)注册的厂商所提供的私有信息帧，表1为本申请实施例提供的信息帧格式的一种示例。应当理解，传输字幕信息帧和元数据信息帧在传输时隙(或者可以说是传输周期内)传输的先后顺序本申请实施例不做限定，虽然图4中字幕信息帧在元数据信息帧之后，在一种可选的情况中，字幕信息帧也可以在元数据信息帧之前。
应当理解，HDMI等接口可以提供很高的带宽用于实时传输音视频信息，而字幕信息帧的数据量远远小于音视频的数据量，视频数据帧之间的垂直消隐区留完全能够传送字幕相关的信息。
显示设备303接收HDMI通道传来的HDR视频数据帧、动态元数据信息帧和字幕数据帧等。
解封装模块，例如可以是HDMI接收器Receiver，解封装模块将接收的封装格式的HDR视频数据帧、动态元数据信息帧和字幕数据帧等解封装，得到HDR视频数据、动态元数据和字幕信息，以便显示设备进行后续处理。
视频处理模块，例如可以是视频处理器，也可以是专用的ISP或者专用的集成电路，在一种可选的情况中，视频处理模块也可以是运行在CPU或GPU上的软件模块。视频处理模块根据图像帧的实际亮度范围选择合适的映射关系对HDR视频数据进行tone mapping映射处理，以使得动态元数据HDR视频的不同画面均能够以最佳方式显示和呈现。
字幕处理模块，例如可以是图形处理模块(Graphic Processing Module)，或者可以说由图形处理模块完成对字幕的处理，示例性的，图形处理模块可以是运行在通用CPU或GPU上的软件模块，也可以是专用的逻辑电路，或者是专用的图像信号处理器ISP。字幕处理模块将字幕文本信息转换为RGB点阵图像，绘制成字幕图片，字幕处理模块还可以根据显示屏的亮度对绘制的字幕图片进行tone mapping。应当理解，字幕处理模块根据字幕信息中的大小、颜色、字体等对字幕进行绘制，在进行tone mapping的过程中确保相应的RGB数值适合屏幕的亮度色彩范围进行显示。
视频和字幕叠加/混合模块，例如可以是硬件形态的混合器Mixer，也可以是专用的集成电路、或者是运行在通用CPU或GPU上的软件模块。视频和字幕叠加/混合模块将经过色调映射处理之后的视频和字幕混合/叠加，得到包含字幕的图像帧。然后将该包含字幕的图像帧送给显示模块进行显示，示例性的，显示模块可以是液晶显示器(Liquid CrystalDisplay，LCD)或有机发光二极管(Organic Light-Emitting Diode，OLED)显示屏。
本申请实施例播放设备侧将包含动态元数据的HDR视频数据和字幕信息分开封装，并分别传送给显示设备，显示设备侧接收分离的视频数据和字幕信息，依据动态元数据对HDR视频数据进行动态色调映射，依据屏幕的实际亮度范围对依据字幕信息绘制的字幕图片进行色调映射，使得字幕的亮度和色彩适合显示屏幕的亮度色彩范围，同时保证了HDR视频和字幕的处理效果，避免了HDR动态的色调映射处理引起的字幕亮度的闪烁和变化。
上面从模块化功能实体的角度对本申请实施例中的一种包含播放设备和显示设备的视频显示系统进行描述，下面从处理器硬件的角度对本申请实施例中的一种播放设备和显示设备分别进行描述。
如图5所示，为本申请实施例提供的一种视频播放系统的硬件架构示意图。
可选的，播放设备302包括至少一个中央处理器CPU、至少一个存储器、GPU、解码器、专用的视频/图形处理器、输入接口和HDMI发送器等。可选的，播放设备还可以包括微处理器和微控制器(Microcontroller Unit，MCU)等。在一种可选的情况中，播放设备的上述各个部分通过连接器相耦合，该连接器可包括各类接口、传输线或总线等，本实施例对此不做限定。所述连接器可包括各类接口、传输线或总线等，本实施例对此不做限定。在一种可选的情况中，上述各部分集成在同一个芯片上，共同构成播放设备的核心芯片；在另一种可选的情况中，CPU、GPU、解码器、输入接口以及HDMI发送器集成在一个芯片上，该芯片内部的各部分通过总线访问外部的存储器。专用视频/图形处理器可以与CPU集成在同一个芯片上，也可以作为单独的处理器芯片存在。在本申请实施例中涉及的芯片是以集成电路工艺制造在同一个半导体衬底上的系统，也叫半导体芯片，其可以是利用集成电路工艺制作在所述衬底(通常是例如硅一类的半导体材料)上形成的集成电路的集合，其外层通常被半导体封装材料封装。所述集成电路可以包括各类功能器件，每一类功能器件包括逻辑门电路、金属氧化物半导体(Metal-Oxide-Semiconductor，MOS)晶体管、双极晶体管或二极管等晶体管，也可包括电容、电阻或电感等其他部件。每个功能器件可以独立工作或者在必要的驱动软件的作用下工作，可以实现通信、运算、或存储等各类功能。
示例性的，CPU可以用于实现本申请实施例的部分或全部运算，例如可以实现图像的tone mapping、视频数据的解复用、解码等；可选的，CPU可以是一个单核(single-CPU)处理器或多核(multi-CPU)处理器；可选的，CPU可以是多个处理器构成的处理器组，多个处理器之间通过一个或多个总线彼此耦合。在一种可选的情况中，对于图像和视频的处理部分由GPU完成，部分由专用视频/图形处理器完成，还有可能是由跑在通用CPU或GPU上的软件代码完成。
存储器，可用于存储计算机程序指令，包括操作系统(Operation System，OS)、各种用户应用程序、以及用于执行本申请方案的程序代码在内的各类计算机程序代码；存储器还可以用于存储视频数据、音频数据和字幕数据等；CPU可以用于执行存储器中存储的计算机程序代码，以实现本申请实施例中的方法，被执行的各类程序代码可以认为是CPU的驱动程序。可选的，存储器302可以是非掉电易失性存储器，例如是嵌入式多媒体卡(EmbeddedMulti Media Card，EMMC)、通用闪存存储(Universal Flash Storage，UFS)或只读存储器(Read-Only Memory，ROM)，或者是可存储静态信息和指令的其他类型的静态存储设备，还可以是掉电易失性存储器(volatile memory)，例如随机存取存储器(Random AccessMemory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的程序代码并能够由计算机存取的任何其他计算机可读存储介质，但不限于此。
输入接口用于接收传输流，播放设备的输入接口可以是网络接口，例如可以是WIFI或者以太网接口，该输入接口也可以是广播电视的端子例如tunner，该输入接口还可以是通用串行总线(Universal Serial Bus，USB)接口。
在一种可选的情况中，CPU执行相关的代码对传输流进行解复用，得到视频数据和字幕数据等，解码器对视频数据流进行解码得到视频数据和metadata，视频/图形处理器完成对字幕的解析。HDMI发送器对解码后的视频数据、metadata和字幕数据分别进行封装，并将封装之后的数据包/信息帧通过HDMI数据通道传送给显示设备303。
可选的，显示设备303包括HDMI接收器、至少一个中央处理器CPU、至少一个存储器、GPU、解码器、专用的视频/图形处理器以及V By One接口等。该显示设备还包括显示屏(图中未示出)，可选的，V By One接口耦合至显示屏，V By One接口是一种面向图像传输开发的数字接口标准。可选的，图5中所示的显示设备303可以是一个集成的显示器芯片，接收的视频数据在该显示器芯片上处理之后发送给显示屏进行显示。
对于CPU和存储器的具体情况请参考对播放设备侧的CPU和存储器的描述，此处不再赘述。HDMI接收器接收播放设备发送的数据包，并对视频数据包、metadata数据包和字幕信息帧分别进行解封装，具体请参考对解封装模块部分的描述，此处不再赘述。对视频数据的tone mapping处理可以由GPU完成，也可以由专用的视频/图形处理器完成。对字幕的绘制和色调映射可以由专用的视频/图形处理器完成、也可以由跑在CPU或GPU上的软件代码完成。应当理解，显示设备对视频数据和字幕数据的处理是分别进行的。在一种可选的情况中，视频/图像处理器将处理之后的视频和字幕叠加在一起，通过V By One接口传送给显示屏。
示例性的，显示屏可以是液晶显示器(Liquid Crystal Display，LCD)，发光二级管(Light Emitting Diode，LED)显示器，有机发光二极管(Organic Light-EmittingDiode，OLED)显示屏、阴极射线管(Cathode Ray Tube，CRT)显示屏等。
如图6所示，为本申请实施例提供的一种播放设备的硬件架构示意图。
该播放设备可以包括解复用器、视频解码器、视频处理器、图形处理模块、Graphic/Video混合器以及HDMI发送器等。
解复用器，用于解析接收的视频传输流，得到HDR视频流、字幕数据包、音频数据以及其他种类的数据。具体请参考对解复用模块部分的描述，此处不再赘述。
视频解码器，对HDR视频流进行解码，得到HDR视频数据和元数据metadata。
视频处理器，用于实现各种HDR格式的视频与SDR格式的视频之间的转换，可选的，视频处理器还可以对video中的图像进行放大、缩小、去噪或者增强锐化的处理。
图形处理模块，示例性的，该图形处理模块可以是专用的ISP、专用逻辑电路、或者也可以是运行在通用CPU或GPU上的软件模块。字幕信息包含在TS的封装格式中，示例性的，字幕信息可以包括字幕的文本内容、与字幕文本内容对应的码字、字幕的字体、大小、色彩、位置、字幕的宽高比、色域信息、比特深度等信息，图形处理模块将字幕信息从TS封装格式中提取出来，具体请参考前述对字幕解析模块部分的说明。可选的，图形处理模块的处理还可以包含将字幕信息绘制成图片，放大缩小及半透明alpha混合相关的处理等。
在一种可选的情况中，HDR视频数据(包含metadata)和字幕信息经Graphic/Video混合器混合之后，通过HDMI发送器封装并发送给显示设备。
在一种可选的情况中，播放设备不对HDR视频数据和metadata、字幕信息进行混合，而是分别发送给HDMI发送器，由HDMI发送器分别封装后发送给显示设备。封装的信息帧格式请参考对封装模块部分的描述，此处不再赘述。
如图7所示，为本申请实施例提供的一种显示设备的硬件架构示意图。
该显示设备可以包括HDMI接收器、视频处理器、图形处理模块、Graphic/Video混合器、V By One(VBO)接口、LCD/OLED显示屏等。
HDMI接收器，将接收的封装格式的HDR视频数据帧、动态元数据信息帧和字幕信息帧等解封装，得到HDR视频数据、动态元数据和字幕数据，以便显示设备进行后续处理。
视频处理器，该视频处理器可以是专用的ISP或者专用的集成电路，视频处理器根据图像帧的实际亮度范围从元数据中包含的映射关系中选择合适的映射关系对HDR视频数据进行tone mapping映射处理，以使得动态元数据HDR视频的不同画面均能够以最佳方式显示和呈现。
图形处理模块，可以是专用的逻辑电路，或者是专用的图像信号处理器ISP。图形处理模块根据字幕信息中指示的字体、大小、颜色、位置等信息将字幕文本内容转换为RGB点阵图像，绘制成字幕图片，图形处理模块还可以根据显示屏的亮度对绘制的字幕图片进行tone mapping处理。
Graphic/Video混合器，将经过色调映射处理之后的视频和字幕混合/叠加得到包含字幕的图像帧，并将包含字幕的图像帧经过VBO接口送到显示屏显示。显示屏的种类请参照图5对应的实施例中对显示屏部分的描述。
如图8所示，为本申请实施例提供的一种包含字幕的HDR视频处理的方法的流程示意图。为了便于理解，本申请实施例以步骤的形式对视频处理的方法进行描述，虽然在方法流程图8中示出了该方法的顺序，但是在某些情况下，可以以不同于此处的顺序执行所描述的步骤。
可选的，该视频处理的方法包括步骤801，接收传输流。
示例性的，传输流中可以包含视频数据、元数据、音频数据、字幕数据等；视频数据的类型可以是SDR视频数据、静态元数据HDR视频或动态元数据HDR视频数据等。示例性的，元数据中一般包含了对视频图像每一帧内容的描述，例如可以包含图像的最高亮度、最低亮度、平均亮度等；可选的，元数据还可以包括某一帧图像与显示屏的参考映射曲线。本申请实施例以视频数据为动态元数据HDR视频为例对视频处理的方法进行说明。
可选的，该视频处理的方法包括步骤802，解析该传输流，得到视频流、字幕数据包以及其他类型的数据。示例性的，其他类型的数据包括音频数据、传输流描述表、节目映射表、网络信息表等。
可选的，该视频处理的方法包括步骤803，解码视频流，得到解码后的HDR视频数据和动态元数据metadata。在一种可选的情况中，动态元数据metadata和HDR视频数据都封装在视频流中，解析视频流之后即可得到分离的HDR视频数据和动态metadata，而无需解码视频流之后才能得到metadata。
可选的，该视频处理的方法包括步骤804，解析字幕数据包，得到字幕信息，该字幕信息包含在字幕数据包中。应当理解，这里的字幕数据包为TS封装格式的数据包，字幕信息可以包括字幕的文本内容、与字幕文本内容对应的码字、字幕的字体、大小、色彩、位置、字幕的宽高比、色域信息、比特深度等信息。
可选的，该视频处理的方法包括步骤805，对包含动态metadata的HDR视频数据和字幕信息等分别进行封装，得到与传输接口相匹配的视频数据帧、动态元数据信息帧和字幕信息帧等。应当理解，HDR视频数据的每一帧都要进行封装，对应的，对字幕信息也是一帧一帧进行封装的，视频数据的每一帧都有与其相匹配的字幕信息，也可以说一帧视频数据对应一帧字幕信息，视频数据帧的数据量远大于动态元数据信息帧和字幕信息帧的数据量。示例性的，传输一帧3840x2160 422 10bit格式的视频，需要传输的数据是166兆bit；而传输一个有20个字的中文字符信息的字幕数据，只需要320个bit，此时字幕数据可以只占视频数据的几十万分之一。视频数据帧、动态元数据信息帧和字幕信息帧都是与传输接口相匹配的封装格式，从而使得不同的信息都可以被显示设备正确的接收和识别。字幕信息帧的格式请参考前述表1以及相关描述。可选的，传输接口为引用CTA相关定义的接口，例如可以是HDMI，或者可以是Display Port接口等。
可选的，该视频处理的方法包括步骤806，将视频数据帧、动态元数据信息帧以及字幕信息帧等分离传输给显示设备。
在一种可选的情况中，可以利用传输接口分时复用的特性，分时传输该视频数据帧、动态元数据信息帧以及字幕信息帧等；在一种可选的情况中，也可以提升频段分频、或增加传输通道从而实现分通道传输等。例如，传输接口对应多个传输频段，传输接口分频传输视频数据帧、动态元数据帧和字幕信息帧；或者，传输接口对应多个传输通道，传输接口分通道传输视频数据帧、动态元数据帧和字幕信息帧。
应当理解，这种分离传输的方式需要能够确保视频的画面内容与字幕信息在时间上是同步的，避免出现字幕超期或滞后于对白画面。在一种可选的情况中，可以依据帧级对齐传输的特性，将附加的字幕信息在其所匹配的视频图像帧的传输时隙内传输，就可以保证画面与字幕的同步。在一种可选的情况中，播放设备和显示设备可以提前约定字幕信息帧和视频数据帧的对应关系，例如，播放设备和显示设备可以约定显示设备接收的第N帧字幕信息帧与第N帧视频数据帧相对应，也可以约定显示设备接收的第N+M帧字幕信息帧与第N帧视频数据相对应，其中，M可以是±1，±2等整数，显示设备根据提前约定的关系实现视频数据帧和字幕信息帧的对应也可以实现画面与字幕的同步。另外，可选的，某一帧动态元数据必须在其对应的视频数据之前或之后的某个特定时间内传输，在类似HEVC等压缩视频流中，动态元数据需要在与其对应的某一帧图像的头信息的语法结构中。对于分离传输的示例请参考图4以及与图4对应的部分的描述。
可选的，该视频处理的方法包括步骤807，接收视频数据帧、动态元数据信息帧以及字幕信息帧，并对接收的数据帧或信息帧分别进行解封装，得到HDR视频数据、动态元数据和字幕信息，以便显示设备进行后续处理。
该视频处理的方法包括步骤808，依据动态元数据对HDR视频数据进行色调映射。
应当理解，动态元数据中包含多组映射关系，根据HDR视频图像帧的实际亮度范围选择合适的映射关系对HDR视频数据图像帧进行tone mapping映射处理，以使得动态元数据HDR视频的不同画面均能够以最佳方式显示和呈现。
该视频处理的方法包括步骤809，根据显示屏的亮度范围对依据字幕信息绘制的字幕图片进行色调映射。
应当理解，字幕信息中包含字幕文本内容和指示信息，该指示信息包括但不限于：字幕的字体、大小、颜色、位置、位深等。根据字幕信息中的指示信息将字幕文本内容绘制成该字幕图片，在一种可选的情况中，字幕图片为RGB点阵图像。根据显示屏能够显示的亮度范围对字幕图片进行tone mapping，以确保相应的RGB数值适合屏幕的亮度色彩范围。
可选的，该视频处理的方法包括步骤810，叠加色调映射之后的HDR视频数据和字幕图片，得到包含字幕的视频图像，并显示该包含字幕的视频图像。
本申请实施例将包含动态元数据的HDR视频数据和字幕信息分开封装，并分别传送给显示设备，显示设备侧接收分离的视频数据和字幕信息，依据动态元数据对HDR视频数据进行动态色调映射，依据屏幕的实际亮度范围对依据字幕信息绘制的字幕图片进行色调映射，使得字幕的亮度和色彩适合显示屏幕的亮度色彩范围，同时保证了HDR视频和字幕的处理效果，改善了动态元数据HDR视频的字幕显示效果。
如图9所示，为本申请实施例提供的另一种包含字幕的HDR视频处理的方法的流程示意图。
为了便于理解，本申请实施例以步骤的形式对视频处理的方法进行描述，虽然在方法流程图9中示出了该方法的顺序，但是在某些情况下，可以以不同于此处的顺序执行所描述的步骤。
该方法包括：
步骤901、将HDR视频数据封装成与传输接口相匹配的视频数据帧。
步骤902、将字幕信息封装成与该传输接口相匹配的字幕信息帧。
步骤903、通过该传输接口向显示设备分离传输该视频数据帧和字幕信息帧。
在一种可选的情况中，该传输接口可以分时复用，传输接口分时传输视频数据帧和字幕信息帧；可选的，该传输接口对应多个传输频段，传输接口分频段传输视频数据帧和字幕信息帧；可选的，该传输接口对应多个传输通道，传输接口分通道传输视频数据帧和字幕信息帧。可选的，该传输接口可以为HDMI、Display Port接口，或者其他引用CTA相关定义的接口。具体请参考前述对播放设备的封装模块的相关描述。应当理解，字幕信息帧和视频数据帧为两种数据包格式。对字幕信息帧的格式请参考表1、表2及相关文字部分的描述。对字幕信息帧和视频数据帧的分离传输请参考图4及对应的文字部分的描述。
可选的，该方法还包括：接收传输流，该传输流包括HDR视频数据、字幕信息和元数据metadata，其中，metadata包含对HDR视频数据进行色调映射tone mapping的映射关系。
可选的，该方法还包括：将metadata封装成与传输接口相匹配的元数据信息帧。
通过传输接口向显示设备分离传输视频数据帧、字幕信息帧和元数据信息帧，在一种可选的情况中，字幕信息帧和元数据信息帧在对应的视频数据帧的传输时隙的垂直消隐区内传输。其中，字幕信息帧在metadata之前传输；或者字幕信息帧在metadata之后传输。
本申请实施例将包含动态元数据的HDR视频数据和字幕信息分开封装，并分别传送给显示设备，使得显示设备可以获得分离的视频内容和字幕信息，然后对HDR视频和字幕分别进行针对性处理，改善了动态元数据HDR视频的字幕显示效果。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一个方法中的一个或多个步骤。上述信号处理装置的各组成模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在所述计算机可读取存储介质中。
基于这样的理解，本申请实施例还提供一种包含指令的计算机程序产品，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或其中的处理器执行本申请各个实施例所述方法的全部或部分步骤。该存储介质的种类请参考存储器302的相关描述。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。例如，装置实施例中的一些具体操作可以参考之前的方法实施例。

Claims (5)

1.一种包含字幕的高动态范围HDR视频处理的方法，其特征在于，所述方法包括：
通过播放设备接收传输流(TS)；
所述播放设备用于通过所述传输流得到视频解码，然后将所述视频解码封装成视频数据帧；
所述播放设备用于通过所述传输流得到字幕解析，然后将所述字幕解析封装成字幕信息帧；显示设备通过传输接口分别接收从播放设备传来的所述视频数据帧和所述字幕信息帧；
通过所述传输接口接收动态元数据信息帧；
其中，所述字幕信息帧包括信息帧类型标识字段，用于标识信息帧类型为字幕信息帧；
所述字幕信息帧还包括识别信息帧版本的字段，用于标识字幕信息帧格式的版本；
按时间顺序通过所述传输接口依次接收所述视频数据帧，其中，第N帧视频数据帧在第N个时隙内传输，与所述第N帧视频数据相对应的字幕信息帧在所述第N个时隙的垂直消隐区内传输，所述N为正整数； 将所述视频数据帧解封装得到HDR视频数据；
以及将所述字幕信息帧解封装得到字幕信息；
将所述动态元数据信息帧解封装得到metadata，其中，所述metadata包含对所述HDR视频数据进行色调映射tone mapping的映射关系；
根据所述metadata对所述HDR视频数据进行tone mapping；
根据显示设备的能够显示的亮度范围对字幕图片进行tone mapping；其中，所述字幕图片依据所述字幕信息绘制得到；
叠加tone mapping后的HDR视频数据和tone mapping后的字幕图片，得到包含字幕的视频图像。
2.根据权利要求1所述的方法，其特征在于，所述通过传输接口分别接收从播放设备传来的视频数据帧和字幕信息帧具体包括：
通过所述传输接口分时接收从所述播放设备传来的所述视频数据帧和所述字幕信息帧。
3.根据权利要求1或2所述的方法，其特征在于，所述字幕信息帧在垂直消隐区内传输，所述垂直消隐区为传输相邻两帧视频数据帧之间的时间间隔。
4.根据权利要求1所述的方法，其特征在于，所述传输接口对应多个传输频段，所述通过传输接口分别接收从播放设备传来的视频数据帧和字幕信息帧具体包括：
通过所述传输接口接收从所述播放设备分频传输来的所述视频数据帧和所述字幕信息帧；或者，
所述传输接口对应多个传输通道，所述通过传输接口分别接收从播放设备传来的视频数据帧和字幕信息帧具体包括：
通过所述传输接口接收从所述播放设备分通道传输来的所述视频数据帧和所述字幕信息帧。
5.根据权利要求1所述的方法，其特征在于，所述传输接口为高清晰度多媒体接口HDMI。
CN201880093151.2A 2018-06-25 2018-06-25 一种包含字幕的高动态范围视频处理的方法及装置 Active CN112075083B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310384229.9A CN116489454A (zh) 2018-06-25 2018-06-25 一种包含字幕的高动态范围视频处理的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/092630 WO2020000135A1 (zh) 2018-06-25 2018-06-25 一种包含字幕的高动态范围视频处理的方法及装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310384229.9A Division CN116489454A (zh) 2018-06-25 2018-06-25 一种包含字幕的高动态范围视频处理的方法及装置

Publications (2)

Publication Number Publication Date
CN112075083A CN112075083A (zh) 2020-12-11
CN112075083B true CN112075083B (zh) 2023-04-04

Family

ID=68985379

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310384229.9A Pending CN116489454A (zh) 2018-06-25 2018-06-25 一种包含字幕的高动态范围视频处理的方法及装置
CN201880093151.2A Active CN112075083B (zh) 2018-06-25 2018-06-25 一种包含字幕的高动态范围视频处理的方法及装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310384229.9A Pending CN116489454A (zh) 2018-06-25 2018-06-25 一种包含字幕的高动态范围视频处理的方法及装置

Country Status (4)

Country Link
US (1) US11375154B2 (zh)
EP (1) EP3780636A1 (zh)
CN (2) CN116489454A (zh)
WO (1) WO2020000135A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210001762A (ko) * 2019-06-28 2021-01-06 삼성전자주식회사 영상을 처리하는 전자 장치 및 그 영상 처리 방법
US11544826B2 (en) * 2021-04-30 2023-01-03 Realnetworks, Inc. Intelligent metadata service for video enhancement
CN115564659B (zh) * 2022-02-28 2024-04-05 荣耀终端有限公司 视频处理方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1139273A (zh) * 1995-04-03 1997-01-01 索尼公司 字幕彩色划变与定位方法及装置
CN1413028A (zh) * 2001-10-15 2003-04-23 华为技术有限公司 交互式视频设备及其字幕叠加方法
CN102177723A (zh) * 2009-06-29 2011-09-07 索尼公司 立体图像数据发送器、用于发送立体图像数据的方法和立体图像数据接收器
CN102256092A (zh) * 2010-05-21 2011-11-23 索尼公司 数据发送和数据接收设备、数据发送和数据接收方法
US8872969B1 (en) * 2013-09-03 2014-10-28 Nvidia Corporation Dynamic relative adjustment of a color parameter of at least a portion of a video frame/image and/or a color parameter of at least a portion of a subtitle associated therewith prior to rendering thereof on a display unit
WO2015008683A1 (ja) * 2013-07-19 2015-01-22 ソニー株式会社 ファイル生成装置、ファイル生成方法、ファイル再生装置、及び、ファイル再生方法
CN105191292A (zh) * 2013-05-10 2015-12-23 美国莱迪思半导体公司 与非压缩视频一起传输边带数据的方法、装置和系统
CN107211169A (zh) * 2015-02-03 2017-09-26 索尼公司 发送装置、发送方法、接收装置以及接收方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7373650B1 (en) * 2000-02-01 2008-05-13 Scientific-Atlanta, Inc. Apparatuses and methods to enable the simultaneous viewing of multiple television channels and electronic program guide content
US7565680B1 (en) * 2000-06-30 2009-07-21 Comcast Ip Holdings I, Llc Advanced set top terminal having a video call feature
CA2594003C (en) * 2005-01-12 2016-04-05 Invidi Technologies Corporation Targeted impression model for broadcast network asset delivery
TWI357263B (en) * 2008-02-22 2012-01-21 Novatek Microelectronics Corp Method and related device for converting transport
US8528017B2 (en) * 2010-07-20 2013-09-03 Sony Corporation Carriage of closed data through digital interface using packets
EP2702766B1 (en) * 2011-04-28 2017-06-14 Koninklijke Philips N.V. Apparatuses and methods for hdr image encoding and decoding
JP6053767B2 (ja) * 2011-06-14 2016-12-27 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 高ダイナミックレンジ・ビデオのためのグラフィック処理
KR101978935B1 (ko) * 2013-02-21 2019-05-16 돌비 레버러토리즈 라이쎈싱 코오포레이션 오버레이 그래픽스를 합성하기 위한 어피어런스 매핑을 위한 시스템들 및 방법들
JP2015005878A (ja) * 2013-06-20 2015-01-08 ソニー株式会社 再生装置、再生方法、および記録媒体
TWI632810B (zh) * 2013-07-19 2018-08-11 新力股份有限公司 Data generating device, data generating method, data reproducing device, and data reproducing method
CA2920775A1 (en) * 2013-08-20 2015-02-26 Sony Corporation Reproduction device and method, and recording medium which convert between standard and extended high dynamic range luminance characteristics for devices able to display standard of extended luminance closed captions
JP6202330B2 (ja) * 2013-10-15 2017-09-27 ソニー株式会社 復号装置および復号方法、並びに符号化装置および符号化方法
US9378543B2 (en) * 2014-07-28 2016-06-28 Disney Enterprises, Inc. Temporally coherent local tone mapping of high dynamic range video
JP2016081553A (ja) 2014-10-17 2016-05-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 記録媒体、再生方法、および再生装置
US20160142746A1 (en) * 2014-11-14 2016-05-19 Thales Avionics, Inc. Method of encrypting, streaming, and displaying video content using selective encryption
US10547844B2 (en) * 2014-12-04 2020-01-28 Lg Electronics Inc. Broadcasting signal transmission and reception method and device
US10741211B2 (en) * 2014-12-22 2020-08-11 Sony Corporation Information processing device, information recording medium, and information processing method
WO2016129891A1 (ko) * 2015-02-11 2016-08-18 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
US10454985B2 (en) * 2015-03-04 2019-10-22 Qualcomm Incorporated File format based streaming with dash formats based on LCT
US20190007709A1 (en) * 2015-08-20 2019-01-03 Lg Electronics Inc. Broadcast signal transmission apparatus, broadcast signal reception apparatus, broadcast signal transmission method and broadcast signal reception method

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1139273A (zh) * 1995-04-03 1997-01-01 索尼公司 字幕彩色划变与定位方法及装置
CN1770827A (zh) * 1995-04-03 2006-05-10 索尼公司 字幕定位解码设备
CN1413028A (zh) * 2001-10-15 2003-04-23 华为技术有限公司 交互式视频设备及其字幕叠加方法
CN102177723A (zh) * 2009-06-29 2011-09-07 索尼公司 立体图像数据发送器、用于发送立体图像数据的方法和立体图像数据接收器
CN102256092A (zh) * 2010-05-21 2011-11-23 索尼公司 数据发送和数据接收设备、数据发送和数据接收方法
CN105191292A (zh) * 2013-05-10 2015-12-23 美国莱迪思半导体公司 与非压缩视频一起传输边带数据的方法、装置和系统
WO2015008683A1 (ja) * 2013-07-19 2015-01-22 ソニー株式会社 ファイル生成装置、ファイル生成方法、ファイル再生装置、及び、ファイル再生方法
US8872969B1 (en) * 2013-09-03 2014-10-28 Nvidia Corporation Dynamic relative adjustment of a color parameter of at least a portion of a video frame/image and/or a color parameter of at least a portion of a subtitle associated therewith prior to rendering thereof on a display unit
CN107211169A (zh) * 2015-02-03 2017-09-26 索尼公司 发送装置、发送方法、接收装置以及接收方法

Also Published As

Publication number Publication date
EP3780636A4 (en) 2021-02-17
EP3780636A1 (en) 2021-02-17
US20210084257A1 (en) 2021-03-18
US11375154B2 (en) 2022-06-28
CN112075083A (zh) 2020-12-11
CN116489454A (zh) 2023-07-25
WO2020000135A1 (zh) 2020-01-02

Similar Documents

Publication Publication Date Title
CN112822537B (zh) 使视频内容适应到显示特性的方法、设备及介质
US11418820B2 (en) Transmission device, transmission method, reception device, reception method, display device, and display method
US11375154B2 (en) Method and apparatus for processing high dynamic range video including subtitle
US8687117B2 (en) Data transmission device, data reception device, data transmission method, and data reception method
EP3324637B1 (en) Transmission device, transmission method, receiving device and receiving method
US11755271B2 (en) Stitching display system and image processing method of the same
EP3366042B1 (en) Transmission device, transmission method, reception device, and reception method
US20140204994A1 (en) Auxiliary data encoding in video data
US10862941B2 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
JP6958645B2 (ja) 送信装置、送信方法、受信装置および受信方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant