CN107211169B - 发送装置、发送方法、接收装置以及接收方法 - Google Patents

发送装置、发送方法、接收装置以及接收方法 Download PDF

Info

Publication number
CN107211169B
CN107211169B CN201680007336.8A CN201680007336A CN107211169B CN 107211169 B CN107211169 B CN 107211169B CN 201680007336 A CN201680007336 A CN 201680007336A CN 107211169 B CN107211169 B CN 107211169B
Authority
CN
China
Prior art keywords
subtitle
luminance
level adjustment
brightness
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680007336.8A
Other languages
English (en)
Other versions
CN107211169A (zh
Inventor
塚越郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107211169A publication Critical patent/CN107211169A/zh
Application granted granted Critical
Publication of CN107211169B publication Critical patent/CN107211169B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)
  • Studio Circuits (AREA)

Abstract

[问题]为了使能够在接收侧上令人满意地执行字幕的亮度级调整。[解决方案]在本发明中，由视频编码器生成具有图像数据的视频流。由字幕编码器生成具有字幕信息的字幕流。由调整信息插入单元将用于调整字幕的亮度级的亮度级调整信息插入到视频流和/或字幕流中。具有预定格式的容器包括视频流和字幕流，并且由发送单元发送。

Description

发送装置、发送方法、接收装置以及接收方法
技术领域
本技术涉及一种发送装置、一种发送方法、一种接收装置以及一种接收方法，并且更具体地，涉及一种发送字幕信息以及图像数据的发送装置等。
背景技术
在常规的数字视频广播(DVB)等中，字幕信息以位图数据的形式发送。最近，已经提出了以文本字符代码形式的字幕信息的发送或基于文本的字幕信息的发送(参照专利文献1)。
引用列表
专利文献
专利文献1：日本专利申请公开第2012-169885号
发明内容
本发明要解决的问题
例如，在要叠加字幕的图像(背景图像)是具有非常高的对比度的高动态范围(HDR)图像的情况下，需要根据图像的内容适当地调整字幕的亮度级，以便减少视觉疲劳等。
本技术旨在使接收侧能够以优选的方式执行字幕亮度级调整。
问题的解决方案
本技术的概念在于一种发送装置，包括：
视频编码器，生成包括图像数据的视频流；
字幕编码器，生成包括字幕信息的字幕流；
调整信息插入单元，将亮度级调整信息插入到视频流和/或字幕流中，亮度级调整信息被设计用于调整字幕的亮度级；以及
发送单元，发送具有预定格式的容器，该容器包含视频流和字幕流。
在本技术中，包括图像数据的视频流由视频编码器生成。例如，生成包括通过对高动态范围图像数据执行高动态范围光电转换而获得的发送视频数据的视频流。由字幕编码器生成包括字幕信息的字幕流。例如，生成包括字幕文本信息的具有作为分量的段的字幕流。
由调整信息插入单元将用于调整字幕的亮度级的亮度级调整信息插入到视频流和/或字幕流中。例如，亮度级调整信息可以是对应于整个屏幕的亮度级调整信息，和/或对应于通过将屏幕除以预定数而获得的相应分割区域的亮度级调整信息。
例如，要插入到视频流中的亮度级调整信息可以包括根据图像数据生成的最大亮度值、最小亮度值和平均亮度值。在这种情况下，例如，要插入到视频流中的亮度级调整信息可以进一步包括根据电光传递函数特性设定的高亮度阈值、低亮度阈值和平均亮度阈值。
例如，要插入到字幕流中的亮度级调整信息可以包括字幕亮度范围限制信息。在这种情况下，例如，要插入到字幕流中的亮度级调整信息可以进一步包括根据电光传递函数特性设定的高亮度阈值、低亮度阈值和平均亮度阈值。此外，在这种情况下，例如，要插入到字幕流中的亮度级调整信息可以进一步包括颜色空间信息。
例如，字幕编码器可以根据TTML结构或类似于TTML结构的结构中的字幕文本信息生成字幕流，并且调整信息插入单元可以在对应结构的报头中使用元数据的元素或样式扩展的元素来插入亮度级调整信息。此外，例如，字幕编码器可以生成具有作为分量的段的字幕流，并且调整信息插入单元可以将包含亮度级调整信息的段插入到字幕流中。
包含视频流和字幕流的具有预定格式的容器由发送单元发送。例如，容器可以是在数字广播标准中采用的传输流(MPEG-2TS)。此外，例如，容器可以是用于互联网传送中的MP4中的容器，或者是具有其他格式的容器。
在本技术中，将用于调整字幕的亮度级的亮度级调整信息插入到视频流和/或字幕流中。因此，接收侧可以以优选的方式执行字幕亮度级调整。
应当注意，在本技术中，例如，发送装置可以进一步包括将识别信息插入到容器中的识别信息插入单元，该识别信息表示存在插入到视频流中的亮度级调整信息。在这种情况下，接收侧可以容易地从识别信息中辨识存在插入到视频流中的亮度级调整信息。
此外，在本技术中，例如，发送装置可以进一步包括将识别信息插入到容器中的识别信息插入单元，该识别信息表示存在插入到字幕流中的亮度级调整信息。在这种情况下，例如，表示亮度级调整信息在字幕流中的插入位置的信息可以被添加到识别信息中。在这种情况下，接收侧可以容易地从识别信息辨识存在插入到字幕流中的亮度级调整信息。
此外，本技术的另一个概念在于一种接收装置，包括：
接收单元，接收具有预定格式的容器，容器包含包括图像数据的视频流和包括字幕信息的字幕流；
视频解码单元，通过对视频流执行解码处理来获得图像数据；
字幕解码单元，通过对字幕流执行解码处理来获得字幕的位图数据；
亮度级调整单元，根据亮度级调整信息对位图数据执行亮度级调整处理；以及
视频叠加单元，将由亮度级调整单元获得的亮度级调整之后的位图数据叠加在由视频解码单元获得的图像数据上。
在本技术中，由接收单元接收具有预定格式的容器，该容器包含包括图像数据的视频流和包括字幕信息的字幕流。例如，视频流包括通过在高动态范围图像数据上执行高动态范围光电转换而获得的发送视频数据。例如，字幕流包括作为字幕信息的位图数据或关于字幕的文本信息。
对视频流执行解码处理，并且由视频解码单元获得图像数据。对字幕流执行解码处理，并且由字幕解码单元获得字幕的位图数据。由亮度级调整单元根据亮度级调整信息对位图数据执行亮度级调整处理。然后，由视频叠加单元将亮度级调整后的位图数据叠加在图像数据上。
例如，亮度级调整单元可以使用插入在视频流和/或字幕流中的亮度级调整信息来执行亮度级调整。此外，例如，接收装置可以进一步包括生成亮度级调整信息的亮度级调整信息生成单元，并且亮度级调整单元可以使用由亮度级调整信息生成单元所生成的亮度级调整信息来执行亮度级调整。
如上所述，在本技术中，根据亮度级调整信息对叠加在图像数据上的字幕的位图数据进行亮度级调整处理。因此，字幕的亮度变得适合于背景图像。因此，可以减少由于背景图像与字幕之间的大亮度差而引起的视觉疲劳，并且可以防止破坏背景图像的气氛。
本技术的又一个概念在于一种发送装置，包括：
发送单元，发送在具有预定格式的容器中的视频流，视频流包括通过对高动态范围图像数据执行高动态范围光电转换而获得的发送视频数据；以及
识别信息插入单元，将识别信息插入到容器中，该识别信息表示视频流与高动态范围兼容。
在本技术中，由发送单元在具有预定格式的容器中发送视频流，视频流包括通过对高动态范围图像数据执行高动态范围光电转换而获得的发送视频数据。表示视频流与高动态范围兼容的识别信息由识别信息插入单元插入到容器中。
如上所述，在本技术中，表示视频流与高动态范围兼容的识别信息插入到容器中。因此，接收侧可以容易地从识别信息中辨识视频流与高动态范围兼容。
本技术的再一个概念在于一种发送装置，包括：
发送单元，发送在具有预定格式的容器中的视频流和字幕流，视频流包括图像数据，字幕流包括关于字幕的文本信息；以及
识别信息插入单元，将识别信息插入到容器中，该识别信息表示字幕以文本代码的形式发送。
在本技术中，由发送单元在具有预定格式的容器中发送包括图像数据的视频流和包括关于字幕的文本信息的字幕流。由识别信息插入单元将表示字幕以文本代码的形式发送的识别信息插入到容器中。
如上所述，在本技术中，表示字幕以文本代码的形式发送的识别信息插入到容器中。因此，接收侧可以容易地从识别信息辨识字幕以文本代码的形式发送。
本发明的效果
根据本技术，接收侧可以以优选的方式执行字幕亮度级调整。应当注意，在本说明书中描述的有益效果仅仅是示例，并且本技术的有益效果不限于此，并且可以包括额外的效果。
附图说明
[图1]是示出作为实施方式的发送/接收系统的示例配置的框图。
[图2]是用于说明字幕亮度级调整的概要的示图。
[图3]是用于说明要从发送侧发送的亮度级调整信息的示图(与整个屏幕相对应的亮度级调整信息，以及与通过将屏幕除以预定数所获得的相应分割区域相对应的亮度级调整信息)。
[图4]是用于说明用于组合的阈值(高亮度阈值、低亮度阈值和平均亮度阈值)的设置的示图。
[图5]是用于说明亮度级调整信息插入到视频流和字幕流中的时间位置的示图。
[图6]是用于说明在接收侧的字幕亮度级调整(在明亮屏幕和黑暗屏幕)的示图。
[图7]是用于说明在接收侧的(在具有高亮度部分的黑暗屏幕和具有低亮度部分的明亮屏幕中的)字幕亮度级调整的示图。
[图8]是用于说明具有用于屏幕的全局参数的字幕亮度级调整的示图。
[图9]是用于说明通过以文本形式发送字幕信息的方法指定的颜色的示图。
[图10]是用于说明在明亮屏幕和黑暗屏幕中的字幕亮度级调整的示图。
[图11]是用于说明在具有高亮度部分的黑暗屏幕和具有低亮度部分的明亮屏幕中的字幕亮度级调整的示图。
[图12]是用于说明具有用于相应分区的参数的字幕亮度级调整的示图。
[图13]是用于说明具有用于相应分区的参数的字幕亮度级调整的示图。
[图14]是示出发送/接收系统的发送装置的示例配置的框图。
[图15]是示出亮度级计算单元的示例配置的框图。
[图16]是示出在编码方法是HEVC的情况下的GOP的顶部访问单元的示图。
[图17]是示出在编码方法是HEVC的情况下的GOP的除了顶部访问单元以外的访问单元的示图。
[图18]是示出亮度动态范围SEI消息的示例结构的表(1/2)。
[图19]是示出亮度动态范围SEI消息的示例结构的表(2/2)。
[图20]是示出在亮度动态范围SEI消息的示例结构中的主要信息的内容的图表。
[图21]是示出TTML结构的图表。
[图22]是示出在TTML结构的报头(head)中的元数据(metadata)、样式(styling)和布局(layout)的相应元素的示例结构的图表。
[图23]是示出TTML结构的主体(body)的示例结构的图表。
[图24]是示出在使用元数据(metadata)的元素将亮度级调整信息插入在TTML结构的报头中的情况下的元数据(TTM：TTML元数据)的示例结构的图表。
[图25]是示出在使用样式扩展(styling extension)的元素将亮度级调整信息插入在TTML结构的报头中的情况下的样式扩展(TTM：样式扩展)的示例结构的图表。
[图26]是示出包含亮度级调整信息的字幕渲染控制段的示例结构的表。
[图27]是示出HDR渲染支持描述符的示例结构的表，以及示出示例结构中的主要信息的内容的图表。
[图28]是示出字幕渲染元数据描述符的示例结构的表，以及示出示例结构中的主要信息的内容的图表。
[图29]是示出传输流TS的示例结构的图表。
[图30]是示出发送/接收系统的接收装置的示例配置的框图。
[图31]是示出在接收装置中的字幕叠加处理中的控制过程的示例的流程图(1/2)。
[图32]是示出在接收装置中的字幕叠加处理中的控制过程的示例的流程图(2/2)。
[图33]是示出在接收装置中的全局亮度级调整处理的示例的流程图。
具体实施方式
以下是用于体现本技术的模式的描述(该模式在以下将被称为“实施方式”)。说明将按以下顺序进行。
1.实施方式
2.变形
<1.实施方式>
[发送/接收系统的示例配置]
图1示出作为实施方式的发送/接收系统10的示例。该发送/接收系统10包括发送装置100和接收装置200。
发送装置100生成MPEG2传输流TS作为容器，并以广播波或网络数据包的形式发送该传输流TS。该传输流TS包含包括图像数据的视频流。该传输流TS还包含包括字幕信息的字幕流。用于调整字幕的亮度级的亮度级调整信息被插入到视频流和/或字幕流中。
接收装置200接收从发送装置100发送的传输流TS。接收装置200通过对视频流执行解码处理来获得图像数据，并通过对字幕流执行解码处理来获得字幕的位图数据。此外，根据插入到视频流和/或字幕流中的亮度级调整信息，接收装置200对字幕的位图数据执行亮度级调整处理，并将调整后的位图数据叠加在图像数据上。应当注意，如果视频流和/或字幕流没有插入其内的亮度级调整信息，则接收装置200生成亮度级调整信息并使用该亮度级调整信息。
图2示出字幕亮度级调整的概要。在图2中，横坐标轴表示时间，并且纵坐标轴表示背景图像(基于图像数据的图像)的亮度级。背景图像中的最大亮度和最小亮度随时间变化。在HDR图像的情况下，从最小亮度到最大亮度的亮度范围D非常宽。
在字幕亮度级调整中，根据背景图像的亮度(最大亮度、最小亮度、和平均亮度)来调整整个字幕的亮度级，并将字幕亮度范围限制为范围R。加边字幕通常用作字幕。加边字幕具有围绕文本部分的矩形边框部分。在这种情况下，字幕亮度范围是指包括文本部分和边框部分的整个区域的亮度范围。
应当注意，带边缘的字幕也可以用作字幕，并且像加边字幕一样经受亮度级调整。在这种情况下，边缘部分等同于边框部分。在本实施方式中，下面将以加边字幕为例并对其进行说明。
在如图2中的(a)所示的整个图像明亮的情况下，将整个字幕(具有文本部分“ABC”)的亮度级调整为高等级。此时，字幕亮度范围被预先限制为与该字幕相关联的范围R1。在整个图像是如图2中的(b)所示的黑暗的情况下，另一方面，将整个字幕(具有文本部分“DEF”)的亮度级调整为低等级。此时，字幕亮度范围被预先限制为与该字幕相关联的范围R2。
[亮度级调整信息]
现在描述要从发送侧发送的亮度级调整信息。亮度级调整信息包括对应于如图3中的(a)所示的整个屏幕的亮度级调整信息以及与如图3中的(b)所示的通过将屏幕除以预定数而获得的相应分割区域(以下根据需要称为“分区”)相对应的亮度级调整信息。应当注意，图3中的(b)示出了屏幕除以24的示例情况，以形成24个分区P0到P23。
对应于整个屏幕的最大亮度值“global_content_level_max”、最小亮度值“global_content_level_min”和平均亮度值“global_content_level_ave”插入到视频流中，并且对应于相应分区的最大亮度值“partition_content_level_max”、最小亮度值“partition_content_level_min”和平均亮度值“partition_content_level_ave”也插入到视频流中。这些值是根据图像数据获得的。应当注意，不一定插入对应于整个屏幕和相应分区两者的值，并且可以插入对应于整个屏幕或对应于相应分区的值。
此外，用于确定在接收侧如何调整字幕亮度的高亮度阈值“Th_max”、低亮度阈值“Th_min”和平均亮度阈值“Th_ave”被插入到视频流中。这些值是根据电光传递函数特性(EOTF特性)获得的。
图4中的曲线a表示EOTF特性。在广播/分布业务中推荐的阈值或对应于黑暗阈值、平均阈值和明亮阈值的相应亮度值被设置为“Th_min”、“Th_ave”和“Th_max”。应当注意，只要将其插入到字幕流中，这些值可以不插入到视频流中。
上面已经描述的高亮度阈值“Th_max”、低亮度阈值“Th_min”和平均亮度阈值“Th_ave”被插入到字幕流中。应当注意，只要将其插入到视频流中，这些值就可以不插入到字幕流中。字幕亮度范围限制信息“renderingdrange”也被插入到字幕流中。颜色空间信息“colorspace”被进一步插入到字幕流中。
例如，上述亮度级调整信息作为SEI消息插入到视频流中。因此，例如，如图5中的(a)所示，将亮度级调整信息逐个图片地插入到视频流中。应当注意，亮度级调整信息可以逐个GOP地或按照某种其他方式插入。例如，上述亮度级调整信息也按照字幕显示的方式插入到字幕流中。
[字幕亮度级调整]
现在描述在接收侧上的字幕亮度级调整。在字幕叠加在作为背景图像的HDR图像上的情况下，在背景图像与字幕之间的亮度对比度在显示器上很大，并且具有大的亮度差的物体在屏幕中共存，导致视觉疲劳。为了防止这种情况，在保持背景图像的HDR效果的同时，调整字幕亮度级。在这种情况下，根据背景图像中的亮度，彼此分开地控制字幕的文本部分中的前景区域和边框部分中的背景区域。
现在参照图6中的(a-1)和(a-2)，描述“明亮屏幕”作为类型a的情况下的字幕亮度级调整。在这种情况下，在背景图像中存在高亮度区域。如果字幕直接叠加在这样的背景图像上，如图6中的(a-1)所示，则由于低亮度背景区域与背景图像中的相邻高亮度区域之间的亮度差大，所以得到的图像难以查看并导致视觉疲劳。此外，低亮度背景区域突出，并且破坏了明亮的气氛。因此，在这种情况下，执行亮度级调整，以将背景区域的亮度级从低亮度增加到中间亮度，并且然后将字幕叠加在背景图像上，如图6中的(a-2)所示。
现在参照图6中的(b-1)和(b-2)，描述“黑暗屏幕”作为类型b的情况下的字幕亮度级调整。在这种情况下，在背景图像中存在低亮度区域。如果字幕直接叠加在这样的背景图像上，则高亮度前景区域突出，并且破坏了黑暗的气氛，如图6中的(b-1)所示。因此，在这种情况下，执行亮度级调整，以将前景区域的亮度级从高亮度降低到中间亮度，并且然后将字幕叠加在背景图像上，如图6中的(b-2)所示。
现在参照图7中的(c-1)和(c-2)，描述“具有高亮度部分的黑暗屏幕”作为类型c的情况下的字幕亮度级调整。在这种情况下，在提供黑暗的总印象的背景图像中存在高亮度区域，并且背景图像具有高对比度。如果字幕直接叠加在这样的背景图像上，则高亮度前景区域突出，并且破坏黑暗的气氛，如图7中的(c-1)所示。因此，在这种情况下，执行亮度级调整，以将前景区域的亮度级从高亮度降低到中间亮度，并且然后将字幕叠加在背景图像上，如图7(c-2)所示。
现在参照图7中的(d-1)和(d-2)中，描述“具有低亮度部分的明亮屏幕”作为类型d的情况下的字幕亮度级调整。在这种情况下，在提供明亮的总印象的背景图像中存在低亮度区域，并且背景图像具有高对比度。如果字幕直接叠加在这样的背景图像上，如图7中的(d-1)所示，则由于低亮度背景区域与背景图像中的相邻高亮度区域之间的亮度差大，所以得到的图像难以查看并导致视觉疲劳。此外，低亮度背景区域突出，并且破坏了明亮的气氛。因此，在这种情况下，执行亮度级调整，以将背景区域的亮度级从低亮度增加到中间亮度，并且然后将字幕叠加在背景图像上，如图7中的(d-2)所示。
在某些情况下，利用屏幕的全局参数执行字幕亮度级调整，并且在某些其他情况下，利用相应分区的参数执行字幕亮度级调整。首先，描述具有屏幕的全局参数的字幕亮度级调整。如图8中的图表所示，在这种情况下，使用与整个屏幕相对应的最大亮度值“global_content_level_max”、最小亮度值“global_content_level_min”和平均亮度值“global_content_level_ave”。此外，在这种情况下，高亮度阈值“Th_max”、低亮度阈值“Th_min”和平均亮度阈值“Th_ave”用于控制调整。进一步，在这种情况下，使用字幕的前景区域中的亮度“Lf”和字幕的背景区域中的亮度“Lb”。
此处，描述如何确定亮度Lf和Lb。通过以文本形式发送字幕信息的常规方法，使用六位数颜色代码或诸如“红色”、“绿色”、“蓝色”和“白色”的颜色名称执行颜色指定。图9中的(a)示出了时间文本标记语言(TTML)的示例。六位数颜色代码基于图9中的(b)所示的表。
在TTML的示例中，“color(颜色)”表示作为字幕的文本部分的前景区域的颜色，“backgroundColor”表示作为字幕边框部分的背景区域的颜色。图9中的(a)所示的示例表示字幕的前景区域的颜色是“#ffff00”，即“黄色”，并且背景区域的颜色是“#000000”，即“黑色”。图9中的(a)所示的示例还表示另一个字幕的前景区域的颜色是“#ffffff”，即白色，并且背景区域的颜色是“#000000”，即“黑色”。
如上所述，为前景区域和背景区域彼此分开地进行字幕颜色信息发送，但是经常在RGB域中为任一区域执行字幕颜色信息发送。在RGB域中，可见度与亮度之间的关系不是线性关系。因此，通过在下面描述的转换中从RGB域到YCbCr域(亮度/色度域)的传递来执行字幕亮度级调整。
颜色转换取决于颜色空间，并且用于将R、G和B的色度值转换成相应颜色空间“Bt.709”和“Bt.2020”中的亮度Y的表达式如下所示。
Y＝0.212R+0.715G+0.072B(在Bt.709的情况下)
Y＝0.262R+0.678G+0.059B(在Bt.2020的情况下)
在接收侧，对关于字幕的前景区域和背景区域的颜色信息(R，G，B)执行颜色转换，使得确定亮度Lf和Lb。如上所述，颜色转换取决于颜色空间。因此，在本实施方式中，关于颜色信息(R，G，B)的颜色空间信息“colorspace”插入到字幕流中。
应当注意，字幕信息可以以位图数据而不是文本的形式来发送。在这种情况下，可以从接收侧的CLUT输出获得亮度Lf和Lb。
现在描述图6所示的在类型a的“明亮屏幕”中的字幕亮度级调整。图10中的(a-1)中的图表对应于图6中的(a-1)。在下面的描述中，最大亮度值由“max”表示，最小亮度值由“min”表示，并且平均亮度值由“ave”表示。由于Th_max<max，因此确定在背景图像中存在具有非常高亮度的区域。另外，由于Th_ave<ave，因此背景图像被确定为整体明亮。进一步，由于Th_min<min，因此确定在背景图像中不存在具有非常低亮度的任何区域。字幕的前景区域中的亮度Lf和字幕的背景区域中的亮度Lb处于图中所示的等级。
在这种情况下，如图10中的(a-2)所示，字幕的背景区域中的亮度Lb被调整并增大为亮度Lb'，并且亮度范围被调整以满足字幕亮度范围限制信息“renderingdrange”。“renderingdrange”表示前景中的亮度与背景区域中的亮度之间的比率，并且调整亮度Lb'的等级，使得Lf/Lb'变得等于或低于该比率。
接下来，描述在图6所示的类型b的“黑暗屏幕”中的字幕亮度级调整。图10中的(b-1)中的图表对应于图6中的(b-1)。由于Th_max>max，因此确定在背景图像中不存在具有非常高亮度的任何区域。此外，由于Th_ave>ave，因此背景图像被确定为整体黑暗。进一步，由于Th_min>min，因此确定在背景图像中存在具有非常低亮度的区域。字幕的前景区域中的亮度Lf和字幕的背景区域中的亮度Lb处于图中所示的等级。
在这种情况下，如图10中的(b-2)所示，字幕的前景区域的亮度Lf被调整并且降低为亮度Lf'，并且亮度范围被调整以满足字幕亮度范围限制信息“renderingdrange”。即，调整亮度Lf'的等级，使得Lf'/Lb变得等于或低于由“renderingdrange”表示的比率。
接下来，描述在图7所示的类型c的“具有高亮度部分的黑暗屏幕”中的字幕亮度级调整。图11中的(c-1)中的图表对应于图7中的(c-1)。由于Th_max<max，因此确定在背景图像中存在具有非常高亮度的区域。此外，由于Th_ave>ave，因此背景图像被确定为整体黑暗。进一步，由于Th_min>min，因此确定在背景图像中存在具有非常低亮度的区域。字幕的前景区域中的亮度Lf和字幕的背景区域中的亮度Lb处于图中所示的等级。
在这种情况下，如图11中的(c-2)所示，将字幕的前景区域中的亮度Lf被调整并且降低为亮度Lf'，并且亮度范围被调整以满足字幕亮度范围限制信息“renderingdrange”。即，调整亮度Lf'的等级，使得Lf'/Lb变得等于或低于由“renderingdrange”表示的比率。
接下来，描述在图7所示的类型d的“具有低亮度部分的明亮屏幕”中的字幕亮度级调整。图11中的(d-1)中的图表对应于图7中的(d-1)。由于Th_max<max，因此确定在背景图像中存在具有非常高亮度的区域。此外，由于Th_ave<ave，因此背景图像被确定为整体明亮。进一步，由于Th_min>min，因此确定在背景图像中存在具有非常低亮度的区域。字幕的前景区域中的亮度Lf和字幕的背景区域中的亮度Lb处于图中所示的等级。
在这种情况下，如图11中的(d-2)所示，字幕的背景区域中的亮度Lb被调整并增大为亮度Lb'，并且亮度范围被调整以满足字幕亮度范围限制信息“renderingdrange”。即，调整亮度Lb'的等级，使得Lf/Lb'变得等于或低于由“renderingdrange”表示的比率。
接下来，描述具有用于相应分区的参数的字幕亮度级调整。屏幕中的最大亮度值、最小亮度值和平均亮度值不能表示局部亮度分布。使用相应分区的最大亮度值、最小亮度值和平均亮度值，使得可以执行更微小的字幕亮度级调整。
此处，屏幕被划分为24个分区P0至P23，并且字幕叠加在八个分区A、B、C、D、E、F、G和H上，如图12所示。虚线的矩形表示要叠加的字幕(加边字幕)的位置和大小。
如图13所示，在这种情况下，使用与八个分区A、B、C、D、E、F、G和H相对应的最大亮度值“partition_content_level_max”、最小亮度值“partition_content_level_min”和平均亮度值“partition_content_level_ave”。应当注意，可以包括在比八个分区更大的区域中的分区。此外，在这种情况下，使用高亮度阈值“Th_max”、低亮度阈值“Th_min”和平均亮度阈值“Th_ave”。进一步，在这种情况下，使用字幕的前景区域中的亮度“Lf”和字幕的背景区域中的亮度“Lb”。
在这种情况下，对于每个分区，做出与具有用于屏幕的上述参数的字幕亮度级调整中的确定相似的确定，并且根据例如多数规则或优先级来做出最终确定。在图中所示的示例中，例如，采用对于分区C的确定(参照图11中的(d-1)和图11中的(d-2))。具体地，字幕的背景区域中的亮度Lb被调整并增大为亮度Lb'，并且亮度范围被调整以满足字幕亮度范围限制信息“renderingdrange”。即，调整亮度Lb'的等级，使得Lf/Lb'变得等于或低于由“renderingdrange”表示的比率。
[发送装置的示例配置]
图14示出发送装置100的示例配置。该发送装置100包括控制单元101、HDR照相机102、HDR光电转换单元103、RGB/YCbCr转换单元104、视频编码器105、亮度级计算单元106、阈值设定单元107、字幕生成单元108、文本格式转换单元109、字幕编码器110、系统编码器111以及发送单元112。
控制单元101被设计以包括中央处理单元(CPU)，并且根据控制程序控制发送装置100的相应部件的操作。HDR照相机102对物体进行成像，并输出高动态范围(HDR)视频数据(图像数据)。该HDR视频数据具有超过常规SDR图像的白色峰值的亮度的0至100％*N(N是大于1的数)的对比度，诸如0至1000％的对比度。此处，例如，100％等级等于白色的亮度值，即100cd/m2。
主显示器103a是用于对由HDR照相机102获得的HDR视频数据进行分级的显示器。该主显示器103a具有对应于HDR视频数据或适合于对HDR视频数据进行分级的显示亮度级。
HDR光电转换单元103对由HDR照相机102获得的HDR视频数据应用HDR光电传递函数特性，以获取发送视频数据V1。RGB/YCbCr转换单元104将发送视频数据V1从RGB域转换为YCbCr(亮度/色度)域。
例如，根据转换为YCbCr域的发送视频数据V1，亮度级计算单元106针对每个图片计算对应于整个屏幕的最大亮度值“global_content_level_max”、最小亮度值“global_content_level_min”和平均亮度值“global_content_level_ave”，以及与通过将屏幕除以预定数而获得的相应分割区域(分区)相对应的最大亮度值“partition_content_level_max”、最小亮度值“partition_content_level_min”和平均亮度值“partition_content_level_ave”。
图15示出了亮度级计算单元106的示例配置。该亮度级计算单元106形成有像素值比较单元106a和106b。像素值比较单元106a接收发送视频数据V1的输入，并且具有由控制单元101指定的屏幕分区大小。应当注意，可以指定屏幕分区数量而不是屏幕分区大小。像素值比较单元106a比较像素值，以计算对于相应分区(分割区域)的最大亮度值“partition_content_level_max”、最小亮度值“partition_content_level_min”和平均亮度值“partition_content_level_ave”。
像素值比较单元106b接收由像素值比较单元106a计算的每个分区的相应值的输入。像素值比较单元106b比较相应分区的值，以计算对应于整个屏幕的最大亮度值“global_content_level_max”、最小亮度值“global_content_level_min”和平均亮度值“global_content_level_ave”。
返回参考图14，根据电光传递函数特性(EOTF特性)，阈值设定单元107设定高亮度阈值“Th_max”、低亮度阈值“Th_min”以及平均亮度阈值“Th_ave”，用于确定在接收侧如何调整字幕亮度(参见图4)。
视频编码器105对发送视频数据V1执行诸如MPEG4-AVC或HEVC的编码，以生成包含编码图像数据的视频流(PES流)VS。视频编码器105还将用于调整字幕的亮度级的亮度级调整信息插入到视频流中。
具体地，已由亮度级计算单元106计算并对应于整个屏幕的最大亮度值“global_content_level_max”、最小亮度值“global_content_level_min”和平均亮度值“global_content_level_ave”被插入到视频流中，并且已由亮度级计算单元106计算并对应于相应分区的最大亮度值“partition_content_level_max”、最小亮度值“partition_content_level_min”和平均亮度值“partition_content_level_ave”也被插入到视频流中。已由阈值设定单元设定的高亮度阈值“Th_max”、低亮度阈值“Th_min”和平均亮度阈值“Th_ave”也被插入到视频流中。
在本实施方式中，视频编码器105将最近定义的亮度动态范围SEI消息“Luma_dynamic_range SEI消息”插入到每个访问单元(AU)的“SEI”部分内。
图16示出在编码方法是HEVC的情况下的图片组(GOP)的顶部访问单元。图17示出在编码方法是HEVC的情况下的GOP的除了顶部访问单元之外的访问单元。在编码方法是HEVC的情况下，将用于解码的SEI消息“Prefix_SEI”布置在其中已对像素数据编码的切片(slice)之前，并且用于显示的SEI消息“Suffix_SEI”布置在切片(slice)之后。如图16和图17所示，亮度动态范围SEI消息可以布置作为SEI消息“Suffix_SEI”。
图18和图19示出亮度动态范围SEI消息的示例结构(语法)。图20示出在示例结构中的主要信息的内容(语义)。由一个位的“Luma_dynamic_range_cancel_flag”表示的标记信息表示是否刷新“Luma_dynamic_range”中的消息。具体地，“0”表示要刷新“Luma_dynamic_range”中的消息。另一方面，“1”表示不刷新“Luma_dynamic_range”中的消息，或者先前的消息维持原样。
当“Luma_dynamic_range_cancel_flag”是“0”时，存在下面描述的字段。“coded_data_bit_depth”的8位字段表示编码像素的位数。“number_of_partitions”的8位字段表示屏幕中的分割区域(分区)的数量。如果该值小于“2”，则不划分屏幕。“block_size”的8位字段表示模块大小，或通过将整个屏幕除以分割区域的数量而获得的区域的大小。
“global_content_level_max”的16位字段表示整个屏幕中的最大亮度值。“global_content_level_min”的16位字段表示整个屏幕中的最小亮度值。“global_content_level_ave”的16位字段表示整个屏幕中的平均亮度值。“content_threshold_max”的16位字段表示高亮度阈值。“content_threshold_min”的16位字段表示低亮度阈值。“content_threshold_ave”的16位字段表示平均亮度阈值。
进一步，当由“number_of_partitions”的字段表示的分区的数量是2或更大时，每个分区包含下面描述的字段。“partition_content_level_max”的16位字段表示分区中的最大亮度值。“partition_content_level_min”的16位字段表示分区中的最小亮度值。“partition_content_level_ave”的16位字段表示分区中的平均亮度值。
返回参考图14，字幕生成单元108生成文本数据(字符代码)DT作为字幕信息。文本格式转换单元109接收文本数据DT的输入，并且获得具有显示定时信息的预定格式的字幕文本信息。在本实施方式中，文本数据DT被转换成TTML。
图21示出TTML结构。TTML是根据XML编写的。报头(head)包含诸如元数据(metadata)、样式(styling)和布局(layout)的相应元件。图22中的(a)示出元数据(TTM：TTML元数据)的示例结构。该元数据包括关于元数据的标题的信息和关于版权的信息。
图22中的(b)示出样式(TTS：TTML样式)的示例结构。该样式不仅包括标识符(id)，而且包括关于颜色(color)、字体(fontFamily)、大小(fontSize)、对齐(textAlign)等的信息。图22中的(c)示出布局(区域：TTML布局)的示例结构。该布局不仅包括布置有字幕的区域的标识符(id)，而且包括关于范围(extent)、偏移(padding)、背景颜色(backgroundColor)、对齐(displayAlign)等的信息。
图23示出主体(body)的示例结构。图中示出的示例包括关于三个字幕的信息：字幕1(subtitle 1)、字幕2(subtitle 2)和字幕3(subtitle 3)。对于每个字幕，写入文本数据以及显示开始定时和显示结束定时。对于字幕1(subtitle 1)，例如，显示开始定时是“0.76s”，显示结束定时是“3.45s”，并且文本数据为“看起来是悖论，不是吗，”。
返回参考图14，字幕编码器110将由文本格式转换单元109获得的TTML转换成各种段，并且生成由具有布置在有效载荷中的这些段的PES数据包形成的字幕流SS。
在本实施方式中，将用于调整字幕的亮度级的亮度级调整信息插入到字幕流SS中。具体地，高亮度阈值“Th_max”、低亮度阈值“Th_min”、平均亮度阈值“Th_ave”、字幕亮度范围限制信息“renderingdrange”和字幕颜色空间信息“colorspace”被插入到字幕流SS中。
亮度级调整信息的插入由文本格式转换单元109或字幕编码器110执行。例如，在文本格式转换单元109执行亮度级调整信息的插入的情况下，使用在TTML结构的报头中的元数据(metadata)中的元素。
图24示出在这种情况下元数据(TTM：TTML元数据)的示例结构。颜色空间信息由“ttm-ext：colorspace”表示，并且然后写入“ITUR2020”、“ITIUR709”等。在图中所示的示例中，写入了“ITUR2020”。动态范围信息或HDR的EOTF特性的类型由“ttm-ext：dynamicrange”表示，并且然后写入“ITUR202x”、“ITIUR709”等。在图中所示的示例中，写入了“ITUR202x”。
作为亮度级调整信息的渲染控制信息由“ttm-ext：renderingcontrol”表示。高亮度阈值由“ttm-ext：lumathmax”表示，并且然后写入“Th_max”作为其实际值。低亮度阈值由“ttm-ext：lumathmin”表示，并且然后写入“Th_min”作为其实际值。平均亮度阈值由“ttm-ext：lumathave”表示，并且然后写入“Th_ave”作为其实际值。
字幕亮度范围限制信息由“ttm-ext：renderingdrange”表示，并且然后写入“Maxminratio”。“Maxminratio”表示通过将字幕的最大亮度值除以字幕的最小亮度值而获得的比率。例如，当该值是“4”时，亮度调整后的字幕的最大亮度值等于或低于最小亮度值的四倍。
进一步，在文本格式转换单元109执行亮度级调整信息的插入的情况下，例如，使用在TTML结构的报头中的样式扩展(styling extension)中的元素。在这种情况下，可以为每个“xml：id”执行独立的渲染控制(亮度级调整)。
图25示出了在这种情况下的样式扩展“TTML样式扩展”的示例结构。颜色空间信息由“ttse：colorspace”表示，并且然后写入“ITUR2020”、“ITIUR709”等。在图中所示的示例中，写入了“ITUR2020”。动态范围信息或HDR的EOTF特性的类型由“ttse：dynamicrange”表示，并且然后写入“ITUR202x”、“ITIUR709”等。在图中所示的示例中，写入了“ITUR202x”。
高亮度阈值由“ttse：renderingcontrol：lumathmax”表示，并且然后写入“Th_max”作为其实际值。低亮度阈值由“ttse：renderingcontrol：lumathmin”表示，并且然后写入“Th_min”作为其实际值。平均亮度阈值由“ttse：renderingcontrol：lumathave”表示，并且然后写入“Th_ave”作为其实际值。字幕亮度范围限制信息由“ttse：renderingcontrol：renderingdrange”表示，并且然后写入“Maxminratio”。
在字幕编码器110执行亮度级调整信息的插入的情况下，将包含亮度级调整信息的段插入到字幕流中。在本实施方式中，最近定义的字幕渲染控制段(SRCS：Subtitle_rendering_control_segment)被插入到字幕流中。
图26示出字幕渲染控制段的示例结构(语法)。该结构包括以下条信息：“sync_byte”、“segment_type”、“page_id”、“segment_length”、“version_number”以及“number_of_regions”。“segment_type”的8位字段表示段类型，并且在该示例中，表示该段是字幕渲染控制段。“segment_length”的8位字段表示段的长度(大小)。“number_of_resion”的8位字段表示区域的数量。
此外，该结构包括用于每个区域的亮度级调整信息。“region_id”的8位字段表示用于识别该区域的标识符。“colorspace_type”的8位字段表示颜色空间信息。“dynamicrange_type”的8位字段表示动态范围信息，或表示HDR的EOTF特性的类型。“luma_th_max”的16位字段表示高亮度阈值。“luma_th_min”的16位字段表示低亮度阈值。“luma_th_ave”的16位字段表示平均亮度阈值。
“renderingdrange”的8位字段表示字幕亮度范围限制信息。例如，该限制信息表示通过将字幕的最大亮度值除以字幕的最小亮度值而获得的比率。例如，当该值是“4”时，亮度调整后的字幕的最大亮度值等于或低于最小亮度值的四倍。
返回参考图14，系统编码器111生成传输流TS，传输流TS包括由视频编码器105生成的视频流VS和由字幕编码器110生成的字幕流SS。发送单元112将该传输流TS并入到广播波或网络数据包内，并且将广播波或网络数据包发送到接收装置200。
系统编码器111将识别信息插入到用作容器的传输流TS中。识别信息表示亮度级调整信息已被插入到视频流中。在本实施方式中，系统编码器111将HDR渲染支持描述符“HDR_rendering_support_descriptor”插入到节目映射表(PMT：节目映射表)中。
图27中的(a)示出HDR渲染支持描述符的示例结构(语法)。图27中的(b)示出示例结构中的主要信息的内容(语义)。“descriptor_tag”的8位字段表示描述符类型，并且在该示例中，示出了描述符是HDR渲染支持描述符。“descriptor_length”的8位字段表示描述符的长度(大小)，并且示出随后的字节数，作为描述符的长度。
标记“HDR_flag”表示服务流(视频流)是否与HDR兼容。当标记是“1”时，服务流与HDR兼容。当标记是“0”时，服务流与HDR不兼容。标记“composition_control_flag”表示亮度动态范围SEI消息(Luma_dynamic_Range SEI消息)是否已在视频流中编码，或者亮度级调整信息是否已被插入到视频流中。当标记是“1”时，亮度动态范围SEI消息已被编码。当标记是“0”时，亮度动态范围SEI消息尚未被编码。“EOTF_type”的8位字段表示视频的EOTF特性的类型(视频流的VUI的值)。
系统编码器111将进一步的识别信息插入到用作容器的传输流TS中。识别信息表示亮度级调整信息已被插入到字幕流中。在该实施方式中，系统编码器111将字幕渲染元数据描述符“Subtitle_rendering_metadata_descriptor”插入到节目映射表(PMT：节目映射表)中。
图28中的(a)示出字幕渲染元数据描述符的示例结构(语法)。图28中的(b)示出示例结构中的主要信息的内容(语义)。“descriptor_tag”的8位字段表示描述符类型，并且在该示例中，示出了描述符是字幕渲染元数据描述符。“descriptor_length”的8位字段表示描述符的长度(大小)，并且示出随后的字节数，作为描述符的长度。
标记“subtitle_text_flag”表示字幕是否以文本代码的形式发送。当标记是“1”时，字幕是文本编码字幕。当标记是“0”时，字幕不是文本编码字幕。标记“subtitle_rendering_control_flag”表示关于字幕的亮度调整元信息是否已被编码，或者字幕是否已具有插入其内的亮度级调整信息。当标记是“1”时，亮度调整元信息已被编码。当标记是“0”时，亮度调整元信息尚未被编码。
“meta_container_type”的3位字段表示亮度调整元信息(亮度级调整信息)的存储点或插入位置。在“meta_container_type”的3位字段中，“0”表示字幕渲染控制段，“1”表示在TTML结构的报头中的元数据(metadata)中的元素，并且“2”表示在TTML结构的报头中的样式扩展(styling extension)中的元素。
现在简要描述在图14所示的发送装置100中的操作。通过HDR照相机102进行成像而获得的HDR视频数据被提供至HDR光电转换单元103。由HDR照相机102获得的HDR视频数据由主显示器103a进行分级。HDR光电转换单元103通过将HDR光电传递函数特性(HDR OETF曲线)应用至HDR视频数据而执行光电转换，并且从而获得发送视频数据V1。该发送视频数据V1由RGB/YCbCr转换单元104从RGB域转换为YCbCr(亮度/色度)域。
转换为YCbCr域的发送视频数据V1被提供至视频编码器105和亮度级计算单元106。亮度级计算单元106针对每个图片计算对应于整个屏幕的最大亮度值“global_content_level_max”、最小亮度值“global_content_level_min”和平均亮度值“global_content_level_ave”，以及与通过将屏幕除以预定数而获得的相应分割区域(分区)相对应的最大亮度值“partition_content_level_max”、最小亮度值“partition_content_level_min”和平均亮度值“partition_content_level_ave”(参见图15)。相应计算值被提供至视频编码器105。
关于电光传递函数特性(EOTF特性)的信息被提供至阈值设定单元107。根据EOTF特性，阈值设定单元107设定用于确定在接收侧如何调整字幕亮度的高亮度阈值“Th_max”、低亮度阈值“Th_min”和平均亮度阈值“Th_ave”(参见图4)。相应设定值被提供至视频编码器105。相应设定值还被提供至文本格式转换单元109或字幕编码器110。
在视频编码器105处，对发送视频数据V1执行诸如MPEG4-AVC或HEVC的编码，并且生成包含编码图像数据的视频流(PES流)VS。在视频编码器105处，用于调整字幕的亮度级的亮度级调整信息也被插入到视频流中。即，在视频编码器105处，最近定义的亮度动态范围SEI消息被插入到访问单元(AU)中的“SEI”的一部分中(参见图16)。
在字幕生成单元108处，生成文本数据(字符代码)DT作为字幕信息。该文本数据DT被提供至文本格式转换单元109。在文本格式转换单元109处，文本数据DT被转换成具有显示定时信息的字幕文本信息，或转换成TTML(参见图21)。该TTML被提供至字幕编码器110。
在字幕编码器110处，由文本格式转换单元109获得的TTML被转换成各种段，并且生成由具有布置在有效载荷中的这些段的PES数据包形成的字幕流SS。
将用于调整字幕的亮度级的亮度级调整信息插入到字幕流SS中。亮度级调整信息的插入由文本格式转换单元109或字幕编码器110执行。在由文本格式转换单元109执行插入的情况下，使用在TTML结构的报头中的元数据(metadata)中的元素，或者在TTML结构的报头中的样式扩展(styling extension)中的元素(参见图24和图25)。另一方面，在由字幕编码器110执行插入的情况下，例如，将最近定义的字幕渲染控制段插入到字幕流中(参见图26)。
由视频编码器105生成的视频流VS被提供至系统编码器111。由字幕编码器110生成的字幕流SS被提供至系统编码器111。在系统编码器111处，生成包括视频流VS和字幕流SS的传输流。该传输流TS被并入到广播波或网络数据包中，并且由发送单元112发送至接收装置200。
在这个阶段的系统编码器111处，将表示视频流具有插入其中的亮度级调整信息的识别信息插入到传输流TS中。即，在系统编码器111处，HDR渲染支持描述符插入到节目映射表(PMT)中(参见图27中的(a))。在系统编码器111处，还将表示字幕流SS具有插入其中的亮度级调整信息的识别信息插入到传输流TS中。即，在系统编码器111处，字幕渲染元数据描述符被插入到节目映射表(PMT)中(参见图28中的(a))。
[传输流TS的结构]
图29是示出传输流TS的示例结构的图表。该示例结构包括由PID1识别的视频流PES数据包“视频PES1”。每个访问单元具有插入其中的亮度动态范围SEI消息。亮度级调整信息(背景图像亮度值、用于组合的阈值等)被写入亮度动态范围SEI消息中。
该示例结构还包括由PID2识别的字幕流PES数据包“字幕PES2”。亮度级调整信息(颜色空间信息、用于组合的阈值、字幕亮度范围限制信息等)插入到TTML结构的报头中的元数据(metadata)的元素、TTML结构的报头中的样式扩展(styling extension)的元素中，或者插入到字幕渲染控制段中。
传输流TS还包括作为节目特定信息(PSI)的节目映射表(PMT)。PSI是表示包括在传输流中的相应基本流属于哪些节目的信息。PMT包括其中写入了与整个节目相关的信息的节目循环(Program loop)。
PMT还包括具有与相应基本流相关的信息的基本流循环。该示例结构包括对应于视频流的视频基本流循环“视频ES循环”以及对应于字幕流的字幕基本流循环“字幕ES循环”。
在视频基本流循环“视频ES循环”中，布置有对应于视频流的诸如流类型和数据包标识符(PID)的信息，并且还布置有描述与视频流相关的信息的描述符。例如，该视频流的“Stream_type”的值被设定为表示HEVC视频流的值，并且PID信息表示分配给视频流PES数据包“视频PES1”的PID1。插入HEVC描述符、最近定义的HDR渲染支持描述符等，作为描述符。
在字幕基本流循环“字幕ES循环”中，布置有对应于字幕流的诸如流类型和数据包标识符(PID)的信息，并且还布置有描述与字幕流有关的信息的描述符。例如，该字幕流的“Stream_type”的值被设定为表示专用流的值，并且PID信息表示分配给字幕流PES数据包“字幕PES2”的PID2。插入最近定义的字幕渲染元数据描述符等，作为描述符。
[接收装置的示例配置]
图30示出接收装置200的示例配置。该接收装置200包括控制单元201、接收单元202、系统解码器203、视频解码器204、字幕文本解码器205、字体解压单元206、RGB/YCbCr转换单元208以及亮度级调整单元209。该接收装置200还包括视频叠加单元210、YCbCr/RGB转换单元211、HDR电光转换单元212、HDR显示映射单元213、以及CE显示器214。
控制单元201被设计以包括中央处理单元(CPU)，并且根据控制程序控制接收装置200的相应部件的操作。接收单元202接收在从发送装置100发送的广播波或网络数据包中的传输流TS。系统解码器203从传输流TS中提取视频流VS和字幕流SS。系统解码器203还提取插入在传输流TS(容器)中的各种信息，并且将提取的信息发送至控制单元201。
在本实施方式中，该提取的信息包括HDR渲染支持描述符(参见图27中的(a))和字幕渲染元数据描述符(参见图28中的(a))。
由于HDR渲染支持描述符中的标记“HDR_flag”是“1”，所以控制单元201识别出视频流(服务流)与HDR兼容。由于HDR渲染支持描述符中的标记“composition_control_flag”是“1”，所以控制单元201还识别出已编码的亮度动态范围SEI消息包括在视频流中，或者视频流具有插入其中的亮度级调整信息。
由于字幕渲染元数据描述符中的标记“subtitle_text_flag”是“1”，所以控制单元201还识别出字幕以文本代码的形式发送。由于字幕渲染元数据描述符中的标记“subtitle_rendering_control_flag”是“1”，所以控制单元201还识别出关于字幕的亮度调整元信息已被编码，或者字幕具有插入其中的亮度级调整信息。
视频解码器204对由系统解码器203提取的视频流VS执行解码处理，并且输出发送视频数据V1。视频解码器204还提取插入在构成视频流VS的相应访问单元中的参数集和SEI消息，并且将必要的信息发送至控制单元201。
在本实施方式中，如上所述，控制单元201识别出视频流包括已编码的亮度动态范围SEI消息。因此，在控制单元201的控制下，视频解码器204还必定提取SEI消息，并且获得亮度级调整信息，诸如背景图像亮度值和用于组合的阈值。
字幕文本解码器205对字幕流SS中的相应区域的段数据执行解码处理，并且从而获得相应区域的文本数据和控制代码。字幕文本解码器205还从字幕流SS获得亮度级调整信息，诸如颜色空间信息、用于组合的阈值、以及字幕亮度范围限制信息。在本实施方式中，如上所述，控制单元201识别出字幕亮度调整元信息已被编码。因此，在控制单元201的控制下，字幕文本解码器205必定获得亮度级调整信息。
字体解压单元206根据由字幕段解码器302获得的相应区域的文本数据和控制代码执行字体解压，并且从而获得相应区域的位图数据。RGB/YCbCr转换单元208将位图数据从RGB域转换为YCbCr(亮度/色度)域。在这种情况下，RGB/YCbCr转换单元208根据颜色空间信息，使用适合于颜色空间的转换方程进行转换。
亮度级调整单元209使用背景图像亮度值、用于组合的阈值和字幕亮度范围限制信息，对转换为YCbCr域的字幕位图数据执行亮度级调整。在这种情况下，执行用于屏幕的全局参数的字幕亮度级调整(参见图8)或者具有用于每个分区的参数的字幕亮度级调整(参见图12)。
视频叠加单元210将具有由亮度级调整单元209调整的亮度级的相应区域的位图数据，叠加在由视频解码器204获得的发送视频数据V1上。YCbCr/RGB转换单元211将其上叠加有位图数据的发送视频数据V1'从YCbCr(亮度/色度)域转换成RGB域。在这种情况下，YCbCr/RGB转换单元211根据颜色空间信息，使用适合于颜色空间的转换方程执行转换。
HDR电光转换单元212将HDR电光传递函数特性应用至转换为RGB域的发送视频数据V1'，并且从而获得用于显示HDR图像的显示视频数据。HDR显示映射单元213根据CE显示器214的最大亮度显示能力等，对显示视频数据执行显示亮度调整。CE显示器214根据其上已执行显示亮度调整的显示视频数据，来显示HDR图像。例如，该CE显示器214由液晶显示器(LCD)或有机电致发光(EL)显示器形成。
现在简要描述在图30所示的接收装置200中的操作。在接收单元202处，接收在从发送装置100发送的广播波或网络数据包中的传输流TS。该传输流TS被提供至系统解码器203。在系统解码器203处，从传输流TS中提取视频流VS和字幕流SS。
在系统解码器203处，还提取插入到传输流TS(容器)中的各种信息，并将其发送到控制单元201。该提取的信息包括HDR渲染支持描述符(参见图27中的(a))和字幕渲染元数据描述符(参见图28中的(a))。
由于HDR渲染支持描述符中的标记“HDR_flag”是“1”，所以控制单元201识别出视频流(服务流)与HDR兼容。由于HDR渲染支持描述符中的标记“composition_control_flag”是“1”，所以控制单元201还识别出视频流中的亮度动态范围SEI消息已被编码。
由于字幕渲染元数据描述符中的标记“subtitle_text_flag”是“1”，所以控制单元201还识别出字幕以文本代码的形式发送。由于字幕渲染元数据描述符中的标记“subtitle_rendering_control_flag”是“1”，所以控制单元201还识别出关于字幕的亮度调整元信息已被编码。
由系统解码器203提取的视频流VS被提供至视频解码器204。在视频解码器204处，对视频流VS执行解码处理，并且获得发送视频数据V1。在视频译码器204处，还从视频流VS提取亮度动态范围SEI消息，并且获得亮度级调整信息，诸如背景图像亮度值和用于组合的阈值。
由系统解码器203提取的字幕流SS被提供至字幕文本解码器205。在字幕文本解码器205处，对包括在字幕流SS中的相应区域的段数据执行解码处理，并且获得相应区域的文本数据和控制代码。在字幕文本解码器205处，还从字幕流SS获得亮度级调整信息，诸如颜色空间信息、用于组合的阈值、以及字幕亮度范围限制信息。
相应区域的文本数据和控制代码被提供至字体解压单元206。在字体解压单元206处，根据相应区域的文本数据和控制代码执行字体解压，并且获得相应区域的位图数据。在RGB/YCbCr转换单元208中，该位图数据根据颜色空间信息S从RGB域转换为YCbCr域，并且被提供至亮度级调整单元209。
在亮度级调整单元209中，根据背景图像亮度值、用于组合的阈值和字幕亮度范围限制信息，对转换为YCbCr域的相应区域的位图数据执行亮度级调整。在这种情况下，执行具有用于屏幕的全局参数的字幕亮度级调整(参见图8)，或者具有用于每个分区的参数的字幕亮度级调整(参见图12)。
由视频解码器204获得的发送视频数据V1被提供至视频叠加单元210。已经受亮度级调整并已由亮度级调整单元209获得的相应区域的位图数据，被提供至视频叠加单元210。在视频叠加单元210处，相应区域的位图数据叠加在发送视频数据V1上。
已由视频叠加单元210获得并且具有叠加在其上的位图数据的发送视频数据V1'，根据由颜色空间信息V表示的指定在YCbCr/RGB转换单元211处从YCbCr(亮度/色度)域转换为RGB域，并且然后被提供至HDR电光转换单元212。在HDR电光转换单元212处，HDR电光传递函数特性应用至发送视频数据V1'，从而获得用于显示HDR图像的显示视频数据。显示视频数据被提供至HDR显示映射单元213。
在HDR显示映射单元213处，根据CE显示器214的最大亮度显示能力等，对显示视频数据进行显示亮度调整。经受了这种显示亮度调整的显示视频数据被提供至CE显示器214。根据该显示视频数据，在CE显示器214上显示HDR图像。
应当注意，接收装置200进一步包括字幕位图解码器215，以处理包括在字幕流SS中的字幕信息是位图数据的情况。该字幕位图解码器215对字幕流SS执行解码处理，以获得字幕位图数据。该字幕位图数据被提供至亮度级调整单元209。
在这种情况下，包括在字幕流SS中的字幕信息(发送数据)被发送至CLUT，并且CLUT输出可能具有YCbCr域。因此，由字幕位图解码器215获得的字幕位图数据被直接提供至亮度级调整单元209。应当注意，在这种情况下，可以从在接收侧的CLUT输出中获得字幕的前景区域中的亮度Lf和字幕的背景区域中的亮度Lb。
接收装置200进一步包括亮度级计算单元216，以处理视频流VS中的亮度动态范围SEI消息尚未编码，并且不能从SEI消息获得任何背景图像亮度值的情况。该亮度级计算单元216具有与图14所示的发送装置100中的亮度级计算单元106(参见图15)的配置相似的配置。
根据由视频解码器204获得的发送视频数据V1，亮度级计算单元216针对每个图片计算对应于整个屏幕的最大亮度值“global_content_level_max”、最小亮度值“global_content_level_min”和平均亮度值“global_content_level_ave”，以及与通过将屏幕除以预定数而获得的相应分割区域(分区)相对应的最大亮度值“partition_content_level_max”、最小亮度值“partition_content_level_min”和平均亮度值“partition_content_level_ave”(参见图15)。
接收装置200还包括阈值设定单元217，以处理视频流VS中的亮度动态范围SEI消息尚未编码或视频流VS包括已编码的亮度动态范围SEI消息但不包括任何用于组合的阈值的情况，以及字幕流SS不包括任何用于组合的阈值的情况。该阈值设定单元217具有与图14所示的发送装置100中的阈值设定单元107的配置相似的配置。
根据电光传递函数特性(EOTF特性)，该阈值设定单元217设定用于确定在接收侧如何调整字幕亮度的高亮度阈值“Th_max”、低亮度阈值“Th_min”和平均亮度阈值“Th_ave”(参见图4)。
图31和图32中的流程图示出接收装置200中的字幕叠加处理中的控制过程的示例。在步骤ST1中，接收装置200读取字幕流SS中的字幕渲染元数据描述符，确定字幕信息的编码数据是否是基于文本的数据，并且搜索亮度调整元信息。
接下来，在步骤ST2中，接收装置200确定是否存在亮度调整元信息。如果存在亮度调整元信息，则接收装置200检测元信息存储点，并且从存储点获得元信息(颜色空间信息、用于组合的阈值和字幕亮度范围限制信息)。在该步骤ST3之后，接收装置200进入步骤ST5中的处理。另一方面，如果没有亮度调整元信息，则在步骤ST4中，接收装置200设定常规类型的颜色空间、用于组合的阈值和字幕亮度范围限制信息。在该步骤ST4之后，接收装置200进入步骤ST5中的处理。
在步骤ST5中，接收装置200确定字幕信息的编码数据是否是基于文本的数据。如果字幕信息的编码数据是基于文本的数据，则在步骤ST6中，接收装置200解码基于文本的字幕，并且从字幕组合位置和字符代码执行字体解压，以获得位图数据。此时，位图数据具有解压大小以及前景和背景的颜色。在步骤ST7中，接收装置200根据颜色空间信息计算字幕的前景的亮度Lf和字幕的背景的亮度Lb。在该步骤ST7之后，接收装置200进入步骤ST16中的处理。
另一方面，如果字幕信息的编码数据不是基于文本的数据，则在步骤ST8中，接收装置200解码字幕流以获得字幕位图数据和字幕组合位置。在步骤ST9中，接收装置200通过流指定的CLUT，计算字幕的前景的亮度Lf和字幕的背景的亮度Lb。在该步骤ST9之后，接收装置200进入步骤ST16中的处理。
在步骤ST11中，接收装置200还读取HDR渲染支持描述符，并且搜索视频流VS中的亮度动态范围SEI。
接下来，在步骤ST12中，接收装置200确定是否存在亮度动态范围SEI消息。如果存在亮度动态范围SEI消息，则在步骤ST13中，接收装置200读取SEI消息中的相应元素，并且检测背景图像亮度值和用于组合的阈值。在该步骤ST13之后，接收装置200进入步骤ST15的处理。如果存在亮度动态范围SEI消息，则在步骤ST14中，接收装置200通过计算解码图像的亮度级来确定背景图像亮度值，并且设定用于组合的阈值。在该步骤ST14之后，接收装置200进入步骤ST15中的处理。
在步骤ST15中，接收装置200确定是否存在分区信息。如果存在分区信息，则在步骤ST16中，接收装置200确定低亮度和高亮度物体是否在距字幕组合(叠加)位置一定距离处。如果这些物体与字幕组合位置相距不远，则接收装置200进入步骤ST18中的处理。另一方面，如果这些物体在距字幕组合位置一定距离处，则在步骤ST17中，接收装置200使用分区信息来执行亮度级调整处理。在该步骤ST17之后，接收装置200进入步骤ST19中的处理。
在步骤ST18中，接收装置200执行全局亮度级调整处理。在该步骤ST8之后，接收装置200进入步骤ST19中的处理。在步骤ST19中，接收装置200将具有调整后的亮度的字幕与背景图像组合(或将字幕叠加在该背景图像上)。在该步骤ST19之后，在步骤ST20中，接收装置200结束处理。
图33中的流程图示出接收装置200中的全局亮度级调整处理的示例。在步骤ST21中，接收装置200开始处理。在步骤ST22中，接收装置200确定最大亮度值是否高于高亮度阈值。如果最大亮度值高于高亮度阈值，则在步骤ST23中，接收装置200确定最小亮度值是否低于低亮度阈值。如果最小亮度值不低于低亮度阈值，则在指定字幕的最大亮度与最小亮度之间的比率的情况下，在步骤ST24中，接收装置200将字幕的背景的亮度级校正为落入字幕的最大亮度与最小亮度之间的范围内(参见图10中的(a-2))。
此外，如果在步骤ST23中最小亮度值低于低亮度阈值，则在步骤ST25中，接收装置200确定平均亮度值是否高于平均亮度阈值。如果平均亮度值高于平均亮度阈值，则在指定字幕的最大亮度与最小亮度之间的比率的情况下，在步骤ST26中，接收装置200将字幕的背景的亮度级校正为落入字幕的最大亮度与最小亮度之间的范围内(参见图11中的(d-2))。另一方面，如果平均亮度值不高于平均亮度阈值，则在指定字幕的最大亮度与最小亮度之间的比率的情况下，在步骤ST27中，接收装置200将字幕的前景的亮度级校正为在最大亮度与最小亮度之间的范围内(参见图11中的(c-2))。
进一步，另一方面，如果在步骤ST22中最大亮度值不高于高亮度阈值，则在步骤ST28中，接收装置200确定最小亮度值是否低于低亮度阈值。如果最小亮度值低于低亮度阈值，则在指定字幕的最大亮度与最小亮度之间的比率的情况下，在步骤ST29中，接收装置200将字幕的前景的亮度级校正为落入字幕的最大亮度与最小亮度之间的范围内(参见图10中的(b-2))。另一方面，如果最小亮度值不低于低亮度阈值，则在步骤ST30中，接收装置200不执行任何字幕亮度调整。
应当注意，对于使用分区信息的亮度级调整处理，接收装置200为每个分区执行图33中的流程图中所示的处理。在相应分区的结果中，根据多数规则进行最终确定，或者设定优先级(从“1”开始)，以便按照优先级的顺序执行处理。例如，对于优先级，对图33中的步骤ST24的结果(或图13所示示例中的分区D的结果)给予优先级1，对图33中的步骤ST26的结果(或图13所示示例中的分区C的结果)给予优先级2，对图33中的步骤ST29的结果(或图13所示示例中的分区F的结果)给予优先级3，并且对图33中的步骤ST27的结果(或图13所示示例中的分区E的结果)给予优先级4。
如上所述，在图1所示的发送/接收系统10中，用于调整字幕的亮度级的亮度级调整信息被插入到视频流VS和字幕流SS中。因此，接收侧可以以优选的方式执行字幕亮度级调整。因此，可以减少视觉疲劳，并且可以防止破坏背景图像的气氛等。
此外，在图1所示的发送/接收系统10中，表示存在插入到视频流VS中的亮度级调整信息的识别信息被插入到传输流TS(容器)中。因此，接收侧可以容易地从识别信息辨识出存在插入到视频流VS中的亮度级调整信息。
此外，在图1所示的发送/接收系统10中，表示存在插入到字幕流SS中的亮度级调整信息的识别信息被插入到传输流TS(容器)中。因此，接收侧可以容易地从识别信息辨识出存在插入到字幕流SS中的亮度级调整信息。
<2.变形>
在上述实施方式的示例中，容器是传输流(MPEG-2TS)。然而，根据本技术的发送不一定用传输流TS执行，而是例如，在ISOBMFF、MMT等的情况下，可以由相同的方法通过某个其他数据包获得视频层。此外，如上所述，字幕流不一定由具有布置在如上所述的多个有效载荷中的段中的TTML的PES数据包形成。相反，本技术可以通过将TTML直接设定在具有多个有效载荷的PES数据包中或在一部分中来体现。
本技术也可以在以下描述的结构中体现。
(1)一种发送装置，包括：
视频编码器，生成包括图像数据的视频流；
字幕编码器，生成包括字幕信息的字幕流；
调整信息插入单元，将亮度级调整信息插入到视频流和/或字幕流中，亮度级调整信息被设计用于调整字幕的亮度级；以及
发送单元，发送具有预定格式的容器，该容器包含视频流和字幕流。
(2)根据(1)所述的发送装置，其中，
亮度级调整信息是对应于整个屏幕的亮度级调整信息，和/或对应于通过将屏幕除以预定数而获得的相应分割区域的亮度级调整信息。
(3)根据(2)所述的发送装置，其中，
要插入到视频流内的亮度级调整信息包括根据图像数据而生成的最大亮度值、最小亮度值和平均亮度值。
(4)根据(3)所述的发送装置，其中，
要插入到视频流内的亮度级调整信息进一步包括根据电光传递函数特性设定的高亮度阈值、低亮度阈值和平均亮度阈值。
(5)根据(2)所述的发送装置，其中，
要插入到字幕流中的亮度级调整信息包括字幕亮度范围限制信息。
(6)根据(5)所述的发送装置，其中，
要插入到字幕流中的亮度级调整信息进一步包括根据电光传递函数特性设定的高亮度阈值、低亮度阈值和平均亮度阈值。
(7)根据(5)或(6)所述的发送装置，其中，
要插入到字幕流中的亮度级调整信息进一步包括颜色空间信息。
(8)根据(1)到(7)中任一项所述的发送装置，其中，
字幕编码器根据以TTML形式的字幕文本信息生成字幕流，并且
调整信息插入单元使用TTML结构的报头中的元数据的元素，来插入亮度级调整信息。
(9)根据(1)到(7)中任一项所述的发送装置，其中，
字幕编码器根据以TTML形式的字幕文本信息生成字幕流，并且
调整信息插入单元使用TTML结构的报头中的样式扩展的元素，来插入亮度级调整信息。
(10)根据(1)到(7)中任一项所述的发送装置，其中，
字幕编码器生成具有作为分量的段的字幕流；并且
调整信息插入单元将包含亮度级调整信息的段插入到字幕流中。
(11)根据(1)到(10)中任一项所述的发送装置，进一步包括：
识别信息插入单元，将识别信息插入到容器中，识别信息表示存在插入到视频流中的亮度级调整信息。
(12)根据(1)到(11)中任一项所述的发送装置，进一步包括：
识别信息插入单元，将识别信息插入到容器中，识别信息表示存在插入到字幕流中的亮度级调整信息。
(13)根据(12)所述的发送装置，其中，
表示亮度级调整信息在字幕流中的插入位置的信息,被添加到识别信息中。
(14)一种发送方法，包括：
视频编码步骤，生成包括图像数据的视频流；
字幕编码步骤，生成包括字幕信息的字幕流；
调整信息插入步骤，将亮度级调整信息插入到视频流和/或字幕流中，亮度级调整信息被设计用于调整字幕的亮度级；以及
发送步骤，发送具有预定格式的容器，该容器包含视频流和字幕流，容器由发送单元发送。
(15)一种接收装置，包括：
接收单元，接收具有预定格式的容器，容器包含包括图像数据的视频流和包括字幕信息的字幕流；
视频解码单元，通过对视频流执行解码处理来获得图像数据；
字幕解码单元，通过对字幕流执行解码处理来获得字幕的位图数据；
亮度级调整单元，根据亮度级调整信息对位图数据执行亮度级调整处理；以及
视频叠加单元，将由亮度级调整单元获得的亮度级调整之后的位图数据叠加在由视频解码单元获得的图像数据上。
(16)根据(15)所述的接收装置，其中，
亮度级调整单元使用插入到视频流和/或字幕流中的亮度级调整信息，执行亮度级调整。
(17)根据(15)所述的接收装置，进一步包括
亮度级调整信息生成单元，生成亮度级调整信息，
其中，亮度级调整单元使用由亮度级调整信息生成单元生成的亮度级调整信息，执行亮度级调整。
(18)一种接收方法，包括：
接收步骤，接收具有预定格式的容器，该容器包含包括图像数据的视频流和包括字幕信息的字幕流，容器由接收单元接收；
视频解码步骤，通过对视频流执行解码处理来获得图像数据；
字幕解码步骤，通过对字幕流执行解码处理来获得字幕的位图数据；
亮度级调整步骤，根据亮度级调整信息对位图数据执行亮度级调整处理；以及
视频叠加步骤，将在亮度级调整步骤中获得的亮度级调整之后的位图数据，叠加在视频解码步骤中获得的图像数据上。
(19)一种发送装置，包括：
发送单元，发送在具有预定格式的容器中的视频流，视频流包括通过对高动态范围图像数据执行高动态范围光电转换而获得的发送视频数据；以及
识别信息插入单元，将识别信息插入到容器中，识别信息表示视频流与高动态范围兼容。
(20)一种发送装置，包括：
发送单元，发送在具有预定格式的容器中的视频流和字幕流，视频流包括图像数据，字幕流包括关于字幕的文本信息；以及
识别信息插入单元，将识别信息插入到容器中，该识别信息表示字幕以文本代码的形式发送。
本技术的主要特征在于，将用于调整字幕的亮度级的亮度级调整信息插入到视频流VS和字幕流SS中，使得接收侧可以执行优选的字幕亮度级调整(参见图27)。因此，例如，可以减少视觉疲劳，并且可以防止破坏背景图像的气氛。
参考符号列表
10 发送/接收系统
100 发送装置
101 控制单元
102 HDR照相机
103 HDR光电转换单元
103a 主显示器
104 RGB/YCbCr转换单元
105 视频编码器
106 亮度级计算单元
106a、106b 像素值比较单元
107 阈值设定单元
108 字幕生成单元
109 文字格式转换单元
110 字幕编码器
111 系统编码器
112 发送单元
200 接收装置
201 控制单元
202 接收单元
203 系统解码器
204 视频解码器
205 字幕文本解码器
206 字体解压单元
208 RGB/YCbCr转换单元
209 亮度级调整单元
210 视频叠加单元
211 YCbCr/RGB转换单元
212 HDR电光转换单元
213 HDR显示映射单元
214 CE显示器。

Claims (16)

1.一种发送装置，包括：
视频编码器，被配置为生成包括图像数据的视频流；
字幕编码器，被配置为生成包括字幕信息的字幕流；
调整信息插入单元，被配置为将亮度级调整信息插入到所述视频流和所述字幕流中的至少一个内，所述亮度级调整信息被设计用于调整字幕的亮度级；以及
发送单元，被配置为发送具有预定格式的容器，所述容器包含所述视频流和所述字幕流，
其中，要插入到所述视频流和所述字幕流中的至少一个内的所述亮度级调整信息包括字幕亮度范围限制信息，所述字幕亮度范围限制信息表示所述字幕的文本部分所对应的前景区域的亮度与所述字幕的边框部分所对应的背景区域的亮度之间的最大阈值比率，
其中，调整所述字幕的亮度级包括：当基于所述图像数据的图像被确定为整体明亮时，保持所述字幕的文本部分所对应的所述前景区域的亮度的等级不变并且增大所述字幕的边框部分所对应的所述背景区域的亮度的等级，以使得所述前景区域的亮度与所述背景区域的亮度之比等于或低于所述最大阈值比率；并且当基于所述图像数据的图像被确定为整体黑暗时，保持所述字幕的边框部分所对应的所述背景区域的亮度的等级不变并且降低所述字幕的文本部分所对应的所述前景区域的亮度的等级，以使得所述前景区域的亮度与所述背景区域的亮度之比等于或低于所述最大阈值比率。
2.根据权利要求1所述的发送装置，其中，
所述亮度级调整信息是对应于整个屏幕的亮度级调整信息，和/或是与通过将屏幕除以预定数而获得的相应分割区域相对应的亮度级调整信息。
3.根据权利要求2所述的发送装置，其中，
所述亮度级调整信息被插入到所述视频流中并且进一步包括最大亮度值、最小亮度值和平均亮度值，
所述最大亮度值、所述最小亮度值和所述平均亮度值根据所述图像数据而生成。
4.根据权利要求3所述的发送装置，其中，
插入到所述视频流中的所述亮度级调整信息进一步包括高亮度阈值、低亮度阈值和平均亮度阈值，
所述高亮度阈值、所述低亮度阈值和所述平均亮度阈值根据电光传递函数特性来设定。
5.根据权利要求1所述的发送装置，其中，
所述亮度级调整信息被插入到所述字幕流中并且进一步包括高亮度阈值、低亮度阈值和平均亮度阈值，
所述高亮度阈值、所述低亮度阈值和所述平均亮度阈值根据电光传递函数特性来设定。
6.根据权利要求1所述的发送装置，其中，
所述亮度级调整信息被插入到所述字幕流中并且进一步包括颜色空间信息。
7.根据权利要求1所述的发送装置，其中，
所述字幕编码器根据以定时文本标记语言形式的字幕文本信息生成所述字幕流，并且
所述调整信息插入单元使用定时文本标记语言结构的报头中的元数据的元素，来插入所述亮度级调整信息。
8.根据权利要求1所述的发送装置，其中，
所述字幕编码器根据以定时文本标记语言形式的字幕文本信息生成所述字幕流，并且
所述调整信息插入单元使用定时文本标记语言结构的报头中的样式扩展的元素，来插入所述亮度级调整信息。
9.根据权利要求1所述的发送装置，其中：
所述字幕编码器生成具有作为分量的段的字幕流；并且
所述调整信息插入单元通过将包含所述亮度级调整信息的段插入到所述字幕流中来将所述亮度级调整信息插入到所述字幕流中。
10.根据权利要求1所述的发送装置，进一步包括
识别信息插入单元，被配置为将识别信息插入到所述容器中，所述识别信息表示存在插入到所述视频流中的所述亮度级调整信息。
11.根据权利要求1所述的发送装置，进一步包括
识别信息插入单元，被配置为将识别信息插入到所述容器中，所述识别信息表示存在插入到所述字幕流中的所述亮度级调整信息。
12.根据权利要求11所述的发送装置，其中，
表示所述亮度级调整信息在所述字幕流中的插入位置的信息，被添加到所述识别信息中。
13.一种发送方法，包括：
视频编码步骤，生成包括图像数据的视频流；
字幕编码步骤，生成包括字幕信息的字幕流；
调整信息插入步骤，将亮度级调整信息插入到所述视频流和所述字幕流中的至少一个内，所述亮度级调整信息用于调整字幕的亮度级；以及
发送步骤，发送具有预定格式的容器，所述容器包含所述视频流和所述字幕流，所述容器由发送单元发送，
其中，要插入到所述视频流和所述字幕流中的至少一个内的所述亮度级调整信息包括字幕亮度范围限制信息，所述字幕亮度范围限制信息表示所述字幕的文本部分所对应的前景区域的亮度与所述字幕的边框部分所对应的背景区域的亮度之间的最大阈值比率，
其中，调整所述字幕的亮度级包括：当基于所述图像数据的图像被确定为整体明亮时，保持所述字幕的文本部分所对应的所述前景区域的亮度的等级不变并且增大所述字幕的边框部分所对应的所述背景区域的亮度的等级，以使得所述前景区域的亮度与所述背景区域的亮度之比等于或低于所述最大阈值比率；并且当基于所述图像数据的图像被确定为整体黑暗时，保持所述字幕的边框部分所对应的所述背景区域的亮度的等级不变并且降低所述字幕的文本部分所对应的所述前景区域的亮度的等级，以使得所述前景区域的亮度与所述背景区域的亮度之比等于或低于所述最大阈值比率。
14.一种接收装置，包括：
接收单元，被配置为接收具有预定格式的容器，所述容器包含包括图像数据的视频流和包括字幕信息的字幕流；
视频解码单元，被配置为通过对所述视频流执行解码处理来获得所述图像数据；
字幕解码单元，被配置为通过对所述字幕流执行解码处理来获得字幕的位图数据；
亮度级调整单元，被配置为根据亮度级调整信息对所述位图数据执行亮度级调整处理；以及
视频叠加单元，被配置为将由所述亮度级调整单元获得的亮度级调整之后的位图数据，叠加在由所述视频解码单元获得的所述图像数据上，
其中，所述亮度级调整单元使用插入到所述视频流和所述字幕流中的至少一个内的所述亮度级调整信息，执行亮度级调整，
其中，插入到所述视频流和所述字幕流中的至少一个内的所述亮度级调整信息包括字幕亮度范围限制信息，所述字幕亮度范围限制信息表示所述字幕的文本部分所对应的前景区域的亮度与所述字幕的边框部分所对应的背景区域的亮度之间的最大阈值比率，
其中，执行所述亮度级调整包括：当基于所述图像数据的图像被确定为整体明亮时，保持所述字幕的文本部分所对应的所述前景区域的亮度的等级不变并且增大所述字幕的边框部分所对应的所述背景区域的亮度的等级，以使得所述前景区域的亮度与所述背景区域的亮度之比等于或低于所述最大阈值比率；并且当基于所述图像数据的图像被确定为整体黑暗时，保持所述字幕的边框部分所对应的所述背景区域的亮度的等级不变并且降低所述字幕的文本部分所对应的所述前景区域的亮度的等级，以使得所述前景区域的亮度与所述背景区域的亮度之比等于或低于所述最大阈值比率。
15.根据权利要求14所述的接收装置，进一步包括
亮度级调整信息生成单元，被配置成生成所述亮度级调整信息，
其中，所述亮度级调整单元使用由所述亮度级调整信息生成单元生成的所述亮度级调整信息，执行亮度级调整。
16.一种接收方法，包括：
接收步骤，接收具有预定格式的容器，所述容器包含包括图像数据的视频流和包括字幕信息的字幕流，所述容器由接收单元接收；
视频解码步骤，通过对所述视频流执行解码处理来获得所述图像数据；
字幕解码步骤，通过对所述字幕流执行解码处理来获得字幕的位图数据；
亮度级调整步骤，根据亮度级调整信息对所述位图数据执行亮度级调整处理；以及
视频叠加步骤，将在所述亮度级调整步骤中获得的亮度级调整之后的所述位图数据，叠加在所述视频解码步骤中获得的所述图像数据上，
其中，使用插入到所述视频流和所述字幕流中的至少一个内的所述亮度级调整信息来执行亮度级调整，
其中，插入到所述视频流和所述字幕流中的至少一个内的所述亮度级调整信息包括字幕亮度范围限制信息，所述字幕亮度范围限制信息表示所述字幕的文本部分所对应的前景区域的亮度与所述字幕的边框部分所对应的背景区域的亮度之间的最大阈值比率，
其中，执行所述亮度级调整包括：当基于所述图像数据的图像被确定为整体明亮时，保持所述字幕的文本部分所对应的所述前景区域的亮度的等级不变并且增大所述字幕的边框部分所对应的所述背景区域的亮度的等级，以使得所述前景区域的亮度与所述背景区域的亮度之比等于或低于所述最大阈值比率；并且当基于所述图像数据的图像被确定为整体黑暗时，保持所述字幕的边框部分所对应的所述背景区域的亮度的等级不变并且降低所述字幕的文本部分所对应的所述前景区域的亮度的等级，以使得所述前景区域的亮度与所述背景区域的亮度之比等于或低于所述最大阈值比率。
CN201680007336.8A 2015-02-03 2016-01-29 发送装置、发送方法、接收装置以及接收方法 Active CN107211169B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-019761 2015-02-03
JP2015019761 2015-02-03
PCT/JP2016/052594 WO2016125691A1 (ja) 2015-02-03 2016-01-29 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
CN107211169A CN107211169A (zh) 2017-09-26
CN107211169B true CN107211169B (zh) 2020-11-20

Family

ID=56564038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680007336.8A Active CN107211169B (zh) 2015-02-03 2016-01-29 发送装置、发送方法、接收装置以及接收方法

Country Status (6)

Country Link
US (1) US10542304B2 (zh)
EP (1) EP3255892B1 (zh)
JP (1) JP6891492B2 (zh)
CN (1) CN107211169B (zh)
RU (1) RU2712433C2 (zh)
WO (1) WO2016125691A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6724779B2 (ja) * 2015-03-24 2020-07-15 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP6831389B2 (ja) * 2015-11-24 2021-02-17 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 複数のｈｄｒ画像ソースの処理
WO2017135673A1 (ko) * 2016-02-01 2017-08-10 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
EP3364660B1 (en) * 2016-09-14 2020-12-23 Sony Corporation Transmitting device, transmitting method, receiving device and receiving method
EP3783902A1 (en) * 2016-10-11 2021-02-24 Sony Corporation Receiving device and receiving method for subtitles
JP6381701B2 (ja) * 2017-02-09 2018-08-29 シャープ株式会社 受信装置、テレビジョン受像機、映像信号生成装置、送信装置、映像信号伝送システム、受信方法、プログラム、及び記録媒体
WO2018147196A1 (ja) * 2017-02-09 2018-08-16 シャープ株式会社 表示装置、テレビジョン受像機、映像処理方法、バックライト制御方法、受信装置、映像信号生成装置、送信装置、映像信号伝送システム、受信方法、プログラム、制御プログラム、及び記録媒体
JP6436595B1 (ja) * 2017-06-13 2018-12-12 エヌ・ティ・ティ・コムウェア株式会社 情報提供システム、及び情報提供方法
CN107450814B (zh) * 2017-07-07 2021-09-28 深圳Tcl数字技术有限公司 菜单亮度自动调节方法、用户设备及存储介质
JP6407496B1 (ja) * 2017-08-23 2018-10-17 三菱電機株式会社 映像再生装置
KR102558213B1 (ko) * 2017-10-31 2023-07-24 소니그룹주식회사 재생 장치, 재생 방법, 프로그램, 및 기록 매체
JP7002948B2 (ja) * 2018-01-18 2022-01-20 日本放送協会 表示制御装置及びプログラム
JP7012562B2 (ja) * 2018-03-02 2022-01-28 日本放送協会 文字スーパー合成装置及びプログラム
WO2020000135A1 (zh) * 2018-06-25 2020-01-02 华为技术有限公司 一种包含字幕的高动态范围视频处理的方法及装置
JP2019040659A (ja) * 2018-08-07 2019-03-14 三菱電機株式会社 映像コンテンツ媒体
CN111279687A (zh) * 2018-12-29 2020-06-12 深圳市大疆创新科技有限公司 视频的字幕处理方法和导播系统
JP7502902B2 (ja) 2020-05-29 2024-06-19 キヤノン株式会社 画像処理装置、撮像装置、制御方法及びプログラム
JP6861873B2 (ja) * 2020-06-18 2021-04-21 三菱電機株式会社 映像再生方法
CN115334348A (zh) * 2021-05-10 2022-11-11 腾讯科技（北京）有限公司 一种视频字幕调整方法、装置、电子设备和存储介质
EP4443861A1 (en) * 2021-11-29 2024-10-09 Panasonic Intellectual Property Management Co., Ltd. Video processing method, video processing device, and program

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0144427B1 (ko) * 1994-11-30 1998-10-01 이형도 광 주사장치
JPH08265661A (ja) * 1995-03-23 1996-10-11 Sony Corp 字幕データ符号化／復号化方法および装置、および符号化字幕データ記録媒体
US5721792A (en) * 1996-08-29 1998-02-24 Sensormatic Electronics Corporation Control of brightness of text/graphics overlay
JP2001333350A (ja) * 2000-03-15 2001-11-30 Sony Corp 画質調整方法および画質調整装置
US6741323B2 (en) * 2002-08-12 2004-05-25 Digital Theater Systems, Inc. Motion picture subtitle system and method
JP2004194311A (ja) 2002-11-29 2004-07-08 Matsushita Electric Ind Co Ltd 映像再生装置及び映像再生方法
CN100358348C (zh) * 2002-11-29 2007-12-26 松下电器产业株式会社 图像重放装置及图像重放方法
WO2005010882A1 (en) * 2003-07-24 2005-02-03 Lg Electronics Inc. Recording medium having a data structure for managing reproduction of text subtitle data recorded thereon and recording and reproducing methods and apparatuses
KR20050035678A (ko) 2003-10-14 2005-04-19 엘지전자 주식회사 광디스크 장치의 부가 데이터 재생방법 및 장치와, 이를위한 광디스크
US7519274B2 (en) * 2003-12-08 2009-04-14 Divx, Inc. File format for multiple track digital data
KR100599118B1 (ko) * 2004-07-20 2006-07-12 삼성전자주식회사 자막신호표시상태를 변경하는 데이터재생장치 및 그 방법
JP4518194B2 (ja) * 2008-06-10 2010-08-04 ソニー株式会社 生成装置、生成方法、及び、プログラム
JP5685969B2 (ja) 2011-02-15 2015-03-18 ソニー株式会社 表示制御方法、表示制御装置
JP6053767B2 (ja) * 2011-06-14 2016-12-27 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 高ダイナミックレンジ・ビデオのためのグラフィック処理
CN102843603A (zh) * 2012-08-17 2012-12-26 Tcl集团股份有限公司 一种智能电视及其字幕控制的方法
KR101993593B1 (ko) * 2013-02-21 2019-06-28 돌비 레버러토리즈 라이쎈싱 코오포레이션 오버레이 그래픽스를 합성하기 위한 어피어런스 매핑을 위한 시스템들 및 방법들
US10515667B2 (en) 2013-07-19 2019-12-24 Koninklijke Philips N.V. HDR metadata transport
TWI595777B (zh) * 2013-10-02 2017-08-11 杜比實驗室特許公司 透過ｈｄｍｉ發送顯示管理元數據
CN103905744B (zh) * 2014-04-10 2017-07-11 中央电视台 一种渲染合成方法及系统
CN106664448A (zh) * 2014-07-11 2017-05-10 Lg 电子株式会社 用于发送和接收广播信号的方法和设备

Also Published As

Publication number Publication date
RU2017126901A (ru) 2019-01-28
CN107211169A (zh) 2017-09-26
RU2712433C2 (ru) 2020-01-28
JP6891492B2 (ja) 2021-06-18
EP3255892B1 (en) 2021-12-29
RU2017126901A3 (zh) 2019-07-25
EP3255892A4 (en) 2018-12-26
WO2016125691A1 (ja) 2016-08-11
US10542304B2 (en) 2020-01-21
US20180270512A1 (en) 2018-09-20
JPWO2016125691A1 (ja) 2017-11-09
EP3255892A1 (en) 2017-12-13

Similar Documents

Publication Publication Date Title
CN107211169B (zh) 发送装置、发送方法、接收装置以及接收方法
US20200145632A1 (en) Transmitting device, transmitting method, receiving device, and receiving method
CN101218827B (zh) 对包括图像序列和标识的视频内容进行编码的方法和设备
CN107667536B (zh) 接收装置、接收方法、传输装置和传输方法
US12058404B2 (en) Transmitting device, transmitting method, receiving device, and receiving method
JP7548359B2 (ja) 送信方法および送信装置
US11330303B2 (en) Transmission device, transmission method, reception device, and reception method
JP2022093463A (ja) トランスポートストリームにおける高ダイナミックレンジおよび広色域コンテンツの伝達
CN108370451B (zh) 发送装置、发送方法、接收装置以及接收方法
CN108353196B (zh) 发送设备、发送方法、接收设备、以及接收方法
JP7195925B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP7397938B2 (ja) 送信装置、送信方法、受信装置および受信方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant