CN107852525A - 接收装置、接收方法、发送装置和发送方法 - Google Patents

接收装置、接收方法、发送装置和发送方法 Download PDF

Info

Publication number
CN107852525A
CN107852525A CN201680038735.0A CN201680038735A CN107852525A CN 107852525 A CN107852525 A CN 107852525A CN 201680038735 A CN201680038735 A CN 201680038735A CN 107852525 A CN107852525 A CN 107852525A
Authority
CN
China
Prior art keywords
captions
video
data
resolution ratio
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680038735.0A
Other languages
English (en)
Inventor
塚越郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107852525A publication Critical patent/CN107852525A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Circuits (AREA)
  • Television Systems (AREA)

Abstract

本发明使字幕(图形)能够顺利地叠加显示在视频上。接收预定格式的容器，该容器包括有超高清晰度(UHD)分辨率的视频数据的视频流，以及有字幕数据的字幕流。解码视频流以获得视频数据。解码字幕流以获得字幕位图数据。如果字幕分辨率不符合UHD分辨率，则在字幕位图数据上执行字幕的位置转换。将受到位置转换的字幕位图数据叠加在视频数据上并获得用于显示的视频数据。

Description

接收装置、接收方法、发送装置和发送方法
技术领域
本技术涉及接收装置、接收方法、发送装置和发送方法，具体地，涉及在视频上叠加和显示字幕或图形的接收装置等等。
背景技术
在数字视频广播(DVB)的广播中，例如，已经传统地实现了将字幕数据作为位图数据发送的操作(例如，见专利文件1)。
引用列表
专利文件
专利文件1：日本专利特许公报No.2011-030180
发明内容
本发明要解决的问题
传统的发送字幕数据的方法假定发送数据的准确性依赖于背景视频的分辨率。在具有超高清晰度(UHD)分辨率的视频业务中可能会存在各种字幕分辨率，比如4K或者8K。
本技术的目的在于能够令人满意地在视频上叠加和显示字幕(图形)。
问题的解决方案
本技术的观点在于一种接收装置，包括：
接收单元，被配置为接收包括有UHD分辨率的视频数据的视频流和有字幕数据的字幕流的预定格式的容器；以及
控制单元，被配置为控制：
通过解码视频流获得视频数据的视频解码处理；
通过解码字幕流获得字幕的位图数据的字幕解码处理；
在字幕的分辨率不匹配UHD分辨率的情况下，在字幕的位图数据上执行转换字幕的位置的处理的位置转换处理；以及
在视频数据上叠加已经被执行转换位置的处理的字幕的位图数据的视频叠加处理。
根据本技术，接收单元接收包括有UHD分辨率的视频数据的视频流和有字幕数据的字幕流的预定格式的容器。控制单元控制视频解码处理、字幕解码处理、位置转换处理和视频叠加处理。在视频解码处理中，通过解码视频流获得视频数据。在字幕解码处理中，通过解码字幕流获得字幕的位图数据。
在字幕的分辨率不匹配UHD分辨率的情况下，在位置转换处理中，在字幕的位图数据上执行转换字幕的位置的处理。然后，在视频叠加处理中，在视频数据上叠加已经被执行转换位置的处理的字幕的位图数据。例如，UHD分辨率可超过HD分辨率并且可包括4K分辨率或者8K分辨率。
根据以上所描述的本技术，在字幕的分辨率不匹配视频的UHD分辨率的情况下，在字幕的位图数据上执行转换字幕的位置的处理。因此，就有可能令人满意地在视频上叠加和显示字幕。换句话说，即使在字幕的分辨率不匹配视频的UHD分辨率的情况下，也有可能在背景视频的适当位置上显示字幕。
注意，根据本技术，控制单元可进一步控制在已经被执行转换位置的处理的字幕的位图数据上执行转换字幕的尺寸的处理的尺寸转换处理，并且可在视频叠加处理中在视频数据上叠加已经执行转换尺寸的处理的字幕的位图数据。在这种情况下，就有可能以适当的尺寸显示字幕。
此外，本技术的另一个观点在于一种接收装置，包括：
接收单元，被配置为接收包括有UHD分辨率的视频数据的视频流和有字幕数据的字幕流的预定格式的容器；以及
控制单元，被配置为控制：
通过解码视频流获得视频数据的视频解码处理；
基于字幕流获得用于显示的字幕的位图数据的位图数据获得处理；以及
在视频数据上叠加已经获得的字幕的位图数据的视频叠加处理，
其中指示字幕的位置指定方法的识别信息被插入字幕流的层和/或容器的层，并且
位图数据获得处理通过在字幕流上执行对应于识别信息所指示的位置指定方法的处理获得用于显示的字幕的位图数据。
根据本技术，接收单元接收包括有UHD分辨率的视频数据的视频流和有字幕数据的字幕流的预定格式的数据。控制单元控制视频解码处理、位图数据获得处理以及视频叠加处理。在视频解码处理中，通过解码视频流获得视频数据。指示字幕的位置指定方法的识别信息被插入字幕流的层和/或容器的层。
在位图数据获得处理中，基于字幕流获得用于显示的字幕的位图数据。在位图数据获得处理中，通过在字幕流上执行对应于识别信息所指示的位置指定方法的处理获得用于显示的字幕的位图数据。在视频叠加处理中，在视频数据上叠加已经以这种方式获得的字幕的位图数据。
例如，如果识别信息所指示的位置指定方法是以HD像素为单位在HD显示区中指定位置的方法，则位图数据获得处理可解码字幕流以获得字幕的位图数据，并且以UHD分辨率和HD分辨率的比率为基础在该位图数据上执行位置转换处理，从而获得用于显示的字幕的位图数据。
此外，例如，如果识别信息所指示的位置指定方法是在UHD显示区中的定义带有窗的口HD显示区，并且在该窗口的显示区中指定位置的方法，则位图数据获得处理可解码字幕流以获得字幕的位图数据，并且以该窗口的显示区上的信息为基础在该位图数据上执行位置转换处理，从而获得用于显示的字幕的位图数据。
此外，例如，如果识别信息所指示的位置指定方法是以UHD像素为单位在UHD显示区中指定位置的方法，则位图数据获得处理可解码字幕流以获得字幕的位图数据，并且以该位图作为用于显示的字幕的位图数据。
根据以上所描述的本技术，通过在字幕流上执行对应于识别信息所指示的位置指定方法的处理获得用于显示的字幕的位图数据。因此，有可能令人满意地在视频上叠加和显示字幕。例如，即使在字幕的分辨率不匹配视频的UHD分辨率的情况下，也有可能在背景视频的适当位置上显示字幕。
注意，根据本技术，例如，控制单元可进一步控制字幕处理单元，该字幕处理单元被配置为在已经通过位图数据获得处理获得的字幕的位图数据上执行转换字幕的尺寸的处理，并且可在视频叠加处理中，在视频上叠加已经执行尺寸转换处理的字幕的位图数据。在这种情况下，有可能以适当的尺寸显示字幕。
此外，本技术的另一个观点在于一种发送装置，包括：
发送单元，被配置为发送包括有UHD分辨率的视频数据的视频流和有字幕数据的字幕流的预定格式的容器；以及
信息插入单元，被配置为将指示字幕的位置指定方法的识别信息插入字幕流的层和/或容器的层。
根据本技术，发送单元发送包括有UHD分辨率的视频数据的视频流和有字幕数据的字幕流的预定格式的容器。信息插入单元将指示字幕的位置指定方法的识别信息插入字幕流的层和/或容器的层。
例如，信息插入单元可在事件信息表、服务描述表或者选择信息表中插入识别信息。此外，例如，信息插入单元可将识别信息插入显示定义段。
字幕的位置指定方法可包括，例如，以HD像素为单位在HD显示区中指定位置的方法。此外，字幕的位置指定方法可包括，例如，在UHD显示区中定义带有的HD显示区，并且在该窗口的显示区中指定位置的方法。此外，字幕的位置指定方法可包括，例如，在以UHD像素为单位的UDH显示区指定位置的方法。
根据以上所描述的本技术，指示字幕的位置指定方法的识别信息被插入字幕流的层和/或容器的层并且被发送。因此，在接收方，在字幕流上执行对应于由识别信息指示的位置指定方法的处理，通过该处理获得用于显示的字幕的位图数据。这样，就能够令人满意地在视频上叠加和显示字幕。
此外，本技术的另一个观点在于一种接收装置，包括：
接收单元，被配置为接收包括有UHD分辨率的视频数据的视频流和有图形数据的图形流的预定格式的容器；以及
控制单元，被配置为控制：
通过解码视频流获得视频数据的视频解码处理；
通过解码图形流获得图形的位图数据的图形解码处理；
在图形的分辨率不匹配UHD分辨率的情况下，在图形的位图数据上执行转换图形位置的处理的位置转换处理；以及
在视频数据上叠加已经被执行转换位置的处理的图形的位图数据的视频叠加处理。
此外，本技术的另一个观点在于一种接收装置，包括：
接收单元，被配置为接收包括有UHD分辨率的视频数据的视频流和有图形数据的图形流的预定格式的容器；以及
控制单元，被配置为控制：
通过解码视频流获得视频数据的视频解码处理；
基于图形流获得用于显示的图形的位图数据的位图数据获得处理；以及
在视频数据上叠加已经获得的图形的位图数据的视频叠加处理，
其中指示图形的位置指定方法的识别信息被插入图形流的层和/或容器的层，并且
位图数据获得处理通过在图形流上执行对应于识别信息所指示的位置指定方法的处理，获得用于显示的图形的位图数据。
此外，本技术的另一个观点在于一种发送装置，包括：
发送单元，被配置为发送包括有UHD分辨率的视频数据的视频流和有图形数据的图形流的预定格式的容器；以及
信息插入单元，被配置为将指示图形的位置指定方法的识别信息插入图形流的层和/或容器的层。
本发明的效果
根据本技术，有可能令人满意地在视频上叠加和显示字幕。注意，本说明书中所描述的效果仅仅是实例而且并不局限于此，还可以包括另外的效果。
附图说明
图1为作为实施例的发送和接收的典型配置的框图。
图2为描述背景视频上字幕的显示位置以及字幕的位置转换的图。
图3为发送装置的典型配置的框图。
图4为显示定义端的典型结构的图。
图5为显示定义段中“display_positioning_type”字段的内容的图。
图6为页组合段的典型结构的图。
图7为区域组合段的典型结构的图。
图8为CLUT定义段的典型结构的图。
图9为描述作为字幕的位置指定方法的第二方法(在UHD显示区中以窗口限定HD显示区，并且在该窗口的显示区中指定位置的方法)的图。
图10为描述在第二方法中按照时间先后顺序改变窗口位置的情况的图。
图11为描述作为字幕的位置指定方法的第三方法(以UHD像素为单位在UHD显示区中指定位置的方法)的图。
图12为描述作为字幕的位置指定方法的第一方法(以HD像素为单位在HD显示区中指定位置的方法)的图。
图13为在该典型结构中分量描述符的典型结构和主信息的内容的图。
图14为传输流TS的典型配置的图。
图15为接收装置的典型配置的框图。
图16为位置转换单元中位置转换处理的实例的流程图。
图17为描述转换字幕的尺寸的处理的图。
具体实施方式
下面，将描述实施本发明的方式(以下被称为“实施例”)。注意，将以下列顺序进行描述。
1.实施例
2.修改
<1.实施例>
[发送和接收系统的典型配置]
图1为作为实施例的发送和接收系统10的典型配置。该发送和接收系统10包括发送装置100和接收装置200。
发送装置100生成作为容器的MPEG2的传输流TS，并且在广播波上或者在网络分组中发送该传输流TS。该传输流TS包括有UHD分辨率的视频数据(图像数据)的视频流。此处，UHD分辨率超过HD分辨率并且包括4K分辨率或8K分辨率。
此外，该传输流TS包括有字幕数据(说明文字数据)的字幕流。此处，字幕数据为字幕的位图数据。将识别信息插入字幕流的层和/或作为容器的传输流TS的层。识别信息指示字幕的位置指定方法。
在本实施例中，字幕的位置指定方法包括下列第一至第三方法。
第一方法：以HD像素为单位在HD显示区中指定位置的方法
第二方法：在UHD显示区中以窗口限定HD显示区，并且在该窗口的显示区中指定位置的方法
第三方法：以UHD像素为单位在UHD显示区中指定位置的方法
接收装置200接收从发送装置100发送的传输流TS。接收装置200通过在视频流上执行解码处理获得视频数据。此外，接收装置200基于字幕流获得用于显示的字幕的位图数据。必要时，接收装置200在用于显示的字幕的位图数据上执行尺寸转换处理。然后，接收装置200在视频数据上叠加用于显示的字幕的位图数据，以获得要显示的视频数据。
此处，如果识别信息所指示的位置指定方法为第一方法，则接收装置200在字幕流上执行解码处理以获得字幕的位图数据，并且基于UHD分辨率与HD分辨率的比率在该位图数据上执行位置转换处理，以获得用于显示的字幕的位图数据。
此外，如果识别信息所指示的位置指定方法为第二方法，则接收装置200在字幕流上执行解码处理以获得字幕的位图数据，并且基于窗口的显示区上的信息在该位图数据上执行位置转换处理，以获得用于显示的字幕的位图数据。
此外，如果识别信息所指示的位置指定方法为第三方法，则接收装置200在字幕流上执行解码处理以获得字幕的位图数据，并且用该位图数据作为用于显示的字幕的位图数据。
“背景视频上字幕的显示位置”
此处，将描述背景视频上字幕的显示位置。图2(a)示出视频具有HD分辨率且字幕符合HD分辨率的实例。区域的起点处的像素位置为(a，b)，且区域的终点处的像素位置为(c，d)。该区域为字幕的显示区。在这种情况下，背景视频的分辨率匹配字幕的分辨率。因此，接收方能够在背景视频上制作方所期望的位置显示字幕，而不需要执行针对字幕的位置转换处理。
图2(b)示出视频具有UHD分辨率且字幕符合同样的UHD分辨率的实例。区域的起点处的像素位置为(a，b)，且区域的终点处的像素位置为(c，d)。该区域为字幕的显示区。在这种情况下，背景视频的分辨率匹配字幕的分辨率。因此，接收方能够在背景视频上制作方所期望的位置显示字幕，而不需要执行针对字幕的位置转换处理。因为位置转换处理不是由接收方执行的，所以该实例对应于上述字幕的位置指定方法为第三方法的情况。
图2(c)示出视频具有UHD分辨率而字幕符合HD分辨率的实例。区域的起点处的像素位置为(a，b)，且区域的终点处的像素位置为(c，d)。该区域为字幕的显示区。在这种情况下，背景视频的分辨率高于字幕的分辨率。因此，字幕在背景视频上的显示位置不在制作方所期望的位置上，而是向右上方偏离。
在这种情况下，执行对字幕的位置转换处理使接收方能够在制作方所期望的位置上显示字幕。图2(d)示出已经执行位置转换处理的实例。区域的起点处的像素位置为(a’，b’)，且区域的终点处的像素位置为(c’，d’)。该区域为字幕的显示区。注意，在该实例中，与位置转换同时，也对字幕执行尺寸转换处理。因为位置转换处理由接收方执行，所以该实例对应于上述字幕的位置指定方法为第一方法或第二方法的情况。
“发送装置的典型配置”
图3示出发送装置100的典型配置。发送装置100包括控制单元101、相机102、视频光电转换单元103、RGB/YCbCr转换单元104、视频解码器105、字幕生成单元106、位图生成单元107、字幕解码器108、系统解码器109以及发送单元110。
控制单元101包括中央处理单元(CPU)，并且在控制程序的基础上控制发送装置100的每个单元的操作。相机102捕获目标的图像并且输出具有例如4K分辨率或者8K分辨率的UHD分辨率的视频数据(图像数据)。视频光电转换单元103光电转换由相机102获得的视频数据，以获得发送视频数据V1。
RGB/YCbCr转换单元104将发送视频数据从RGB域转换至YCbCr(亮度和色度)域。视频解码器105在已经被转换至YCbCr域的发送视频数据V1上执行例如MPEG4-AVC或者HEVC的解码。然后视频解码器105生成包括解码的视频数据的视频流(PES流)VS。
字幕生成单元106生成作为字幕信息的文本数据(字符码)DT。位图数据生成单元107接收由字幕生成单元106生成的文本数据并生成字幕的位图数据。字幕解码器108将字幕的位图数据和显示控制信息转换为不同的段，并且生成包括PES分组的字幕流SS，其中这些段被安排在PES分组的载荷中。
关于字幕的分辨率的信息包含在显示定义段(display_difinition_segment)中。此外，在本实施例中，指示字幕的位置指定方法的识别信息也包含在显示定义段中。
图4示出显示定义段的典型结构(语法syntax)。1比特的“display_window_flag”字段指示是否有窗口的定义。“1”指示有窗口的定义。“0”指示没有窗口的定义。2比特的“display_positioning_type”字段指示字幕的位置指定方法。
如图5所示，“00”指示第一方法，即，以HD像素为单位在HD显示区中指定位置的方法。“01”指示第二方法，即，在UHD显示区中以窗口限定HD显示区，并且在该窗口的显示区中指定位置的方法。“10”指示第三方法，即，以UHD像素为单位在UHD显示区中指定位置的方法。
往回参考图4，16比特的字段“display_width”和16比特的字段“display_height”指示字幕的分辨率。例如，如果是HD分辨率，则“display_width”指示1920，而如果是4K分辨率，则“display_width”指示3820。此外，例如，如果是HD分辨率，“display_height”指示1080，而如果是4K分辨率，则“display_height”指示2160。
如果“display_window_flag”＝“1”，则存在指示窗口的面积的字段。即，存在16比特的“display_window_horizontal_position_minimum”字段、16比特的“display_window_horizontal_position_maximum”字段、16比特的“display_window_vertical_position_minimum”字段和16比特的“display_window_vertical_position_maximum”字段。
“display_window_horizontal_position_minimum”和“display_window_vertical_position_minimum”字段指示窗口的起点坐标。display_window_horizontal_position_maximum”和“display_window_vertical_position_maximum”字段指示窗口的终点坐标。
此外，关于区域(Region)的起点位置的信息包含在页组合段(page_composition_segment)中，其中该区域为字幕的显示区。图6示出页组合段的典型结构(语法)。“region_horizontal_address”字段和“region_vertical_address”字段指示该区域(Region)的起点位置的坐标。
此外，区域组合段(region_composition_segment)中包括区域的水平和竖直尺寸。图7示出区域组合段的典型结构(语法)。“region_width”字段和“resion_height”字段分别指示区域的水平尺寸和竖直尺寸。
此外，CLUT定义段(CLUT_definition_segment)包括指示字幕(说明文字)和背景视频的混合比率的信息。图8示出CLUT定义段的典型结构(语法)。“T-value”字段指示字幕和背景视频的混合比率。
此处，将描述每个字幕的位置指定方法中每个字段的值的设置。首先，将描述第二方法的情况(“display_positioning_type”＝“01”)。在这种情况下，显示定义段中的“display_width”和“display_height”字段(见图4)指示图9(a)中所示的UHD显示区。该UHD显示区的起点的坐标为(0，0)，其终点的坐标为(x，y)。在这种情况下，“display_width”＝UHD_h,且“display_height”＝UHD_v。
此外，在这种情况下，显示定义段的“display_window_flag”字段(见图4)为“1”，并且存在指示窗口的面积的字段。该窗口与HD显示区大小相同，即水平方向上的尺寸为HD_h，而竖直方向上的尺寸为HD_v。
显示定义段的“display_window_horizontal_position_minimum”和“display_window_vertical_position_minimum”字段(见图4)指示窗口的起点的坐标(sfx，sfy)。此外，显示定义段的“display_window_horizontal_position_maximum”和“display_window_vertical_position_maximum”字段(见图4)指示窗口的终点的坐标(efx，efy)。
在这种情况下，如图9(b)所示，由页组合段的“region_horizontal_address”和“region_vertical_address”字段(见图6)所指示的区域的起始位置的坐标假定窗口的起点的坐标(sfx，sfy)为基点。
此处，在UHD显示区的起点(0，0)作为基点的情况下，如图9(c)中所示表示区域A和区域B中每一个的显示起始位置(渲染起始位置)和显示结束位置(渲染结束位置)。即在区域A和区域B被显示在具有UHD分辨率的背景视频上的情况下，通过增加窗口的偏移执行到UHD坐标系的转换(位置转换)。以这种方式增加偏移能够在具有UHD分辨率的背景视频上显示具有HD分辨率的字幕。
在这种情况下，字幕的显示区被限制在窗口内。然而，如图10(a)所示，按时间先后顺改变窗口的位置能够利用整个UHD显示区显示字幕。图10(b)和10(c)示出通过改变窗口的位置改变字幕在UHD显示区的显示位置的实例。
随后，将描述第三方法的情况(“display_positioning_type”＝“10”)。在这种情况下，显示定义段中的“display_width”和“display_height”字段(见图4)指示图11(a)中所示的UHD显示区。该UHD显示区的起点的坐标为(0，0)，其终点的坐标为(x，y)。在这种情况下，“display_width”＝UHD_h,且“display_height”＝UHD_v。在这种情况下，显示定义段的“display_window_flag”字段(见图4)为“0”，而且没有指示窗口面积的字段。
在这种情况下，如图11(a)所示，由页组合段的“region_horizontal_address”和“region_vertical_address”字段(见图6)指示的区域的起点位置的坐标假定UHD显示区的起点的坐标(0，0)为基点。
此处，如图11(b)中所示表示区域A和区域B中每一个的显示起始位置(渲染起始位置)和显示结束位置(渲染结束位置)。在区域A和区域B被显示在具有UHD分辨率的背景视频上的情况下，不必执行到UHD坐标系的转换(位置转换)，因为区域A和区域B已经在UHD坐标系中。
随后，将描述第一方法的情况(“display_positioning_type”＝“00”)。在这种情况下，显示定义段中的“display_width”和“display_height”字段(见图4)指示图12(a)中所示的HD显示区。该HD显示区的起点的坐标为(0，0)，其终点的坐标为(x，y)。在这种情况下，“display_width”＝HD_h,且“display_height”＝HD_v。在这种情况下，显示定义段的“display_window_flag”字段(见图4)为“0”，而且没有指示窗口面积的字段。
在这种情况下，如图12(a)所示，由页组合段的“region_horizontal_address”和“region_vertical_address”字段(见图6)指示的区域的起点位置的坐标假定HD显示区的起点的坐标(0，0)为基点。
此处，如图12(b)中所示表示区域A和区域B中每一个的显示起始位置(渲染起始位置)和显示结束位置(渲染结束位置)。在区域A和区域B被显示在具有UHD分辨率的背景视频上的情况下，区域A和区域B到UHD坐标系的转换(位置转换)是必要的。在这种情况下，以UHD分辨率与HD分辨率的比率m为基础进行到UHD坐标系的转换(位置转换)(例如，当UHD分辨率为4K时，m＝2，而当UHD分辨率为8K时，m＝4)。注意，可从视频流的参数设置(SPS)检测到关于视频的UHD分辨率的信息。
往回参考图3，系统编码器109生成包括由视频编码器105生成的视频流VS和由字幕编码器108或字幕编码器113生成的字幕流SS的传输流TS。发送单元110在广播波上或者在网络分组中将该传输流TS发送至接收装置200。
此时，系统编码器109将识别信息插入作为容器的传输流TS的层。该识别信息指示字幕的位置指定方法。具体地，系统编码器109将识别信息插在事件信息表(EIT)、服务描述表(SDT)、选择信息表(SIT)等等下面的分量描述符(Component_descriptor)中。
图13(a)示出针对这种情况的分量描述符的典型结构(语法)。图13(b)示出该典型结构中主信息的内容(语义Semantics)。8比特的“descriptor_tag”字段指示描述符类型，此处该字段被设置为“0x50”，指示分量描述符。8比特的“descriptor_length”字段指示描述符的长度(尺寸)，该字段将随后的字节数指示为描述符的长度。
2比特的“display_positioning_type”字段指示字幕的位置指定方法。“00”指示第一方法，即，以HD像素为单位在HD显示区中指定位置的方法。“01”指示第二方法，即，在UHD显示区中以窗口限定HD显示区，并且在该窗口的显示区中指定位置的方法。“10”指示第三方法，即，以UHD像素为单位在UHD显示区中指定位置的方法。4比特的“stream_content”字段指示流的类型。此处设置为“0x03”，指示DVB字幕。
“传输流TS的典型配置”
图14示出传输流TS的典型配置。在该典型配置中，存在由PID1指示的针对视频流的PES分组“视频PES1”。此外，在该典型配置中，存在由PID2指示的针对视频流的PES分组“视频PES2”。
将视频编码流插入针对视频流的PES分组中。此外，将包括字幕的位图数据和显示控制信息的各种段插入针对字幕流的PES分组。指示字幕的位置指定方法的识别信息包含在显示定义段(DDS)中(见图4)。
此外，传输流TS包括作为节目特定信息(PSI)的节目映射表(PMT)。PSI为描述包含在传输流中的每个基本流属于哪个节目的信息。在PMT中，存在描述与整个节目有关的信息的节目回路(Program loop)。
此外，在PMT中，存在有与各自的基本流有关的信息的基本流回路。在该典型配置中，存在对应于视频流的视频基本流回路(视频ES回路video ES loop)和对应于字幕流的字幕流基本回路(字幕ES回路Subtitle ES loop)。
不仅是诸如对应于视频流的视频类型和分组标识符(PID)等信息被安排在视频基本流回路(video ES loop)中，描述与该视频流有关的信息的描述符也被安排在视频基本流回路中。该视频流的“Stream_type”的值被设置为，例如，指示HEVC视频流的值“0x24”。PID信息指示PID1被加在针对视频数据的哪个PES分组“视频PES1”上。
不仅是诸如对应于字幕流的字幕类型和分组标识符(PID)等信息被安排在字幕流基本回路(Subtitle ES loop)中，描述与该字幕流有关的信息的描述符也被安排在字幕基本流回路中。该视频流的“Stream_type”的值被设置为，例如，指示私有流的值。PID信息指示PID2，PID2被加在针对字幕流的PES分组“字幕PES2”上。
此外，传输流TS包括作为服务信息(SI)的事件信息表(EIT)，事件信息表实施对每个事件的管理。在该EIT中，描述每个节目的元数据。在该EIT下面，插入分量描述符(Component_descriptor)(见图13(a))。该分量描述符包括指示字幕的位置指定方法的识别信息。
注意，传输流TS还包括服务描述表(SDT)和选择信息表(SIT)。在SDT中，描述诸如组织频道的名称和广播员的姓名等关于组织频道的信息。在SIT中，描述部分TS的信息和关于要在流中发送的服务和事件的信息。在某些情况下，在这些表下面插入分量描述符。
下面简要描述图3中所示的发送装置100的操作。将由相机102捕获并获得的具有UHD分辨率的视频数据(图像数据)提供给视频光电转换单元103。在视频光电转换单元103中，由相机102获得的视频数据被光电转换，通过该操作获得发送视频数据V1。
在RGB/YCbCr转换单元104中，将视频光电转换单元103中所获得的发送视频数据V1从RGB域转换至YCbCr(亮度和色度)域，随后将它们提供给视频编码器105。在视频编码器105中，在该发送视频数据V1上执行例如MPEG4-AVC或HEVC的编码处理，通过该操作生成包括编码的视频数据的视频流(PES流)VS。
在字幕生成单元106中，生成文本数据(字符编码)DT作为字幕信息。该文本数据DT被提供给位图数据生成单元107。在位图数据生成单元107中，以文本数据DT为基础生成字幕的位图数据。
字幕的位图数据被提供给字幕编码器108。在字幕编码器108中，字幕的位图数据和显示控制信息被转化为各种段，通过该操作生成包括PES分组的字幕流SS，其中这些段被安排在PES分组的载荷中。
在这种情况下，关于字幕分辨率的信息(“display_width”,“display_height”)包含在显示定义段(DDS)中(见图4)。此外，在该DDS中，还包括指示字幕的位置指定方法的识别信息(“display_positioning_type”)。
此外，在识别信息指示第二方法(在UHD显示区中以窗口限定HD显示区，并且在该窗口的显示区中指定位置的方法)的情况下，该DDS包括指示窗口的面积的信息(“display_window_horizontal_position_minimum”,“display_window_horizontal_position_maximum”,“display_window_vertical_position_minimum”,“display_window_vertical_position_maximum”)。
此外，页组合段(PCS)中包括区域的起始位置的坐标(“region_horizontal_address”,“region_vertical_address”)(见图6)。在识别信息指示第二方法(在UHD显示区中以窗口限定HD显示区，并且在该窗口的显示区中指定位置的方法)的情况下，这些坐标假定窗口的起点坐标(sfx，sfy)为基点(见图9)。
此外，在识别信息为第三方法(以UHD像素为单位在UHD显示区中指定位置的方法)的情况下，这些坐标假定UHD显示区的起点的坐标(0，0)为基点(见图11)。此外，在识别信息指示第一方法(以HD像素为单位在HD显示区中指定位置的方法)的情况下，这些坐标假定UHD显示区的起点的坐标(0，0)为基点(见图12)。
此外，区域组合段(RCS)中包括指示区域的水平和竖直尺寸的信息(“region_width”,“resion_height”)(见图7)。
将视频编码器105中生成的视频流VS提供给系统编码器109。将字幕编码器108中生成的字幕流提供给系统编码器109。在系统编码器109中，生成包括视频流VS和字幕流SS的传输流TS。
此时，在系统编码器109中的EIT、SDT、SIT等等的下面插入有指示字幕的位置指定方法的识别信息(“display_positioning_type”)的分量描述符(Component_descriptor)(见图13)。在广播波上或者在网络分组中将系统编码器109中生成的传输流TS从发送单元110发送至接收装置200。
“接收装置的典型配置”
图15示出接收装置200的典型配置。该接收装置200包括控制单元201、接收单元202、系统解码器205、视频解码器204、字幕解码器205、位置转换单元206、以及尺寸转换单元207。此外，接收装置200还包括视频叠加单元208、YCbCr/RGB转换单元209、电-光转换单元210、显示映射单元211、CE监控器212和用户操作单元213。
控制单元201包括中央处理单元(CPU)，并且以控制程序为基础控制接收装置200的每个单元的操作。用户操作单元213是开关、触摸板、远程控制发送单元，或者是为了诸如观众等用户执行各种操作的设备等等。
接收单元202在广播波上或者在网络分组中接收从发送装置100发送的传输流TS。系统解码器203从该传输流TS中提取视频流VS和字幕流SS。
此外，系统解码器203提取被插入传输流TS(容器)的各种信息，并且将该信息发送至控制单元201。所提取的信息还包括其中描述识别信息(“display_positioning_type”)的分量描述符(见图13)。识别信息指示字幕的位置指定方法。控制单元201以这种方式确认字幕的位置指定方法。
视频解码器204在由系统解码器203提取的视频流上执行解码处理，并且输出具有UHD分辨率的发送视频数据V1。如上所述，UHD分辨率超过HD分辨率并且包括4K分辨率或者8K分辨率。此外，由视频解码器204提取被插入组成视频流VS的每个接入单元的参数设置和SEI消息，并将它们发送至控制单元201。
字幕解码器205在字幕流SS上执行解码处理以获得字幕的位图数据(颜色分量数据)以及关于字幕和背景视频的混合比率信息(混合数据)。注意，字幕流SS包括作为字幕数据的字幕的位图数据，且该位图数据被发送至CLUT。因此，通过利用以CLUT定义段(CLUT_definition_segment)(见图8)为基础构成的CLUT获得以像素为单元的位图数据(颜色分量数据)和混合比率信息(混合数据)。
此外，由字幕解码器205提取被插入显示定义段(DDS)的指示字幕的位置指定方法的识别信息(“display_positioning_type”)，并将其发送至控制单元201。控制单元201以这种方式确认字幕的位置指定方法。
位置转换单元206，连同字幕解码器205一起构成位图数据获得单元。在控制单元201的控制下，位置转换单元206根据识别信息(“display_positioning_type”)所指示的字幕的位置指定方法，在字幕解码器205所获得的位图数据(颜色分量数据)和混合比率信息(混合数据)上执行转换字幕的位置的处理。
此处，在“display_positioning_type”＝“01”指示第二方法的情况下，区域的位置坐标被确认为从窗口的基点(sfx,sfy)的偏移像素值，并且被转换为UHD显示区的坐标，该UHD显示区是整个显示区(见图9(a)和图9(b))。通过将关于窗口的基点的位置信息增加至区域的位置坐标(见图9(c))执行这种转换。此处，“regionA_width”＝W1,“regionA_height”＝h1,“regionB_width”＝W2,且“regionB_height”＝h2。
此外，在“display_positioning_type”＝“10”指示第三方法的情况下，区域的位置坐标被确认为从UHD显示区的基点(0,0)的偏移像素值(见图11(a))。在这种情况下，因为区域的位置坐标已经是UHD显示区的坐标，所以不执行坐标的转换(见图11.(b))。此处，“regionA_width”＝W1,“regionA_height”＝h1,“regionB_width”＝W2,且“regionB_height”＝h2。
此外，在“display_positioning_type”＝“00”指示第一方法的情况下，区域的位置坐标被确认为从HD显示区的基点(0,0)的偏移像素值(见图12(a))。在这种情况下，因为区域的位置坐标是HD显示区的坐标，因此根据与视频的图像帧的关系，以UHD分辨率与HD分辨率的比率m为基础，将区域的坐标转换为UHD显示区的坐标(见图12(b))。此处，“regionA_width”＝W1,“regionA_height”＝h1,“regionB_width”＝W2,且“regionB_height”＝h2。
图16中的流程图示出位置转换单元206中位置转换处理的实例。注意，此处控制单元201中相关的处理也被描述为位置转换单元206中的处理。
位置转换单元206首先在步骤ST1开始处理。接着，位置转换单元206在步骤ST2检测视频的图像帧，即，视频的分辨率。注意，可从视频流的参数设置(SPS)检测有关视频的分辨率的信息。此外，在该步骤ST2中，位置转换单元206也检测字幕的分辨率，即，字幕的显示区。可从显示定义段(DDS)检测字幕的显示区(display_width,display_height)(见图4)。
随后，位置转换单元206在步骤ST3确定视频的分辨率是否为UHD分辨率。如果确定分辨率不是UHD分辨率，则位置转换单元206在步骤ST4结束处理。另一方面，如果确定分辨率是UHD分辨率，则位置转换单元206继续进行步骤ST5中的处理。在本实施例中，因为视频的分辨率是UHD分辨率，所以位置转换单元继续进行步骤ST5中的处理。在该步骤ST5中，位置转换单元206检测识别信息(“display_positioning_type”)。
随后，位置转换单元206在步骤ST6中确定“display_positioning_type”＝“01”是否为真。在“display_positioning_type”＝“01”指示第二方法的情况下，位置转换单元206在继续进行步骤ST7中的处理。
在该步骤ST7中，位置转换单元206确认区域的位置坐标为从窗口的基点(sfx,sfy)的偏移像素值，并且将位置坐标转换为是整个显示区的UHD显示区(见图9(a)和9(b))。在这种情况下，通过将有关窗口的基点的信息添加至区域的位置坐标执行转换(见图9(c))。在步骤ST4中，位置转换单元206结束步骤ST7中的处理之后的处理。
此外，如果在步骤ST6中确定“display_positioning_type”＝“01”不为真，则位置转换单元206在步骤ST8中继续进行处理。在该步骤ST8中，确定“display_positioning_type”＝“10”是否为真。在“display_positioning_type”＝“10”指示第三方法的情况下，位置转换单元206继续进行步骤ST9中的处理。
在该步骤ST9中，位置转换单元206确认区域的位置坐标为从UHD显示区的基点(0,0)的偏移像素值(见图11(a))。在这种情况下，因为区域的位置坐标已经是UHD显示区的坐标，所以位置转换单元206不执行坐标的转换(见图11(b))。在步骤ST4中，位置转换单元206结束步骤ST9中的处理之后的处理。
此外，如果在步骤ST8中确定“display_positioning_type”＝“10”不为真，则位置转换单元206继续进行步骤ST10中的处理。在该步骤ST10中，确定“display_positioning_type”＝“00”是否为真。如果确定“display_positioning_type”＝“00”不为真，则位置转换单元206在步骤ST4中结束处理。另一方面，如果确定“display_positioning_type”＝“00”为真，则位置转换单元206继续进行步骤ST11中的处理。
在该步骤ST11中，位置转换单元206确认区域的位置坐标为从HD显示区的基点(0，0)的偏移像素值(见图12(a))。在这种情况下，因为区域的位置坐标为HD显示区的坐标，所以位置转换单元206根据与视频的图像帧的关系，以UHD分辨率与HD分辨率的比率m将区域的位置坐标转换为UHD显示区的坐标(见图12(b))。在步骤ST4中，位置转换单元206结束在步骤ST11中的处理之后的处理。
往回参考图15，例如，响应于诸如观众的用户的操作，或者自动根据视频的分辨率与字幕的分辨率之间的关系，尺寸转换单元207在从位置转换单元206输出的字幕的位图数据(颜色分量数据)和混合比率信息(混合数据)上执行转换字幕的尺寸的处理。
如图17(a)所示，确定从显示区的中心位置(dc：显示中心)到区域(region)的中心位置的距离，即，在水平和竖直方向上该区域被分成两部分的点(区域中心位置：rc)与视频的分辨率成比例。例如，在假定视频的分辨率为HD，且从说明文字的显示区的中心位置dc定义区域的中心位置rc，控制该位置以便在视频的分辨率为4K(＝3840×2160)的情况下，使从dc到rc的距离内像素的数量加倍。
如图17(b)所示，在区域(Region)的尺寸从r_org(Region 00)变为r_mod(Region01)的情况下，起始位置(rsx1,rsy1)和结束位置(rex1,rey1)分别被修改为起始位置(rsx2,rsy2)和结束位置(rex2,rey2)，以便满足Ratio＝(r_mod/r_org)。
换句话说，使从rc到(rsx2,rsy2)的距离与从rc到(rsx1,rsy1)的距离之比，以及从rc到(rex2,rey2)的距离与从rc到(rex1,rey1)的距离之比和Ratio一致。即使在尺寸转换之后，这种配置也可保持区域的中心位置rc不变。这样，就有可能在整个显示区中保持相对位置关系一致的同时，转换字幕(区域region)的尺寸。
往回参考图15，视频叠加单元208将字幕的位图数据(颜色分量数据)叠加在由视频解码器204获得的发送视频数据V1上，其中已经通过位置转换单元206和尺寸转换单元207获得该位图数据。在这种情况下，视频叠加单元208以混合比率信息所指示的混合比率混合字幕的位图数据(混合数据)。
YCbCr/RGB转换单元209将其上叠加了字幕的位图数据的发送视频数据V1’从YCbCr(亮度和色调)域转换至RGB域。电-光转换单元210通过应用与应用于发送视频数据V1’的光电转换特性对应的电-光转换特性，在已经被转换至RGB域的发送视频数据V1’上执行电-光转换，并且获得为了显示图像而要显示的视频数据。
显示映射单元211在要显示的视频数据上执行对应于最大亮度显示能力或者与CE监控器212一样的显示亮度调节。CE监控器212以要显示的视频数据为基础显示图像。该CE监控器212的实例包括液晶显示器(LCD)和有机电致发光显示器(有机EL显示器)。
下面将简要描述图15中所示的接收装置200。在接收单元202中，在广播波或者网络分组中接收从发送装置100发送传输流TS。将该传输流TS提供给系统解码器203。在系统解码器203中，从传输流TS中提取视频流VS和字幕流SS。
此外，在系统解码器203中，提取被插入传输流TS(容器)中的各种信息并将其发送至控制单元201。所提取的信息也包括其中描述识别信息(“display_positioning_type”)的分量描述符(见图13)。识别信息指示字幕的位置指定方法。通过该配置，在控制单元201中确认字幕的位置指定方法。
将在系统解码器203中提取的视频流VS提供给视频解码器204。在视频解码器204中，在视频流VS上执行解码处理，通过该处理获得发送视频数据V1。此外，在视频解码器204中，提取被插入组成视频流的每个接入单元的参数设置和SEI消息并将其发送至控制单元201。
将在系统解码器203中所提取的字幕流SS提供给字幕解码器205。在字幕解码器205中，在字幕流SS上执行解码处理，通过该处理获得字幕的位图数据(颜色分量数据)以及关于字幕和背景视频的混合比率信息(混合数据)。
此外，在字幕解码器205中，提取被插入显示定义段(DDS)的指示字幕的位置指定方法的识别信息(“display_positioning_type”)并将其发送至控制单元201。通过该配置，在控制单元201中确认字幕的位置指定方法。
将从字幕解码器205输出的字幕的位图数据和混合比率信息提供给位置转换单元206。在控制单元201的控制下，该位置转换单元206根据识别信息(“display_positioning_type”)所指示的字幕的位置指定方法，在字幕的位图数据和混合比率信息上执行转换字幕的位置的处理。
将从位置转换单元206输出的位图数据和混合比率信息提供给尺寸转换单元207。例如，响应于诸如观众的用户的操作，或者自动根据视频的分辨率与字幕的分辨率之间的关系，在该尺寸转换单元207中，对字幕的位图数据和混合比率信息执行转换字幕的尺寸的处理。
将视频解码器204中获得的发送视频数据V1提供给视频叠加单元208。此外，将通过位置转换单元206和尺寸转换单元207获得的字幕的位图数据和混合比率信息提供给视频叠加单元208。在视频叠加单元208中，将字幕的位图数据叠加在发送视频数据V1上。在这种情况下，以混合比率信息所指示的混合比率混合字幕的位图数据。
将在其上叠加了位图数据的发送视频数据V1’提供给YCbCr/RGB转换单元209。在该YCbCr/RGB转换单元209中，将发送视频数据V1’从YCbCr(亮度和色度)域转换至RGB域，并且将其提供给电-光转换单元210。在电-光转换单元210中，通过应用与应用于发送视频数据V1’的光电转换特性对应的电-光转换特性，在发送视频数据V1’上执行电-光转换，通过该处理获得要显示的视频数据。该要显示的视频数据是为了显示图像。
将要显示的视频数据提供给显示映射单元211。在显示映射单元211中，在要显示的视频数据上执行对应于最大亮度显示能力或者和CE监控器212一样的显示亮度调节。将在其上以这种方式执行了显示亮度调节的要显示的视频数据提供给CE监控器212。以该要显示的视频为基础在CE监控器212上显示图像。
如上所述，如果在图1所示的发送和接收系统10中，字幕的分辨率为HD分辨率并且不匹配视频的UHD分辨率，则接收装置200执行转变字幕的位置的处理。相应地，可在背景视频的适当位置上显示字幕。
此外，在图1中的发送和接收系统10中，接收装置200通过在字幕流上执行对应于识别信息所指示的位置指定方法的处理获得用于显示的字幕的位图数据。因此，即使在字幕的分辨率为HD分辨率并且不匹配视频的UHD分辨率的情况下，也有可能在背景视频的适当的位置上显示字幕。
此外，在图1中的发送和接收系统10中，发送装置100发送被插入字幕流SS的层和/或作为容器的传输流TS的层的识别信息。该识别信息指示字幕的位置指定方法。因此，在接收方，在字幕流上执行对应于由该识别信息指示的位置指定方法的处理，通过该处理获得用于显示的字幕的位图数据。这样，就可令人满意地在视频上叠加和显示字幕。
<2.修改>
注意，以上所描述的实施例已经给出转换字幕的位置等等的实例。本技术也可类似地应用于在视频上叠加并显示图形或者其他类似信息的情况。
此外，以上所描述的实施例已经给出容器为MPEG-2TS的实例。然而，本技术并不局限于容器为MPEG-2TS，而是例如可被类似地应用于诸如ISOBMFT和MMT等其他分组的情况。
此外，本技术还可以有如下配置：
(1)一种接收装置，包括：
接收单元，被配置为接收包括有UHD分辨率的视频数据的视频流和有字幕数据的字幕流的预定格式的容器；
视频解码单元，被配置为通过在视频流上执行解码处理获得视频数据；
字幕解码单元，被配置为通过在字幕流上执行解码处理获得字幕的位图数据；
位置转换单元，被配置在字幕的分辨率不匹配UHD分辨率的情况下，在字幕的位图数据上执行转换字幕的位置的处理；以及
视频叠加单元，被配置为在视频数据上叠加已经被执行转换位置的处理的字幕的位图数据。
(2)根据上述(1)所述的接收装置，
其中UHD分辨率超过HD分辨率并且包括4K分辨率或者8K分辨率。
(3)根据上述(1)或(2)所述的接收装置，进一步包括：
尺寸转换单元，介于位置转换单元和视频叠加单元之间，并且被配置为在已经被执行转换位置的处理的字幕的位图数据上执行转换字幕的尺寸的处理。
(4)一种接收方法，包括：
接收步骤，由接收单元接收包括有UHD分辨率的视频数据的视频流和有字幕数据的字幕流的预定格式的容器；
视频解码步骤，通过在视频流上执行解码处理获得视频数据；
字幕解码步骤，通过在字幕流上执行加密处理获得字幕数据；
位置转换步骤，在字幕的分辨率不匹配UHD分辨率的情况下，在字幕的位图数据上执行转换字幕的位置的处理；以及
视频叠加步骤，在视频上叠加已经被执行转换位置的处理的字幕的位图数据。
(5)一种接收装置，包括：
接收单元，被配置为接收包括有UHD分辨率的视频数据的视频流和有字幕数据的字幕流的预定格式的容器；
视频解码单元，被配置为通过在视频流上执行解码处理获得视频数据；
位图数据获得单元，被配置为基于字幕流获得用于显示的字幕的位图数据；以及
视频叠加单元，被配置为在视频数据上叠加已经获得的用于显示的字幕的位图数据，
其中指示字幕的位置指定方法的识别信息被插入字幕流的层和/或容器的层，并且
位图数据获得单元通过在字幕流上执行对应于识别信息所指示的位置指定方法的处理获得用于显示的字幕的位图数据。
(6)根据上述(5)所述的接收装置，
其中如果识别信息所指示的位置指定方法为以HD像素为单位在HD显示区中指定位置的方法，则位图获得单元在字幕流上执行解码处理以获得字幕的位图数据，并且基于UHD分辨率与HD分辨率的比率在位图数据上执行位置转换处理以获得用于显示的字幕的位图数据。
(7)根据以上(5)或(6)所述的接收装置，
其中，如果识别信息所指示的位置指定方法为在UHD显示区中以窗口限定HD显示区，并且在该窗口的显示区中指定位置的方法，则位图数据获得单元在字幕流上执行解码处理以获得字幕的位图数据，并且基于窗口的显示区上的信息获得用于显示的字幕的位图数据。
(8)根据以上(5)至(7)中任何一个所述的接收装置，
其中如果识别信息所指示的位置指定方法为以UHD像素为单位在UHD显示区中指定位置的方法，则位图数据获得单元在字幕流上执行解码处理以获得字幕的位图数据，并且用该位图数据作为用于显示的字幕的位图数据。
(9)根据以上(5)至(8)中任何一个所述的接收装置，进一步包括：
字幕处理单元，介于位图获得单元和视频叠加单元之间，并且被配置为在已经由位图数据获得单元获得的字幕的位图数据上执行转换字幕的尺寸的处理。
(10)一种接收方法，包括：
接收步骤，由接收单元接收包括有UHD分辨率的视频数据的视频流和有字幕数据的字幕流的预定格式的容器；
视频解码步骤，通过在视频流上执行解码处理获得视频数据；
位图数据获得步骤，基于字幕流获得用于显示的字幕的位图数据；以及
视频叠加步骤，在视频上叠加已经被执行转换位置的处理的字幕的位图数据，
其中指示字幕的位置指定方法的识别信息被插入字幕流的层和/或容器的层，并且
位图数据获得步骤通过在字幕流上执行对应于的识别信息所指示的位置指定方法的处理获得用于显示的字幕的位图数据。
(11)一种发送装置，包括：
发送单元，被配置为发送包括有UHD分辨率的视频数据的视频流和有字幕数据的字幕流的预定格式的容器；以及
信息插入单元，被配置为将指示字幕的位置指定方法的识别信息插入字幕流的层和/或容器的层。
(12)根据以上(11)所述的发送装置，
其中字幕的位置指定方法包括以HD像素为单位在HD显示区中指定位置的方法。
(13)根据以上(11)或(12)所述的发送装置，
其中字幕的位置指定方法包括在UHD显示区中以窗口限定HD显示区，并且在该窗口的显示区中指定位置的方法。
(14)根据以上(11)至(13)中任何一个所述的发送装置，
其中字幕的位置指定方法包括以UHD像素为单位在UHD显示区中指定位置的方法。
(15)根据以上(11)至(14)中任何一个所述的发送装置，
其中信息插入单元将识别信息插在事件信息表、服务描述表或者选择信息表中。
(16)根据以上(11)至(15)中任何一个所述的发送装置，
其中信息插入单元将识别信息插入显示定义段。
(17)一种发送方法，包括：
发送步骤，从发送单元发送包括有UHD分辨率的视频数据的视频流和有字幕数据的字幕流的预定格式的容器；以及
信息插入步骤，将指示字幕的位置指定方法的识别信息插入字幕流的层和/或容器的层。
(18)一种接收装置，包括：
接收单元，被配置为接收包括有UHD分辨率的视频数据的视频流和有图形数据的图形流的预定格式的容器；
视频解码单元，被配置为通过在视频流上执行解码处理获得视频数据；
图形解码单元，被配置为通过在图形流上执行解码处理获得图形的位图数据；
位置转换单元，被配置在图形的分辨率不匹配UHD分辨率的情况下，在图形的位图数据上执行转换图形位置的处理；以及
视频叠加单元，被配置为在视频数据上叠加已经被执行转换位置的处理的图形的位图数据。
(19)一种接收装置，包括：
接收单元，被配置为接收包括有UHD分辨率的视频数据的视频流和有图形数据的图形流的预定格式的容器；
视频解码单元，被配置为通过在视频流上执行解码处理获得视频数据；
位图数据获得单元，被配置为通过在图形流上执行解码处理获得图形的位图数据；以及
视频叠加单元，被配置为在视频数据上叠加已经获得的图形的位图数据，
其中，指示图形的位置指定方法的识别信息被插入图形流的层和/或容器的层，并且
位图数据获得单元通过在图形流上执行对应于识别信息所指示的位置指定方法的处理获得用于显示的图形的位图数据。
(20)一种发送装置，包括：
发送单元，被配置为发送包括有UHD分辨率的视频数据的视频流和有图形数据的图形流的预定格式的容器；以及
信息插入单元，被配置为将指示图形的位置指定方法的识别信息插入图形流的层和/或容器的层。
本技术的主要特征是，在字幕的分辨率不匹配视频的UHD分辨率的情况下，对字幕的转换位置的处理能够在背景视频的适当位置上显示字幕(见图15)。此外，本技术的主要特征是，即使在字幕的分辨率为HD分辨率且不匹配视频的UHD分辨率的情况下，通过执行对应于字幕流中识别信息所指示的位置指定方法的处理获得字幕的位图数据，也能够在背景视频的适当位置上显示字幕(见图16)。
参考符号列表
10 发送和接收系统
100 发送装置
101 控制单元
102 相机
103 视频光电转换单元
104 RGB/YCbCr转换单元
105 视频编码器
106 字幕生成单元
107 位图数据生成单元
108 字幕编码器
109 系统编码器
110 发送单元
200 接收装置
201 控制单元
202 接收单元
203 系统解码器
204 视频解码器
205 字幕解码器
206 位置转换单元
207 尺寸转换单元
208 视频叠加单元
209 YCbCr/RGB 转换单元
210 电-光转换单元
211 显示映射单元
212 CE监控器
213 用户操作单元

Claims (20)

1.一种接收装置，包括：
接收单元，被配置为接收包括有UHD分辨率的视频数据的视频流和有字幕数据的字幕流的预定格式的容器；以及
控制单元，被配置为控制：
通过解码所述视频流获得所述视频数据的视频解码处理；
通过解码所述字幕流获得字幕的位图数据的字幕解码处理；
在所述字幕的分辨率不匹配所述UHD分辨率的情况下，在字幕的所述位图数据上执行转换所述字幕的位置的处理的位置转换处理；以及
在所述视频数据上叠加已经被执行转换位置的处理的字幕的所述位图数据的视频叠加处理。
2.根据权利要求1所述的接收装置，
其中所述UHD分辨率超过HD分辨率并且包括4K分辨率或者8K分辨率。
3.根据权利要求1所述的接收装置，
其中，所述控制单元进一步控制在已经被执行转换位置的处理的字幕的所述位图数据上执行转换所述字幕的尺寸的处理的尺寸转换处理，以及
所述视频叠加处理在所述视频数据上叠加已经被执行转换尺寸的处理的字幕的所述位图数据。
4.一种接收方法，包括：
接收步骤，由接收单元接收包括有UHD分辨率的视频数据的视频流和有字幕数据的字幕流的预定格式的容器；
视频解码步骤，通过在所述视频流上执行解码处理获得所述视频数据；
字幕解码步骤，通过在所述字幕流上执行解码处理获得字幕的位图数据；
位置转换步骤，在所述字幕的分辨率不匹配所述UHD分辨率的情况下，在字幕的所述位图数据上执行转换所述字幕的位置的处理；以及
视频叠加步骤，在所述视频数据上叠加已经被执行转换位置的处理的字幕的所述位图数据。
5.一种接收装置，包括：
接收单元，被配置为接收包括有UHD分辨率的视频数据的视频流和有字幕数据的字幕流的预定格式的容器；以及
控制单元，被配置为控制：
通过解码所述视频流获得所述视频数据的视频解码处理；
基于所述字幕流获得用于显示的字幕的位图数据的位图数据获得处理；以及
在所述视频数据上叠加已经获得的用于显示的字幕的所述位图数据的视频叠加处理，
其中，指示字幕的位置指定方法的识别信息被插入所述字幕流的层和/或所述容器的层，并且
所述位图数据获得处理通过在所述字幕流上执行对应于所述识别信息所指示的所述位置指定方法的处理获得用于显示的字幕的所述位图数据。
6.根据权利要求5所述的接收装置，
其中，如果所述识别信息所指示的所述位置指定方法为以HD像素为单位在HD显示区中指定位置的方法，则所述位图数据获得处理解码所述字幕流以获得字幕的位图数据，并且基于所述UHD分辨率与HD分辨率的比率，在所述位图数据上执行位置转换处理以获得用于显示的字幕的所述位图数据。
7.根据权利要求5所述的接收装置，
其中，如果所述识别信息所指示的所述位置指定方法为在UHD显示区中以窗口限定HD显示区，并且在窗口的显示区中指定位置的方法，则所述位图数据获得处理解码所述字幕流以获得字幕的位图数据，并且基于所述窗口的显示区上的信息对所述位图数据执行位置转换处理以获得用于显示的字幕的所述位图数据。
8.根据权利要求5所述的接收装置，
其中，如果所述识别信息所指示的所述位置指定方法为以UHD像素为单位在UHD显示区中指定位置的方法，则所述位图数据获得处理解码所述字幕流以获得字幕的位图数据，并且用所述位图数据作为用于显示的字幕的所述位图数据。
9.根据权利要求5所述的接收装置，
其中，所述控制单元进一步控制在已经由所述位图数据获得处理获得的字幕的所述位图数据上执行转换字幕的尺寸的处理的字幕处理，以及
所述视频叠加处理在所述视频数据上叠加已经被执行转换尺寸的处理的字幕的所述位图数据。
10.一种接收方法，包括：
接收步骤，由接收单元接收包括有UHD分辨率的视频数据的视频流和有字幕数据的字幕流的预定格式的容器；
视频解码步骤，通过在所述视频流上执行解码处理获得所述视频数据；
位图数据获得步骤，基于所述字幕流获得用于显示的字幕的位图数据；以及
视频叠加步骤，在所述视频数据上叠加已经获得的字幕的所述位图数据，
其中，指示字幕的位置指定方法的识别信息被插入所述字幕流的层和/或所述容器的层，并且
所述位图数据获得步骤通过在所述字幕流上执行对应于所述识别信息所指示的所述位置指定方法的处理获得用于显示的字幕的所述位图数据。
11.一种发送装置，包括：
发送单元，被配置为发送包括有UHD分辨率的视频数据的视频流和有字幕数据的字幕流的预定格式的容器；以及
信息插入单元，被配置为将指示字幕的位置指定方法的识别信息插入所述字幕流的层和/或所述容器的层。
12.根据权利要求11所述的发送装置，
其中，字幕的所述位置指定方法包括以HD像素为单位在HD显示区中指定位置的方法。
13.根据权利要求11所述的发送装置，
其中，字幕的所述位置指定方法包括在UHD显示区中以窗口限定HD显示区，并且在窗口的显示区中指定位置的方法。
14.根据权利要求11所述的发送装置，
其中，字幕的所述位置指定方法包括以UHD像素为单位在UHD显示区中指定位置的方法。
15.根据权利要求11所述的发送装置，
其中，所述信息插入单元将所述识别信息插在事件信息表、服务描述表或者选择信息表中。
16.根据权利要求11所述的发送装置，
其中，所述信息插入单元将所述识别信息插入显示定义段。
17.一种发送方法，包括：
发送步骤，从发送单元发送包括有UHD分辨率的视频数据的视频流和有字幕数据的字幕流的预定格式的容器；以及
信息插入步骤，将指示字幕的位置指定方法的识别信息插入所述字幕流的层和/或所述容器的层。
18.一种接收装置，包括：
接收单元，被配置为接收包括有UHD分辨率的视频数据的视频流和有图形数据的图形流的预定格式的容器；以及
控制单元，被配置为控制：
通过解码所述视频流获得所述视频数据的视频解码处理；
通过解码所述图形流获得图形的位图数据的图形解码处理；
在所述图形的分辨率不匹配UHD分辨率的情况下，在图形的所述位图数据上执行转换图形位置的处理的位置转换处理；
在所述视频数据上叠加已经被执行转换位置的处理的图形的所述位图数据的视频叠加处理。
19.一种接收装置，包括：
接收单元，被配置为接收包括有UHD分辨率的视频数据的视频流和有图形数据的图形流的预定格式的容器；以及
控制单元，被配置为控制：
通过解码所述视频流获得所述视频数据的视频解码处理；
基于所述图形流获得用于显示的图形的位图数据的位图数据获得处理；以及
在所述视频数据上叠加已经获得的图形的所述位图数据的视频叠加处理，
其中，指示图形的位置指定方法的识别信息被插入所述图形流的层和/或所述容器的层，并且
所述位图数据获得处理通过在所述图形流上执行对应于所述识别信息所指示的位置指定方法的处理获得用于显示的图形的所述位图数据。
20.一种发送装置，包括：
发送单元，被配置为发送包括有UHD分辨率的视频数据的视频流和有图形数据的图形流的预定格式的容器；以及
信息插入单元，被配置为将指示图形的位置指定方法的识别信息插入所述图形流的层和/或所述容器的层。
CN201680038735.0A 2015-07-09 2016-07-05 接收装置、接收方法、发送装置和发送方法 Pending CN107852525A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015138178 2015-07-09
JP2015-138178 2015-07-09
PCT/JP2016/069953 WO2017006948A1 (ja) 2015-07-09 2016-07-05 受信装置、受信方法、送信装置および送信方法

Publications (1)

Publication Number Publication Date
CN107852525A true CN107852525A (zh) 2018-03-27

Family

ID=57685673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680038735.0A Pending CN107852525A (zh) 2015-07-09 2016-07-05 接收装置、接收方法、发送装置和发送方法

Country Status (8)

Country Link
US (1) US10575062B2 (zh)
EP (1) EP3322193A4 (zh)
JP (1) JPWO2017006948A1 (zh)
CN (1) CN107852525A (zh)
AU (1) AU2016289048B2 (zh)
CA (1) CA2991102A1 (zh)
MX (1) MX2017016589A (zh)
WO (1) WO2017006948A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113286104A (zh) * 2021-05-14 2021-08-20 深圳市快视电子有限公司 一种基于4k60视频信号叠加动态字符及图片处理系统
CN113597640A (zh) * 2019-03-25 2021-11-02 索尼集团公司 图像处理设备、图像处理方法和显示设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107592565A (zh) * 2017-09-29 2018-01-16 深圳市前海手绘科技文化有限公司 一种视频中快速结合手绘视频元素的方法
US10643298B2 (en) * 2018-02-14 2020-05-05 Realtek Semiconductor Corporation Video processing system and processing chip
CN110830833A (zh) * 2018-08-09 2020-02-21 北京优酷科技有限公司 弹幕信息的显示方法及装置
CN113438514B (zh) * 2021-04-26 2022-07-08 深圳Tcl新技术有限公司 字幕处理方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1778111A (zh) * 2003-04-22 2006-05-24 松下电器产业株式会社 再现装置和程序
CN103416069A (zh) * 2012-01-13 2013-11-27 索尼公司 发送设备、发送方法、接收设备以及接收方法
WO2014054845A1 (en) * 2012-10-04 2014-04-10 Samsung Electronics Co., Ltd. Content processing apparatus for processing high resolution content and method thereof

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4247291B1 (ja) * 2007-12-20 2009-04-02 株式会社東芝 再生装置および再生方法
JP2011030180A (ja) 2009-06-29 2011-02-10 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP5423425B2 (ja) * 2010-01-25 2014-02-19 富士通モバイルコミュニケーションズ株式会社 画像処理装置
WO2015126117A1 (ko) * 2014-02-23 2015-08-27 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
WO2015152635A1 (ko) * 2014-04-02 2015-10-08 엘지전자 주식회사 신호 송수신 장치 및 신호 송수신 방법
JP6366070B2 (ja) * 2014-07-10 2018-08-01 日本放送協会 テキストコンテンツ生成装置、送信装置、受信装置、およびプログラム。

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1778111A (zh) * 2003-04-22 2006-05-24 松下电器产业株式会社 再现装置和程序
CN103416069A (zh) * 2012-01-13 2013-11-27 索尼公司 发送设备、发送方法、接收设备以及接收方法
WO2014054845A1 (en) * 2012-10-04 2014-04-10 Samsung Electronics Co., Ltd. Content processing apparatus for processing high resolution content and method thereof

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ASSOCIATION OF RADIO INDUSTRIES AND BUSINESSES: "Multimedia Coding Specification For Digital Broadcasting(Second Generation)", 《ARIB STD-B62 VERSION 1.2》 *
DVB VIDEO BROADCASTING(DVB): "Subtitling systems", 《ETSI EN 300 743 V1.5.1》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113597640A (zh) * 2019-03-25 2021-11-02 索尼集团公司 图像处理设备、图像处理方法和显示设备
CN113286104A (zh) * 2021-05-14 2021-08-20 深圳市快视电子有限公司 一种基于4k60视频信号叠加动态字符及图片处理系统

Also Published As

Publication number Publication date
US10575062B2 (en) 2020-02-25
US20180184173A1 (en) 2018-06-28
MX2017016589A (es) 2018-05-15
EP3322193A4 (en) 2018-12-26
EP3322193A1 (en) 2018-05-16
AU2016289048B2 (en) 2020-12-24
JPWO2017006948A1 (ja) 2018-04-26
CA2991102A1 (en) 2017-01-12
AU2016289048A1 (en) 2018-01-18
WO2017006948A1 (ja) 2017-01-12

Similar Documents

Publication Publication Date Title
CN107852525A (zh) 接收装置、接收方法、发送装置和发送方法
EP3226241B1 (en) Transmission device, transmission method, reception device, and reception method
US20200336803A1 (en) Media data processing method and apparatus
US20160269759A1 (en) Display processing device, distribution device, and metadata
JP2023076613A (ja) 送信方法および送信装置
CN108353196A (zh) 发送设备、发送方法、接收设备、以及接收方法
US20210218908A1 (en) Method for Processing Media Data, Client, and Server
JP2024015131A (ja) 送信装置、送信方法、受信装置および受信方法
KR20200077517A (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
JP6969572B2 (ja) 送信装置、送信方法、受信装置および受信方法
US20080159592A1 (en) Video processing method and system
US20080163314A1 (en) Advanced information display method
JP6943255B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP7056576B2 (ja) 送信装置、送信方法、受信装置および受信方法
EP2464114A1 (en) Procedure and device for the transport of markers
CN106550266A (zh) 一种视频播放方法及视频采集合成装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180327