CN108781301A - 发送装置、发送方法、接收装置和接收方法 - Google Patents

发送装置、发送方法、接收装置和接收方法 Download PDF

Info

Publication number
CN108781301A
CN108781301A CN201780017916.XA CN201780017916A CN108781301A CN 108781301 A CN108781301 A CN 108781301A CN 201780017916 A CN201780017916 A CN 201780017916A CN 108781301 A CN108781301 A CN 108781301A
Authority
CN
China
Prior art keywords
frame rate
picture
image data
display
identification information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780017916.XA
Other languages
English (en)
Other versions
CN108781301B (zh
Inventor
塚越郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108781301A publication Critical patent/CN108781301A/zh
Application granted granted Critical
Publication of CN108781301B publication Critical patent/CN108781301B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard

Abstract

本发明确保了即使在以60Hz帧速率编码之后发送例如24Hz运动图像数据时，在接收侧也将以120Hz令人满意地显示数据。构成具有第一比特率的运动图像数据的每个图片以大于第一帧速率的第二帧速率编码，并且获得具有第二帧速率的视频流。表示第一帧速率和显示开始时间之间的同步关系的标识信息插入到构成具有第二帧速率的视频流的每个图片的编码图像数据中。发送插入了标识信息的具有第二帧速率的视频流。

Description

发送装置、发送方法、接收装置和接收方法
技术领域
本技术涉及发送装置、发送方法、接收装置和接收方法。更具体地，本技术涉及一种用于以大于低帧速率的帧速率对低帧速率的运动图像数据进行编码并发送编码的运动图像数据的发送装置等发送。
背景技术
传统上，为了提高显示装置的图像质量，已知的是，以高帧速率转换数据并在接收侧显示转换后的数据(例如，专利文献1)。此外，传统上，例如，已知的是，以60Hz的帧速率对24Hz的运动图像数据进行编码并发送编码数据，并且在接收侧执行3-2下拉显示重复和再现60Hz的显示。在这种情况下，三次重复和两次重复交替重复。因此，例如，观看者感知所谓的颤动，即，在运动场景中运动看起来不自然。
引用列表
专利文献
专利文献1：日本专利申请公开No.2013-143646
发明内容
本发明要解决的问题
在以120Hz的帧速率编码和发送24Hz的运动图像数据的情况下，通过在接收侧重复五次重复，120Hz的显示再现成为可能，而不损害材料的平滑性，因为120Hz是24Hz的整数倍。
本技术的目的在于，即使在例如以60Hz的帧速率编码和发送24Hz的运动图像数据的情况下，也能够在接收侧实现有利的120Hz显示。
问题的解决方法
本技术的概念在于一种发送装置，包括：
编码单元，其被配置为以大于第一帧速率的第二帧速率对构成第一帧速率的运动图像数据的每个图片进行编码，以获得第二帧速率的视频流；
信息插入单元，其被配置为将表示第一帧速率和显示开始时间之间的同步关系的标识信息插入到构成第二帧速率的视频流的每个图片的编码图像数据中；以及
发送单元，其被配置为发送插入了标识信息的第二帧速率的视频流。
在本技术中，编码单元以大于第一帧速率的第二帧速率对构成第一帧速率的运动图像数据的每个图片进行编码，并且获得第二帧速率的视频流。信息插入单元将表示第一帧速率和显示开始时间之间的同步关系的标识信息插入到构成第二帧速率的视频流的每个图片的编码图像数据中。发送单元发送插入了标识信息的第二帧速率的视频流。
例如，可以配置为使得信息插入单元将包括标识信息的SEI消息插入到第二帧速率的视频流中。此外，例如，可以配置为使得表示同步关系的标识信息包括表示是否与第一帧速率同步的标识信息。此外，在这种情况下，例如，可以配置为使得表示同步关系的标识信息还包括当不与第一帧速率同步时表示相比于第一帧速率提前还是延迟的标识信息。此外，例如，可以配置为使得第一帧速率为24Hz并且第二帧速率为60Hz，或者第一帧速率为48Hz并且第二帧速率为120Hz。
这样，在本技术中，将表示第一帧速率和显示开始时间之间的同步关系的标识信息插入到构成第二帧速率的视频流的每个图片的编码图像数据中，并且发送具有插入的标识信息的编码图像数据。因此，接收侧可以基于标识信息，容易地将每个图片的图像数据的显示开始时间校正为与在以是第一帧速率的N倍的第三帧速率对构成第一帧速率的运动图像数据的每个图片进行编码的情况下相同的状态，并且通过针对每个图片的图像数据进行N次显示重复处理，来有利地执行第三帧速率的显示，而不损害第一帧速率的材料的平滑度。
此外，本技术的另一概念在于一种接收装置，包括：
接收单元，其被配置为接收大于第一帧速率的第二帧速率的视频流，通过以第二帧速率对构成第一帧速率的运动图像数据的每个图片进行编码，来获得所述视频流，并且
所述接收装置还包括：
控制单元，其被配置为控制以下：解码处理，用于对构成第二帧速率的视频流的每个图片的编码图像数据进行解码，以获得每个图片的图像数据；时间校正处理，用于将每个图片的图像数据的显示开始时间校正为与在以大于第二帧速率并且是第一帧速率的N倍(N是整数)的第三帧速率对构成第一帧速率的运动图像数据的每个图片进行编码的情况下相同的状态；以及显示重复处理，用于以第三帧速率重复输出N次校正了显示开始时间的每个图片的图像数据。
在本技术中，第二帧速率的视频流由接收单元接收。通过以大于第一帧速率的第二帧速率对构成第一帧速率的运动图像数据的每个图片进行编码，来获得第二帧速率的视频流。
控制单元控制解码处理，解码处理用于对构成第二帧速率的视频流的每个图片的编码图像数据进行解码，以获得每个图片的图像数据。此外，控制单元控制时间校正处理，时间校正处理用于将每个图片的图像数据的显示开始时间校正为与在以大于第二帧速率并且是第一帧速率的N倍(N是整数)的第三帧速率对构成第一帧速率的运动图像数据的每个图片进行编码的情况下相同的状态。此外，控制单元控制显示重复处理，显示重复处理用于以第三帧速率重复输出N次校正了显示开始时间的每个图片的图像数据。
例如，可以配置为使得第一帧速率为24Hz，第二帧速率为60Hz，第三帧速率为120Hz，N为5，第一帧速率为24Hz，第二帧速率为60Hz，第三帧速率为240Hz，N为10，或者第一帧速率为48Hz，第二帧速率为120Hz，第三帧速率为240Hz，N为5。
以这种方式，在本技术中，进行显示重复处理，显示重复处理用于将每个图片的图像数据的显示开始时间校正为与在以是第一帧速率的N倍的第三帧速率对每个图片进行编码的情况下相同的状态，并且以第三帧速率重复输出N次校正了显示开始时间的每个图片的图像数据。因此，可以有利地执行第三帧速率的显示，而不损害第一帧速率的材料的平滑度。
注意，在本技术中，例如，可以配置为使得表示第一帧速率和显示开始时间之间的同步关系的标识信息插入到构成第二帧速率的视频流的每个图片的编码图像数据中，并且控制单元基于表示同步关系的标识信息控制时间校正处理。在这种情况下，例如，可以配置为使得表示同步关系的标识信息包括表示是否与第一帧速率同步的标识信息。此外，在这种情况下，例如，可以配置为使得表示同步关系的标识信息还包括当不与第一帧速率同步时表示是相比于第一帧速率提前还是延迟的标识信息。
在处理第二帧速率的多个视频流的情况下，可以防止在时间校正阶段在多个流之间发生间隙，并且可以如上所述，通过基于表示同步关系的标识信息，控制时间校正处理，来保证以第三帧速率同步显示多个视频流。此外，当不与第一帧速率同步时，使表示同步关系的标识信息包括表示相比于第一帧速率提前还是延迟的标识信息，由此，可以容易地确定显示开始时间的校正方向。
本发明的效果
根据本技术，例如，即使在以60Hz的帧速率编码和发送24Hz的运动图像数据的情况下，也可以在接收侧有利地执行120Hz显示。注意，在此处描述的效果不一定受到限制，并且可以显示本公开中描述的任何效果。
附图说明
图1是示出作为实施例的发送/接收系统的配置示例的框图；
图2是示出以60Hz的帧速率对构成24Hz的帧速率的运动图像数据的每个图片进行编码的情况的编码示例的示图；
图3是示出通过以60Hz的帧速率对构成24Hz的帧速率的运动图像数据的每个图片进行编码而获得的视频流中的每个图片的解码时间和显示开始时间的示例的示图；
图4是示出在60Hz显示和120Hz显示中24Hz的时序与每个图片的显示开始时间之间的对应关系的示例的示图；
图5是示出通过以60Hz的帧速率对构成24Hz的帧速率的运动图像数据的每个图片进行编码而获得的视频流中的每个图片的解码时间和显示开始时间的示例的示图；
图6是示出在60Hz显示和120Hz显示中24Hz的时序与每个图片的显示开始时间之间的对应关系的示例的示图；
图7是示出发送装置的配置示例的框图；
图8是示出图片时间SEI消息的结构示例的示图；
图9是示出图片时间SEI消息的“pic_struct”的显示序列的示图；
图10是示出在编码方法是HEVC的情况下GOP的报头的访问单元的示图；
图11是示出在编码方法是HEVC的情况下GOP的报头除外的访问单元的示图；
图12是示出结构示例中的图片时间位移SEI消息和主要信息的内容的结构示例的示图；
图13是示出编码器的配置示例的框图；
图14是示出视频流的配置示例的示图；
图15是示出接收装置的配置示例的框图；
图16是示出原始材料的帧速率、显示帧速率、编码帧速率、显示重复次数和移位图片的数量之间的关系的示例的示图；
图17是示出在结构示例中在仅插入标识信息“PS”和主要信息的内容的情况下的图片时间位移SEI消息的结构示例的示图；
图18是示出在60Hz显示和120Hz显示中24Hz的时序与每个图片的显示开始时间之间的对应关系的示例的示图；
图19是示出在60Hz显示和120Hz显示中24Hz的时序与每个图片的显示开始时间之间的对应关系的示例的示图；
图20是示出在仅插入标识信息“PS”的情况下以及在未插入标识信息“PS”的情况下识别应当校正显示开始时间的图片并确定校正方向(提前还是延迟时序)的处理过程的示例的流程图；
图21是示出处理60Hz的帧速率的两个视频流的情况和插入标识信息“PS”的情况的示例的示图；
图22是示出处理60Hz的帧速率的两个视频流的情况和未插入标识信息“PS”的情况的示例的示图。
具体实施方式
在下文中，将描述用于实现本发明的模式(下文中的实施例)。注意，将按以下顺序给出描述。
1、实施例
2、变型
<1、实施例>
[发送/接收系统]
图1示出了作为实施例的发送/接收系统10的配置示例。发送/接收系统10具有包括发送装置100和接收装置200的配置。
发送装置100在广播波或网络分组上发送经由容器发送的视频流VS(下文中简称为“视频流VS”)。在该视频流VS中，包括通过以60Hz的帧速率(第二帧速率)对构成24Hz的帧速率(第一帧速率)的运动图像数据的每个图片进行编码而获得的60Hz的视频流(60p流)。在这种情况下，例如，应用诸如H.264/AVC或H.265/HEVC等编码。
图2的(a)示出了编码的示例。在所示的示例中，以三层执行分层编码，但是分层编码可以在一层中。横轴表示构图的图片顺序(POC)。每个实心矩形框表示构成24Hz的运动图像数据的每个图片，并且在60Hz的视频流中仅包括这些图片的编码图像数据。在实心矩形框中，没有括号的数字表示显示顺序，带括号的数字表示编码图片的顺序，即，编码顺序(接收侧的解码顺序)。
此外，在所示的示例中，通过参考I图片，在I图片(显示顺序“6”和编码顺序“0”)之前存在B图片(显示顺序“0”和编码顺序“1”)。此外，通过参考I图片，在I图片(显示顺序“6”和编码顺序“0”)之后存在P图片(显示顺序“16”和编码顺序“2”)。此外，通过参考I图片和P图片，在I图片(显示顺序“6”和编码顺序“0”)和P图片(显示顺序“16”和编码顺序“2”)之间存在B图片(显示顺序“10”和编码顺序“3”)。
将图片时间SEI消息(Picture_timing SEI消息)插入由实心矩形框所示的每个图片的编码图像数据中，并且在“pic_struct”字段中指定重复次数。在这种情况下，在B图片(显示顺序“0”和编码顺序“1”)和B图片(显示顺序“10”和编码顺序“3”)中将重复次数指定为3，并且在I图片(显示顺序“6”和编码顺序“0”)和P图片(显示顺序“16”和编码顺序“2”)中将重复次数指定为2。根据该规范，可以在接收侧执行以3-2下拉的60Hz的帧速率的显示(60Hz显示)。
图2的(b)示出了编码的另一示例。在所示的示例中，以三层执行分层编码，但是分层编码可以在一层中。横轴表示构图的图片顺序(POC)。每个实心矩形框表示构成24Hz的运动图像数据的每个图片，并且在60Hz的视频流中仅包括这些图片的编码图像数据。在实心矩形框中，没有括号的数字表示显示顺序，带括号的数字表示编码图像的顺序，即，编码顺序(接收侧的解码顺序)。
此外，在所示的示例中，通过参考I图片，在I图片(显示顺序“4”和编码顺序“0”)之前存在B图片(显示顺序“0”和编码顺序“1”)。此外，通过参考I图片，在I图片(显示顺序“4”和编码顺序“0”)之后存在P图片(显示顺序“14”和编码顺序“2”)。此外，通过参考I图片和P图片，在I图片(显示顺序“4”和编码顺序“0”)和P图片(显示顺序“14”和编码顺序“2”)之间存在B图片(显示顺序“10”和编码顺序“3”)。
将图片时间SEI消息(Picture_timing SEI消息)插入由实心矩形框所示的每个图片的编码图像数据中，并且在“pic_struct”字段中指定重复次数。在这种情况下，在B图片(显示顺序“0”和编码顺序“1”)和B图片(显示顺序“10”和编码顺序“3”)中将重复次数指定为2，并且在I图片(显示顺序“4”和编码顺序“0”)和P图片(显示顺序“14”和编码顺序“2”)中将重复次数指定为3。根据该规范，可以在接收侧执行以3-2下拉的60Hz的帧速率的显示(60Hz显示)。
将表示24Hz的帧速率与显示开始时间之间的同步关系的标识信息插入到包括在60Hz的帧速率的视频流中的每个图片的编码图像数据中。
例如，在图2的(a)的编码示例中，B图片(显示顺序“0”和编码顺序“1”)和B图片(显示顺序“10”和编码顺序“3”)的图片显示开始时间与24Hz的时序一致。因此，在这些图片中插入表示显示开始时间与24Hz的时序一致的标识信息“PS”。
此外，在图2的(a)的编码示例中，I图片(显示顺序“6”和编码顺序“0”)和P图片(显示顺序“16”和编码顺序“2”)的图片显示开始时间比24Hz的时序延迟。因此，表示显示开始时间比24Hz的时序延迟的标识信息“PA”插入到这些图片中。
例如，在图2的(b)的编码示例中，B图片(显示顺序“0”和编码顺序“1”)和B图片(显示顺序“10”和编码顺序“3”)的图片显示开始时间与24Hz的时序一致。因此，表示显示开始时间与24Hz的时序一致的标识信息“PS”插入到这些图片中。
此外，在图2的(b)的编码示例中，I图片(显示顺序“4”和编码顺序“0”)和P图片(显示顺序“14”和编码顺序“2”)的图片显示开始时间比24Hz的时序提前。因此，表示显示开始时间比24Hz的时序提前的标识信息“PB”插入到这些图片中。
接收装置200在广播波或网络分组上接收从发送装置100发送的视频流VS。在该视频流VS中，包括通过以60Hz对构成24Hz的运动图像数据的每个图片进行编码而获得的60Hz的视频流(60p流)(参见图2的(a)和图2的(b))。将表示24Hz的帧速率和显示开始时间之间的同步关系的标识信息(“PS”、“PA”、“PB”)插入到包括在60Hz帧速率的视频流中的图片的编码图像数据中。
在以60Hz的帧速率进行显示(60Hz显示)的情况下，接收装置200以图片时间SEI消息(Picture_timing SEI消息)的“pic_struct”字段中指定的重复次数来进行显示重复处理，并以60Hz的帧速率进行显示(60Hz显示)。
另一方面，在以120Hz的帧速率进行显示(120Hz显示)的情况下，接收装置200基于标识信息将每个图片的图像数据的显示开始时间校正为与在以120Hz的帧速率对构成24Hz的运动图像数据的每个图片进行编码的情况下相同的状态，以120Hz的帧速率显示重复处理五次校正了显示开始时间的每个图片的图像数据，并以120Hz(120Hz)的帧速率进行显示。
图3示出了对应于图2的(a)中的编码示例的每个图片的解码时间和显示开始时间。在这种情况下，按照I图片(显示顺序“6”和编码顺序“0”)→B图片(显示顺序“0”和编码顺序“1”)→P图片(显示顺序“16”和编码顺序“2”)→B图片(显示顺序“10”和编码顺序“3”)的顺序对图像进行解码。然后，在解码B图片(显示顺序“0”和编码顺序“1”)之后，按照B图片(显示顺序“0”和编码顺序“1”)→I图片(显示顺序“6”和编码顺序“0”)→B图片(显示顺序“10”和编码顺序“3”)→P图片(显示顺序“16”和编码顺序“2”)的顺序显示图像。
在60Hz显示的情况下，对于B图片(显示顺序“0”)，以60Hz的帧速率执行三次显示重复，对于I图片(显示顺序“6”)，以60Hz的帧速率执行两次显示重复，对于B图片(显示顺序“10”)，以60Hz的帧速率执行三次显示重复，并且对于P图片(显示顺序“16”)，以60Hz的帧速率执行两次显示重复，而图片的显示开始时间保持不变。
在120Hz显示的情况下，对于B图片(显示顺序“0”)，以120Hz的帧速率执行五次显示重复，而显示开始时间不变，对于I图片(显示顺序“6”)，以120Hz的帧速率执行五次显示重复，同时将显示开始时间校正为提前1/120秒，对于B图片(显示顺序“10”)，以120Hz的帧速率执行五次显示重复，而显示开始时间不变，对于P图片(显示顺序“16”)，以120Hz的帧速率执行五次显示重复，同时将显示开始时间校正为提前1/120秒。
图4示出了在60Hz显示和120Hz显示中24Hz的时序与每个图片的显示开始时间之间的对应关系的示例。“TS”表示添加到每个图片的编码图像数据并发送的用于提供显示开始时间的时间戳。在60Hz显示的情况下，显示开始时间每两个图片相对于24Hz的时序延迟。相反，在120Hz显示的情况下，校正显示开始时间，并且所有图片的显示开始时间与24Hz的时序一致。因此，在120Hz显示的情况下，即使在移动场景中，也执行平滑显示。
图5示出了对应于图2的(b)中的编码示例的每个图片的解码时间和显示开始时间。在这种情况下，按照I图片(显示顺序“4”和编码顺序“0”)→B图片(显示顺序“0”和编码顺序“1”)→P图片(显示顺序“14”和编码顺序“2”)→B图片(显示顺序“10”和编码顺序“3”)的顺序对图像进行解码。然后，在解码B图片(显示顺序“0”和编码顺序“1”)之后，按照B图片(显示顺序“0”和编码顺序“1”)→I图片(显示顺序“4”和编码顺序“0”)→B图片(显示顺序“10”和编码顺序“3”)→P图片(显示顺序“14”和编码顺序“2”)的顺序显示图像。
在60Hz显示的情况下，对于B图片(显示顺序“0”)，以60Hz的帧速率执行两次显示重复，对于I图片(显示顺序“4”)，以60Hz的帧速率执行三次显示重复，对于B图片(显示顺序“10”)，以60Hz的帧速率执行两次显示重复，并且对于P图片(显示顺序“14”)，以60Hz的帧速率执行三次显示重复，而图片的显示开始时间保持不变。
在120Hz显示的情况下，对于B图片(显示顺序“0”)，以120Hz的帧速率执行五次显示重复，而显示开始时间不变，对于I图片(显示顺序“4”)，以120Hz的帧速率执行五次显示重复，同时将显示开始时间校正为延迟1/120秒，对于B图片(显示顺序“10”)，以120Hz的帧速率执行五次显示重复，而显示开始时间不变，对于P图片(显示顺序“16”)，以120Hz的帧速率执行五次显示重复，同时将显示开始时间校正为延迟1/120秒。
图6示出了在60Hz显示和120Hz显示中24Hz的时序与每个图片的显示开始时间之间的对应关系的示例。“TS”表示添加到每个图片的编码图像数据并发送的用于提供显示开始时间的时间戳。在60Hz显示的情况下，显示开始时间每两个图片相比于24Hz的时序提前。相反，在120Hz显示的情况下，校正显示开始时间，并且所有图片的显示开始时间与24Hz的时序一致。因此，在120Hz显示的情况下，即使在移动场景中，也执行平滑显示。
“发送装置的配置”
图7示出了发送装置100的配置示例。发送装置100包括中央处理单元(CPU)101、编码器102、多路复用器103和发送单元104。CPU 101是控制单元，并且控制发送装置100的每个单元的操作。
编码器102将帧速率为24Hz的运动图像数据VD用作输入，并以60Hz的帧速率对构成运动图像数据VD的每个图片进行编码(参见图2的(a)和图2的(b)中的编码示例)，以获得帧速率为60Hz的视频流。在这种情况下，例如，应用诸如H.264/AVC或H.265/HEVC等编码。
编码器102将图片时间SEI消息(Picture_timing SEI消息)插入到实际上包括在60Hz帧速率的视频流中的每个图片的编码图像数据中，并在“pic_struct”字段中指定重复次数。根据该规范，可以在接收侧执行以3-2下拉的60Hz的帧速率的显示(60Hz显示)。图8示出了图像时间SEI消息的结构示例(语法)。图9示出了“pic_struct”的显示序列。
在图2的(a)和图2的(b)中的编码示例中，实心矩形框表示实际上包括在60Hz的帧速率中的每个图片的编码图像数据。在图2的(a)中的编码示例的情况下，在B图片(显示顺序“0”和编码顺序“1”)和B图片(显示顺序“10”和编码顺序“3”)中，将重复次数指定为3，并且在I图片(显示顺序“6”和编码顺序“0”)和P图片(显示顺序“16”和编码顺序“2”)中将重复次数指定为2。此外，在图2的(b)中的编码示例的情况下，在B图片(显示顺序“0”和编码顺序“1”)和B图片(显示顺序“10”和编码顺序“3”)中，将重复次数指定为2，并且在I图片(显示顺序“4”和编码顺序“0”)和P图片(显示顺序“14”和编码顺序“2”)中，将重复次数指定为3。
此外，编码器102将表示24Hz的帧速率和显示开始时间之间的同步关系的标识信息(即，相位信息)插入到实际上包括在60Hz的帧速率的视频流中的每个图片的编码图像数据中。注意，由添加到每个图片的编码图像数据的用于显示的时间戳(TS)提供每个图片的显示开始时间。
在这种情况下，表示显示开始时间与24Hz的时序一致的标识信息“PS”、表示显示开始时间相比于24Hz的时序延迟的标识信息“PA”以及表示显示开始时间相比于24Hz的时序提前的标识信息“PB”中的任一个插入到每个图片的编码图像数据中。
在图2的(a)中的编码示例的情况下，标识信息“PS”插入到B图片(显示顺序“0”和编码顺序“1”)和B图片(显示顺序“10”和编码顺序“3”)中，并且标识信息“PA”插入到I图片(显示顺序“6”和编码顺序“0”)和P图片(显示顺序“16”和编码顺序“2”)中。此外，在图2的(b)中的编码示例的情况下，标识信息“PS”插入到B图片(显示顺序“0”和编码顺序“1”)和B图片(显示顺序“10”和编码顺序“3”)中，并且标识信息“PB”插入到I图片(显示顺序“4”和编码顺序“0”)和P图片(显示顺序“14”和编码顺序“2”)中。
编码器102将新定义的图片时间位移SEI消息(Picture_timing_displacementSEI消息)插入到访问单元(AU)的“SEI”部分中，以便将这些标识信息插入到每个图片的编码图像数据中。
图10示出了在编码方法是HEVC的情况下GOP(图片组)的报头的访问单元。此外，图11示出了在编码方法是HEVC的情况下除了GOP的报头之外的访问单元。在HEVC编码系统的情况下，在编码有像素数据的切片之前，设置用于解码的一组SEI消息“Prefix_SEI”，并且在切片之后，设置用于显示的一组SEI消息“Suffix_SEI”。例如，如图10和11所示，图片时间位移SEI消息被设置为这组SEI消息“Suffix_SEIs”。
图12的(a)示出了图片时间位移SEI消息的结构示例(语法)。图12的(b)示出了结构示例中的主要信息的内容(语义)。1位字段“resync_to_picstruct_flag”表示由“pic_struct”表示的重复的起始点是否与原始24Hz材料的时序相同。例如，“1”表示相同，“0”表示不相同。“Resync_to_picstruct_flag”＝“1”构成表示显示开始时间与24Hz的时序一致的标识信息“PS”。
1位字段“early_display_flag”表示显示开始时间是否相比于24Hz的时序延迟。在该值为“1”的情况下，如果比一个先前的“pic_struct”所表示的帧重复次数更早地执行读出，则可以通过24Hz进行同步显示，即，表示标识信息“PA”，并且值“0”不表示上述情况。
1位字段“late_display_flag”表示显示开始时间是否相比于24Hz的时序提前。在该值为“1”的情况下，如果比一个先前的“pic_struct”所表示的帧重复次数更晚地执行读出，则可以通过24Hz进行同步显示，即，表示标识信息“PB”，并且值“0”不表示上述情况。
图13示出了编码器102的配置示例。编码器102具有视频编码器102a和检测单元102b。帧速率为24Hz的运动图像数据VD输入到视频编码器102a。此外，将表示3-2下拉处理的重复次数的帧重复(帧重复)信息提供给视频编码器102a和检测单元102b，对应于运动图像数据VD的每个图片。
此外，将与运动图像数据VD帧同步的24Hz帧时钟提供给视频编码器102a和检测单元102b。此外，将与每隔一个24Hz帧时钟同步的60Hz帧时钟提供给视频编码器102a和检测单元102b。
在视频编码器102a中，基于60Hz帧时钟，以60Hz的帧速率对构成运动图像数据VD的每个图片进行编码(参见图2的(a)和图2的(b)中的编码示例)，并且获得帧速率为60Hz的视频流(60p流)。此外，在视频编码器102a中，基于与构成运动图像数据VD的每个图片对应的帧重复(帧重复)信息，在要插入到实际上包括在60Hz的帧速率的视频流中的每个图片的编码图像数据中的图片时间SEI消息的“pic_struct”字段中，指定重复次数。
此外，在检测单元102b中，基于24Hz帧时钟和60Hz帧时钟之间的相位关系，生成表示实际上包括在60Hz的帧速率的视频流中的每个图片的显示开始时间与24Hz的帧速率之间的同步关系的标识信息(PS/PA/PB)，并且将其提供给视频编码器102a。然后，将具有对应于每个图片的标识信息的图片时间位移SEI消息(参见图12的(a))插入到实际上包括在60Hz的帧速率的视频流中的每个图片的编码图像数据中。
返回参考图7，多路复用器103将在编码器102中生成的视频流转换为分组化基本流(PES)，并进一步将该流转换为输送分组并多路复用该分组，以获得作为多路复用流的视频流VS。发送单元104在广播波或网络分组上将在多路复用器103中获得的视频流VS发送到接收装置200。
返回参考图7，多路复用器103将在编码器102中生成的视频流转换成分组基本流(PES)，并且进一步将该流转换成传输数据包并且对数据包进行多路复用以获得视频流VS作为多路复用流。发送单元104将在多路复用器103中获得的视频流VS经由广播波或网络分组发送至接收装置200。
图14示出了视频流VS的配置示例。在该配置示例中，存在视频流的由PID 1标识的PES分组“视频PES 1”。在PES报头中，设置DTS和PTS。在PES有效载荷中包括的每个图片的编码图像数据由诸如“AUD”、“VPS”、“SPS”、“PPS”、“PSEI”、“SLICE”、“SSEI”和“EOS”等NAL单元构成。作为SEI消息，插入上述图片时间SEI消息、图片时间位移SEI消息等。
此外，视频流VS包括作为节目特定信息(PSI)的节目映射表(PMT)。该PSI是描述每个基本流属于哪个节目的信息。在PMT中，存在描述与整个节目有关的信息的节目循环(节目循环)。此外，在PMT中，存在具有与每个基本流有关的信息的基本流循环。在该配置示例中，存在视频基本流循环(视频ES 1循环)。
在视频基本流循环中，对应于视频流(视频PES 1)，设置诸如流类型和分组标识符(PID)等信息，并且还设置描述与视频流有关的信息的描述符。
将简要描述图7中所示的发送装置100的操作。帧速率为24Hz的运动图像数据VD输入到编码器102。在编码器102中，诸如H.264/AVC或H.265/HEVC等编码应用于以60Hz的帧速率构成运动图像数据VD的每个图片(参见图2的(a)和图2的(b)中的编码示例)，并获得帧速率为60Hz的视频流。
此外，在编码器102中，图片时间SEI消息插入到实际上包括在60Hz的帧速率的视频流中的每个图片的编码图像数据中，并且在“pic_struct”字段中指定用于在接收侧进行3-2下拉处理的重复次数。
此外，在编码器102中，具有表示24Hz的帧速率与显示开始时间之间的同步关系的标识信息(PS/PA/PB)的图片时间位移SEI消息(参见图12的(a))插入到实际上包括在60Hz的帧速率的视频流中的每个图片的编码图像数据中。
将由编码器102生成的视频流提供给多路复用器103。在多路复用器103中，将视频流转换为PES数据包并转换为传输数据包，并多路复用，获得视频流VS作为容器(多路复用流)。将视频流VS发送到发送单元104。在发送单元104中，经由广播波或网络分组发送视频流VS。
“接收装置的配置”
图15示出了接收装置200的配置示例。接收装置200包括中央处理单元(CPU)201、接收单元202、多路分用器203、输入缓冲器204、解码器205、输出缓冲器206、显示处理单元207和显示单元208。CPU 201构成控制单元并控制接收装置200的每个单元的操作。
接收单元202经由广播波或网络分组接收从发送装置100发送的视频流VS。在该视频流VS中，包括通过以60Hz的帧速率对构成24Hz的帧速率的运动图像数据的每个图片进行编码而获得的60Hz的视频流(60p流)。
多路分用器203通过PID过滤从视频流VS中取出视频流。此外，多路分用器203提取包括在视频流VS的层中的分节信息(section information)，并将分节信息发送到CPU201。输入缓冲器204暂时存储由多路分用器203取出的视频流。
解码器205对存储在输入缓冲器204中的视频流应用解码处理，以获得构成实际上包括在视频流中的24Hz的帧速率的运动图像数据的每个图片的图像数据。输出缓冲器206暂时存储由解码器205获得的每个图片的图像数据。
此外，解码器205提取表示每个图片的显示开始时间的PTS以及插入到每个图片的编码图像数据(访问单元)中的参数集和SEI消息，并将提取的信息发送到CPU 201。在这种情况下，还提取具有用于执行3-2下拉处理的重复次数信息的图片时间SEI消息(参见图8)、具有表示每个图片的显示开始时间与24Hz的帧速率之间的同步关系的标识信息(PS/PA/PB)的图片时间位移SEI消息(参见图12的(a))等。
在以60Hz的帧速率进行显示(60Hz显示)的情况下，CPU 201将PTS表示的显示开始时间原样用作存储在输出缓冲器206中的每个图片的显示开始时间。在这种情况下，显示处理单元207在由PTS表示的显示开始时间开始从输出缓冲器206读出相应图片的图像数据，以60Hz的帧速率进行显示重复处理在图片时间SEI消息的“pic_struct”字段中指定的重复次数，并且在CPU 201的控制下，通过3-2下拉处理，获得60Hz的帧速率的运动图像数据(参见图4和6中的“60Hz显示”部分)。
另一方面，在以120Hz的帧速率(第三帧速率)进行显示(120Hz显示)的情况下，CPU201基于插入到每个图片的编码图像数据中的标识信息(PS/PA/PB)，适当地校正由PTS表示的显示开始时间，而不是将由PTS表示的显示开始时间照原样用作存储在输出缓冲器206中的每个图片的显示开始时间。
在这种情况下，CPU 201将由PTS表示的显示开始时间照原样用作插入了标识信息“PS”的图片的显示开始时间。此外，对于插入了标识信息“PA”的图片的显示开始时间，CPU201在显示开始时间提前一个图片的方向上以120Hz的帧速率移动并校正由PTS表示的显示开始时间，即，1/120秒。此外，对于插入了标识信息“PB”的图片的显示开始时间，CPU 201在显示开始时间延迟一个图片的方向上以120Hz的帧速率移动并校正由PTS表示的显示开始时间，即，1/120秒。
在这种情况下，在CPU 201的控制下，显示处理单元207在校正的显示开始时间开始从输出缓冲器206读出相应图片的图像数据，以120Hz的帧速率进行显示重复处理五次，并获得帧速率为120Hz的运动图像数据(参见图4和图6中的“120Hz显示”部分)。
在此处，可以通过以下表达式(1)，从作为第三帧速率的显示帧速率“显示帧速率(Hz)”和作为第一帧速率的原始材料的帧速率“原始帧速率(Hz)”，计算显示重复次数“在显示速率的帧重复”。
{在显示速率的帧重复}＝{显示帧速率}/{原始帧速率}...(1)
此外，可以通过以下表达式(2)，从作为第三帧速率的显示帧速率“显示帧速率(Hz)”和作为第二帧速率的编码帧速率“编码帧速率(Hz)”中，计算移位图片的数量“移位定时的图片数量”。
{移位定时的图片数量}＝{显示帧速率}/{编码帧速率*2}...(2)
图16示出了原始材料的帧速率“原始帧速率(Hz)”、显示帧速率“显示帧速率(Hz)”、编码帧速率“编码帧速率(Hz)”、显示重复次数“具有显示速率的帧重复”以及移位图片的数量“移位定时的图片数量”之间的对应关系的示例。
在本实施例中，当“原始帧速率(Hz)”是24Hz时，“显示帧速率(Hz)”是120Hz，并且“编码帧速率(Hz)”是60Hz，“具有显示速率的帧重复”是5，并且“移位定时的图片数量”是1。此外，作为另一示例，当“原始帧速率(Hz)”是24Hz时，“显示帧速率(Hz)”是240Hz，并且“编码帧速率(Hz)”是60Hz，“具有显示速率的帧重复”是10，并且“移位定时的图片数量”是2。此外，作为另一示例，当“原始帧速率(Hz)”是48Hz时，“显示帧速率(Hz)”是240Hz，并且“编码帧速率(Hz)”是120Hz，“具有显示速率的帧重复”是5，并且“移位定时的图片数量”是1。注意，所示的示例是示例，并且该实施例不限于该示例。
在此处，将考虑在异步图片(插入了标识信息“PA”或“PB”的图片)的显示开始时间移动并校正并且在在显示处理单元207中更早或更晚读取的情况下对输出缓冲器206的影响。
首先，解码时间是从输入缓冲器204中提取图片的时间，并且不影响输出缓冲器206。接下来，在解码之后输出缓冲器206的缓冲器尺寸(缓冲器占用率)与发送侧编码器的意图不同，因为在更早或更晚地读取异步图片。
在改变接收侧的输出缓冲器206的定时的情况下，存在关于后续解码图片的参考图片是否失效的问题。然而，在提早或延迟读取异步图片意味着提前或延迟从输出缓冲器206开始读出的时间，并且不影响作为非参考图片停留在输出缓冲器206中的时间。此外，读出间隙相当于一个图片，精度为120Hz。此外，以两个图片间隔以24Hz同步刷新间隙，而并不波及。因此，关于输出缓冲器206的缓冲器管理没有问题。
返回参考图15，显示单元208基于由显示处理单元207获得的运动图像数据显示运动图像。显示单元208由例如液晶显示器(LCD)、有机电致发光(EL)面板等配置成。注意，显示单元208可以是连接到接收装置200的外部装置。
将简要描述图15中所示的接收装置200的操作。在接收单元202中，在广播波或网络分组上接收从发送装置100发送的视频流VS。在该视频流VS中，包括通过以60Hz的帧速率对构成24Hz的帧速率的运动图像数据的每个图片进行编码而获得的60Hz的视频流(60p流)。
将由接收单元202接收的视频流VS提供给多路分用器203。在多路分用器203中，通过PID过滤从视频流VS中取出视频流。此外，在多路分用器203中，提取包括在视频流VS的层中的分节信息并将其发送到CPU 201。
将由多路分用器203取出的视频流提供给输入缓冲器204并暂时存储在其中。该视频流包括构成帧速率为24Hz的运动图像数据的每个图片的编码图像数据。存储在输入缓冲器204中的每个图片的编码图像数据在由解码时间戳(DTS)表示的时间放入解码器205内并解码。然后，将由解码器205获得的每个图片的图像数据提供给输出缓冲器206并暂时存储。
此外，在解码器205中，提取表示每个图片的显示开始时间的PTS以及插入到每个图片的编码图像数据(访问单元)中的参数集和SEI消息并将其发送到CPU 201。在这种情况下，还提取具有用于执行3-2下拉处理的重复次数信息的图片时间SEI消息、具有表示每个图片的显示开始时间与24Hz的帧速率之间的同步关系的标识信息(PS/PA/PB)的图片时间位移SEI消息等。
在下文中，将分别描述在接收装置200以60Hz的帧速率进行显示(60Hz显示)的情况下的操作和在接收装置200以120Hz的帧速率进行显示(120Hz显示)的情况下的操作。
首先，将描述接收装置200以60Hz的帧速率进行显示(60Hz显示)的情况。在这种情况下，在CPU 201中，由PTS表示的显示开始时间照原样用作存储在输出缓冲器206中的每个图片的显示开始时间。在显示处理单元207中，在CPU 201的控制下，在由PTS表示的显示开始时间，开始从输出缓冲器206中读出相应图片的图像数据。
然后，在显示处理单元207中，以60Hz的帧速率执行显示重复处理并且重复在图片时间SEI消息的“pic_struct”字段中指定的重复次数，并且获得通过3-2下拉处理的60Hz的帧速率的运动图像数据。将该运动图像数据提供给显示单元208，并且在显示单元208中以60Hz的帧速率进行显示(60Hz显示)。
接下来，将描述接收装置200以120Hz的帧速率进行显示(120Hz显示)的情况。在这种情况下，在CPU 201中，基于插入到每个图片的编码图像数据中的标识信息(PS/PA/PB)，适当地校正由PTS表示的显示开始时间，并将其用作存储在输出缓冲器206中的每个图片的显示开始时间。
在这种情况下，由PTS表示的显示开始时间照原样用作插入了标识信息“PS”的图片的显示开始时间。此外，对于插入了标识信息“PA”的图片的显示开始时间，由PTS表示的显示开始时间在显示开始时间提前一个图片的方向移动并校正，即，1/120秒，以在120Hz的帧速率使用。此外，对于插入了标识信息“PB”的图片的显示开始时间，由PTS表示的显示开始时间在显示开始时间延迟一个图片的方向移动并校正，即，1/120秒，以供120Hz的帧速率使用。
在显示处理单元207中，在CPU 201的控制下，在上述校正显示开始时间，开始从输出缓冲器206读出每个图片的图像数据。然后，在显示处理单元207中，以120Hz的帧速率进行显示重复处理五次，并获得帧速率为120Hz的运动图像数据。将该运动图像数据提供给显示单元208，并且在显示单元208中以120Hz的帧速率进行显示(120Hz显示)。
如上所述，在图1所示的发送/接收系统10中，发送装置100将表示24Hz的帧速率与显示开始时间之间的同步关系的标识信息(“PS”、“PA”和“PB”)插入到构成帧速率为60Hz的视频流的每个图片的编码图像数据中。因此，接收侧可以基于标识信息，容易地将每个图片的图像数据的显示开始时间校正为与在以120Hz的帧速率对构成24Hz的帧速率的运动图像数据的每个图片进行编码的情况下相同的状态，对每个图片的图像数据进行五次显示重复处理，以获得帧速率为120Hz的运动图像数据，并且可以有利地以120Hz的帧速率进行显示(120Hz显示)，而不会损害24Hz材料的平滑度。
此外，在图1所示的发送/接收系统10中，接收装置200基于插入每个图片的编码图像数据中的标识信息(“PS”、“PA”和“PB”)，将每个图片的图像数据的显示开始时间校正为与在以120Hz的帧速率对构成24Hz的帧速率的运动图像数据的每个图片进行编码的情况下相同的状态，并且为每个图片的图像数据进行五次显示重复处理，以获得帧速率为120Hz的运动图像数据。因此，可以有利地以120Hz的帧速率进行显示(120Hz显示)，而不会损害24Hz材料的平滑度。
<2、变型>
注意，在上述实施例中，描述了以下示例，其中，除了标识信息“PS”之外还将标识信息“PA”和“PB”插入到构成60Hz的帧速率的视频流的每个图片的编码图像数据中，作为表示24Hz的帧速率与显示开始时间之间的同步关系的标识信息。然而，可以想到仅插入标识信息“PS”并在接收侧执行类似的处理，而不插入标识信息“PA”和“PB”。
图17的(a)示出了在仅插入标识信息“PS”的情况下图片时间位移SEI消息的结构示例(语法)。图17的(b)示出了结构示例中的主要信息的内容(语义)。在这种情况下，在图17的(a)所示的图片时间位移SEI消息的结构示例中不存在“early_display_flag”和“late_display_flag”字段。
图18和图19示出了60Hz显示和120Hz显示中24Hz的时序与每个图片的显示开始时间之间的对应关系的示例，类似于图4和图6。在图18和图19的示例中，仅插入标识信息“PS”，不插入标识信息“PA”和“PB”，这与图4和图6中的示例不同。
在存在标识信息“PA”和“PB”的情况下，如图4和图6中的示例中那样，在接收装置200中，基于标识信息“PA”和“PB”，确定插入标识信息“PA”或“PB”的图片相比于24Hz的帧速率提前还是延迟，识别出待校正的校正图片的显示开始时间，并且确定校正方向。
例如，在图4的示例中，标识信息“PA”插入到I图片(显示顺序“6”)，中，并且在接收装置200中，基于标识信息“PA”，已知I图片的显示开始时间(显示顺序“6”)相比于24Hz的帧速率延迟，识别出I图片的显示开始时间(显示顺序“6”)要校正，并且确定校正方向是提前方向。
此外，例如，在图6的示例中，标识信息“PB”插入到I图片(显示顺序“4”)中，并且在接收装置200中，基于标识信息“PB”，已知I图片的显示开始时间(显示顺序“4”)相比于24Hz的帧速率提前，识别出要校正I图片的显示开始时间(显示顺序“4”)，并且确定校正方向是延迟方向。
在不存在标识信息“PA”和“PB”的情况下，如图18和图19中的示例中那样，当在特定图片中提取标识信息“PS”时，在接收装置200中，基于在图片时间SEI消息的“pic_struct”中指定的3-2下拉处理的重复次数，确定下一个图片相比于24Hz的帧速率提前还是延迟，识别出图片的显示开始时间需要校正，并且确定校正方向。
例如，在图18的示例中，标识信息“PS”插入到B图片(显示顺序“0”)中，并且该图片的重复次数指定为3。因此，在接收中装置200，已知作为下一个图片的I图片的显示开始时间(显示顺序“6”)相比于24Hz的帧速率延迟，识别出I图片的显示开始时间(显示顺序“6”)需要校正，并且确定校正方向是提前方向。
例如，在图19的示例中，标识信息“PS”插入到B图片(显示顺序“0”)中，并且该图片的重复次数指定为2。因此，在接收装置200中，已知的是，作为下一个图片的I图片的显示开始时间(显示顺序“4)从24Hz的帧速率提前，识别出校正I图片的显示开始时间(显示顺序“4”)，并且确定校正方向是延迟方向。
图20中的流程图示出了在仅插入标识信息“PS”的情况下以及在未插入标识信息“PS”的情况下识别显示开始时间应当校正的图片并确定由接收装置的CPU 201执行的校正方向(提前还是延迟时间)的处理过程的示例。对每个图片执行流程图的处理。
在步骤ST1中，CPU 201开始处理。接下来，在步骤ST2中，CPU 201确定当前图片中是否存在图片时间位移SEI消息。当存在图片时间位移SEI消息时，在步骤ST3中，CPU 201确定是否存在标识信息“PS”，即，“resync_to_picstruct_flag”是“1”还是“0”。
当存在标识信息“PS”时，在步骤ST4中，CPU 201确定在图片时间SEI消息中的“pic_struct”中指定的显示重复次数是否为3。当显示重复次数为3时，在步骤ST5中，CPU201识别出下一个图片的显示开始时间应该作为要校正的对象被校正，并将校正方向确定为提前方向。在步骤ST5的处理之后，CPU 201终止步骤ST6中的处理。
此外，在步骤ST4中显示重复次数不是3，在步骤ST7中，CPU 201确定在图片时间SEI消息中的“pic_struct”中指定的显示重复次数是否为2。当显示重复次数为2时，在步骤ST8中，CPU 201识别出下一个图片的显示开始时间应该作为要校正的对象被校正，并将校正方向确定为延迟方向。在步骤ST8的处理之后，CPU 201终止步骤ST6中的处理。
此外，当在步骤ST3中没有标识信息“PS”时，或者当在步骤ST7中显示重复次数不是2时，CPU 201立即进入步骤ST6并终止处理。
此外，在步骤ST2中没有图片时间位移SEI消息时，在步骤ST9中，CPU 201确定当前图片是否是显示时间需要校正的对象。在当前图片不是要校正的对象时，CPU 201进入步骤ST4的处理，并且执行与上述处理类似的处理。另一方面，在当前图片是要校正的对象时，CPU 201立即进入步骤ST6并终止处理。
从图20中的流程图的描述中可以清楚地看出，即使不存在图片时间位移SEI消息并且因此未插入标识信息“PS”，每个图片的图像数据的显示开始时间也可以校正为与在以120Hz的帧速率对构成24Hz帧速率的运动图像数据的每个图片进行编码的情况下相同的状态。于是，即使在这种情况下，通过对每个图片的图像数据执行五次显示重复处理以获得120Hz的帧速率的运动图像数据，可以有利地执行120Hz的帧速率的显示(120Hz显示)，而不损害24Hz的材料的平滑度。
即使以这种方式未插入标识信息“PS”，也可以校正每个图片的图像数据的显示开始时间。在插入标识信息“PS”的情况下，当处理60Hz的帧速率的多个视频流时，可以在时间校正阶段防止在多个流之间发生间隙，并且可以保证120Hz帧速率的多个视频流的同步显示。
图21示出了处理60Hz的帧速率的两个视频流的情况和插入标识信息“PS”的情况的示例。在这种情况下，由于插入标识信息“PS”，所以在流1(流1)和流2(流2)中指定显示开始时间需要校正的对应图片。因此，在时间校正阶段在两个流之间没有间隙，并且以120Hz的帧速率进行两个流的同步显示是可行的。
图22示出了处理60Hz的帧速率的两个视频流的情况和未插入标识信息“PS”的情况的示例。在进行60Hz显示的情况下，这两个流通过显示时间戳TS彼此同步。在这种情况下，由于未插入标识信息“PS”，所以在用于120Hz显示的显示开始时间校正阶段，在流1(流1)和流2(流2)中，作为要校正的对象而校正显示开始时间的图片可能不相同，如图22所示。在这种情况下，以120Hz的帧速率进行两个视频流的同步显示不可行。
此外，本技术还可以具有以下配置。
(1)一种发送装置，包括：
编码单元，其被配置为以大于第一帧速率的第二帧速率对构成第一帧速率的运动图像数据的每个图片进行编码，以获得第二帧速率的视频流；
信息插入单元，其被配置为将表示第一帧速率和显示开始时间之间的同步关系的标识信息插入到构成第二帧速率的视频流的每个图片的编码图像数据中；以及
发送单元，其被配置为发送插入了标识信息的第二帧速率的视频流。
(2)根据(1)所述的发送装置，其中，
表示同步关系的标识信息包括表示是否与第一帧速率同步的标识信息。
(3)根据(2)所述的发送装置，其中，
当不与第一帧速率同步时，表示同步关系的标识信息还包括表示是否相比于第一帧速率提前或延迟的标识信息。
(4)根据(1)至(3)中任一项所述的发送装置，其中，
第一帧速率为24Hz，第二帧速率为60Hz，或者第一帧速率为48Hz，第二帧速率为120Hz。
(5)根据(1)至(4)中任一项所述的发送装置，其中，
所述信息插入单元将包括标识信息的SEI消息插入到第二帧速率的视频流中。
(6)一种发送方法，包括：
编码步骤，用于以大于第一帧速率的第二帧速率对构成第一帧速率的运动图像数据的每个图片进行编码，以获得第二帧速率的视频流；
信息插入步骤，用于将表示第一帧速率和显示开始时间之间的同步关系的标识信息插入到构成第二帧速率的视频流的每个图片的编码图像数据中；以及
发送步骤，用于由发送单元发送插入了标识信息的第二帧速率的视频流。
(7)一种接收装置，包括：
接收单元，其被配置为接收大于第一帧速率的第二帧速率的视频流，通过以第二帧速率对构成第一帧速率的运动图像数据的每个图片进行编码，来获得所述视频流，并且
所述接收装置还包括：
控制单元，其被配置为控制以下处理：解码处理，用于对构成第二帧速率的视频流的每个图片的编码图像数据进行解码，以获得每个图片的图像数据；时间校正处理，用于将每个图片的图像数据的显示开始时间校正为与在以大于第二帧速率并且是第一帧速率的N倍(N是整数)的第三帧速率对构成第一帧速率的运动图像数据的每个图片进行编码的情况下相同的状态；以及显示重复处理，用于以第三帧速率在校正显示开始时间重复输出每个图片的图像数据N次。
(8)根据(7)所述的接收装置，其中，
表示第一帧速率和显示开始时间之间的同步关系的标识信息插入到构成第二帧速率的视频流的每个图片的编码图像数据中，并且
所述控制单元基于表示同步关系的标识信息来控制时间校正处理。
(9)根据(8)所述的接收装置，其中，
表示同步关系的标识信息包括表示是否与第一帧速率同步的标识信息。
(10)根据(9)所述的接收装置，其中，
当不与第一帧速率同步时，表示同步关系的标识信息还包括表示相比于第一帧速率提前还是延迟的标识信息。
(11)根据(7)至(10)中任一项所述的接收装置，其中，
第一帧速率为24Hz，第二帧速率为60Hz，第三帧速率为120Hz，N为5，第一帧速率为24Hz，第二帧速率为60Hz，第三帧速率为240Hz，N是10，或者第一帧速率为48Hz，第二帧速率为120Hz，第三帧速率为240Hz，N为5。
(12)一种接收方法，包括：
接收步骤，用于由接收单元接收大于第一帧速率的第二帧速率的视频流，通过以第二帧速率对构成第一帧速率的运动图像数据的每个图片进行编码，来获得所述视频流，并且
所述接收方法还包括：
解码步骤，用于对构成第二帧速率的视频流的每个图片的编码图像数据进行解码，以获得每个图片的图像数据；
校正步骤，用于将每个图片的图像数据的显示开始时间校正为与在以大于第二帧速率并且是第一帧速率的N倍(N是整数)的第三帧速率对构成第一帧速率的运动图像数据的每个图片进行编码的情况下相同的状态；以及
显示重复步骤，用于以第三帧速率在校正的显示开始时间重复输出每个图片的图像数据N次。
本技术的主要特征是通过将表示24Hz帧速率与显示开始时间之间的同步关系的标识信息插入到构成60Hz帧速率的视频流的每个图片的编码图像数据中，使接收侧能够容易地将每个图片的图像数据的显示开始时间校正为与在以120Hz帧速率对构成24Hz帧速率的运动图像数据的每个图片进行编码的情况下相同的状态，以便有利地以120Hz帧速率进行显示(120Hz显示)，而不损害24Hz的材料的平滑度(参见图4和6)。
附图标记列表
10 发送/接收系统
100 发送装置
101 CPU
102 编码器
102a 视频编码器
102b 检测单元
103 多路复用器
104 发送单元
200 接收装置201 CPU
202 接收单元
203 多路分用器
204 输入缓冲器
205 解码器
206 输出缓冲器
207 显示处理单元
208 显示单元

Claims (12)

1.一种发送装置，包括：
编码单元，被配置为以大于第一帧速率的第二帧速率对构成所述第一帧速率的运动图像数据的每个图片进行编码，以获得所述第二帧速率的视频流；
信息插入单元，被配置为将表示所述第一帧速率和显示开始时间之间的同步关系的标识信息插入到构成所述第二帧速率的所述视频流的每个图片的编码图像数据中；以及
发送单元，被配置为发送插入了所述标识信息的所述第二帧速率的视频流。
2.根据权利要求1所述的发送装置，其中，
表示同步关系的所述标识信息包括：表示是否与所述第一帧速率同步的标识信息。
3.根据权利要求2所述的发送装置，其中，
当不与所述第一帧速率同步时，表示同步关系的所述标识信息还包括：表示相比于所述第一帧速率是提前还是延迟的标识信息。
4.根据权利要求1所述的发送装置，其中，
所述第一帧速率为24Hz，所述第二帧速率为60Hz，或者所述第一帧速率为48Hz，所述第二帧速率为120Hz。
5.根据权利要求1所述的发送装置，其中，
所述信息插入单元将包括所述标识信息的SEI消息插入到所述第二帧速率的视频流中。
6.一种发送方法，包括：
编码步骤，用于以大于第一帧速率的第二帧速率对构成所述第一帧速率的运动图像数据的每个图片进行编码，以获得所述第二帧速率的视频流；
信息插入步骤，用于将表示所述第一帧速率和显示开始时间之间的同步关系的标识信息插入到构成所述第二帧速率的视频流的每个图片的编码图像数据中；以及
发送步骤，用于由发送单元发送插入了所述标识信息的所述第二帧速率的视频流。
7.一种接收装置，包括：
接收单元，被配置为接收通过以大于第一帧速率的第二帧速率对构成所述第一帧速率的运动图像数据的每个图片进行编码而获得所述第二帧速率的视频流，并且
所述接收装置还包括：
控制单元，被配置为控制以下：解码处理，用于对构成所述第二帧速率的视频流的每个图片的编码图像数据进行解码，以获得每个图片的图像数据；时间校正处理，用于将每个图片的图像数据的显示开始时间校正为与在以大于所述第二帧速率并且是所述第一帧速率的N倍(N是整数)的第三帧速率对构成所述第一帧速率的运动图像数据的每个图片进行编码的情况下相同的状态；以及显示重复处理，用于以所述第三帧速率重复输出N次校正了显示开始时间的所述每个图片的图像数据。
8.根据权利要求7所述的接收装置，其中，
表示所述第一帧速率和所述显示开始时间之间的同步关系的标识信息插入到构成所述第二帧速率的视频流的每个图片的编码图像数据中，并且
所述控制单元基于表示同步关系的所述标识信息来控制所述时间校正处理。
9.根据权利要求8所述的接收装置，其中，
表示同步关系的所述标识信息包括表示是否与所述第一帧速率同步的标识信息。
10.根据权利要求9所述的接收装置，其中，
当不与所述第一帧速率同步时，表示所述同步关系的标识信息还包括表示相比于所述第一帧速率是提前还是延迟的标识信息。
11.根据权利要求7所述的接收装置，其中，
所述第一帧速率为24Hz，所述第二帧速率为60Hz，所述第三帧速率为120Hz，N为5；所述第一帧速率为24Hz，所述第二帧速率为60Hz，所述第三帧速率为240Hz，N是10；或者所述第一帧速率为48Hz，所述第二帧速率为120Hz，所述第三帧速率为240Hz，N为5。
12.一种接收方法，包括：
接收步骤，用于由接收单元接收以大于第一帧速率的第二帧速率对构成所述第一帧速率的运动图像数据的每个图片进行编码而获得的所述第二帧速率的视频流，并且
所述接收方法还包括：
解码步骤，用于对构成所述第二帧速率的视频流的每个图片的编码图像数据进行解码，以获得每个图片的图像数据；
校正步骤，用于将每个图片的图像数据的显示开始时间校正为与在以大于所述第二帧速率并且是所述第一帧速率的N倍(N是整数)的第三帧速率对构成所述第一帧速率的运动图像数据的每个图片进行编码的情况下相同的状态；以及
显示重复步骤，用于以所述第三帧速率重复输出N次校正了显示开始时间的每个图片的图像数据。
CN201780017916.XA 2016-03-24 2017-03-16 发送装置、发送方法、接收装置和接收方法 Active CN108781301B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016060956 2016-03-24
JP2016-060956 2016-03-24
PCT/JP2017/010795 WO2017164087A1 (ja) 2016-03-24 2017-03-16 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
CN108781301A true CN108781301A (zh) 2018-11-09
CN108781301B CN108781301B (zh) 2021-04-16

Family

ID=59900261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780017916.XA Active CN108781301B (zh) 2016-03-24 2017-03-16 发送装置、发送方法、接收装置和接收方法

Country Status (6)

Country Link
US (1) US10659795B2 (zh)
EP (1) EP3435678B1 (zh)
JP (1) JP6996490B2 (zh)
CN (1) CN108781301B (zh)
TW (1) TWI744292B (zh)
WO (1) WO2017164087A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112866745A (zh) * 2020-12-31 2021-05-28 广州穗能通能源科技有限责任公司 流媒体视频数据处理方法、装置、计算机设备和存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200077517A (ko) * 2017-11-02 2020-06-30 소니 주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020090938A1 (en) * 2000-12-28 2002-07-11 Dharia Bhupal Kanaiyalal Fast macrodiversity switching with interleaving in wireless networks
CN1499836A (zh) * 2002-11-07 2004-05-26 ������������ʽ���� 与图像数据相应的帧速率的变换
CN1691769A (zh) * 2004-03-31 2005-11-02 松下电器产业株式会社 可变帧速率记录的视频记录设备、复用及画面编码方法
US20060061666A1 (en) * 2003-07-18 2006-03-23 Katsumi Kaneko Image pickup device
CN1965581A (zh) * 2004-06-10 2007-05-16 索尼计算机娱乐公司 编码装置，编码方法，解码装置，解码方法，程序，程序记录介质，数据记录介质，数据结构和再现装置
US20080130737A1 (en) * 2004-12-22 2008-06-05 British Telecommunications Public Limited Company Buffer Underflow Prevention
JP2012227799A (ja) * 2011-04-21 2012-11-15 Mitsubishi Electric Corp 画像表示装置
CN103518369A (zh) * 2011-04-01 2014-01-15 松下电器产业株式会社 视频信号的帧频变换装置及其方法、采用该帧频变换的视频处理装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013143646A (ja) 2012-01-10 2013-07-22 Sony Corp 表示装置、フレームレート変換装置、および表示方法
RU2660957C2 (ru) * 2013-10-11 2018-07-11 Сони Корпорейшн Устройство передачи, способ передачи и устройство приема

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020090938A1 (en) * 2000-12-28 2002-07-11 Dharia Bhupal Kanaiyalal Fast macrodiversity switching with interleaving in wireless networks
CN1499836A (zh) * 2002-11-07 2004-05-26 ������������ʽ���� 与图像数据相应的帧速率的变换
US20060061666A1 (en) * 2003-07-18 2006-03-23 Katsumi Kaneko Image pickup device
CN1691769A (zh) * 2004-03-31 2005-11-02 松下电器产业株式会社 可变帧速率记录的视频记录设备、复用及画面编码方法
CN1965581A (zh) * 2004-06-10 2007-05-16 索尼计算机娱乐公司 编码装置，编码方法，解码装置，解码方法，程序，程序记录介质，数据记录介质，数据结构和再现装置
US20080130737A1 (en) * 2004-12-22 2008-06-05 British Telecommunications Public Limited Company Buffer Underflow Prevention
CN103518369A (zh) * 2011-04-01 2014-01-15 松下电器产业株式会社 视频信号的帧频变换装置及其方法、采用该帧频变换的视频处理装置
JP2012227799A (ja) * 2011-04-21 2012-11-15 Mitsubishi Electric Corp 画像表示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
宋锦: "帧速率上转换算法的研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112866745A (zh) * 2020-12-31 2021-05-28 广州穗能通能源科技有限责任公司 流媒体视频数据处理方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
US20190052889A1 (en) 2019-02-14
CN108781301B (zh) 2021-04-16
EP3435678A1 (en) 2019-01-30
TWI744292B (zh) 2021-11-01
WO2017164087A1 (ja) 2017-09-28
US10659795B2 (en) 2020-05-19
TW201739257A (zh) 2017-11-01
EP3435678A4 (en) 2019-01-30
JP6996490B2 (ja) 2022-01-17
EP3435678B1 (en) 2021-04-28
JPWO2017164087A1 (ja) 2019-02-14

Similar Documents

Publication Publication Date Title
US7787539B2 (en) Decoding and presentation time stamps for MPEG-4 advanced video coding
US9456209B2 (en) Method of multiplexing H.264 elementary streams without timing information coded
US20210258589A1 (en) Transmission device, transmission method and reception device
EP2574064A1 (en) Image data transmitting device, image data transmitting method and image data receiving device
EP2866457B1 (en) Reception device, and synchronous processing method therefor
CN1636403A (zh) 数字视频传输流的拼接
EP2346261A1 (en) Method and apparatus for multiplexing H.264 elementary streams without timing information coded
CN102761776A (zh) 基于SVC的P2PVoD系统的视音频同步方法
US20120307006A1 (en) Receiving apparatus, transmitting apparatus, communication system, receiving apparatus control method, and program
US20140125762A1 (en) Transmission device, transmission method, reception apparatus, and reception method
CN108781301A (zh) 发送装置、发送方法、接收装置和接收方法
EP2600619A1 (en) Transmitter, transmission method and receiver
JP6969541B2 (ja) 送信装置および送信方法
CN110324628B (zh) 发送装置、发送方法、接收装置以及接收方法
CN107534786A (zh) 传输装置、传输方法、图像处理装置、图像处理方法、接收装置、及接收方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant