CN107534790B - 图像处理装置、图像处理方法、接收装置及发送装置 - Google Patents

图像处理装置、图像处理方法、接收装置及发送装置 Download PDF

Info

Publication number
CN107534790B
CN107534790B CN201680026976.3A CN201680026976A CN107534790B CN 107534790 B CN107534790 B CN 107534790B CN 201680026976 A CN201680026976 A CN 201680026976A CN 107534790 B CN107534790 B CN 107534790B
Authority
CN
China
Prior art keywords
image data
frame rate
moving image
shutter speed
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201680026976.3A
Other languages
English (en)
Other versions
CN107534790A (zh
Inventor
塚越郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107534790A publication Critical patent/CN107534790A/zh
Application granted granted Critical
Publication of CN107534790B publication Critical patent/CN107534790B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

本发明的目的是使传统的帧内插技术能够处理用高速帧快门捕捉的并且具有高锐度图像分量的运动图像数据。获取具有预定帧速率和预定分辨率的运动图像数据。当预定帧速率与相机快门速度的比率低于阈值时，执行用于提高与获取的运动图像数据相邻的帧之间的相关度的过滤处理。例如，基于帧速率和分辨率信息来估计相机快门速度。

Description

图像处理装置、图像处理方法、接收装置及发送装置
技术领域
本技术涉及一种图像处理装置、一种图像处理方法、一种接收装置和一种发送装置。更具体地，本技术涉及一种处理由具有高速帧快门的相机捕捉的运动图像数据的图像处理装置等。
背景技术
近年来，已知有利用高速帧快门进行高帧速率捕捉的相机(例如，参照专利文献1)。例如，当正常帧速率为60fps、50fps等时，高帧速率具有以上帧速率的几倍或几十倍或甚至几百倍的帧速率。
当以高帧速率执行服务时，可以想到将具有高速帧快门的相机捕捉的运动图像转换为具有比原始运动图像的频率更低的频率的运动图像序列进行发送。然而，虽然通过高速帧快门获得的图像具有改善运动模糊并且实现具有高锐度的图像质量的效果，但当接收/再现侧的快门开口率低时，这种图像具有在传统帧内插技术中引起图像质量问题的因素。
即，由于运动矢量搜索适合的情况与不适合的情况之间的差异在使用以高速帧快门捕捉的具有高锐度的运动图像的帧内插中增加，所以存在图像质量劣化的可能性，在显示时，这两者之间出现有显著差异。在帧内插时，需要进行高负荷计算，以提高运动矢量搜索的精度，但这影响接收器的成本。
引用列表
专利文献
专利文献1：日本专利申请公开第2010-178124号
发明内容
本发明要解决的问题
本技术的目的是使传统的帧内插技术可以处理以高速帧快门捕捉的具有高锐度图像分量的运动图像数据。
问题的解决方案
本技术的概念是一种图像处理装置，包括：
图像数据获取单元，获取具有预定帧速率和预定分辨率的运动图像数据；以及
图像处理单元，当预定帧速率与相机快门速度的比率低于阈值时，对所获取的运动图像数据执行用于提高相邻帧之间的相关度的过滤处理。
在本技术中，由图像数据处理单元获取具有预定帧速率和预定分辨率的运动图像数据。当预定帧速率与相机快门速度的比率低于阈值时，由图像处理单元对所获取的运动图像数据执行用于提高相邻帧之间的相关度的过滤处理。例如，图像处理单元可以基于关于帧速率和分辨率的信息来估计相机快门速度。此外，例如，可以将关于帧速率与相机快门速度的比率的信息插入容器的层和/或视频流的层中，并且图像处理单元可以基于插入到容器的层和/或视频流的层中的关于帧速率与相机快门速度的比率的信息，获得预定帧速率与相机快门速度的比率。
此外，例如，图像数据获取单元可以接收包含通过对运动图像数据应用编码处理而获得的视频流的预定格式的容器，并通过对视频流应用解码处理来获取运动图像数据。在这种情况下，例如，图像处理单元可以基于插入在容器的层中的关于帧速率和分辨率的信息来估计相机快门速度。此外，在这种情况下，例如，图像处理单元可以基于插入在视频流的层中的关于帧速率和分辨率的信息来估计相机快门速度。
此外，例如，图像数据获取单元可以经由数字接口从外部设备获取运动图像数据。在这种情况下，例如，图像处理单元可以基于插入在运动图像数据的空白周期内的关于帧速率和分辨率的信息来估计相机快门速度。此外，在这种情况下，例如，图像处理单元可以经由数字接口从外部设备获取关于帧速率与相机快门速度的比率的信息，并且基于关于该比率的该信息，获得预定帧速率与相机快门速度的比率。
如上所述，在本技术中，当预定帧速率与相机快门速度的比率低于阈值时，对具有预定帧速率和预定分辨率的运动图像数据执行用于提高相邻帧之间的相关度的过滤处理。因此，传统的帧内插技术变成可以处理用高速帧快门捕捉的并具有高锐度图像分量的运动图像数据。
同时，在本技术中，例如，图像数据获取单元可以接收包含通过对运动图像数据应用编码处理而获得的视频流的预定格式的容器，并通过对视频流应用解码处理来获取运动图像数据，并且在插入容器的层中的指示是否传送超高清晰度视频分发的信息指示了传送超高清晰度视频分发的情况下，当预定帧速率与相机快门速度的比率低于阈值时，图像处理单元可以对所获取的运动图像数据执行用于提高相邻帧之间的相关度的过滤处理。在这种情况下，可以仅对用高速帧快门捕捉的并具有高锐度图像分量的运动图像数据执行过滤处理。
此外，本技术的另一概念是接收装置，包括：
接收单元，接收包含通过对运动图像数据应用编码处理而获得的视频流的预定格式的容器；以及
控制单元，控制：对视频流应用解码处理以获得具有预定的帧速率和预定的分辨率的运动图像数据的解码处理；通过使用帧间运动矢量生成内插帧，将通过解码处理获得的运动图像数据的帧速率调整为显示能力的内插处理；以及当预定帧速率与相机快门速度的比率低于阈值时，对通过解码处理获得的运动图像数据执行的用于提高相邻帧之间的相关度的过滤处理。
根据本技术，由接收单元接收包含通过对运动图像数据应用编码处理而获得的视频流的预定格式的容器。控制单元控制解码处理、内插处理和过滤处理。在解码处理中，对视频流应用解码，以获得具有预定帧速率和预定分辨率的运动图像数据。此外，在内插处理中，通过使用帧间运动矢量生成内插帧，将该运动图像数据的帧速率调整为显示能力。
此外，在过滤处理中，当预定帧速率与相机快门速度的比率低于阈值时，对于运动图像数据提高相邻帧之间的相关度。
如上所述，在本技术中，当预定帧速率与相机快门速度的比率低于阈值时，对通过解码处理获得的具有预定帧速率和预定分辨率的运动图像数据执行用于提高相邻帧之间的相关度的过滤处理。因此，在内插处理中，可以用传统的帧内插技术令人满意地执行帧内插。
此外，本技术的另一概念是接收装置，包括：
接收单元，经由数字接口从外部设备接收具有预定的帧速率和预定的分辨率的运动图像数据；以及
控制单元，控制：通过使用帧间运动矢量生成内插帧，将接收单元接收的运动图像数据的帧速率调整为显示能力的内插处理；以及当预定帧速率与相机快门速度的比率低于阈值时，对获取的运动图像数据执行用于提高相邻帧之间的相关度的过滤处理。
在本技术中，由接收单元经由数字接口从外部设备接收具有预定帧速率和预定分辨率的运动图像数据。例如，数字接口可以是高清多媒体接口(HDMI)。内插处理和过滤处理由控制单元控制。
在内插处理中，通过使用帧间运动矢量生成内插帧，将运动图像数据的帧速率调整为显示能力。在过滤处理中，当预定帧速率与相机快门速度的比率低于阈值时，对运动图像数据执行用于提高相邻帧之间的相关度的过滤处理。
如上所述，在本技术中，当预定帧速率与相机快门速度的比率低于阈值时，对接收单元接收的具有预定帧速率和预定分辨率的运动图像数据执行用于提高相邻帧之间的相关度的过滤处理。因此，在内插处理中，可以用传统的帧内插技术令人满意地执行帧内插。
此外，本技术的另一概念是发送装置，包括：
图像编码单元，通过对运动图像数据应用编码来生成视频流；
发送单元，发送包含视频流的预定格式的容器；以及
信息插入单元，将与插入到视频流的层中的关于帧速率和分辨率的信息相对应的关于帧速率和分辨率的信息插入到容器的层中。
在本技术中，通过图像编码单元对运动图像数据应用编码，以使得生成视频流。由发送单元发送包含该视频流的预定格式的容器。例如，容器可以是数字广播标准中采用的传输流(MPEG-2TS)。可替换地，例如，容器可以是用于在互联网等中分发的MP4或除MP4之外的格式的容器。由信息插入单元将与插入到视频流的层中的关于帧速率和分辨率的信息相对应的关于帧速率和分辨率的信息，插入到容器的层中。
以这种方式，在本技术中，将与插入到视频流的层中的关于帧速率和分辨率的信息相对应的关于帧速率和分辨率的信息插入到容器的层中。因此，接收侧可以从容器的层获取关于帧速率和分辨率的信息。
同时，在本技术中，例如，信息插入单元还可以将指示是否传送超高清晰度视频分发的信息插入到容器的层中。在这种情况下，接收侧可以容易地从容器的层中获取指示是否传送超高清晰度视频分发的信息。
此外，本技术的概念是一种发送装置，包括：
图像编码单元，通过对运动图像数据应用编码来生成视频流；
发送单元，发送包含视频流的预定格式的容器；以及
信息插入单元，将指示是否传送超高清晰度视频分发的信息插入到容器的层中。
在本技术中，图像编码单元对运动图像数据应用编码，以使得生成视频流。由发送单元发送包含该视频流的预定格式的容器。例如，容器可以是数字广播标准中采用的传输流(MPEG-2TS)。可替换地，例如，容器可以是用于在互联网等中分发的MP4或除MP4之外的格式的容器。由信息插入单元将指示是否传送超高清晰度视频分发的信息插入到容器的层中。
如上所述，在本技术中，将指示是否传送超高清晰度视频分发的信息插入到容器的层中。因此，接收侧可以从容器的层获取指示是否传送超高清晰度视频分发的信息。
此外，本技术的概念是一种发送装置，包括：
图像编码单元，通过对运动图像数据应用编码处理来生成视频流；
发送单元，发送包含视频流的预定格式的容器；以及
信息插入单元，将关于帧速率与相机快门速度的比率的信息插入到容器的层和视频流的层中。
在本技术中，图像编码单元对运动图像数据应用编码，以使得生成视频流。由发送单元发送包含该视频流的预定格式的容器。例如，容器可以是数字广播标准中采用的传输流(MPEG-2TS)。可替换地，例如，容器可以是用于在互联网等中分发的MP4或除MP4之外的格式的容器。由信息插入单元将关于帧速率与相机快门速度的比率的信息插入到容器的层和视频流的层中。
如上所述，在本技术中，将关于帧速率与相机快门速度的比率的信息插入到容器的层和视频流的层中。因此，接收侧可以从容器的层和视频流的层获取关于帧速率与相机快门速度的比率的信息。
同时，在本技术中，例如，信息插入单元还可以将指示是否传送超高清晰度视频分发的信息插入到容器的层和视频流的层中。在这种情况下，接收侧可以从容器的层和视频流的层容易地获取指示是否传送超高清晰度视频分发的信息。
本发明的效果
根据本技术，传统的帧内插技术可以处理用高速帧快门捕捉的并具有高锐度图像分量的运动图像数据。注意，本文描述的效果不必受限，并且可以应用本公开中描述的任何效果。
附图说明
[图1]是示出用作实施方式的发送/接收系统的配置示例的框图。
[图2]是用于说明在发送侧从图像序列产生到分发的相机快门速度与帧速率的关系的示图。
[图3]是用于说明帧速率与相机快门速度的比率的示图。
[图4]是示出发送装置的配置示例的框图。
[图5]是示出编码参数描述符的结构的示例的示图。
[图6]是示出编码参数描述符的结构的示例中的主要信息的内容的示图。
[图7]是示出在通过单流执行分发的情况下的传输流TS的配置示例的示图。
[图8]是示出在通过多流执行分发的情况下的传输流TS的配置示例的示图。
[图9]是示出接收装置的配置示例的框图。
[图10]是示意性地示出中间处理单元中的过滤处理的示例的示图。
[图11]是示出快门速度估计表的示例的示图。
[图12]是示出由CPU对中间处理单元进行的控制处理的示例的流程图。
[图13]是用于说明使用帧间运动矢量的内插帧的生成的示图。
[图14]是示出超高质量描述符的结构的示例的示图。
[图15]是示出在通过单流执行分发的情况下的传输流TS的配置示例的示图。
[图16]是示出帧质量描述符的结构的示例的示图。
[图17]是示出帧质量描述符的结构的示例中的主要信息的内容的示图。
[图18]是示出帧质量SEI消息的结构的示例的示图。
[图19]是示出在通过单流执行分发的情况下的传输流TS的配置示例的示图。
[图20]是示出在通过多流进行分发的情况下的传输流TS的配置示例的示图。
[图21]是示出由CPU对中间处理单元进行的控制处理的示例的流程图。
[图22]是示出发送/接收系统的另一配置示例的框图。
具体实施方式
下面将描述用于执行本发明的模式(以下称为“实施方式”)。注意，将按照以下顺序给出描述。
1.实施方式
2.变形
<1.实施方式>
【发送/接收系统】
图1示出了用作实施方式的发送/接收系统10的配置示例。该发送/接收系统10具有包括发送装置100和接收装置200的配置。
发送装置100将传输流TS作为容器并入广播波内来发送。该传输流TS包括通过对运动图像数据进行编码而获得的一个或多个视频流。在这种情况下，例如，应用诸如H.264/AVC或H.265/HEVC的编码。
在此处，除了用诸如30Hz或60Hz的正常帧快门捕捉的运动图像的数据之外，运动图像数据还包括用诸如120Hz或240Hz的高速帧快门捕捉的运动图像的数据或通过将这种运动图像转换成低频运动图像序列而获得的运动图像的数据等。用高速帧快门捕捉的运动图像数据具有高锐度图像分量。因此，当接收/再现侧的快门开口率降低时，这种运动图像数据具有在传统的帧内插技术中引起图像质量问题的因素。
例如，如图2所示，(1)用高速帧快门捕捉的原始图像序列具有240Hz的相机快门速度和3840×2160的4K分辨率，并且被转换为具有120Hz的帧速率和3840×2160的4K分辨率的分发图像序列以发送。
(2)在单流分发的情况下，当从240Hz到120Hz生成序列时，如果每两帧检索到一帧，则针对图像的锐度保持捕捉时的原始质量。然而，分发帧速率与相机快门速度的比率低至50％(＝120/240)。
(3)在多流分发的情况下，在此处，在两个流分发(时间方向上的可扩展性发送)的情况下，交替检索在(2)中提到的与相机快门速度的比率为50％的序列的图像，以便将一个流分配给基础组(Base Group)，而另一个流分配给增强组(Enhanced Group)。基础组的帧速率为60Hz，并且同样，增强组的帧速率也为60Hz。
在解码并显示基础组和增强组的情况下，由于要显示的整个图像序列的帧速率为120Hz，所以与相机快门速度的比率为50％，这与单流的分发是相当的。然而，在仅显示基础组的情况下，帧速率为60Hz，并且与相机快门速度的比率进一步降低至25％(＝60/240)。
图3示出了帧速率与相机快门速度的比率。在原始图像序列的情况下，该比率为100％(＝240/240)。在单流分发的情况下，该比率为50％(＝120/240)。在多流分发的情况下，基础组和增强组中的每一个的比率为25％(＝60/240)，并且当两者组合时，该比率变为50％(60*2/240)。在仅显示基础组的情况下，该比率为25％。从所示的示例可以看出，比率越低，前一帧和后一帧之间的相关性越低。
返回到图1，发送装置100将关于帧速率和分辨率的信息插入到作为容器的传输流TS的层中。在视频流的序列参数集(SPS)的网络抽象层(NAL)单元中，存在关于帧速率和分辨率的信息。如上所述，要插入到传输流TS的层中的关于帧速率和分辨率的信息对应于视频流的SPS NAL单元。通过以这种方式将关于帧速率和分辨率的信息插入到传输流TS的层中，接收侧可以容易地从传输流TS的层获取关于帧速率和分辨率的信息。
此外，发送装置100将指示是否传送超高清晰度视频分发的信息插入到作为容器的传输流TS的层中。例如，高清晰度视频分发包括以诸如120Hz或240Hz的高速帧快门捕捉的运动图像本身的分发，或通过简单地从这种运动图像中检索预定帧转换成低频运动图像序列同时保持图像的锐度而获得的运动图像的分发。通过以这种方式将指示是否传送超高清晰度视频分发的信息插入到传输流TS的层中，接收侧可以从传输流TS的层中容易地获取指示是否传送超高清晰度视频分发的该信息。
在本实施方式中，例如，发送装置100将上面已经描述的关于帧速率和分辨率的信息以及指示是否传送超高清晰度视频分发的信息插入到设置在节目映射表下的与视频流相对应的视频基本流循环的内部，作为描述符。稍后将描述该描述符的细节。
接收装置200接收从发送装置100发送的被并入广播波中的上述传输流TS。该传输流TS包括通过对运动图像数据或多个视频流(例如，基础流和增强流这两个视频流)进行编码而获得的一个视频流。接收装置200对视频流应用解码，以获得预定帧速率和预定分辨率的运动图像数据。
在这种情况下，在运动图像数据在单流中分发的情况下，接收装置200对该单流应用解码处理，以获得预定帧速率和预定分辨率的运动图像数据。此外，在这种情况下，在运动图像数据在多流中分发的情况下，接收装置200根据解码能力对预定数量的流应用解码处理，以获得预定帧速率和预定分辨率的运动图像数据。
例如，在运动图像数据在两个流(即，基础流和增强流)中分发的情况下，仅基础流或基础流和增强流两者被解码，以获得预定帧速率和预定分辨率的运动图像数据。
接收装置200使用帧间运动矢量对通过解码处理获得的具有预定帧速率和预定分辨率的运动图像数据应用内插处理以用于生成内插帧，并且获得用于显示的运动图像数据。在此处，当预定帧速率与相机快门速度的比率低于阈值时，接收装置200在内插处理之前对通过解码处理获得的运动图像数据执行用于提高相邻帧之间的相关度的过滤处理。通过执行该过滤处理，可以用传统的帧内插技术令人满意地执行帧内插。
接收装置200基于关于帧速率和分辨率的信息来估计相机快门速度。例如，接收装置200使用插入到作为容器的传输流TS的层中或插入到视频流的层中的关于帧速率和分辨率的信息。
注意，上述过滤处理集中于避免在利用传统的帧内插技术执行内插的情况下引起的图像质量问题，同时在构成通过解码处理获得的运动图像的每个帧中保持由于高速帧快门捕捉而得到的图像的锐度。在本实施方式中，在插入到作为容器的传输流TS的层中的指示是否传送超高清晰度视频分发的信息指示了传送超高清晰度视频分发的情况下，接收装置200执行上述过滤处理。
【发送装置的配置】
图4示出了发送装置100的配置示例。该发送装置100具有中央处理单元(CPU)101、编码器102、多路复用器103和发送单元104。CPU 101是控制单元，并且控制发送装置100的每个元件的动作。
编码器102接受未压缩的运动图像数据VD的输入并构成分发图像序列。然后，编码器102将诸如H.264/AVC或H.265/HEVC的编码处理应用于该运动图像数据VD，并且在单流分发的情况下生成一个视频流，并且在多流分发的情况下生成多个视频流。在下文中，为了简化说明，本实施方式假设多个视频流是基础流和增强流这两个视频流。
多路复用器103将由编码器102生成的视频流转换为打包基本流(PES)分组，并进一步将PES分组转换成传输分组以进行多路复用，从而获得作为多路复用流的传输流TS。在该实施方式中，该传输流TS仅包括基础流或包括基础流和增强流两者。
此外，多路复用器103将关于帧速率和分辨率的信息以及指示是否传送超高清晰度视频分发的信息插入到作为容器的传输流TS的层中。这些条信息作为描述符插入到设置在节目映射表下面的与视频流对应的视频基本流循环的内部。发送单元104将由多路复用器103获得的传输流TS合并到广播波内，以发送给接收装置200。
【关于信息的插入】
将进一步描述在多路复用器103中插入信息。多路复用器103插入新定义的编码参数描述符(Coding Parameter_descriptor)。图5示出了编码参数描述符的结构的示例(语法)。图6示出了上面的结构示例中的主要信息的内容(语义)。
“coding parameter_descriptor_tag”的八位字段表示描述符类型。“codingparameter_descriptor_tag”在此处表示它是编码参数描述符。“coding parameter_descriptor length”的8位字段表示描述符的长度(大小)，并指示随后的字节数作为描述符的长度。“coding parameter_descriptor length”在此处表示三个字节。
“service_quality_type”的四位字段表示是否传送超高清晰度视频分发。“0×01”表示传送超高清晰度视频分发。“0×10”表示仅传送高清晰度视频分发。“temporal_scalablility_flag”的一位字段表示是否使用具有时间可扩展性的多流配置。“1”表示使用具有时间可扩展性的多流配置。“0”表示使用没有时间可扩展性的单流配置。
“Resolution_type”的八位字段表示分辨率。例如，“0×01”表示1920×1080的分辨率，即HD分辨率，“0×02”表示3840×2160的分辨率，即4K分辨率，“0×03”表示7680×4320的分辨率，即8K分辨率。“FrameRate_type”的八位字段表示整个分发的帧速率。例如，“0×01”表示30Hz，“0×02”表示60Hz，并且“0×03”表示120Hz。
【传输流TS的配置】
图7示出了在通过单流执行分发的情况下的传输流TS的配置示例。该传输流TS包括一个视频流。即，根据该配置示例，存在用于视频流的PES分组“视频PES1”。包括在PES有效载荷中的每个图片的编码图像数据由诸如“AUD”、“VPS”、“SPS”、“PPS”、“PSEI”、“SLICE”、“SSEI”和“EOS”的NAL单元构成。
另外，节目映射表(PMT)作为节目特定信息(PSI)包括在传输流TS中。该PSI是提及包含在传输流中的每个基本流所属的节目是哪个节目的信息。PMT具有说明与整个节目有关的信息的节目循环(Program loop)。另外，PMT具有基本流循环，基本流循环具有与每个基本流有关的信息。根据该配置示例，存在视频基本流循环(视频ES1循环)。
诸如流类型和分组标识符(PID)的信息设置在与视频流(视频PES1)对应的视频基本流循环中，并且同时，还在视频基本流循环中设置说明与该视频流有关的信息的描述符。作为这种描述符中的一个，插入HEVC描述符(HEVC_descriptor)和上述编码参数描述符(Coding Parameter_descriptor)。
图8示出了在此处由两个流执行多流的分发的情况下的传输流TS的配置示例。该传输流TS包括两个视频流。即，根据该配置示例，存在用于基础流的PES分组“视频PES1”，并且还存在用于增强流的PES分组“视频PES2”。包括在PES有效载荷中的每个图片的编码图像数据由诸如“AUD”、“VPS”、“SPS”、“PPS”、“PSEI”、“SLICE”、“SSEI”和“EOS”的NAL单元构成。
另外，节目映射表(PMT)作为节目特定信息(PSI)包含在传输流TS中。该PSI是提及包含在传输流中的每个基本流所属的节目是哪个节目的信息。PMT具有说明与整个节目有关的信息的节目循环(Program loop)。另外，PMT具有基本流循环，基本流循环具有与每个基本流有关的信息。根据该配置示例，在该配置示例中存在两个视频基本流循环(视频ES1循环和视频ES2循环)。
诸如流类型和分组标识符(PID)的信息设置在与视频流(视频PES1和视频PES2)对应的各个视频基本流循环中，并且同时，还在视频基本流循环中设置说明与这些视频流有关的信息的描述符。作为这种描述符中的一个，插入HEVC描述符(HEVC_descriptor)和上述编码参数描述符(Coding Parameter_descriptor)。
注意，在图8所示的传输流TS的配置示例中，编码参数描述符插入到每个视频基本流循环中。然而，也可以想到编码参数描述符仅设置在与基础流相对应的视频基本流循环中的配置示例。
将简要描述图4所示的发送装置100的动作。未被压缩并构成分发图像序列的运动图像数据VD被输入到编码器102。在编码器102中，诸如H.264/AVC或H.265/HEVC的编码处理应用于该运动图像数据VD，并且在单流分发的情况下生成一个视频流，而在多流分发的情况下生成基础流和增强流这两个视频流。该视频流被提供给多路复用器103。
在多路复用器103中，视频流被转换成PES分组，并被进一步转换为要多路复用的传输分组，从而获得作为多路复用流的传输流TS。例如，该传输流TS仅包括基础流或包括基础流和增强流两者。
此外，在多路复用器103中，将关于帧速率和分辨率的信息以及指示是否传送超高清晰度视频分发的信息插入到作为容器的传输流TS的层中。这些条信息作为描述符插入到设置在节目映射表下面的与视频流对应的视频基本流循环的内部。具体地，在多路复用器103中，待新定义的编码参数描述符(参照图5)与HEVC描述符一起插入。
由多路复用器103生成的传输流TS被发送到发送单元104。在发送单元104中，该传输流TS通过适合于广播的调制方案(诸如QPSK/OFDM)进行调制，并且从发射天线发送RF调制信号。
【接收装置的配置】
图9示出了接收装置200的配置示例。该接收装置200具有中央处理单元(CPU)201、接收单元202、多路解复用器203、解码器204、中间处理单元(图像处理单元)205、后处理单元(内插处理单元)206和显示单元207。CPU 201构成控制单元并且控制接收装置200的每个元件的动作。
接收单元202通过并入到广播波或网络中的分组内来接收从发送设备100发送的传输流TS。在该传输流TS中，在单流分发的情况下包括一个视频流，并且在多流分发的情况下包括基础流和增强流这两个视频流。
多路解复用器203通过PID过滤，在单流分发的情况下从传输流TS中取出一个视频流，并且在多流分发的情况下，根据解码器204的解码能力从传输流中取出仅基础流或基础流和增强流两者，以提供给解码器204。在这种情况下，在传送多流分发并取出基础流和增强流两者的情况下，基于解码定时信息将这两个流集成到一个视频流中并提供给解码器204。
多路解复用器203还提取包括在传输流TS的层中的部分信息，以发送给CPU 201。在这种情况下，还提取编码参数描述符(参照图5)。结果，CPU 201可以根据分发获得关于运动图像的帧速率和分辨率的信息并且另外获得指示是否传送超高清晰度视频分发的信息。
解码器204对从多路解复用器203提供的视频流应用解码处理，以获取预定帧速率和预定分辨率的运动图像数据。后处理单元206通过使用帧间运动矢量生成内插帧，来将由解码器204获取的运动图像数据的帧速率调整为显示能力。例如，当由解码器204获取的运动图像数据的帧速率为30Hz、60Hz和120Hz并且显示能力为240Hz时，将帧速率转换为240Hz。
中间处理单元205插入在解码器204和后处理单元206之间。当由解码器204获得的运动图像数据的帧速率与相机快门速度的比率低于阈值(例如，50％)时，在CPU 201的控制下，中间处理单元205对该运动图像数据执行过滤处理，以用于提高相邻帧之间的相关度。通过执行该过滤处理，后处理单元206可以利用传统的帧内插技术令人满意地执行帧内插。
图10示意性地示出了中间处理单元205中的过滤处理的示例。对输入图像序列的当前帧和在当前帧之前和之后的预定数量的帧进行加权并相加，以获得输出图像序列的当前帧。例如，在当前帧是第N帧时，输入图像序列的各个帧N-3、N-2、N-1、N、N+1、N+2、N+3分别由系数d、c、b、a、b、c、d进行加权并且彼此相加，从而获得输入图像序列的第N帧。例如，可以将“4/8、2/8、1/8、1/8”、“2/4、1/4、1/4、0”等视为系数“a、b、c、d”的示例。注意，抽头(tap)数和系数值不限于该示例。可以根据有助于内插的帧数和滤波器效果的选择来设置抽头数和系数值。
当帧速率与相机快门速度的比率低于阈值时，中间处理单元205将作为过滤处理的结果的运动图像数据(图10中的输出图像序列)提供给后处理单元206。另一方面，当帧速率与相机快门速度的比率大于或等于阈值时，中间处理单元205将由解码器204获得的运动图像数据照原样提供给后处理单元206。
CPU 201确定由解码器204获得的运动图像数据的帧速率与相机快门速度的比率是否降到低于阈值。例如，也可以想到通过将信息插入到作为容器的传输流TS中，而直接从发送装置100向接收装置200给出关于相机快门速度的信息。可替换地，也可以想到通过用户的输入操作而直接向接收装置200给出关于相机快门速度的信息。
在本实施方式中，CPU 201基于从编码参数描述符获得的关于帧速率和分辨率的信息来估计相机快门速度。CPU 201保持在发送方和接收方之间预先固定的快门速度估计表，并且参考该表估计相机快门速度。
图11示出了快门速度估计表的示例。在该示例中，“正常快门速度”表示采用与帧速率的频率相同的速度。同时，“短快门速度”表示比“正常快门速度”更快的速度值。例如，对应于60Hz的帧速率和3840×2160的分辨率的“短快门速度”被分配给120Hz或240Hz等。
图12中的流程图示出了由CPU 201对中间处理单元205进行的控制处理的示例。在步骤ST1中，CPU 201开始处理。此后，在步骤ST2中，CPU 201确定是否传送高清晰度视频分发。CPU 201基于从编码参数描述符(参照图5)获得的指示是否传送超高清晰度视频分发的信息“service_quality_type”，做出该确定。
当未传送高清晰度视频分发时，CPU 201控制中间处理单元205，使得在步骤ST3中不执行过滤处理，并且随后在步骤ST4中结束处理。在这种情况下，中间处理单元205处于将由解码器204获得的运动图像数据照原样提供给后处理单元206的状态。
另一方面，当传送高清晰度视频分发时，CPU 201进入步骤ST5中的处理。在该步骤ST5中，CPU 201获得关于帧速率和分辨率的信息。CPU201从例如编码参数描述符(参照图5)获取该信息。注意，CPU 201还可以从视频流的SPS的NAL单元获得该信息。
接下来，在步骤ST6中，CPU 201参照快门速度估计表(参考图11)，并且基于在步骤ST5中获得的关于帧速率和分辨率的信息来估计相机快门速度。然后，在该步骤ST6中，CPU201找到帧速率与相机快门速度的比率。
接下来，在步骤ST7中，CPU 201确定在多流分发的情况下是否仅显示基础流。在传送多流分发并且解码器204仅解码基础流的情况下，CPU201进入步骤ST8中的处理。在该步骤ST8中，CPU 201将步骤ST6中找到的比率乘以1/2来校正。随后，CPU 201进入步骤9中的处理。
另一方面，在传送单流分发的情况下，或者在传送多流分发并且基础流和增强流都被解码器204解码的情况下，CPU 201立即从步骤ST7进入步骤ST9。在该步骤ST9中，CPU201确定该比率是否降到低于阈值。
当该比率大于或等于阈值时，CPU 201控制中间处理单元205，使得在步骤ST3中不执行过滤处理，并且随后，在步骤ST4中结束处理。另一方面，当该比率低于阈值时，CPU 201控制中间处理单元205，使得在步骤ST10中执行过滤处理，并且随后，在步骤ST4中结束处理。在这种情况下，中间处理单元205处于将作为过滤处理的结果的运动图像数据提供给后处理单元206的状态。
注意，在图12的流程图中，不一定需要步骤ST2中的处理，并且也可以想到除了该处理之外的控制处理。在这种情况下，在开始步骤ST1中的处理之后，CPU 201立即进入步骤ST5中的处理。
图13示意性地示出使用帧间运动矢量的内插帧生成处理的示例。该示例描绘了在第N-1帧与第N帧之间生成内插帧的示例。移动对象和背景在预定的运动预测块中共存。背景中的三角形在屏幕中从左向右从第N-1帧移动到第N帧，而作为对象的大圆在屏幕中从右向左移动。
在生成内插帧的情况下，在由单点划线表示的对于块A的运动预测中，块中的纹理与相对于第N-1帧的预测和第N帧的预测的运动矢量几乎一致地重合。然而，关于由双点划线表示的块B，块中的纹理是不均匀的，与运动矢量不一致。在这种情况下，尽管块B中的大圆部分与运动矢量重合，但是背景部分等同于与大圆的运动不同的运动，并且因此与运动矢量不重合。
结果，关于内插帧中的块B，大圆部分具有良好图像质量，但是除其之外的背景部分具有不良图像质量。同时，在内插帧中的块A中，块的整个内部是背景部分，并且其图像质量良好。以这种方式，内插帧的图像质量具有这种结果，使得良好质量与不良质量之间的差异是部分显著的。
此外，由于随着相机快门速度变得比图像的帧速率快，纹理本身的锐度提高，所以存在这种内插帧中的图像质量劣化导致运动预测为真的部分和运动预测不为真的部分之间的图像质量具有更明显的差异。
可以想到使运动预测块的大小更小的方法，使得包含在块中的纹理与运动矢量重合。然而，极小大小的块带来了高实现成本。
为了不使由于传统运动预测的帧内插而导致图像质量被破坏，可以想到在相机快门速度快的情况下降低纹理的锐度(参照图9中的中间处理单元205)。
当如上所述通过传统的运动预测从纹理锐度降低的图像中生成内插图像时，锐度降低，并且使用稍微模糊的图像执行内插。因此，使得由于与块B中的大圆部分与背景部之间的运动矢量不一致所导致的图像质量的差异变小，并且可以防止整个图像的破坏。
返回到图9，显示单元207根据由后处理单元206获得的运动图像数据显示运动图像。该显示单元207由例如液晶显示器(LCD)或有机电致发光(有机EL)面板构成。注意，该显示单元207可以是连接到接收装置200的外部设备。
将简要描述图9所示的接收装置200的动作。在接收单元202中，解调由接收天线接收的RF调制信号，并且获取传输流TS。该传输流TS被发送到多路解复用器203。在多路解复用器203中，通过PID的过滤，从传输流TS中取出要执行解码处理的视频流。
在这种情况下，在单流分发的情况下取出一个视频流，并且在多流分发的情况下根据解码器204的解码能力，取出仅基础流或基础流和增强流两者。以这种方式取出的视频流被提供给解码器204。
此外，在多路解复用器203中，提取包括在传输流TS的层中的部分信息，以发送给CPU 201。在这种情况下，也提取编码参数描述符(参照图5)。结果，CPU 201可以根据分发获得关于运动图像的帧速率和分辨率的信息，并且另外获得指示是否传送超高清晰度视频分发的信息。
在解码器204中，解码处理被应用于从多路解复用器203提供的视频流，从而获得预定帧速率和预定分辨率的运动图像数据。该运动图像数据经由中间处理单元205被提供给后处理单元206。在中间处理单元205中，当由解码器204获得的运动图像数据的帧速率与相机快门速度的比率低于阈值(例如，50％)时，在CPU 201的控制下，对该运动图像数据执行用于提高相邻帧之间的相关度的过滤处理。
因此，当帧速率与相机快门速度的比率低于阈值时，作为过滤处理的结果的运动图像数据(图10中的输出图像序列)从中间处理单元205提供给后处理单元206。另一方面，当帧速率与相机快门速度的比率大于或等于阈值时，由解码器204获得的运动图像数据从中间处理单元205照原样提供给后处理单元206。
在后处理单元206中，通过使用帧间运动矢量生成内插帧，将运动图像数据的帧速率调整为显示能力。由后处理单元206处理的该运动图像数据被提供给显示单元207，并且显示运动图像。
如上所述，在图1所示的发送/接收系统10中，当运动图像数据的帧速率与相机快门速度的比率低于阈值时，由接收装置200中的中间处理单元205对由解码器204获得的运动图像数据执行过滤处理，以用于提高相邻帧之间的相关度。因此，后处理单元206可以利用传统的帧内插技术令人满意地执行帧内插。
此外，在图1所示的发送/接收系统10中，基于关于帧速率和分辨率的信息，在接收装置200中估计相机快门速度，并且使用该估计的相机快门速度来找到由解码器204获得的运动图像数据的帧速率与相机快门速度的比率。因此，变为不需要从发送装置100向接收装置200发送关于相机快门速度的信息。
同时，在图1所示的发送/接收系统10中，包括关于帧速率和分辨率的信息的编码参数描述符由发送装置200插入到作为容器的传输流TS的层中。因此，接收侧可以从该编码参数描述符容易地获取关于帧速率和分辨率的信息。
此外，在图1所示的发送/接收系统10中，包括指示是否传送高清晰度视频分发的信息的编码参数描述符由发送装置200插入到作为容器的传输流TS的层中。因此，接收侧可以基于指示是否传送高清晰度视频分发的该信息，使用中间处理单元205仅对用高速帧快门捕捉的具有高锐度图像分量的运动图像数据执行过滤处理。即，可以避免浪费地执行过滤处理。
<2.变形>
注意，上述实施方式示出了发送装置100将包括关于帧速率和分辨率的信息的编码参数描述符插入到作为容器的传输流TS的层中的示例。然而，由于接收装置200可以从视频流的SPS的NAL单元获取关于帧速率和分辨率的信息，因此也可以想到不插入该编码参数描述符的配置。
此外，在这种情况下，也可以想到将具有通过从编码参数描述符去除关于帧速率和分辨率的信息而获得的结构的描述符，插入到作为容器的传输流TS的层中。图14示出了在这种情况下新定义的超高质量描述符(SuperHighQuality_descriptor)的结构的示例(语法)。此外，图15示出了在这种情况下的TS结构的示例(单流分发)。
同时，上述实施方式示出了接收装置200从关于帧速率和分辨率的信息来估计相机快门速度以找到帧速率与相机快门速度的比率的示例。然而，也可以想到从发送装置100向接收装置200发送关于该比率的该信息的配置。在这种情况下，关于该比率的该信息插入到作为容器的传输流TS的层和/或视频流的层中。
例如，关于该比率的该信息作为描述符插入到设置在节目映射表下面的与视频流对应的视频基本流循环的内部。例如，多路复用器103插入新定义的帧质量描述符(FrameQuality_descriptor)。图16示出了帧质量描述符的结构的示例(语法)。图17示出了上面的结构示例中的主要信息的内容(语义)。
“framequality_descriptor_tag”的8位字段表示描述符类型。“framequality_descriptor_tag”在此处表示它是帧质量描述符。“framequality_descriptor length”的8位字段表示描述符的长度(大小)，并指示随后的字节数作为描述符的长度。“framequality_descriptor length”在此处表示三个字节。
“service_quality_type”的四位字段表示是否传送超高清晰度视频分发。“0×01”表示传送超高清晰度视频分发。“0×10”表示仅传送高清晰度视频分发。“temporal_scalablility_flag”的一位字段表示是否使用具有时间可扩展性的多流配置。“1”表示使用具有时间可扩展性的多流配置。“0”表示使用没有时间可扩展性的单流配置。
“ratio_shutter_speed_vs_frame_rate”的三位字段表示图像帧速率与相机快门速度的比率。例如，“0×0”表示100％(快门速度与图像帧速率相同)，“0×1”表示50％(快门速度是图像帧速率的两倍)，“0×2”表示33％(快门速度是图像帧速率的三倍)，以及“0×3”表示25％(快门速度是图像帧速率的四倍)。
此外，例如，将关于该比率的该信息作为SEI消息插入到视频流的访问单元(AU)的“SEI”部分中。编码器102插入要新定义的帧质量SEI消息(FrameQuality SEI message)。图18示出了帧质量SEI消息的结构的示例(语法)。
“FrameQuality_cancel_flag”的一位标志信息表示该消息是否要刷新。“0”表示消息要刷新。“1”表示消息不要刷新，即，照原样维持先前的消息。注意，在“service_quality_type”、“temporal_scalablility_flag”和“ratio_shutter_speed_vs_frame_rate”的相应字段中的信息是与上述帧质量描述符(参照图17)中描述的信息相同的信息。
图19示出了在通过单流执行分发的情况下的传输流TS的配置示例。图20示出了在通过多流(在此处，两个流)中执行分发的情况下的传输流TS的配置示例。插入帧质量SEI消息(参照图18)作为SEI消息。此外，将帧质量描述符(参照图16)插入到视频基本流循环中。注意，在图19和图20中，插入帧质量SEI消息和帧质量描述符两者，但也可以想到仅插入其中之一。
图21中的流程图示出了在从发送装置100发送关于帧速率与相机快门速度的比率的信息的情况下，由CPU 201对中间处理单元205进行的控制处理的示例。该图21示出了与图12中的元件对应的以相同的附图标记附接的元件。
当在步骤ST1中传送高清晰度视频分发时，CPU 201进入步骤ST6A中的处理。在该步骤ST6A中，CPU 201从帧质量描述符或帧质量SEI消息检测帧速率与相机快门速度的比率。在该步骤ST6A之后，CPU 201进入步骤ST7中的处理。尽管省略了详细描述，但是其他处理与图12中的流程图中的处理相同。
此外，上述实施方式已经指示了由发送装置100和接收装置200构成的发送/接收系统10。然而，可以应用本技术的发送/接收系统的配置不限于此。例如，也可以想到如图22所示的发送/接收系统10A。在该发送/接收系统10A中，图1中的发送/接收系统10中的接收装置200的部分被配置为机顶盒200A和通过诸如高清多媒体接口(HDMI)的数字接口连接的显示器200B。注意，“HDMI”是注册商标。
在这种情况下，在图9所示的接收装置200的配置中，例如，直到解码器204的部分包括在机顶盒200A中，并且中间处理单元205和后续的元件包括在显示器200B中。在显示器200B中，可以基于从机顶盒200A发送的插入在以预定帧和预定分辨率的运动图像数据的空白周期内的关于帧速率和分辨率的信息，来估计相机快门速度，并且可以使用该估计的相机快门速度来找到运动图像数据的帧速率与相机快门速度的比率。
注意，也可以想到关于帧速率与相机快门速度的比率的信息经由HDMI接口从机顶盒200A发送到显示器200B的配置。例如，关于该比率的该信息在发送时被插入到运动图像数据的空白周期内。在这种情况下，显示器200B变为不需要基于关于帧速率和分辨率的信息来估计相机快门速度，以找到该比率。
此外，在这种情况下，也可以采用一种配置，其中，在图9所示的接收装置200的配置中，例如，直到中间处理单元205的部分包括在机顶盒200A中，并且后处理单元206和之后的元件包括在显示器200B中。
另外，上述实施方式已经指示了传输流(MPEG-2TS)用作容器的示例。然而，本技术可以同样应用于被配置为使用诸如互联网的网络对接收终端执行分发的系统。在使用互联网的分发中，通常在MP4或MP4以外的格式的容器中执行分发。换言之，诸如在数字广播标准中采用的传输流(MPEG-2TS)和用在互联网分发中的MP4的各种格式的容器，落在所述容器之内。
注意，也可以如下所述配置本技术。
(1)一种图像处理装置，包括：
图像数据获取单元，获取具有预定帧速率和预定分辨率的运动图像数据；以及
图像处理单元，当预定帧速率与相机快门速度的比率低于阈值时，对所获取的运动图像数据执行用于提高相邻帧之间的相关度的过滤处理。
(2)根据上述(1)所述的图像处理装置，其中，
所述图像处理单元基于关于帧速率和分辨率的信息来估计相机快门速度。
(3)根据上述(1)或(2)所述的图像处理装置，其中，
所述图像数据获取单元接收包含通过对运动图像数据应用编码处理而获得的视频流的预定格式的容器，并通过对视频流应用解码处理来获取运动图像数据。
(4)根据上述(3)所述的图像处理装置，其中，
所述图像处理单元基于插入在容器的层中的关于帧速率和分辨率的信息来估计相机快门速度。
(5)根据上述(3)所述的图像处理装置，其中，
所述图像处理单元基于插入在视频流的层中的关于帧速率和分辨率的信息来估计相机快门速度。
(6)根据上述(3)所述的图像处理装置，其中，
关于帧速率与相机快门速度的比率的信息被插入到容器的层和/或视频流的层中，以及
所述图像处理单元基于插入到容器的层和/或视频流的层中的关于比率的信息，获得预定帧速率与相机快门速度的比率。
(7)根据上述(1)或(2)所述的图像处理装置，其中，
所述图像数据获取单元经由数字接口从外部设备获取运动图像数据。
(8)根据上述(7)所述的图像处理装置，其中，
所述图像处理单元基于插入到运动图像数据的空白周期内的关于帧速率和分辨率的信息来估计相机快门速度。
(9)根据上述(7)所述的图像处理装置，其中，
所述图像处理单元经由数字接口从外部设备获取关于帧速率与相机快门速度的比率的信息，并且基于关于比率的信息，获得预定帧速率与相机快门速度的比率。
(10)根据上述(1)到(9)中任一项所述的图像处理装置，其中，
所述图像数据获取单元接收包含通过对运动图像数据应用编码处理而获得的视频流的预定格式的容器，并通过对视频流应用解码处理来获取运动图像数据，并且
在插入容器的层中的指示是否传送了超高清晰度视频分发的信息指示了传送超高清晰度视频分发的情况下，当预定帧速率与相机快门速度的比率低于阈值时，所述图像处理单元对所获取的运动图像数据执行用于提高相邻帧之间的相关度的过滤处理。
(11)一种图像处理方法，包括：
图像数据获取步骤，用于获取具有预定帧速率和预定分辨率的运动图像数据；以及
图像处理步骤，用于当预定帧速率与相机快门速度的比率低于阈值时，对所获取的运动图像数据执行用于提高相邻帧之间的相关度的过滤处理。
(12)一种接收装置，包括：
接收单元，接收包含通过对运动图像数据应用编码处理而获得的视频流的预定格式的容器；
解码单元，对视频流应用解码处理，以获得具有预定帧速率和预定分辨率的运动图像数据；
内插处理单元，通过使用帧间运动矢量生成内插帧，将由解码单元获得的运动图像数据的帧速率调整到显示能力；以及
图像处理单元，插入在解码单元与内插处理单元之间，并且当预定帧速率与相机快门速度的比率低于阈值时，对由解码单元获得的运动图像数据执行用于提高相邻帧之间的相关度的过滤处理。
(13)一种接收装置，包括：
接收单元，经由数字接口从外部设备接收具有预定帧速率和预定分辨率的运动图像数据；
内插处理单元，通过使用帧间运动矢量生成内插帧，将由接收单元接收的运动图像数据的帧速率调整到显示能力；以及
图像处理单元，插入在接收单元与内插处理单元之间，并且当预定帧速率与相机快门速度的比率低于阈值时，对接收的运动图像数据执行用于提高相邻帧之间的相关度的过滤处理。
(14)一种发送装置，包括：
图像编码单元，通过对运动图像数据应用编码处理来生成视频流；
发送单元，发送包含视频流的预定格式的容器；以及
信息插入单元，将与插入到视频流的层中的关于帧速率和分辨率的信息相对应的关于帧速率和分辨率的信息插入到容器的层中。
(15)根据上述(14)所述的发送装置，其中，
所述信息插入单元进一步将指示是否传送超高清晰度视频分发的信息插入到容器的层中。
(16)一种发送装置，包括：
图像编码单元，通过对运动图像数据应用编码处理来生成视频流；
发送单元，发送包含视频流的预定格式的容器；以及
信息插入单元，将指示是否传送超高清晰度视频分发的信息插入到容器的层中。
(17)一种发送装置，包括：
图像编码单元，通过对运动图像数据应用编码处理来生成视频流；
发送单元，发送包含视频流的预定格式的容器；以及
信息插入单元，将关于帧速率与相机快门速度的比率的信息插入到容器的层和视频流的层中。
(18)根据上述(17)所述的发送装置，其中，
信息插入单元进一步将指示是否传送超高清晰度视频分发的信息插入到容器的层和视频流的层中。
本技术的主要特征在于，当运动图像数据的帧速率与相机快门速度的比率低于阈值时，通过对运动图像数据执行用于提高相邻帧之间的相关度的过滤处理，可以利用传统的帧内插技术(参照图9至图12)令人满意地执行帧内插。
附图标记列表
10、10A 发送/接收系统
100 发送装置
101 CPU
102 编码器
103 多路复用器
104 发送单元
200 接收装置
200A 机顶盒
200B 显示器
201 CPU
202 接收单元
203 多路解复用器
204 解码器
205 中间处理单元
206 后处理单元
207 显示单元。

Claims (12)

1.一种图像处理装置，包括：
图像数据获取单元，获取具有预定的帧速率和预定的分辨率的运动图像数据；以及
图像处理单元，基于关于所述帧速率和所述分辨率的信息来估计相机快门速度，并且当预定的所述帧速率与所述相机快门速度的比率低于阈值时，对所获取的运动图像数据执行用于提高相邻帧之间的相关度的过滤处理，
其中，所述过滤处理操作为对输入图像序列的当前帧和在所述当前帧之前和之后的预定数量的帧进行加权并相加，以获得输出图像序列的当前帧。
2.根据权利要求1所述的图像处理装置，其中，
所述图像数据获取单元接收包含视频流的预定格式的容器，所述视频流是通过对所述运动图像数据应用编码处理而获得，并且所述图像数据获取单元通过对所述视频流应用解码处理来获取所述运动图像数据。
3.根据权利要求2所述的图像处理装置，其中，
所述图像处理单元基于插入在所述容器的层中的关于所述帧速率和所述分辨率的信息，来估计所述相机快门速度。
4.根据权利要求2所述的图像处理装置，其中，
所述图像处理单元基于插入在所述视频流的层中的关于所述帧速率和所述分辨率的信息，来估计所述相机快门速度。
5.根据权利要求2所述的图像处理装置，其中，
关于所述帧速率与所述相机快门速度的比率的信息被插入到所述容器的层和/或所述视频流的层中，并且
所述图像处理单元基于插入到所述容器的层和/或所述视频流的层中的关于所述比率的信息，获得预定的所述帧速率与所述相机快门速度的比率。
6.根据权利要求1所述的图像处理装置，其中，
所述图像数据获取单元经由数字接口从外部设备获取所述运动图像数据。
7.根据权利要求6所述的图像处理装置，其中，
所述图像处理单元基于插入到所述运动图像数据的空白周期内的关于所述帧速率和所述分辨率的信息，来估计所述相机快门速度。
8.根据权利要求6所述的图像处理装置，其中，
所述图像处理单元经由所述数字接口从所述外部设备获取关于所述帧速率与所述相机快门速度的比率的信息，并且基于关于所述比率的信息，获得预定的所述帧速率与所述相机快门速度的比率。
9.根据权利要求1所述的图像处理装置，其中，
所述图像数据获取单元接收包含视频流的预定格式的容器，所述视频流是通过对所述运动图像数据应用编码处理而获得，并且所述图像数据获取单元通过对所述视频流应用解码处理来获取所述运动图像数据，并且
在插入所述容器的层中的指示是否传送超高清晰度视频分发的信息指示了传送超高清晰度视频分发的情况下，当预定的所述帧速率与所述相机快门速度的比率低于阈值时，所述图像处理单元对所获取的运动图像数据执行用于提高相邻帧之间的相关度的所述过滤处理。
10.一种图像处理方法，包括：
图像数据获取步骤，用于获取具有预定的帧速率和预定的分辨率的运动图像数据；以及
图像处理步骤，用于基于关于所述帧速率和所述分辨率的信息来估计相机快门速度，并且当预定的所述帧速率与所述相机快门速度的比率低于阈值时，对所获取的运动图像数据执行用于提高相邻帧之间的相关度的过滤处理，
其中，过滤处理操作为对输入图像序列的当前帧和在所述当前帧之前和之后的预定数量的帧进行加权并相加，以获得输出图像序列的当前帧。
11.一种接收装置，包括：
接收单元，接收包含通过对运动图像数据应用编码处理而获得的视频流的预定格式的容器；以及
控制单元，控制：对所述视频流应用解码处理以获得具有预定的帧速率和预定的分辨率的所述运动图像数据的解码处理；通过使用帧间运动矢量生成内插帧来将通过所述解码处理获得的所述运动图像数据的帧速率调整为显示能力的内插处理；以及当预定的所述帧速率与相机快门速度的比率低于阈值时，对通过所述解码处理获得的所述运动图像数据执行的用于提高相邻帧之间的相关度的过滤处理，所述相机快门速度基于关于所述帧速率和所述分辨率的信息来估计，
其中，所述过滤处理操作为对输入图像序列的当前帧和在所述当前帧之前和之后的预定数量的帧进行加权并相加，以获得输出图像序列的当前帧。
12.一种接收装置，包括：
接收单元，经由数字接口从外部设备接收具有预定的帧速率和预定的分辨率的运动图像数据；以及
控制单元，控制：通过使用帧间运动矢量生成内插帧，将由接收单元接收的所述运动图像数据的帧速率调整为显示能力的内插处理；以及当预定的所述帧速率与相机快门速度的比率低于阈值时，对接收的所述运动图像数据执行的用于提高相邻帧之间的相关度的过滤处理，所述相机快门速度基于关于所述帧速率和所述分辨率的信息来估计，
其中，所述过滤处理操作为对输入图像序列的当前帧和在所述当前帧之前和之后的预定数量的帧进行加权并相加，以获得输出图像序列的当前帧。
CN201680026976.3A 2015-05-19 2016-05-10 图像处理装置、图像处理方法、接收装置及发送装置 Expired - Fee Related CN107534790B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015101964 2015-05-19
JP2015-101964 2015-05-19
PCT/JP2016/063902 WO2016185947A1 (ja) 2015-05-19 2016-05-10 画像処理装置、画像処理方法、受信装置および送信装置

Publications (2)

Publication Number Publication Date
CN107534790A CN107534790A (zh) 2018-01-02
CN107534790B true CN107534790B (zh) 2020-06-23

Family

ID=57320028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680026976.3A Expired - Fee Related CN107534790B (zh) 2015-05-19 2016-05-10 图像处理装置、图像处理方法、接收装置及发送装置

Country Status (5)

Country Link
US (1) US10812854B2 (zh)
EP (1) EP3300381B1 (zh)
JP (1) JP6930419B2 (zh)
CN (1) CN107534790B (zh)
WO (1) WO2016185947A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109982067B (zh) * 2017-12-28 2021-02-02 浙江宇视科技有限公司 视频处理方法及装置
US11234044B2 (en) * 2018-12-28 2022-01-25 Sony Group Corporation Transmission apparatus, transmission method, encoding apparatus, encoding method, reception apparatus, and reception method
DK4064706T3 (da) * 2019-03-11 2023-07-24 Dolby Laboratories Licensing Corp Signalering af information relateret til blændevinkel
CN114208202A (zh) 2019-08-06 2022-03-18 杜比实验室特许公司 画布尺寸可伸缩的视频编码
CN111654723B (zh) * 2020-05-14 2022-04-12 北京百度网讯科技有限公司 视频质量提升方法、装置、电子设备和存储介质
CN112235514A (zh) * 2020-10-13 2021-01-15 余波 一种基于人工智能的相机快门速度调节方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1762151A (zh) * 2003-10-31 2006-04-19 松下电器产业株式会社 摄像装置
CN1922865A (zh) * 2003-12-26 2007-02-28 松下电器产业株式会社 成像器件、产品组件以及半导体集成电路
EP2018052A1 (en) * 2007-02-20 2009-01-21 Sony Corporation Image display device
CN101610349A (zh) * 2008-06-20 2009-12-23 索尼株式会社 用于处理图像的装置、方法和程序
CN102239689A (zh) * 2008-07-14 2011-11-09 穆申知识产权有限公司 实况远程传送系统和装置
CN102547093A (zh) * 2010-12-15 2012-07-04 索尼公司 图像记录装置、图像记录方法和程序
JP2012169701A (ja) * 2011-02-09 2012-09-06 Canon Inc 画像処理装置、画像処理方法及びプログラム
CN103686101A (zh) * 2012-09-03 2014-03-26 株式会社东芝 图像处理装置、图像处理方法及固体拍摄装置
CN104011787A (zh) * 2011-12-26 2014-08-27 佳能株式会社 图像处理装置、其控制方法、图像处理系统和程序
EP2775448A1 (en) * 2013-03-06 2014-09-10 Thomson Licensing Deblurring of an image from a sequence of images
CN104429057A (zh) * 2012-07-06 2015-03-18 索尼公司 固态成像设备、固态成像设备的驱动方法以及电子装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6700624B2 (en) * 1999-12-30 2004-03-02 Lg Electronics Inc. Combined terrestrial wave/cable broadcast receiver and program information processing method therefor
JP4005098B2 (ja) * 2003-12-26 2007-11-07 松下電器産業株式会社 撮影装置、製品パッケージおよび半導体集積回路
KR100729660B1 (ko) * 2005-12-09 2007-06-18 한국전자통신연구원 장면 전환 길이를 이용한 디지털 비디오 인식 시스템 및 방법
JP2009164725A (ja) * 2007-12-28 2009-07-23 Panasonic Corp 画像記録装置および画像再生装置
JP2010178124A (ja) 2009-01-30 2010-08-12 Victor Co Of Japan Ltd 記録装置及び記録方法
JP5161172B2 (ja) * 2009-08-25 2013-03-13 日本電信電話株式会社 フレームレート変換方法，フレームレート変換装置およびフレームレート変換プログラム
US20110234829A1 (en) * 2009-10-06 2011-09-29 Nikhil Gagvani Methods, systems and apparatus to configure an imaging device
TW201242373A (en) * 2011-02-10 2012-10-16 Panasonic Corp Data creation device and playback device for video picture in video stream
JP5932485B2 (ja) * 2012-05-25 2016-06-08 キヤノン株式会社 ノイズリダクション装置及びノイズリダクション方法
US8913144B2 (en) * 2012-12-27 2014-12-16 Panasonic Intellectual Property Corporation Of America Information communication method

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1762151A (zh) * 2003-10-31 2006-04-19 松下电器产业株式会社 摄像装置
CN1922865A (zh) * 2003-12-26 2007-02-28 松下电器产业株式会社 成像器件、产品组件以及半导体集成电路
EP2018052A1 (en) * 2007-02-20 2009-01-21 Sony Corporation Image display device
CN101543064A (zh) * 2007-02-20 2009-09-23 索尼株式会社 图像显示装置
CN101610349A (zh) * 2008-06-20 2009-12-23 索尼株式会社 用于处理图像的装置、方法和程序
CN102239689A (zh) * 2008-07-14 2011-11-09 穆申知识产权有限公司 实况远程传送系统和装置
CN102547093A (zh) * 2010-12-15 2012-07-04 索尼公司 图像记录装置、图像记录方法和程序
JP2012169701A (ja) * 2011-02-09 2012-09-06 Canon Inc 画像処理装置、画像処理方法及びプログラム
CN104011787A (zh) * 2011-12-26 2014-08-27 佳能株式会社 图像处理装置、其控制方法、图像处理系统和程序
CN104429057A (zh) * 2012-07-06 2015-03-18 索尼公司 固态成像设备、固态成像设备的驱动方法以及电子装置
CN103686101A (zh) * 2012-09-03 2014-03-26 株式会社东芝 图像处理装置、图像处理方法及固体拍摄装置
EP2775448A1 (en) * 2013-03-06 2014-09-10 Thomson Licensing Deblurring of an image from a sequence of images

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Frame-rate displacement measurement system utilizing an ultra-high-speed shutter camera and an optical correlator;H. Toyoda ET AL;《IEEE Transactions on Instrumentation and Measurement 》;19950731;全文 *
在黑暗中摄像;李寒;《个人电脑 数码影音》;20070726;全文 *

Also Published As

Publication number Publication date
JP6930419B2 (ja) 2021-09-01
EP3300381A4 (en) 2018-11-21
EP3300381A1 (en) 2018-03-28
US20180146235A1 (en) 2018-05-24
WO2016185947A1 (ja) 2016-11-24
EP3300381B1 (en) 2021-03-10
CN107534790A (zh) 2018-01-02
JPWO2016185947A1 (ja) 2018-03-15
US10812854B2 (en) 2020-10-20

Similar Documents

Publication Publication Date Title
US11082696B2 (en) Transmission device, transmission method, reception device, and reception method
CN107534790B (zh) 图像处理装置、图像处理方法、接收装置及发送装置
US11700388B2 (en) Transmission device, transmitting method, reception device, and receiving method
US11722636B2 (en) Transmission device, transmission method, reception device, and reception method
EP3264775B1 (en) Transmission apparatus, transmission method, reception apparatus and reception method
US10778995B2 (en) Transmission device, transmission method, reception device, and reception method
WO2018198914A1 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
US11412254B2 (en) Transmission device, transmission method, reception device and reception method
JP2021093772A (ja) 送信方法および送信装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200623