CN110521211B - 发送设备、发送方法、接收设备、接收方法、记录设备和记录方法 - Google Patents

发送设备、发送方法、接收设备、接收方法、记录设备和记录方法 Download PDF

Info

Publication number
CN110521211B
CN110521211B CN201880024218.7A CN201880024218A CN110521211B CN 110521211 B CN110521211 B CN 110521211B CN 201880024218 A CN201880024218 A CN 201880024218A CN 110521211 B CN110521211 B CN 110521211B
Authority
CN
China
Prior art keywords
image data
control information
moving image
frame
video stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880024218.7A
Other languages
English (en)
Other versions
CN110521211A (zh
Inventor
江藤博昭
小仓敏之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN110521211A publication Critical patent/CN110521211A/zh
Application granted granted Critical
Publication of CN110521211B publication Critical patent/CN110521211B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

在本发明中，在接收高帧率运动图像数据的接收侧容易呈现适当图像质量的图像。生成通过编码高帧率运动图像数据而获得的视频流。传输包含该视频流的容器。用于控制模糊的模糊控制信息被插入到容器层和/或视频流层中。例如，模糊控制信息在将周边帧的图像数据添加到当前帧的图像数据的模糊添加处理中提供每个帧的加权系数。

Description

发送设备、发送方法、接收设备、接收方法、记录设备和记录 方法
技术领域
本技术涉及一种发送设备、一种发送方法、一种接收设备、一种接收方法、一种记录设备和一种记录方法。更具体地，本技术涉及一种例如用于发送具有高帧率的运动图像数据的发送设备。
背景技术
近年来，已知一种相机，其通过使用高速帧快门以高帧率捕捉图像，并输出具有高帧率的运动图像(例如，参考PTL 1)。例如，当正常帧率为60Hz时，高帧率为120Hz、240Hz、480Hz等。
此外，近年来，已经开发了一种方案，其中，生成包含通过编码这种高帧率运动图像数据而获得的视频流的容器，并且在广播波或网络分组中传输生成的容器。已知的容器例如是MPEG-2TS(MPEG-2传输流)或MMT(MPEG媒体传输)。
[引文目录]
[专利文献]
[PTL 1]
日本专利公开号2010-178124
发明内容
[技术问题]
如果用于接收具有高帧率的运动图像数据的接收器的显示部不支持高帧率，则高帧率运动图像数据进行例如稀疏(thinning)处理或添加(addition)处理，以获得正常帧率运动图像数据并显示图像。然而，可以想到，通过使用通过稀疏或添加处理获得的正常帧率运动图像数据而显示的图像对于图像观看者来说可能不令人满意。
本技术的一个目的是使在接收高帧率运动图像数据的接收器侧呈现具有适当图像质量的图像变得容易。
[问题解决方案]
根据本技术的一个方面，提供了一种发送设备，包括：编码部，其生成通过编码高帧率运动图像数据而获得的视频流；发送部，其发送包含视频流的容器；以及信息插入部，其将用于控制模糊的模糊控制信息插入到容器层和/或视频流层。
根据本技术的编码部生成通过编码高帧率运动图像数据而获得的视频流。例如，高帧率运动图像数据可以是帧率为120Hz、240Hz或480Hz的运动图像数据。发送部发送包含视频流的容器。
信息插入部将用于控制模糊的模糊控制信息插入容器层和/或视频流层。例如，周边帧的加权系数可以包括负系数。
此外，例如，模糊控制信息可以给出在用于将周边帧的图像数据添加到当前帧的图像数据中的模糊处理中各个帧的加权系数。在这种情况下，例如，周边帧可以包括过去帧和未来帧。此外，在这种情况下，例如，周边帧可以仅包括过去帧。
此外，例如，信息插入部可以将包括模糊控制信息的SEI消息插入到视频流层中。同样，当例如将模糊控制信息插入到视频流层中时，信息插入部可以另外将指示插入模糊控制信息的识别信息插入到容器层中。当识别信息如上所述插入容器层中时，接收器侧能够容易地识别模糊控制信息插入视频流层中，而无需解码视频流。
此外，例如，信息插入部可以将包括模糊控制信息的描述符插入到容器层中。在这种情况下，例如，容器可以包括MPEG-2传输流，并且描述符可以插入到节目映射表或事件信息表中。
此外，例如，信息插入部可以将多种类型的模糊控制信息插入到容器层和/或视频流层。当如上所述插入多种类型的模糊控制信息时，接收器侧能够根据例如显示帧率或期望的图像质量选择性地使用适当类型的模糊控制信息。
如上所述，本技术将控制模糊的模糊控制信息插入容器层和/或视频流层。这使得接收器侧能够根据模糊控制信息控制模糊，并且容易地呈现具有适当图像质量的图像。
此外，根据本技术的另一方面，提供了一种接收设备，包括：接收部，其接收包含通过编码高帧率运动图像数据而获得的视频流的容器；解码部，其解码视频流，以获得高帧率运动图像数据；以及处理部，其通过使用模糊控制信息对获得的高帧率运动图像数据执行模糊处理。
根据本技术的接收部接收包含通过编码高帧率运动图像数据而获得的视频流的容器。解码部解码视频流，以获得高帧率运动图像数据。处理部然后通过使用模糊控制信息对获得的高帧率运动图像数据执行模糊处理。
例如，模糊控制信息可以插入到容器层和/或视频流层中，并且处理部可以使用插入的模糊控制信息或者校正插入的模糊控制信息并且使用校正的模糊控制信息。此外，例如，接收设备可以另外包括保持模糊控制信息的保持部，并且处理部可以从保持部获取模糊控制信息并使用获取的模糊控制信息。
此外，例如，可以将多种类型的模糊控制信息插入到容器层和/或视频流层中，并且处理部可以从多种类型的模糊控制信息中选择与显示帧率对应的或与期望的图像质量对应的模糊控制信息，并且使用所选择的模糊控制信息。此外，例如，当通过降低高帧率运动图像数据的帧率来获取显示图像数据时，处理部可以执行模糊处理。
如上所述，本技术根据模糊控制信息对接收的高帧率运动图像数据执行模糊处理。这使得能够容易地呈现具有适当图像质量的图像。
此外，根据本技术的又一方面，提供了一种记录设备，包括：编码部，其生成通过编码高帧率运动图像数据而获得的视频流；生成部，其生成模糊控制信息，用于控制高帧率运动图像数据的模糊；以及记录部，其记录插入到视频流层和/或包含视频流的容器层中的模糊控制信息和视频流。
根据本技术的编码部生成通过编码高帧率运动图像数据而获得的视频流。生成部生成模糊控制信息，用于控制高帧率运动图像数据的模糊。记录部然后记录插入到视频流层和/或包含视频流的容器层中的模糊控制信息和视频流。
如上所述，本技术将控制模糊的模糊控制信息插入到视频流层和/或包含视频流的容器层中，并记录插入的模糊控制信息。这使得可以在再现时根据模糊控制信息控制高帧率运动图像数据的模糊，并且容易地呈现具有适当图像质量的图像。
[发明的有利效果]
本技术使得在接收高帧率运动图像数据的接收器侧呈现具有适当图像质量的图像变得容易。应当注意，此处描述的优点不一定是限制性的。本技术可以提供本公开中描述的任何优点。
附图说明
图1是示出根据本技术实施方式的发送/接收系统的示例性配置的框图；
图2是示出对高帧率运动图像数据执行的稀疏处理的一组图；
图3是示出光刺激(左)和视觉反应(右)之间关系的一组图；
图4是解释根据光刺激(左)和视觉反应(右)之间的关系，表观亮度受先前光刺激影响的一组图；
图5是示出给出模糊控制信息的功能类型的一组图；
图6是示出作为模糊控制信息传输的每个帧的示例性加权系数的一组图；
图7是示出发送设备的示例性配置的框图；
图8是示出在采用HEVC作为编码方法的情况下GOP的第一接入单元的示图；
图9是示出在采用HEVC作为编码方法的情况下，除了第一接入单元之外的GOP的接入单元的示图；
图10是示出HFR模糊控制SEI消息的示例性结构的示图；
图11是示出HFR模糊控制SEI消息的示例性结构中的主要信息的细节的示图；
图12是示出HFR信息描述符的示例性结构和示例性结构中的主要信息的细节的一组图；
图13是示出HFR模糊控制描述符的示例性结构的示图；
图14是示出传输流TS的示例性配置的示图；
图15是示出接收设备的示例性配置的框图；
图16是示出为获取帧“0”的信号作为具有显示图像数据VDd的帧而执行的处理的实例的一组图；
图17是示出为获取帧“0”的信号作为具有显示图像数据VDd的帧而执行的处理的实例的一组图；
图18是示出为获取帧“0”的信号作为具有显示图像数据VDd的帧而执行的处理的实例的一组图；
图19是示出为获取帧“0”的信号作为具有显示图像数据VDd的帧而执行的处理的实例的一组图；
图20是示出发送/接收系统的另一示例性配置的框图；
图21是示出发送/接收系统的又一示例性配置的框图；
图22是示出HMD设备的示例性配置的框图。
具体实施方式
现在将描述用于实现本发明的实施方式(以下称为“实施方式”)。将按以下顺序给出描述。
1.实施方式
2.示例性修改
<1.实施方式>
[发送/接收系统]
图1示出了根据该实施方式的发送/接收系统10的示例性配置。发送/接收系统10包括发送设备100和接收设备200。
发送设备100生成作为容器的传输流TS，并且通过将其放置在广播波或网络分组中来传输所生成的传输流TS。传输流TS包括通过编码具有例如120Hz、240Hz、480Hz等高帧率的运动图像数据而获得的视频流。在这种情况下，按照例如H.264/AVC标准或H.265/HEVC标准执行编码。
一种类型的模糊控制信息或多种类型的模糊控制信息插入到传输流TS层和/或视频流层中，以便控制模糊。因此，在接收器侧，可以容易地从容器层或视频流层获取模糊控制信息。
在本实施方式中，发送设备100将包括模糊控制信息的描述符插入到传输流TS的层中。此外，在本实施方式中，发送设备100将包括模糊控制信息的SEI消息插入到视频流层中。此外，在本实施方式中，发送设备100将包括标识信息的描述符插入到传输流TS层中，该标识信息指示包括模糊控制信息的SEI消息被插入到视频流层中。
接收设备200接收从发送设备100在广播波或网络分组中传输的传输流TS。传输流TS包括通过编码高帧率运动图像数据而获得的视频流。用于控制模糊的模糊控制信息被插入传输流TS层和/或视频流层中。
接收设备200解码视频流，以获得具有高帧率的运动图像数据，并且通过使用模糊控制信息来执行模糊所获得的运动图像数据的处理。在这种情况下，接收设备200从多种类型的模糊控制信息中选择与显示帧率对应的或与期望的图像质量对应的模糊控制信息，并使用所选择的模糊控制信息。
例如，在高帧率运动图像数据将直接用作显示图像数据的情况下，根据用户的选择操作选择性地使用取决于期望图像质量的模糊控制信息。此外，例如，当要从高帧率运动图像数据获取具有较低帧率的显示图像数据时，选择性地使用用于实现适当图像质量的模糊控制信息。
[模糊控制信息]
现在将详细描述模糊控制信息。如前所述，在模糊处理中使用模糊控制信息，以在向其发送高帧率运动图像数据的接收器侧实现期望的图像质量，或者在帧率降低的情况下实现适当的图像质量。
图2的(a)示出了在具有例如120Hz的高帧率的运动图像数据的帧进行(progression)期间预定像素的信号电平的变化。横轴表示帧。“0”表示当前帧，“-n”表示前n帧，而“n”表示后n帧。应该注意，假设信号电平具有最大值1。
常规地，在显示帧率为60Hz的情况下，例如，如图2的(b)所示，执行稀疏处理，以获得具有60Hz帧率的运动图像数据。在这种情况下，帧率为60Hz的运动图像数据的当前帧“0”的信号只不过是帧率为120Hz的运动图像数据的当前帧“0”的信号，如图2的(c)所示，并且不包括周边帧的信号分量。结果，由通过这种简单的稀疏处理生成的运动图像数据呈现了粗略图像，并且具有60Hz的帧率。
图3的(a)至(d)示出了光刺激(左)和视觉反应(右)之间的关系。如图3的(a)所示，当在预定时间段内呈现光刺激时，表观亮度延迟几十毫秒。此外，如图3的(b)所示，当以固定的时间间隔呈现光刺激时，表观亮度以相同的时间间隔变化。
此外，如图3的(c)所示，当呈现连续的光刺激时，表观亮度也连续上升。此外，如图3的(d)所示，即使当以与图3的(b)所示相同的时间间隔呈现连续的光刺激时，表观亮度也是连续的。
图4的(a)和(b)还示出了光刺激(左)和视觉反应(右)之间的关系。如图4的(a)中阴影部分所示，表观亮度受到先前光刺激的影响。此外，如图4(b)中阴影部分所示，当光刺激呈现更长的时间段时，表观亮度也在更长的时间段内受到光刺激的影响。
光刺激的上述影响表现为图像(视频)的重叠(模糊)。控制这种重叠的量使得可以积极地改变图像观看者感知到的图像质量。在本实施方式中，假设模糊控制信息是使用帧作为参数的功能信息。模糊控制信息给出模糊处理中每个帧的加权系数，其中，模糊处理用于将周边帧图像数据添加到当前帧图像数据。
图5的(a)至(d)示出了功能的类型。图5的(a)描述了一个实例，其中，使用过去帧和将来帧，并且部分地包括负系数，作为帧的加权系数。图5的(b)描述了一个实例，其中，使用了过去和将来帧，并且不包括负系数，作为帧的加权系数。图5的(c)描述了一个实例，其中，仅使用过去帧，并且部分包括负系数，作为帧的加权系数。图5的(d)描绘了一个实例，其中，仅使用过去帧，并且不包括负系数，作为帧的加权系数。
可以通过改变函数的类型或通过改变函数的系数来获得多种类型的模糊控制信息(各个帧的加权系数)。例如，在具有高帧率的运动图像数据将直接用作显示图像数据或者将通过降低运动图像数据的帧率来获得显示运动图像数据的情况下，可以获取用于使图像观看者感知预定图像质量的模糊控制信息。此外，例如，当要通过降低高帧率运动图像数据的帧率来获得显示运动图像数据时，可以获得用于使图像观看者感知适当的图像质量的模糊控制信息。
应当注意，在模糊控制信息将从发送设备100发送到接收设备200的情况下，可以发送函数信息(function information)本身。然而，本实施方式传输由函数信息赋予的并在接收器侧的模糊处理中使用的各个帧的加权系数。
图6的(a)至(d)示出了作为模糊控制信息传输的每个帧的示例性加权系数。图6的(a)的实例对应于图5的(a)中描述的函数类型，并且传输作为帧“-3”到“3”的函数f(x)的值的加权系数f(-3)到f(3)，作为模糊控制信息。应该注意，“-3”到“3”的帧范围是说明性的，而不是限制性的。使用的过去帧和未来帧不必总是3，使用的过去帧的数量不必总是等于使用的未来帧的数量。对于图6的(b)至(d)的实例也是如此。
图6的(b)的实例对应于图5的(b)中描述的函数类型，并且传输作为帧“-3”至“3”的函数f(x)的值的加权系数f(-3)至f(3)，作为模糊控制信息。图6的(c)的实例对应于图5的(c)中描述的函数类型，并且传输作为帧“-3”到“0”的函数f(x)的值的加权系数f(-3)到f(0)，作为模糊控制信息。图6的(d)的实例对应于图5的(d)中描述的函数类型，并且传输作为帧“-3”到“0”的函数f(x)的值的加权系数f(-3)到f(0)，作为模糊控制信息。
[发送设备的配置]
图7示出了发送设备100的示例性配置。发送设备100包括CPU(中央处理单元)101、编码器102、多路复用器103和发送部104。CPU 101用作控制部，并控制发送设备100的各个部分的操作。
编码器102接收具有例如120Hz、240Hz、480Hz等高帧率的运动图像数据VD的输入。高帧率运动图像数据VD例如由图像捕捉设备(相机)(未示出)获取，并且不模糊。编码器102通过对运动图像数据VD执行例如H.264/AVC、H.265/HEVC或其他编码处理来生成视频流。
在上述情况下，编码器102将前述模糊控制信息插入视频流层。例如，以图片为单位、以GOP(图片组)为单位或以场景为单位，插入模糊控制信息。
编码器102将待新定义的HFR模糊控制SEI消息(HFR_blur_control SEI消息)插入接入单元(AU)的“SEI”部分。
图8示出了在采用HEVC作为编码方法的情况下GOP(图像组)的第一接入单元。此外，图9示出了在采用HEVC作为编码方法的情况下，除了第一接入单元之外的GOP的接入单元。
在采用HEVC作为编码方法的情况下，用于解码的SEI消息“Prefix_SEIs”设置在包含编码像素数据的切片之前，并且用于显示的SEI消息“Suffix_SEIs”设置在切片之后。如图8和9所示，HFR模糊控制SEI消息被设置为例如SEI消息“Suffix_SEIs”。
图10示出了HFR模糊控制SEI消息的示例性结构(语法)。图11示出了示例性结构中主要信息的细节(语义)。“source_frame_rate”字段指示要传输的高帧率运动图像数据的帧率。例如，“0x01”表示120Hz，“0x02”表示240Hz，“0x03”表示480Hz。
“number_of_blur_control_info”字段指示要传输的模糊控制信息的数量(类型的数量)。后续信息重复存在，以便对应于要传输的模糊控制信息的类型的数量。“display_frame_rate”字段指示显示图像数据的帧率。例如，“0x01”表示60Hz，“0x02”表示120Hz，“0x03”表示240Hz，“0x04”表示480Hz。
“function_type”字段指示函数类型。例如，“0x01”表示使用当前帧及其前一帧并且部分包括负系数作为加权系数的类型(见图5的(a)和图6的(a))。此外，“0x02”表示使用当前帧及其前一帧并且不包括负系数作为加权系数的类型(见图5的(b)和图6的(b))。
此外，“0x03”表示使用当前帧及其前一帧和后一帧并且部分包括负系数作为加权系数的类型(见图5的(c)和图6的(c))。此外，“0x04”表示使用当前帧及其前一帧和后一帧并且不包括负系数作为加权系数(见图5的(d)和图6的(d))的类型。
“start_frame”字段指示要使用的第一个帧。“end_frame”字段指示要使用的最后一帧。例如，在图6的(a)和(b)的实例的情况下，第一帧是“-3”，最后一帧是“3”。此外，例如，在图6的(c)和(d)的实例的情况下，第一帧是“-3”，最后一帧是“0”。
“number_of_frame”字段指示要使用的帧数。例如，在图6的(a)和(b)的实例的情况下，要使用的帧数是“7”。此外，例如，在图6的(c)和(d)的实例的情况下，要使用的帧数是“4”。后续信息重复存在，以便对应于要使用的帧数。“frame_coef(i)”字段指示每个帧要使用的加权系数(函数值)。
回到图7，多路复用器103将编码器102生成的视频流分组，以获得PES(分组的基本流)，将PES转换成传输分组，并且多路复用传输分组，以获得作为多路复用流的传输流TS。
在上述情况下，多路复用器103将指示模糊控制信息被插入到视频流层中的标识信息插入到充当容器的传输流TS层中。在本实施方式中，多路复用器103将新定义的HFR信息描述符(HFR_information描述符)插入到包括在传输流TS中的节目映射表(PMT)的视频基本循环(视频ES循环)之下。
图12的(a)示出了HFR信息描述符的示例性结构(语法)。此外，图12的(b)示出了示例性结构中主要信息的细节(语义)。
名为“HFR_information descriptor tag”的8位字段指示描述符类型。此处，该字段指示HFR信息描述符。名为“HFR_information descriptor length”的8位字段指示描述符的长度(大小)，并将后续字节数表示为描述符的长度。
名为“HFR_blur_control_SEI_existed”的1位字段呈现指示HFR模糊控制SEI消息是否存在于视频层(视频流层)中的标志信息。例如，“1”表示存在HFR模糊控制SEI消息，“0”表示不存在HFR模糊控制SEI消息。
回到图7，发送部104在广播波或网络分组中向接收设备200发送由多路复用器103获得的传输流TS。
现在将简要描述图7所示的发送设备100的操作。编码器102接收具有例如120Hz、240Hz、480Hz等高帧率的运动图像数据VD的输入。编码器102通过对运动图像数据VD执行例如H.264/AVC、H.265/HEVC或其他编码处理来生成视频流。
此外，编码器102将模糊控制信息插入视频流层。更具体地，编码器102将待新定义的HFR模糊控制SEI消息(见图10)插入接入单元(AU)的“SEIs”部分。
编码器102生成的视频流提供给多路复用器103。多路复用器103将视频流分组，以获得PES，将PES转换成传输分组，并将传输分组多路复用，以获得作为多路复用流的传输流TS。
此外，在多路复用器103中，指示插入到视频流层中的模糊控制信息的识别信息被插入到充当容器的传输流TS层中。更具体地，在多路复用器103中，HFR信息描述符(见图12的(a))被插入到节目映射表(PMT)的视频基本循环(视频ES循环)之下。
由多路复用器103生成的传输流TS传输到发送部104。发送部104在广播波或网络分组中向接收设备200传输所述传输流TS。
应该注意，上述实例涉及将模糊控制信息插入到视频流层中。由于可以在单个图像的基础上最频繁地传输HFR模糊控制SEI消息，所以可以在单个图像的基础上改变模糊控制信息。或者，也可以传输HFR模糊控制SEI消息，例如，每个GOP或场景一次，或者以更粗的单位传输。同时，即使当在单个图像的基础上传输HFR模糊控制SEI消息时，只要元信息的值保持不变，也可以执行静态操作。
还可以想到，模糊控制信息可以插入到容器层中(而不是插入到视频流层中)，或者还插入到视频流层中。例如，多路复用器103在节目映射表(PMT)下插入新定义的HFR模糊控制描述符(HFR_blur_control描述符)。在静态操作足够的情况下，这就足够了。
或者，在足够了解关于每个节目的模糊控制信息的情况下，可以想到，可以将HFR模糊控制描述符插入到事件信息表(EIT)下。
图13示出了HFR模糊控制描述符的示例性结构(语法)。名为“descriptor_tag”的8位字段表示描述符类型。此处，该字段指示HFR模糊控制描述符。名为“descriptor_length”的8位字段指示描述符的长度(大小)，并将后续字节数表示为描述符的长度。应当注意，尽管此处省略了详细描述，但是HFR模糊控制描述符的内容与前述HFR模糊控制SEI消息的内容相同(见图10)。
[传输流TS的配置]
图14示出了传输流TS的示例性配置。在本示例性配置中存在由PID1识别的视频流的PES分组“视频PES1”。将HFR模糊控制SEI消息(HFR_blur_control SEI消息)插入到接入单元。
此外，传输流TS包括作为PSI(节目特定信息)的PMT(节目映射表)。PSI是指示传输流中包括的每个基本流所属的节目的信息。
PMT中存在具有关于每个基本流的信息的基本循环。在本示例性配置中，存在视频基本循环(视频ES循环)。关于例如流类型和分组标识符(PID)的信息设置在对应于一个上述视频基本流的视频基本循环中。此外，描述关于视频基本流的信息的描述符也设置在视频基本循环中。
作为描述符，设置HFR信息描述符(HFR_information descriptor)。如前所述，该描述符指示HFR模糊控制SEI消息被插入到视频流中。
此外，作为描述符，在某些情况下，可以插入HFR模糊控制描述符(HFR_blur_control_descriptor)。插入该描述符，来代替或补充HFR模糊控制SEI消息。
此外，传输流TS包括EIT(事件信息表)，其充当SI(服务信息)，用于在单个事件(节目)的基础上执行管理。在某些情况下，HFR模糊控制描述符(HFR_blur_control_descriptor)可以插入到EIT中。插入该描述符，来代替或补充HFR模糊控制SEI消息。
[接收设备的配置]
图15示出了接收设备200的示例性配置。接收设备200包括CPU(中央处理单元)201、用户操作部201a、接收部202、去多路复用器203、解码器204、显示处理部205和显示部206。CPU 201用作控制部，并控制接收设备200的各个部分的操作。
接收部202接收从发送设备100在广播波或网络分组中传输的传输流TS。传输流TS包括通过对具有例如120Hz、240Hz、480Hz等帧率的高帧率运动图像数据VD执行编码处理而获得的视频流。
去多路复用器203执行PID过滤，以从传输流TS获取视频流，并将获取的视频流提供给解码器204。此外，去多路复用器203提取包括在传输流TS的层中的部分信息，并将提取的部分信息传输到CPU 201。在这种情况下，还提取HFR信息描述符(见图12的(a))和HFR模糊控制描述符(见图13)。
解码器204对从去多路复用器203提供的视频流执行解码处理，并输出具有高帧率的运动图像数据VD。此外，解码器204提取被插入到每个接入单元(被包括在视频流中)中的参数集和SEI消息，并将提取的参数集和提取的SEI消息传输到CPU 201。在这种情况下，还提取HFR模糊控制SEI消息(见图10)。
根据显示部206的显示能力，显示处理部205通过对解码器204获取的运动图像数据执行帧率转换或其他所需的处理来获取显示图像数据VDd。例如，在运动图像数据DV的帧率是120Hz并且显示部206以120Hz执行显示操作的情况下，显示处理部205不转换帧率。同时，在运动图像数据DV的帧率是120Hz并且显示部206以60Hz执行显示操作的情况下，显示处理部205转换帧率。
当获取显示图像数据VDd的每一帧的图像数据时，显示处理部205不仅使用当前帧的图像数据，还使用周边帧的图像数据，以便基于包括在HFR模糊控制SEI消息和HFR模糊控制描述符中的模糊控制信息(各个帧的加权系数)来执行模糊处理。
在此处，在从发送器侧传输多条模糊控制信息的情况下，要使用的模糊控制信息由CPU 201自动选择或者由用户根据例如运动图像数据DV的帧率和显示帧率任意选择。应当注意，为了便于用户选择，CPU 201可以在显示部206上显示UI屏幕，以便呈现关于多条模糊控制信息的信息。可以想到，考虑到例如运动图像数据DV的帧率和显示帧率适合的情况以及图像观看者可感知的图像质量，关于多条模糊控制信息的信息可以用作选择运动图像数据DV的帧率和显示帧率的参考。
通过使用运动图像数据DV的相关帧的信号及其周边帧的信号，来计算具有显示图像数据VDd的帧的信号(图像数据)，并且使其模糊。在这种情况下，具有运动图像数据DV的帧的信号及其周边帧的信号乘以其相应的加权系数，然后相加在一起，并且这种相加的结果除以加权系数相加的结果，以获得具有显示图像数据VDd的帧的信号。
图16示出了为获取帧“0”的信号作为具有显示图像数据VDd的帧而执行的处理的实例。图16的(a)示出了在具有例如120Hz的高帧率的运动图像数据DV的帧前进期间预定像素的信号电平的变化。应该注意，假设信号电平具有最大值1。
图16的(b)描绘了使用上述图6的(a)中指示的帧“-3”至“3”的模糊控制信息(各个帧的加权系数)。图16的(c)描述了通过将运动图像数据DV的相应帧“-3”至“3”的信号S(-3)至S(3)乘以其相应的加权系数f(-3)至f(3)而获得的结果。如图16的(d)中所示，显示图像数据VDd的帧“0”的信号由通过将帧“-3”到“3”的相乘结果之和除以帧“-3”到“3”的加权系数之和而获得的值来表示。
图17示出了为帧“0”的信号获取作为具有显示图像数据VDd的帧而执行的处理的实例。图17的(a)与图16的(a)相同。图17的(b)描述了使用上述图6的(b)中指示的帧“-3”至“3”的模糊控制信息(各个帧的加权系数)。
图17的(c)描述了通过将运动图像数据DV的各个帧“-3”到“3”的信号S(-3)到S(3)乘以其相应的加权系数f(-3)到f(3)而获得的结果。如图17的(d)中所示，显示图像数据VDd的帧“0”的信号由通过将帧“-3”到“3”的相乘结果之和除以帧“-3”到“3”的加权系数之和而获得的值来表示。
图18示出了为获取帧“0”的信号作为具有显示图像数据VDd的帧而执行的处理的实例。图18的(a)与图16的(a)相同。图18的(b)描述了使用上述图6的(c)中指示的帧“-3”到“0”的模糊控制信息(各个帧的加权系数)。
图18的(c)描述了通过将运动图像数据DV的各个帧“-3”到“0”的信号S(-3)到S(0)乘以其相应的加权系数f(-3)到f(0)而获得的结果。如图18的(d)所示，显示图像数据VDd的帧“0”的信号由通过将帧“-3”到“0”的相乘结果之和除以帧“-3”到“0”的加权系数之和而获得的值来表示。
图19示出了为获取帧“0”的信号作为具有显示图像数据VDd的帧而执行的处理的实例。图19的(a)与图16的(a)相同。图19的(b)描述了使用上述图6的(d)中指示的帧“-3”到“0”的模糊控制信息(各个帧的加权系数)。
图19的(c)描述了通过将运动图像数据DV的各个帧“-3”到“0”的信号S(-3)到S(0)乘以其相应的加权系数f(-3)到f(0)而获得的结果。如图19的(d)所示，显示图像数据VDd的帧“0”的信号由通过将帧“-3”到“0”的相乘结果之和除以帧“-3”到“0”的加权系数之和而获得的值来表示。
回到图15，显示部206基于由显示处理部205获取的显示图像数据来显示运动图像。显示部206包括例如LCD(液晶显示器)、有机EL(电致发光)面板等。应当注意，显示部206可以是连接到接收设备200的外部设备。
现在将简要描述图15中描述的接收设备200的操作。接收部202接收从发送设备100在广播波或网络分组中传输的传输流TS。传输流TS传输到去多路复用器203。去多路复用器203执行PID过滤，以从传输流TS中获取要进行解码处理的视频流。
此外，去多路复用器203提取包括在传输流TS的层中的片段信息(sectioninformation)，并将提取的片段信息传输到CPU 201。在这种情况下，还提取HFR信息描述符(见图12的(a))。另外，在存在HFR模糊控制描述符(见图13)的情况下，也提取该描述符。
基于HFR信息描述符，CPU 201识别出模糊控制信息被插入到视频流中。此外，CPU201从HFR模糊控制描述符获取模糊控制信息。
去多路复用器203获取的视频流被提供给解码器204。解码器204对视频流执行解码处理，以获得具有高帧率的运动图像数据VD。
此外，解码器204提取插入到每个接入单元(包括在视频流中)中的参数集和SEI消息，并将提取的参数集和提取的SEI消息传输到CPU 201。在这种情况下，还提取HFR模糊控制SEI消息(见图10)。CPU 201从HFR模糊控制SEI消息获取模糊控制信息。
解码器204获得的高帧率运动图像数据DV被提供给显示处理部205。根据显示部206的显示能力，显示处理部205通过对解码器204获取的运动图像数据DV执行帧率转换或其他所需的处理来获取显示图像数据VDd。
然后，当获取显示图像数据VDd的每一帧的图像数据时，显示处理部205不仅使用当前帧的图像数据，还使用周边帧的图像数据，并且基于模糊控制信息(各个帧的加权系数)执行模糊处理(见图16至19)。
在此处，在从发送器侧传输多条模糊控制信息的情况下，要使用的模糊控制信息由CPU 201自动选择或者由用户操作根据例如运动图像数据DV的帧率、显示帧率等来选择。对于这样的用户操作，显示部206显示例如列出多条模糊控制信息的UI屏幕。
从显示处理部205输出的显示图像数据DVd被提供给显示部206。显示部206然后基于显示图像数据DVd显示运动图像。
如上所述，在图1所示的发送/接收系统10中，发送设备100将控制模糊的模糊控制信息插入到容器层(传输流TS)和/或视频流层。这使得接收器侧能够根据模糊控制信息控制模糊，并且容易地呈现具有适当图像质量的图像。
在图1所示的发送/接收系统10中，接收设备200基于插入到容器层(传输流TS)和/或视频流层中的模糊控制信息来执行模糊处理。这使得能够容易地呈现具有适当图像质量的图像。
<2.示例性修改>
注意，在前述实施方式中，已经描述了一个实例，其中，模糊控制信息用于执行模糊处理，以便当要通过减小(降低)高帧率运动图像数据的帧率来获得显示图像数据时，实现适当的图像质量。然而，类似地可以想到，模糊控制信息可以用于执行模糊处理，以便当要通过增加高帧率运动图像数据的帧率来获得显示图像数据时，实现适当的图像质量。
此外，在前述实施方式中，已经描述了发送器侧添加模糊控制信息的实例。然而，在发送器侧不添加模糊控制信息的情况下，可以想到，接收器侧可以使用预先存储在包括例如存储器的保持部中的模糊控制信息。在这种情况下，可以想到，模糊控制信息可以从网络获取并保持在保持部中，或者从可移除记录介质获取并保持在保持部中。在这种情况下，也可以想到，可移除记录介质可以直接用作保持部。
此外，在发送器侧添加模糊控制信息的情况下，可以想到，可以允许接收器侧更新(校正)模糊控制信息。在这种情况下，还可以想到，可以从网络或可移动记录介质获取用于更新的模糊控制信息。
此外，在前述实施方式中，已经描述了接收设备200从广播波或网络接收添加了模糊控制信息的高帧率运动图像数据的实例。然而，也可以想到，接收设备200的某个部分可以从USB存储器或其他可移动记录介质获取添加了模糊控制信息的高帧率运动图像数据。
另外，在前述实施方式中，已经描述了一个实例，其中，通过使用附加到高帧率运动图像数据的模糊控制信息，对从发送器侧传输的高帧率运动图像数据执行模糊处理。然而，可替换地，也可以采用记录设备来将从发送器侧发送的高帧率运动图像数据作为内容记录在包括例如半导体存储器等的记录部中，并且通过在适当的时间点再现所记录的内容，来使用所记录的内容。例如，接收设备200可以包括记录部。
在上述情况下，在从发送器侧发送模糊控制信息的情况下，高帧率运动图像数据和模糊控制信息也彼此关联地记录。在这种情况下，根据需要校正模糊控制信息。此外，在模糊控制信息没有从发送器侧传输的情况下，可以想到，模糊控制信息可以在编辑时生成或者从网络获取，与高帧率运动图像数据相关联，并且与高帧率运动图像数据一起记录在记录部中。
同样，在前述实施方式中，已经描述了一个实例，其中，当要传输包含通过编码高帧率运动图像数据而获得的视频流的容器时，用于控制模糊的模糊控制信息被插入到容器层和/或视频流层中。然而，可以想到，通过编码高帧率运动图像数据而获得的视频流可以通过将其作为内容记录在预定记录介质(例如，半导体存储器)上来使用。在这种情况下，可以想到，可以生成用于控制高帧率运动图像数据的模糊的模糊控制信息，并通过将其插入视频流层来记录。或者，在所生成的模糊控制信息将以包含视频流的容器的形式记录在记录介质上的情况下，可以通过将其插入容器层来记录所生成的模糊控制信息。
此外，虽然上面已经描述了包括发送设备100和接收设备200的发送/接收系统10，但是本技术适用的发送/接收系统不限于发送/接收系统10的配置。例如，如图20所示的发送/接收系统10A的情况，接收设备200可以由机顶盒(STB)200A和显示器200B代替，机顶盒和显示器通过数字接口(例如，HDMI(高清多媒体接口))连接。顺便说一下，“HDMI”是一个注册商标。
此外，在上述情况下，可以想到，机顶盒200A可以包括显示处理部205和前面的部分，或者包括解码器204和前面的部分。在显示器200B中包括显示处理部205和后续部分的情况下，未压缩运动图像数据DV和模糊控制信息都从机顶盒200A传输到显示器200B。机顶盒200A例如通过将模糊控制信息插入在运动图像数据DV的消隐周期(blanking period)来传输模糊控制信息。例如，“视频显示信息帧”分组用于将模糊控制信息传输到显示器(monitor)200B。
此外，如图21所示，可以想到，可以采用发送/接收系统10B。通过用HMD(头戴式显示器)设备200C代替图20中的显示器200B，获得发送/接收系统10B。图22示出了HMD设备200C的示例性配置。
HMD设备200C包括CPU 251、用户操作部252、HDMI接收部253、图像处理部254、显示处理部255、左眼显示部256和右眼显示部257。CPU 251用作控制部，并控制HMD设备200C的各个部分的操作。用户操作部252包括例如按键、按钮、触摸面板或遥控器，并且使用户能够执行各种操作。
被配置为符合HDMI标准的HDMI接收部的HDMI接收部253从机顶盒200A接收显示图像数据DVd。图像处理部254对从HDMI接收部253输入的显示图像数据DVd执行缩放、降噪或其他信号处理。
显示处理部255输出由图像处理部254获取的图像数据，以在左眼显示部256和右眼显示部257上显示图像数据。左眼显示部256和右眼显示部257均包括放大视频的透镜块(图22中未示出)。左透镜块和右透镜块均包括多个光学透镜的组合，并且光学处理在显示面板上显示的图像。
当左眼显示部256和右眼显示部257的显示面板上显示的图像穿过透镜块时放大，并且在用户的视网膜上形成大的虚拟图像。左眼图像和右眼图像然后在作为图像观看者的用户的大脑中融合。左眼显示部256和右眼显示部257均包括例如液晶显示器或有机EL元件。
注意，虽然以上描述说明HDMI接收部253从机顶盒200A接收显示图像数据DVd，但是可以想到，HDMI接收部253可以从机顶盒200A接收高帧率运动图像数据DV和模糊控制信息。
在上述情况下，图像处理部254根据左眼显示部256和右眼显示部257的显示面板的显示能力，通过对运动图像数据DV执行帧率转换或其他处理来获得显示图像数据VDd。
此外，如图15所示的接收设备200的显示处理部205的情况，当获取显示图像数据VDd的每帧的图像数据时，图像处理部254不仅使用当前帧的图像数据，还使用周边帧的图像数据，以便基于模糊控制信息(各个帧的加权系数)执行模糊处理(见图16至19)。
如上所述，HMD设备200C还基于根据模糊控制信息模糊的显示图像数据VDd显示图像。因此，可以容易地呈现具有适当图像质量的图像。
注意，还可以想到，模糊控制信息可以通过使用不同的“信息帧”分组，例如，“供应商特定信息帧”，而不是使用“视频显示信息帧”分组，从机顶盒200A传输到显示器200B或HMD设备200C。此外，还可以想到，模糊控制信息可以通过CEC线路或HEC通信线路传输。
此外，在前述实施方式中，已经描述了传输流(MPEG-2TS)用作容器的实例。然而，本技术同样适用于具有通过使用网络(例如，互联网)向接收终端进行分发的配置的系统。当互联网用于分发目的时，通常通过使用MP4或其他格式的容器，进行分发。更具体地，可以使用各种格式的容器，包括符合数字广播标准的传输流(MPEG-2TS)格式的容器、MMT(MPEG媒体传输)格式的容器以及用于互联网分发的MP4格式的容器。
此外，本技术可以采用以下配置。
(1)一种发送设备，包括：
编码部，其生成通过编码高帧率运动图像数据而获得的视频流；
发送部，其发送包含视频流的容器；以及
信息插入部，其将用于控制模糊的模糊控制信息插入容器层和/或视频流层。
(2)根据上述(1)所述的发送设备，其中，
所述模糊控制信息给出在用于将周边帧的图像数据添加到当前帧的图像数据中的模糊处理中各个帧的加权系数。
(3)根据上述(2)所述的发送设备，其中，
周边帧包括过去帧和未来帧。
(4)根据上述(2)所述的发送设备，其中，
周边帧仅包括过去的帧。
(5)根据上述(2)至(4)中任一项所述的发送设备，其中，
周边帧的加权系数包括负系数。
(6)根据上述(1)至(5)中任一项所述的发送设备，其中，
所述高帧率运动图像数据包括帧率为120Hz、240Hz或480Hz的运动图像数据。
(7)根据上述(1)至(6)中任一项所述的发送设备，其中，
所述信息插入部将包括模糊控制信息的SEI消息插入到视频流层中。
(8)根据上述(1)至(7)中任一项所述的发送设备，其中，
当将模糊控制信息插入到视频流层中时，所述信息插入部另外将指示插入模糊控制信息的识别信息插入到容器层中。
(9)根据上述(1)至(8)中任一项所述的发送设备，其中，
所述信息插入部将包括模糊控制信息的描述符插入容器层中。
(10)根据上述(9)所述的发送设备，其中，
所述容器包括MPEG2传输流，并且
所述描述符插入到节目映射表或事件信息表中。
(11)根据上述(1)至(10)中任一项所述的发送设备，其中，
所述信息插入部将多种类型的模糊控制信息插入容器层和/或视频流层。
(12)一种发送方法，包括：
图像编码步骤，用于由图像编码部生成通过编码高帧率运动图像数据而获得的视频流；
传输步骤，用于由发送部发送包含视频流的容器；以及
信息插入步骤，用于由信息插入部将用于控制模糊的模糊控制信息插入容器层和/或视频流层。
(13)一种接收设备，包括：
接收部，其接收包含通过编码高帧率运动图像数据而获得的视频流的容器；
解码部，其解码视频流，以获得高帧率运动图像数据；以及
处理部，其通过使用模糊控制信息对获得的高帧率运动图像数据执行模糊处理。
(14)根据上述(13)所述的接收设备，其中，
所述模糊控制信息插入到容器层和/或视频流层中，并且
所述处理部使用插入的模糊控制信息、或者校正插入的模糊控制信息并且使用校正的模糊控制信息。
(15)根据上述(13)所述的接收设备，还包括：
保持部，其保持模糊控制信息，其中，
所述处理部从保持部获取模糊控制信息，并使用获取的模糊控制信息。
(16)根据上述(13)所述的接收设备，其中，
将多种类型的模糊控制信息插入到容器层和/或视频流层中，并且
所述处理部从多种类型的模糊控制信息中选择依赖于显示帧率或期望的图像质量的模糊控制信息，并使用所选择的模糊控制信息。
(17)根据上述(13)至(16)中任一项所述的接收设备，其中，
当通过降低高帧率运动图像数据的帧率来获取显示图像数据时，所述处理部执行模糊处理。
(18)一种接收方法，包括：
接收步骤，用于由接收部接收包含通过编码高帧率运动图像数据而获得的视频流的容器；
解码步骤，用于由解码部解码视频流，以获得高帧率运动图像数据；以及
处理步骤，用于由处理部通过使用用于控制模糊的模糊控制信息对所获得的高帧率运动图像数据执行模糊处理，其中，所述模糊控制信息被插入到容器层和/或视频流层中。
(19)一种记录设备，包括：
编码部，其生成通过编码高帧率运动图像数据而获得的视频流；
生成部，其生成模糊控制信息，用于控制高帧率运动图像数据的模糊；以及
记录部，其记录插入到视频流层和/或包含视频流的容器层中的视频流和模糊控制信息。
(20)一种记录方法，包括：
编码步骤，用于由编码部生成通过编码高帧率运动图像数据而获得的视频流；
生成步骤，用于由生成部生成模糊控制信息，用于控制高帧率运动图像数据的模糊；以及
记录步骤，用于由记录部记录插入到视频流层和/或包含视频流的容器层中的视频流和模糊控制信息。
[附图标记列表]
10、10A、10B...发送/接收系统
100...发送设备
101...CPU
102...编码器
103...多路复用器
104...发送部
200...接收设备
200A...机顶盒
200B...显示器
200C...HMD设备
201...CPU
201a...用户操作部
202...接收部
203...去多路复用器
204...解码器
205...显示处理部
206...显示部
251...CPU
252...用户操作部
253...HDMI接收部
254...图像处理部
255...显示处理部
256...左眼显示部 257...右眼显示部

Claims (20)

1.一种发送设备，包括：
编码部，被配置为生成通过编码高帧率运动图像数据而获得的视频流；
发送部，被配置为发送包含视频流的容器；以及
信息插入部，被配置为将用于控制模糊的模糊控制信息插入到容器层和/或视频流层，所述模糊控制信息包括用于在模糊处理中将一个或多个周边帧与当前帧组合的各个帧的加权系数，
当通过降低高帧率运动图像数据的帧率而获取显示运动图像数据时，执行所述模糊处理。
2.一种发送方法，包括：
图像编码步骤，由图像编码部生成通过编码高帧率运动图像数据而获得的视频流；
发送步骤，由发送部发送包含视频流的容器；以及
信息插入步骤，由信息插入部将用于控制模糊的模糊控制信息插入到容器层和/或视频流层，所述模糊控制信息包括用于在模糊处理中将一个或多个周边帧与当前帧组合的各个帧的加权系数，
当通过降低高帧率运动图像数据的帧率而获取显示运动图像数据时，执行所述模糊处理。
3.一种接收设备，包括：
接收部，被配置为接收包含通过编码高帧率运动图像数据而获得的视频流的容器；
解码部，被配置为解码所述视频流，以获得高帧率运动图像数据；以及
处理部，被配置为通过使用模糊控制信息对获得的高帧率运动图像数据执行模糊处理，所述模糊控制信息包括用于在模糊处理中将一个或多个周边帧与当前帧组合的各个帧的加权系数，
当通过降低所述高帧率运动图像数据的帧率而获取显示运动图像数据时，所述处理部被配置为执行所述模糊处理。
4.根据权利要求3所述的接收设备，其中，
所述模糊控制消息包括模糊函数类型的指示符。
5.根据权利要求3所述的接收设备，其中，
所述模糊控制信息包括在所述视频流的层中的SEI消息中。
6.根据权利要求3所述的接收设备，其中，
所述容器的层包括指示在所述容器的所述层中包括所述模糊控制信息的识别信息。
7.根据权利要求3所述的接收设备，其中，
包括所述模糊控制信息的描述符包括在所述容器的层中。
8.根据权利要求3所述的接收设备，其中，
在所述容器的层和/或所述视频流的层中包括多种类型的所述模糊控制信息。
9.根据权利要求8所述的接收设备，其中，
所述周边帧包括过去帧和未来帧。
10.根据权利要求8所述的接收设备，其中，
所述周边帧仅包括过去帧。
11.根据权利要求8所述的接收设备，其中，
所述周边帧的加权系数包括负系数。
12.根据权利要求8所述的接收设备，其中，
所述高帧率运动图像数据包括帧率为120Hz、240Hz或480Hz的运动图像数据。
13.根据权利要求8所述的接收设备，其中，
所述容器包括MPEG2传输流，并且
将描述符插入到节目映射表或事件信息表中。
14.根据权利要求8所述的接收设备，其中，
所述模糊控制信息被插入到容器层和/或视频流层中，并且所述处理部被配置为使用插入的模糊控制信息、或者校正插入的模糊控制信息并且使用校正的模糊控制信息。
15.根据权利要求8所述的接收设备，还包括：
保持部，被配置为保持模糊控制信息，其中，
所述处理部被配置为从保持部获取模糊控制信息，并使用获取的模糊控制信息。
16.根据权利要求8所述的接收设备，其中，
将多种类型的模糊控制信息插入到容器层和/或视频流层中，并且
所述处理部被配置为从多种类型的模糊控制信息中选择与显示帧率对应的、或与期望的图像质量对应的模糊控制信息，并使用所选择的模糊控制信息。
17.根据权利要求3所述的接收设备，其中，所述加权系数分别对应于所述一个或多个周边帧和所述当前帧，并且能够逐帧地变化。
18.一种接收方法，包括：
接收步骤，由接收部接收包含通过编码高帧率运动图像数据而获得的视频流的容器；
解码步骤，由解码部解码视频流，以获得高帧率运动图像数据；以及
处理步骤，由处理部通过使用用于控制模糊的模糊控制信息对所获得的高帧率运动图像数据执行模糊处理，所述模糊控制信息被插入到容器层和/或视频流层中，所述模糊控制信息包括用于在模糊处理中将一个或多个周边帧与当前帧组合的各个帧的加权系数，
当通过降低高帧率运动图像数据的帧率获取显示运动图像数据时，执行所述模糊处理。
19.一种记录设备，包括：
编码部，生成通过编码高帧率运动图像数据而获得的视频流；
生成部，生成模糊控制信息，所述模糊控制信息用于控制高帧率运动图像数据的模糊；以及
记录部，记录插入到视频流层和/或包含视频流的容器层中的模糊控制信息和视频流，所述模糊控制信息包括用于在模糊处理中将一个或多个周边帧与当前帧组合的各个帧的加权系数，
当通过降低高帧率运动图像数据的帧率获取显示运动图像数据时，执行所述模糊处理。
20.一种记录方法，包括：
编码步骤，由编码部生成通过编码高帧率运动图像数据而获得的视频流；
生成步骤，由生成部生成模糊控制信息，所述模糊控制信息用于控制高帧率运动图像数据的模糊；以及
记录步骤，由记录部记录插入到视频流层和/或包含视频流的容器层中的模糊控制信息和视频流，所述模糊控制信息包括用于在模糊处理中将一个或多个周边帧与当前帧组合的各个帧的加权系数，
当通过降低高帧率运动图像数据的帧率获取显示运动图像数据时，执行所述模糊处理。
CN201880024218.7A 2017-04-17 2018-04-16 发送设备、发送方法、接收设备、接收方法、记录设备和记录方法 Active CN110521211B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-081604 2017-04-17
JP2017081604 2017-04-17
PCT/JP2018/015778 WO2018194040A1 (ja) 2017-04-17 2018-04-16 送信装置、送信方法、受信装置、受信方法、記録装置および記録方法

Publications (2)

Publication Number Publication Date
CN110521211A CN110521211A (zh) 2019-11-29
CN110521211B true CN110521211B (zh) 2023-06-16

Family

ID=63855867

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880024218.7A Active CN110521211B (zh) 2017-04-17 2018-04-16 发送设备、发送方法、接收设备、接收方法、记录设备和记录方法

Country Status (6)

Country Link
US (1) US11523120B2 (zh)
EP (1) EP3614680B1 (zh)
JP (1) JP7300985B2 (zh)
KR (1) KR102551759B1 (zh)
CN (1) CN110521211B (zh)
WO (1) WO2018194040A1 (zh)

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5454051A (en) * 1991-08-05 1995-09-26 Eastman Kodak Company Method of reducing block artifacts created by block transform compression algorithms
US7373013B2 (en) * 2003-12-23 2008-05-13 General Instrument Corporation Directional video filters for locally adaptive spatial noise reduction
WO2006040722A2 (en) * 2004-10-13 2006-04-20 Koninklijke Philips Electronics N.V. Display time control for moving images
JP4868236B2 (ja) * 2004-12-21 2012-02-01 ソニー株式会社 画像処理装置と画像処理方法および画像処理プログラム
US7570309B2 (en) * 2005-09-27 2009-08-04 Samsung Electronics Co., Ltd. Methods for adaptive noise reduction based on global motion estimation
GB2432068B (en) * 2005-11-02 2010-10-06 Imagination Tech Ltd Motion estimation
JPWO2007063819A1 (ja) 2005-11-29 2009-05-07 パイオニア株式会社 記録装置、再生装置、記録方法、記録プログラムおよびコンピュータに読み取り可能な記録媒体
JP4961800B2 (ja) 2006-03-31 2012-06-27 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
US8208563B2 (en) * 2008-04-23 2012-06-26 Qualcomm Incorporated Boundary artifact correction within video units
JP4666012B2 (ja) * 2008-06-20 2011-04-06 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP5102174B2 (ja) 2008-10-22 2012-12-19 日本電信電話株式会社 フレームレート変換方法、フレームレート変換装置、フレームレート変換プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2010178124A (ja) 2009-01-30 2010-08-12 Victor Co Of Japan Ltd 記録装置及び記録方法
WO2010109900A1 (ja) * 2009-03-26 2010-09-30 パナソニック株式会社 映像加工装置、映像加工方法、映像加工集積回路、映像再生装置
WO2010116731A1 (ja) 2009-04-08 2010-10-14 パナソニック株式会社 撮像装置、再生装置、撮像方法及び再生方法
US8520736B2 (en) * 2009-04-14 2013-08-27 Fastvdo, Llc Real-time superresolution and video transmission
US8378799B2 (en) * 2009-06-30 2013-02-19 Mitsubishi Electric Research Laboratories, Inc. Method and system for coding information on a roadway surface subject to motion blur
US8503801B2 (en) * 2010-09-21 2013-08-06 Adobe Systems Incorporated System and method for classifying the blur state of digital image pixels
JP6003992B2 (ja) * 2012-08-27 2016-10-05 ソニー株式会社 受信装置および受信方法
JP6172535B2 (ja) * 2012-09-26 2017-08-02 サン パテント トラスト 画像復号方法および画像復号装置
WO2014094313A1 (en) * 2012-12-21 2014-06-26 Thomson Licensing Video quality model, method for training a video quality model, and method for determining video quality using a video quality model
US20140177706A1 (en) * 2012-12-21 2014-06-26 Samsung Electronics Co., Ltd Method and system for providing super-resolution of quantized images and video
US9542736B2 (en) * 2013-06-04 2017-01-10 Paypal, Inc. Evaluating image sharpness
US10708491B2 (en) * 2014-01-07 2020-07-07 Ml Netherlands C.V. Adaptive camera control for reducing motion blur during real-time image capture
CN106464889A (zh) * 2014-03-06 2017-02-22 三星电子株式会社 执行基于子块的预测的层间视频解码方法和层间视频编码方法及其设备
WO2016145591A1 (en) * 2015-03-16 2016-09-22 Nokia Technologies Oy Moving object detection based on motion blur
CN107534786B (zh) * 2015-05-22 2020-10-27 索尼公司 传输装置、传输方法、图像处理装置、图像处理方法、接收装置、及接收方法
KR102142938B1 (ko) * 2015-09-25 2020-08-10 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 모션 보상을 위한 장치 및 방법
JP6621798B2 (ja) * 2016-12-08 2019-12-18 株式会社モルフォ 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
US20200322614A1 (en) 2020-10-08
CN110521211A (zh) 2019-11-29
JPWO2018194040A1 (ja) 2020-02-27
EP3614680A4 (en) 2020-04-29
EP3614680B1 (en) 2024-05-01
US11523120B2 (en) 2022-12-06
KR102551759B1 (ko) 2023-07-06
WO2018194040A1 (ja) 2018-10-25
JP7300985B2 (ja) 2023-06-30
KR20190137802A (ko) 2019-12-11
EP3614680A1 (en) 2020-02-26

Similar Documents

Publication Publication Date Title
US9554198B2 (en) Digital broadcast receiving method providing two-dimensional image and 3D image integration service, and digital broadcast receiving device using the same
US9516294B2 (en) Digital broadcasting reception method capable of displaying stereoscopic image, and digital broadcasting reception apparatus using same
US9117396B2 (en) Three-dimensional image playback method and three-dimensional image playback apparatus
US20170374313A1 (en) Method and device for transmitting and receiving broadcast signal
US20210120220A1 (en) Reception device, dis play control method, transmission device, and transmission method for program content type
JP6930419B2 (ja) 画像処理装置、画像処理方法、受信装置および送信装置
JP2012039340A (ja) 受信装置および受信方法
US8780186B2 (en) Stereoscopic image reproduction method in quick search mode and stereoscopic image reproduction apparatus using same
JP2011015011A (ja) 画質調整装置および画質調整方法
JP2013090020A (ja) 映像出力装置および映像出力方法
US20200195943A1 (en) Transmitting apparatus, transmitting method, receiving apparatus, and receiving method
CN110521211B (zh) 发送设备、发送方法、接收设备、接收方法、记录设备和记录方法
JP6930420B2 (ja) 送信装置、送信方法、画像処理装置、画像処理方法、受信装置および受信方法
US20120113220A1 (en) Video output device, video output method, reception device and reception method
US8933997B2 (en) Video output apparatus and method for controlling the same
JP5684415B2 (ja) デジタル放送信号受信装置およびデジタル放送信号受信方法
JP2013090019A (ja) 映像出力装置および映像出力方法
CN107005401A (zh) 一种播放多媒体数据的方法及装置
JP2012182589A (ja) ３ｄコンテンツを２ｄでプレビュー表示する装置および方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant