CN104854872B - 发送装置、传输方法、接收装置以及接收方法 - Google Patents

发送装置、传输方法、接收装置以及接收方法 Download PDF

Info

Publication number
CN104854872B
CN104854872B CN201380063894.2A CN201380063894A CN104854872B CN 104854872 B CN104854872 B CN 104854872B CN 201380063894 A CN201380063894 A CN 201380063894A CN 104854872 B CN104854872 B CN 104854872B
Authority
CN
China
Prior art keywords
band
image data
processing
information
video flowing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380063894.2A
Other languages
English (en)
Other versions
CN104854872A (zh
Inventor
塚越郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN104854872A publication Critical patent/CN104854872A/zh
Application granted granted Critical
Publication of CN104854872B publication Critical patent/CN104854872B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]

Abstract

本技术旨在在接收侧上适当地执行条带抑制处理。传输具有预定格式并包括视频流的容器，该视频流包括编码图像数据。在视频流中，插入与图像数据的条带抑制处理相关的信息。信息包括例如表示是否已对图像数据应用条带抑制处理的信息以及表示是否应对图像数据应用条带抑制处理的信息。在接收侧上，可基于与从传输侧传输的条带抑制处理相关的信息控制条带抑制处理，并可适当地执行条带抑制处理。

Description

发送装置、传输方法、接收装置以及接收方法
技术领域
本技术涉及发送装置、传输方法、接收装置以及接收方法，并且具体地涉及被配置为发送用有限灰度数量化的图像数据的发送装置等。
背景技术
存在这样一些图像数据处理装置，被配置为执行所谓的灰度转换，其中N-比特图像数据被转换成具有减小的灰度数的M-比特图像数据。通过例如仅切断N-比特像素数据的低灰度N-M比特的值以对M-比特像素数据执行量化来执行这种灰度转换。然而，在这种情况下，可能存在这样的问题，在像素值逐渐变得像图像内的灰度部分的区域中由于量化误差的影响感测到带状图案(band-like pattern)，也就是条带(banding)。
在相关技术中，已知抑制这种条带的各种类型的方法(类型)为条带抑制处理，例如：随机抖动法、系统抖动法、误差扩散法等(例如，参考专利文献1)。
图22(a)是示出被配置为根据随机抖动法应用条带抑制处理的示例性灰度转换装置的示图。灰度转换装置包括运算单元311、随机噪声输出单元312、以及量化单元313。
例如，16比特图像数据的每一个像素(x,y)的像素值IN(x,y)以光栅扫描顺序被提供给运算单元311作为灰度转换的目标图像数据(灰度转换之前的图像)。应注意，像素(x,y)表示位于从左边数第x和从上面数第y的像素。此外，随机噪声被从被配置为生成与输出随机噪声的随机噪声输出单元312提供给运算单元311。
运算单元311将像素值IN(x,y)和随机噪声相加并为量化单元313提供因其获得的增加值。量化单元313将运算单元311的增加值量化为例如8比特并且输出因其获得的8比特量化值作为灰度转换之后图像数据的每一个像素(x,y)的像素值OUT(x,y)。
图22(b)是示出被配置为根据系统抖动法应用条带抑制处理的示例性灰度转换装置的示图。灰度转换装置包括运算单元321和量化单元322。
例如，16比特图像数据的每一个像素(x,y)的像素值IN(x,y)以光栅扫描顺序被提供给运算单元321作为灰度转换的目标图像。此外，抖动显示阵被提供给运算单元321。运算单元321将像素值IN(x,y)和与具有像素值IN(x,y)的像素(x,y)对应的抖动显示阵的值相加，并为量化单元322提供因其获得的增加值。
量化单元322将运算单元321的增加值量化为例如8比特并且输出因其获得的8比特量化值作为灰度转换之后图像数据的像素(x,y)的像素值OUT(x,y)。
图22(c)是示出被配置为根据误差扩散法应用条带抑制处理的示例性灰度转换装置的示图。灰度转换装置包括运算单元331、量化单元332、运算单元333、以及二维滤波器334。
例如，16比特图像数据的每一个像素(x,y)的像素值IN(x,y)以光栅扫描顺序被提供给运算单元331作为灰度转换的目标图像。此外，二维滤波器334的输出被提供给运算单元331。运算单元331将像素值IN(x,y)与二维滤波器334的输出相加，并为量化单元332和运算单元333提供因其获得的增加值。
量化单元332将运算单元331的增加值量化为例如8比特并且输出因其获得的8比特量化值作为灰度转换之后图像数据的每一个像素(x,y)的像素值OUT(x,y)。
此外，从量化单元332输出的像素值OUT(x,y)也被提供给运算单元333。运算单元333从运算单元331的增加值减去量化单元332的像素值OUT(x,y)以获得在量化单元332量化生成的量化误差-Q(x,y)并将其提供至二维滤波器334。
二维滤波器334是这样一种二维滤波器，即，其被配置为滤波信号并从运算单元333滤波量化误差-Q(x,y)，并且向运算单元331输出滤波结果。
如上所述，在运算单元331中，将像素值IN(x,y)和滤波从二维滤波器334输出的量化误差-Q(x,y)的结果相加。在这种情况下，量化误差-Q(x,y)通过二维滤波器334被馈送回输入侧(运算单元331)，从而形成二维ΔΣ调制器。
根据二维ΔΣ调制器，量化误差-Q(x,y)被扩散至在水平方向(x方向)和竖直方向(y方向)两个方向上的高条带的空间频率。因此，根据误差扩散法，与随机抖动法和系统抖动法相比，能够获得具有更好的质量的图像作为灰度转换后的图像。
图23(a)至23(c)是示出条带与上述抖动/误差扩散之间的关系的示图。在此，提供了在N＝16且M＝8的情况下的实例，更具体地，通过将16比特图像数据量化成8比特图像数据而转换灰度的实例。在这种情况下，通过切断输入16比特数据的低灰度8比特执行量化。
将描述输入在图23(a)中示出的灰度图像作为原始16比特图像数据的情况。在将16比特图像数据量化至8比特图像数据时不执行抖动或误差扩散的情况下，灰度不连续，也就是，可能引起在图23(b)中示出的条带。这种条带的原因是由于在图23(b)右侧所示出的分辨率减小在8比特情况比16比特情况生成的具有连续相同像素值的平坦部分更多。
在执行抖动或误差扩散的情况下，如图23(c)右侧所示减少像素值的去平。因此，如图23(c)左侧所示，能够实现表示接近原始16比特图像数据的灰度。因此，有把握的是抖动和误差扩散是表示具有点密度的灰度的方法。
引用列表
专利文献
专利文献1：日本专利申请特开第2009-207113号。
发明内容
本发明要要解决的问题
在图像发送/接收系统中，可在传输侧上执行也可在接收侧上执行上述条带抑制处理。在传输侧上执行条带抑制处理的情况下，没必要在接收侧上进行条带抑制处理，而不在传输侧上执行条带抑制处理的情况下，期望在接收侧上执行条带抑制处理。
本技术旨在在接收侧上适当地执行条带抑制处理。
问题的解决方案
根据本技术的方面，发送装置包括：发送单元，被配置为发送具有预定格式并包括的视频流的容器，该视频流包括编码图像数据；以及信息插入单元，被配置为将与图像数据的条带抑制处理相关的信息插入到视频流的信息。
根据本技术，由发送单元传输具有预定格式并包括视频流的容器，该视频流包括编码图像数据。例如，发送单元可响应于来自接收侧的请求发送具有预定格式的容器。例如，容器可以是在数字广播标准中采用的传输流(MPEG-2TS)。此外，例如，容器可以是具有在互联网传播中使用的MP4格式或其他格式的容器。
有关条带抑制处理图像数据的信息通过信息插入单元被插入在视频流中。例如，信息插入单元可每张图片或每个场景将有关条带抑制处理的信息插入到视频流中。
例如，有关条带抑制处理的信息可以包括表示是否已对图像数据应用条带抑制处理的信息。此外，在这种情况下，有关条带抑制处理的信息可以包括表示是否已对图像数据应用条带抑制处理的类型的信息。
此外，例如，有关条带抑制处理的信息可以包括表示是否应当对图像数据应用条带抑制处理的信息。此外，例如，有关条带抑制处理的信息可以包括表示是否已对图像数据应用灰度数降低处理的信息。此外，在这种情况下，有关条带抑制处理的信息可以包括表示灰度数降低处理之前的灰度数的信息。
因此，根据本技术，有关条带抑制处理图像数据的信息被插入到视频流中。因此，在接收侧上，可基于有关条带抑制处理的信息适当地执行条带抑制处理。例如，进行控制使得仅在还没在传输侧上执行条带抑制处理的情况下执行条带抑制处理。此外，例如，可进行控制使得仅对应当应用条带抑制处理的图像数据执行条带抑制处理。
同时，根据本技术，识别信息插入单元被配置为例如插入到容器的一层中，识别信息表示有关条带抑制处理的信息是否被插入到视频流中。例如，在这种情况下，容器是传输流，识别信息插入单元可将识别信息插入在包含在传输流内的节目映射表的视频基本循环下。在这种情况下，接收器能够在不解码视频流的情况下检测有关条带抑制处理的信息是否被插入到视频流中并能够适当地提取信息。
此外，根据本技术的不同方面，接收装置包括：接收单元，被配置为接收具有预定格式并包含视频流的容器，视频流包括编码图像数据并被插入有有关条带抑制处理图像数据的信息；解码单元，被配置为解码视频流并获得图像数据；处理单元，被配置为对解码图像数据应用条带抑制处理；以及控制单元，被配置为基于有关条带抑制处理并被插入到视频流中的信息而控制处理单元。
根据本技术，由接收单元接收具有预定格式并包括视频流的容器。在该视频流中，包含编码图像数据并且此外插入有关条带抑制处理图像数据的信息。由解码单元解码视频流并获得解码图像数据。通过处理单元对解码图像数据应用条带抑制处理。此外，由控制单元基于插入到视频流中有关条带抑制处理的信息控制处理单元。
例如，有关条带抑制处理的信息包括表示是否应当对图像数据应用条带抑制处理的信息以及表示是否已对图像数据应用条带抑制处理的信息。控制单元可执行控制使得当图像数据是应当应用条带抑制处理的并且此外还未对图像数据应用条带抑制处理的图像数据时向控制单元中解码图像数据应用条带抑制处理。
因此，根据本技术，基于被插入到视频流中有关条带抑制处理图像数据的信息控制解码图像数据的条带抑制处理。因此，能够适当地执行条带抑制处理。
此外，根据本技术的另一不同方面，接收装置包括：接收单元，被配置为接收具有预定格式并包括视频流的容器，视频流包括编码图像数据；解码单元，被配置为解码视频流并获得图像数据；处理单元，被配置为对解码图像数据应用条带抑制处理；以及控制单元，被配置为控制处理单元，使得当能够在显示单元上显示的灰度数被配置为基于与视频流中的图像数据的比特数不同的解码图像数据显示图像时对解码图像数据应用条带抑制处理。
根据本技术，由接收单元接收具有预定格式并包括包含编码图像数据的视频信息流的容器。由解码单元解码视频信息流并获得解码图像数据。通过处理单元对解码图像数据应用条带抑制处理。
此外，由控制单元控制处理单元。在这种情况下，控制处理单元，使得当能够在显示单元上显示的灰度数被配置为基于与视频流中的图像数据的比特数不同的解码图像数据显示图像时对解码图像数据应用条带抑制处理。利用该配置，适当地执行条带抑制处理。
发明效果
根据本技术，可在接收侧上适当地执行条带抑制处理。
附图说明
图1是示出根据实施方式的图像发送/接收系统的示例性配置的框图。
图2是示出构成图像发送/接收系统的示例性发送装置的框图。
图3是示出构成发送装置的条带抑制处理单元的示例性配置的框图。
图4是描述被插入到访问单元的“SEI”部分中的图片处理SEI消息的示图。
图5是示出“图片处理SEI消息”的示例性结构(语法)的示图。
图6是示出“图片processing_sei()”的示例性结构(语法)的示图。
图7是示出“图片processing_sei()”的示例性结构中的主要信息的内容(语义)的示图。
图8是示出其主要信息的内容(语义)和图片处理描述符(picture_processing描述符)的示例性结构(语法)的示图。
图9是示出根据实施方式的传输流TS的示例性结构的示图。
图10是示出构成图像发送/接收系统的接收装置的示例性配置的框图。
图11是示出在接收装置的控制单元中每个图片的条带抑制处理的示例性控制程序的流程图(1/2)。
图12是示出在接收装置的控制单元中每个图片的条带抑制处理的示例性控制程序的流程图(2/2)。
图13是示出基于DASH的流传送系统的示例性配置的框图。
图14是示出MPD文件的分层结构的示图。
图15是示出通过在时间轴中设置结构MPD文件包含的相应结构的实例的示图。
图16是示出在MPD文件中分层布置的相应结构之间的示例性关系的示图。
图17是示出时段、表现、以及片段之间的示例性关系的示图。
图18是示出根据内容生成DASH片段和DASH MPD文件的示例性流程的示图。
图19是示出构成流传送系统的IPTV客户端的示例性配置的示图。
图20是示出基于DASH的流传送系统的一般系统的框图。
图21是示出包含视频流的碎片MP4流的示例性结构的示图。
图22是描述条带抑制处理的随机抖动法、系统抖动法以及误差扩散法的示图。
图23是描述条带与抖动/误差扩散之间的关系的示图。
具体实施方式
下文中，将描述用于执行该技术(以下称“实施方式”)的方式。注意：将以下面的顺序进行描述。
1.实施方式
2.变形例
<1.实施方式>
[图像发送/接收系统]
图1是示出根据实施方式的图像发送/接收系统10的示例性配置的示图。图像发送/接收系统10包括发送装置100和接收装置200。发送装置100例如构成广播站并通过广播波发送作为容器的传输流TS。
传输流TS包括包含编码图像数据的视频流。此外，有关条带抑制处理图像数据的信息(在下文中，适当地称作“条带抑制处理信息”)被插入到视频流中。在这种情况下，例如，每张图片或每个场景，将条带抑制处理信息插入到视频流的图像报头、序列报头的用户数据区等。
条带抑制处理信息包括表示是否已对图像数据应用条带抑制处理的信息以及表示条带抑制处理的类型的信息。此外，条带抑制处理信息包括表示是否已对图像数据应用条带抑制处理的信息。此外，条带抑制处理信息包括表示是否已对图像数据应用灰度数降低处理的信息以及表示在灰度数降低处理之前的灰度数的信息。随后将详细地描述条带抑制处理信息。
此外，表示条带抑制处理信息是否被插入到视频流的识别信息被插入到一层传输流TS中。例如，将识别信息插入在传输流TS所包含的节目映射表(PMT)的视频基本循环(视频ES循环)下。识别信息使接收侧检测在未解码视频流的情况下条带抑制处理信息是否被插入到视频流并且也适当地提取条带抑制处理信息。随后将详细地描述识别信息。
接收装置200接收通过广播波从发送装置100传输的传输流TS。接收装置200向传输流TS包含的视频数据流应用解码处理以获得图像数据。在这一点上，被插入到该层传输流TS的识别信息使得接收装置200能够在不解码视频流的情况下检测条带抑制处理信息是否被插入到视频流中。
接收装置200对解码图像数据应用条带抑制处理，并且生成要显示的图像数据。在这一点上，接收装置200提取被插入到视频流中的条带抑制处理信息并基于条带抑制处理信息控制条带抑制处理。例如，当图像数据是应当应用条带抑制处理的并且此外还未对图像数据应用条带抑制处理的图像数据时，进行控制使得对解码图像数据应用条带抑制处理。
[发送装置的配置]
图2是示出发送装置100的示例性配置的示图。发送装置100包括摄像机101、条带抑制处理单元102、编码器103、以及发送单元104。摄像机101获取对象的图像并且输出图像数据。条带抑制处理单元102根据量化的比特数(灰度数)向从摄像机101输出的图像数据应用灰度数降低处理和条带抑制处理。
更具体地，当从摄像机101输出的图像数据是N比特图像数据且N>M时，条带抑制处理单元102将图像数据转换成M比特图像数据，并也应用条带抑制处理以输出M比特图像数据。同时，当从摄像机101输出的图像数据是M比特图像数据时，事实上条带抑制处理单元102输出从摄像机101输出的图像数据。
图3是示出条带抑制处理单元102的示例性配置的示图。条带抑制处理单元102具有抖动添加单元51和一维ΔΣ调制单元52串联连接的配置。抖动添加单元51通过向从摄像机101接收的输入图像数据的每一个像素值IN(x,y)添加随机噪声而向目标图像施加抖动，并为一维ΔΣ调制单元52提供图像数据。一维ΔΣ调制单元52向施加有抖动且从抖动添加单元51提供的图像数据应用一维ΔΣ调制并为编码器103提供因其获得的输出图像数据的每一个像素值OUT(x,y)。
将描述抖动添加单元51。抖动添加单元51包括运算单元61、高通滤波器(HPF)62、随机噪声输出单元63、以及系数设置单元64。按光栅扫描顺序向运算单元61提供输入图像数据的像素值IN(x,y)。此外，将从超通滤波器62的输出提供给运算单元61。
运算单元61将从超通滤波器62的输出添加至输入图像数据的像素值IN(x,y)，并将因其获得的增加值提供到一维ΔΣ调制单元52作为施加抖动的图像数据的像素值F(x,y)。超通滤波器62基于系数设置单元64设置的滤波系数滤波从随机噪声输出单元63输出的随机噪声，并为运算单元61提供通过滤波获得的随机噪声的高频分量。
随机噪声输出单元63例如根据高斯分布生成随机噪声并且向超通滤波器62输出随机噪声。系数设置单元64基于人眼视力等的空间频率特性确定超通滤波器62的滤波系数，并为超通滤波器62设置滤波系数。
在抖动添加单元51中，基于人眼视力等的空间频率特性确定超通滤波器62的滤波系数并通过系数设置单元64为超通滤波器62设置。此外，在超通滤波器62中，用通过系数设置单元64设置的滤波系数以及从随机噪声输出单元63输出的随机噪声执行和积操作(product-sum operation)等。这时，过滤从随机噪声输出单元63输出的随机噪声并提取高频分量。将高频分量提供给运算单元61。
在运算单元61中，将输入图像数据的N比特像素值IN(x,y)和超通滤波器62的随机噪声的高频分量相加，获得其增加值，例如，具有与输入图像数据相同比特数的N比特增加值或具有相同或更大比特数的增加值被提供给一维ΔΣ调制单元52作为施加抖动的像素值F(x,y)。
接下来，将描述一维ΔΣ调制单元52。一维ΔΣ调制单元52包括运算单元71、量化单元72、运算单元73、一维滤波器74、以及系数设置单元75。将施加抖动的图像数据的像素值F(x,y)按光栅扫描顺序从抖动添加单元51提供给运算单元71。此外，将一维滤波器74的输出提供给运算单元71。
运算单元71将抖动添加单元51的像素值F(x,y)与一维滤波器74的输出相加并将因其获得的增加值提供到量化单元72和运算单元73。量化单元72使从运算单元71的增加值量化至M比特。此外，量化单元72向编码器103也向运算单元73提供M比特量化值(包含因其获得的量化误差-Q(x,y)的量化值)作为灰度数转换之后输出图像数据的像素值OUT(x,y)。
运算单元73从运算单元71的增加值减去量化单元72的像素值OUT(x,y)从而获得在量化单元72量化生成的量化误差-Q(x,y)并且然后将量化误差提供至一维滤波器74。一维滤波器74是被配置为滤波信号并滤波从运算单元73接收的量化误差-Q(x,y)并将滤波结果输出到运算单元71的一维滤波器。
这里，在运算单元71中，将从一维滤波器74输出的量化误差-Q(x,y)的滤波结果与像素值F(x,y)相加。系数设置单元75基于人眼视力等的空间频率特性确定一维滤波器74的滤波系数，并为一维滤波器74设置系数。
在一维ΔΣ调制单元52中，基于人眼视力等的空间频率特性确定一维滤波器74的滤波系数并通过系数设置单元75为一维滤波器74设置。此外，在一维滤波器74中，用通过系数设置单元75设置的滤波系数以及从运算单元73输出的量化误差-Q(x,y)执行和积操作等。这时，对从运算单元73输出的量化误差-Q(x,y)进行滤波并提取量化误差-Q(x,y)的高频分量。将高频分量提供给运算单元71。
在运算单元71中，将抖动添加单元51的像素值F(x,y)与一维滤波器74的输出相加并将因其获得的增加值提供给量化单元72和运算单元73。在量化单元72中，使运算单元71的增加值量化至M比特，并且因其获得的M比特量化值提供给编码器103作为在灰度数转换之后的图像数据的像素值OUT(x,y)并也提供给运算单元73。
在运算单元73中，从运算单元71的增加值减去量化单元72的像素值OUT(x,y)，从而从像素值OUT(x,y)包含的量化单元72中获得量化误差-Q(x,y)。将量化误差-Q(x,y)提供给一维滤波器74。在一维滤波器74中，滤波运算单元73中的量化误差-Q(x,y)，并将滤波结果输出到运算单元71。在运算单元71中，将从一维滤波器74输出的量化误差-Q(x,y)的滤波结果与像素值F(x,y)相加。
在一维ΔΣ调制单元52中，将量化误差-Q(x,y)通过一维滤波器74馈送回输入侧(运算单元71)，从而实现执行一维ΔΣ调制。因此，在一维ΔΣ调制单元52中，将一维ΔΣ调制从抖动添加单元51施加于像素值F(x,y)，并输出像素值OUT(x,y)作为一维ΔΣ调制的结果。
同时，在一维ΔΣ调制单元52中，量化误差-Q(x,y)是像素值F(x,y)的量化误差，但在向像素值F(x,y)应用ΔΣ调制获取像素值OUT(x,y)的情况下，不使用像素值F(x,y)的量化误差-Q(x,y)并且按光栅扫描顺序使用比像素值F(x,y)(之前处理的像素值)更早的像素值的量化误差。
再次参考图2，编码器103向从条带抑制处理单元102输出的M比特图像数据施加编码，诸如，MPEG4-AVC(MVC)、MPEG2视频、或高效率视频编码(HEVC)以获得编码图像数据。此外，视频编码器103通过在后续灰度段中配置的流格式器(未示出)生成包括编码图像数据的视频流(视频基本流)。
在这一点上，例如，编码器103在每张图片或每个场景将条带抑制处理信息插入视频流。例如从条带抑制处理单元102提供条带抑制处理信息。如上所述，条带处理信息包括表示是否已对图像数据应用条带抑制处理的信息；表示条带抑制处理的类型的信息；表示条带抑制处理是否应当应用于图像数据的信息；是否对图像数据应用灰度数降低处理的信息；表示灰度数降低处理之前的灰度数的信息等。
发送单元104包化并复用在编码器103生成的视频流以及其他流，诸如在未示出的音频编码器生成的音频流，并生成传输流TS。此外，发送单元104通过适于广播的调制法(诸如，QPSK/OFDM)调制传输流TS并从传输天线传输其射频调制信号。
在这一点上，发送单元104插入到一层传输流TS中，识别信息表示条带抑制处理信息是否被插入到视频流中。例如，将识别信息插入在传输流TS所包含的节目映射表(PMT)的视频基本循环(视频ES循环)下。
将简要地描述在图2中示出的发送装置100的操作。将从摄像机101输出的图像数据提供给条带抑制处理单元102。在条带抑制处理单元102中，根据量化比特数(灰度数)执行灰度数降低处理和条带抑制处理。
在这种情况下，当从摄像机101输出的图像数据是N比特图像数据且N>M时，将图像数据转化成M比特图像数据而且也在条带抑制处理单元102中应用条带抑制处理，并且输出M比特图像数据。另一方面，当从摄像机101输出的图像数据是M比特图像数据时，未在条带抑制处理单元102中执行灰度数降低处理和条带抑制处理，并且实际上输出从摄像机101输出的图像数据。
将从条带抑制处理单元102输出的图像数据提供给编码器103。在编码器103中，向从条带抑制处理单元102输出的M比特图像数据施加编码，诸如，MPEG4-AVC(MVC)、MPEG2视频、或高效率视频编码(HEVC)，并且产生编码图像数据。然后，产生包括编码图像数据的视频流(视频基本流)。在这一点上，例如，编码器103在每张图片或每个场景将条带抑制处理信息插入视频流。
将在编码器103中生成的视频流提供给发送单元104。在发送单元104中，包化并复用视频流和其他流(诸如，音频流)并产生传输流TS。在这一点上，表示条带抑制处理信息是否被插入到视频流的识别信息被插入到一层传输流TS中。此外，在发送单元104中，通过适于广播的调制法(诸如，QPSK/OFDM)调制传输流TS并从传输天线传输其射频调制信号。
[条带抑制处理信息、识别信息、以及TS配置]
如上所述，将条带抑制处理信息插入到视频流中。例如，在编码法是MPEG4-AVC或像具有类似的编码结构(诸如，NAL数据包)的HEVC的编码法的情况下，将条带抑制处理信息插入于访问单元(AU)的“SEI”部分作为SEI消息。
在这种情况下，作为图片处理SEI消息插入条带抑制处理信息。图4(a)是示出一图片组(GOP)的报头访问单元的示图，以及图4(b)是示出GOP的访问单元而不是报头访问单元的示图。与具有编码像素的片相比，在比特流上较前面的位置处编码SEI消息。因此，接收器可基于SEI的内容迅速控制图像数据的条带抑制处理。
图5(a)是示出“图片处理SEI消息”的示例性结构(语法)的示图。“uuid_iso_iec_11578”具有在“ISO/IEC 11578:1996AnnexA”中详细说明的UUID值。将“picture_processing_data()”插入到“user_data_payload_byte”的字段中。图5(b)是示出“picture_processing_data()”的示例性结构(语法)的示图。将“Picture processing_sei()”插入到该结构中。“userdata_id”是通过无符号16比特表示的“Pictureprocessing_sei()”的标识符。
图6是示出“Picture processing_sei()”的示例性结构(语法)的示图。图7是示出图6所示的的示例性结构中的主要信息的内容(语义)的示图。“tone_process_preferred”的1比特字段表示是否应对图像数据应用条带抑制处理。“1”表示应当应用条带抑制处理，即，预期通过应用条带抑制处理改进图像。“0”表示条带抑制处理不是必要的。
“levels_scaled”的1比特字段表示是否已对图像数据应用灰度数降低处理。“1”表示已应用灰度数降低处理。“0”表示还未应用灰度数降低处理。“levels_before_encoding”的2比特字段表示在灰度数降低处理之前的灰度数(比特数)。“00”表示8比特/像素。“01”表示10比特/像素。“10”表示12比特/像素。“11”表示14比特/像素。
“anti_banding_processed”的1比特字段表示是否已在传输侧上应用条带抑制处理。“1”表示已执行的条带抑制处理。“0”表示还未执行的条带抑制处理。“banding_process_type”的3比特字段表示条带抑制处理的类型。例如，“001”表示抖动法，“010”表示密度模式法，以及“011”表示误差扩散法。
此外，如上所述，识别信息表示视频流所包含的条带抑制处理信息是否插入在传输流TS的节目映射表(PMT)的视频基本循环(视频ES循环)下。
图8(a)是示出图片处理描述符(picture_processing descriptor)的示例性结构(语法)作为识别信息的示图。图8(b)是示出图8(a)所示的示例性结构中的主要信息的内容(语义)的示图。“picture_processing descriptor tag”的8比特字段表示这里表示图片处理描述符的一种类型的描述符。“picture_processing descriptor length”的8比特字段表示描述符的长度(尺寸)并表示以下字节数的数作为描述符的长度。
“picture_processing_information_existed”的1比特字段表示是否已向视频层应用图像处理。“1”表示已向视频层应用图像处理，更具体地，视频流中存在图片处理SEI消息。“0”表示还未向视频层应用图像处理，更具体地，视频流中不存在图片处理SEI消息。
图9是示出传输流TS的示例性结构的示图。在该实例中，为了简化图未示出除了视频流(视频基本流)以外的部分。在传输流TS中，包含PES数据包“PID1:video PES1”。将条带抑制处理信息作为图片处理SEI消息插入到视频流中(参考图6)。
此外，在传输流TS中，包含节目映射表(PMT)作为节目特定信息(PSI)PSI是描述包括在传输流TS所属的每个基本流属于哪个节目的信息。此外，在传输流TS中，包含事件信息表(EIT)作为服务信息(SI)以对每个事件进行控制(程序)。
在PMT中存在描述涉及整个程序的信息的程序循环。此外，在PMT中存在具有涉及每个基本流的信息的基本循环。在该示例性结构中，存在视频基本循环(视频ES循环)。在视频基本循环中，对应上述视频流定位诸如流类型和数据包标识符(PID)的信息，并且也定位描述与视频流的相关的信息的描述符。
将图片处理描述符(picture_processing descriptor)插入于PMT的视频基本循环(视频ES循环)下(参考图8(a))。如上所述，描述符表示条带抑制处理信息，也就是，图片处理SEI消息是否被插入视频流中。
同时，根据图2所示的发送装置100，提供传输摄像机101的图像数据的实例。然而，取代摄像机101的是，可能存在布置记录图像数据的存储装置的实例。在这种情况下，传输从存储器读出的图像数据。
此外，根据图2所示的发送装置100，提供也在条带抑制处理单元102中执行的灰度数降低处理的实例。然而，也可在条带抑制处理单元102的先前灰度段或随后灰度段执行灰度数降低处理。在这个意义上，可在编码器103内部执行灰度数降低处理。
此外，根据图2所示的发送装置100，提供通过随机抖动法在条带抑制处理单元102中执行条带抑制处理的实例(参考图3)。然而，根据本技术，条带抑制处理不限于随机抖动法，并且也可应用其他方法，诸如，系统抖动法和误差扩散法。
[接收装置的配置]
图10是示出接收装置200的示例性配置的示图。接收装置200包括接收单元201、解码器202、条带抑制处理单元203、显示单元204、以及控制单元205。控制单元205包括CPU(中央处理器)并控制接收装置200的相应单元。
接收单元201解调在接收天线接收的射频调制信号，并获得传输流TS。然后，接收单元201提取传输流TS包含的诸如视频流的每个流。此外，接收单元201从传输流TS提取图片处理描述符(picture_processing descriptor)(参考图8(a))，并将其传输至控制单元205。控制单元205从描述符的说明中识别条带抑制信息是否被插入于视频流中。
解码器202向在接收单元201提取的视频流应用解码处理并生成图像数据。此外，解码器202根据被插入到视频流的图片处理SEI消息提取条带抑制处理信息并将信息传输至控制单元205。
在控制单元205的控制之下，条带抑制处理单元203向从解码器202输出的图像数据应用条带抑制处理。虽然将在此省略详细说明，条带抑制处理单元203与上述发送装置100中的条带抑制处理单元102具有相同的配置。显示单元204基于从条带处理单元203输出的图像数据来显示图像。显示单元204由诸如液晶显示器(LCD)的显示器形成。
控制单元205基于条带抑制处理信息等等控制条带抑制处理单元203的操作。例如，当图像数据是应当应用条带抑制处理的并且此外还未对图像数据应用条带抑制处理的图像数据时，控制单元205控制对解码图像数据应用条带抑制处理。
在此，在已在传输侧上执行条带抑制处理的情况下，在编码之前的灰度数降低处理之前的图像数据的比特数大于编码图像数据的比特数(组成流作为“片数据”的比特数)。此外，与解码图像数据的比特数相比，编码图像数据的比特数相等或更大(这取决于解码器是否根据片数据的比特数如实地执行解码或执行简单解码)。在解码器202如实地解码视频流的情况下，编码图像数据的比特数变得等于解码图像数据的比特数。
在编码前灰度数降低处理之前的图像数据的比特数定义为第一比特数的情况下，编码图像数据的比特数是第二比特数，并且解码图像数据的比特数是第三比特数，由以下表达式(1)表示这些比特数中的关系。
第一比特数>第二比特数≥第三比特数...(1)
例如，以下面的方式在控制单元205的控制下，条带抑制处理单元203执行条带抑制处理。
(1)在编码前灰度数降低处理之前的图像数据的比特数大于编码图像数据的比特数并且未在传输侧上执行条带抑制处理的情况下，执行条带抑制处理。在这种情况下，可根据编码前灰度数降低处理之前的图像数据的比特数改变一种类型的滤波器。
(2)在编码图像数据的比特数不同于解码图像数据的比特数的情况下，解码处理可能会产生噪声。因此，为了针对噪声采取措施，已在传输侧上执行的抑制处理返回至未完成状态，并且再次执行抑制处理。
(3)在解码图像数据的比特数不同于能够显示的比特数的情况下，根据差异级别改变抑制处理的滤波器。
图11和图12是示出在控制单元205中每张图片的条带抑制处理的示例性控制程序的流程图。在步骤ST1中控制单元205开始控制处理，并且然后在步骤ST2中继续进行处理。在步骤ST2中，控制单元205确定是否应当对图像数据应用条带抑制处理。控制单元205可基于图片处理SEI消息的“tone_process_preferred”的信息进行确定。
当确定条带抑制处理没必要时，在步骤ST10中控制单元205立即继续进行处理。另一方面，当确定应当应用条带抑制处理时，在步骤ST3中，控制单元205继续进行处理。在步骤ST3中，控制单元205确定是否已应用灰度数降低处理。控制单元205可基于图片处理SEI消息的“levels_scaled”的信息做出该确定。当确定还未应用条带抑制处理时，在步骤ST10中控制单元205立即继续进行处理。
应注意，在视频流中未插入图片处理SEI消息并且未从解码器202传输SEI消息的情况下，在步骤ST10中，控制单元205也立即继续处理。在步骤ST10中，控制单元205识别可在监测器(显示单元204)上显示的灰度数。控制单元205最初存储例如监控器的功能信息并可基于功能信息执行控制。
接下来，在步骤ST11中，控制单元205继续进行处理。在步骤ST11中，控制单元205确定能够在监测器上显示的灰度数(比特数)是否不同于编码比特数(视频流中的图像数据的比特数)。在确定不存在差异的情况下，控制单元205立即继续处理至步骤ST13，并完成控制处理。在这种情况下，在条带抑制处理单元203中未执行条带抑制处理，并实际上输出输入图像数据。
另一方面，在确定存在差异的情况下，在步骤ST12中，控制单元205使条带抑制处理单元203执行条带抑制处理。在这种情况下，根据差异级别改变抑制处理的滤波器。在步骤ST12中处理之后，在步骤ST13中控制单元205继续进行处理并完成控制处理。
此外，当在步骤ST3中确定还已应用条带抑制处理时，在步骤ST4中控制单元205立即继续进行处理。在步骤ST4中，控制单元205识别在灰度数降低处理之前的灰度数。控制单元205可基于图片处理SEI消息的“levels_before_encoding”的信息进行识别。
接下来，在步骤ST5中，控制单元205确定是否已完成条带抑制处理。控制单元205可基于图片处理SEI消息的“anti_banding_processed levels_before_encoding”的信息做出该确定。
在确定还没完成条带抑制处理的情况下，在步骤ST10中，控制单元205识别能够在监测器(显示单元204)上显示的灰度数，并且然后在步骤ST11中继续进行处理。在步骤ST11中，控制单元205确定能够在监测器上显示的灰度数(比特数)是否不同于编码比特数(视频流中的图像数据的比特数)。在确定不存在差异的情况下，控制单元205立即继续处理至步骤ST13，并完成控制处理。在这种情况下，在条带抑制处理单元203中未执行条带抑制处理，并实际上输出输入图像数据。
另一方面，在确定存在差异的情况下，在步骤ST12中，控制单元205使条带抑制处理单元203执行条带抑制处理。在这种情况下，根据差异级别改变抑制处理的滤波器。此外，在这种情况下，根据在步骤ST4中识别的灰度数降低处理之前的灰度值改变该类型的滤波器。在步骤ST12中处理之后，在步骤ST13中控制单元205继续进行处理并完成控制处理。
此外，在步骤ST5中确定已完成条带抑制处理的情况下，在步骤ST6中控制单元205继续进行处理。在步骤ST6中，控制单元205识别该类型的处理。控制单元205可基于图片处理SEI消息的“banding_process_type”的信息进行识别。然后，控制单元205识别在步骤ST7中解码之后的比特数。控制单元205能够基于解码器202的信息做出该识别。
接下来，在步骤ST8中，控制单元205确定在解码之后的比特数是否不同于编码比特数。例如，在解码器202中执行简单解码的情况下，比特数是不同的。当确定没有差异时，在步骤ST10中，控制单元205识别能够在监测器(显示单元204)上显示的灰度数，并且然后在步骤ST11中继续进行处理。
在步骤ST11中，控制单元205确定能够在监测器上显示的灰度数(比特数)是否不同于编码比特数(视频流中的图像数据的比特数)。在确定不存在差异的情况下，控制单元205立即继续处理至步骤ST13，并完成控制处理。在这种情况下，在条带抑制处理单元203中未执行条带抑制处理，并实际上输出输入图像数据。
另一方面，在确定存在差异的情况下，在步骤ST12中，控制单元205使条带抑制处理单元203执行条带抑制处理。在这种情况下，根据差异级别改变抑制处理的滤波器。此外，在这种情况下，根据在步骤ST4中识别的灰度数降低处理之前的灰度值改变该类型的滤波器。而且，在这种情况下，根据在步骤ST7中识别的解码之后的比特数以及在步骤ST10中能够在监测器上显示的灰度数改变抑制处理的滤波器。在步骤ST12中处理之后，在步骤ST13中控制单元205继续进行处理并完成控制处理。
此外，当在步骤ST8中确定存在差异时，在步骤ST9中控制单元205继续进行处理。在步骤ST9中，控制单元205使条带抑制处理单元203对在传输侧上执行的条带抑制处理执行逆处理，并且状态返回至还没执行条带处理的先前状态。
接下来，在步骤ST10中，控制单元205识别能够在监测器(显示单元204)上显示的灰度数，并且然后在步骤ST11中继续进行处理。在步骤ST11中，控制单元205确定能够在监测器上显示的灰度数(比特数)是否不同于编码比特数(视频流中的图像数据的比特数)。在确定不存在差异的情况下，控制单元205立即继续处理至步骤ST13，并完成控制处理。在这种情况下，在条带抑制处理单元203中未执行条带抑制处理，并实际上输出输入图像数据。
另一方面，在确定存在差异的情况下，在步骤ST12中，控制单元205使条带抑制处理单元203执行条带抑制处理。在这种情况下，根据差异级别改变抑制处理的滤波器。此外，在这种情况下，例如，根据在步骤ST4中识别的灰度数降低处理之前的灰度值改变该类型的滤波器。而且，在这种情况下，根据在步骤ST7中识别的解码之后的比特数以及在步骤ST10中能够在监测器上显示的灰度数改变抑制处理的滤波器。在步骤ST12中处理之后，在步骤ST13中控制单元205继续进行处理并完成控制处理。
将简要地描述在图10中示出的接收装置100的操作。在接收单元201中，对在接收天线接收的射频调制信号进行解调，并且获得传输流TS。此外，在接收单元201中，提取传输流TS包含的诸如视频流的每个流。在接收单元201中提取的视频流被提供给解码器202。
此外，在接收单元201中，从传输流TS提取图片处理描述符(picture_processingdescriptor)(参考图8(a))，并传输至控制单元205。在控制单元205中，从描述符的说明中识别条带抑制信息是否被插入到视频流中。
在解码器202中，向视频流应用解码处理，并且产生图像数据。将图像数据提供给条带抑制处理单元203。此外，在解码器202中，根据被插入到视频流的图片处理SEI消息提取条带抑制处理信息并将信息传输至控制单元205。
在条带抑制处理单元203中，在控制单元205的控制之下，向从解码器202输出的图像数据应用条带抑制处理。例如，在这种情况下，当图像数据是应当应用条带抑制处理的并且此外还未对图像数据应用条带抑制处理的图像数据时，对解码图像数据应用条带抑制处理。应注意，在未应用条带抑制处理的情况下，实际上从条带抑制处理单元203输出输入图像数据。
将从条带抑制处理单元203输出的图像数据提供给显示单元204。此外，在显示单元204上显示根据图像数据的图像。
如上所述，根据图1所示的图像发送/接收系统10，将图像数据的条带抑制处理信息插入到发送装置100中的视频流中。条带抑制处理信息包括表示是否应当对图像数据应用条带抑制处理信息以及表示是否已对图像数据应用条带抑制处理信息等。因此，在接收装置200上，可基于条带抑制处理信息适当地执行条带抑制处理。
此外，根据图1所示的图像发送/接收系统10，识别信息表示被插入到视频流的条带抑制处理信息是否被插入到发送装置100的该层传输流TS中。因此，在接收装置200中，可以在没有解码视频流的情况下检测条带抑制处理信息是否被插入视频流，并且可适当地提取信息。
<2.变形例>
在上述实施方式中，应注意，提供容器是传输流(MPEG-2TS)的实例。然而，可将本技术应用于具有这种配置的系统，即，通过利用网络(诸如，因特网)执行到接收终端的传送。在互联网传播中，一般通过具有MP4格式或其他格式的容器执行传播。
图13是流传送系统10A的示例性配置。流传送系统10A是基于MPEG-DASH的流传送系统。流传送系统10A具有DASH片段流转化器11和DASH MPD服务器12通过内容分发网络(CDN)14连接到N个IPTV客户端13-1,13-2,...,13-N的配置。
DASH片段流转化器11基于预定内容(视频数据、音频数据、标题数据等)的媒体数据根据DASH规格(以下简称“DASH片段”)生成流片段并响应于IPTV客户端的请求传输片段。DASH片段流转化器11是网络服务器。
此外，DASH片段流转化器11向请求器传输流的片段，也就是，响应于通过CDN14从IPTV客户端13(13-1,13-2,...,13-N)传输的预定流的片段的请求通过CDN 14的IPTV客户端13。在这种情况下，IPTV客户端13是指在媒体呈现描述(MPD)文件中所描述的速率值，并根据设置客户端的网络环境的状态选择具有最合适的速率的流。
DASH MPD服务器12是被配置为生成MPD文件以获得在DASH片段流转化器11中生成的DASH片段的服务器。基于来自内容管理服务器(在图13中未示出)的内容元数据和在DASH片段流转化器11中生成的片段的地址(url)生成MPD文件。
在MPD格式中，使用被称为表现(Representation)的元素描述视频、音频等的各个流的相应性能。例如，在MPD文件中，表现形成为除以不同速率的多个视频数据流，并且在各个表现中描述相应速率。IPTV客户端13是指速率值，并可根据如上所述配置IPTV客户端13的网络环境的状态选择最合适的流。
MPD文件具有如图14所示的分层结构。在MPD文件中，以XML格式分层描述DASH片段流转化器11中所存储的语言和图像尺寸。MPD文件逐级包括结构，诸如，时段(Period)、自适应设置(AdaptationSet)、表现(Representation)、片段信息(SegmentInfo)、初始化片段(Initialization Segment)、以及媒体片段(Media Segment)。
时段结构具有程序的信息(一对同步数据，诸如，移动图像和声音)。此外，时段结构所包含的自适应设置结构对流选择范围进行分组(表现组)。此外，自适应设置结构所包含的表现结构具有诸如移动图像的编码率和声音以及移动图像的声音大小的信息。
此外，表现结构所包含的片段信息结构具有与移动图像和声音的片段相关的信息。此外，片段信息结构所包含的初始化片段结构具有初始化信息，诸如，数据压缩方法。此外，片段信息结构所包含的媒体片段结构具有诸如获得移动图像和声音的片段的地址的信息。
图15是示出通过在时间轴中设置结构MPD文件包含的相应结构的实例的示图。在该实例中，MPD文件包括两个时段，并且各个时段包括两个片段。此外，在该实例中，每个时段包括两个自适应设置，并且每个自适应设置包括与具有不同流特性和相同内容的流有关的两个表现。
图16是示出在MPD文件中分层布置的相应结构之间的示例性关系的示图。如图16(a)所示，存在在媒体呈现中时间间隔所除的多个时段作为整个MPD文件。例如，从零秒开始第一时段，并且从100秒开始下一时段。
如图16(b)所示，时段中存在多个表现。在多个表现中，存在在上述自适应设置处形成的并与具有相同内容和不同流特性(诸如，速率)的视频数据流相关联的表现组。
如图16(c)所示，表现中包含片段信息。在片段信息中，如图16(d)所示，存在初始化片段和多个媒体片段，其中描述了通过将时段进一步分成小块形成的各个片段的信息。在媒体片段中，存在实际上获得片段数据(诸如，视频和音频)的地址(url)的信息。
应注意，流可在自适应设置处形成的多个表现组中自由转换。利用该配置，可根据设置IPTV客户端的网络环境的状态选择具有最合适的速率的流，并且能够传送无缝移动图像。
图17是示出时段、表现、以及片段之间的示例性关系的示图。在该实例中，MPD文件包括两个时段，并且时段中的每一个包括两个片段。此外，在该实例中，每个时段包括与相同媒体内容相关的多个表现。
图18是示出根据内容生成DASH片段和DASH MPD文件的示例性流程的示图。从内容管理服务器15向DASH片段流转化器11传输内容。DASH片段流转化器11基于组成内容的视频数据、音频数据等生成各个数据流的DASH片段。
此外，DASH片段流转化器11向DASH MPD服务器12传输每个数据流的生成DASH片段的地址(url)的信息。内容管理服务器15向DASH MPD服务器12传输内容的元数据。DASH MPD服务器12基于每个数据流的DASH片段的地址信息和内容的元数据生成DASH MPD文件。
图19是示出IPTV客户端13(13-1至13-N)的示例性配置的示图。IPTV客户端13包括流数据控制单元131、HTTP访问单元132、以及移动图像再现单元133。流数据控制单元131从DASH MPD服务器12获得MPD文件并分析其内容。
HTTP访问单元132从DASH片段流转化器11要求用于再现移动图像的声音和移动图像的片段。在这一点上，考虑到IPTV客户端13的屏幕尺寸、传输路径的状态等，选择具有最合适的图像尺寸和编码率的流。例如，在初始灰度段，对具有慢编码率的流的片段进行请求，并且在通信状态良好的情况下，将请求切换到具有高编码率的流的片段。
HTTP访问单元132向移动图像再现单元133传输所接收的移动图像和声音。移动图像再现单元133向从HTTP访问单元132传输的每个片段应用解码处理以获得一个移动图像的内容并再现移动图像和声音。应注意，通过软件执行IPTV客户端13的相应单元的处理。
图20是示出基于DASH的流传送系统的一般系统的框图。通过内容传送网(CDN)14传送所有的DASH MPD文件和DASH片段。CDN14具有在网络形成中设置多个缓存服务器(DASH缓存服务器)的配置。
缓存服务器接收HTTP请求以便从IPTV客户端13获得MPD文件。当本地MPD缓存中存在MPD文件时，缓存服务器将其返回至IPTV客户端13作为HTTP响应。此外，当本地MPD缓存中不存在文件时，缓存服务器向DASH MPD服务器12或主机缓存服务器转移请求。此外，缓存服务器接收存储MPD文件的HTTP响应，并将其转移到IPTV客户端13，并进一步执行缓存处理。
此外，缓存服务器从IPTV客户端13接收获得DASH片段的请求。当片段在本地片段缓存时，缓存服务器将片段返回至IPTV客户端13作为HTTP响应。此外，当本地片段缓存中不存在DASH片段时，缓存服务器将请求返回至DASH片段流转化器11或主机缓存服务器。然后，缓存服务器接收存储DASH片段的HTTP响应，并将其转移到IPTV客户端13，并进一步执行缓存处理。
在CDN14中，暂时在位于路由器处的缓存服务器缓存被传送到已首先发布HTTP请求的IPTV客户端13-1的DASH片段，并且响应于从另一后续IPTV客户端13-2的HTTP请求传送缓存DASH片段。因此，能够提高HTTP流相对于大量IPTV客户端的传送效率。
CDN 14包括除了多个缓存服务器以外预定数量的缓存控制服务器。缓存控制服务器基于与MPD文件所包含的各个视频数据流的DASH片段的缓存相关的索引创建缓存控制策略并将策略传送至缓存服务器中的每一个。缓存服务器中的每一个基于缓存控制策略对每个视频数据流的DASH片段执行缓存处理。
图21是示出碎片MP4流的示例性配置的示图。视频的碎片MP4流包括通过包化视频流获得的碎片MP4。将视频流的预定图片部分插入到碎片MP4的“mdat”部分。以与上述实施方式相同的方法在每张图片中将图片处理SEI消息插入到视频流中。这时，将条带抑制处理信息传输到是接收装置的IPTV客户端13。此外，与上述实施方式相同，可基于条带抑制处理信息在IPTV客户端13控制条带抑制处理。
同时，除了将图片处理SEI(条带抑制处理信息)插入如上所述的视频流的情况下以外，可由MPD文件传输图片处理SEI。在这种情况下，通过自适应设置重新赋予ID，并且由新的表现与视频流一起仅限定图片处理SEI。此外，可能存在事实上DASH发送传输流TS的情况。在这种情况下，事实上传输插入有图片处理描述符(picture_processing descriptor)的传输流TS。
此外，根据上述实施方式，将本技术应用至图像数据的发送/接收系统的实例，但不用说，本技术适用于音频数据的发送/接收系统。在这种情况下，在传输侧上，量化的噪声抑制处理信息(相当于以上实施方式中的条带抑制处理信息)将会以预定时间单位插入到音频流中。此外，在接收侧上，基于从传输侧传输的量化噪声抑制处理信息执行量化的噪声抑制处理。
此外，本技术可具有以下配置。
(1)发送装置包括：发送单元，被配置为发送具有预定格式并包括包含编码图像数据的视频流的容器；以及信息插入单元，被配置为将与图像数据的条带抑制处理相关的信息插入到视频流中。
(2)根据(1)所述的发送装置，其中，与条带抑制处理相关的信息包括表示是否已对图像数据应用条带抑制处理的信息。
(3)根据(2)所述的发送装置，其中，与条带抑制处理相关的信息包括表示应用于图像数据的条带抑制处理的类型的信息。
(4)根据(1)至(3)中任一项所述的发送装置，其中，与条带抑制处理相关的信息包括表示是应对图像数据应用条带抑制处理的信息。
(5)根据(1)至(4)中任一项所述的发送装置，其中，与条带抑制处理相关的信息包括表示是已对图像数据应用灰度数降低处理的信息。
(6)根据(5)所述的发送装置，其中，与条带抑制处理相关的信息包括表示灰度数降低处理之前的灰度数的信息。
(7)根据(1)至(6)中任一项所述的发送装置，其中，信息插入单元在每张图片或每个场景将与条带抑制处理相关的信息插入视频流。
(8)根据(1)至(7)中任一项所述的发送装置，进一步包括识别信息插入单元，所述识别信息插入单元被配置为将识别信息插入到容器的一层中，识别信息表示与条带抑制处理相关的信息是否被插入到视频流中。
(9)根据(8)所述的发送装置，其中，容器是传输流，并且识别信息插入单元将识别信息插入在包含在传输流内的节目映射表的视频基本循环下。
(10)根据(1)至(9)中任一项所述的发送装置，其中，所述发送单元响应于来自接收侧的请求发送具有预定格式的容器。
(11)一种传输方法，包括：传输具有预定格式并包括包含编码图像数据的视频流的容器；以及将与图像数据的条带抑制处理相关的信息插入到视频流中。
(12)一种接收装置，包括：接收单元，被配置为接收具有预定格式并包含视频流的容器，视频流包含编码图像数据并被插入有与图像数据的条带抑制处理相关的信息；解码单元，被配置为解码视频流并获得图像数据；处理单元，被配置为将条带抑制处理应用到解码图像数据；以及控制单元，被配置为基于被插入到视频流中的与条带抑制处理相关的信息控制处理单元。
(13)根据(12)所述的接收装置，其中，与条带抑制处理相关的信息包括是否应对图像数据应用条带抑制处理的信息以及是否已对图像数据应用条带抑制处理的信息，并且当图像数据是应当应用条带抑制处理并此外还未对图像数据应用条带抑制处理的图像数据时控制单元控制要应用于解码图像数据的条带抑制处理。
(14)一种接收方法，包括：接收具有预定格式并包含视频流的容器，视频流包括编码图像数据并被插入有与图像数据的条带抑制处理相关的信息；解码视频流以获得图像数据；以及基于被插入到视频流中的与条带抑制处理相关的信息对解码图像数据应用条带抑制处理。
(15)一种接收装置，包括：接收单元，被配置为接收具有预定格式并包括包含编码图像数据的视频流的容器；解码单元，被配置为解码视频流并获得图像数据；处理单元，被配置为对解码图像数据应用条带抑制处理；以及控制单元，被配置为控制处理单元，使得当能够在显示单元上显示的灰度数被配置为基于与视频流中的图像数据的比特数不同的解码图像数据显示图像时对解码图像数据应用条带抑制处理。
本技术的主要特征是通过将条带抑制处理信息插入到视频流中能够在接收侧上适当执行条带抑制处理，条带抑制处理信息(图片处理SEI消息)包括表示是否应当对图像数据应用条带抑制处理的信息，表示是否对图像数据应用条带抑制处理的信息等等(参考图9)。此外，本技术的主要特征是当能够在显示单元上显示的灰度数被配置为基于与视频流中的图像数据的比特数不同的解码图像数据显示图像时，通过对解码图像数据应用条带抑制处理在接收侧上适当执行条带抑制处理(参考图12)。
参考标记列表
10 图像发送/接收系统
10A 流传送系统
11 DASH片段流转化器
12 DASH MPD服务器
13,13-1至13-N IPTV客户端
14 CDN
15 内容管理服务器
61、71、73 运算单元
62 超通滤波器
63 随机噪声输出单元
64、75 系数设置单元
72 量化单元
74 主滤波器
100 发送装置
101 摄像机
102 条带抑制处理单元
103 编码器
131 流数据控制单元
132 HTTP访问单元
133 移动图像再现单元
104 发送单元
200 接收装置
201 接收单元
202 解码器
203 条带抑制处理单元
204 显示单元
205 控制单元

Claims (18)

1.一种发送装置，包括：
发送单元，被配置为发送具有预定格式并包括视频流的容器，所述视频流包括编码的图像数据；以及
信息插入单元，被配置为将与用于所述图像数据的条带抑制处理相关的信息插入到所述视频流中，其中，与所述条带抑制处理相关的信息包括表示是否应当对所述图像数据实施条带抑制处理的信息，并且其中，
所述条带抑制处理是基于插入到所述视频流中的与所述条带抑制处理相关的信息应用到所述图像数据的。
2.根据权利要求1所述的发送装置，其中，与所述条带抑制处理相关的信息包括表示是否已对所述图像数据实施条带抑制处理的信息。
3.根据权利要求1或2所述的发送装置，其中，与所述条带抑制处理相关的信息包括表示实施于所述图像数据的条带抑制处理的类型的信息。
4.根据权利要求1或2所述的发送装置，其中，与所述条带抑制处理相关的信息包括表示是否已对图像数据实施灰度数降低处理的信息。
5.根据权利要求4所述的发送装置，其中，与所述条带抑制处理相关的信息包括表示所述灰度数降低处理之前的灰度数的信息。
6.根据权利要求1或2所述的发送装置，其中，所述信息插入单元以图片或场景为单位将与所述条带抑制处理相关的信息插入到所述视频流中。
7.根据权利要求1或2所述的发送装置，进一步包括识别信息插入单元，所述识别信息插入单元被配置为将识别信息插入到所述容器的一层中，所述识别信息表示与所述条带抑制处理相关的信息是否已被插入到所述视频流中。
8.根据权利要求7所述的发送装置，其中，所述容器是传输流，并且所述识别信息插入单元将所述识别信息插入在包含于所述传输流内的节目映射表的视频基本循环的控制下。
9.根据权利要求1或2所述的发送装置，其中，所述发送单元响应于来自接收侧的请求发送具有所述预定格式的容器。
10.根据权利要求1所述的发送装置，其中，与所述条带抑制处理相关的信息包括表示实施于所述图像数据的条带抑制处理的类型的信息。
11.一种发送方法，包括：
发送具有预定格式并包括视频流的容器，所述视频流包括编码的图像数据；以及
将与用于所述图像数据的条带抑制处理相关的信息插入到所述视频流中，其中，与所述条带抑制处理相关的信息包括表示是否应当对所述图像数据实施条带抑制处理的信息，并且其中，
所述条带抑制处理是基于插入到所述视频流中的与所述条带抑制处理相关的信息应用到所述图像数据的。
12.一种接收装置，包括：
接收单元，被配置为接收具有预定格式并包括视频流的容器，所述视频流包括编码的图像数据并被插入有与用于图像数据的条带抑制处理相关的信息，其中，与所述条带抑制处理相关的信息包括表示是否应当对所述图像数据实施条带抑制处理的信息；
解码单元，被配置为解码所述视频流并获得图像数据；
处理单元，被配置为对所述解码后的图像数据实施条带抑制处理；以及
控制单元，被配置为基于插入到所述视频流中的与条带抑制处理相关的信息控制所述处理单元。
13.根据权利要求12所述的接收装置，其中，
与所述条带抑制处理相关的信息包括表示是否应当对所述图像数据实施条带抑制处理的信息以及表示是否已对所述图像数据实施条带抑制处理的信息；以及
当所述图像数据是应当实施条带抑制处理的图像数据并且还未对所述图像数据实施条带抑制处理的图像数据时，所述控制单元进行控制以对所述解码后的图像数据实施条带抑制处理。
14.根据权利要求12或13所述的接收装置，还包括显示器。
15.一种接收方法，包括：
接收具有预定格式并包括视频流的容器，所述视频流包括编码的图像数据并被插入有与用于图像数据的条带抑制处理相关的信息，其中，与所述条带抑制处理相关的信息包括表示是否应当对所述图像数据实施条带抑制处理的信息；
解码所述视频流并获得图像数据；以及
基于插入到所述视频流中的与条带抑制处理相关的信息对所述解码后的图像数据实施条带抑制处理。
16.一种接收装置，包括：
接收单元，被配置为接收具有预定格式并包括视频流的容器，所述视频流包括编码的图像数据；
解码单元，被配置为解码所述视频流并获得图像数据；
处理单元，被配置为对所述解码后的图像数据实施条带抑制处理；以及
控制单元，被配置为控制所述处理单元，使得当能够在被配置为基于所解码的图像数据显示图像的显示单元上显示的灰度数与所述视频流中的图像数据的比特数不同时，对所解码的图像数据应用条带抑制处理。
17.根据权利要求16所述的接收装置，还包括所述显示单元。
18.一种接收方法，包括：
接收具有预定格式并包括视频流的容器，所述视频流包括编码的图像数据；
解码所述视频流并获得图像数据；以及
对所述解码后的图像数据实施条带抑制处理，使得当能够在被配置为基于所解码的图像数据显示图像的显示单元上显示的灰度数与所述视频流中的图像数据的比特数不同时，对所解码的图像数据应用条带抑制处理。
CN201380063894.2A 2012-12-13 2013-12-04 发送装置、传输方法、接收装置以及接收方法 Expired - Fee Related CN104854872B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012271888 2012-12-13
JP2012-271888 2012-12-13
PCT/JP2013/082579 WO2014091984A1 (ja) 2012-12-13 2013-12-04 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
CN104854872A CN104854872A (zh) 2015-08-19
CN104854872B true CN104854872B (zh) 2018-07-20

Family

ID=50934276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380063894.2A Expired - Fee Related CN104854872B (zh) 2012-12-13 2013-12-04 发送装置、传输方法、接收装置以及接收方法

Country Status (9)

Country Link
US (1) US9979985B2 (zh)
EP (1) EP2934014A4 (zh)
JP (1) JP6305934B2 (zh)
KR (1) KR20150094619A (zh)
CN (1) CN104854872B (zh)
BR (1) BR112015013203A2 (zh)
RU (1) RU2651241C2 (zh)
SG (1) SG11201504459QA (zh)
WO (1) WO2014091984A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5641090B2 (ja) 2013-03-14 2014-12-17 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN111901599A (zh) 2014-06-27 2020-11-06 松下知识产权经营株式会社 再现装置
US10136148B2 (en) 2015-05-18 2018-11-20 Telefonaktiebolaget Lm Ericsson (Publ) Methods, receiving device and sending device for managing a picture
CN108174164A (zh) * 2018-01-16 2018-06-15 北京三体云联科技有限公司 一种实时视频处理方法及装置
US10805658B2 (en) * 2018-09-12 2020-10-13 Roku, Inc. Adaptive switching in a whole home entertainment system

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2139700T3 (es) 1993-11-19 2000-02-16 Canon Kk Aparato para la impresion.
JP3554034B2 (ja) 1994-09-02 2004-08-11 キヤノン株式会社 カラー印刷装置及びその方法
DE602004032367D1 (de) 2003-09-23 2011-06-01 Thomson Licensing Video-komfortgeräusch-zusatztechnik
US7627033B2 (en) * 2004-11-15 2009-12-01 Microsoft Corporation Video rate control
EP1869891A4 (en) * 2005-04-13 2014-06-11 CODING, STORAGE AND SIGNALING OF SCALABILITY INFORMATION
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
US8194997B2 (en) * 2006-03-24 2012-06-05 Sharp Laboratories Of America, Inc. Methods and systems for tone mapping messaging
JP2010514315A (ja) * 2006-12-19 2010-04-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像信号を符号化するための方法及びシステム、符号化された画像信号、画像信号を復号化するための方法及びシステム
KR101394766B1 (ko) * 2007-01-16 2014-05-16 톰슨 라이센싱 이미지에서 아티팩트를 감소시키는 시스템 및 방법
US8432968B2 (en) * 2007-10-15 2013-04-30 Qualcomm Incorporated Scalable video coding techniques for scalable bitdepths
CN101822055B (zh) * 2007-10-15 2013-03-13 汤姆森许可贸易公司 可缩放视频的层间残差预测的方法和设备
WO2009051690A1 (en) * 2007-10-16 2009-04-23 Thomson Licensing Methods and apparatus for artifact removal for bit depth scalability
US8750390B2 (en) 2008-01-10 2014-06-10 Microsoft Corporation Filtering and dithering as pre-processing before encoding
JP5206276B2 (ja) 2008-02-01 2013-06-12 ソニー株式会社 階調変換装置、階調変換方法、及び、プログラム
EP2311007B1 (en) * 2008-08-08 2016-12-28 Thomson Licensing Method and apparatus for banding artifact detection
JP5317878B2 (ja) * 2009-07-30 2013-10-16 キヤノン株式会社 画像形成装置
JP5281624B2 (ja) * 2010-09-29 2013-09-04 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置およびそれらのプログラム
JP2012151562A (ja) * 2011-01-17 2012-08-09 Hitachi Kokusai Electric Inc 映像処理方法
MX344258B (es) 2011-02-25 2016-12-09 Panasonic Ip Corp America Decisiones eficientes para desbloqueo.

Also Published As

Publication number Publication date
EP2934014A4 (en) 2016-07-13
JPWO2014091984A1 (ja) 2017-01-12
RU2015121698A (ru) 2016-12-27
WO2014091984A1 (ja) 2014-06-19
RU2651241C2 (ru) 2018-04-18
JP6305934B2 (ja) 2018-04-04
US9979985B2 (en) 2018-05-22
EP2934014A1 (en) 2015-10-21
KR20150094619A (ko) 2015-08-19
US20150281740A1 (en) 2015-10-01
CN104854872A (zh) 2015-08-19
BR112015013203A2 (pt) 2017-07-11
SG11201504459QA (en) 2015-07-30

Similar Documents

Publication Publication Date Title
US8818021B2 (en) Watermarking of digital video
US10389784B2 (en) Method and device for generating a description file, and corresponding streaming method
EP2946566B1 (en) Method, device, and computer program for encapsulating partitioned timed media data
CN104854872B (zh) 发送装置、传输方法、接收装置以及接收方法
EP2754302B1 (en) Network streaming of coded video data
KR101620151B1 (ko) 클라이언트와, 콘텐트 생성기 엔티티 및 미디어 스트리밍을 위한 이들의 방법
US9292897B2 (en) Watermarking of images
US8055974B2 (en) Content distribution method, encoding method, reception/reproduction method and apparatus, and program
CN108886639A (zh) 视频流传输中的场景部分和感兴趣区域处理
CN109792545A (zh) 观众重要性自适应比特率传送
CN110099288A (zh) 处理连续的多周期内容
CN107005700B (zh) 用于组成中间视频表示的方法
JP6930419B2 (ja) 画像処理装置、画像処理方法、受信装置および送信装置
WO2011075548A1 (en) Carriage systems encoding or decoding jpeg 2000 video
US10291677B2 (en) Method of adaptive downloading of digital contents for several screens
JP5734699B2 (ja) 配信映像の超解像化装置
US20240080487A1 (en) Method, apparatus for processing media data, computer device and storage medium
CN106157213B (zh) 一种医疗视频影像直播方法
CN116636224A (zh) 可替代联网应用程序服务的系统和方法
Biatek et al. Versatile video coding for 3.0 next generation digital TV in Brazil
JP2007324722A (ja) 動画像データ配信装置及び動画像データ通信システム
KR101760760B1 (ko) 움직임 벡터를 전송하는 방법 및 동영상 전송 서버, 그리고 동영상 재생 방법 및 디바이스
JP2024515091A (ja) メディアファイル処理方法及びその装置
CN117223290A (zh) 用于基于eos样本组生成/接收媒体文件的方法和设备以及用于发送媒体文件的方法
WO2009095082A1 (en) Method and apparatus for distributing media over a communications network

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180720

Termination date: 20201204