CN103220513A - 图像处理设备和方法 - Google Patents
图像处理设备和方法 Download PDFInfo
- Publication number
- CN103220513A CN103220513A CN2013100122574A CN201310012257A CN103220513A CN 103220513 A CN103220513 A CN 103220513A CN 2013100122574 A CN2013100122574 A CN 2013100122574A CN 201310012257 A CN201310012257 A CN 201310012257A CN 103220513 A CN103220513 A CN 103220513A
- Authority
- CN
- China
- Prior art keywords
- image
- coding
- unit
- field
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本公开提供一种图像处理设备和图像处理方法。图像处理设备包括:接收器,用于接收编码流和针对每个序列发送的、指示是否进行场编码的场编码标志;以及解码器,用于通过根据接收器接收的场编码标志将所述接收器接收的编码流解码,来产生图像。
Description
技术领域
本公开涉及图像处理设备和方法,尤其涉及配置为在输入是交错信号的情况下能够实现有效编码或解码的图像处理设备和方法。
背景技术
近年来,如下这样的设备剧增:通过数字方式处理图像信息并且在这样做时压缩图像以有效地传递和存储信息。这种设备通过执行使用专用于图像信息的冗余的编码格式来压缩图像,通过正交变换(例如离散余弦变换)以及通过运动补偿来压缩信息。这种编码格式例如包括运动图像专家组(MPEG)的编码格式。
特别地,将MPEG-2(ISO/IEC 13818-2)定义为通用图像编码格式,并且是包括隔行扫描图像和逐行扫描图像两者以及标准清晰度图像和高清晰度图像的标准。例如,MPEG-2目前广泛用于专业用途和消费者用途的宽范围应用。通过使用MPEG-2压缩格式,如果给定例如具有720×480像素的标准清晰度隔行扫描图像,则分配从4Mbps到8Mbps的比特率。此外,通过使用MPEG-2压缩格式,如果给定例如具有1920×1088像素的高清晰度隔行扫描图像,则分配从18 Mbps到22 Mbps的比特率。因此,可以实现高压缩率和良好的图像质量。
虽然MPEG-2的主要目标是适合于广播的高图像质量编码,但是它与比特率低于MPEG-1(或者换言之,高压缩率)的编码格式不兼容,。由于移动装置的剧增,相信将来对这种编码格式的需求会增加,并且作为响应,已经将MPEG-4编码格式标准化。1998年12月,MPEG-4作为ISO/IEC 14496-2被指定为图像编码的国际标准。
作为标准化方案的一部分,在2003年3月,H.264和MPEG-4 Part 10(高级视频编码,下面缩写为AVC)被国际标准化。
此外,作为AVC格式的扩展,在2005年2月完成了FRExt(保真度范围扩展)的标准化。FRExt包括用于商业用途的编码工具,例如RGB,4:2:2和4:4:4,以及8×8DCT和MPEG-2中定义的量化矩阵。结果,AVC格式可用于能够良好表达的图像编码(即使电影中包括胶片噪声),这使得它用于宽范围的应用中(例如蓝光盘(商标))。
但是,对于以更高压缩率编码的需求正在不断增长,例如对于压缩具有大约4000×4000像素的图像(四倍于高清晰度图像)的需求,或者对于在传输能力有限的环境下(例如互联网)传送高清晰度图像的需求。因此,正在进行关于通过ITU-T的视频编码专家组(VCEG)来提高编码效率的研究。
同时,已经关注到,设置为16×16像素的宏块尺寸对于诸如超高清晰度(UHD)(4000×2000像素)的大图像尺寸不一定最佳,其中UHD将是下一代编码格式的目标。
因此,通过联合协作小组-视频编码(JCTVC)(ITU-T与ISO/IEC之间的联合标准组)的努力,称为高效视频编码(HEVC)的编码格式的标准化正在进展中,目的是进一步提高通过AVC的编码效率。(例如,参见Joel Jung,Guillaume Laroche,“Competition-Based Scheme for MotionVector Selection and Coding”,VCEG-AC06,ITU-电信标准化部门STUDY GROUP 16 Question6视频编码专家组(VCEG)第29次会议:Klagenfurt,奥地利,2006年7月17-18)
通过HEVC编码格式,将编码单位(CU)定义为类似于AVC格式中的宏块的处理单位。CU不像AVC格式中一样固定于16×16像素的尺寸,而是在各个序列中的图像压缩信息中指定。此外,还在各个序列中规定最大CU(最大编码单位或LCU)和最小CU(最小编码单位或SCU)的尺寸。
CU被分为预测单位(PU),PU是用作帧内预测或帧间预测期间的处理单位的区域(即,针对单个图片的图像的部分区域),并进一步分为变换单位(TU),TU是用作正交变换过程中的处理单位的区域(即,用于单个图片的图像的部分区域)。
通过帧间PU,可以将2N×2N尺寸的单个CU分为2N×2N、2N×N、N×2N或N×N尺寸。
同时,通过AVC格式,在输入图像是交错信号(interlaced signal)的情况下,在可以在以图片或宏块对为单位的帧编码与场编码之间选择。在交错信号中,帧和宏块由具有不同奇偶性(顶和底)的交替场组成,称为顶场和底场。
场编码是将顶场和底场分别编码的方法,而帧编码是不将帧分为顶场和底场的编码方法。
此外,在通过AVC格式进行场编码的情况下,当被处理的场不同于参考场时,用于色度信号的运动矢量的垂直分量被移位。
发明内容
可以预期,与交错信号相关的上述功能也被应用于HEVC。但是,在输入是交错信号的情况下,如果选择是进行以宏块对为单位的场编码还是进行帧编码的处理被应用于HEVC中定义的处理单位CU,则处理可能变得更复杂。
在这种情况下,在输入是交错信号的情况下实现有效的编码或解码是期望的。
根据本公开实施例的图像处理设备包括:接收器,用于接收编码流和针对每个序列发送的、指示是否进行场编码的场编码标志;以及解码器,用于通过根据所述接收器接收的所述场编码标志将所述接收器接收的编码流解码,来产生图像。
也可以配置为使得接收器接收奇偶标志,奇偶标志指示各个场的奇偶性并且针对每个图片发送,并且在所述接收器接收的场编码标志指示进行场编码的情况下,解码器通过根据所述接收器接收的奇偶标志将接收器接收的编码流解码,来产生图像。
可以在序列参数集中设置场编码标志。
可以在适应参数集中设置奇偶标志。
也可以配置为使得接收器接收用于作为交错信号显示的指令信息,指令信息在补充增强信息消息中被设置和发送,以及在接收器接收的场编码标志指示进行帧编码的情况下,解码器通过根据接收器接收的指令信息将所述接收器接收的编码流解码,来产生图像,并将产生的图像作为交错信号输出。
根据本公开实施例的图像处理方法包括:接收编码流和针对每个序列发送的、指示是否进行场编码的场编码标志;以及通过根据接收的场编码标志将接收的编码流解码,来产生图像。
根据本公开另一实施例的图像处理设备包括:编码器,用于根据是否要对图像进行场编码,将图像编码,并产生编码流;设置单元,用于针对每个序列,设置指示是否对图像进行场编码的场编码标志;以及发送器,用于发送由编码器产生的编码流以及由设置单元针对每个序列设置的场编码标志。
也可以配置为使得设定单元在要对图像进行场编码的情况下,针对每个图片设置指示各个场的奇偶性的奇偶标志,以及发送器发送由设置单元针对每个图片设置的奇偶标志。
设置单元可以在序列参数集中设置场编码标志。
设置单元在适应参数集中设置奇偶标志。
也可以配置为使得在要要对图像进行帧编码但是该图像显示为交错信号的情况下,设置单元在补充增强信息消息中设置用于作为交错信号显示的指令信息。
根据本公开另一实施例的图像处理方法包括:根据是否要对图像进行场编码,将图像编码,并产生编码流;针对每个序列设置指示是否对所述图像进行场编码的场编码标志;以及发送产生的编码流和针对每个序列设置的场编码标志。
根据本公开的实施例,接收编码流以及针对每个序列发送的指示、是否进行场编码的场编码标志,并通过根据接收到的场编码标志将接收到的编码流解码,来产生图像。
根据本公开另一实施例,根据是否要对图像进行场编码将图像编码,并产生编码流。然后针对每个序列设置指示是否进行场编码的场编码标志,并发送产生的编码流以及针对每个序列设置的场编码标志。
注意,上述图像处理设备可以是独立设备、或者构成单个图像编码设备或图像解码设备的内部块。
根据本公开的实施例,可将图像解码。特别地,在输入是交错信号的情况下,可以提高解码效率。
根据本公开另一实施例,可将图像编码。特别地,在输入是交错信号的情况下,可以提高编码效率。
附图说明
图1是示出图像编码设备的示例性基本构造的方框图;
图2示出编码单位的示例性结构;
图3示出以图片为单位将交错信号编码的示例;
图4示出以宏块对为单位中将交错信号编码的示例;
图5示出用于AVC格式中的序列参数集的语法示例;
图6示出用于AVC格式中的序列参数集的语法示例;
图7示出用于AVC格式中的条带头(slice header)的语法示例;
图8示出用于AVC格式中的条带头的语法示例;
图9示出用于AVC格式中的条带数据的语法示例;
图10示出运动矢量移位的示例;
图11示出运动矢量移位的示例;
图12示出根据本技术实施例的语法示例;
图13示出根据本技术实施例的语法示例;
图14是示出交错参数编码器和无损编码器的示例性基本构造的方框图;
图15是示出编码处理的示例性流程的流程图;
图16是示出VCL中编码处理的示例性流程的流程图;
图17是示出帧间预测处理的示例性流程的流程图;
图18是示出图像解码设备的示例性基本构造的方框图;
图19是示出交错参数接收器和无损解码器的示例性基本构造的方框图;
图20是示出解码处理的示例性流程的流程图;
图21是示出VCL中解码处理的示例性流程的流程图;
图22是示出计算机的示例性基本构造的方框图;
图23是示出电视机的示意性构造的示例的方框图;
图24是示出移动电话的示意性构造的示例的方框图;
图25是示出记录和重放设备的示意性构造的示例的方框图;以及
图26是示出成像设备的示意性构造的示例的方框图。
具体实施方式
根据本发明的实施例,提供一种图像处理设备,包括:接收器,用于接收编码流和针对每个序列发送的、指示是否进行场编码的场编码标志;以及解码器,用于通过根据所述接收器接收的场编码标志将接收器接收的编码流解码,来产生图像。
根据本发明的实施例,提供一种图像处理方法,包括:接收编码流和针对每个序列发送的、指示是否进行场编码的场编码标志;以及通过根据接收的场编码标志将接收的编码流解码,来产生图像。
根据本发明的实施例,提供一种图像处理设备,包括:编码器,用于根据是否要对图像进行场编码,将所述图像编码,并产生编码流;设置单元,用于针对每个序列,设置指示是否对所述图像进行场编码的场编码标志;以及发送器,用于发送由所述编码器产生的所述编码流以及由所述设置单元针对每个序列设置的所述场编码标志。
根据本发明的实施例,提供一种图像处理方法,包括:根据是否要对图像进行场编码,将所述图像编码,并产生编码流;针对每个序列设置指示是否对所述图像进行场编码的场编码标志;以及发送产生的编码流和针对每个序列设置的所述场编码标志。
下面,描述实现本公开的实施例(下面指定的实施例)。按照以下顺序进行描述。
1.第一实施例(图像编码设备)
2.第二实施例(图像解码设备)
3.第三实施例(计算机)
4.示例性应用
1.第一实施例
图像编码设备
图1是示出图像编码设备的示例性基本构造的方框图。
图1所示图像编码设备100例如通过在符合高效视频编码(HEVC)的格式中使用预测处理来将图像数据编码。
如图1所示,图像编码设备100包括A/D转换器101、帧分类缓冲器102、算术单元103、正交变换单元104、量化器105、无损编码器106、累积缓冲器107、逆量化器108以及逆正交变换单元109。此外,图像编码设备100包括算术单元110、去块滤波器111、帧存储器112、选择器113、帧内预测单元114、运动预测/补偿单元115、预测图像选择器116以及速率控制器117。
图像编码设备100另外还包括交错参数编码器(interlace parameterencoder)121和运动矢量移位器122。
A/D转换器101对输入图像数据进行A/D转换,并将转换后的图像数据(数字数据)提供给帧分类缓冲器102用于存储。
这里假定在图像编码设备100中输入和输出是通过交错信号来处理的。通过交错信号,两个场构成单个帧,在空间上较高的场称为顶场,而在空间上较低的场称为底场。给定场的特定类型(顶或底)称为它的奇偶性。
此外,在图像编码设备100中,在输入图像是交错信号的情况下,可以设置是进行场编码还是帧编码。在输入图像是交错信号的情况下,经由用户输入单元或者其他装置(图中未示出)将指示是否进行场编码的场编码信息输入帧分类缓冲器102。
基于场编码信息,帧分类缓冲器102按照存储的显示顺序提取帧的图像并根据图片组(GOP)将它们按照编码的帧顺序重新分类。然后帧分类缓冲器102按照重新分类的帧顺序将图像提供给算术单元103。帧分类缓冲器102还按照重新分类的帧顺序将图像提供给帧内预测单元114和运动预测/补偿单元115。
此外,帧分类缓冲器102将场编码信息提供给交错参数编码器121。同时,在场编码的情况下,帧分类缓冲器102还将每个场的奇偶性信息提供给交错参数编码器121。
算术单元103从自帧分类缓冲器102检索到的图像中减去经由预测图像选择器116从帧内预测单元114或者运动预测/补偿单元115提供的预测图像。
例如,在帧间编码的图像的情况下,算术单元103从自帧分类缓冲器102检索到的图像中减去运动预测/补偿单元115提供的预测图像。
正交变换单元104对于从算术单元103输出的错误信息进行正交变换,例如离散余弦变换或者Karhunen-Loeve变换。这里的正交变换方法是任意的。正交变换单元104将变换系数提供给量化器105。
量化器105对从正交变换单元104提供的变换系数进行量化。量化器105基于与从速率控制器117提供的比特率的目标值相关的信息,设置量化参数,并因此进行量化。这里的量化方法是任意的。量化器105将量化后的变换系数提供给无损编码器106。
无损编码器106根据任意的编码格式将通过量化器105量化的变换系数编码。因为已经在速率控制器117的控制下将系数数据量化,所以其比特率等于(或者近似于)由速率控制器117设置的目标值。
无损编码器106从交错参数编码器121获取指示是否进行场编码的场编码信息(即标志)。此外,在场编码的情况下,无损编码器106还从交错参数编码器121获取每个场的奇偶性信息(即标志)。无损编码器106还从帧内预测单元114获取指示帧内预测模式的信息等等,并从运动预测/补偿单元115获取指示帧间预测模式的信息和差分运动矢量信息等等。
无损编码器106根据任意编码格式将以上各种信息编码,并将编码数据(又称为编码流)设定(复用)为头部信息的一部分。无损编码器106将通过编码获得的编码数据提供给累积缓冲器107,用于缓冲。
无损编码器106的编码格式例如可以是可变长度编码或者算术编码。可变长度编码的示例例如包括在AVC格式中规定的上下文自适应可变长度编码(CAVLC)。算术编码的示例例如包括上下文自适应二进制算术编码(CABAC)。
累积缓冲器107临时保存从无损编码器106提供的编码数据。累积缓冲器107例如将存储的编码数据在给定定时输出到下游记录设备(记录介质)或传输信道。换言之,累积缓冲器107也是发送编码数据的发送器。
此外,通过量化器105量化的变换系数还被提供给逆量化器108。逆量化器108根据与量化器105的量化相对应的方法将量化数据逆量化。逆量化方法可以是任何方法,只要它是与量化器105的量化处理相对应的方法即可。逆量化器108将获得的变换系数提供给逆正交变换单元109。
逆正交变换单元109将从逆量化器108提供的变换系数进行与正交变换单元104的正交变换处理相对应的逆正交变换。逆正交变换方法可以是任何方法,只要它是与正交变换单元104的正交变换处理相对应的方法即可。经过逆正交变换的输出(即恢复的错误信息)被提供给算术单元110。
算术单元110将恢复的错误信息(即,从逆正交变换单元109提供的逆正交变换结果)加入经由预测图像选择器116自帧内预测单元114或者运动预测/补偿单元115提供的预测图像并且获取局部解码的图像。该解码图像被提供给去块滤波器111或者帧存储器112。
去块滤波器111对从算术单元110提供的解码图像适当地进行去块滤波。例如,通过对解码图像进行去块滤波,去块滤波器111可从解码图像去除块效应。
去块滤波器111将滤波结果(即,滤波之后的解码图像)提供给帧存储器112。但是,如上所述,也可以绕过去块滤波器111,将从算术单元110输出的解码图像提供给帧存储器112。换言之,可以省略通过去块滤波器111的滤波。
帧存储器112存储提供的解码图像,并且在给定定时将存储的解码图像提供给选择器113作为参考图像。
选择器113为从帧存储器112提供的参考图像选择提供目的地(supply destination)。例如,在帧间预测的情况下,选择器113可以向运动预测/补偿单元115提供从帧存储器112提供的参考图像。
帧内预测单元114使用正在被处理的图片(即,经由选择器113从帧存储器112提供的参考图像)中的像素值进行帧内预测(帧内的预测),帧内预测通过主要将预测单元(PU)作为处理单元来产生预测图像。帧内预测单元114在多个预设帧内预测模式中进行帧内预测。
帧内预测单元114在所有候选帧内预测模式中产生预测图像,利用从帧分类缓冲器102提供的输入图像评估每个预测图像的成本函数值,并选择最佳模式。当选择最佳帧内预测模式时,帧内预测单元114将通过最佳模式产生的预测图像提供给预测图像选择器116。
此外,如上所述,帧内预测单元114将指示所执行的帧内预测模式的帧内预测信息等等提供给无损编码器106,用于编码。
运动预测/补偿单元115利用从帧分类缓冲器102提供的输入图像以及经由选择器113从帧存储器112提供的参考图像进行运动预测(帧间预测),其主要将PU作为处理单元。运动预测/补偿单元115根据检测到的运动矢量进行运动补偿并产生预测图像(帧间预测图像信息)。运动预测/补偿单元115在多个预设帧间预测模式中进行这种帧间预测。
运动预测/补偿单元115利用从帧分类缓冲器102提供的输入图像以及运动矢量信息等等来评估每个预测图像的成本函数值,并选择最佳模式。当选择最佳帧间预测模式时,运动预测/补偿单元115在最佳模式中产生预测图像,并将由此产生的预测图像提供给预测图像选择器116。
在场编码的情况下,将用于亮度信号的运动矢量信息以及关于参考PU的信息从运动预测/补偿单元115提供给运动矢量移位器122。响应于被提供这些信息,通过运动矢量移位器122进行运动矢量移位,并且从运动矢量移位器122提供移位的色度信号运动矢量信息。因此,在场编码的情况下,在产生预测图像时使用已经通过运动矢量移位器122移位的色度信号运动矢量信息。
在将编码数据或者用于指示执行的帧间预测模式的信息解码时,运动预测/补偿单元115将关于该帧间预测模式中处理的信息提供给无损编码器106,用于编码。
预测图像选择器116选择从其向算术单元103和算术单元110提供预测图像的源。例如,在帧间编码的情况下,预测图像选择器116选择运动预测/补偿单元115作为预测图像提供源,并将从运动预测/补偿单元115提供的预测图像提供给算术单元103和算术单元110。
速率控制器117基于在累积缓冲器107中缓冲的编码数据的比特率,来控制量化器105的量化操作的速率,以使得不发生上溢或下溢。
交错参数编码器121从帧分类缓冲器102获取指示是否对每个序列进行场编码的场编码信息。交错参数编码器121在给定定时将获取的场编码信息提供给运动矢量移位器122。交错参数编码器121还将获取的场编码信息设置为场编码标志,将针对每个序列的该场编码标志提供给无损编码器106。
在场编码信息指示要进行场编码的情况下,交错参数编码器121从帧分类缓冲器102获取每个场的奇偶性信息。交错参数编码器121在给定定时将获取的奇偶性信息提供给运动矢量移位器122。此外交错参数编码器121将获取的奇偶性信息设置为奇偶标志,将针对每个图片的该奇偶标志提供给无损编码器106。
当从交错参数编码器121获取每个场的奇偶性信息时,运动矢量移位器122从运动预测/补偿单元115获取亮度信号运动矢量信息。利用获取的亮度信号运动矢量信息,运动矢量移位器122根据来自交错参数编码器121的每个场的奇偶性信息将色度信号运动矢量移位。此时,还从运动预测/补偿单元115获取关于参考PU的信息,并用于处理。运动矢量移位器122将移位的色度信号运动矢量提供给运动预测/补偿单元115。
编码单位
下面描述在HEVC格式中规定的编码单位。被设置为16×16像素的宏块尺寸对于诸如超高清晰度(UHD)(4000×2000像素)的大图像尺寸不一定最佳,其中UHD将是下一代编码格式的目标。
因此,虽然在AVC格式中规定宏块和子宏块的分层结构,但是编码单位(CU)例如通过HEVC格式来规定,如图2所示。
CU又称为编码树块(CTB),其是用于单个图片的图像的部分区域,并与AVC格式中的宏块起相似的作用。尽管宏块被固定于16×16像素的尺寸,但是CU的尺寸不是固定的,而是在各个序列中的图像压缩信息中指定。
例如,在输出编码数据中包括的序列参数集(SPS)中规定最大CU(最大编码单位或LCU)和最小CU(最小编码单位或SCU)的尺寸。
在各个LCU中,通过设定split_flag=1,可以将CU细分为更小的尺寸,只要细分的CU不小于SCU的尺寸即可。在图2所示的示例中,LCU的尺寸的128,并且最大层深度是5。当split_flag的值为1时,尺寸为2N×2N的CU被分为下方一层的尺寸为N×N的CU。
此外,CU被分为预测单位(PU),PU是用作帧内预测或帧间预测期间的处理单位的区域(即,用于单个图片的图像的部分区域),然后PU被分为变换单位(TU),TU是用作正交变换期间的处理单位的区域(即,用于单个图片的图像的部分区域)。目前,通过HEVC格式,除了4×4和8×8之外,还可以使用16×16和32×32正交变换。
通过帧间PU,可以将尺寸为2N×2N的单个CU分为2N×2N、2N×N、N×2N或者N×N的尺寸。在上述序列参数集中定义inter_4x4_enable_flag,并且通过将其值设定为0,就变得可以禁止具有4×4块尺寸的帧间CU的使用。
在其中定义了CU并且以这些CU为单位进行各种处理的编码格式的情况下,如同在上述HEVC格式中,可以将AVC格式中的宏块视作等同于LCU,并将块(子块)视作等同于CU。此外,可以将AVC格式中的运动补偿块视作等同于PU。但是,因为CU具有分层结构,所以,通常将最上层中的LCU尺寸设置为比AVC格式中的宏块的尺寸更大的值,例如128×128像素。
编码交错信号
下面描述AVC格式中的交错信号的编码。在交错信号中,图片由具有不同奇偶性(顶和底)的交替场组成,称为顶场和底场。此外,通过AVC格式,在输入图像是交错信号的情况下,可以在以图片或宏块对为单位的帧编码与场编码之间选择。下面视情况将这种交错信号的编码指定为帧编码/场编码。
图3示出以图片为单位将交错信号编码的示例。图3中的示例示出帧编码图片和场编码图片。有阴影的场表示顶场,没有阴影的场表示底场。
通过帧编码,图片按照原来的样子编码,并且包含从顶场到底场的交替线。与之不同,通过场编码,将图片分为顶场和底场,或者换言之,通过不同的奇偶值将图片编码。
图4示出以宏块对为单位将交错信号编码的示例。在AVC格式中,通常使用由16×16像素组成的宏块。将图4中所示的各个正方形作为各个宏块。可以按照从图像左上方开始的顺序来设置宏块。在本示例中,将最左上方的宏块作为0号宏块,将0号宏块下面的相邻宏块作为1号宏块。此外,将0号宏块右边的相邻宏块作为2号宏块,将1号宏块右边的相邻宏块作为3号宏块.
在AVC格式中,配置为使得可以适应性地针对每个宏块对选择帧编码或者场编码,每个宏块对包括图像中的两个垂直相邻的宏块。在本示例中,由号码为0和1的两个宏块形成一个宏块对,由号码为2和3的两个宏块形成另一个宏块对等等。
图4所示宏块对的情况仍然类似于前面通过图3所述图片的情况。换言之,通过帧编码,宏块对按照原来的样子编码,并且包含从顶场到底场的交替线。与之不同,通过场编码,宏块对被分为顶场和底场,或者换言之,通过不同的奇偶值将宏块对编码。
对于交错信号的这种编码,将图5至图9所示的信息规定为AVC格式中的语法元素。
AVC格式中的语法示例
图5和图6示出用于通过图像编码设备100产生的序列参数集的语法示例。每一行左边的数字是行号,加上行号以帮助说明。
在图5和图6的示例中,当第46行的frame_mbs_only_flag的值为1时指示只进行帧编码,当值为0时指示以图片为单位或者以宏块为单位进行帧编码/场编码。
当第46行的frame_mbs_only_flag为0时,指定第48行的mb_adaptive_frame_field_flag。第48行的mb_adaptive_frame_field_flag是指示是否进行以宏块对为单位的帧编码/场编码的标志。当mb_adaptive_frame_field_flag的值为1时,进行以宏块对为单位的帧编码/场编码。
图7和图8示出用于通过图像编码设备100产生的条带头的语法示例。每一行左边的数字是行号,加上行号以帮助说明。
在图7和图8的示例中,第9行的field_pic_flag是当上述图5和图6中第46行的frame_mbs_only_flag为0时发送的标志。当该值为1时,field_pic_flag指示要进行以图片为单位的帧编码/场编码,如前面参照图3所述。
当第11行的bottom_field_flag的值为0时,指示对应的条带是与顶场相关的数据,当值为1时,指示对应的条带是与底场相关的数据。
图9示出用于通过图像编码设备100产生的条带数据的语法示例。每一行左边的数字是行号,加上行号以帮助说明。
在图9的示例中,当第23行的mb_field_decoding_flag的值为1时,指示要将对应的宏块对进行编码,当值为0时,指示要将对应的宏块对进行帧编码。
同时,第22行的if语句是语法元素,其表述在已经针对宏块对中的其中一个宏块发送第23行的mb_field_decoding_flag的情况下,不针对该宏块对中的另外一个宏块发送标志。
运动矢量移位
通过AVC格式,在前面参照图3或图4描述场编码的情况下,用于色度信号的运动矢量的垂直分量被移位。
图10示出在正在被处理场是顶场而参考场是底场的情况下的示例性运动矢量移位。图11示出在正在被处理场是底场而参考场是顶场的情况下的示例性运动矢量移位。
图10和图11示出输入被4:2:0场编码的情况的示例。虚线表示亮度信号的像素间隔,而实线矩形表示运动补偿块(PU)。白色圆表示亮度信号像素,而白色正方形表示色度信号像素。黑色正方形表示与具有移位的垂直分量的色度信号运动矢量对应的色度信号像素。
例如,在顶场中的色度信号像素位于从顶部开始的第一和第三亮度信号像素位置的情况下,底场中的色度信号像素将位于第二和第四亮度信号像素位置。
换言之,如图10所示,如果亮度信号运动矢量MV被缩放以获得色度信号运动矢量MVa,则对应的色度信号像素相比于亮度信号像素将移位-1/4。因此,在这种情况下,将色度信号运动矢量MVa移位以变成移位的色度信号运动矢量MVb,因此像素a被移位-1/4,并且对应的色度信号像素变成像素b。因此,使得亮度信号运动矢量MV与色度信号运动矢量MVb在相位上一致。
类似地,在图11中,如果亮度信号运动矢量MV被缩放以获得色度信号运动矢量MVc,则对应的色度信号像素c相比于亮度信号像素将移位1/4。因此,在这种情况下,色度信号运动矢量MVc被移位变成移位的色度信号运动矢量MVd,从而像素c被移位-1/4,并且对应的色度信号像素变成像素d。因此,使得亮度信号运动矢量MV与色度信号运动矢量MVd在相位上一致。
如上,作为参照图3和图4所述的用于交错信号的AVC格式的功能的帧编码/场编码也可应用于HEVC格式。但是,如果在上面参照图4所述的以宏块对为单位的帧编码/场编码应用于HEVC中定义的CU,则处理变得复杂,并且因此不能实现。
与之不同,通过本技术,只进行图3所示的以图片为单位的帧编码和场编码。但是,如果在相同序列中将图3所示的帧编码和场编码混合,则去块滤波器应用以及用于运动预测/补偿的参考关系变得更加复杂。
此外,通过AVC格式,图片参数集包含相同图片中使用的参数的混合,例如量化参数以及在相同图片中有可能改变的参数,例如自适应环路滤波器参数。因此,在后面的参数变化的情况下,前面的未变参数也被重新发送。
本技术和语法示例的概述
因此,在本技术中,在通过图12的语法元素所示的序列参数集中设置field_coding_flag并将其发送给解码器(field_coding_flag是指示是否进行场编码的场编码信息)。
在图12的序列参数集中设置的field_coding_flag的值为1的情况下,将前面参照图3所述的场编码应用于正在被处理的全部序列。在field_coding_flag的值为0的情况下,将帧编码应用于正在被处理的全部序列。
同时,HEVC采用称为适应参数集(APS)的语法元素,APS存储以图片为单位应用的参数,例如自适应环路滤波器参数。
因此,在field_coding_flag为1的情况下,在通过图13的语法元素所示的APS中设定bottom_field_flag并将其发送给解码器(bottom_field_flag是指示场是否是底场的奇偶性信息)。
当图13的APS中设置的bottom_field_flag的值为0时指示对应的场是顶场,当值为1时指示对应的场是底场。
此外,在图像编码设备100中,根据通过bottom_field_flag给定的奇偶性信息的值进行有关交错的编码处理,例如前面参照图10和图11所述的色度信号运动矢量移位。
换言之,将图片中统一使用的参数集合在图片参数集等等中,并将其发送给解码器。相反,将每个场不同的奇偶性信息与APS捆绑并发送,APS用于发送图片中有可能变化的参数,例如自适应环路滤波器参数。这样做时,可以避免重新发送图片参数集。
因此,通过将如同上述的语法结构应用于HEVC,就变得可以减少关于AVC格式的语法冗余,并有效地将交错信号编码或解码。
注意,即使输入信号是交错信号,field_coding_flag的值仍然可以为0。在这种情况下,可以连同编码流一起将补充增强信息(SEI)发送给解码器,并使得编码流作为交错信号输出(显示)。作为响应,在解码器,基于field_coding_flag进行对应于帧编码的解码,以产生图像,并将产生的图像作为交错信号输出(显示)。
交错参数编码器和无损编码器的示例性构造
图14是示出交错参数编码器121和无损编码器106的示例性基本构造的方框图。
图14的示例中的交错参数编码器121被配置为包括场编码缓冲器151和奇偶缓冲器152。
无损编码器106被配置为至少包括语法写入器161。
场编码缓冲器151从帧分类缓冲器102获取指示是否对图像进行场编码的场编码信息。获取的场编码信息被暂时存储,并在给定定时提供给奇偶缓冲器152。此时,场编码缓冲器151将场编码信息设置为场编码标志(field_coding_flag),该场编码标志被提供给语法写入器161。
在来自场编码缓冲器151的场编码信息指示场编码的情况下,奇偶缓冲器152从帧分类缓冲器102获取每个场的奇偶性信息,并暂时存储获取的奇偶性信息。然后奇偶缓冲器152在给定定时将每个场的奇偶性信息提供给运动矢量移位器122。此时,奇偶缓冲器152将每个场的奇偶性信息设置为奇偶标志(bottom_field_flag),该奇偶标志被提供给语法写入器161。
语法写入器161将来自场编码缓冲器151的场编码标志加入编码流中的序列参数集,如图12所示。此外语法写入器161将来自奇偶缓冲器152的奇偶标志加入编码流中的APS,如图13所示。
同时,当从奇偶缓冲器152获取每个场的奇偶性信息时,运动矢量移位器122从运动预测/补偿单元115获取亮度信号运动矢量信息,并将色度信号运动矢量移位。换言之,如前面参照图10所述,基于获取的每个场的奇偶性信息,利用来自运动预测/补偿单元115的亮度信号运动矢量信息将色度信号运动矢量移位。
编码处理流程
下面将描述通过上述图像编码设备100执行的处理的流程。首先,将参照图15中的流程图描述示例性编码处理流程。
在输入图像是交错信号的情况下,将指示是否进行场编码的场编码信息经由用户输入单元或者附图未示出的其他装置输入帧分类缓冲器102。帧分类缓冲器102基于场编码信息将帧分类,并将场编码信息提供给场编码缓冲器151。
场编码缓冲器151从帧分类缓冲器102获取指示是否对图像进行场编码的场编码信息,并暂时存储获取的场编码信息。然后场编码缓冲器151将存储的场编码信息提供给语法写入器161,作为field_coding_flag。
作为响应,在步骤S101,语法写入器161将field_coding_flag加入编码流的序外参数集,用于发送。换言之,将field_coding_flag加入编码流中的序外参数集,如图12所示。
将field_coding_flag加入序列参数集的编码流提供给累积缓冲器107并发送给下述图18中的图像解码设备200。
在步骤S102,语法写入器161确定field_coding_flag是否为1。如果在步骤S102确定field_coding_flag为1,或者换言之,要对当前序列进行场编码,则处理进行到步骤S103。
在场编码的情况下,帧分类缓冲器102还将每个场的奇偶性信息提供给奇偶缓冲器152。奇偶缓冲器152从帧分类缓冲器102获取每个场的奇偶性信息,并暂时存储获取的奇偶性信息。然后奇偶缓冲器152将存储的奇偶性信息提供给语法写入器161,作为bottom_field_flag。此时,奇偶性信息还被提供给运动矢量移位器122,用于下述图17的步骤S155。
在步骤S103,语法写入器161将bottom_field_flag加入编码流的APS,用于发送。换言之,将bottom_field_flag加入编码流中的APS,如图13所示。
将bottom_field_flag加入APS的编码流被提供给累积缓冲器107并发送给下述图18中的图像解码设备200。
同时,如果在步骤S102确定field_coding_flag不是1,或者换言之,要对当前序列进行帧编码,则跳过步骤S103,处理进行到步骤S104。
在步骤S104,图像编码设备100的各个单元在视频编码层(VCL)中进行编码处理。VCL中的编码处理指的是条带头下信息的编码,例如DCT系数和运动矢量。下面参照图16讨论VCL中的这种编码处理。
由于步骤S104的VCL中的编码处理,VCL中以及VCL下面的信息被编码并发送给图像解码设备200。
在步骤S105,语法写入器161确定是否已经完成序列。如果在步骤S105确定还没有完成序列,则处理返回步骤S102,并重复之后的处理。
如果在步骤S105确定已经完成序列,则图像编码设备100的编码处理结束。
VCL中编码处理的流程
下面参照图16中的流程图描述图15的步骤S104中的VCL中的编码处理。
在步骤S121,A/D转换器101对输入图像进行A/D转换。在步骤S122,帧分类缓冲器102存储经A/D转换的图像,并对图片进行从它们的显示顺序到编码顺序的重新分类。在步骤S123,帧内预测单元114在帧内预测模式中进行帧内预测处理。
在步骤S124,运动预测/补偿单元115在帧间预测模式中进行执行运动预测和运动补偿的帧间预测处理。下面参照图17详细描述帧间预测处理。
根据步骤S124中的处理,找到正在被处理的PU的亮度信号运动矢量,计算成本函数值,以及从所有帧间预测模式中确定最佳帧间预测模式。然后,在最佳帧间预测模式中产生预测图像。同时,在场编码的情况下,将色度信号运动矢量移位,并利用亮度信号运动矢量和移位的色度信号运动矢量产生预测图像。
将预测图像以及这样确定的最佳帧间预测模式的成本函数值从运动预测/补偿单元115提供给预测图像选择器116。此外,将这样确定的关于最佳帧间预测模式的信息以及运动矢量信息提供给无损编码器106,并在下述步骤S134无损地编码。
在步骤S125,预测图像选择器116基于从帧内预测单元114以及运动预测/补偿单元115输出的成本函数值,确定最佳模式。换言之,预测图像选择器116选择通过帧内预测单元114产生的预测图像,或者选择通过运动预测/补偿单元115产生的预测图像。
在步骤S126,算术单元103计算通过步骤S122中的处理分类的图像与通过步骤S125中的处理选择的预测图像之差。通过差分数据,数据尺寸相比于原始图像数据减少了。因此,相比于直接编码图像的情况,可以压缩数据尺寸。
在步骤S127,正交变换单元104将通过步骤S126中的处理产生的差异信息进行正交变换。特别地,进行诸如离散余弦变换或者Karhunen-Loeve变换这样的正交变换,并输出变换系数。
在步骤S128,量化器105利用来自速率控制器117的量化参数,将通过步骤S127的处理获得的正交变换系数进行量化。
将通过步骤S128中的处理量化的差异信息进行如下的局部解码。在步骤S129,逆量化器108利用与量化器105的特性相对应的特性,对通过步骤S128中的处理产生的量化的正交变换系数(又称为量化系数)进行逆量化。在步骤S130,逆正交变换单元109利用与正交变换单元104的特性相对应的特性,对通过步骤S129中的处理获得的正交变换系数进行逆正交变换。
在步骤S131,算术单元110将预测图像加入局部解码的差异信息,并产生局部解码图像(即,与算术单元103的输入相对应的图像)。在步骤S132,去块滤波器111视情况对于通过步骤S131中的处理获得的局部解码图像进行去块滤波。
在步骤S133,帧存储器112存储通过步骤S132中的处理进行去块滤波的解码图像。但是,没有通过去块滤波器111滤波的图像也从算术单元110提供给帧存储器112并存储。
在步骤S134,无损编码器106将通过步骤S128中的处理量化的变换系数编码。换言之,对差分图像进行诸如可变长度编码或算术编码这样的无损编码。
此外,此时无损编码器106将与通过步骤S125中的处理选择的预测图像的预测模式相关的信息编码,并将编码信息加入通过将差分图像编码获得的编码数据。换言之,无损编码器106也将诸如从帧内预测单元114提供的最佳帧内预测模式信息或者从运动预测/补偿单元115提供的最佳帧间预测模式信息这样的信息编码,并将编码信息加入编码数据。
在步骤S135,累积缓冲器107缓冲通过步骤S134中的处理获得的编码数据。视情况读取在累积缓冲器107中缓冲的编码数据并将其经由传输通道或者记录介质发送给解码器。
在步骤S136,速率控制器基于通过步骤S135中的处理在累积缓冲器107中缓冲的编码数据的比特率,来控制量化器105的量化操作的速率,从而使得不发生上溢或下溢。
当步骤S136中的处理完成时,编码处理结束。
帧间预测处理流程
下面参照图17中的流程图描述图16的步骤S124中执行的帧间预测处理的示例性流程。
在步骤S151,运动预测/补偿单元115搜索每个帧间预测模式中的运动。
在步骤S152,运动预测/补偿单元115利用诸如来自帧分类缓冲器102的输入图像和找到的运动矢量信息这样的信息,计算与每个帧间预测模式相关的成本函数值。
在步骤S153,运动预测/补偿单元115将各个预测模式中具有最小成本函数值的预测模式确定为最佳帧间预测模式。通过运动预测/补偿单元115将亮度信号运动矢量信息以及与最佳帧间预测模式中的参考PU相关的信息提供给运动矢量移位器122。
同时,将来自场编码缓冲器151的每个序列的场编码信息提供给奇偶缓冲器152。
在步骤S154,奇偶缓冲器152基于来自场编码缓冲器151的场编码信息,确定是否要对当前序列进行场编码。如果在步骤S154确定要对当前序列进行场编码,则处理进行到步骤S155。此时,对于每个场,奇偶缓冲器152将来自帧分类缓冲器102的每个场的奇偶性信息提供给运动矢量移位器122。
在步骤S155,运动矢量移位器122将色度信号运动矢量移位。换言之,缩放来自运动预测/补偿单元115的亮度信号运动矢量信息,以产生色度信号运动矢量。然后,通过步骤S155中的处理将色度信号运动矢量移位,从而基于每个场的奇偶性信息将色度信号运动矢量的垂直分量移位,如上述参照图10讨论地。运动矢量移位器122将移位的色度信号运动矢量提供给运动预测/补偿单元115。
如果在步骤S154确定要对当前序列进行帧编码,则跳过步骤S155,处理进行到步骤S156。换言之,在这种情况下,在下一步骤S156中使用通过缩放亮度信号运动矢量产生的色度信号运动矢量,而不移位。
在步骤S156,运动预测/补偿单元115利用亮度信号和色度信号运动矢量信息在最佳帧间预测模式中产生预测图像,该预测图像被提供给预测图像选择器116。
在步骤S157,运动预测/补偿单元115将有关于最佳帧间预测模式的信息提供给无损编码器106,使得有关于最佳帧间预测模式的信息被编码。
注意,有关于最佳帧间预测模式的信息例如可包括最佳帧间预测模式信息、有关于运动矢量的信息以及最佳帧间预测模式参考图片信息。
响应于步骤S156中的处理,在图16的步骤S134中将提供的信息编码。
如上,在图像编码设备100中,确定是否对全部序列进行场编码,并且将指示是否进行场编码的标志加入编码流的序列参数集并将其发送给解码器。
在确定场编码的情况下,利用每个场的奇偶性信息,例如可将运动矢量移位,并且将指示奇偶性信息的标志加入编码流的APS并将其发送给解码器。
这样做,在输入是交错信号的情况下,可以有效地进行编码处理,没有附加的复杂性。
2.第二实施例
图像解码设备
下面描述已经如上编码的编码数据(编码流)的解码。图18是示出对应于图1中图像编码设备100的图像解码设备的示例性基本构造的方框图。
图18中示出的图像解码设备200根据对应于编码方法的解码方法,将通过图像编码设备100产生的编码数据解码。这里,类似于图像编码设备100,使用图像解码设备200进行以预测单位(PU)为单位的帧间预测。
如图22所示,图像解码设备200包括累积缓冲器201、无损解码器202、逆量化器203、逆正交变换单元204、算术单元205、去块滤波器206、帧分类缓冲器207以及D/A转换器208。此外,图像解码设备200包括帧存储器209、选择器210、帧内预测单元211、运动预测/补偿单元212以及选择器213。
此外,图像解码设备200包括交错参数接收器221和运动矢量移位器222。
累积缓冲器201也是接收发送给它的编码数据的接收器。累积缓冲器201接收和缓冲发送给它的编码数据,并在给定定时将编码数据提供给无损解码器202。
在编码数据的序列参数集中,包括用于每个序列的指示是否进行场编码的标志(field_coding_flag)。此外,在进行场编码的情况下,在编码数据的APS中包括表示场奇偶性信息的标志(bottom_field_flag)。
无损解码器202将场编码标志和任意场奇偶标志提供给交错参数接收器221。
此外,除了DCT系数之外,在编码数据的条带头下,在VCL信息中还包括解码相关信息,例如预测模式信息和运动矢量信息。无损解码器202根据与无损编码器106的编码格式相对应的格式,将已经通过图1中的无损编码器106编码并通过累积缓冲器201提供的信息解码。无损解码器202将通过解码获得的用于差分图像的量化系数数据提供给逆量化器203。
此外,无损解码器202确定是否已经选择帧内预测模式或者帧间预测模式用于最佳预测模式。根据确定为已经选择的模式,无损解码器202将有关于最佳预测模式的信息提供给帧内预测单元211或者运动预测/补偿单元212。换言之,在图像编码设备100中选择帧间预测模式作为最佳预测模式的情况下,例如将有关于最佳预测模式的信息提供给运动预测/补偿单元212。
逆量化器203提取通过无损解码器202中的解码获得的量化系数数据,并且对以与图1中量化器105的量化格式相对应的格式将量化系数数据逆量化。获得的系数数据被提供给逆正交变换单元204。
逆正交变换单元204在与图1中正交变换单元104的正交变换格式相对应的格式中对逆量化器203提供的系数数据进行逆正交变换。通过进行逆正交变换,逆正交变换单元204在图像编码设备100中的正交变换之前获得与残余数据相对应的解码残余数据。
通过进行逆正交变换获得的解码残余数据被提供给算术单元205。经由选择器213,还将来自帧内预测单元211或者运动预测/补偿单元212的预测图像提供给算术单元205。
算术单元205将解码残余数据加入预测图像,并在通过图像编码设备100的算术单元103减去预测图像之前,获得与图像数据相对应的解码图像数据。算术单元205将解码图像数据提供给去块滤波器206。
去块滤波器206视情况对提供给它的解码图像进行去块滤波,并将结果提供给帧分类缓冲器207。通过对解码图像进行去块滤波,去块滤波器206可从解码图像移除块效应。
去块滤波器206将滤波结果(即,滤波之后的解码图像)提供给帧分类缓冲器207和帧存储器209。但是,也可绕过去块滤波器206,将算术单元205输出的解码图像提供给帧分类缓冲器207和帧存储器209。换言之,可以省略去块滤波器206的滤波。
帧分类缓冲器207将图像分类。虽然图18中未示出,但是帧分类缓冲器207被供以来自诸如交错参数接收器221这样的源的场编码信息,并基于场编码信息将图像分类。换言之,通过图1中帧分类缓冲器102以编码顺序重新分类的帧序列被按照原始显示顺序重新分类。D/A转换器208将帧分类缓冲器207提供的图像进行D/A转换,并将图像输出到显示器(未示出)进行显示。
帧存储器209存储提供的解码图像,并在给定定时或者基于来自诸如帧内预测单元211或者运动预测/补偿单元212这样的单元的外部请求,将存储的解码图像提供给选择器210作为参考图像。
选择器210选择为从帧存储器209提供的参考图像选择提供目的地。在将帧内编码图像解码的情况下,选择器210将帧存储器209提供的参考图像提供给帧内预测单元211。或者,在将帧间编码图像解码的情况下,选择器210将帧存储器209提供的参考图像提供给运动预测/补偿单元212。
视情况从无损解码器202向帧内预测单元211提供指示帧内预测模式的信息,通过将头部信息解码获得该信息。帧内预测单元211通过在图1中的帧内预测单元114使用的帧内预测模式中、利用从帧存储器209获取的参考图像进行帧内预测,来产生预测图像。帧内预测单元211将产生的预测图像提供给选择器213。
运动预测/补偿单元212从无损解码器202获取通过将头部信息解码获得的信息(例如最佳预测模式信息、运动矢量信息和参考图像信息)。
在通过从无损解码器202获取的最佳预测模式信息指示的帧间预测模式中,运动预测/补偿单元212通过利用从帧存储器209获取的参考图像进行的帧间预测,产生预测图像。在场编码的情况下,将亮度信号运动矢量信息以及有关于参考PU的信息提供给运动矢量移位器222。作为响应,将通过运动矢量移位器222移位的色度信号运动矢量提供给运动预测/补偿单元212,并将移位的色度信号运动矢量用于预测图像的产生。
选择器213将来自帧内预测单元211的预测图像或者来自运动预测/补偿单元212的预测图像提供给算术单元205。然后,在算术单元205中,将利用运动矢量产生的预测图像加入来自逆正交变换单元204的解码残余数据(差分图像信息),并将原始图像解码。换言之,运动预测/补偿单元212、无损解码器202、逆量化器203、逆正交变换单元204以及算术单元205还是利用运动矢量将编码数据解码并产生原始图像的解码单元。
交错参数接收器221基本上类似于图1中的交错参数接收器121来配置。交错参数接收器221获取指示是否对来自无损解码器202的特定序列进行场编码的场编码标志。在给定定时,交错参数接收器221将获取的场编码标志作为场编码信息提供给运动矢量移位器222。
此外,在场编码信息指示要进行场编码的情况下,交错参数接收器221从无损解码器202获取每个场的奇偶标志。在给定定时,交错参数接收器221将获取的奇偶标志提供给运动矢量移位器222作为奇偶性信息。
运动矢量移位器222基本上类似于图1中的运动矢量移位器122来配置。当从交错参数接收器221获取每个场的奇偶性信息时,运动矢量移位器222从运动预测/补偿单元212获取亮度信号运动矢量信息。
利用获取的亮度信号运动矢量信息,运动矢量移位器222根据来自交错参数接收器221的每个场的奇偶性信息将色度信号运动矢量移位。换言之,运动矢量移位器222像前面参照图10讨论的一样将运动矢量移位。此时,还从运动预测/补偿单元212获取关于参考PU的信息并将其用于处理。运动矢量移位器222将移位的色度信号运动矢量信息提供给运动预测/补偿单元212。
无损解码器和交错参数接收器的示例性构造
图19是示出无损解码器202和交错参数接收器221的示例性基本构造的方框图。
在图19的示例中,无损解码器202被配置为包括语法接收器251。
交错参数接收器221被配置为包括场解码缓冲器261和奇偶缓冲器262。
语法接收器251从编码流的序列参数集获取指示是否对序列进行场编码的场编码标志,并将获取的标志提供给场解码缓冲器261。此外,在将对序列进行场编码的情况下,语法接收器251从场编码的编码流的APS获取每个场的奇偶标志,并将获取的奇偶标志提供给奇偶缓冲器262。
场解码缓冲器261从语法接收器251获取场编码标志,暂时存储场编码标志作为场编码信息,并在给定定时将场编码信息提供给奇偶缓冲器262。
在来自场解码缓冲器261的场编码信息指示场编码的情况下,奇偶缓冲器262从语法接收器251获取每个场的奇偶标志,并暂时存储获取的奇偶标志作为奇偶性信息。然后,对于每个场,奇偶缓冲器262将该场的奇偶性信息提供给运动矢量移位器222。
作为响应,当从奇偶缓冲器262获取每个场的奇偶性信息时,运动矢量移位器222从运动预测/补偿单元212获取亮度信号运动矢量信息,并将色度信号运动矢量移位。换言之,基于获取的每个场的奇偶性信息,利用来自运动预测/补偿单元212的亮度信号运动矢量信息将色度信号运动矢量移位,如前面参照图10所讨论的。
解码处理流程
下面描述通过如上图像解码设备200执行的处理的流程。首先,参照图20中的流程图描述示例性解码处理流程。
在步骤S201,语法接收器251从编码流的序列参数集接收表示场编码信息的标志(field_coding_flag),场编码信息指示是否对序列进行场编码。语法接收器251将接收的标志提供给场解码缓冲器261。
在步骤S202,语法接收器251确定在步骤S201接收的、指示是否进行场编码的标志的值是否为1。在步骤S202确定标志为1,或者换言之,对序列进行场编码的情况下,处理进行到步骤S203。
在步骤S203,语法接收器251在编码流的APS中接收表示特定场的奇偶性信息的标志(bottom_field_flag),并将接收的奇偶标志提供给奇偶缓冲器262。
同时,在确定指示是否进行场编码的标志不是1,或者换言之,将对当前序列进行帧编码的情况下,跳过步骤S203且处理进行到步骤S204。
在步骤S204,图像解码设备200的各个单元在VCL中进行解码处理。下面将参照图21讨论VCL中的解码处理,但是作为步骤S204中VCL中的解码处理的结果,条带头下的流被解码。
在步骤S205,语法接收器251确定是否已经完成了序列。如果在步骤S205确定还没有完成序列,则处理返回步骤S202,并重复之后的处理。
如果在步骤S205确定已经完成序列,则图像解码设备200的解码处理结束。
VCL中解码处理的流程
下面参照图21中的流程图描述图20的步骤S204中VCL中的解码处理。
当VCL中的解码处理开始时,在步骤S221,累积缓冲器201接收和缓冲发送给它的编码流。在步骤S222,无损解码器202将从累积缓冲器201提供的编码流(即,编码的差分图像信息)解码。换言之,将已经通过图1中的无损编码器106编码的I图片、P图片和B图片解码。
此时,还将编码流中包括的、除了差分图像信息之外的各种信息(例如头部信息)解码。无损解码器202例如可以获取预测模式信息和运动矢量信息。无损解码器202将获取的信息提供给对应的单元。
在步骤S223,逆量化器203将通过步骤S202中的处理获得的量化的正交变换系数逆量化。注意,通过下面要讨论的步骤S228中的处理获得用于该逆量化处理的量化参数。在步骤S224,逆正交变换单元204对步骤S223中逆量化的正交变换系数进行逆正交变换。
在步骤S225,无损解码器202基于在步骤S222中解码的、与最佳预测模式相关的信息,确定正在处理的编码数据是否被帧内编码。在确定正在被处理的编码数据被帧内编码的情况下,处理进行到步骤S226。
在步骤S226,帧内预测单元211获取帧内预测模式信息。在步骤S227,帧内预测单元211利用在步骤S226获取的帧内预测模式信息进行帧内预测,并产生预测图像。
同时,如果在步骤S226确定正在处理的编码数据不是被帧内编码,或者换言之,其被帧间编码,则处理进行到步骤S228。
在步骤S228,运动预测/补偿单元212获取帧间预测模式信息。此时,还获取运动矢量信息。
在步骤S229,奇偶缓冲器262基于来自场解码缓冲器261的场编码信息,确定当前序列是否被场编码。如果在步骤S229确定当前序列被场编码,则处理进行到步骤S230。此时,对于每个场,奇偶缓冲器262将来自语法接收器251的每个场的奇偶标志提供给运动矢量移位器222作为奇偶性信息。
在步骤S230,运动矢量移位器222将色度信号运动矢量移位。换言之,缩放来自运动预测/补偿单元212的亮度信号运动矢量信息,以产生色度信号运动矢量。然后,通过步骤S230中的处理将色度信号运动矢量移位,从而基于前面参照图10讨论的每个场的奇偶性信息将色度信号运动矢量的垂直分量移位。运动矢量移位器222将移位的色度信号运动矢量信息提供给运动预测/补偿单元212。
如果在步骤S229确定当前序列被帧编码,则跳过步骤S230,处理进行到步骤S231。换言之,在这种情况下,在下一步骤S231中使用通过缩放亮度信号运动矢量产生的色度信号运动矢量。
在步骤S231,运动预测/补偿单元212利用亮度信号和色度信号运动矢量,产生预测图像。将这样产生的预测图像提供给选择器213。
在步骤S232,选择器213选择步骤S227或者步骤S231中产生的预测图像。在步骤S233,算术单元205将步骤S232中选择的预测图像加入通过步骤S224中的逆正交变换获得的差分图像信息。通过这样做,将原始图像解码。换言之,通过利用运动矢量产生预测图像,并将这样产生的预测图像加入来自逆正交变换单元204的差分图像信息,将原始图像解码。
在步骤S234,去块滤波器206视情况对步骤S233中获得的解码图像进行去块滤波。
在步骤S235,帧分类缓冲器207将步骤S234中滤波的图像分类。换言之,将通过图像编码设备100的帧分类缓冲器102按编码顺序分类的帧序列按照原始显示顺序重新分类。
在步骤S236,D/A转换器208将步骤S235中按照帧序列重新分类的图像进行D/A转换。将图像输出到显示器(附图中未示出),并显示图像。
在步骤S237,帧存储器209存储在步骤S236中D/A转换的图像。
当步骤S237中的处理完成时,解码处理结束。
通过进行如上处理,图像解码设备200能够将已经通过图像编码设备100编码的编码数据正确地解码,并可以实现编码效率的提高。
换言之,在图像解码设备200中,从编码流的序列参数集获取指示是否进行场编码的标志,并基于此将编码流解码。
在确定进行场编码的情况下,还从编码流的APS获取指示奇偶性信息的标志,并基于此例如进行诸如运动矢量移位这样的处理。
通过这样做,在输入是交错信号的情况下,可以有效地进行解码处理,而没有增加复杂度。
此外,因为指示奇偶性信息的标志通过插入到APS来发送,所以变得可以减少在AVC格式的情况下存在的语法冗余,并有效地将交错信号编码或解码。
注意,虽然前面将运动矢量移位描述为在场编码的情况下利用奇偶性信息的处理的示例,但是运动矢量移位只是示例。换言之,本技术也可应用于其他处理,只要它们是在场编码的情况下利用奇偶性信息的处理。
此外,虽然前面将符合HEVC的情况描述为示例,但是本技术的适用范围不限于只符合HEVC的示例。本技术也可应用于使用其他编码格式的设备,只要它们是将交错信号作为输入来进行编码和解码的设备。
此外,本技术可应用于在接收通过离散余弦变换或者其他正交变换以及运动补偿(例如,如同在MPEG和H.26x中)压缩的图像信息(比特流)的情况下使用的图像编码设备和图像解码设备。可经由诸如卫星广播、有线电视、互联网或者移动电话这样的联网介质接收这种图像信息。此外,本技术可应用于在诸如光盘、磁盘或闪存这样的存储介质上处理信息时使用的图像编码设备和图像解码设备。此外,本技术可应用于这种图像编码设备和图像解码设备中包括的运动预测/补偿设备。
3.第三实施例
计算机
前面的系列操作可以在硬件中执行,也可以在软件中执行。在软件中执行系列操作的情况下,可将构成这种软件的程序安装在计算机中。这里,术语计算机包括例如内置于专用硬件的计算机,以及通过在上面安装各种程序而能够执行各种功能的计算机,例如通用个人计算机。
图22是示出根据程序执行前面的系列操作的计算机的示例性硬件构造的方框图。
在计算机500中,中央处理器(CPU)501、只读存储器(ROM)502、随机存取存储器(RAM)503通过总线504相互连接。
此外,输入/输出接口510连接到总线504。输入单元511、输出单元512、存储单元513、通信单元514以及驱动器515连接到输入/输出接口510。
输入单元511可包括键盘、鼠标和麦克风。输出单元512可包括显示器和扬声器。存储单元513可包括硬盘和非易失性存储器。通信单元514可包括网络接口。驱动器515驱动可移动介质521,例如磁盘、光盘、磁光盘或半导体存储器。
在如上配置的计算机中,例如由于CPU 501将存储单元513中存储的程序经由输入/输出接口510和总线504载入RAM 503并执行程序,来进行前面的系列操作。
通过记录在例如作为封装介质的示例的可移动介质521上,可以提供计算机500(CPU 501)执行的程序。此外,可以经由诸如局域网、互联网或者数字卫星广播这样的有线或无线传输介质,提供程序。
在计算机中,可通过将可移动介质521装入驱动器515,将程序经由输入/输出接口510安装在存储单元513中。也可经由有线或无线传输介质,通过通信单元514接收程序,并将其安装在存储单元513中。或者,可将程序预安装在ROM 502或存储单元513中。
注意,计算机执行的程序可以是按照本说明书所述顺序以时间系列进行操作的程序,也可以是其中并行进行操作或者在期望定时(例如被呼叫时)下进行操作的程序。
此外,在本说明书中,描述记录到记录介质的程序的步骤显然包括按照所述顺序以时间系列进行的处理操作,但是也包括并行或单独执行的操作,而不严格按照时间系列处理。
此外,在本说明书中,术语“系统”表示包括多个装置(子设备)的设备的集合。
此外,前面作为单个设备(或处理器)描述的构造可以分开并构造为多个设备(或处理器)。相对地,前面作为多个设备(或处理器)描述的构造可以合在一起并配置为单个设备(或处理器)。当然也可将除了前面所述元件或组件之外的元件或组件加入每个设备(或处理器)的构造。此外,也可将特定设备(或处理器)的构造的一部分合并在其他设备(或其他处理器)的构造中,只要作为整体的系统的构造和操作实际上相同。换言之,本技术不限于前面的实施例,在不脱离本技术主题的范围内各种修改都可以。
根据前面实施例的图像编码设备和图像解码设备可应用于各种电子装备,例如用于经由卫星广播、有线广播(例如有线电视)、互联网上或者蜂窝网络上的传播、将图像记录在介质(例如光盘、磁盘和闪存)上的记录设备、或者重放来自这些存储介质的图像的重放设备,向客户端装置传送内容的传输器和接收器。下面描述四种示例性应用。
4.示例性应用
第一示例性应用:电视机
图23示出已经应用前面实施例的电视机的示例性构造。电视机900配备有天线901、调谐器902、解多路复用器903、解码器904、视频信号处理器905、显示单元906、音频信号处理器907、一个或多个扬声器908、外部接口909、控制器910、用户接口911和总线912。
调谐器902从经由天线901接收的广播信号提取用于期望频道的信号,并将提取的信号解调。然后调谐器902将通过解调获得的编码比特流输出到解多路复用器903。换言之,调谐器902在电视机900中起通信器件的作用,接收其中图像被编码的编码流。
解多路复用器903从编码比特流将用于要观看的节目的视频流和音频流分离,并将分离流输出到解码器904。此外解多路复用器903从编码比特流提取补充数据(例如电子节目指南(EPG)),并将提取的数据提供给控制器910。注意,在编码比特流被加扰的情况下,解多路复用器903还可以进行解扰。
解码器904将从解多路复用器903输入的视频流和音频流解码。然后解码器904将通过解码处理产生的视频数据输出到视频信号处理器905。此外,解码器904将通过解码处理产生的音频数据输出到音频信号处理器907。
视频信号处理器905重放从解码器904输入的视频数据,使得显示单元906显示图片。视频信号处理器905还可以使得显示单元906显示经由网络提供的应用屏幕。此外,根据设置,视频信号处理器905例如还可以对视频数据进行附加处理,例如去噪。此外,视频信号处理器905例如还可以产生图形用户接口(GUI)图像,例如菜单、按钮或指针,并将产生的图像覆盖在输出图像上。
显示单元906通过从视频信号处理器905提供的驱动信号来驱动,并在显示装置(例如液晶显示器、等离子体显示器或者有机电致发光显示器(OELD))的屏幕上显示视频或图像。
音频信号处理器907对于从解码器904输入的音频数据进行重放处理,例如D/A转换和放大,并使得音频从一个或多个扬声器908输出。音频信号处理器907还可以对音频数据进行附加处理,例如去噪。
外部接口909是用于将电视机900连接到外部设备或网络的接口。例如,也可以通过解码器904将经由外部接口909接收的视频流和音频流解码。换言之,外部接口909在电视机900中也起通信装置的作用,用于接收其中图像被编码的编码流。
控制器910包括处理器(例如CPU)以及存储器(例如RAM和ROM)。存储器存储信息,例如通过CPU执行的程序、程序数据、EPG数据以及经由网络获取的数据。例如当启动电视机900时,读取通过存储器存储的程序并通过CPU执行。通过执行这种程序,CPU例如根据从用户接口911输入的操作信号,控制电视机900的操作。
用户接口911连接到控制器910。用户接口911例如可包括用户操作电视机900以及遥控信号接收器的按钮和开关。用户接口911经由这些组件检测用户进行的操作,产生操作信号,并将产生的操作信号输出到控制器910。
总线912将调谐器902、解多路复用器903、解码器904、视频信号处理器905、音频信号处理器907、外部接口909以及控制器910相互连接。
在通过这种方式配置的电视机900中,解码器904包括根据前面实施例的图像解码设备的功能。因此,当在电视机900中解码图像时,在输入是交错信号的情况下,可以有效地进行解码。
第二示例性应用:移动电话
图24示出已经应用前面实施例的移动电话的示例性构造。移动电话920配备有天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、相机926、图像处理器927、多路复用器/解复用器(mux/demux)928、记录/重放单元929、显示单元930、控制器931、可操作单元932以及总线933。
天线921连接到通信单元922。扬声器924和麦克风925连接到音频编解码器923。可操作单元932连接到控制器931。总线933将通信单元922、音频编解码器923、相机926、图像处理器927、多路复用器/解复用器928、记录/重放单元929、显示单元930以及控制器931相互连接。
移动电话920有各种操作模式,包括音频电话模式、数据通信模式、成像模式和视频电话模式。在这些模式中,移动电话920进行诸如传输和接收音频信号、传输和接收电子邮件或图像数据、用相机拍照以及记录数据这样的操作。
在音频电话模式中,将通过麦克风925产生的模拟音频信号提供给音频编解码器923。音频编解码器923将模拟音频信号转换为音频数据,并对转换后的音频数据进行A/D转换和压缩。然后音频编解码器923将压缩的音频数据输出到通信单元922。通信单元922将音频数据编码和调制,以产生发送信号。然后,通信单元922经由天线921将产生的发送信号发送到基站(未示出)。此外,通信单元922将经由天线921接收的无线电信号放大和频率转换,以获取接收信号。然后,通信单元922将接收的信号解调和解码,以产生音频数据,并将产生的音频数据输出到音频编解码器923。音频编解码器923将音频数据解压缩和D/A转换,以产生模拟音频信号。然后音频编解码器923将产生的音频信号提供给扬声器924,用于作为音频输出。
同时,在数据通信模式中,控制器931例如可以根据用户经由可操作单元932进行的操作,产生构成电子邮件消息的文本数据。控制器931使得文本在显示单元930上显示。控制器931根据用户经由可操作单元932发出的发送指令,产生电子邮件数据,并将产生的电子邮件数据输出到通信单元922。通信单元922将电子邮件数据编码和调制,以产生发送信号。然后,通信单元922将产生的发送信号经由天线921发送到基站(未示出)。此外,通信单元922将经由天线921接收的无线电信号放大并进行频率转换,以获取接收信号。然后,通信单元922将接收信号解调和解码,以恢复电子邮件数据,并将恢复的电子邮件数据输出到控制器931。控制器931使得电子邮件的内容通过显示单元930显示,同时还使得电子邮件数据存储在记录/重放单元929的存储介质中。
记录/重放单元929包括任意的可读和可写存储介质。例如,存储介质可以是诸如RAM或闪存这样的内部存储介质,也可以是诸如硬盘、磁盘、磁光盘、光盘、通用串行总线(USB)存储器或存储卡这样的外部插入存储介质。
同时,在成像模式下,相机926例如可以拍摄目标的图像并产生图像数据,以及将产生的图像数据输出到图像处理器927。图像处理器927将从相机926输入的图像数据编码,并使得编码流存储在记录/重放单元929的存储介质中。
同时,在视频电话模式下,多路复用器/解复用器928例如可以通过从音频编解码器923输入的音频流将通过图像处理器927编码的视频流复用,并将复用流输出到通信单元922。通信单元922将该流编码和调制,以产生发送信号。然后,通信单元922经由天线921将产生的发送信号发送到基站(未示出)。此外,通信单元922将经由天线921接收的无线电信号放大并进行频率转换,以获取接收信号。编码比特流可包括在这些发送信号和接收信号中。然后,通信单元922将接收信号解调和解码,以恢复流,并将恢复的流输出到多路复用器/解复用器928。多路复用器/解复用器928将视频流和音频流从输入流分离(解复用),将视频流输出到图像处理器927以及将音频流输出到音频编解码器923。图像处理器927将视频流解码,以产生视频数据。视频数据被提供给显示单元930,并通过显示单元930显示一系列图像。音频编解码器923将音频流解压缩并进行D/A转换,以产生模拟音频信号。然后音频编解码器923将产生的音频信号提供给扬声器924,用于作为音频输出。
在通过这种方式配置的移动电话920中,图像处理器927包括根据前面实施例的图像编码设备和图像解码设备的功能。因此,在移动电话920中将图像编码和解码时,在输入是交错信号的情况下,可以有效地进行编码和解码。
第三示例性应用:记录和重放设备
图25示出已经应用前面实施例的记录和重放设备的示例性构造。记录和重放设备940例如可将来自接收到的广播节目的音频数据和视频数据编码,并将编码数据记录在记录介质。记录和重放设备940例如还可将从其他设备获取的音频数据和视频数据编码,并将编码的数据记录在记录介质。记录和重放设备940例如还可根据用户指令,经由监视器以及一个或多个扬声器,重放记录在记录介质的数据。此时,记录和重放设备940将音频数据和视频数据解码。
记录和重放设备940配备有调谐器941、外部接口942、编码器943、硬盘驱动器(HDD)944、盘驱动器945、选择器946、解码器947、屏幕显示(on screen display,OSD)948、控制器949以及用户接口950。
调谐器941从经由天线(未示出)接收的广播信号提取用于期望频道的信号,并将提取的信号解调。然后调谐器941将通过解调获得的编码比特流输出到选择器946。换言之,调谐器941在记录和重放设备940中起通信装置的作用。
外部接口942是用于将记录和重放设备940连接到外部设备或网络的接口。外部接口942例如可以是IEEE 1394接口、网络接口、USB接口或者闪存接口。例如,可将经由外部接口942接收的视频数据和音频数据输入编码器943。换言之,外部接口942在记录和重放设备940中起通信装置的作用。
如果从外部接口942输入的视频数据和音频数据没有被编码,编码器943将视频数据和音频数据编码。然后编码器943将编码的比特流输出到选择器946。
HDD 944将编码的比特流(其中将视频和音频或其他内容的数据压缩)、各种程序以及其他数据记录到内部的硬盘。此外,在视频和音频重放过程中,HDD 944从硬盘读取这些数据。
磁盘驱动器945将数据记录在插入的记录介质,以及从插入的记录介质读取数据。插入磁盘驱动器945的记录介质例如可以是DVD盘(例如DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R或者DVD+RW)、或者蓝光盘(注册商标)。
在视频和音频记录过程中,选择器946选择从调谐器941或者编码器943输入的编码比特流,并将这样选择的编码比特流输出到HDD 944或者盘驱动器945。此外,在视频和音频重放过程中,选择器946将从HDD944或者盘驱动器945输入的编码比特流输出到解码器947。
解码器947将编码比特流解码,并产生视频数据和音频数据。然后解码器947将产生的视频数据输出到OSD 948。此外,解码器947将产生的音频数据输出到一个或多个外部扬声器。
OSD 948重放从解码器947输入的视频数据并显示图片。OSD 948也可将诸如菜单、按钮或者指针这样的GUI图像覆盖显示的图片。
控制器949包括处理器(例如CPU)以及存储器(例如RAM和ROM)。存储器存储信息,例如通过CPU执行的程序和程序数据。例如当启动记录和重放设备940时,读取通过存储器存储的程序并通过CPU执行。通过执行这些程序,CPU例如根据从用户接口950输入的操作信号,控制记录和重放设备940的操作。
用户接口950连接到控制器949。用户接口950例如可包括用户操作记录和重放设备940以及遥控信号接收器的按钮和开关。用户接口950经由这些组件检测用户进行的操作,产生操作信号,并将产生的操作信号输出到控制器949。
在通过这种方式配置的记录和重放设备940中,编码器943包括根据前面实施例的图像编码设备的功能。此外,解码器947包括根据前面实施例的图像解码设备的功能。因此,当在记录和重放设备940中编码和解码图像时,在输入是交错信号的情况下,可以有效地进行编码或解码。
第四示例性应用:成像设备
图26示出已经应用前面实施例的成像设备的示例性构造。成像设备960将目标成像以产生图像,将图像数据编码,并将编码数据记录在记录介质。
成像设备960配备有光学块961、成像单元962、信号处理器963、图像处理器964、显示单元965、外部接口966、存储器967、介质驱动器968、OSD 969、控制器970、用户接口971以及总线972。
光学块961连接到成像单元962。成像单元962连接到信号处理器963。显示单元965连接到图像处理器964。用户接口971连接到控制器970。总线972将图像处理器964、外部接口966、存储器967、介质驱动器968、OSD 969以及控制器970相互连接。
光学块961包括诸如聚焦透镜和隔膜机构这样的组件。光学块961在成像单元962的成像表面上形成目标的光学图像。成像单元962包括诸如电荷耦合装置(CCD)或者互补金属氧化物半导体(CMOS)这样的图像传感器,并通过光电转换将成像表面上形成的光学图像转换为以电信号表示的图像信号。然后成像单元962将图像信号输出到信号处理器963。
信号处理器963对于从成像单元962输入的图像信号进行各种相机信号处理,例如knee校正、伽马校正和颜色校正。信号处理器963将由相机信号处理得到的图像数据输出到图像处理器964。
图像处理器964将从信号处理器963输入的图像数据编码,并产生编码数据。然后图像处理器964将这样产生的编码数据输出到外部接口966或者介质驱动器968。此外,图像处理器964通过将从外部接口966或者介质驱动器968输入的编码数据解码,产生图像数据。然后图像处理器964将产生的图像数据输出到显示单元965。图像处理器964也可将从信号处理器963输入的图像数据输出到显示单元965,并使得显示图像。图像处理器964也可将从OSD 969获取的显示数据覆盖在输出到显示单元965的图像上。
OSD 969例如可以产生诸如菜单、按钮或者指针这样的GUI图像,并将产生的图像输出到图像处理器964。
外部接口966例如可包括USB输入/输出端口。例如在打印图像时,外部接口966可将成像设备960连接到打印机。也可视情况将驱动器连接到外部接口966。例如可将诸如磁盘或光盘这样的可移动介质插入驱动器,并且可将从可移动介质读取的程序安装在成像设备960上。此外,外部接口966还可包括连接到诸如LAN或者互联网这样的网络的网络接口。换言之,外部接口966在成像设备960中起通信器件的作用。
插入介质驱动器968的记录介质可以是任意的可读写的可移动介质,例如磁盘、磁光盘、光盘或者半导体存储器。此外,例如可将记录介质永久性安装在介质驱动器968中,以形成诸如内部硬盘或者固态驱动器(SSD)这样的固定存储单元,
控制器970包括处理器(例如CPU)以及存储器(例如RAM和ROM)。存储器存储信息,例如通过CPU执行的程序和程序数据。例如当启动成像设备960时,读取通过存储器存储的程序并通过CPU执行该程序。通过执行这些程序,CPU例如根据从用户接口971输入的操作信号,控制成像设备960的操作。
用户接口971连接到控制器970。用户接口971例如可包括用户操作成像设备960的按钮和开关。用户接口971经由这些组件检测用户进行的操作,产生操作信号,并将产生的操作信号输出到控制器970。
在通过这种方式配置的成像设备960中,图像处理器964包括根据前面实施例的图像编码设备和图像解码设备的功能。因此,当在成像设备960中编码和解码图像时,在输入是交错信号的情况下,可以有效地进行编码或解码。
在本说明书中,描述了这样的示例,其中将诸如表示场编码信息的标志、表示奇偶性信息的标志、运动矢量信息以及预测模式信息的各种信息复用到编码流,并将其从编码器发送到解码器。但是,发送这些信息的技术不限于这样的示例。例如,也可将这样的信息作为与编码比特流相关联的单独数据发送或记录,而不复用到编码比特流。这里,术语“相关联”指的是在解码时,可将比特流中包括的图像(也包括诸如条带或块这样的部分图像)与对应于该图像的信息链接。换言之,可以根据图像(或比特流)在单独的发送通道上发送信息。此外,可以根据图像(或比特流)将信息记录于单独的记录介质(或者相同记录介质上的单独记录区域)。此外,信息与图像(或比特流)例如可以以诸如多个帧、单个帧或者帧中的一部分这样的任意单位相关联。
因此,前面参照附图详细描述了本公开的优选实施例。但是,本公开不限于这些示例。对于本领域技术人员而言,显然可以出现各种修改或变化,只要它们落入权利要求书所述技术构思的范围,并且应当理解,这些修改和变化显然属于本公开的技术范围。
本技术也可以采用如下构造。
(1)一种图像处理设备,包括
接收器,用于接收编码流和针对每个序列发送的、指示是否进行场编码的场编码标志;以及
解码器,用于通过根据接收器接收的场编码标志将接收器接收的编码流解码,来产生图像。
(2)根据(1)的图像处理设备,其中
接收器接收奇偶标志,该奇偶标志指示各个场的奇偶性并且针对每个图片发送,以及
在所述接收器接收的场编码标志指示进行场编码的情况下,解码器通过根据接收器接收的奇偶标志将接收器接收的编码流解码,来产生图像。
(3)根据(2)的图像处理设备,其中
场编码标志被设置在序列参数集中。
(4)根据(2)或(3)的图像处理设备,其中
奇偶标志被设置在适应参数集中。
(5)根据(1)至(4)中任一项的图像处理设备,其中
接收器接收用于作为交错信号显示的指令信息,该指令信息在补充增强信息消息中被设置和发送,以及
在接收器接收的场编码标志指示进行帧编码的情况下,解码器通过根据接收器接收的指令信息将所述接收器接收的编码流解码,来产生图像,并将产生的图像作为交错信号输出。
(6)一种图像处理方法,包括
接收编码流和针对每个序列发送的、指示是否进行场编码的场编码标志;以及
通过根据接收的场编码标志将接收的编码流解码,来产生图像。
(7)一种图像处理设备,包括
编码器,用于根据是否要对图像进行场编码,将图像编码,并产生编码流;
设置单元,用于针对每个序列,设置指示是否对图像进行场编码的场编码标志;以及
发送器,用于发送由所述编码器产生的编码流以及由设置单元针对每个序列设置的场编码标志。
(8)根据(7)的图像处理设备,其中
设置单元在要对图像进行场编码的情况下,针对每个图片设置指示各个场的奇偶性的奇偶标志,以及
发送器发送由设置单元针对每个图片设置的奇偶标志。
(9)根据(7)或(8)的图像处理设备,其中
设置单元在序列参数集中设置场编码标志。
(10)根据(8)或(9)的图像处理设备,其中
设置单元在适应参数集中设置奇偶标志。
(11)根据(7)至(10)任一项的图像处理设备,其中
在要对图像进行帧编码但是图像显示为交错信号的情况下,设置单元在补充增强信息消息中设置用于作为交错信号显示的指令信息,以及
发送器发送其中已经由设置单元设置指令信息的补充增强信息。
(12)一种图像处理方法,包括
根据是否要对图像进行场编码,将图像编码,并产生编码流;
针对每个序列设置指示是否对图像进行场编码的场编码标志;以及
发送产生的编码流和针对每个序列设置的场编码标志。
本公开包含的主题与2012年1月18日在日本专利局提交的日本优先权专利申请JP 2012-008461中公开的主题相关,因此通过参考将该申请的全部内容合并于此。
本领域技术人员应当理解,根据设计要求和其他因素,可以出现各种修改、组合、子组合和变化,只要它们落入所附权利要求书或其等同物的范围。
Claims (12)
1.一种图像处理设备,包括:
接收器,用于接收编码流和针对每个序列发送的、指示是否进行场编码的场编码标志;以及
解码器,用于通过根据所述接收器接收的所述场编码标志将所述接收器接收的编码流解码,来产生图像。
2.根据权利要求1所述的图像处理设备,其中
所述接收器接收奇偶标志,所述奇偶标志指示各个场的奇偶性并且针对每个图片发送,以及
在所述接收器接收的所述场编码标志指示进行场编码的情况下,所述解码器通过根据所述接收器接收的所述奇偶标志将所述接收器接收的编码流解码,来产生图像。
3.根据权利要求2所述的图像处理设备,其中
所述场编码标志被设置在序列参数集中。
4.根据权利要求3所述的图像处理设备,其中
所述奇偶标志被设置在适应参数集中。
5.根据权利要求4所述的图像处理设备,其中
所述接收器接收用于作为交错信号显示的指令信息,所述指令信息在补充增强信息消息中被设置和发送,以及
在所述接收器接收的场编码标志指示进行帧编码的情况下,所述解码器通过根据所述接收器接收的所述指令信息将所述接收器接收的编码流解码,来产生图像,并将产生的图像作为交错信号输出。
6.一种图像处理方法,包括:
接收编码流和针对每个序列发送的、指示是否进行场编码的场编码标志;以及
通过根据接收的场编码标志将接收的编码流解码,来产生图像。
7.一种图像处理设备,包括:
编码器,用于根据是否要对图像进行场编码,将所述图像编码,并产生编码流;
设置单元,用于针对每个序列,设置指示是否对所述图像进行场编码的场编码标志;以及
发送器,用于发送由所述编码器产生的所述编码流以及由所述设置单元针对每个序列设置的所述场编码标志。
8.根据权利要求7所述的图像处理设备,其中
所述设置单元在要对所述图像进行场编码的情况下,针对每个图片设置指示各个场的奇偶性的奇偶标志,以及
所述发送器发送由所述设置单元针对每个图片设置的所述奇偶标志。
9.根据权利要求8所述的图像处理设备,其中
所述设置单元在序列参数集中设置所述场编码标志。
10.根据权利要求9所述的图像处理设备,其中
所述设置单元在适应参数集中设置所述奇偶标志。
11.根据权利要求10所述的图像处理设备,其中
在要对所述图像进行帧编码但是所述图像显示为交错信号的情况下,所述设置单元在补充增强信息消息中设置用于作为交错信号显示的指令信息,以及
所述发送器发送其中已经由所述设置单元设置所述指令信息的所述补充增强信息。
12.一种图像处理方法,包括:
根据是否要对图像进行场编码,将所述图像编码,并产生编码流;
针对每个序列设置指示是否对所述图像进行场编码的场编码标志;以及
发送产生的编码流和针对每个序列设置的所述场编码标志。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012008461A JP2013150124A (ja) | 2012-01-18 | 2012-01-18 | 画像処理装置および方法 |
JP2012-008461 | 2012-01-18 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103220513A true CN103220513A (zh) | 2013-07-24 |
Family
ID=48779952
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2013100122574A Pending CN103220513A (zh) | 2012-01-18 | 2013-01-11 | 图像处理设备和方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20130182777A1 (zh) |
JP (1) | JP2013150124A (zh) |
CN (1) | CN103220513A (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104853196B (zh) * | 2014-02-18 | 2018-10-19 | 华为技术有限公司 | 编解码方法和装置 |
-
2012
- 2012-01-18 JP JP2012008461A patent/JP2013150124A/ja active Pending
- 2012-11-26 US US13/684,924 patent/US20130182777A1/en not_active Abandoned
-
2013
- 2013-01-11 CN CN2013100122574A patent/CN103220513A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20130182777A1 (en) | 2013-07-18 |
JP2013150124A (ja) | 2013-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10931955B2 (en) | Image processing device and image processing method that horizontal filtering on pixel blocks | |
US10785504B2 (en) | Image processing device and image processing method | |
US20240056611A1 (en) | Image processing device and image processing method | |
RU2656718C1 (ru) | Устройство и способ обработки изображений | |
US8861848B2 (en) | Image processor and image processing method | |
US10448057B2 (en) | Image processing device and method | |
TWI620433B (zh) | Image processing device and method | |
US20150043637A1 (en) | Image processing device and method | |
WO2014002896A1 (ja) | 符号化装置および符号化方法、復号装置および復号方法 | |
KR102338523B1 (ko) | 디코딩 디바이스, 디코딩 방법, 인코딩 디바이스, 및 인코딩 방법 | |
US10362305B2 (en) | Image processing device, image processing method, and recording medium | |
CN102577390A (zh) | 图像处理设备和方法 | |
CN104170383A (zh) | 图像处理装置和方法 | |
CN104662901A (zh) | 图像处理装置及方法 | |
CN104854868B (zh) | 图像处理设备和方法 | |
JP2013126157A (ja) | 画像処理装置及び画像処理方法 | |
JP6233655B2 (ja) | 画像処理装置および方法 | |
TW201330638A (zh) | 影像處理裝置及方法 | |
CN103220513A (zh) | 图像处理设备和方法 | |
WO2016199574A1 (ja) | 画像処理装置および画像処理方法 | |
US20140348220A1 (en) | Image processing apparatus and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C05 | Deemed withdrawal (patent law before 1993) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20130724 |