CN103329532A - 量子化控制装置和方法以及量子化控制程序 - Google Patents

量子化控制装置和方法以及量子化控制程序 Download PDF

Info

Publication number
CN103329532A
CN103329532A CN2012800071152A CN201280007115A CN103329532A CN 103329532 A CN103329532 A CN 103329532A CN 2012800071152 A CN2012800071152 A CN 2012800071152A CN 201280007115 A CN201280007115 A CN 201280007115A CN 103329532 A CN103329532 A CN 103329532A
Authority
CN
China
Prior art keywords
picture
numeralization
similarity
sheet
quantization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012800071152A
Other languages
English (en)
Other versions
CN103329532B (zh
Inventor
北原正树
清水淳
小野尚纪
京地清介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of CN103329532A publication Critical patent/CN103329532A/zh
Application granted granted Critical
Publication of CN103329532B publication Critical patent/CN103329532B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Abstract

一种在利用片内的视频编码化装置中具备的量子化控制装置,其具备:相似度计算单元,将相似度作为2个不同的片内的图像越相似越取大的值的指标,求出编码化对象图片的片内区域与多个已编码化图片的片内区域的各个的相似度;图片选择单元,基于由所述相似度计算单元求得的所述相似度,从多个已编码化图片选择相似度变为最大的图片;以及量子化步骤决定单元,基于由所述图片选择单元选择的所述图片的编码化信息,决定所述编码化对象图片的编码化中利用的量子化步骤。

Description

量子化控制装置和方法以及量子化控制程序
技术领域
本发明涉及利用片内(intra-slice)来实现低延迟的视频编码化中的量子化控制装置、量子化控制方法以及量子化控制程序。
本申请基于2011年3月10日申请的特愿2011-052872号要求优先权,并在此援用其内容。
背景技术
在进行TV电话等的双方向的视频通信的情况下,需要将延迟进行减小。在此,所谓“延迟”是指,从由摄像机等取得视频送信侧的某一时刻的图片直到在视频的受信侧显示该取得的图片为止的时间。
另外,所谓“图片(picture)”是指输入视频中的一个帧(frame)或一个场(field)。
在这样的应用中,为了减小传送视频时所需的带域而适用视频编码化技术。在延迟时间中,视频编码化技术所影响的主要是,在视频送信侧的图片的编码化处理的时间、在视频受信侧的编码化数据的缓冲时间,在视频受信侧的编码化数据的解码处理的时间。在基于编码化处理/解码处理的延迟时间的缩短中,这些处理的高速化是有效的。在缩短视频受信侧的编码化数据的缓冲时间中,后述的片内的利用、片内中适宜的量子化控制技术的利用是有效的。
为了实现刷新(refresh),在视频编码化中通常进行定期插入内图片(intra-picture)。但是,由于内图片(intra-picture)与间图片(inter-picture)相比编码量非常大,所以需要延长在视频受信侧的编码化数据的缓冲时间,存在延迟时间变大的问题。
在利用了片内(intra-slice)的视频编码化中,代替不利用内图片,在纵向或横向上,使全宏块被强制地内编码化那样的带,以图片单位移动,来实现刷新。此外,在图片中的不是片内的区域(以下,称为非片内区域)中,执行间编码化也可。
通过这样做,各图片的产生编码量大致变为恒定,能更缩短缓冲时间。
此外,虽然在利用纵向的带的情况下,存在不称为片内的情况(也存在表现为“内列(intra-column)”的情况),但在本申请中,为了方便其间,将利用了纵向/横向的带的任一个的情况也称为片内。
图9中示出了在纵向适用了片内的情况的概念图。在该例中,片内从图片的左端移动到右端。在此,将片内进行一周的图片数(在本例中,从图片的左端移动到右端的图片数)称为片内周期。
在数据包丢失等中,在视频受信侧不能作成正确的解码图片的情况下,通过在该时刻之后片内从图片的左端移动到右端,变为能得到正确的解码图像(进行刷新)。即,从发生数据包丢失等开始,变为能以片内周期的2倍的图片数以内的时间进行刷新。
在利用片内的情况下,由于在片内区域和非片内区域,产生编码量区别很大,所以在各自的区域适当的可编码量分配的量子化控制方法就变为必需。
在专利文献1中,公开了实现它的技术。
在专利文献1的技术中,使用编码化对象图片的最跟前的图片的片内区域的产生编码量、平均量子化步骤(以下,将它们统称为编码化信息),来求出该区域的复杂度指标值Xi。
同样地,使用编码化对象图片的最跟前的图片的非片内区域的编码化信息,来求出该区域的复杂度指标值Xp。
进而,基于Xi和Xp,将编码化对象图片的目标编码量T分为片内区域的目标编码量Ti和非片内区域的目标编码量Tp。然后,基于Ti和Tp,决定图片的各宏块的量子化步骤。
在该方法中,存在以下的问题。
一般情况下,由于片内周期越短(依赖于使各图片中的片内区域的大小变小)则画质变得越差,在多数情况下,将片内周期设0.5秒以上。在片内周期短的情况下,片内的面积非常小,例如当将片内周期设为0.5秒、每秒30图片时,片内区域的面积变为非片内区域的1/14。
因此,在编码化对象图片的片内和最跟前的图片的片内,存在视频的性质区别很大的情况,在这种情况下,复杂度指标值Ti不正确,牵涉到画质的变差。在关联状况中,虽然能容易地类推利用1片内周期前的图片(编码化对象图片和图片上的片内的位置相同的图片)的片内的编码化信息,但由于在时间上分离的很大,所以在将被拍摄体移动了的情况下等,片内的视频的性质区别很大,同样地牵涉到画质的恶化。
为了应对该问题,可以想到利用将专利文献2中所公开的技术与专利文献1的技术组合后的技术。
专利文献2的技术并不是利用片内的情况的技术,而是在利用最跟前的图片的编码化信息求出编码化对象图片的复杂度指标值时,基于编码化对象图片和最跟前的图片的各个活动性值(activity measure:对象块中的纹理越是精细(边缘多),越取大的值,来表示图像的特性的值),修正编码化对象图片的复杂度指标值的技术。在渐现(fade in)/渐隐(fade out)时等,在编码化对象图片和最跟前的图片的性质若干不同的情况下是有效的。
在专利文献1的技术中,如果将专利文献2的技术应用于求出片内的复杂度指标值的处理中,则在编码化对象图片的片内与最跟前或1片内周期前的图片的片内的性质不同的情况下,能使画质提高。
现有技术文献
专利文献
专利文献1 :特开平07-095564号公报;
专利文献2 :特开2009-055262号公报。
发明内容
本发明所要解决的技术问题
但是,在专利文献1的技术中应用了专利文献2的技术时,在编码化对象图片的片内和为了求出复杂度指标值而利用的片内的纹理区别很大的情况(例如,分别映照有不同的被拍摄体的情况等)下,依然存在复杂度指标值的精度低的情况,画质变差。
这在如H.264那样,使用内预测进行编码化的方式中是显著的。在H.264中,利用编码化对象的块的邻近的解码像素,进行多方向的外插预测、平均值预测等、切换多个预测模式进行预测。即,在处理对象的图片中,在具有与预测模式吻合的纹理的区域中高精度的预测是可能的,并且产生编码量小。
在另一方面,在具有与预测模式不吻合的纹理的区域中,即使比具有与预测模式吻合的纹理的区域活动性显著变小,产生编码量也大。
因此,在专利文献1的技术中,应用了专利文献2的技术时,例如,在相对最跟前的图片的片内的活动性,编码化对象图片的片内的活动性非常小的情况下,编码化对象图片的复杂度指标值被修正为更小的值。但是,在编码化对象图片的片内的纹理与内预测的预测模式不吻合的情况下,存在当将复杂度指标值修正小时画质变差的问题。
本发明是鉴于这样的问题而做出的发明,其目的在于,提供一种利用片内实现低延迟的视频编码化中的量子化控制装置、量子化控制方法以及量子化控制程序。
用于解决技术问题的技术方案
本发明提供了一种在利用片内的视频编码化装置中具备的量子化控制装置,其具备:相似度计算单元,将相似度作为2个不同的片内的图像越相似越取大的值的指标,求出编码化对象图片的片内区域与多个已编码化图片的片内区域的各个的相似度;图片选择单元,基于由所述相似度计算单元求得的所述相似度,从多个已编码化图片选择相似度变为最大的图片;以及量子化步骤决定单元,基于由所述图片选择单元选择的所述图片的编码化信息,决定所述编码化对象图片的编码化中利用的量子化步骤。
作为优选例,还具备:阈值判定单元,判定由所述图片选择单元选择的所述选择图片的相似度是否比规定的阈值大,所述量子化步骤决定单元在基于所述阈值判定单元判定的结果为所述相似度比所述阈值大的情况下,执行决定所述编码化中利用的量子化步骤的处理,在所述相似度为所述阈值以下的情况下,不利用选择图片,而基于规定的初始值决定编码化对象图片的编码化中利用的量子化步骤。
典型的是,所述相似度计算单元基于与片内的块单位的活动性的合计值相关的差分绝对值,求出所述相似度。
作为另外的优选例,所述相似度计算单元针对所述已编码化图片中的、片内的图像平面上的位置与编码化对象图片的片内的图像平面上的位置相对近的图片,求出所述相似度。
另外,本发明提供了一种量子化控制方法,在利用片内的视频编码化装置所具备的量子化控制装置中控制量子化,具有:相似度计算步骤,将相似度作为2个不同的片内的图像越相似越取大的值的指标,求出编码化对象图片的片内区域与多个已编码化图片的片内区域的各个的相似度;图片选择步骤,基于由所述相似度计算步骤求得的所述相似度,从多个已编码化图片选择相似度变为最大的图片;以及量子化步骤决定步骤,基于由所述图片选择步骤选择的所述图片的编码化信息,决定所述编码化对象图片的编码化中利用的量子化步骤。
作为优选例,还具有:阈值判定步骤,判定由所述图片选择步骤选择的所述选择图片的相似度是否比规定的阈值大,所述量子化步骤决定步骤在基于所述阈值判定步骤判定的结果为所述相似度比所述阈值大的情况下,执行决定所述编码化中利用的量子化步骤的处理,在所述相似度为所述阈值以下的情况下,不利用选择图片,而基于规定的初始值决定编码化对象图片的编码化中利用的量子化步骤。
典型的是,所述相似度计算步骤基于与片内的块单位的活动性的合计值相关的差分绝对值,求出所述相似度。
作为另外的优选例,所述相似度计算步骤针对所述已编码化图片中的、片内的图像平面上的位置与编码化对象图片的片内的图像平面上的位置相对近的图片,求出所述相似度。
另外,本发明提供了一种使利用片内的视频编码化装置上的计算机执行量子化控制处理的量子化控制程序,其使所述计算机执行如下步骤:相似度计算步骤,将相似度作为2个不同的片内的图像越相似越取大的值的指标,求出编码化对象图片的片内区域与多个已编码化图片的片内区域的各个的相似度;图片选择步骤,基于由所述相似度计算步骤求得的所述相似度,从多个已编码化图片选择相似度变为最大的图片;以及量子化步骤决定步骤,基于由所述图片选择步骤选择的所述图片的编码化信息,决定所述编码化对象图片的编码化中利用的量子化步骤。
发明效果
根据本发明,与现有技术不同,由于为了求出编码化对象图片的片内的复杂度指标值,能利用与该片内性质相似的已编码化的片内,所以能得到比现有技术更提高画质的效果。
附图说明
[图1]是表示本发明的第一实施方式中的视频编码化装置的结构的框图;
[图2]是表示图1所示的量子化控制部2的结构的框图;
[图3]是表示图2所示的量子化控制部2的处理动作的流程图;
[图4]是表示在第一实施方式中利用的片内插入例的说明图;
[图5]是表示本发明的第二实施方式中的、量子化控制部2的处理动作的流程图;
[图6]是表示本发明的第三实施方式中的、量子化控制部2的处理动作的流程图;
[图7]是表示本发明的第四实施方式中的、量子化控制部2的处理动作的流程图;
[图8]是表示第四实施方式中的、作为候补的已编码化图片的一个例子的说明图;
[图9]是表示在纵向适用了片内的情况的概念的说明图。
具体实施方式
<第一实施方式> 
以下,参照附图,对基于本发明的第一实施方式的视频编码化装置进行说明。
图1是表示同实施方式的结构的框图。图1所示的视频编码化装置1是生成依照H.264的编码化数据的结构,并且是将输入图片和输入图片编号进行输入,并输出编码化数据的装置。
此外,在参照图1对视频编码化装置1的结构进行说明时,关于依照H.264的视频编码化装置通常所具有的公知的功能/结构,限于与本发明的说明没有直接关联,所以省略其说明。
在本实施方式中,依照H.264的视频编码化装置1中,量子化控制部2与现有的装置结构不同。
图2中示出了图1所示的量子化控制部2的结构。本实施方式中的量子化控制部2由相似度计算部21、图片选择部22、分配编码量决定部23以及量子化步骤决定部24构成。
接着,参照图1,对图1所示的视频编码化装置1的基本动作进行说明。
视频编码化装置1因为生成依照H.264的编码化数据,所以以块单位进行大多数的处理。
关于输入图片的编码化对象块,计算与从内预测部3或间预测部4输出的预测图像块之间的差分,将由差分构成的差分图像块输入到正交变换/量子化部5。正交变换/量子化部5对差分图像块实施正交变换,并将正交变换系数进行量子化。其结果,得到的正交变换系数量子化值,在可变长编码化部6中,被可变长编码化。
在另一方面,将正交变换系数量子化值也输入到逆量子化/逆正交变换部7。在逆量子化/逆正交变换部7中,将正交变换系数量子化值进行逆量子化,并且对逆量子化的变换系数实施逆正交变换。此外,利用从量子化控制部2输出的块单位的量子化步骤进行量子化和逆量子化。该量子化控制的动作在下面叙述。
进而,这样,将逆正交变换的块输入到内预测部3,并利用于另外的块的内预测中。在内预测部3中,对输入图片的编码化对象块,利用从逆量子化/逆正交变换部7输出的块的像素进行内预测。
另外,将从逆量子化/逆正交变换部7输出的块也输入到环路滤波器部8。在环路滤波器部8中,当1图片量的块被输入后,就适用环路滤波器(编码化环路内的滤波处理)。这样,适用环路滤波器的图片,变为与解码侧得到的解码图片同等。解码图片存储于解码图片存储器9。
间预测部4,每当将输入图片的编码化对象块进行间预测时,将解码图片存储器9中存储的解码图片作为参照图像。
片内控制部10决定在输入图片的哪个位置,插入多少宽度的片内(图片的哪个块包含在片内)。
片内的位置由于输入图片每次进入就阶段性地变化,所以利用表示输入图片的输入顺序的的输入图片编号。进而,给内/间切换开关11通知编码化对象块是否包含于片内。
在编码化对象块被包含于片内的情况下,内/间切换开关11必定选择内预测。另一方面,在编码化对象块不被包含于片内的情况下,内/间切换开关11必定选择间预测。
此外,在编码化对象块不被包含于片内的情况下,虽然根据预测效率切换内预测/间预测的结构也可,但,在此为了方便其间,设定成必定进行间预测。
接着,参照图3,对图2所示的量子化控制部2的动作进行说明。在此,对为了将某一个图片进行编码化而决定各块的量子化步骤的处理进行说明。
另外,图4中示出了在本实施方式利用的片内插入例。将片内周期设为6图片,将各图片中的片内的宽度设为相同。另外,将最前头图片之外的全图片作为P图片进行编码化。即,与有B图片的情况不同,将图片按输入的顺序进行编码化。
在图2所示的量子化控制部2中,输入编码化对象图片和多个已编码化图片(不过,不是解码图像而是原图像)。在本实施方式中,设为输入1片内周期量的已编码化图片(即,6张)。进而,将这些图片输入到相似度计算部21。进一步,在相似度计算部21中,也输入指定在各图片的哪个位置有片内的片内信息。
将这些进行利用,在相似度计算部21中,求出编码化对象图片的片内和各个已编码图片的片内的相似度C(i)、i=0~5(i是已编码化图片的指数(index))(步骤S1)。
上述相似度是表示2个不同的片内区域的图像相似的程度的指标值。相似度例如利用各个的片内内部的相对坐标相同的像素值的差分的绝对值和(以下,称为SAD)。在这种情况下,变为C(i)越小,则2个片内越相似。
接着,在图片选择部22中,输入编码化对象图片的片内和各个的已编码化图片的片内的相似度C(i)、i=0~5。
在图片选择部22中,以C(i)为基础,求出片内的相似度最高的已编码化图片i_select(步骤S2)。即,作为C(i_select),求出SAD最小的C(i_select)。进而,将已编码化图片i_select作为选择图片,将选择图片的指数i_select(选择图片信息)通知给分配编码量决定部23。
接着,分配编码量决定部23求出片内区域和非片内区域的复杂度指标值,并决定各个的区域的分配编码量。
非片内区域的复杂度指标值Xp的求出方法,以公知的方法来求出。在此,设为利用与最跟前的图片的非片内区域相关的编码化信息(产生编码量、平均量子化步骤)来求出复杂度指标值Xp(步骤S3)。具体而言,当将最跟前的图片的非片内区域的产生编码量设为Gp,将平均量子化步骤设为Qp_ave时,能通过Xp=Gp×Qp_ave来求出Xp。
接着,求出片内区域的复杂度指标值Xi(步骤S4)。利用与由图片选择部22选择的已编码化图片i_select(选择图片)的片内区域相关的编码化信息(产生编码量、平均量子化步骤)求出Xi。在此,在分配编码量决定部23中,输入与上述的多个已编码化图片的片内区域相关的编码化信息。
具体而言,当将选择图片的片内区域的产生编码量设为Gi_select,将平均量子化步骤设为Qp_select_ave时,能通过Xi=Gi_select×Qp_select_ave来求出Xi。
最后,量子化步骤决定部24,计算出编码化对象图片中的片内区域和非片内区域的分配编码量(分别设为Xi、Xp),并适用各个的分配编码量,求出各块的量子化步骤。该处理用公知的方法进行即可。为了将片内区域和非片内区域中利用的量子化步骤做成大致同等,由以下的方式求出分配编码量。
Ti=T×(Xi/(Xi+Xp))
Tp=T×(Xp/(Xi+Xp))
在此,T是图片全体的分配编码量。该数学公式的依据由于是公知的(例如参照专利文献1),所以省略详细的说明。
进而,基于Ti决定片内区域中的块单位的分配编码量,基于Tp决定非片内区域中的块单位的分配编码量,求出各块的量子化步骤(步骤S5)。
如上所述,在现有技术中,在编码化对象图片和最跟前的图片的片内区域,在纹理显著不同的情况下,复杂度指标值的推定精度低。在本实施方式中,为了求出多个已编码化图片与编码化对象图片的片内的相似度,并求出复杂度指标值,选择利用的已编码化图片。由此,由于能利用与编码化对象图片的片内区域纹理相似的已编码化的片内区域的编码化信息,所以比现有技术复杂度指标值的精度更高,与片内区域的性质吻合的编码量分配就变为可能,能期待实现更高的画质。
<第二实施方式>
接着,参照图5,对基于本发明的第二实施方式的视频编码化装置进行说明。在图5所示的处理动作与图3所示的处理动作相同的部分标以相同的附图标记,并省略其说明。
图5所示的处理动作与图3所示的处理动作不同的点是步骤S6、S7新设的点。
在步骤S2中,在图片选择部22求出选择图片之后,将选择图片的相似度与规定的阈值进行比较,判断相似度是否比规定的阈值大(步骤S6)。此外,如上所述的那样在相似度C(i)为SAD的情况下,“相似度是否比规定的阈值大”的判定实际上变为“C(i_select)是否比规定的阈值小”的判定。
该判定的结果在相似度比规定的阈值大的情况下,将选择图片的片内和编码化对象图片的片内看作视频的性质相似的片内,将选择图片的指数i_select通知给分配编码量决定部23,与图3所示的处理动作一样,执行步骤S4、S5的处理。
另一方面,在选择图片的相似度比规定的阈值小的情况下,将选择图片的片内和编码化对象图片的片内判定为视频的性质不同,图片选择部22将null数据通知给分配编码量决定部23。在这种情况下,分配编码量决定部23以规定的初始值将复杂度指标值Xi进行初始化(步骤S7)。
初始值只要是与各种性质的图像相关的平均的值,则任何值都可。作为其代表例,有在MPEG-2 TM5中利用的初始值,应用该初始值即可。在MPEG-2 TM5中,作为一个图片的复杂度指标值X的初始值,定义为以下。
X=(160*bit_rate)/115
将该X以相对图片的片内的面积进行缩放即可。具体而言,在本实施方式中,由于将片内周期作为6图片,所以片内区域的复杂度指标值Xi按以下的方式进行计算。
Xi=X×(1/6)
在选择图片的片内的相似度非常小的情况下,选择图片和编码化对象图片的片内变为复杂度完全不同。例如,在编码化对象图片的片内的纹理与选择图片的片内相比为非常复杂的情况下,分配编码量变小,参照画质变差的情况。为此,在选择图片的片内的相似度小的情况下,由于以规定的初始值将复杂度指标值进行了初始化,所以能防止极端的画质变差。
<第三实施方式> 
接着,参照图6,对基于本发明的第三实施方式的视频编码化装置进行说明。在图6所示的处理动作与图3所示的处理动作相同的部分标以相同的附图标记,并省略其说明。
图6所示的处理动作与图3所示的处理动作不同的点是将图3所示的步骤S1、S2置换为图6所示的步骤S11、S21的点。在本实施方式中,利用上述的图片的活动性(值)求出相似度计算部21中的相似度。
具体而言,求出片内内部的各块的活动性的合计值(称为合计活动性),并将编码化对象图片的片内的合计活动性与已编码化图片的片内的合计活动性的差分绝对值作为相似度(步骤S11)。
将块分割为4个子块,求出各子块中的像素值的方差,并作为4个方差值的最小值求出块的活动性。将合计活动性的差分绝对值通知给图片选择部22。
在图片选择部22中,将合计活动性的差分绝对值最小的已编码化图片作为选择图片,并将选择图片的指数i_select通知给分配编码量决定部23(步骤S21)。
此外,作为使用了活动性的相似度,利用以下所示的相似度也可。在前述的例子中,虽然求出了各块的活动性的合计值的差分绝对值,当将各块的活动性的差分绝对值的总和作为相似度也可。
在此,将片内A、B的各块的活动性分别设为act_A(j)、act_B(j),j=0,1,2,...,N-1。j是片内内部的宏块的指数,N是片内内部的块数(宏块的数量)。另外,将片内A、B中的块j设为片内内部的相对位置相同。此时,用以下的公式求出相似度C。
[数学公式1]
Figure 502377DEST_PATH_IMAGE001
另外,并不是块单位的活动性,而是将片内作为单位求出活动性,将2个片内的活动性的差分绝对值作为相似度也可。将片内作为单位的活动性是,将片内分割为多个块(例如面积均等的4个块),求出各个块中的像素值的方差值,并将各块的方差值的最小值作为片内的活动性。
作为典型的相似度的指标虽然有利用了2个片内的各像素的差分值的绝对值和(SAD)等的像素单位的差分的标准,但存在计算量多的问题。
在另一方面,在2个片内映照相同的被拍摄体的情况下,由于各个片内的块单位的活动性的合计值变为相近的值,所以与块单位的活动性的合计值相关的差分绝对值作为相似度的标准是有效的。
另外,块单位的活动性在量子化控制之外的模式判定等中是有效的,如专利文献1中记载的那样从以前直到现在正在使用。即,为了模式判定等已求出活动性的情况下,若将该活动性挪用到本发明的相似度的计算中,则与SAD相比能大幅度地减少计算量。典型的正如下文所言。
在将片内的像素数设成N的情况下,每一图片的2个片内之间的SAD计算的运算量是,乘积累加运算((Multiply and Accumulation)次数为2N-1,绝对值的运算次数为N。在另一方面,当在模式判定等中预先求得块单位(假设块在纵向横向都为16像素)的活动性时,与每一图片的片内的块单位的活动性合计值相关的差分绝对值的运算量是,乘积累加运算次数为N/256,绝对值的运算次数为1。
这样,在已求得活动性的情况下,与将利用了SAD等的像素单位的差分的标准作为相似度的情况相比,在维持画质的同时能减少运算量。
<第四实施方式> 
接着,参照图7,对基于本发明的第四实施方式的视频编码化装置进行说明。在图7所示的处理动作与图3所示的处理动作相同的部分标以相同的附图标记,并省略其说明。
图7所示的处理动作与图3所示的处理动作不同的点是,将图3所示的步骤S1置换为图6所示的步骤S12的点。
在本实施方式中,将由相似度计算部21求出相似度的对象,限定为6张已编码化图片中的、与编码化对象图片的片内在图像平面上邻接的片内。
作为限定的方法,例如,计算编码化对象图片的片内的图像平面上的坐标值与已编码化图片的片内的图像平面上的坐标值的差分绝对值,将该差分绝对值变为规定值以下的已编码化图片的片内,作为邻接的片内进行限定。片内的图像平面上的坐标值,例如,可以考虑图像平面中的片内的左端与右端的水平方向坐标值的中点的坐标值。
若将决定邻接的片内的、前述的规定值设为一个片内的宽度时,则选择图8所示的已编码化图片的片内。在该例子中,选择编码化对象图片的最跟前的已编码化图片(在图像平面上,片内为左邻,图8中的A)、1内周期前的图片(在图像平面上,片内为同位置,图8中的B)、1内周期前的图片的下一张图片(在图像平面上,片内为右邻,图8中的C)。
在这种情况下,求出这些片内与编码化对象图片的片内的相似度,并将相似度通知给图片选择部22(步骤S12)。
在相似度计算中利用的过去的图片为多数的情况下,存在相似度计算的运算量变多的问题。但是,在利用片内的TV电话等的应用中,与体育视频等不同,由于活动量小,所以,在编码化对象图片的片内映照的被拍摄体,在图像平面上,映照于空间上近的已编码化的片内的可能性很高。
在此,在本实施方式中,由于将相似度计算的对象限定为与编码化对象的片内在图像平面上的位置在空间上近的已编码化的片内,所以在维持画质的同时能减少运算量。
在典型的例子中,在输入视频的图片率为每秒30图片,片内周期作为0.5秒,对1片内周期量的过去的图片的全部进行相似度计算的情况下,对过去的15张的图片的各个,相似度计算是必需的。与此相对,作为一个例子,在将相似度计算的对象作为与编码化对象图片的片内位置相同的过去的图片(1片内周期前的图片)、编码化对象图片的片内的左邻、具有右邻的片内的过去的图片的情况下,变成对过去的3张图片的各个进行相似度计算,运算量变为1/5。
如上所述,为了解决本发明的技术问题,每当求出编码化对象图片的片内的复杂度指标值时,求出多个已编码化图片与编码化对象图片的片内的相似度,利用将片内的相似度最高的已编码化图片进行编码化后的编码化信息,求出编码化对象图片的片内的复杂度指标值。
通过利用这样的方法,与现有技术不同,为了求出编码化对象图片的片内的复杂度指标值,由于能利用与该片内性质相似的已编码化的片内,与现有技术相比能使画质提高。
此外,通过将用于实现图2中的处理部的功能的程序记录于计算机可读取的记录介质,并将该记录介质中记录的程序读入到计算机系统且执行,来执行量子化控制处理也可。
在此所谓的“计算机系统”是包括OS、周边设备等的硬件的计算机系统。
另外,“计算机可读取的记录介质”是指,软盘、光磁盘、ROM、CD-ROM等的可移动介质、内置于计算机系统的硬盘等的存储装置。进一步,“计算机可读取的记录介质”是指,如在经由因特网等的网络、电话线路等的通信线路发送来程序的情况下的服务器、成为客户端的计算机系统内部的易失性存储器(RAM)那样,也包括将程序保持一定时间的装置。
另外,将上述程序从将该程序存储于存储装置等的计算机系统,经由传送介质,或者,通过传送介质中的传送波传送到其它计算机系统也可。此处,传送程序的“传送介质”是指,如因特网等的网络(通信网)、电话线路等的通信线路(通信线)那样具有传送信息的功能的介质。
另外,上述程序是用于实现前述功能的一部分的程序也可。进而,是以与计算机系统中已记录的程序的组合能实现前述功能的、所谓的差分文档(差分程序)也可。
工业实用性
其能适用于在利用片内实现低延迟的视频编码化中进行量子化控制不可缺少的用途中。
附图标记说明
2・・・量子化控制部
21・・・相似度计算部
22・・・图片选择部
23・・・分配编码量决定部
24・・・量子化步骤决定部。

Claims (9)

1.一种量子化控制装置,其具备在利用片内的视频编码化装置中,其特征在于,
具备:
相似度计算单元,将相似度作为2个不同的片内的图像越相似越取大的值的指标,求出编码化对象图片的片内区域与多个已编码化图片的片内区域的各个的相似度;
图片选择单元,基于由所述相似度计算单元求得的所述相似度,从多个已编码化图片选择相似度变为最大的图片;以及
量子化步骤决定单元,基于由所述图片选择单元选择的所述图片的编码化信息,决定所述编码化对象图片的编码化中利用的量子化步骤。
2.根据权利要求1所述的量子化控制装置,其特征在于,
还具备:阈值判定单元,判定由所述图片选择单元选择的所述选择图片的相似度是否比规定的阈值大,
所述量子化步骤决定单元在基于所述阈值判定单元判定的结果为所述相似度比所述阈值大的情况下,执行决定所述编码化中利用的量子化步骤的处理,在所述相似度为所述阈值以下的情况下,不利用选择图片,而基于规定的初始值决定编码化对象图片的编码化中利用的量子化步骤。
3.根据权利要求1所述的量子化控制装置,其特征在于,
所述相似度计算单元基于与片内的块单位的活动性的合计值相关的差分绝对值,求出所述相似度。
4.根据权利要求1所述的量子化控制装置,其特征在于,
所述相似度计算单元针对所述已编码化图片中的、片内的图像平面上的位置与编码化对象图片的片内的图像平面上的位置相对近的图片,求出所述相似度。
5.一种量子化控制方法,在利用片内的视频编码化装置所具备的量子化控制装置中控制量子化,其特征在于,
具有:
相似度计算步骤,将相似度作为2个不同的片内的图像越相似越取大的值的指标,求出编码化对象图片的片内区域与多个已编码化图片的片内区域的各个的相似度;
图片选择步骤,基于由所述相似度计算步骤求得的所述相似度,从多个已编码化图片选择相似度变为最大的图片;以及
量子化步骤决定步骤,基于由所述图片选择步骤选择的所述图片的编码化信息,决定所述编码化对象图片的编码化中利用的量子化步骤。
6.根据权利要求5所述的量子化控制方法,其特征在于,
还具有:阈值判定步骤,判定由所述图片选择步骤选择的所述选择图片的相似度是否比规定的阈值大,
所述量子化步骤决定步骤在基于所述阈值判定步骤判定的结果为所述相似度比所述阈值大的情况下,执行决定所述编码化中利用的量子化步骤的处理,在所述相似度为所述阈值以下的情况下,不利用选择图片,而基于规定的初始值决定编码化对象图片的编码化中利用的量子化步骤。
7. 根据权利要求5所述的量子化控制方法,其特征在于,
所述相似度计算步骤基于与片内的块单位的活动性的合计值相关的差分绝对值,求出所述相似度。
8.根据权利要求5所述的量子化控制方法,其特征在于,
所述相似度计算步骤针对所述已编码化图片中的、片内的图像平面上的位置与编码化对象图片的片内的图像平面上的位置相对近的图片,求出所述相似度。
9.一种量子化控制程序,其使利用片内的视频编码化装置上的计算机执行量子化控制处理,其特征在于,
使所述计算机执行如下步骤:
相似度计算步骤,将相似度作为2个不同的片内的图像越相似越取大的值的指标,求出编码化对象图片的片内区域与多个已编码化图片的片内区域的各个的相似度;
图片选择步骤,基于由所述相似度计算步骤求得的所述相似度,从多个已编码化图片选择相似度变为最大的图片;以及
量子化步骤决定步骤,基于由所述图片选择步骤选择的所述图片的编码化信息,决定所述编码化对象图片的编码化中利用的量子化步骤。
CN201280007115.2A 2011-03-10 2012-03-05 量子化控制装置和方法以及量子化控制程序 Active CN103329532B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011052872 2011-03-10
JP2011-052872 2011-03-10
PCT/JP2012/055564 WO2012121211A1 (ja) 2011-03-10 2012-03-05 量子化制御装置及び方法、及び量子化制御プログラム

Publications (2)

Publication Number Publication Date
CN103329532A true CN103329532A (zh) 2013-09-25
CN103329532B CN103329532B (zh) 2016-10-26

Family

ID=46798172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280007115.2A Active CN103329532B (zh) 2011-03-10 2012-03-05 量子化控制装置和方法以及量子化控制程序

Country Status (11)

Country Link
US (1) US9906803B2 (zh)
EP (1) EP2648409B1 (zh)
JP (1) JP5410638B2 (zh)
KR (1) KR101522391B1 (zh)
CN (1) CN103329532B (zh)
BR (1) BR112013019415A2 (zh)
CA (1) CA2824164A1 (zh)
ES (1) ES2604202T3 (zh)
RU (1) RU2573279C2 (zh)
TW (1) TWI510050B (zh)
WO (1) WO2012121211A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6398569B2 (ja) * 2014-10-07 2018-10-03 株式会社ソシオネクスト 画像符号化装置、画像符号化方法および画像符号化プログラム
KR20160105203A (ko) 2015-02-27 2016-09-06 삼성전자주식회사 멀티미디어 코덱, 상기 멀티미디어 코덱을 포함하는 애플리케이션 프로세서, 및 상기 애플리케이션 프로세서의 동작 방법
KR102601732B1 (ko) * 2016-05-31 2023-11-14 삼성디스플레이 주식회사 영상 부호화 방법 및 영상 복호화 방법
JP6943628B2 (ja) 2017-05-24 2021-10-06 Nttエレクトロニクス株式会社 映像符号化装置および映像符号化方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101171842A (zh) * 2005-03-10 2008-04-30 高通股份有限公司 多媒体数据的改进的编码
US20080304562A1 (en) * 2007-06-05 2008-12-11 Microsoft Corporation Adaptive selection of picture-level quantization parameters for predicted video pictures

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3450384B2 (ja) * 1993-09-20 2003-09-22 株式会社東芝 動画像符号化装置
US5471207A (en) * 1994-02-23 1995-11-28 Ricoh Company Ltd. Compression of palettized images and binarization for bitwise coding of M-ary alphabets therefor
US5832234A (en) * 1995-09-29 1998-11-03 Intel Corporation Encoding images using block-based macroblock-level statistics
ES2178142T3 (es) 1997-02-08 2002-12-16 Matsushita Electric Ind Co Ltd Matriz de cuantificacion para la codificacion de imagenes fijas y en movimiento.
US6023296A (en) * 1997-07-10 2000-02-08 Sarnoff Corporation Apparatus and method for object based rate control in a coding system
JP4362795B2 (ja) * 1999-07-13 2009-11-11 日本ビクター株式会社 動画像符号化装置及びその方法
US6804301B2 (en) * 2001-08-15 2004-10-12 General Instrument Corporation First pass encoding of I and P-frame complexity for compressed digital video
US6882685B2 (en) 2001-09-18 2005-04-19 Microsoft Corporation Block transform and quantization for image and video coding
US6763068B2 (en) 2001-12-28 2004-07-13 Nokia Corporation Method and apparatus for selecting macroblock quantization parameters in a video encoder
US7251275B2 (en) * 2002-06-25 2007-07-31 General Instrument Corporation Methods and apparatus for statistical multiplexing during dual pass encoding
AU2003280512A1 (en) * 2002-07-01 2004-01-19 E G Technology Inc. Efficient compression and transport of video over a network
JP4221655B2 (ja) 2003-03-06 2009-02-12 ソニー株式会社 符号化装置および符号化方法、プログラム、並びに記録媒体
SG140441A1 (en) * 2003-03-17 2008-03-28 St Microelectronics Asia Decoder and method of decoding using pseudo two pass decoding and one pass encoding
US20050047504A1 (en) * 2003-09-03 2005-03-03 Sung Chih-Ta Star Data stream encoding method and apparatus for digital video compression
TWI225363B (en) 2003-11-10 2004-12-11 Mediatek Inc Method and apparatus for controlling quantization level of a video encoding bit stream
JP4257655B2 (ja) 2004-11-04 2009-04-22 日本ビクター株式会社 動画像符号化装置
US7706442B2 (en) * 2005-02-15 2010-04-27 Industrial Technology Research Institute Method for coding mode selection of intra prediction in video compression
JP4146444B2 (ja) * 2005-03-16 2008-09-10 株式会社東芝 動画像符号化の方法及び装置
AU2006241637A1 (en) * 2005-04-29 2006-11-09 Samsung Electronics Co., Ltd. Video coding method and apparatus supporting fast fine granular scalability
JP2009526436A (ja) * 2006-02-06 2009-07-16 トムソン ライセンシング ビデオ符号化向けの動き予測の予測子として利用可能な動き情報を再使用する方法及び装置
TWI324883B (en) 2006-06-26 2010-05-11 Himax Tech Inc Method of estimating a quantization parameter
KR100829169B1 (ko) * 2006-07-07 2008-05-13 주식회사 리버트론 H.264 코딩의 압축모드 예측 장치 및 방법
US8036270B2 (en) * 2006-07-27 2011-10-11 Sharp Laboratories Of America, Inc. Intra-frame flicker reduction in video coding
EP2080377A2 (en) 2006-10-31 2009-07-22 THOMSON Licensing Method and apparatus for transrating bit streams
US7653130B2 (en) * 2006-12-27 2010-01-26 General Instrument Corporation Method and apparatus for bit rate reduction in video telephony
US20080170624A1 (en) * 2007-01-12 2008-07-17 Mitsubishi Electric Corporation Image encoding device and image encoding method
US8265142B2 (en) * 2007-03-14 2012-09-11 Nippon Telegraph And Telephone Corporation Encoding bit-rate control method and apparatus, program therefor, and storage medium which stores the program
KR101345295B1 (ko) * 2007-06-11 2013-12-27 삼성전자주식회사 인트라 픽처만을 이용한 동영상 시퀀스의 부호화시의비트율 제어 방법 및 장치
JP4527756B2 (ja) * 2007-08-27 2010-08-18 日本電信電話株式会社 映像符号化制御装置、映像符号化制御方法、映像符号化制御プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
EP2227020B1 (en) * 2007-09-28 2014-08-13 Dolby Laboratories Licensing Corporation Video compression and transmission techniques
WO2009069316A1 (ja) * 2007-11-28 2009-06-04 Panasonic Corporation 画像符号化方法および画像符号化装置
WO2009089032A2 (en) * 2008-01-10 2009-07-16 Thomson Licensing Methods and apparatus for illumination compensation of intra-predicted video
US8542730B2 (en) * 2008-02-22 2013-09-24 Qualcomm, Incorporated Fast macroblock delta QP decision
KR101460608B1 (ko) * 2008-03-04 2014-11-14 삼성전자주식회사 필터링된 예측 블록을 이용한 영상 부호화, 복호화 방법 및장치
US20090274211A1 (en) * 2008-04-30 2009-11-05 Omnivision Technologies, Inc. Apparatus and method for high quality intra mode prediction in a video coder
JP2010035025A (ja) * 2008-07-30 2010-02-12 Canon Inc 符号化装置およびその方法
EP2334079B1 (en) * 2008-09-29 2014-05-14 Panasonic Corporation Method for encoding moving picture and moving picture encoding device
JP5232114B2 (ja) * 2008-09-29 2013-07-10 パナソニック株式会社 画像符号化装置、及び画像符号化方法
US9288494B2 (en) * 2009-02-06 2016-03-15 Thomson Licensing Methods and apparatus for implicit and semi-implicit intra mode signaling for video encoders and decoders
JP5353532B2 (ja) * 2009-07-29 2013-11-27 ソニー株式会社 画像処理装置及び画像処理方法
KR101733612B1 (ko) * 2009-10-22 2017-05-08 톰슨 라이센싱 비디오 엔코딩 및 디코딩을 위한 dc 인트라 예측 모드의 방법 및 장치
EP2640075A3 (en) * 2009-12-08 2014-02-26 Thomson Licensing Methods and apparatus for adaptive template matching prediction for video encoding and decoding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101171842A (zh) * 2005-03-10 2008-04-30 高通股份有限公司 多媒体数据的改进的编码
US20080304562A1 (en) * 2007-06-05 2008-12-11 Microsoft Corporation Adaptive selection of picture-level quantization parameters for predicted video pictures

Also Published As

Publication number Publication date
CA2824164A1 (en) 2012-09-13
BR112013019415A2 (pt) 2019-09-24
US20130343453A1 (en) 2013-12-26
US9906803B2 (en) 2018-02-27
TW201244488A (en) 2012-11-01
ES2604202T3 (es) 2017-03-03
TWI510050B (zh) 2015-11-21
JPWO2012121211A1 (ja) 2014-07-17
KR101522391B1 (ko) 2015-05-21
RU2573279C2 (ru) 2016-01-20
RU2013135712A (ru) 2015-04-20
CN103329532B (zh) 2016-10-26
JP5410638B2 (ja) 2014-02-05
WO2012121211A1 (ja) 2012-09-13
KR20130095322A (ko) 2013-08-27
EP2648409A4 (en) 2014-05-21
EP2648409A1 (en) 2013-10-09
EP2648409B1 (en) 2016-08-17

Similar Documents

Publication Publication Date Title
EP3174297B1 (en) Video encoding and decoding with improved error resilience
CN102835110B (zh) 运动矢量预测编码方法、运动矢量预测解码方法、运动图像编码装置、运动图像解码装置及其程序
US20160080770A1 (en) Encoding system using motion estimation and encoding method using motion estimation
US20090268821A1 (en) Block parallel and fast motion estimation in video coding
CN104067619A (zh) 视频解码器、视频编码器、视频解码方法以及视频编码方法
RU2573747C2 (ru) Способ и устройство кодирования видео, способ и устройство декодирования видео и программы для них
CN102577389A (zh) 运动图像编码装置和运动图像解码装置
JP2007529175A5 (zh)
JP2010154490A5 (zh)
JP2008227670A (ja) 画像符号化装置
CN103329532A (zh) 量子化控制装置和方法以及量子化控制程序
CN107277519A (zh) 一种判断视频帧的帧类型的方法及电子设备
JP4958713B2 (ja) 動画像符号化装置及びその制御方法
JP5571542B2 (ja) 映像符号化方法、及び映像復号方法
CN112004091B (zh) 帧间预测方法及其相关装置
CN105075257A (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序
US11082688B2 (en) Restricted overlapped block motion compensation
JP4571069B2 (ja) 動画像符号化装置
JP5552078B2 (ja) 符号化装置
US20100177827A1 (en) Sub-pixel generating apparatus, sub-pixel generating method and storage medium, as well as motion compensating apparatus
KR20080102947A (ko) 가변 블록 움직임 추정을 위한 sad 계산 방법 및 장치
JP2009111520A (ja) 画像符号化装置、画像符号化方法及びプログラム
JP2004297696A (ja) 映像信号符号化装置
JP2012120108A (ja) 補間画像生成装置及びプログラム、並びに、動画像復号装置及びプログラム
JP2003219428A (ja) 動画像符号化装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant