CN1964491A

CN1964491A - 动态图像编码装置和图像记录再现装置

Info

Publication number: CN1964491A
Application number: CNA2006100665693A
Authority: CN
Inventors: 轻部勋; 村上智一; 伊藤浩朗
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2005-11-08
Filing date: 2006-04-03
Publication date: 2007-05-16
Also published as: JP2007134755A; US20070140336A1

Abstract

本发明提供一种动态图像编码装置和图像记录再现装置，降低编码处理花费的运算量而缩短编码处理花费的时间。根据本发明的动态图像编码装置，备有针对把所述动态图像分割成多个的每个块进行块匹配处理的块匹配处理部(111)、和检测块的特征的特征检测部(112)。而且，把对应于由特征检测部所检测到的特征的像素确定成块匹配处理中用的像素，仅就此所确定的像素进行块匹配处理。

Description

动态图像编码装置和图像记录再现装置

技术领域

本发明涉及数字动态图像的编码技术。

背景技术

像作为动态图像编码的国际标准方式的MPEG1、2等那样，针对宏块检测动态向量而进行动态补偿的方法，作为帧间/帧内适应编码方式是公知的。这里，所谓宏块是由含有4个8像素×8像素的块的亮度信号块，和2个空间上对应于亮度信号块的8像素×8像素的色差信号块两者所构成的动态补偿的单位。此外，所谓动态向量是在动态补偿预测中用来指示对应于编码图像的宏块的参照图像的比较区域的位置的向量。

在动态补偿中，广泛使用着称为块匹配法的，针对每个宏块检测动态向量而搜索参照帧中的类似块的方法。关于用来进行更高精度的编码的、含有块匹配处理的编码处理的细节，在例如非专利文献1(H.264/AVC)中公开了。

【非专利文献1】Gary J.Sullivan and Thomas Wiegand：Rate-Distortion Optimization for Video Compression(视频压缩的速率分布优化)。IEEE信号处理杂志，第15卷，第6号，第74～90页，1998年11月(IEEE Signal Processing Magazine，Vol15，No6.pp74-90，Nov.1998)。

上述非专利文献1中所述者，编码处理用的运算量与MPEG1、2相比非常大。此外非专利文献1中所述者还在进行动态搜索的情况下，块匹配中利用的点(像素)利用块内所有的点。因此，编码处理量变得非常大。例如在摄像机或硬盘记录机等中，在编码并压缩取入的图像而储存于存储介质的场合，如果编码处理量大则需要花在编码处理中的时间多。因而，在编码处理量大的场合，实时地录像大尺寸的图像或分辨率高的图像变得困难。

发明内容

本发明是鉴于上述课题而成者，其目的在于提供一种适于降低编码处理花费的运算量的技术。而且本发明提供一种能够通过用该种技术，很好地进行实时的动态图像的录像的装置。

为了实现上述目的，在本发明中，特征在于针对把动态图像分割成多个后的每个块检测图像的特征，用对应于该所检测到的特征的像素进行块匹配处理。也就是说本发明优先地用具有上述特征的像素(特征像素)来进行块匹配处理。例如，仅用具有该特征的像素进行块匹配处理，对除此以外的像素不进行块匹配处理。

上述图像的特征是，例如图像的边缘，把此边缘强度超过规定值的像素或者边缘强度最大的像素用作特征像素。此外也可以进一步把上述块分割成多个检测区域，从此检测区域中把具有最大的特征量的像素作为该块中的代表点，用此代表点进行上述块匹配。此外，在上述检测区域中的所有像素的特征量全都没有超过规定值的场合，也可以从该块中去掉规定的像素而进行块匹配处理。

如果用本发明，则降低编码处理量并使编码处理高速化成为可能。

附图说明

本发明的这些和其他特征、目的和优点根据结合附图的以下描述将会变得更加显而易见，这些附图中：

图1是表示根据本发明的动态图像编码装置之一例的图。

图2是表示根据本发明的动态检测/补偿部的构成例的图。

图3是根据本发明的编码量推测部的一个构成例。

图4是根据本发明的预测误差推测函数确定部的一个构成例。

图5是表示本发明所运用的图像记录再现装置之一例的图。

图6是表示根据本实施例的编码处理的仿真条件的图。

图7是表示仿真结果的图。

图8是表示根据本实施例的编码处理的速率失真特性的图。

具体实施方式

下面，就本发明的实施方式，参照附图进行说明。首先，用图5，说明本发明所运用的图像存储再现装置之一例。此图像存储再现装置是例如摄像图像而储存于磁带或光盘等存储介质的摄像机(包括含有这种录像功能的便携式电话)，或者，例如录像接收的电视广播用的硬盘记录机或DVD记录机，或者这些记录机所内藏的电视装置等。也就是说，本发明可以运用于摄像机、硬盘记录机、DVD记录机、电视装置等。当然，除此以外的，只要是具有把动态图像编码并录像的功能的装置同样可以运用。

在图5中，从输入端子501，输入例如由CCD等摄像元件所摄像的图像，或者接收的数字电视广播的图像。此输入图像是动态图像(动画像)。输入图像由编码部502实时地编码供给到存储介质503。关于此编码部中的编码处理的细节下文述及。存储介质503储存编码了的动态图像，由例如光盘、硬盘、闪存存储器等半导体存储器、磁带记录机等来构成。解码部504解码再现储存于存储介质503的编码图像，生成例如RGB或组合(Y/Cb/Cr)形式的视频信号。此视频信号根据需要供给到具有例如LCD或PDP等显示元件的显示部505。显示部505基于所供给的视频信号显示从存储介质503所再现的动态图像。

接下来，用图1就上述编码部1的细节进行说明。图1示出根据本发明的动态图像编码装置的一个构成例，是能够适应地变更误差编码量者。输入图像101分别供给到减法器102、检测图像的特征用的图像特征检测部112、以及检测图像的动态而补偿用的作为块匹配处理部的动态检测/补偿部111。首先，由减算器102取输入图像101的某个块的图像与作为来自动态检测/补偿部111的输出的预测块114的差分，作为误差信号输出。此误差信号输入到变换器103，变换成DCT(离散余弦变换)系数。从变换器103所输出的DCT系数由量化器104(量子化器104)量化而生成量化变换系数105。此时，与量化变换系数105一起，误差信号的编码量也被输出。量化变换系数105作为传送信息供给到多路变换器116。此外，量化变换系数105还用作合成帧间的预测图像用的信息。也就是说，量化变换系数105由逆量化器106逆量化，由逆变换器107逆变换后，由加法器108与来自动态检测/补偿部111的输出图像114相加，作为当前帧的编码图像储存于帧存储器109。借此，当前帧的图像按一帧量的时间迟延，作为上一帧图像110向动态检测/补偿部111供给。

动态检测/补偿部111用作为当前帧的图像的输入图像101与上一帧图像110进行动态补偿处理。所谓动态补偿是从上一帧的解码图像(参照图像)中检索与对象宏块的内容类似的部分(一般来说对上一帧的搜索范围，选择亮度信号块内的预测误差信号的绝对值和小的部分)，作为得到其动态信息(动态向量)和动态预测模式信息用的处理，是前述块匹配处理。关于其细节，请参照例如特开2004-357086号公报中所述者。

动态检测/补偿部111生成预测宏块图像114，和通过上述块匹配处理生成动态信息和动态预测模式信息115。预测宏块图像114如前所述输出到减法器102，动态信息和动态预测模式信息115供给到多路变换器116。多路变换器(多路复用化)116把上述量化系数105与动态信息和动态预测模式信息115多路变换(多路复用)、编码。

在本实施方式中，上述动态检测/补偿部111中的动态检测处理(块匹配处理)中，特征在于用由图像特征检测部112所检测到的图像的特征信息。本实施方式中的图像特征检测部112作为上述图像的特征检测图像的边缘(轮廓)，以该边缘的强度最大的像素作为特征像素数据113输出到动态检测/补偿部111。本实施方式通过在由动态检测/补偿部111所进行的块匹配处理中用上述特征像素数据113，降低根据动态检测的运算量。下面，就其详细的动作进行说明。

图2示出根据本实施方式的图像特征检测部112和动态检测/补偿部111中的处理的内容。这里，输入图像101分割成多个块(宏块)。在步骤201里，图像特征检测部112进一步把输入图像101的块分割成检测图像特征用的多个检测区域。接着，在步骤202里，针对多个检测区域的每个检测图像的特征量。这里，作为图像的特征量检测图像的边缘的强度。图像的边缘，计算并检测例如该检测区域中的像素的信号的二阶微分值。或者求出并检测该检测区域中的邻接的像素间的差分。然后用由图像特征检测部112所检测到的图像的特征的信息选择确定在步骤203针对检测区域在块匹配处理中利用的点(特征像素)。这里，特征像素取为例如该检测区域中所含有的像素之中所检测到的边缘强度最大者。用像这样所确定的特征像素数据113，也就是块匹配处理中利用的点的数据，在步骤204里进行各模式(块尺寸)中的块匹配处理。也就是说，在步骤204里，仅就上述特征像素进行块匹配处理，对其他像素不进行块匹配处理。虽然这里，进行对各模式的块匹配处理，但是没有必要一定对所有的模式进行。

在现有的方式中，就某个块内的所有的像素进行块匹配处理。但是，即使宏块中利用的像素很多，也不限于需要所有的像素。因此，在现有的方式中，有时得不到与处理量的大小相称的效果。在本实施方式中，根据图像的特征选择进行块匹配处理的像素。例如，仅就上述特征像素进行块匹配处理。因此，可以削减块匹配处理中利用的像素，可以预见处理量的削减。由此，可以把编码处理的速度高速化。

接下来，用本实施方式中的块匹配处理之一例进行说明。图3示出用输入图像与参照图像的块匹配处理的例子，块匹配处理的输入图像与参照图像的块，取为水平方向8像素×垂直方向8像素。

在说明根据本实施方式的处理前，就现有的方式进行说明。图3(a)示出现有的方式中的，块匹配处理中所利用的像素的例子。输入图像的块301和当前正在搜索的参照图像内的块302都具有8×8像素。在现有技术，就输入图像的块301和参照图像内的块302中的所有的像素，也就是8×8＝64像素的全部进行块匹配处理。因此，如果在动态向量的搜索范围内重复这些则处理量增大，编码处理中需要很多的时间。

与此相反，在本实施方式中，如图3(b)中所示，仅利用对应于图像的特征的像素进行块匹配处理。在本实施方式中，如图3(b)的左侧的图中所示，把输入图像的块301分割成例如四个检测区域。对各检测区域中所含有的各像素测定或检测边缘强度。基于该测定的结果，在各检测区域中判定选择边缘强度(边缘成分的振幅)最高的点(像素)，以该所选择的点作为各检测区域的代表点(306a、306b、306c、306d)。例如，在左上的检测区域中像素是306a、在右上的检测区域中像素是306b、在左下的检测区域中像素是306c、在右下的检测区域中像素是306d分别被选择成各检测区域的代表点。与这些输入图像的块301中的各代表点的块内的位置相同的参照图像内的块302的点分别为307a、307b、307c、307d，通过关于这些点进行匹配处理可以削减匹配中利用的像素。

另一方面，也有可能发生在图3中所检测到的各检测区域的边缘强度小，即使用于搜索也无法期待太大效果的场合。在此场合，有必要考虑与上述不同的别的处理。

图4示出在边缘强度小的场合也进入考虑的处理。首先，在步骤201里，与上述例同样把输入图像101的块分割成多个检测区域。接着在步骤202里由图像特征检测部112测定边缘强度，在步骤203里检测图像的特征。然后，在步骤401里设定边缘强度的阈值，在边缘强度超过阈值的场合，在步骤403里就边缘强度大的点优先地进行块匹配处理。另一方面，在未超过阈值的场合，在步骤404里进行不利用边缘强度的匹配。

在图3(c)中，示出不利用所检测到的边缘信息的场合的匹配方法。这里为了谋求高速化，就输入图像的块301中所含有的像素，把垂直方向、水平方向都均等地去掉1/2的像素作为匹配像素310利用。就参照图像内块302而言也是，把处于与匹配像素310同一位置的像素用作匹配像素311。在此方式中，通过对8×8块把16点用作匹配像素，这里也可进行处理的高速化。虽然在本实施例中仅是单纯地去掉像素，但是也可以在输入图像与参照图像中分别准备缩小图像，进行它们的匹配。

把上述实施例中说明的编码处理的方式安装于H.264/AVC软件编码器，进行仿真实验，实验的主要条件如图6中所示。比较方式是图3(a)的全像素比较式，图3(b)的单纯向下采样方式(下降采样式)，图3(c)的边缘信息利用式。搜索中利用的块尺寸取为8×8。进而，P图形中的编码模式限定于8×8。此外，在边缘提取中利用利用8附近像素的施行拉普拉斯算子滤波器的结果的绝对值。

在各方式中使量化精度恒定而编码之际的处理时间示于图7。通过削减搜索像素量，相对于全像素比较方式，编码时间，在图3(c)中所示的单纯下降采样式(提案方式1)中成为1/3以下，在图3(b)中所示的边缘信息利用式(提案方式2)中成为1/6以下，可见处理量大幅度削减。此外，图8中示出各方式中的速率失真特性。相对于全像素比较方式虽然单纯下降采样式、边缘信息利用式全都是PSNR降低，但是如果比较单纯下降采样式与边缘信息利用式，则可以确认边缘信息利用式相对单纯下降采样式虽然比较像素数仅花费1/4，但是PNSR几乎相同。因此，查明通过利用边缘的信息，即使比较像素数削减到1/4也能够抑制图像质量的劣化。

虽然在上述实验中在边缘强度的测定中用施行拉普拉斯算子滤波器的结果的绝对值，但是如果是在水平方向、垂直方向分别施行Sobel滤波器而二乘平均者等，只要可以检测边缘的强度者，也可以是其他方法。此外，虽然在本实施方式中，把块分割成多个检测区域而对各个区域求出边缘强度(图像特征量)高的点，但是没有必要一定分割成检测区域。例如，也可以把某个块内的边缘强度高的点取出任意个用于匹配。例如，也可以就某个块内的各像素检测边缘强度，把它与规定值进行比较，选择具有大于此规定值的边缘强度的像素进行上述块匹配处理。此外，也可以根据边缘强度大的顺序提取规定个数的像素，就该所提取的像素进行块匹配处理。进一步，作为像素的特征，也可以不检测边缘强度而检测亮度。也就是说，也可以检测各检测区域中的各像素的亮度，把具有最高亮度的像素选择成上述代表点。此外，也可以检测各检测区域中的各像素的亮度，把该检测亮度超过规定值的多个点设定成代表点。

在上述例子中，可以把在64点处所进行的匹配减少到4点，可以大幅度地削减处理量。通过优先地，也就是重点地把表示图像的特征的边缘强度大的点利用于块匹配处理，也可减少伴随减少处理量的动态检测的错误。

此外，虽然在本实施例中，作为图像的特征检测边缘，但是也可以检测边缘以外的特征量而如上所述检测亮度信息，也可以检测除此以外的特征量。此外，虽然对输入图像的块进行边缘检测，进行输入图像与参照图像的块匹配处理，但是也可以对参照图像进行边缘检测。而且，也可以在输入图像的块内，进行对应于所检测到的参照图像的边缘点的部分的匹配。此外，块匹配处理中使用的块也是，不限于8×8的尺寸，其他尺寸也同样可以运用。此外，块形状也不限于正方形，长方形者也同样可以运用。

虽然我们展示并描述了根据本发明的若干实施例，但是应该指出，所公开的实施例可以进行变动和修改而不脱离本发明的范围。因而，我们无意限定于这里所展示并描述的细节而是将所有这种变动和修改落在所附权利要求书的范围内。

Claims

1.一种动态图像编码装置，是用来给动态图像编码的动态图像编码装置，其特征在于，其中备有：

针对把所述动态图像分割成多个的块的每个进行块匹配处理的块匹配处理部；和

检测所述块的特征的特征检测部，

把对应于由所述特征检测部所检测到的特征的像素确定成所述块匹配处理中用的像素，

所述块匹配处理部用所述各块当中的、所述被确定的像素进行所述块匹配处理。

2.根据权利要求1中所述的动态图像编码装置，其特征在于，所述特征检测部检测图像的边缘作为所述特征。

3.根据权利要求1中所述的动态图像编码装置，其特征在于，所述特征检测部检测具有规定值以上的亮度的部分作为所述特征。

4.根据权利要求1中所述的动态图像编码装置，其特征在于，所述块匹配处理部进行用来基于输入图像与参照图像的差分求出动态向量的块匹配处理，就所述输入图像和参照图像双方，用所述被确定的像素进行所述块匹配处理。

5.根据权利要求1中所述的动态图像编码装置，其特征在于，所述特征检测部，把所述块分割成多个检测区域，针对该检测区域的每个，检测所述特征。

6.根据权利要求5中所述的动态图像编码装置，其特征在于，所述特征检测部，从所述多个检测区域中判别具有最大的特征量的像素，以该像素作为该块中的代表点，

所述块匹配处理部用所述代表点进行所述块匹配处理。

7.根据权利要求6中所述的动态图像编码装置，其特征在于，所述特征量是边缘的强度，以该边缘的强度最大的像素作为所述代表点。

8.根据权利要求5中所述的动态图像编码装置，其特征在于，所述特征检测部，判别所述多个检测区域中所含有的像素当中的、具有超过规定值的特征量的像素，

所述块匹配处理部用具有超过所述规定值的特征量的像素进行所述块匹配处理。

9.根据权利要求8中所述的动态图像编码装置，其特征在于，在所述检测区域中的所有像素的特征量不超过所述规定值的情况下，所述块匹配处理部从所述块中去掉规定的像素而进行所述块匹配处理。

10.一种动态图像编码装置，是用来给动态图像编码的动态图像编码装置，其特征在于，其中备有：

从所述块中检测具有规定的特征量的像素的特征检测部，

所述块匹配处理部仅用所述各块当中的所述被检测到的像素进行所述块匹配处理。

11.根据权利要求10中所述的动态图像编码装置，其特征在于，所述特征量是图像的边缘的强度，所述特征检测部检测该边缘的强度在规定值以上的像素。

12.一种图像记录再现装置，其特征在于，备有：

给输入图像编码的编码部；

储存由该编码部编码了的图像的存储介质；以及

合成储存于该存储介质的图像并再现的再现部，

所述编码部包括针对把所述动态图像分割成多个的块的每个进行块匹配处理的块匹配处理部、和检测所述块的特征的特征检测部，

13.根据权利要求12中所述的图像记录再现装置，其特征在于，所述存储介质是半导体存储器。

14.根据权利要求12中所述的图像记录再现装置，其特征在于，所述存储介质是硬盘。

15.根据权利要求12中所述的图像记录再现装置，其特征在于，还备有用来显示由所述再现部所再现的图像的显示部。