CN102572424A - 图像处理设备、方法和程序 - Google Patents

图像处理设备、方法和程序 Download PDF

Info

Publication number
CN102572424A
CN102572424A CN2011104286362A CN201110428636A CN102572424A CN 102572424 A CN102572424 A CN 102572424A CN 2011104286362 A CN2011104286362 A CN 2011104286362A CN 201110428636 A CN201110428636 A CN 201110428636A CN 102572424 A CN102572424 A CN 102572424A
Authority
CN
China
Prior art keywords
unit
motion vector
image
image processing
pmv
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011104286362A
Other languages
English (en)
Inventor
名乡根正道
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102572424A publication Critical patent/CN102572424A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开涉及图像处理设备、方法和程序。所述图像处理设备包括：判断单元，用于判断是否在图像中检测到连续边缘；以及优先处理单元，用于在判断单元判断检测到连续边缘时，比其他运动矢量更优先处理预测运动矢量。

Description

图像处理设备、方法和程序
技术领域
本公开涉及图像处理设备、方法和程序，尤其涉及能够防止编码时图像质量变坏的图像处理设备、方法和程序。
背景技术
近年来，为了通过图像数据的数字化有效传输和存储图像信息，借助于编码方法将图像转换为压缩码的图像信息设备已经被广泛使用，在所述编码方法中，诸如离散余弦变换和运动补偿的正交变换被用于通过利用特定于图像信息的冗余来压缩图像。在这些方法中，例如有MPEG(运动图像专家组)。
特别是，MPEG-2(ISO/IEC 13818-2)被定义为通用图像编码方法和同时支持隔行扫描图像和逐行扫描图像的标准，而且还同时支持正常清晰度图像和高清晰度图像。例如，MPEG-2当前被用于从消费者使用用途到专业使用用途的广泛应用。MPEG-2最初是为主要用于广播的高质量图像编码设计的，但不支持码量(比特率)低于MPEG-1所支持的码量的编码方法，也即，MPEG-2不支持更高压缩率的编码方法。由于便携式终端设备的广泛使用，期望在不久的将来越来越有必要使用更高压缩率的编码方法。为此，MPEG-4编码方法的标准化已经完成。作为一种图像编码方法，MPEG-4标准在1998年12月被正式批准成为国际标准ISO/IEC 14496-2。
另外，存在称为H.26L(ITU-T Q6/16VCEG)的标准。在H.26L中，相比诸如MPEG-2和MPEG-4的其他编码方法，执行了更大量的用于编码和解码的计算。然而，认为H.26L实现了更高的编码效率。此后，作为MPEG-4活动之一，称为增强压缩视频编码的联合模型的编码方案的标准化已经在H.26L的基础上研究，其中该编码方案使用不被H.26L支持的功能以实现更高的编码效率。上述编码方案在2003年3月被批准成为国际标准H.264/MPEG-4部分10(AdvancedVideo Coding)(下文中称为H.264/AVC)。从因特网网站“H.264/AVCSoftware Coordination[online]”(URL：http://iphome.hhi.de/suehring/tml/)(2010年12月9日)可以获得关于H.264/AVC的软件、文档等。
发明内容
有可能在编码图像时会发生图像质量变坏。图1示出了图像质量变坏的一个实例。在图1的画面中，在编码图像时检测的运动矢量利用预定分析软件被视觉化，而且被视觉化的运动矢量被叠加在图像上。图1示出了高层建筑物的照片，而且该照片是通过将视觉化的运动矢量叠加在通过借助从下往上仰拍的摄相机拍摄该高层建筑物所获得的图像上得到的。图1中，由白点组成的线显示出运动矢量(然而，这些线的方向在图1中没有显示)。在利用从下往上仰拍的摄相机拍摄的图像上，运动矢量被检测为在同一方向移动相同距离的矢量。因此，当视觉化这种运动矢量时，显示出由点组成的同一长度的线。
然而，图1中，由于观察到一些运动矢量的方向和长度不同于其他运动矢量的方向和长度，存在其长度不同于由椭圆11所包围的区域中其他线的长度的一些线。图2示出了图1中椭圆11的一部分的放大视图。在图2所示的运动矢量中，例如，运动矢量21的长度不同于运动矢量22的长度。图1中，有许多运动矢量，这些运动矢量的长度与运动矢量22的长度相同，因此可以判断运动矢量22是被正确检测的矢量。相反，可以判断，运动矢量21是被错误检测的矢量。由于运动矢量的这种错误检测导致图像质量变坏，期望防止这种错误检测的发生。
图3示出了另一个实例。图3示出了一个画面，其中视觉化的运动矢量被叠加在通过利用在沿车道的一个地点处固定的摄相机拍摄车来车往的大街所获得的图像上。如同图1一样，由白点组成的线示出了图3中的运动矢量。图3所示的画面是通过利用在沿车道的一个地点处固定的摄相机拍摄大街所获得的。因此，由于拍摄了其中车道不动而车动的图像，可以想到运动矢量不是从车道检测的，而是从车检测的。
然而，在参考图3时，有一些线指示在椭圆31中车周围的部分车道上检测的运动矢量。当参考图3时，可以发现运动矢量不仅能在椭圆31所包围的区域中检测到，而且能在其他区域和靠近移动物体的静止物体上检测到。如上所述，存在在移动物体的附近检测到本不可以被检测到的运动矢量的情况，这导致图像质量变坏。因此，期望防止这种错误检测的发生。
本公开是针对上述问题来实现的，而且能防止由于编码导致的图像质量变坏的发生。
一种根据本公开的一个实施例的图像处理设备，包括：判断单元，用于判断是否在图像中检测到连续边缘；以及优先处理单元，用于在判断单元判断检测到连续边缘时，比其他运动矢量更优先处理预测运动矢量。
所述判断单元能使用关于色度帧内模式(chroma intra mode)的模式信息。
在所述色度帧内模式是水平预测模式或垂直预测模式时，所述判断单元能判断检测到连续边缘。
所述优先处理单元能从所述预测运动矢量的成本函数值中减去预定值。
一种根据本公开的一个实施例的图像处理方法是由装备有判断单元和优先处理单元的图像处理设备执行的图像处理方法，所述方法包括：使所述判断单元判断是否在图像中检测到连续边缘的步骤；以及使所述优先处理单元在所述判断单元判断检测到连续边缘时，比其他运动矢量更优先处理预测运动矢量的步骤。
一种根据本公开的一个实施例的程序是使计算机控制装备有判断单元和优先处理单元的图像处理设备执行处理的程序，所述处理包括：使所述判断单元判断是否在图像中检测到连续边缘的步骤；以及使所述优先处理单元在所述判断单元判断检测到连续边缘时，比其他运动矢量更优先处理预测运动矢量的步骤。
在根据本公开的一个实施例的图像处理设备、方法和程序中，当在图像中检测到连续边缘时，比其他运动矢量更优先处理预测运动矢量。
根据本公开的一个实施例，可以防止发生编码时的图像质量变坏。
附图说明
图1是用于解释检测的运动矢量的画面；
图2是用于解释检测的运动矢量的画面；
图3是用于解释检测的运动矢量的画面；
图4是示出了根据一个实施例的编码器的配置实例的示意图；
图5是用于解释隔行的示意图；
图6是用于解释错误检测的示意图；
图7是用于解释检测的运动矢量的画面；
图8是用于解释运动预测单元的操作的流程图；
图9是用于解释色度帧内模式的表格；以及
图10是用于解释存储介质的示意图。
具体实施方式
下面参考附图描述本公开的一个实施例。
[编码器的配置实例]
图4的框图示出了符合AVC(高级视频编码)方法的编码器的配置实例。图4所示的编码器包括A/D转换单元101，屏幕排序(sorting)缓冲器102，算术单元103，正交变换单元104，量化单元105，无损编码单元106，存储缓冲器107，逆量化单元108，逆正交变换单元109，加法单元110，解块滤波器111，帧存储器112，运动补偿单元113，帧内预测单元114，速率控制单元115，运动预测单元116，以及选择单元117。图4中的编码器根据AVC方法压缩并编码输入图像。
具体而言，编码器的A/D转换单元101以被输入作为输入信号的帧为单位对图像执行A/D转换，然后将转换后的图像数据输出到屏幕排序缓冲器102，使得转换后的图像数据被存储在屏幕排序缓冲器102中。屏幕排序缓冲器102将存储的按显示顺序排列的图像帧排序，使得它们按照相关的GOP(画面组)结构来匹配编码顺序。
如有必要，算术单元103从由屏幕排序缓冲器102中读出的图像中减去选择单元117所提供的预测图像。算术单元103将通过上述减法所获得的图像输出到正交变换单元104中作为差信息。如果预测图像没有由选择单元117提供，则算术单元103按原样输出从屏幕排序缓冲器102读出的图像到正交变换单元104作为差信息。
正交变换单元104以逐块大小为基础对从算术单元103发送的差信息执行正交变换处理，并将作为正交变换处理的结果所获得的系数提供给量化单元105。量化单元105量化由正交变换单元104所提供的系数。量化后的系数被发送至无损编码单元106。无损编码单元106从帧内预测单元114获得指示最佳帧内预测模式的信息(下文中称为帧内预测模式信息)，并从模式预测单元116获得指示最佳帧间预测模式的信息(下文中称为帧间预测模式信息)、关于运动矢量的信息等等。
无损编码单元106对量化单元105所提供的量化系数执行诸如可变长度编码(例如，CAVLC(上下文自适应可变长度编码))、算术编码(例如，CABAC(上下文自适应二元算术编码))等的无损编码，并从结果信息中产生压缩图像。另外，无损编码单元106对帧内预测模式信息、帧间预测模式信息、关于运动向量的信息等执行无损编码，并将结果信息附加到压缩图像中作为头部信息。无损编码单元106将关于压缩图像的信息连同通过无损编码获得的头部信息一起提供给存储缓冲器107作为图像压缩信息，使得该信息被存储在存储缓冲器107中。
存储缓冲器107临时存储由无损编码单元106提供的图像压缩信息，然后将该信息输出到记录单元或到后续阶段的传输线路中(都没有示出)。另外，从量化单元105输出的量化系数也被发送至逆量化单元108，被逆量化。被逆量化的系数由逆量化单元108提供给逆正交变换单元109。
逆正交变换单元109以逐块大小为基础对由逆量化单元108提供的系数执行逆正交变换。通过逆正交变换获得的差信息被发送至加法单元110。加法单元110将通过逆正交变换单元109提供的差信息加到由帧内预测单元114或运动补偿单元113提供的预测图像以获得本地解码图像。加法单元110将所获得的图像提供给帧内预测单元114作为参考图像，以及提供给解块滤波器111。
解块滤波器111通过过滤图像从由加法单元110所提供的本地解码图像中清除块失真。解块滤波器111将结果图像提供给帧存储器112使得图像被存储在帧存储器112中。存储在帧存储器112中的图像被输出到运动补偿单元113以及到运动预测单元116作为参考图像。
运动补偿单元113以运动预测单元116所提供的帧间预测模式信息和运动矢量为基础对从帧存储器112提供的参考图像执行压缩处理，并创建预测图像。运动补偿单元113将运动预测单元116所提供的成本函数值(后面将详细描述)和创建的预测图像提供给选择单元117。
这里，成本函数值也被称为RD(速率失真)成本函数值，并且是基于以下两种方法之一来计算的，也即，由JM(联合模型)，即，由AVC方法采用的参考软件，规定的高复杂度模式或低复杂度模式。
具体而言，如果高复杂度模式被用作成本函数值的计算方法，为每一种候选预测模式临时执行从AD转换到无损编码的过程，并且为每种预测模式计算由下面的公式(1)表述的成本函数值。
Cost＝D+λ×R    ...(1)
这里，D是原始图像和解码图像之差(失真)，R是生成的码量，包括通过正交变换获得的系数，而λ是作为量化参数QP的函数给出的拉格朗日乘数。
另一方面，如果低复杂度模式被用作成本函数值的计算方法，为所有候选预测模式的每一种执行解码图像的创建和示出关于每种预测模式的信息的头部位(header bit)的计算等，并且为每种预测模式计算由下面的公式(2)表述的成本函数值。
Cost＝D+QPtoQuant(QP)×Header_Bit   ...(2)
这里，D是原始图像和解码图像之差(失真)，QPtoQuant是作为量化参数QP的函数给出的函数(Q值)，以及Header_Bit是用于预测模式的头部位。
在低复杂度模式中，由于只需为每种预测模式创建解码图像，不必为每种预测模式执行无损编码，少量计算就够了。在本说明书的以下说明中，假设低复杂度模式被用作用于成本函数值的计算方法。
帧内预测单元114以所有候选块大小的块为单位，基于从屏幕排序缓冲器102读出的图像和从加法单元110提供的相关参考图像为所有候选帧内预测模式执行帧内预测处理，并创建预测图像。
另外，帧内预测单元114为所有候选帧内预测模式和为所有块大小的块计算成本函数值。接下来，帧内预测单元114确定帧内预测模式和产生最小成本函数值的块大小的组合为最佳帧内预测模式。帧内预测单元114将由最佳帧内预测模式和相关成本函数值创建的预测图像提供给选择单元117。当得到选择单元117的通知，选择单元117已经选择了由最佳帧内预测模式所创建的预测图像时，帧内预测单元114将帧内预测模式信息提供给无损编码单元106。
运动预测单元116基于从屏幕排序缓冲器102提供的图像和从帧存储器112提供的相关参考图像为所有候选帧间预测模式执行运动预测，并为所有候选帧间预测模式创建运动矢量。此刻，运动预测单元116为所有候选帧间预测模式计算成本函数值，并确定产生最小成本函数值的帧间预测模式为最佳帧间预测模式。接下来，模式预测单元116将帧间预测模式信息、相关运动矢量和相关成本函数值提供给运动补偿单元113。在得到选择单元117的通知，选择单元117已经选择了由最佳帧间预测模式所创建的预测图像时，模式预测单元116将帧间预测模式信息、相关运动矢量信息等提供给无损编码单元106。
选择单元117基于从帧内预测单元114和运动补偿单元113提供的成本函数值确定最佳帧内预测模式或最佳帧间预测模式为最佳预测模式。之后，选择单元117将与最佳预测模式相关的预测图像提供给算术单元103和加法单元110。另外，选择单元117通知帧内预测单元114或运动预测单元116，它已经选择了与最佳预测模式相关的预测图像。
速率控制单元115控制量化单元105的量化操作的速率，使得基于存储缓冲器107中存储的图像压缩信息，不会发生溢出或下溢。
[运动矢量的创建]
接下来解释运动预测单元116所执行的运动矢量的创建。再次参考图1至图3。已经参考图1至图3描述了运动矢量被错误检测的可能性。将参考图5解释错误检测的一个原因。在图5中，画面201至204示出了原始画面。按照年月顺序，原始画面202出现在原始画面201之后，原始画面203出现在原始画面202之后，而原始画面204出现在原始画面203之后。在原始画面201至204中，描画了对角线。在原始画面201至204中描画的各个对角线随时间从下至上移动。
原始画面211至214概略地示出了用于在原始画面201至204上执行隔行扫描的扫描线。顶场(top field)221是从原始画面211创建的，而底场(bottom field)222是从原始画面212创建的。类似地，顶场223是从原始画面213创建的，而底场224是从原始画面214创建的。如上所述，一个场是从一个原始画面创建的。因此，在图5所示的对角线的情况下，当仅参考例如顶场221时，由于对角线的一部分被包括在底场222中，该对角线的该部分丢失。
有可能例如，当通过比较顶场221和223，或者通过比较底场222和224，比较分别缺失一部分信息的两个场而检测到运动矢量时，发生错误检测。将参考图6详细描述使用顶场221和223的运动矢量的检测。
图6A是通过将原始画面201与原始画面203假想重叠所获得的画面的一部分的放大图。对角线L1描绘了原始画面201中的对角线，而对角线L2描绘了原始画面203中的对角线。图6A示出了原始画面201中的对角线L1向上移动到原始画面203中的对角线L2的位置。由于对角线L1只如上所述向上移动，要检测的运动矢量基本上不得不是如图6A所示的方向向上的运动矢量MV1。换言之，观察到对角线L1上的点P1移动到对角线L2上的点P2的位置，而且运动矢量MV1被检测。
然而，在基于图6B所示的顶场221和顶场223检测到运动矢量的情况下，有可能错误的运动矢量MV2将被检测为运动矢量。图6B是通过将顶场221与顶场223假想重叠所获得的画面的一部分的放大图。如图6B所示，只有对角线L1的一部分和对角线L2的一部分被分别包括在顶场221和223中。
虽然对角线L1’，即对角线L1的一部分，基本上移动到被包括在底场222的对角线L2的一部分，对角线L1’不包括在顶场223中。因此，当检测到相关运动矢量时，使用对角线L2’(它是包括在顶场223中的对角线L2的一部分)。结果，如果使用对角线L1’和对角线L2’检测到运动矢量，判断对角线L1’上的点P1’移动到对角线L2’上的点P2’。因此，有可能检测到运动矢量MV2。
可以想到上面是运动矢量的错误检测的原因之一。上面是原因之一，而且还可能存在错误运动矢量的检测的其他原因。另外，虽然对角线被用作上面的描述中的解释材料的一个例子，有可能错误检测将发生在垂直线或水平线的情况下。无论错误检测的原因为何，如同参考图1至图3所描述的，如果一些错误检测的运动矢量与正确检测的运动矢量混合，有可能发生图像质量变坏。
因此，在本公开中将采取措施防止这种错误检测的发生。下面描述的由运动预测单元116执行的过程导致图7所示的结果。图7示出了图1中的椭圆11的一部分的放大图，而且图7所示的椭圆11的该部分是图2所示的相同部分。然而，图7示出了与图2的情况中使用的过程不同的过程所计算的运动矢量。将与图2比较进行图7的描述。在图2中，可以发现，运动矢量21的长度不同于运动矢量22的长度。另一方面，可以发现，图7中的运动矢量21’和22’分别是图2中的运动矢量21和22的对应物，具有相同的量级。
如上所述，通过执行下述的过程可以减小被错误检测的运动矢量的数量。因此，可以防止由于编码导致的图像质量变坏的发生。
[运动预测单元116的处理]
下面描述运动预测单元116执行的处理。图8是用于解释运动预测单元116执行的处理的流程图。运动预测单元116基于从屏幕排序缓冲器102提供的图像和从帧存储器112提供的相关参考图像为所有候选帧间预测模式执行运动预测，并为所有的候选帧间预测模式创建运动矢量。
在步骤S11计算SAD。SAD是绝对差之和的缩写。SAD是在例如执行块匹配时计算的。标准图像M1被分成多个标准块，而且为每个标准块执行块匹配。换言之，搜索标准块被位移到的比较图像Mn的位置，并且检测位移量作为关于该标准块的运动矢量。
搜索标准块被位移到的位置的比较图像Mn的搜索区域是相对于该标准块的位置设置的。准确地说，大小与标准块的大小相同的参考块以逐像素为基础在比较图像Mn的搜索区域内移动，以搜索与该标准块最相似的参考块的位置。换言之，标准块和参考块之间的相关值被用作用于评价标准块和参考块之间的相似度的评价值，并且为该搜索区域内的参考块的每个位置计算该相关值。
当考虑标准块中的像素的亮度值和位于参考块中的相对同一位置的像素的亮度值之差的绝对值时，作为参考块和标准块中所有像素的绝对值之和的SAD被用作相关值。在步骤S11，基于使相关值SAD最小的参考块的坐标(相对坐标)检测标准块的运动矢量。最小SAD在下一公式中也被使用。
在步骤S12，计算成本(成本函数值)。成本函数值是基于以下两种方法之一计算的，也即，由JM(联合模型)，即，由AVC方法采用的参考软件规定的高复杂度模式或低复杂度模式。由于下文中假设采用低复杂度模式，利用公式(2)计算成本函数值。公式(2)与前述的相同，表述如下：
Cost＝D+QPtoQuant(QP)×Header_Bit    ...(2)
D是原始图像和解码图像之差(失真)，而且在此情况下在步骤S11计算的SAD被用作D。QPtoQuant是作为量化参数QP的函数给出的函数(Q值)，以及Header_Bit是用于预测模式的头部位。用SAD代替D，获得下一公式(2)’。利用公式(2)’计算的值被描述为正常成本函数值。
Cost＝SAD+QPtoQuant(QP)×Header_Bit    ...(2)’
在步骤S13，判断是否检测到边缘。如果判断在步骤S13未检测到边缘，流程转入步骤S14，而如果判断在步骤S13检测到边缘，流程转入步骤S15。在步骤S14，设置不优先处理PMV(预测模式矢量)的设置，并计算PMV的成本函数值。在步骤S14计算的值被描述为正常成本函数值。
如果关于其计算PMV的块是宏块(下文中称为当前宏块)，假设位于当前宏块的左侧、左上侧、上侧和右上侧的宏块分别为宏块A、B、C和D，且宏块A、B、C和D已被编码。在此情况下，利用宏块A的运动矢量MVa、宏块B的运动矢量MVb、宏块C的运动矢量MVc和宏块D的运动矢量MVd计算关于当前宏块的预测运动矢量PMV。具体而言，PMV是作为运动矢量MVa、MVb、MVc和MVd的中值获得的。
另一方面，如果判断在步骤S13检测到边缘，进行优先处理PMV的设置，并计算PMV的成本函数值。如果PMV被优先处理，基于下一公式(4)计算成本函数值。
Cost_PMV＝SAD+QPtoQuant(QP)×Header_Bit-PMVoffset
...(4)
公式(4)通过从公式(2)’获得的正常成本函数值减去PMVoffset计算成本函数值。通过公式(4)计算的值被描述为PMV优先处理成本函数值。后面将描述，选择正常成本函数值和PMV优先处理成本函数值中的最小成本函数值。PMV优先处理意思是，通过公式(4)中所示从正常成本函数值减去偏移值(PMVoffset)来减小PMV优先处理成本函数值，使得PMV优先函数值相比其他成本函数值更容易被选择。
当优先处理PMV时，通过从利用从外围块检测的运动矢量计算的PMV中减去预定值(PMVoffset)，执行相关的PMV优先处理。后面将描述为什么在找到边缘时优先处理PMV的原因，让我们继续解释图8中的流程图。在步骤S14不优先处理PMV的情况或在步骤S15优先处理PMV的情况之后，流程转入步骤S16。在步骤S16，判断是否为所有模式计算成本函数值。存在8种模式，即，16×16模式、16×8模式、8×16模式、8×8模式、4×8模式、8×4模式、4×4模式和PMV模式。
由于步骤S13至步骤S15的过程仅与PMV模式相关，可以设置成仅在PMV模式中执行这些过程。例如，通过在步骤S12和步骤S13之间设置用于判断当前模式是否为PMV模式的判断过程，就有可能在当前模式是PMV模式时流程转入步骤S13，而在当前模式不是PMV模式时流程转入步骤S16。
在步骤S16，如果判断没有为所有模式计算成本函数值，流程回到步骤S11，而且流程进入以下模式：相关成本函数值的计算尚未结束，以重复步骤S11及以后的过程。另一方面，在步骤S16，如果判断为所有模式计算了成本函数值，流程转入步骤S17。在步骤S17，从计算的正常成本函数值和PMV优先处理成本函数值中选择最小成本函数值，并确定与最小成本函数值相关的模式。接下来，在步骤S18，将用于所确定的模式的MV(运动矢量)设置为最终运动矢量。
如上所述，判断是否满足预定情形，具体而言，判断在本公开的上述实施例中是否满足在图像中是否检测到边缘的情形。如果满足预定情形，相比其他运动矢量更优先处理预测运动矢量(PMV)。通过执行这种优先处理，可以提高检测的运动矢量的精度。
[PMV优先处理]
下面将描述为什么优先处理PMV使得在步骤S13发现边缘时有利地选择相关PMV模式的原因。如上所述，利用分别位于当前宏块的左侧、左上侧、上侧和右上侧的已编码宏块的运动矢量计算关于当前宏块的预测运动矢量PMV。换言之，由于是从外围宏块的运动矢量计算PMV的，PMV容易受到外围宏块的影响。因此，如果期望运动矢量与外围宏块的运动矢量匹配，可推荐使用PMV。
例如，在参考图1(或图2)描述的图像的情况下，通过使用PMV，要获得的运动矢量可以与相邻运动矢量匹配。例如，图2所示的运动矢量21可以与运动矢量22匹配。当使运动矢量21与运动矢量22匹配时，如图7所示可以获得没有错误检测的矢量的状态。
相反，由于PMV容易受相邻运动矢量的影响，如果在不期望要获得的运动矢量与相邻运动矢量匹配的情形下使用PMV，运动矢量被错误检测的可能性很高。例如，如同参考图3所描述的，如果在沿车道来往的车的图像被固定在一个地点处的摄像机拍摄时，使关于车道的运动矢量与基于车的运动所检测的运动矢量匹配，关于该车道的运动矢量被错误检测，虽然实际上希望从车道检测不到运动矢量。在这种情况下，优选不使用PMV。
如上所述，存在两种情形，一种是优选使用PMV的情形，另一种是优选不使用PMV的情形。在诸如参考图1所解释的情形的情形中，优选使用PMV。另一方面，在诸如参考图3所解释的情形的情形中，优选不使用PMV。因此，必须控制运动预测单元的操作，使得优选使用PMV时，采用PMV优先处理以便有利地选择PMV，以及优选不使用PMV时，不采用PMV优先处理以便有利地不选择PMV。如上所述，在图8的流程图中，在步骤S14执行用于不采用PMV优先处理的控制，而在步骤S15执行用于采用PMV优先处理的控制。
这里，即使当不采用PMV优先处理时，有可能相应地选择PMV。这是因为判断PMV比其他运动矢量更合适，因此不存在出现任何问题的可能性。另外，即使在采用PMV优先处理时，有可能相应地不选择PMV。这是因为判断另一运动矢量比PMV矢量更合适，因此不存在出现任何问题的可能性。
另外，在本实施例中，当满足预定情形时，只执行使PMV被有利地选择的控制，而不执行使PMV被强制选择的控制。因此，即使在满足预定情形时，如果PMV不是最佳运动矢量也能执行使PMV不被选择的控制。由于可以执行上述的控制，有可能选择适当的运动矢量和减小错误检测的数量。
如上所述，当采用PMV优先处理时，利用公式(4)计算PMV优先处理成本函数值。通过适当地设置从公式(4)中的正常成本函数值减去的PMVoffset(预定值)，可以使PMV相比其他运动矢量更有利地被选择。换言之，通过适当地设置PMVoffset的值，可以提高所检测的运动矢量的精度。PMVoffset的值可以是固定值或可变值。如果PMVoffset的值被设置为可变值，该值可以根据各种预定情形来改变。
上面已经描述了在满足预定情形时采用PMV优先处理，上述实施例中的预定情形是检测到边缘的情形。如上所述，其中推荐PMV被优先选择的画面(图像)是例如，图1中所示出的图像。再次参考图1，可以发现容易发生运动矢量的错误检测的地点是有直线的地点。有可能运动矢量因为这些线而被错误检测，无论是垂直线和水平线。另外，对格子也是如此。前面已经参考图5和图6解释了上述事情的原因之一。
具体而言，运动矢量容易出现的地点是存在几何边缘的地点。在这些地点中，矢量容易失控。另外，如果对角线具有遥摄摄像机时创建的较大垂直分量，运动矢量容易垂直失控。另外，如果对角线具有在俯仰摄像机时创建的较大水平分量，运动矢量容易水平失控。运动矢量容易失控的情形是指运动矢量容易被错误检测的情形，结果是所检测的运动矢量具有不同于正确检测的运动矢量的方向和量级。
因此，有必要将PMV优先处理应用于具有几何边缘(或地理边缘)的图像(画面)。几何边缘是例如，线。在线周围是线的一部分和不是该线的一部分的部分之间的边缘。因此，可以说，线提供了连续边缘。当检测到这种连续边缘时，判断运动矢量失控，有必要控制运动预测单元的操作使得采用PMV优先处理，如上参考图8中的流程图所述。
具体而言，在图8的流程图中，判断在步骤S13是否检测到边缘(优选是否检测到连续边缘)。如果判断检测到边缘，在步骤S15采用PMV优先处理。如上，已经通过引用一个实例描述了该实施例，在该实例中，通过判断是否检测到边缘来判断运动矢量是否失控。然而，运动矢量是否失控(是否存在执行错误检测的可能性)的判断不仅可以通过判断是否检测到边缘而且可以通过其他判断来实施。
下面详细描述是否检测到边缘的判断。当判断是否检测到边缘时，使用关于色度帧内模式(AVC工具之一)的信息。AVC色度帧内模式具有图9所示的四种模式。图9是示出色差信号帧内预测模式(Intra_chroma_pred_modes)的表格。Intra_chroma_pred_mode具有四种模式，即，图9所示的模式0、模式1、模式2和模式3。
以宏块为单位执行色差信号的帧内预测。色差信号帧内预测的预测方向是参考位于当前宏块的左侧、上侧和左上侧的相邻已编码块的像素值执行的，并定义了图9所示的四种预测模式。模式0是DC预测(平均值预测模式)，模式1是水平预测(水平预测模式)，模式2是垂直预测(垂直预测模式)，以及模式3是平面预测(平面预测模式)。
这些模式是用于预测宏块的模式(下文中称为宏块预测模式)，而且没有被定义为用于检测边缘的模式。然而，在本实施例中，当在步骤S13检测到边缘时(图8中)，通过判断当前宏块预测模式是这四种模式中的哪种模式来进行是否存在边缘的判断。具体而言，在当前宏块预测模式是模式1(水平预测模式)或模式2(垂直预测模式)时，判断检测到边缘，并采用PMV优先处理。
在此情况下，用当前宏块预测模式是模式1还是模式2的判断过程来代替步骤S13的过程。如果判断当前宏块预测模式是模式1或模式2，流程转入步骤S114以执行PMV优先处理。
如上所述，可以利用当前宏块预测模式来判断是否存在边缘。换言之，可以利用当前宏块预测模式来判断矢量是否在失控状态。这使得检测运动矢量的性能得以提高，而无需添加用于检测边缘的新硬件或软件。换言之，检测运动矢量的性能可以提高，而电路大小和过程保持原样。
通过添加指示关于整个屏幕的移动的运动矢量的GlobalMV和迄今为止计算的平均InterSAD值到上述实施例中，我们的选择可以缩小到屏幕的更特定点。另外，通过减小关于检测的块的Q值可以进一步提高检测运动矢量的性能。
当运动矢量大大偏离它们的正确数值时，即使以高比特率编码图像，图像质量变坏也变得显著。该实施例能防止运动矢量大大偏离它们的正确数值，结果是可以提高运动矢量的特性同时实现图像质量的改善。
[存储介质]
上述系列过程可以通过硬件或软件来执行。如果该系列过程是通过软件执行的，将包括该软件的程序安装在计算机上。作为其上安装了该程序的计算机，可以想到配备有嵌入该程序的专用软件的计算机，能够利用安装在其上的各种程序执行各种功能的通用计算机，等等。
图10是示出了利用程序执行该系列过程的计算机的硬件配置实例的框图。在该计算机中，CPU(中央处理器)301、ROM(只读存储器)302和RAM(随机存取存储器)303通过总线304相连。另外，与总线304相连的是I/O接口305。与I/O接口305相连的是输入单元306、输出单元307、存储器单元308、通信单元309和驱动器310。
输入单元306包括键盘、鼠标、麦克风等等。输出单元307包括显示器、扬声器等等。存储器单元308包括硬盘、非易失存储器等等。通信单元309包括网络接口等等。驱动器310驱动注入磁盘、光盘、磁光盘、半导体存储器等的可移动介质311。
在如上所述配置的计算机中，CPU 301将存储在例如存储器单元308上的程序通过I/O接口305和总线304加载到RAM 303上，并执行该程序，结果是执行了上述过程。
计算机(CPU 301)执行的程序也可以以记录在作为一种封装介质的可移动记录介质311上的形式呈现。作为一种替代方案，该程序也可以通过诸如局域网、因特网或数字卫星广播的有线或无线传输介质呈现。
在包括该程序的可移动介质311被安装到驱动器310上之后，计算机可以通过I/O接口305将该程序安装在存储器单元308上。作为一种替代方案，在通过有线或无线传输介质接收到该程序之后，通信单元309可以将该程序安装在存储器单元308上。作为另一种替代方案，该程序也可以通过预先将该程序安装在ROM 302或存储器单元308上来呈现。
该计算机所执行的程序可以是以本说明书描述的时序执行的程序，可以是某些部分被并行执行的程序，或可以是在适当的定时执行的程序，例如，当调用该程序时。
在本说明书中，系统指的是由多个装置构成的设备的全部。
本公开的实施例并不局限于上述实施例，而是可以在不偏离本公开的精神和范围的情况下进行各种修正。
本公开包含与2010年12月28日在日本专利局递交的日本优先专利申请JP 2010-292619中的公开相关的主题，其全部内容在此结合作为参考。

Claims (7)

1.一种图像处理设备，包括：
判断单元，用于判断是否在图像中检测到连续边缘；以及
优先处理单元，用于在判断单元判断检测到连续边缘时，比其他运动矢量更优先处理预测运动矢量。
2.根据权利要求1的图像处理设备，其中所述判断单元使用色度帧内模式中的模式信息。
3.根据权利要求1的图像处理设备，其中所述判断单元在所述色度帧内模式是水平预测模式或垂直预测模式时，判断检测到连续边缘。
4.根据权利要求1的图像处理设备，其中所述优先处理单元从所述预测运动矢量的成本函数值中减去预定值。
5.根据权利要求1的图像处理设备，其中判断单元利用当前宏块预测模式来判断是否存在连续边缘。
6.一种由装备有判断单元和优先处理单元的图像处理设备执行的图像处理方法，所述方法包括：
使所述判断单元判断是否在图像中检测到连续边缘；以及
使所述优先处理单元在所述判断单元判断检测到连续边缘时，比其他运动矢量更优先处理预测运动矢量。
7.一种使计算机控制装备有判断单元和优先处理单元的图像处理设备执行处理的程序，所述处理包括：
使所述判断单元判断是否在图像中检测到连续边缘；以及
使所述优先处理单元在所述判断单元判断检测到连续边缘时，比其他运动矢量更优先处理预测运动矢量。
CN2011104286362A 2010-12-28 2011-12-20 图像处理设备、方法和程序 Pending CN102572424A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010292619A JP2012142702A (ja) 2010-12-28 2010-12-28 画像処理装置および方法、並びにプログラム
JP2010-292619 2010-12-28

Publications (1)

Publication Number Publication Date
CN102572424A true CN102572424A (zh) 2012-07-11

Family

ID=46316887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011104286362A Pending CN102572424A (zh) 2010-12-28 2011-12-20 图像处理设备、方法和程序

Country Status (3)

Country Link
US (1) US20120163711A1 (zh)
JP (1) JP2012142702A (zh)
CN (1) CN102572424A (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9008427B2 (en) 2013-09-13 2015-04-14 At&T Intellectual Property I, Lp Method and apparatus for generating quality estimators
CN111083489B (zh) 2018-10-22 2024-05-14 北京字节跳动网络技术有限公司 多次迭代运动矢量细化
WO2020084476A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Sub-block based prediction
CN111436228B (zh) 2018-11-12 2024-06-21 北京字节跳动网络技术有限公司 组合帧间-帧内预测的简化
CN113170097B (zh) * 2018-11-20 2024-04-09 北京字节跳动网络技术有限公司 视频编解码模式的编解码和解码
WO2020103852A1 (en) 2018-11-20 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Difference calculation based on patial position
WO2020177755A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Usage of converted uni-prediction candidate
KR20230169434A (ko) 2019-04-02 2023-12-15 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 디코더 측 움직임 벡터 유도

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101682781A (zh) * 2008-01-18 2010-03-24 松下电器产业株式会社 图像编码方法以及图像解码方法
WO2010102233A1 (en) * 2009-03-05 2010-09-10 Qualcomm Incorporated System and method to process motion vectors of video data
CN101855911A (zh) * 2007-09-28 2010-10-06 杜比实验室特许公司 处理视频信息

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100561461B1 (ko) * 2003-07-04 2006-03-16 삼성전자주식회사 프레임 레이트 변환 시 움직임 벡터 검출 장치 및 방법
US20070177671A1 (en) * 2006-01-12 2007-08-02 Lg Electronics Inc. Processing multiview video

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101855911A (zh) * 2007-09-28 2010-10-06 杜比实验室特许公司 处理视频信息
CN101682781A (zh) * 2008-01-18 2010-03-24 松下电器产业株式会社 图像编码方法以及图像解码方法
WO2010102233A1 (en) * 2009-03-05 2010-09-10 Qualcomm Incorporated System and method to process motion vectors of video data

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FENG PAN等: "《Block Standstill and Homogeneity Based Fast Motion Estimation Algorithm for H.264 Video Coding》", 《LECTURE NOTES IN COMPUTER SCIENCE》 *
SONG-HAK RI等: "Fast Inter-Mode Decision in an H.264/AVC Encoder Using Mode and Lagrangian Cost Correlation", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *

Also Published As

Publication number Publication date
JP2012142702A (ja) 2012-07-26
US20120163711A1 (en) 2012-06-28

Similar Documents

Publication Publication Date Title
US11792424B2 (en) Method and device using inter prediction information
CN104363457B (zh) 图像处理设备和方法
CN111937399B (zh) 基于仿射模型的图像编码/解码方法和装置
CN104349164B (zh) 用于对视频信号进行解码的方法和设备
CN112740697B (zh) 图像编码/解码方法和装置及存储比特流的记录介质
CN102572424A (zh) 图像处理设备、方法和程序
WO2010001917A1 (ja) 画像処理装置および方法
US11792419B2 (en) Image encoding/decoding method and device for performing prediction, and method for transmitting bitstream involving weighted prediction and bidirectional optical flow
TWI718908B (zh) 影像預測解碼方法
US20230421804A1 (en) Method and device using inter prediction information
CN111131830A (zh) 重叠块运动补偿的改进
JP2010028220A (ja) 動きベクトル検出装置、動きベクトル検出方法、画像符号化装置及びプログラム
CN113366831B (zh) 重叠块运动补偿和其他工具之间的协调
AU2024203549A1 (en) Image encoding/decoding method and device for performing bdof, and method for transmitting bitstream
JP2004032355A (ja) 動画像符号化方法，動画像復号方法，動画像符号化装置および動画像復号装置
US20210185337A1 (en) Video coding method and device using motion compensation of decoder side
CN104796725A (zh) 具有帧内预测预处理的视频编码器及与其一起使用的方法
KR100986992B1 (ko) Ｈ．264 인코딩 시 고속 인터 모드 결정 방법
CN116684577A (zh) 基于运动矢量差的快速仿射模式决策
CN116684578A (zh) 基于控制点运动矢量的仿射模型优化
KR101021538B1 (ko) Ｈ．264 인코딩 시 고속 인트라 모드 결정 방법
KR102125969B1 (ko) 화면 내 예측 방법 및 이러한 방법을 사용하는 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120711