CN104284197B - 视频编码器及其操作方法 - Google Patents

视频编码器及其操作方法 Download PDF

Info

Publication number
CN104284197B
CN104284197B CN201410320754.5A CN201410320754A CN104284197B CN 104284197 B CN104284197 B CN 104284197B CN 201410320754 A CN201410320754 A CN 201410320754A CN 104284197 B CN104284197 B CN 104284197B
Authority
CN
China
Prior art keywords
tile
motion vector
detecting unit
motion
vector detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410320754.5A
Other languages
English (en)
Other versions
CN104284197A (zh
Inventor
岩田宪
岩田宪一
望月诚二
加谷俊之
桥本亮司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renesas Electronics Corp
Original Assignee
Renesas Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renesas Electronics Corp filed Critical Renesas Electronics Corp
Publication of CN104284197A publication Critical patent/CN104284197A/zh
Application granted granted Critical
Publication of CN104284197B publication Critical patent/CN104284197B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

为了减少在视频编码方法中引入的瓦片边界处生成的噪声等。在运动矢量检测单元中，一个图片中包括的第一瓦片视频信号和第二瓦片视频信号被供给第一检测单元和第二检测单元，并且参考图像从帧存储器供给第一检测单元和第二检测单元。第一检测单元通过帧间预测来执行包括对第一瓦片中的许多视频信号当中的、位于第一瓦片与另一瓦片之间的瓦片边界上或附近的视频信号的处理。在此处理中，第一检测单元生成运动矢量以便优选参考从帧存储器读出的参考图像当中的、不同于第一瓦片的另一瓦片中包括的参考图像。

Description

视频编码器及其操作方法
相关申请的交叉引用
于2013年7月8日提交的第2013-142364号日本专利申请的公开内容、包括说明书、附图和摘要通过引用全部并入于此。
背景技术
本发明涉及视频编码器及其操作方法，并且具体地涉及一种有效用于减少在视频编码方法中引入的瓦片边界上生成的噪声之类的技术，以便增强并行处理能力。
众所周知，按照MPEG-2标准(其以国际标准ISO/IEC13818-2标准化)的视频一般压缩方法基于视频存储容量和必要带宽通过从比特流去除冗余信息的原则。文中，MPEG代表运动图像专家组。
由于MPEG-2标准仅定义了比特流语法(针对经压缩的编码数据序列的规则或者针对编码数据的比特流的配置方法)和解码过程，因此MPEG-2标准是灵活的从而足够用于各种情况，诸如卫星广播服务、有线电视、交互式电视和因特网。
在MPEG-2的编码过程中，首先，视频信号被采样并量化以用于定义数字视频的每个像素中的颜色分量和亮度分量。指示颜色分量和亮度分量的值被存储至被称为宏块的结构中。存储在宏块中的颜色值和亮度值通过使用离散余弦变换(DCT)被转变成频率值。由DCT获得的转变系数在图片的亮度与颜色之间具有不同的频率。经量化的DCT变换系数通过进一步压缩视频流的可变长度编码(VLC)进行编码。
MPEG-2编码过程通过运动压缩技术定义附加的压缩。在MPEG-2标准中，三种图片或帧存在为I帧、P帧和B帧。I帧是经受帧内编码的帧，这意味着该帧在不需要参考视频流中的任意其他图片或帧的情况下被再现。P帧和B帧是经受帧间编码的帧，这意味着该帧在需要参考其他图片或帧的情况下被再现。例如，P帧和B帧中的每个帧包括指示来自参考帧的运动估计的运动矢量。通过使用运动矢量，使得在MPEG编码器中减少必要用于特定视频流的带宽变得可能。同时，I帧被称为帧内编码帧，P帧被称为预测编码帧，并且B帧被称为双向预测编码帧。
因此，MPEG-2的视频编码器由帧存储器、运动矢量检测单元、运动补偿单元、减法单元、DCT变换单元、量化单元、逆量化单元、逆DCT变换单元和可变长度编码单元构成。待编码的视频信号在已经存储在帧存储器之后从该帧存储器读出以进行编码及B帧的运动矢量检测，在减法单元中减去来自运动补偿单元的补偿预测信号，以及在DCT变换单元和量化单元中分别执行DCT变换处理和量化处理。经量化的DCT变换系数经受可变长度编码单元中的可变长度编码处理，并且还经受逆量化单元和逆DCT变换单元中的本地解码处理，然后这一本地解码处理的结果经由运动补偿单元被供给到减法单元。
另一方面，视频解码器由缓冲存储器、可变长度解码单元、逆量化单元、逆DCT变换单元、运动补偿单元、加法单元和帧存储器构成。MPEG-2编码的比特流在已经存储在缓冲存储器之后分别经受可变长度解码单元、逆量化单元和逆DCT变换单元中的可变长度解码处理、逆量化处理和逆DCT变换处理，然后在加法单元加上已经经受可变长度解码处理的运动矢量并且从该加法单元的输出生成再现的图像信号。这一再现的图像信号被存储至帧存储器并且被用于其他帧的预测。
在MPEG-2标准之后，还提出了按照MPEG-4标准(H.263)(其在国际标准ISO/IEC14496中标准化)的一般视频压缩方法，用于TV电话之类中的低速率编码。按照MPEG-4(H.263)标准的压缩方法是被称作“混合类型”，与MPEG-2一样使用帧间预测和离散余弦变换，并且进一步引入以半像素(半-像素)为单元的运动补偿。此压缩方法在与MPEG-2一样使用霍夫曼编码用于进行熵编码的同时新引入了三维可变长度编码(三维VLC)的技术(其同时对行程(run)、级别(level)和最后(last)进行编码)，并且大大增强了压缩率。这里，行程和级别涉及行程长度系数并且最后指示最后系数。另外，MPEG-4(H.263)标准包括被称为Baseline的基础部分以及被称作Annex的扩展标准。
由于根据MPEG-4(H.263)标准的压缩方法中没有足够有效的改进，因此MPEG-4AVC(H.264)标准按照国际标准ISO/IEC14496-10标准化以用于达到更高的编码效率而不考虑与现有方法的兼容性。同时，AVC代表先进视频编码，并且MPEG-4AVC(H.264)标准被称为H.264/AVC。
按照标准H.264/AVC的视频编码由视频编码层和网络抽象层构成。即，视频编码层设计用于使得视频上下文被有效表达，并且网络抽象层格式化视频VCL表达并且还通过适当的方法提供头部信息以供各种传输层传输以及记录媒体。
在国际标准视频编码方法(诸如MPEG-2、MPEG-4和MPEG-4AVC(H.264))中，帧间编码(即，帧间预测编码)用于通过使用时间方向上的相关性来实现高编码效率。帧编码模式包括使用帧内编码而不使用帧之间相关性的I帧，作为从过去编码的I帧而帧间预测的P帧，以及可以从过去编码的两个帧而帧间预测的B帧。
在此帧间预测编码中，从视频中减去经受运动补偿的参考图像(预测图像)，并且对此减法中的剩余误差进行编码。编码处理包括正交变换(诸如DCT(离散余弦变换))、量化和可变长度编码的处理。运动补偿(运动校正)包括在空间上移动帧间预测的参考帧的处理，并且运动补偿处理在待编码帧的块单元中执行。当图像内容不包括运动时，移动不是必须的并且使用位于待预测像素的同一位置处的像素。当存在运动时，搜索具有最大相似度的块并且运动量被定义为运动矢量。用于运动补偿的块是MPEG-2编码方法中16像素×16像素/16像素×8像素的块，以及MPEG-4编码方法中16像素×16像素/16像素×8像素/8像素×8像素的块。在MPEG-4AVC(H.264)编码方法中，运动补偿块是16像素×16像素/16像素×8像素/8像素×16像素/8像素×8像素/8像素×4像素/4像素×8像素/4像素×4像素的块。
针对每个图片屏幕(帧或字段)执行上文所述的编码处理，并且通过分割屏幕获得的块(通常为16像素×16像素，在MPEG中被称为宏块)是处理单元。即，针对每个待编码的块，最相似的块(预测图像)选自已经编码的参考图像，并且编码图像(块)和预测图像的差分信号经受编码(正交变换、量化等)。待编码的块与屏幕中预测信号之间的相对位置差被称为运动矢量。
此外，非专利文献1(Gary J.Sullivan等人的“Video Compression-From Conceptto the H.264/AVC Standard,”Proceeding of the IEEE,vol.93,no.1,2005年1月第18-31页)描述了按照H.264/AVC的视频编码层(VCL)遵循被称作基于块的混合视频编码的方法。VCL由宏块、切片和切块构成，并且每个图片被分成具有固定大小的多个宏块，每个宏块包括针对亮度分量的16×16样本的矩形图片区域以及针对对应的两个色差分量的每个分量的矩形样本区域。图片可以包含一个或多个切片。每个切片是自包含的，在这种意义上，给出活动序列和图片参数集，其语法元素可以从比特流中解析并且图片中切片所代表的区域中样本的值可以基本上被解码而不需要使用来自图片的其他切片的数据。然而，为了完全精确解码，可能需要来自其他切片的某些信息以便在跨切片边界应用解块滤波器。另外，非专利文献1中还描述了由于每个切片独立于图片中的其他切片进行编码和解码，因此切片可以用于并行处理。
同时，系统中对待视频编码的图像大小在HDTV(高清晰度电视)广播设备、能够捕获HDTV信号的数字视频相机等中被增加。处理这种信号的图像编码器和图像解码器需要更高的处理能力。
出于这样的背景，已经提出了新的标准H.265(ISO/IEC23008-2)其作为继标准H.264/MPEG-4AVC之后的标准，并且此新的标准被称为HEVC(高效率视频编码)。此新的标准通过块大小的挪用等在压缩效率方面非常优秀，并且被认为具有近似MPEG-2标准4倍高以及近似标准H.264/AVC2倍高的压缩能力。
同时，专利文献1(美国专利申请公开No.US2012/0106652A1说明书)描述了虽然配置有16×16像素的一个宏块被用作各种广泛采用的编码压缩标准(诸如MPEG-1/2/4和H.261/H.263/H.264-AVC)中的运动补偿和减法处理的处理单元，但是更灵活的块结构被采用作为被称作HEVC的下一代标准中的处理单元。此灵活块结构的单元被称作编码单元(CU)，该编码单元从最大编码单元(LCU)开始并且通过使用四叉树适应地被分成更小的块以实现更好的性能。最大编码单元(LCU)的大小为64×64像素，其远大于16×16像素的宏块。图1以及专利文献1关于图1的公开内容示出了基于四叉树的编码单元划分的示例，并且在其深度“零”处，初始的编码单元(CU)是由64×64像素构成的最大编码单元(LCU)。虽然拆分标记“0”示出下面的编码单元(CU)没有被划分，但是拆分标记“1”示出下面的编码单元(CU)被四叉树划分成四个较小的编码单元。专利文献1中还描述了编码单元(CU)在划分之后被四叉树进一步划分，直到达到最初指定的最小编码单元(CU)的大小。
标准HEVC的概要在非专利文献2(Gary J.Sullivan等人的“Overview of theHigh Efficiency Video Coding(HEVC)Standard,”IEEE Transactions on Circuits andSystems for Video Technology,vol.22,no.12,2012年12月第1649-1668页)中进行了描述。虽然之前标准中编码层的内核是包括亮度样本的16×16块和色度样本的两个8×8块的宏块，HEVC标准中的相似结构是编码树单元(CTU)，其具有编码器选定的大小并且可以比传统宏块更大。编码树单元(CTU)由亮度编码树块(CTB)和色度编码块(CTB)以及语法元素构成。编码树单元(CTU)的四叉树语法指定了亮度和色度的编码树块(CTB)的大小和位置。在编码单元(CU)级确定针对编码图片区域使用图片间还是图片内。预测单元(PU)的划分结构在编码单元(CU)级具有其根。取决于基本预测类型的预测，亮度和色度编码块(CB)可以在大小上被划分，并且可以从亮度和色度预测块(PB)被预测。HEVC标准支持从64×64样本向下到4×4样本的各种预测块(PB)大小。预测误差由块变换进行编码，并且变换单元(TU)的树形结构在编码单元(CU)级具有其根。亮度编码块(CB)的剩余误差与亮度变换块(TB)相同，并且可以被进一步分成更小的亮度变换块(TB)。这同样适用于色度变换块(TB)。针对4×4、8×8、16×16和32×32样本的矩形变换块(TB)定义类似于离散余弦变换(DCT)函数的基于整数的函数。
另外，非专利文献2描述了HEVC标准中的切片是可以独立于同一图片中其他切片进行编码的数据结构。此外，非专利文献2描述了瓦片的新特征和波前并行处理(WPP)被引入HEVC标准用于修改切片数据结构以便增强并行处理能力或执行封装。瓦片将图片分成矩形区域，并且瓦片的主要目的在于增强并行处理能力而不是提供误差恢复。多个瓦片是一个图片可以被独立解码的区域，并且由共同头部信息进行编码。通过波前并行处理(WPP)，一个切片被分成编码树单元(CTU)的多行。第一行通过常规方式处理，第二行可以在对第一行进行某些确定之后开始处理，以及第三行可以在对第二行进行某些确定之后开始处理。
此外，非专利文献2描述了能够生成符合HEVC标准的比特流的混合视频编码器的配置，并且还描述了类似于H.264/MPEG-4AVC标准中使用的解块滤波器被包括在其图片间预测回路中。
发明内容
在本发明之前，本发明人等已经从事于能够通过根据新标准H.265(HEVC)编码视频来生成经编码比特流的视频编码器的开发。
在此开发中，在本发明之前，首先本发明人等回顾了现有视频编码方法以及新标准H.265(HEVC)编码方法。
首先，在MPEG-2/4、H.263等的现有视频编码方法中，当视频以低比特率编码时，存在经解码图像被存储到帧存储器中同时保持块失真的问题，并且下一图片的运动补偿处理中的编码参考包括此块失真的经解码图像来执行，因此传播劣化的图像质量。
因此，在标准H.264/AVC的视频编码方法中，在经解码图像存储到帧存储器中之前，由解块滤波器执行块失真的去除。此解块滤波器是用于减少图像编码中生成的块失真的滤波器。因此，通过使用解块滤波器，防止块失真被包括在参考图像中并且被传播到经解码图像，因此使得再现具有优选图像质量的经解码图像变得可能。然而，解块滤波器中的图像处理量巨大并且存在视频解码器总处理量的近似一半被解块滤波器的图像处理量占用。因此，以下三种设置通过使用两个参数可获得；解块滤波器控制存在标记，其被包括在针对比特流的图片参数集中，以及禁用解块滤波器idc，其被包括在切片头部中。
第一设置执行针对块边界和宏块边界的解块处理，第二设置执行仅针对宏块边界的解块处理，以及第三设置不执行解块处理。例如，当解码处理由如移动电话等中的节能系统LSI执行时，实现处理量的减少同时通过省略解块处理来允许轻微的图像劣化。
与之相比，如上文非专利文献2所述，通过使用用于增强并行处理能力、在标准H.265(HEVC)的视频编码方法中引入的瓦片，在执行视频编码处理的视频编码器和执行视频解码处理的视频解码器中的并行处理变得可能。由于最近的系统LSI采用双核或四核计算机架构，因此使用用于增强并行处理能力的瓦片是有效的。
然而，在本发明之前的研究中，本发明人等已经发现在通过使用用于增强并行处理能力、在标准H.265(HEVC)的视频编码方法中引入的瓦片，在瓦片边界处生成的不连续噪声等问题，因此造成图像劣化。
在本发明之前的研究中，本发明人等已经发现能够根据上文非专利文献2描述的HEVC标准生成比特流的混合视频编码器的解块滤波器可以在某种程度上减少上文所述在瓦片边界处的不连续噪声等，但是无法充分减少噪声。
用于解决这种问题的装置将在下文进行解释，并且其他问题和新的特征根据本说明书及附图将变得清楚。
下文简要解释了本申请中公开的代表实施例的概要。
即，在根据代表实施例的视频编码器(1)中，执行运动矢量检测的运动矢量检测单元(109)至少包括第一运动矢量检测单元(109_1)和第二运动矢量检测单元(109_2)。
视频信号(VS)的一个图片中包括的第一瓦片的视频信号和第二瓦片的视频信号分别被供给第一运动矢量检测单元(109_1)的一个输入端子和第二运动矢量检测单元(109_2)的一个输入端子。
从帧存储器(108)读出的参考图像被供给第一运动矢量检测单元(109_1)的其他输入端子和第二运动矢量检测单元(109_2)的其他输入端子。
第一运动矢量检测单元(109_1)执行第一瓦片边界处理，其通过帧间预测来处理第一瓦片中包括的许多视频信号当中的、位于第一瓦片与另一瓦片之间的瓦片边界上或附近的视频信号。
在执行第一瓦片边界处理时，第一运动矢量检测单元(109_1)生成第一运动矢量，以便优选参考从帧存储器读出的参考图像当中的、不同于第一瓦片的另一瓦片中包括的参考图像。
第二运动矢量检测单元(109_2)执行第二瓦片边界处理，其通过帧间预测来处理第二瓦片中包括的许多视频信号当中的、位于第二瓦片与另一瓦片之间的瓦片边界上或附近的视频信号。
在执行第二瓦片边界处理时，第二运动矢量检测单元(109_2)生成第二运动矢量，以便优选参考从帧存储器读出的参考图像当中的、不同于第二瓦片的另一瓦片中包括的参考图像(参考图2)。
如下所述，将简要解释通过本申请中公开的各实施例中的代表实施例获得的效果。
即，根据本视频编码器(1)，可以减少在瓦片边界处生成的噪声等。
附图说明
图1是示出了根据第一实施例的视频编码器1的配置的示图；
图2是示出了根据第一实施例的图1所示视频编码器1中的运动矢量检测单元109和运动补偿单元110的配置的示图；
图3是示出了根据第一实施例的图2所示的运动矢量检测单元109中的第一运动矢量检测单元109_1的配置的示图；
图4是解释了根据第一实施例的图1至图3所示视频编码器1中通过帧间预测的编码操作的示图；
图5是示出了位于作为图4的编码目标的第二图片Pct_2的第一瓦片Tile_1中包括的瓦片边界线TB上的块BL3是基于标准H.265(HEVC)定义的最大编码单元(LCU)的四叉树通过划分生成的预测单元(PU)的示图；
图6是示出了根据第一实施例的经受通过图2中所示运动矢量检测单元109的第一运动矢量检测单元109_1、第二运动矢量检测单元109_2、第三运动矢量检测单元109_3和第四运动矢量检测单元109_4以及运动补偿单元110的第一运动补偿单元110_1、第二运动补偿单元110_2、第三运动补偿单元110_3和第四运动补偿单元110_4的并行处理的编码目标的图片Pct的瓦片划分的示图；
图7是示出了在预测单元(PU)在图6所示的第一瓦片Tile_1中包括的许多预测单元(PU)当中、作为位于瓦片边界线TB上的视频信号通过帧间预测进行编码时帧存储器108中存储的参考图像的第一图片Pct_1之内的搜索区域(Search Area)的示图；
图8是解释了在图1至图3中所示的视频编码器1根据第一实施例通过帧间预测编码位于瓦片边界上的视频信号时优先选择并参考跨瓦片边界的另一瓦片中包括的参考图像的处理流的示图；
图9是示出了用于图2中所示运动矢量检测单元109中的第一运动矢量检测单元109_1、第二运动矢量检测单元109_2、第三运动矢量检测单元109_3和第四运动矢量检测单元109_4以用于以分数像素精度检测运动矢量以及运动补偿单元110中的第一运动补偿单元110_1、第二运动补偿单元110_2、第三运动补偿单元110_3和第四运动补偿单元110_4以用于以分数像素精度生成运动补偿预测信号的插值滤波器的配置的示图；
图10是解释了图9中所示插值滤波器用于根据第二实施例在分数像素精度位置处生成像素值的操作的示图；
图11是示出了在编码目标的预测单元(PU)是块BL3并且用于运动补偿的单元具有4像素×4像素时其中运动矢量检测和运动补偿预测信号生成通过使用图9所示的插值滤波器根据第二实施例生成的分数像素精度位置处的像素值而有可能的分数搜索区域(Fractional Search Area)的示图；
图12是示出了在编码目标的预测单元(PU)是位于图7中所示的瓦片边界线TB上的块BL3时其中搜索使用图9所示插值滤波器根据第二实施例生成的分数像素精度位置处的像素值而有可能的分数搜索区域(分数搜索区域)的示图；以及
图13是解释了在图9至图12中所示的视频编码器1根据第二实施例通过帧间预测来编码位于瓦片边界上的视频信号时优先选择并参考跨瓦片边界的另一瓦片中包括的参考图像的处理流的示图。
具体实施方式
1、实施例概要
首先，将解释本申请中公开的代表实施例的概要。在代表实施例的概要解释中要参考的附图中括号内的参考号简单地示出了该参考号所附的构成部分的概念中包括的内容。
作为代表实施例，在视频编码器(1)中，运动矢量通过运动矢量检测(109)利用从帧存储器(108)读出的参考图像搜索最类似于待编码视频信号(VS)的编码图像区域(PU)的参考图像来生成。
运动补偿预测信号通过来自从帧存储器(108)读出的参考图像和运动矢量的运动补偿(110)生成。
剩余误差通过视频信号(VS)与运动补偿预测信号的相减(101)生成。
待被存储在帧存储器(108)中的参考图像通过将对由相减(101)生成的预测剩余误差进行变换处理(102)、量化处理(103)、逆量化处理(104)和逆变换处理(105)的处理结果与由运动补偿(110)生成的运动补偿预测信号的处理结果的相加(106)而生成(参考图1)。
执行运动矢量检测的运动矢量检测单元(109)包括至少第一运动矢量检测单元(109_1)和第二运动矢量检测单元(109_2)。
视频信号(VS)的一个图片中包括的第一瓦片的视频信号和第二瓦片的视频信号被分别供给第一运动矢量检测单元(109_1)的一个输入端子和第二运动矢量检测单元(109_2)的一个输入端子。
从帧存储器(108)读出的参考图像被供给第一运动矢量检测单元(109_1)的另一输入端子和第二运动矢量检测单元(109_2)的另一输入端子。
第一运动矢量(MV1)和第二运动矢量(MV2)从第一运动矢量检测单元(109_1)的输出端子和第二运动矢量检测单元(109_2)的输出端子并行生成。
执行运动补偿的运动补偿单元(110)包括至少第一运动补偿单元(110_1)和第二运动补偿单元(110_2)。
第一运动矢量(MV1)和第二运动矢量(MV2)被分别供给第一运动补偿单元(110_1)的一个输入端子和第二运动补偿单元(110_2)的一个输入端子。
从帧存储器(108)读出的参考图像被供给第一运动补偿单元(110_1)的另一输入端子和第二运动补偿单元(110_2)的另一输入端子。
第一运动补偿预测信号和第二运动补偿预测信号从第一运动补偿单元(110_1)的输出端子和第二运动补偿单元(110_2)的输出端子并行生成作为运动补偿预测信号。
第一运动矢量检测单元(109_1)执行第一瓦片边界处理，其通过帧间预测来执行对第一瓦片中包括的许多视频信号当中的、位于第一瓦片与另一瓦片之间的瓦片边界上或附近的视频信号的处理。
在执行第一瓦片边界处理时，第一运动矢量检测单元(109_1)生成第一运动矢量，以便优选参考从帧存储器读出的参考图像当中的、不同于第一瓦片的另一瓦片中包括的参考图像。
第二运动矢量检测单元(109_2)执行第二瓦片边界处理，其通过帧间预测来处理包括在第二瓦片中的许多视频信号中的、位于第二瓦片与另一瓦片之间的瓦片边界上或附近的视频信号。
在执行第二瓦片边界处理时，第二运动矢量检测单元(109_2)生成第二运动矢量，以便优选参考从帧存储器读出的参考图像中的、不同于第二瓦片的另一瓦片中包括的参考图像(参考图2)。
根据上述实施例，有可能减少在瓦片边界生成的噪声等。
在优选实施例中，第一运动矢量检测单元根据分别供给第一运动矢量检测单元的一个输入端子和另一输入端子的第一瓦片中视频信号的地址信息和参考图像的地址信息、以及关于瓦片边界的信息来生成第一运动矢量。
第二运动矢量检测单元根据分别供给第二运动矢量检测单元的一个输入端子和另一输入端子的第二瓦片中视频信号的地址信息和参考图像的地址信息、以及关于瓦片边界的信息生成第二运动矢量(参考图3)。
在另一优选实施例中，第一运动矢量检测单元(109_1)和第二运动矢量检测单元(109_2)中的每一个被配置为能够通过使用具有多个抽头的插值滤波器以分数像素精度生成第一运动矢量(MV1)和第二运动矢量(MV2)，其中插值滤波器执行在整数像素位置之间的像素值的插值(参考图9至图13)。
在又一优选实施例中，当生成第一运动矢量时，第一运动矢量检测单元(109_1)能够使得以分数像素精度设置用于运动矢量检测(109)的分数搜索区域包括不同于第一瓦片的另一瓦片中包括的参考图像。
当生成第二运动矢量时，第二运动矢量检测单元(109_2)能够使得以分数像素精度设置用于运动矢量检测(109)的分数搜索区域包括不同于第二瓦片的另一瓦片中包括的参考图像。
在具体实施例中，分别供给第一运动矢量检测单元的一个输入端子和第二运动矢量检测单元的一个输入端子的第一瓦片中的视频信号和第二瓦片中的视频信号是根据标准H.265(HEVC)划分的多个瓦片的视频信号。
此外，在特定实施例中，通过第一瓦片边界处理或第二瓦片边界处理处理的瓦片边界的附近中的每一个以相比于标准H.265(HEVC)定义的最大编码单元(LCU)更小的距离位于瓦片边界上，并且具有64×64像素的大小。
2、实施例细节
接下来，将进一步详细描述各实施例。同时，在解释用于执行本发明的优选实施例的所有附图中，相同符号被附到具有与先前所述附图中相同功能的组件，并且重复解释将被省略。
[第一实施例]
《视频编码器的配置》
图1是示出了根据第一实施例的视频编码器1的配置的示图。
图1中所示根据第一实施例的视频编码器1由下列各项构成：编码单元缓冲器100、减法器101、频率变换单元(T)102、量化单元(Q)103、逆量化单元(IQ)104、逆频率变换单元(IT)105和加法器106。此外，视频编码器1由下列各项构成：滤波器单元(FLT)107、帧存储器(FM)108、运动矢量检测单元(ME)109、运动补偿单元(MC)110、缓冲存储器(BF)111、帧内预测单元(IP)112、选择器(SEL)113、熵编码器(ENC)114和视频缓冲器(VB)115。
视频信号VS被分成处理单元的编码单元(CU)，具有HEVC标准的灵活块结构，然后编码单元(CU)被存储到编码单元缓冲器100中。从编码单元缓冲器100读出的编码单元(CU)被供给减法器101的一个输入端子、运动矢量检测单元109的一个输入端子和帧内预测单元112的一个输入端子。
虽然附图中未示出，但指示针对视频每个图片的帧间预测或帧内预测的预测模式从附图中未示出的编码控制单元被供给选择器单元113和熵编码器114。待经受帧间编码的视频信号的编码单元(CU)被存储到缓冲器100中用于B帧编码和运动矢量检测，然后从缓冲器100读出的编码单元(CU)被供给减法器101的一个输入端子。运动矢量检测单元109响应于从缓冲器100读出的视频信号和帧存储器108中存储的参考图像生成运动矢量MV，并且运动补偿单元110响应于运动矢量检测单元109中生成的运动矢量和帧存储器108中存储的参考图像生成运动补偿预测信号。来自运动补偿单元110的运动补偿预测信号经由选择器单元113从减法器101中的视频信号减去，并且分别在频率变换单元102和量化单元103中关于来自减法器101的减法输出信号执行频率变换处理和量化处理。在量化单元103中被量化的频率变换系数和在运动矢量检测单元109中生成的运动矢量MV经受熵编码114中的可变长度编码处理，并且经由视频缓冲器115生成经压缩的视频比特流CVBS。在量化单元103中被量化的频率变换系数经受由逆量化单元104、逆频率变换单元105、加法器106和滤波器单元107的本地解码处理，然后此本地解码处理结果被存储在帧存储器108中作为参考图像。滤波器单元107具有用于根据MPEG-4AVC(H.264)标准减少块失真的解块滤波器的功能。此外，滤波器单元107具有在解块滤波器功能之后被称作样本自适应偏移(SAO)的滤波器功能以用于符合新标准H.265(HEVC)。此采样自适应偏移(SAO)滤波器功能优选通过使用通过视频编码器1中附图未示出的编码控制单元的频率失真分析确定的附加参数描述的查找表重建原始信号振幅。
待经受帧内编码的视频信号被存储到缓冲器100中，然后从缓冲器100读出的视频信号被供给帧内预测单元112的一个输入端子。另一方面，由于已经由帧内预测编码并且由本地解码处理解码的参考图像被存储在缓冲存储器111中，从缓冲存储器111读出的参考图像被供给帧内预测单元112的另一输入端子。因此，当对供给一个输入端子的视频信号的编码单元(CU)执行帧内编码时，帧内预测单元112从包括在供给缓冲存储器111的另一输入端子的已经编码的参考图像中的多个附近编码单元(CU)选择最佳编码单元，并且进一步生成所选择的最佳编码单元的空间信息。因此，帧内预测单元112向选择器单元113供给包括帧内预测最佳编码单元(CU)和对应空间预测模式的帧内预测信息。
《运动矢量检测单元和运动补偿单元的配置》
图2是示出了根据第一实施例的图1所示的视频编码器1中的运动矢量检测单元109和运动补偿单元110的配置的示图。
如图2所示，运动矢量检测单元109包括瓦片划分单元109_0、第一运动矢量检测单元(ME_1)109_1和第二运动矢量检测单元(ME_2)109_2、第三运动矢量检测单元(ME_3)109_3和第四运动矢量检测单元(ME_4)109_4。
从缓冲器100读出的视频信号被供给运动矢量检测单元109中的瓦片划分单元109_0的输入端子，因此瓦片划分单元109_0将一个图片的视频信号分成多个瓦片用于根据从附图中未示出的编码控制单元供给的HEVC标准的瓦片划分信息来增强并行处理能力。因此，瓦片划分单元109_0中生成的第一瓦片视频图像信号被供给第一运动矢量检测单元109_1的一个输入端子，并且在瓦片划分单元109_0中生成的第二瓦片视频信号被供给第二运动矢量检测单元109_2的一个输入端子。由于从帧存储器108读出的参考图像被并行供给第一运动矢量检测单元109_1的另一输入端子以及第二运动矢量检测单元109_2的另一输入端子，因此在第一运动矢量检测单元109_1中生成第一运动矢量MV1并且在第二运动矢量检测单元109_2中并行生成第二运动矢量MV2。在瓦片划分单元109_0中生成的第三瓦片视频信号被供给第三运动矢量检测单元109_3的一个输入端子，并且在瓦片划分单元109_0中生成的第四瓦片视频信号被供给第四运动矢量检测单元109_4的一个输入端子。由于从帧存储器108读出的参考图像被并行供给第三运动矢量检测单元109_3的另一输入端子以及第四运动矢量检测单元109_4的另一输入端子，因此在第三运动矢量检测单元109_3中生成第三运动矢量MV3并且在第四运动矢量检测单元109_4中并行生成第四运动矢量MV4。
如图2所示，运动补偿单元110包括第一运动补偿单元(MC_1)110_1、第二运动补偿单元(MC_2)110_2、第三运动补偿单元(MC_3)110_3和第四运动补偿单元(MC_4)110_4。在第一运动矢量检测单元109_1中生成的第一运动矢量MV1被供给第一运动补偿单元110_1的一个输入端子，并且在第二运动矢量检测单元109_2中生成的第二运动矢量MV2被供给第二运动补偿单元110_2的一个输入端子。由于从帧存储器108读出的参考图像被并行供给第一运动补偿单元110_1的另一输入端子以及第二运动补偿单元110_2的另一输入端子，因此在第一运动补偿单元110_1中生成第一运动补偿预测信号并且在第二运动补偿单元110_2中并行生成第二运动补偿预测信号。在第三运动矢量检测单元109_3中生成的第三运动矢量MV3被供给第三运动补偿单元110_3的一个输入端子，并且在第四运动矢量检测单元109_4中生成的第四运动矢量MV4被供给第四运动补偿单元110_4的一个输入端子。由于从帧存储器108读出的参考图像被并行供给第三运动补偿单元110_3的另一输入端子以及第四运动补偿单元110_4的另一输入端子，因此在第三运动补偿单元110_3中生成第三运动补偿预测信号并且在第四运动补偿单元110_4中并行生成第四运动补偿预测信号。如图2所示通过此方式在第一运动补偿单元110_1、第二运动补偿单元110_2、第三运动补偿单元110_3和第四运动补偿单元110_4中并行生成的第一运动补偿预测信号、第二运动补偿预测信号、第三运动补偿预测信号和第四运动补偿预测信号被并行供给选择器单元113的一个输入端子。
在图1和图2所示根据第一实施例的视频编码器1中，帧存储器108中存储的参考图像与待由瓦片划分单元109_0编码的视频信号的瓦片划分完成相同地被瓦片划分来划分。因此，通过用于待编码视频信号的瓦片划分单元109_0的瓦片划分中的瓦片边界线与帧存储器108中存储的参考图像的瓦片划分中的瓦片边界线完全一致。因此，在图2所示的运动矢量检测单元109中，所有瓦片(诸如帧存储器108中存储的参考图像的屏幕中包括的第一瓦片、第二瓦片、第三瓦片和第四瓦片)的参考图像信息被并行供给第一运动矢量检测单元109_1、第二运动矢量检测单元109_2、第三运动矢量检测单元109_3和第四运动矢量检测单元109_4。此外，在图2所示的运动补偿单元110中，所有瓦片(诸如帧存储器108中存储的参考图像的屏幕中包括的第一瓦片、第二瓦片、第三瓦片和第四瓦片)的参考图像信息被并行供给第一运动补偿单元110_1、第二运动补偿单元110_2、第三运动补偿单元110_3和第四运动补偿单元110_4。
如上文所解释，在图2的运动矢量检测单元109中，瓦片划分单元109_0将视频信号分成瓦片，并且第一运动矢量检测单元109_1、第二运动矢量检测单元109_2、第三运动矢量检测单元109_3和第四运动矢量检测单元109_4通过参考帧存储器108中存储的参考图像中所有瓦片的参考图像信息执行针对被分成四个瓦片的视频图像的运动矢量检测。因此，第一运动矢量MV1、第二运动矢量MV2、第三运动矢量MV3和第四运动矢量MV4在第一运动矢量检测单元109_1、第二运动矢量检测单元109_2、第三运动矢量检测单元109_3和第四运动矢量检测单元109_4中并行生成。此外，在图2所示的运动补偿单元110中，第一运动补偿单元110_1、第二运动补偿单元110_2、第三运动补偿单元110_3和第四运动补偿单元110_4通过使用第一运动矢量MV1、第二运动矢量MV2、第三运动矢量MV3和第四运动矢量MV4以及从帧存储器108读出的参考图像中所有瓦片的参考图像信息并行生成第一运动补偿预测信号、第二运动补偿预测信号、第三运动补偿预测信号和第四运动补偿预测信号。
图1和图2所示根据第一实施例的视频编码器1中的运动矢量检测单元109和运动补偿单元110具有用于减少在标准H.265(HEVC)的视频编码方法中引入的瓦片边界处生成的噪声等的以下特征。
即，当第一运动矢量检测单元109_1通过帧间预测来编码在第一瓦片中包括的许多视频信号当中的、位于第一瓦片与另一瓦片之间的瓦片边界上或附近的视频信号时，第一运动矢量检测单元109_1被构成使得优先选择任意其他瓦片(诸如第二瓦片、第三瓦片和第四瓦片)中包括的参考图像。因此，在第一运动矢量检测单元109_1中生成的第一运动矢量MV1的方向优先被选择为从第一瓦片去往另一瓦片的方向。因此，在第一运动补偿单元110_1中生成的用于帧间预测位于第一瓦片中瓦片边界上或附近的视频信号的第一运动补偿预测信号优选包括任意其他瓦片(诸如第二瓦片、第三瓦片和第四瓦片)中包括的参考图像。这里，瓦片边界的附近意味着以相比于由标准H.265(HEVC)定义的具有64×64像素大小的最大编码单元(LCU)更小的距离位于瓦片边界上。
当第二运动矢量检测单元109_2通过帧间预测来编码第二瓦片中包括的许多视频信号当中的、位于第二瓦片与另一瓦片之间的瓦片边界上或附近的视频信号时，第二运动矢量检测单元109_2被构成使得优先选择任意其他瓦片(诸如第一瓦片、第三瓦片和第四瓦片)中包括的参考图像。因此，在第二运动矢量检测单元109_2中生成的第二运动矢量MV2的方向优先被选择为从第二瓦片去往另一瓦片的方向。因此，在第二运动补偿单元110_2中生成的用于帧间预测位于第二瓦片中瓦片边界上或附近的视频信号的第二运动补偿预测信号优选包括任意其他瓦片(诸如第一瓦片、第三瓦片和第四瓦片)中包括的参考图像。同时，瓦片边界的附近由上述标准定义。
当第三运动矢量检测单元109_3通过帧间预测来编码在第三瓦片中包括的许多视频信号当中的、位于第三瓦片与另一瓦片之间的瓦片边界上或附近的视频信号时，第三运动矢量检测单元109_3被构成使得优先选择任意其他瓦片(诸如第一瓦片、第二瓦片和第四瓦片)中包括的参考图像。因此，在第三运动矢量检测单元109_3中生成的第三运动矢量MV3的方向优先被选择为从第三瓦片去往另一瓦片的方向。因此，在第三运动补偿单元110_3中生成的用于帧间预测位于第三瓦片中瓦片边界上或附近的视频信号的第三运动补偿预测信号优选包括任意其他瓦片(诸如第一瓦片、第二瓦片和第四瓦片)中包括的参考图像。同时，瓦片边界的附近由上述标准定义。
当第四运动矢量检测单元109_4通过帧间预测来编码在第四瓦片中包括的许多视频信号当中的、位于第四瓦片与另一瓦片之间的瓦片边界上或附近的视频信号时，第四运动矢量检测单元109_4被构成使得优先选择任意其他瓦片(诸如第一瓦片、第二瓦片和第三瓦片)中包括的参考图像。因此，在第四运动矢量检测单元109_4中生成的第四运动矢量MV4的方向优先被选择为从第四瓦片去往另一瓦片的方向。因此，在第四运动补偿单元110_4中生成的用于帧间预测位于第四瓦片中瓦片边界上或附近的视频信号的第四运动补偿预测信号优选包括任意其他瓦片(诸如第一瓦片、第二瓦片和第三瓦片)中包括的参考图像。同时，瓦片边界的附近由上述标准定义。
因此，图1和图2所示根据第一实施例的视频编码器1在通过帧间预测来编码位于瓦片之间的瓦片边界上或附近的视频信号时根据上述特征优先选择并参考跨瓦片边界在另一瓦片中包括的参考图像。因此，减少跨瓦片边界的视频质量的差异，并且使得减少在标准H.265(HEVC)的视频编码方法中引入的各瓦片之间边界上或附近生成的噪声等变得可能。
《第一运动矢量检测单元的配置》
图3是示出了根据第一实施例的图2所示的运动矢量检测单元109中第一运动矢量检测单元109_1的配置的示图。
如图3所示，第一运动矢量检测单元109_1包括数据分离单元(SPL)109_1_1、绝对值计算单元(ABS)109_1_2、瓦片确定单元(JUDG)109_1_3、加法单元109_1_4、最佳块确定单元109_1_5和最佳位置存储单元109_1_6。
向数据分离单元109_1_1供给从附图中未示出的编码控制单元供给的瓦片划分信息TDI、编码目标块T_B的像素信息和屏幕中地址以及参考块R_B的像素信息和屏幕中地址。编码目标块T_B是待帧间编码并且包括在瓦片划分单元109_0中生成的第一瓦片的视频信号中的编码单元(CU)，并且参考块R_B是包括在从帧存储器108读出的参考图像中的许多参考块并且其中每一个具有对应于待帧间编码的上述编码单元(CU)的块大小。这些作为许多参考块的参考块R_B包括所有瓦片(诸如帧存储器108中存储的参考图像的屏幕中包括的第一瓦片、第二瓦片、第三瓦片和第四瓦片)的参考图像信息。
编码目标块T_B的像素信息和许多参考块R_B的像素信息从数据分离单元109_1_1被供给绝对值计算单元109_1_2，并且绝对值计算单元109_1_2顺序计算编码目标块T_B的像素信息与许多参考块R_B的像素信息集之间的差Sim_V的绝对值。具有此差值Sim_V的小绝对值的参考块R_B的像素信息与编码目标块T_B的像素信息相似。同时，编码目标块T_B的像素信息和许多参考块R_B的像素信息集的每一个包括例如按4：2：0比率的亮度信号Y和色差信号Cr和Cb。
瓦片划分信息TDI、编码目标块T_B的屏幕中地址以及许多参考块R_B的屏幕中地址从数据分离单元109_1_1被供给瓦片确定单元109_1_3，并且瓦片确定单元109_1_3确定包括编码目标块T_B的瓦片和包括许多参考块R_B的每个块的瓦片是否彼此相同。当瓦片相同时，瓦片确定单元109_1_3生成具有大绝对值的加权系数值Wg_V，并且当瓦片不相同时，瓦片确定单元109_1_3生成具有小绝对值的加权系数值Wg_V。
加法单元109_1_4执行在绝对值计算单元109_1_2中生成的差Sim_V的绝对值与在瓦片确定单元109_1_3中生成的加权系数值Wg_V的相加，因此加法单元109_1_4的相加结果被供给最佳块确定单元109_1_5。最佳块确定单元109_1_5响应于从加法单元109_1_4顺序供给的相加结果来更新最小值的相加结果。响应于最佳块确定单元中的相加结果的最小值的更新，对应于最小值的相加结果的参考块的屏幕中地址被更新并存储在最佳位置存储单元109_1_6中。因此，第一运动矢量MV1通过使用具有最佳块确定由单元109_1_5更新的最小加法值的最佳参考块R_B的屏幕中地址和编码目标块T_B的屏幕中地址在最佳块确定单元109_1_5中生成。因此，在第一运动矢量检测单元109_1中生成的第一运动矢量MV1的方向优先被选择为从第一瓦片去往另一瓦片的方向。
图2中所示的运动矢量检测单元109中的第二运动矢量检测单元109_2、第三运动矢量检测单元109_3和第四运动矢量检测单元109_4中的每个检测单元也与图3中所示的第一运动矢量检测单元109_1类似地进行配置。
《通过帧间预测的编码操作》
图4是解释了根据第一实施例的图1至图3所示的视频编码器1中通过帧间预测的编码操作的示图。
假设在图1至图3中根据第一实施例的视频编码器1中，作为编码目标的第二图片PCT_2在图4所示时间流逝的第二时间T2的定时通过帧间预测进行编码。第二图片Pct_2被分成第一瓦片Tile_1和第二瓦片Tile_2，其在瓦片边界线TB处具有边界。第二图片Pct_2被图2的瓦片划分单元109_0分成第一瓦片Tile_1和第二瓦片Tile_2，并且通过第一运动矢量检测单元109_1和第一运动补偿单元110_1的对第一瓦片Tile_1的视频信号的处理以及通过第二运动矢量检测单元109_2和第二运动补偿单元110_2的对第二瓦片Tile_2的视频信号的处理并行执行。许多视频信号被包括在第一瓦片Tile_1之内，块BL3的视频信号位于许多视频信号中的瓦片边界TB上，并且具体地，位于瓦片边界线TB上的块BL3的视频信号由帧间预测进行编码。
当第二图片Pct_2在第二时间T2的定时通过帧间预测进行编码时，作为已经在视频编码器1之内的本地解码处理中解码的参考图像的第一图片Pct_1在图4所示时间流逝的第一时间T1的定时存储在帧存储器108中。作为已经解码的参考图像的第一图片Pct_1还被与作为编码目标的第二图片Pct_2的瓦片划分中的瓦片边界线TB相同的瓦片边界线TB分成第一瓦片Tile_1和第二瓦片Tile_2。位于作为参考图像的第一图片Pct_1中的第一瓦片Tile_1中包括的瓦片边界线TB上的块BL_0具有与作为编码目标的第二图片Pct_2的第一瓦片Tile_1中包括的帧间预测编码目标的块BL3相同的块大小(编码单元(CU))和相同的屏幕中地址。作为参考图像的第一图片Pct_1的第一瓦片Tile_1包括待用于编码目标的块BL3的帧间预测的参考候选块BL1，并且第二瓦片Tile_2还包括待用于编码目标的块BL3的帧间预测的参考候选块BL2。同时，参考候选块BL1和参考候选块BL2中的每一个具有与编码目标的块BL3相同的块大小(编码单元(CU))，参考候选块BL1具有运动矢量MV_01，以及参考候选块BL2具有运动矢量MV_02。
如上所述，在图1至图3中所示的根据第一实施例的视频编码器1中，当位于瓦片边界上或附近的视频信号通过帧间预测进行编码时，跨瓦片边界的另一瓦片中包括的参考图像被优先选择并参考。因此，在作为编码目标并且位于瓦片边界线TB上的第二图片Pct_2的第一瓦片Tile_1中包括的块BL3的视频信号通过帧间预测进行编码时，第二瓦片Tile_2中包括的参考候选块BL2相比于作为参考图像的第一图片Pct_1的第一瓦片Tile_1中包括的参考候选块BL1更优先被选择。因此，当第二图片Pct_2的第一瓦片Tile_1中包括的并且位于瓦片边界线TB上的块BL3的视频信号通过帧间预测进行编码时，作为跨瓦片边界线TB的另一瓦片的第二瓦片Tile_2中包括的参考候选块BL2的参考图像被优先选择并参考。因此，在包括在第二图片Pct_2的第一瓦片Tile_1中并且位于瓦片边界线TB上的块BL3的视频信号通过帧间预测进行编码时，处于瓦片边界线TB的第一瓦片Tile_1与第二瓦片Tile_2之间的图像质量差被减少，并且使得减少位于瓦片边界线TB上的块BL3中生成的噪声等变得可能。
同时，在图4中所示时间流逝中第三时间T3的定时，在作为编码目标的第三图片Pct_3通过帧间预测进行编码时，第一图片Pct_1和第二图片Pct_2中的任意一个可以被用作参考图像。此时，在位于第三图片Pct_3的瓦片边界上的视频图像通过帧间预测进行编码时，跨瓦片边界的另一瓦片中包括的参考图像被优先选择并参考。
《LCU中包括的编码目标块》
图5是示出了位于作为图4的编码目标的第二图片Pct_2的第一瓦片Tile_1中包括的瓦片边界线TB上的块BL3是基于标准H.265(HEVC)定义的最大编码单元(LCU)的四叉树通过划分生成的预测单元(PU)的示图。
因此，作为预测单元(PU)的编码目标的块BL3的大小可以被设置为从64×64像素的最大大小下至最初指定最小编码单元(CU)的大小的任意大小。
《瓦片划分》
图6是示出了根据第一实施例经受通过图2中所示的运动矢量检测单元109的第一运动矢量检测单元109_1、第二运动矢量检测单元109_2、第三运动矢量检测单元109_3和第四运动矢量检测单元109_4以及运动补偿单元110的第一运动补偿单元110_1、第二运动补偿单元110_2、第三运动补偿单元110_3和第四运动补偿单元110_4并行处理的编码目标的图片Pct的瓦片划分的示图。
图6中所示的编码目标的图片Pct具有超高分辨率屏幕，其中4096像素和2048像素例如分别在水平方向和竖直方向上布置。如上所述，用于增强并行处理能力的HEVC标准中引入的瓦片通过将编码目标的图片划分成矩形区域而形成，并且图6中所示的图片Pct包括由瓦片边界线TB划分的多个瓦片Tile_1、Tile_2、Tile_3和Tile_4等。
瓦片Tile_1、Tile_2、Tile_3和Tile_4等中的每个瓦片包括图5中所示最大编码单元(LCU)中包括的编码目标块的预测单元(PU)。
第一瓦片Tile_1中包括的预测单元(PU)由图2中所示的第一运动矢量检测单元109_1和第一运动补偿单元110_1进行处理，并且并行地，第二瓦片Tile_2中包括的预测单元(PU)由图2中所示的第二运动矢量检测单元109_2和第二运动补偿单元110_2进行处理。与上述处理并行地，第三瓦片Tile_3中包括的预测单元(PU)由图2中所示的第三运动矢量检测单元109_3和第三运动补偿单元110_3进行处理，并且第四瓦片Tile_4中包括的预测单元(PU)由图2中所示的第四运动矢量检测单元109_4和第四运动补偿单元110_4进行处理。瓦片Tile_1、Tile_2、Tile_3和Tile_4等中的每个瓦片之内的预测单元(PU)以Z字形处理以按照如图6中虚线所示的光栅扫描顺序。
在此之后，在图6所示编码目标的图片Pct中，第五瓦片Tile_5中包括的预测单元(PU)由图2中所示的第一运动矢量检测单元109_1和第一运动补偿单元110_1进行处理。与上述并行地，第六瓦片Tile_6中包括的预测单元(PU)由图2中所示的第二运动矢量检测单元109_2和第二运动补偿单元110_2进行处理。与上述并行地，虽然图6中未示出，第七瓦片Tile_7中包括的预测单元(PU)由图2中所示的第三运动矢量检测单元109_3和第三运动补偿单元110_3进行处理。与上述并行地，虽然图6中未示出，第八瓦片Tile_8中包括的预测单元(PU)由图2中所示的第四运动矢量检测单元109_4和第四运动补偿单元110_4进行处理。
《位于瓦片边界线上的视频信号的编码》
图7是示出了在预测单元(PU)在图6所示第一瓦片Tile_1中包括的许多预测单元(PU)当中作为位于瓦片边界线TB上的视频信号通过帧间预测进行编码时帧存储器108中存储的参考图像的第一图片Pct_1之内的搜索区域(搜索区域)的示图。
这里，正如作为在图4中所示时间流逝中的第二时间T2的编码目标的第二图片Pct_2，第一瓦片Tile_1内许多视频信号当中的、位于瓦片边界线TB上的块BL3的视频信号通过帧间预测进行编码。如位于作为图7中所示参考图像的第一图片Pct_1的第一瓦片Tile_1中包括的瓦片边界线TB上的视频信号的预测单元(PU)通过帧内预测具有与包括在编码目标的第二图片Pct_2的第一瓦片Tile_1中的并且待编码的块BL3相同的块大小和相同的屏幕中地址。
当第二图片Pct_2通过帧间预测进行编码时，存在使用作为在图4中所示时间流逝中的第一时间T1在帧存储器108中存储的参考图像的第一图片Pct_1中所有瓦片的参考图像的可能性。然而，当位于瓦片边界线TB上的块BL3通过帧间预测进行编码时，如果第一图片Pct_1中所有瓦片的参考图像被使用，则第二运动矢量检测单元109_2中的运动矢量检测时间变长。为了解决这一问题，运动矢量检测通过使用图7中所示的搜索区域(搜索区域)来执行。即，如图7所示，加粗虚线所示的搜索区域(搜索区域)在作为具有与待通过帧间预测编码的块BL3相同的块大小和相同的屏幕中地址的参考图像的预测单元(PU)的外围部分中设置。在图7的示例中，搜索区域(搜索区域)在作为参考图像的预测单元(PU)的外围中的±128像素的范围内设置。
然而，搜索区域(搜索区域)中的所有参考图像不是用于通过帧间预测进行编码，并且相比于与编码目标的瓦片相同的瓦片更优选从与编码目标的瓦片不同的瓦片选择。因此，如图7所示，当包括在编码目标的第二图片Pict_2的第一瓦片Tile_1中并且位于瓦片边界线TB上的块BL3的视频信号通过帧间预测进行编码时，相比于包括在作为参考图像的第一图片Pict_1的第一瓦片Tile_1中的参考候选块更优先选择另一瓦片的参考候选块。因此，当包括在编码目标的第二图片Pict_2的第一瓦片Tile_1中并且位于瓦片边界线TB上的块BL3的视频信号通过帧间预测进行编码时，优先选择并参考跨瓦片边界线TB的包括在作为其他瓦片的第二瓦片Tile_2、第四瓦片Tile_4和第五瓦片Tile_5中的参考候选块的参考图像。
《处理流》
图8是解释了在图1至图3中所示的视频编码器1根据第一实施例通过帧间预测编码位于瓦片边界上的视频信号时优先选择并参考跨瓦片边界的另一瓦片中包括的参考图像的处理流的示图。
在图8所示第一步骤-步骤1中，开始通过帧间预测对作为编码目标的第二图片Pict_2进行编码处理。
在步骤-步骤2中，第一运动矢量检测单元109_1的数据分离单元109_1_1确定作为包括在作为编码目标的第二图片Pict_2的第一瓦片Tile_1中的视频信号的每个预测单元(PU)是否位于将第二图片Pict_2分成瓦片的瓦片边界线TB上。当确定结果是“否”时，流程去往步骤-步骤3，否则，当确定结果是“是”时，流程去往步骤-步骤11。
在步骤-步骤3中，搜索区域(搜索区域)在作为参考图像包括在第一图片Pict_1的第一瓦片Tile_1内的预测单元(PU)的外围中的±128像素的范围内设置。
在步骤-步骤4中，具有其最小加法值和屏幕中地址的最佳参考块通过使用图3中所示的第一运动矢量检测单元109_1中的绝对值计算单元109_1_2、加法单元109_1_4、最佳块确定单元109_1_5和最佳位置存储单元109_1_6在步骤-步骤3中设置的搜索区域(搜索区域)之内更新。
在步骤-步骤5中，确定步骤-步骤4中的搜索操作已经在步骤-步骤3中设置的搜索区域(搜索区域)中完成。当此确定结果是“否”时，流程返回步骤-步骤3，并且确定结果是“是”时，流程去往步骤-步骤6。
在步骤-步骤6中，确定包括在作为编码目标的第二图片Pict_2的第一瓦片Tile_1中的视频信号的所有预测单元(PU)是否已经被处理。当此确定结果是“否”时，流程返回步骤-步骤2，并且确定结果是“是”时，流程去往步骤-步骤7。
在步骤-步骤11中，搜索区域(搜索区域)在作为图7中所示参考图像并且位于瓦片边界线TB上的包括在第一图片Pict_1的第一瓦片Tile_1中的视频信号的预测单元(PU)的外围中的±128像素的范围内设置，并且在此之后，流程去往步骤-步骤12。
在步骤-步骤12中，加权系数值Wg_V通过图3所示的运动矢量检测单元109的第一运动矢量检测单元109_1的瓦片确定单元109_1_3进行设置。如上所述，瓦片确定单元109_1_3确定包括编码目标块的瓦片是否与包括许多参考块中的每个块的瓦片相同。当瓦片相同时，瓦片确定单元109_1_3设置具有大绝对值的加权系数值Wg_V，并且当瓦片不相同时设置具有小绝对值的加权系数值Wg_V。
在步骤-步骤13中，具有其最小相加值和屏幕中地址的最佳参考块通过使用图3中所示第一运动矢量检测单元109_1中的绝对值计算单元109_1_2、加法单元109_1_4、最佳块确定单元109_1_5和最佳位置存储单元109_1_6在步骤-步骤11中设置的搜索区域(搜索区域)中更新。因此，当编码目标的预测单元(PU)包括在第一瓦片Tile_1中并且位于瓦片边界线TB上时，优先选择并参考跨瓦片边界线TB的另一瓦片中包括的参考图像。
在步骤-步骤14中，确定步骤-步骤13中的搜索操作已经在步骤-步骤11中设置的搜索区域(搜索区域)中完成。当此确定结果是“否”时，流程返回步骤-步骤11，并且确定结果是“是”时，流程去往步骤-步骤6。
如上所述，根据图8所示的编码处理，在编码目标的预测单元(PU)完全包括在第一瓦片Tile_1之内以及编码目标的预测单元(PU)包括在第一瓦片Tile_1中并且位于瓦片边界线TB上的两种情况均有可能使用帧存储器108中存储的参考图像通过帧间预测编码。具体地，由于在后一情况中优先跨瓦片边界线TB选择并参考包括在另一瓦片中的参考图像，因此可以减少跨瓦片边界视频图像质量中的差异，并且使得减少在标准H.265(HEVC)的视频编码方法中引入的瓦片边界处生成的噪声等成为可能。
《第二实施例》
根据第一实施例的视频编码器1以整数像素精度生成运动矢量和运动补偿预测信号并且通过帧间预测执行编码。
另一方面，下文解释的第二实施例以分数像素精度生成运动矢量和运动补偿预测信号并且通过帧间预测执行编码。
即，由于在待通过帧间预测来编码的视频信号中预测单元(PU)的运动矢量的大小具有整数像素单元的可能性不高，因此以小于整数像素的精度(分数像素精度)检测运动矢量的大小是有效的。因此，有必要从整数像素位置的像素值生成分数像素准确位置的像素值，并且因此有必要使用具有多个抽头的滤波器用以执行整数像素位置之间像素值的插值。
《实现分数像素精度的插值滤波器》
图9是示出了用于图2中所示的运动矢量检测单元109中的第一运动矢量检测单元109_1、第二运动矢量检测单元109_2、第三运动矢量检测单元109_3和第四运动矢量检测单元109_4以用于以分数像素精度检测运动矢量、以及用于运动补偿单元110中的第一运动补偿单元110_1、第二运动补偿单元110_2、第三运动补偿单元110_3和第四运动补偿单元110_4用于以分数像素精度生成运动补偿预测信号的插值滤波器的配置的示图。
如图9所示，插值滤波器由具有8个抽头的数字滤波器构成。因此，如图9所示的插值滤波器的具有8个抽头的数字滤波器包括在8个整数像素位置存储像素值的8个像素寄存器11、12、…18、存储8个抽头系数的8个抽头系数寄存器21、22、…28、8个数字乘法器31、32、…38和加法器40。
第一像素寄存器11中存储的第一整数像素位置的第一像素值和第一抽头系数寄存器21中存储的第一抽头系数由第一数字乘法器31相乘在一起，并且第一数字乘法器31的相乘结果被供给加法器40的第一输入端子。
第二像素寄存器12中存储的第二整数像素位置的第二像素值和第二抽头系数寄存器22中存储的第二抽头系数由第二数字乘法器32相乘在一起，并且第二数字乘法器32的相乘结果被供给加法器40的第二输入端子。
在此之后，通过相同方式，第八像素寄存器18中存储的第八整数像素位置处的第八像素值和第八抽头系数寄存器28中存储的第八抽头系数由第八数字乘法器38相乘在一起，并且第八数字乘法器38的相乘结果被供给加法器40的第八输入端子。
通过此方式，加法器40将8个数字乘法器31、32、…38的每个相乘结果相加，因此生成以分数像素精度位置示出像素值的输出信号。
《插值滤波器的操作》
图10是解释了图9中所示插值滤波器用于根据第二实施例在分数像素精度位置生成像素值的操作的示图。
如图10所示，第一像素寄存器11中存储的第一整数像素位置处的第一像素值(P(x-3.5，y))和第一抽头系数寄存器21中存储的第一抽头系数(-1)由第一数字乘法器31相乘在一起。
第二像素寄存器12中存储的第二整数像素位置处的第二像素值(P(x-2.5，y))和第二抽头系数寄存器22中存储的第二抽头系数(4)由第二数字乘法器32相乘在一起。
第三像素寄存器13中存储的第三整数像素位置处的第三像素值(P(x-1.5，y))和第三抽头系数寄存器23中存储的第三抽头系数(-11)由第三数字乘法器33相乘在一起。
第四像素寄存器14中存储的第四整数像素位置处的第四像素值(P(x-0.5，y))和第四抽头系数寄存器24中存储的第四抽头系数(40)由第四数字乘法器34乘相乘一起。
第五像素寄存器15中存储的第五整数像素位置处的第五像素值(P(x+0.5，y))和第五抽头系数寄存器25中存储的第五抽头系数(40)由第五数字乘法器35相乘在一起。
第六像素寄存器16中存储的第六整数像素位置处的第六像素值(P(x+1.5，y))和第六抽头系数寄存器26中存储的第六抽头系数(-11)由第六数字乘法器36相乘在一起。
第七像素寄存器17中存储的第七整数像素位置处的第七像素值(P(x+2.5，y))和第七抽头系数寄存器27中存储的第七抽头系数(4)由第七数字乘法器37相乘在一起。
第八像素寄存器18中存储的第八整数像素位置处的第八像素值(P(x+3.5，y))和第八抽头系数寄存器28中存储的第八抽头系数(-1)由第八数字乘法器38相乘在一起。
通过由加法器40将8个数字乘法器31、32、…38的8个相乘结果相加，有可能从加法器40的输出端子生成在位于第四整数像素位置与第五整数像素位置之间的中间位置的分数像素精度位置处示出像素值(P(x，y))的输出信号。
图9中所示用于根据第二实施例在分数像素精度位置处生成像素值的插值滤波器由8个抽头数字滤波器构成。因此，如图10所示，在第一整数像素位置处的第一像素值(P(x-3.5，y))和在第八整数像素位置处的第八像素值(P(x+3.5，y))分别被置于距位于中间位置的分数像素精度位置的像素值(P(x，y))的左手边3.5抽头位置和右手边3.5抽头位置。
例如，在4096像素以水平方向布置并且2048像素以竖直方向布置的超高分辨率屏幕中，如图9所示根据第二实施例的插值以水平方向执行八抽头数字滤波器操作，然后还以竖直方向执行八抽头数字滤波器操作。
《使用分数像素精度的分数搜索区域》
图11是示出了在编码目标的预测单元(PU)是块BL3并且用于运动补偿的单元具有4像素×4像素时其中运动矢量检测和运动补偿预测信号生成通过使用图9所示的插值滤波器根据第二实施例生成的分数像素精度位置的像素值而成为可能的分数搜索区域(分数搜索区域)的示图。
如图11所示，分数搜索区域(分数搜索区域)具有上下左右11像素×11像素的大小，其中作为具有4像素×4像素的大小的编码目标的预测单元(PU)作为中心。即，3.5个像素存在于具有4像素×4像素的大小的预测单元(PU)左端一个像素的左手边，并且3.5个像素存在于具有4像素×4像素的大小的预测单元(PU)右端一个像素的右手边。类似地，3.5个像素存在于具有4像素×4像素的大小的预测单元(PU)顶端一个像素的上边，并且3.5个像素存在于预测单元(PU)底端一个像素的下边。
图12是示出了在编码目标的预测单元(PU)是位于图7中所示瓦片边界线TB上的块BL3时其中搜索使用图9所示插值滤波器根据第二实施例生成的分数像素精度位置的像素值而成为可能可能的分数搜索区域(分数搜索区域)的示图。
图12示出了根据第一实施例由视频编码器1搜索的整数像素精度搜索区域(搜索区域)以供参考。具体地，在图12所示的两个分数搜索区域(分数搜索区域)中的每一个，11像素×11像素大小的一部分中的像素包括其他第二瓦片Tile_2或第四瓦片Tile_4的像素值，其不同于包括作为编码目标的块BL3的第一瓦片Tile_1。因此，参考跨包括作为图12中编码目标的块BL3的第一瓦片Tile_1的瓦片边界线TB的其他第二瓦片Tile_2、第三瓦片Tile_3和第四瓦片Tile_4中包括的参考图像，应当理解质量变好的区域(OK)从图7中质量变好的区域(OK)延伸。即，参考包括在与包括作为图12中编码目标的块BL3的第一瓦片Tile_1相同的瓦片中的参考图像，质量变坏的区域(NG)从图7中质量变坏的区域(NG)收缩。
《处理流》
图13是解释了在图9至图12中所示视频编码器1根据第二实施例通过帧间预测来编码位于瓦片边界上的视频信号时优先选择并参考跨瓦片边界的另一瓦片中包括的参考图像的处理流的示图。
图13所示根据第二实施例的处理流不同于图8所示的根据其中添加了步骤-步骤21和步骤-步骤22的第一实施例的处理流。
在步骤-步骤21，确定具有11像素×11像素大小并且位于搜索位置的分数搜索区域(分数搜索区域)是否包括跨瓦片边界线TB的瓦片的像素值。当此确定结果是“是”时，流程去往步骤-步骤22，并且当确定结果是“否”时，流程直接去往步骤-步骤13。
在步骤-步骤22中，由于分数搜索区域(分数搜索区域)位于瓦片边界线TB处，因此加权系数值Wg_V被设置为具有较小值。
因此，根据第二实施例的图13的处理流，优先选择图12所示的两个分数搜索区域(分数搜索区域)。
虽然本发明人完成的发明已经根据上文中各实施例进行了解释，但是无需说明本发明受限于此并且在不脱离其主旨的范围内可以进行各种修改。
例如，本发明不仅限于根据标准H.265(HEVC)的视频编码处理。
即，本发明可以被应用于对应于将在未来出现的标准的编码处理，相比于使用具有64×64像素大小的最大编码单元(LCU)的标准H.265(HEVC)未来出现的标准使用具有更大大小的最大编码单元(LCU)作为处理单元。
本发明可以被广泛应用于其中一个图片可以被经受并行处理并且可以被分成每个包括矩形像素区域的瓦片的视频编码处理。

Claims (12)

1.一种视频编码器，其中运动矢量通过运动矢量检测利用从帧存储器读出的参考图像来搜索最类似于待编码视频信号中的编码图像区域的参考图像区域而生成，
运动补偿预测信号通过来自从所述帧存储器读出的所述参考图像和所述运动矢量的运动补偿生成，
预测剩余误差通过所述视频信号与所述运动补偿预测信号的相减生成，以及
待被存储在所述帧存储器中的所述参考图像通过将对由所述相减生成的所述预测剩余误差进行变换处理、量化处理、逆量化处理和逆变换处理的处理结果与由所述运动补偿生成的所述运动补偿预测信号相加而生成，
其中执行所述运动矢量检测的运动矢量检测单元包括至少第一运动矢量检测单元和第二运动矢量检测单元，
其中所述视频信号的一个图片中包括的第一瓦片的所述视频信号和第二瓦片的所述视频信号被分别供给所述第一运动矢量检测单元的一个输入端子和所述第二运动矢量检测单元的一个输入端子，
其中从所述帧存储器读出的所述参考图像被供给所述第一运动矢量检测单元的另一输入端子和所述第二运动矢量检测单元的另一输入端子，并且
其中第一运动矢量和第二运动矢量从所述第一运动矢量检测单元的输出端子和所述第二运动矢量检测单元的输出端子并行生成，
其中执行所述运动补偿的运动补偿单元至少包括第一运动补偿单元和第二运动补偿单元，
其中所述第一运动矢量和所述第二运动矢量被分别供给所述第一运动补偿单元的一个输入端子和所述第二运动补偿单元的一个输入端子，
其中从所述帧存储器读出的所述参考图像被供给所述第一运动补偿单元的另一输入端子和所述第二运动补偿单元的另一输入端子，
其中从所述第一运动补偿单元的输出端子和所述第二运动补偿单元的输出端子并行生成第一运动补偿预测信号和第二运动补偿预测信号作为所述运动补偿预测信号，
其中所述第一运动矢量检测单元执行第一瓦片边界处理，所述第一瓦片边界处理通过帧间预测来执行对所述第一瓦片中包括的许多视频信号当中的、位于所述第一瓦片与另一瓦片之间的瓦片边界上或附近的视频信号的处理，
其中在执行所述第一瓦片边界处理时，所述第一运动矢量检测单元生成所述第一运动矢量，以便参考从所述帧存储器读出的所述参考图像当中的、不同于所述第一瓦片的另一瓦片中包括的参考图像，
其中所述第二运动矢量检测单元执行第二瓦片边界处理，所述第二瓦片边界处理通过帧间预测来执行对所述第二瓦片中包括的许多视频信号当中的、位于所述第二瓦片与另一瓦片之间的瓦片边界上或附近的视频信号的处理，
其中在执行所述第二瓦片边界处理时，所述第二运动矢量检测单元生成所述第二运动矢量，以便参考从所述帧存储器读出的所述参考图像当中的、不同于所述第二瓦片的另一瓦片中包括的参考图像。
2.根据权利要求1所述的视频编码器，
其中所述第一运动矢量检测单元根据分别供给所述第一运动矢量检测单元的所述一个输入端子和所述另一输入端子的所述第一瓦片视频信号的地址信息和所述参考图像的地址信息、以及关于所述瓦片边界的信息来生成所述第一运动矢量，以及
其中所述第二运动矢量检测单元根据分别供给所述第二运动矢量检测单元的所述一个输入端子和所述另一输入端子的所述第二瓦片视频信号的地址信息和所述参考图像的地址信息、以及关于所述瓦片边界的所述信息来生成所述第二运动矢量。
3.根据权利要求2所述的视频编码器，
其中所述第一运动矢量检测单元和所述第二运动矢量检测单元中的每一个被配置为能够通过使用具有多个抽头的插值滤波器以分数像素精度生成所述第一运动矢量和所述第二运动矢量，所述插值滤波器执行在整数像素位置之间的像素值的插值。
4.根据权利要求3所述的视频编码器，
其中当生成所述第一运动矢量时，所述第一运动矢量检测单元能够使得以所述分数像素精度设置用于所述运动矢量检测的分数搜索区域包括不同于所述第一瓦片的所述另一瓦片中包括的所述参考图像，并且
其中当生成所述第二运动矢量时，所述第二运动矢量检测单元能够使得以所述分数像素精度设置用于所述运动矢量检测的分数搜索区域包括不同于所述第二瓦片的所述另一瓦片中包括的所述参考图像。
5.根据权利要求4所述的视频编码器，
其中分别供给所述第一运动矢量检测单元的所述一个输入端子和所述第二运动矢量检测单元的所述一个输入端子的所述第一瓦片的所述视频信号和所述第二瓦片的所述视频信号是根据标准H.265(HEVC)划分的多个瓦片的所述视频信号。
6.根据权利要求5所述的视频编码器，
其中通过所述第一瓦片边界处理和所述第二瓦片边界处理处理的所述瓦片边界的附近中的每一个以相比于所述标准H.265(HEVC)定义的最大编码单元更小的距离位于所述瓦片边界上，并且具有64×64像素的大小。
7.一种视频编码器的操作方法，其中运动矢量通过运动矢量检测利用从帧存储器读出的参考图像来搜索最类似于待编码视频信号中的编码图像区域的参考图像区域而生成，
通过来自从所述帧存储器读出的所述参考图像和所述运动矢量的运动补偿生成运动补偿预测信号，
通过所述视频信号与所述运动补偿预测信号的相减生成预测剩余误差，以及
通过将对由所述相减生成的所述预测剩余误差进行变换处理、量化处理、逆量化处理和逆变换处理的处理结果与由所述运动补偿生成的所述运动补偿预测信号相加而生成待被存储在所述帧存储器中的所述参考图像，
其中执行所述运动矢量检测的运动矢量检测单元包括至少第一运动矢量检测单元和第二运动矢量检测单元，
其中所述视频信号的一个图片中包括的第一瓦片的所述视频信号和第二瓦片的所述视频信号被分别供给所述第一运动矢量检测单元的一个输入端子和所述第二运动矢量检测单元的一个输入端子，
其中从所述帧存储器读出的所述参考图像被供给所述第一运动矢量检测单元的另一输入端子和所述第二运动矢量检测单元的另一输入端子，并且
其中第一运动矢量和第二运动矢量从所述第一运动矢量检测单元的输出端子和所述第二运动矢量检测单元的输出端子并行生成，
其中执行所述运动补偿的运动补偿单元至少包括第一运动补偿单元和第二运动补偿单元，
其中所述第一运动矢量和所述第二运动矢量被分别供给所述第一运动补偿单元的一个输入端子和所述第二运动补偿单元的一个输入端子，
其中从所述帧存储器读出的所述参考图像被供给所述第一运动补偿单元的另一输入端子和所述第二运动补偿单元的另一输入端子，
其中从所述第一运动补偿单元的输出端子和所述第二运动补偿单元的输出端子并行生成第一运动补偿预测信号和第二运动补偿预测信号作为所述运动补偿预测信号，
其中所述第一运动矢量检测单元执行第一瓦片边界处理，所述第一瓦片边界处理通过帧间预测来执行对所述第一瓦片中包括的许多视频信号当中的、位于所述第一瓦片与另一瓦片之间的瓦片边界上或附近的视频信号的处理，
其中在执行所述第一瓦片边界处理时，所述第一运动矢量检测单元生成所述第一运动矢量，以便参考从所述帧存储器读出的所述参考图像当中的、不同于所述第一瓦片的另一瓦片中包括的参考图像，
其中所述第二运动矢量检测单元执行第二瓦片边界处理，所述第二瓦片边界处理通过帧间预测来执行对所述第二瓦片中包括的许多视频信号当中的、位于所述第二瓦片与另一瓦片之间的瓦片边界上或附近的视频信号的处理，
其中在执行所述第二瓦片边界处理时，所述第二运动矢量检测单元生成所述第二运动矢量，以便参考从所述帧存储器读出的所述参考图像当中的、不同于所述第二瓦片的另一瓦片中包括的参考图像。
8.根据权利要求7所述的视频编码器的操作方法，
其中所述第一运动矢量检测单元根据分别供给所述第一运动矢量检测单元的所述一个输入端子和所述另一输入端子的所述第一瓦片视频信号的地址信息和所述参考图像的地址信息、以及关于所述瓦片边界的信息来生成所述第一运动矢量，以及
其中所述第二运动矢量检测单元根据分别供给所述第二运动矢量检测单元的所述一个输入端子和所述另一输入端子的所述第二瓦片视频信号的地址信息和所述参考图像的地址信息、以及关于所述瓦片边界的所述信息来生成所述第二运动矢量。
9.根据权利要求8所述的视频编码器的操作方法，
其中所述第一运动矢量检测单元和所述第二运动矢量检测单元中的每一个被配置为能够通过使用具有多个抽头的插值滤波器以分数像素精度生成所述第一运动矢量和所述第二运动矢量，所述插值滤波器执行在整数像素位置之间的像素值的插值。
10.根据权利要求9所述的视频编码器的操作方法，
其中当生成所述第一运动矢量时，所述第一运动矢量检测单元能够使得以所述分数像素精度设置用于所述运动矢量检测的分数搜索区域包括不同于所述第一瓦片的所述另一瓦片中包括的所述参考图像，并且
其中当生成所述第二运动矢量时，所述第二运动矢量检测单元能够使得以所述分数像素精度设置用于所述运动矢量检测的分数搜索区域包括不同于所述第二瓦片的所述另一瓦片中包括的所述参考图像。
11.根据权利要求10所述的视频编码器的操作方法，
其中分别供给所述第一运动矢量检测单元的所述一个输入端子和所述第二运动矢量检测单元的所述一个输入端子的所述第一瓦片的所述视频信号和所述第二瓦片的所述视频信号是根据标准H.265(HEVC)划分的多个瓦片的所述视频信号。
12.根据权利要求11所述的视频编码器的操作方法，
其中通过所述第一瓦片边界处理和所述第二瓦片边界处理处理的所述瓦片边界的附近中的每一个以相比于所述标准H.265(HEVC)定义的最大编码单元更小的距离位于所述瓦片边界上，并且具有64×64像素的大小。
CN201410320754.5A 2013-07-08 2014-07-07 视频编码器及其操作方法 Active CN104284197B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-142364 2013-07-08
JP2013142364A JP6120707B2 (ja) 2013-07-08 2013-07-08 動画像符号化装置およびその動作方法

Publications (2)

Publication Number Publication Date
CN104284197A CN104284197A (zh) 2015-01-14
CN104284197B true CN104284197B (zh) 2018-11-23

Family

ID=51176133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410320754.5A Active CN104284197B (zh) 2013-07-08 2014-07-07 视频编码器及其操作方法

Country Status (4)

Country Link
US (3) US9363527B2 (zh)
EP (1) EP2824931B1 (zh)
JP (1) JP6120707B2 (zh)
CN (1) CN104284197B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5323252B2 (ja) * 2010-03-30 2013-10-23 株式会社東芝 動画像符号化方法、復号化方法、符号化装置および復号化装置
US9317896B2 (en) * 2010-07-09 2016-04-19 Samsung Electronics Co., Ltd. Image interpolation method and apparatus
JP6120707B2 (ja) 2013-07-08 2017-04-26 ルネサスエレクトロニクス株式会社 動画像符号化装置およびその動作方法
GB201512278D0 (en) * 2015-07-14 2015-08-19 Apical Ltd Hybrid neural network
JP6626319B2 (ja) * 2015-11-18 2019-12-25 キヤノン株式会社 符号化装置、撮像装置、符号化方法、及びプログラム
US11178398B2 (en) * 2016-05-06 2021-11-16 Samsung Electronics Co., Ltd. Method and electronic device for coding a segment of an inter frame
JP2018032949A (ja) * 2016-08-23 2018-03-01 キヤノン株式会社 動きベクトル検出装置およびその制御方法
CN108155969B (zh) * 2016-12-02 2021-02-19 赛灵思公司 一种针对变长编码数据的解码电路
US11228767B2 (en) 2017-12-13 2022-01-18 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
US11044466B2 (en) 2018-01-26 2021-06-22 Samsung Electronics Co., Ltd. Image processing device
CN112040244B (zh) * 2018-03-29 2021-06-29 华为技术有限公司 一种双向帧间预测方法及装置
JP7077115B2 (ja) * 2018-04-20 2022-05-30 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US11606574B2 (en) * 2019-05-31 2023-03-14 Apple Inc. Efficient coding of source video sequences partitioned into tiles
KR20200144480A (ko) * 2019-06-18 2020-12-29 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
JP7324065B2 (ja) * 2019-06-26 2023-08-09 キヤノン株式会社 動きベクトル検出装置、撮像装置、動きベクトル検出方法、及びプログラム
CN112970252A (zh) * 2020-07-24 2021-06-15 深圳市大疆创新科技有限公司 视频编解码的方法和装置
US20230403404A1 (en) * 2022-06-10 2023-12-14 Qualcomm Incorporated Storing misaligned reference pixel tiles

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102687510A (zh) * 2009-07-06 2012-09-19 松下电器产业株式会社 图像解码装置、图像编码装置、图像解码方法、图像编码方法、程序及集成电路

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6081209A (en) * 1998-11-12 2000-06-27 Hewlett-Packard Company Search system for use in compression
JP4293740B2 (ja) 2001-05-29 2009-07-08 株式会社リコー 画像圧縮装置
JP2004032799A (ja) 2003-07-28 2004-01-29 Ricoh Co Ltd 動画像処理装置および動画像処理方法
US8411749B1 (en) * 2008-10-07 2013-04-02 Zenverge, Inc. Optimized motion compensation and motion estimation for video coding
JP5102810B2 (ja) * 2009-06-24 2012-12-19 日本放送協会 画像補正装置及びそのプログラム
CN103039075B (zh) * 2010-05-21 2015-11-25 Jvc建伍株式会社 图像编码装置、图像编码方法、以及图像解码装置、图像解码方法
JP2012028863A (ja) 2010-07-20 2012-02-09 Hitachi Kokusai Electric Inc 動画像符号化装置
US8654860B2 (en) 2010-11-01 2014-02-18 Mediatek Inc. Apparatus and method for high efficiency video coding using flexible slice structure
JPWO2012120840A1 (ja) * 2011-03-07 2014-07-17 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置および画像符号化装置
EP2680588B1 (en) * 2011-06-30 2021-02-17 Mitsubishi Electric Corporation Image encoding apparatus, image decoding apparatus, image encoding method and image decoding method
US9584819B2 (en) * 2011-10-24 2017-02-28 Qualcomm Incorporated Grouping of tiles for video coding
US10349077B2 (en) * 2011-11-21 2019-07-09 Canon Kabushiki Kaisha Image coding apparatus, image coding method, image decoding apparatus, image decoding method, and storage medium
JP6120707B2 (ja) * 2013-07-08 2017-04-26 ルネサスエレクトロニクス株式会社 動画像符号化装置およびその動作方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102687510A (zh) * 2009-07-06 2012-09-19 松下电器产业株式会社 图像解码装置、图像编码装置、图像解码方法、图像编码方法、程序及集成电路

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Flexible tile dependency and loop filtering control;Ye-Kui Wang 等;《8th Meeting: San José, CA, USA, 1–10 February, 2012 Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11》;20120201;1-9 *
Motion-constrained tile sets SEI message;Yongjun Wu 等;《13th Meeting: Incheon, KR, 18–26 April 2013，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11》;20130408;1-4 *

Also Published As

Publication number Publication date
JP6120707B2 (ja) 2017-04-26
EP2824931B1 (en) 2020-04-01
US20160255365A1 (en) 2016-09-01
EP2824931A1 (en) 2015-01-14
US20170280155A1 (en) 2017-09-28
US20150010082A1 (en) 2015-01-08
JP2015015666A (ja) 2015-01-22
CN104284197A (zh) 2015-01-14
US9877044B2 (en) 2018-01-23
US9712842B2 (en) 2017-07-18
US9363527B2 (en) 2016-06-07

Similar Documents

Publication Publication Date Title
CN104284197B (zh) 视频编码器及其操作方法
US8045821B2 (en) Coding method conversion apparatus
EP2278813B1 (en) Apparatus for controlling loop filtering or post filtering in block based motion compensated video coding
EP3026906B1 (en) Moving image encoding apparatus and operation method thereof
EP2237217A2 (en) Method and apparatus for intra-prediction
US20120063514A1 (en) Method for performing hybrid multihypothesis prediction during video coding of a coding unit, and associated apparatus
CN104519367B (zh) 视频解码处理装置及其操作方法
CN115665408A (zh) 用于跨分量线性模型预测的滤波方法和装置
US8462851B2 (en) Video encoding method and apparatus and video decoding method and apparatus
KR20210062055A (ko) 양방향 예측을 사용하는 비디오 인코딩 및 디코딩을 위한 방법 및 장치
EP2850834A1 (en) Unified fractional search and motion compensation architecture across multiple video standards
KR20210006355A (ko) 인코딩/디코딩에서의 데이터 의존성
WO2020005572A1 (en) Virtual temporal affine candidates
US20240187640A1 (en) Temporal structure-based conditional convolutional neural networks for video compression
EP3606075A1 (en) Virtual temporal affine motion vector candidates
JP2022541723A (ja) アフィン及びｓｂｔｍｖｐ動きベクトル予測モードのためのｈｍｖｃ
KR20230162801A (ko) 비디오 코딩을 위한 외부적으로 향상된 예측
WO2024002699A1 (en) Intra sub-partition improvements
Wu et al. A real-time H. 264 video streaming system on DSP/PC platform
CN118120231A (zh) 改善解码器侧帧内模式导出中的角度离散化
CN112806013A (zh) 仿射模式下基于块大小的运动矢量编码

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
CB02 Change of applicant information

Address after: Tokyo, Japan, Japan

Applicant after: Renesas Electronics Corporation

Address before: Kanagawa

Applicant before: Renesas Electronics Corporation

COR Change of bibliographic data
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant