CN108028942A - 编码方法、解码方法及其装置 - Google Patents

编码方法、解码方法及其装置 Download PDF

Info

Publication number
CN108028942A
CN108028942A CN201580080671.6A CN201580080671A CN108028942A CN 108028942 A CN108028942 A CN 108028942A CN 201580080671 A CN201580080671 A CN 201580080671A CN 108028942 A CN108028942 A CN 108028942A
Authority
CN
China
Prior art keywords
pixel
prediction
residual
value
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580080671.6A
Other languages
English (en)
Other versions
CN108028942B (zh
Inventor
陶品
冯立新
王正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Publication of CN108028942A publication Critical patent/CN108028942A/zh
Application granted granted Critical
Publication of CN108028942B publication Critical patent/CN108028942B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种图像编码方法、解码方法以及对应装置和帧内像素预测方法。所述图像编码方法包括：像素分块步骤，将一帧图像中的像素分块；像素值预测步骤，对于当前待编码块，对于块中的每个像素，分别进行像素值预测处理，得到第一预测值；残差计算步骤，对于当前待编码块，对于块中的每个像素，计算残差；离散余弦变换、量化和熵编码步骤，对于残差计算步骤得到的当前待编码块对应的残差块进行离散余弦变换、量化和熵编码，其中量化后的残差块用于在编码端的像素值重构步骤，熵编码后的残差块供发送到解码端；像素值重构步骤，对于先前已编码的像素的像素值进行重构，重构的像素值用于像素值预测步骤；残差计算步骤包括：基于像素值预测步骤预测得到的该像素的第一预测值和该像素的真实值,计算关于该像素的第一残差；确定该像素的第一残差是正常残差还是异常残差；如果该像素的第一残差为异常残差，则进行异常残差修正，包括记录该出现异常残差的像素的位置；对该像素进行重新预测，得到第二预测值和对应的第二残差，并记录重新预测信息，使得编码端的像素值重构步骤和解码端都能够基于该出现异常残差的像素的位置和重新预测信息，重构和解码该像素的像素值；其中由经过异常残差修正的、该当前待编码块的像素的残差组成该当前待编码块的正常残差块，供离散余弦变换、量化和熵编码步骤进行下一步的处理，将出现异常残差的像素的位置和重新预测信息单独进行编码，该编码过程是无损的，经编码后的像素的位置和重新预测信息用于像素值重构步骤和用于发送到解码端。可以在像素分块之前，对像素进行重新排列，由此避免误差扩散。在像素值预测处理中，可以先对预测算法进行预测，然后根据确定的预测算法进行像素值预测。通过将像素残差分为正常残差和异常残差，以及对于异常残差的像素进行重新预测，能够提高图像编解码的准确性。

Description

编码方法、解码方法及其装置 技术领域
本发明总体地涉及图像编码和解码技术，尤其涉及帧内像素预测方法、图像编码方法、图像解码方法和装置。
背景技术
视频压缩技术广泛用于各种产品中，例如数字机顶盒(STB)、高清电视解码器、DVD播放器、数字摄像机、网络多媒体视频应用等等。存在压缩数字视频内容的各种视频编码方法。已经存在许多视频压缩标准来使得各种视频编码方法标准化。这些标准的例子包括MPEG-1、MPEG-2(ITU-T H.262)、MPEG-4、ITU-T H.261、ITU-T H.263、ITU-T H.264。
诸如MPEG标准之类的视频编码标准通常通过利用诸如时间和空间预测、变换和量化、熵编码之类的各种编码技术来实现数据压缩。视频编码器中的压缩通常包括帧间预测和帧内预测，以提高编码效率。帧间预测利用视频的图像之间的时间相关性，而帧内预测利用视频的图像内的像素的空间相关性。
帧间预测和帧内预测通常都是对像素块执行的。
对于帧内预测，通常是利用已经重建像素来外插待预测块，例如，对当前图像中任意一个待编码块，利用其周围已经重构的像素沿着某个方向进行插值，并将插值后的结果作为待编码块的预测块。待编码块与预测块之间的差作为预测残差，预测残差经过变换量化后进行编码。
发明内容
根据本发明的一个方面，提供了一种对图像进行帧内编码的编码方法，可以包括：像素分块步骤，将一帧图像中的像素分块；像素值预测步骤，对于当前待编码块，对于块中的每个像素，分别进行像素值预测处理，得到第 一预测值；残差计算步骤，对于当前待编码块，对于块中的每个像素，计算残差；离散余弦变换、量化和熵编码步骤，对于残差计算步骤得到的当前待编码块对应的残差块进行离散余弦变换、量化和熵编码，其中量化后的残差块用于在编码端的像素值重构步骤，熵编码后的残差块供发送到解码端；像素值重构步骤，对于先前已编码的像素的像素值进行重构，所述重构的像素值用于像素值预测步骤；所述残差计算步骤包括：基于像素值预测步骤预测得到的该像素的第一预测值和该像素的真实值,计算关于该像素的第一残差；确定该像素的第一残差是正常残差还是异常残差；如果该像素的第一残差为异常残差，则进行异常残差修正，包括记录该出现异常残差的像素的位置；对该像素进行重新预测，得到第二预测值和对应的第二残差，并记录重新预测信息，使得编码端的像素值重构步骤和解码端都能够基于该出现异常残差的像素的位置和重新预测信息，重构和解码该像素的像素值；其中由经过异常残差修正的、该当前待编码块的像素的残差组成该当前待编码块的正常残差块，供离散余弦变换、量化和熵编码步骤进行下一步的处理，将所述出现异常残差的像素的位置和重新预测信息单独进行编码，该编码过程是无损的，经编码后的像素的位置和重新预测信息用于像素值重构步骤和用于发送到解码端。
根据本发明的另一方面，还提供了一种对图像帧解码的解码方法，可以包括：接收图像块的编码表示；对于所述编码表示，通过解码、逆量化和逆离散余弦变换，得到图像块中的各个像素的残差；接收经无损编码的出现异常残差的像素的位置和重新预测信息并解码；对于图像块中的每个像素，进行像素预测处理得到该像素的第一预测值；基于得到的各个像素的残差和出现异常残差的像素的位置和重新预测信息,和像素的第一预测值，确定各个像素的解码像素值。
根据本发明的其它方面，还提供了对应的编码器和解码器。
根据本发明实施例的编码方法、解码方法、对应的编码器和解码器，通过将像素残差分为正常残差和异常残差，并对出现异常残差的像素进行重新预测，使其变为正常残差或更接近于正常残差，能够提高编解码的准确性。
根据本发明的另一方面，提供了一种对图像内的像素进行预测的帧内像素预测方法，包括：像素重新排列步骤，将一帧图像中的像素进行重新排列； 以及像素值预测步骤，以像素为单位对重新排列后的各个像素的像素值进行预测。
利用根据本发明实施例的帧内像素预测方法，能够避免误差扩散。
附图说明
从下面结合附图对本发明实施例的详细描述中，本发明的这些和/或其它方面和优点将变得更加清楚并更容易理解，其中：
图1示出了根据本发明一个实施例的示例性帧内像素预测方法100的流程图；
图2中的(a)、(b)、(c)、(d)示出了倒L形状的模板示例的示意图，其中画“X”的方框表示待预测的像素，其左侧和上方的各个以暗色填充的方框表示用于构成其模板的像素；
图3是示出根据本发明一个实施例的图像300中的帧内预测的示例性说明的示意图；
图4示出了根据本发明一个实施例的图像编码器400的配置框图；
图5示出了根据本发明一个实施例的图像编码器500的示例性配置框图。
图6中的(a)和(b)示出了像素重排列前后的图像例子；
图7的(a)和(b)分别示出了像素重排列前后的图像例子；
图8中的(a)和(b)示出了像素重排列前后的图像例子；
图9示出了根据本发明一个实施例的示例性图像编码方法的流程图；以及
图10示出了根据本发明一个实施例的图像帧解码的示例性解码方法1000的流程图。
图11示出了根据本发明实施例的21点模板进行分组的示意图。
图12示出了根据本发明另一实施例的帧内像素预测方法600的流程图。
图13示出了根据本发明梯度自适应预测方法用到的7个相邻像素的位置示意图。
图14示出了根据本发明一个实施例的扩展的图像帧编码方法2000的流程图。
图15示出了根据本发明实施例的经重新排列和分块框架下的“相邻”编 码单元CU与当前编码CU位置关系的示意图。
图16(a)、(b)、(c)分别示出了近邻CU、当前CU、近邻CU和当前CU的异常残差位置关系配对。
图17示意性示出了虚拟编码单元的合并过程。
图18示出了根据本发明实施例的扩展的图像编码器1800的结构示意图。
图19示出了根据本发明实施例的扩展的图像解码器1900的结构示意图。
具体实施方式
为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。
下面将按如下顺序进行说明：
一、帧内像素预测方法示例
二、图像编码器的第一实施例
三、图像编码器的第二实施例
四、像素重排列方法示例
五、图像编码方法实施例
六、图像解码方法实施例
七、21点模板以及引入匹配索引表的模板匹配预测实施例
八、帧内像素预测方法的另一实施例
九、扩展的图像编码方法实施例
十、扩展的图像解码方法实施例
十一、扩展的图像编码器实施例
十二、扩展的图像解码器实施例
一、帧内像素预测方法示例
图1示出了根据本发明一个实施例的示例性帧内像素预测方法100的流程图。
在步骤S110中，定义当前待预测像素的目标模板。
在一个示例中，可以由该像素的周围预定范围内的已重构像素来构成该像素的目标模板。可以根据需要和/或图形的特性构建不同模式的模板。
例如，假设像素编码的扫描方向是从左到右，从上到下，即当对一个像素编码时，其左侧和上方的像素可以是已经重构了的，因此可以构建倒“L”形模板。图2中的(a)、(b)、(c)、(d)示出了倒L形状的模板示例的示意图，其中画“X”的方框表示待预测的像素，其左侧和上方的各个以暗色填充的方框表示用于构成其模板的像素，图2(d)所述的21点模板中，21个点在当前像素点的左边或上方，均位于已重构图像区域内。21个点的序号排列规则为按照与“×”的相邻关系，从最左面像素点开始按照环形的顺序依次递增进行排列，若当前序号已超出模板范围，则重新从左面未排列像素点开始。
在一个示例中，一个像素相关联的模板的形状和大小可以根据图像的性质来确定。例如，如果图像中的内容大部分是文字，则模板的大小可以为文字的平均大小。
如果图像中像素编码的扫描方向是从右到左，从下到上，则一个像素的模板可以由其右侧和下方的像素组成。
另外，一个像素的模板也不限于是倒“L”形状，可以根据需要和图像性质来设计模板的样式。
需要说明的是，如果一个像素的相关联模板中存在尚未重构的像素，则可以将该尚未重构的像素标记为无效点，对于无效点，后续可以将其像素值例如视为0。
需要说明的是，前面像素的模板是以一般形式来说明的。对于处于图像边缘的像素，例如处于图像的顶部行或者左侧列的像素，不存在倒“L”形状的模板，对于这样的像素，例如可以跳过目标模板定义步骤S110和下面的匹配模板确定步骤S120、预测值确定步骤S130，直接设定其预测值为一个固定值，例如128。
在步骤S120中，将所述目标模板与该帧的搜索区域的候选模板相比较，以及确定所述候选模板中至少一个与所述目标模板匹配的匹配模板。
在一个示例中，搜索区域可以是之前已编码或重构区域的全部，在另一个示例中，搜索区域可以是之前已编码或重构区域中的一部分，例如已重构区域中邻近待预测像素的部分。
在一个示例中，可以计算目标模板与候选模板之间的各个对应像素之间的绝对差值和(SAD)作为两者之间的差异度量，并将与目标模板差异最小 的候选模板作为匹配模板。在某些示例中，可以将均方根误差(MSE)作为差异度量。在另一个示例中，还可以对差异度量进行规范化，例如将绝对差值和除以模板中的像素个数。另外，在计算目标模板与候选模板之间的差异过程中，对于无效像素，例如前述尚未重构的像素，可以跳过对其的处理，即在计算差异过程中不考虑该无效像素的贡献。
在一个示例中，可以选择不止一个匹配模板，例如可以将与目标模板差异最小的3个候选模板作为匹配模板。
在步骤S130中，基于所述至少一个匹配模板来确定当前待预测像素的预测值。
例如，在一个示例中，根据当前待预测像素与其目标模板之间的相对位置关系，获得与匹配模板具有所述相对位置关系的参考像素。例如，在只有一个匹配模板的情况下，可以将该参考像素的值作为当前待预测像素的预测值。再例如，在选择多个匹配模板的情况下，可以得到各个对应的参考像素，并例如求得该多个参考像素的平均值来作为当前待预测像素的预测值，另外，可以对各个参考像素赋予不同权重，例如与目标模板匹配度最高的匹配模板的相关联参考像素可以被赋予最高的权重，从而在计算待预测像素的预测值中贡献最大。
上面的示例中仅仅基于参考像素来确定待预测像素的预测值，在某些其他示例中，可以基于匹配模板和参考像素两者来计算待预测像素的预测值。例如，可以计算构成匹配模板的所有像素和参考像素的平均值来作为待预测像素的预测值，类似地在计算平均值过程中，不同像素可以被赋予不同的权重，例如可以根据距参考像素的距离来赋予权重，距参考像素越近，权重越高，反之距参考像素越远，权重越低。
本发明实施例的帧内像素预测方法以像素点为单位进行模板匹配，这和传统的帧内像素预测技术非常不同，传统的帧内像素预测技术都是以像素块为单位来进行模板匹配。传统的帧内像素预测技术，像素块中的距离模板越远的像素，预测的准确性越低。相反，本发明上述实施例的帧内像素预测方法以像素点为单位进行模板匹配，对所有像素都能够很好地预测。
本发明实施例的帧内像素预测方法特别适用于屏幕内容(Screen Content)图像。屏幕内容图像指的是在台式机、平板电脑、移动电话等的显 示器上显示的屏幕照片。屏幕内容图像与自然照相机拍摄的图像相比有一些特点：首先，屏幕内容图像在一张图片中包含很多相似点，这是因为屏幕内容是由处理装置通过应用程序导出的，通常用于描述文本或图形元素而且具有较少的色彩；第二，屏幕内容图像没有噪声；第三屏幕内容图像通常包含很多尖锐的边缘，尤其是在屏幕内容存在大量文本的情况下；第四，屏幕内容图像通常尺寸较大；第五，在很多区域(例如非文字区域)内容非常平滑。
传统的基于像素块的帧内像素预测方法一般是针对摄像机拍摄的图像的，并不适合屏幕内容图像，而且像素块中的距离模板越远的像素，预测的准确性越低。相反，本发明上述实施例的帧内像素预测方法以像素点为单位进行模板匹配，能够更好地预测像素。
图3是示出根据本发明一个实施例的图像300中的帧内预测的示例性说明的示意图。图像300可以是正被编码器(例如后面的图4所示的编码器400)编码的具体图片。图像300包括之前已被编码和重构的部分301和待编码的部分302。像素304(以点式阴影示出)是正被预测的当前像素。搜索区域303是已重构区域301的一部分，在待预测像素301的附近，但不包括右下方尚未编码的像素。待预测像素304的模板(称为目标模板)305在像素304的左上方，在此示例中，模板305包括7个之前已重构的像素，即处于左侧的2个像素，位于上方的5个像素。对像素304的帧内预测通过对模板305来在搜索区域303中寻找匹配模板来进行。图中搜索区域303中的候选模板307具有与目标模板相同的样式，候选模板307具有对应的参考像素306。如果在搜索区域303中寻找到候选模板307是目标模板的匹配模板，则在一个例子中，可以将参考像素306作为待预测像素304的预测值，在另一个示例中，可以通过对匹配模板307和参考像素306进行某种插值运算，将插值结果作为待预测像素304的预测值。
二、图像编码器的第一实施例
图4示出了根据本发明一个实施例的图像编码器400的配置框图。
如图4所示，图像编码器400包括帧内预测模块420、重构图像缓冲器440、熵编码模块450、减法器410、加法器430。本领域技术人员应该清楚，图4所示的结构并非排他式的，相反编码器还可以包括额外的其他部分，例 如帧缓冲器等。
输入的每个图像按照像素为单位被进行处理。图像数据被耦接到帧内预测模块420。
帧内预测模块利用例如结合图1描述的帧内像素预测方法来生成待编码像素的预测。经由减法器410从来自路径401的当前待编码像素中减去来自帧内预测模块420的路径402上的预测，而形成了路径403上的残差信号。路径403上的残差信号被传递给熵编码模块450以用于进行编码，例如执行LZMA编码。需要说明的是残差信号在路径403上可以可选地进行变换和量化(图4中未示出)。
路径403上的残差信号还经由路径404被传递给加法器430，以得到像素的重构。与在403上进行的处理相对应，可以在路径404上进行相反的处理，例如如果在403上进行了变换和量化，则应该在路径404上进行逆变换和逆量化。在不存在变换、量化处理的情况下的编码称为无损编码。
加法器430将来自帧内预测模块420的预测值和来自路径404的残差信号相加，得到了重构的像素，存储于重构图像缓冲器450中。
重构图像缓冲器450耦接到帧内预测模块420，以供帧内预测模块420使用之前重构的像素区域来构建当前正被编码的像素的预测。
三、图像编码器的第二实施例
传统的编码方法都是以块为单位进行预测的，这样的传统块预测的一个原因在于：传统的编码技术都是块编码模式，例如变换和量化都是以块为单位进行的；如果传统的编码技术直接以像素点作为预测单位(模板匹配单位)，将存在误差扩散的问题，，假设块的左上角点是(0,0)的话，(1,1)、(2,2)或离左侧及上方越远的点就必须要用(0,0)这样的先预测出来的点来模板匹配，而每个点的预测是会有一定几率预测错误的，这样错误就会逐渐扩散，所以传统的方法不能以点为单位进行预测，都是以块的方式来预测。
为了将本发明实施例的以像素为单位进行预测的方法能够与传统以块为单位的变换、量化、编码技术结合使用，同时克服预测错误扩散的问题，本发明下面的实施例设计了对原始图像进行像素重排列(或重组织)，并对重排列的图像进行分块和对块中的像素在原始图像中进行以像素为单位进行模板 匹配和预测、以块为单位变换、量化、编码的技术。
图5示出了根据本发明一个实施例的图像编码器500的示例性配置框图。
如图5所示，图像编码器500可以包括像素重排列模块550、预测器520、减法器510、变换模块和/或量化模块513、熵编码530、逆变换/逆量化560、加法器570、去块模块580、样本自适应偏移(Sample Adaptive Offset,SAO)模块590、重构图像缓冲器540、像素重排列模块550。
输入视频数据经由路径501被耦合到像素重排列模块550，在像素重排列模块550被重新排列(重新组织)并分成块，分块后的视频数据耦合到预测器520。在一个示例中，像素重排列模块550将像素重新排列并分块，得到各个作为编码目标的块，使得分块后的块中的多个像素尽可能不同时出现在重新排列前的帧中的原始块中，且使得块中的像素在被预测时，其在重新排列前的帧中的目标模板中的像素尽可能地已重构。在一个示例中，像素重排列模块550分块后得到的块中存在大小不同的块，优选地，像素重排列模块使得尽可能多的分块后块的大小为具体编码标准中的块的大小。下文中将结合示例详细描述像素重排列模块50的功能和操作。预测器520可以包括帧间预测模块521和帧内预测模块522。帧间预测模块521可以进行运动估计(ME)操作和运动补偿(MC)操作。帧内预测模块522对于当前待编码的经重排列的块中的每个像素执行例如结合图1、2、3描述的以像素为单位的目标模板定义、模板匹配和预测值确定操作。预测器520使用重构图像缓冲器540中存储的之前解码的图片来构建正被编码的当前图片的估计。
一般地，在进行预测之前，会选择编码方式。存在多种不同的编码方式，这些编码方式被分组为两个大类，帧间编码和帧内编码。在本发明实施例中，帧内编码涉及使用帧内预测对经重排列后的图片中的块、宏块进行编码，其中在进行帧内预测时是在重排列前的图片中以像素为单位进行模板匹配的，这样的对块中每个像素的预测组成了块的预测。需要说明的是，如前所述，传统的帧内预测技术一般是以块为单元进行模板定义、模板匹配的。
在由预测器520得到重排列后块的预测之后，经由减法器510从重排列后块中减去路径502上的预测来形成残差信号，该残差信号被传递给变换/量化模块513以用于编码。
变换/量化模块513随后应用变换和/或量化操作，变换操作例如为例如基 于离散余弦变换(DCT)的变换，量化操作对变换后的系数进行量化。
所产生的经量化的变换后的系数在逆量化/逆变换模块560中被进行了逆量化和逆变换操作得到了解码后的残差，解码后的残差在加法器570中与来自预测器520的预测相加，由此得到了重构后的图像数据，在本实施例中，重构后的块还在去块滤波器580中进行最小化块效应的处理，去块处理后的重构图像经由样本自适应偏移模块590中的样本自适应偏移后被存储在重构图像缓冲器540中，以供预测器520进行帧间预测和/或帧内预测。
来自变换/量化模块513的经量化的变换后的系数还被传递到熵编码器530。熵编码器180可以执行例如非零残差自适应编码、上下文自适应变长编码(CAVLC)或上下文自适应二进制算术编码(CABAC)等编码算法。编码后的数据流例如在经过速率控制和缓冲后被传输到解码器侧。
四、像素重排列方法示例
如前所述，像素重排列模块550可以将像素重新排列并分块，得到各个作为编码目标的块，使得分块后的块中的多个像素尽可能不同时出现在重新排列前的帧中的原始块中，且使得块中的像素在被预测时，其在重新排列前的帧中的目标模板中的像素尽可能地已重构。通过使得分块后的块中的多个像素尽可能不同时出现在重新排列前的帧中的原始块中，能够避免像素预测过程中的误差扩散。通过使得块中的像素在被预测时，其在重新排列前的帧中的目标模板中的像素尽可能地已重构，能够提高像素预测的准确率。
在一个示例中，像素重排列模块550分块后得到的块中存在大小不同的块，优选地，像素重排列模块使得尽可能多的分块后块的大小为具体编码标准中的块的大小。
下面详细描述像素重排列模块550执行的示例性像素重排列方法。
在一个示例中，根据图像的大小是否是编码块的整数倍，来采取不同的像素重排列算法。
1、图像的大小是编码块的整数倍的情况
设图像的大小为MxN，编码的块的大小为TxT，M和N是T的整数倍，其中M表示图像的行数，N表示图像的列数，以图像最上方的像素行称为第0行，图像最左侧的像素列称为第0列，Pi,j表示图像中位置在第i行，第j 列的像素点，0≤i≤M-1，0≤i≤N-1，M、N和T均为大于1的正整数，
设重组后的第p行，第q列的像素点Rp,q对应于重组前的像素点Pi,j，其中0≤p≤M-1，0≤q≤N-1，
在一个示例中，i,j的计算公式分别如公式(1)、(2)所示：
i＝(p mod T)x(M/T)+rounddown(p/T)  (1)
j＝(q mod T)x(N/T)+rounddown(q/T)  (2)
其中mod表示取模运算，x表示乘法运算，rounddown()表示向下取整运算。
比如，以M＝12，N＝16，T＝4的图像为例，图6中的(a)和(b)示出了像素重排列前后的图像例子。其中，图6中的(a)是原图像，每个小方块表示一个像素点，我们将不同像素点标以不同的灰度和以小写字母表示的标号，图6中的(b)是图像重组织后的新图像，具有相同灰度和标号的像素点经过重新组织后将构成12个4x4的图像块。
2、图像的大小不是编码块的整数倍的情况
设图像的大小为MxN，编码的块的大小为TxT，M和N的值不是T的整数倍，其中M表示图像的行数，N表示图像的列数，以图像最上方的像素行称为第0行，图像最左侧的像素列称为第0列，Pi,j表示图像中位置在第i行，第j列的像素点，0≤i≤M-1，0≤i≤N-1，M、N和T均为大于1的正整数，
设重组后的第p行，第q列的像素点Rp,q对应于重组前的像素点Pi,j，
重组后的图像大小为((rounddown(M/T)+1)xT)x((rounddown(N/T)+1)xT)，(rounddown(M/T)+1)xT表示重组后的图像的行数，(rounddown(N/T)+1)表示重组后的图像的列数，0≤p≤(rounddown(M/T)+1)xT-1，0≤q≤(rounddown(N/T)+1)xT-1，
重组后的图像中像素点Rp,q对应于重组前的图像中的像素点Pi,j，其中i,j的计算公式如下面的(3)-(8)所示：
i＝(p mod T)x(rounddown(M/T)+1)+rounddown(p/T)  当(p mod T)<(M mod T)时，  (3)
i＝(M mod T)x(rounddown(M/T)+1)+((p mod T)-(M mod T))x  rounddown(M/T)+rounddown(p/T)  当(p mod T)>＝(M mod T)且p<M时，  (4)
i无有效值，此时Rp,q＝0  当p>＝M时，  (5)
其中j的计算公式为：
j＝(q mod T)x(rounddown(N/T)+1)+rounddown(q/T)  当(q mod T)<(N mod T)时，  (6)
j＝(N mod T)x(rounddown(N/T)+1)+((q mod T)-(N mod T))x rounddown(N/T)+rounddown(q/T)  当(q mod T)>＝(N mod T)且q<N时，  (7)
j无有效值，此时Rp,q＝0  当q>＝N时  (8)。
比如，以M＝18，N＝13，T＝4的图像为例，图7的(a)和(b)分别示出了像素重排列前后的图像例子。其中，图7(a)是原图像，每个小方块表示一个像素点，我们将不同像素点标以不同的灰度和以小写字母表示的标号，图7(b)是图像重组织后的新图像，具有相同灰度和标号的像素点经过重新组织后将构成20个4x4的图像块，其中空白的像素点表示无效像素点。在一个示例中，编码算法一般将这些处于无效像素点位置的残差视为0进行编码。
下面举例说明在图像的大小不是编码的块的大小整数倍情况下的另一示例性像素重排列方法。设图像的大小为MxN，编码的块的大小为TxT，M和N的值不是T的整数倍，其中M表示图像的行数，N表示图像的列数，以图像最上方的像素行称为第0行，图像最左侧的像素列称为第0列，Pi,j表示图像中位置在第i行，第j列的像素点，0≤i≤M-1，0≤i≤N-1，M、N和T均为大于1的正整数，
设重组后的第p行，第q列的像素点Rp,q对应于重组前的像素点Pi,j，
重组后的图像大小为((rounddown(M/T)+1)xT)x((rounddown(N/T)+1)xT)，(rounddown(M/T)+1)xT表示重组后的图像的行数，(rounddown(N/T)+1)xT表示重组后的图像的列数，0≤p≤(rounddown(M/T)+1)xT，0≤q≤(rounddown(N/T)+1)xT，
重组后的图像中像素点Rp,q对应于重组前的图像中的像素点Pi,j，其中i,j的计算公式如(9)-(14)所示：
i＝(p mod T)x(rounddown(M/T)+1)+rounddown(p/T)  当 (p mod T)<(M mod T)时，  (9)
i＝(M mod T)x(rounddown(M/T)+1)+((p mod T)-(M mod T))x rounddown(M/T)+rounddown(p/T)  当(p mod T)>＝(M mod T)且p<M时，(10)
i无有效值，此时Rp,q＝0  当p>＝M时，  (11)
其中j的计算公式为：
j＝(q mod T)x(rounddown(N/T)+1)+rounddown(q/T)  当(q mod T)<(N mod T)时，  (12)
j＝(N mod T)x(rounddown(N/T)+1)+((q mod T)-(N mod T))x rounddown(N/T)+rounddown(q/T)  当(q mod T)>＝(N mod T)且q<N时，  (13)
j无有效值，此时Rp,q＝0  当q>＝N时，  (14)
其中mod表示取模运算，x表示乘法运算，rounddown()表示向下取整运算。
比如，以M＝18，N＝13，T＝4的图像为例，图8中的(a)和(b)示出了像素重排列前后的图像。其中图8(a)是原图像，每个小方块表示一个像素点，我们将不同像素点标以不同的灰度和以小写字母表示的标号，图8(b)是图像重组织后的新图像，具有相同灰度和标号的像素点经过重新组织后将构成20个4x4的图像块，其中空白的像素点表示无效像素点。在一个示例中，编码算法将这些处于无效像素点位置的残差视为0进行编码。
对于图像的大小不是T的整数倍的情况，上述图7(a)和(b)和图8(a)和(b)所示的像素重排列方法仅为示例，还可以有其它符合下述特点的像素点重组织方案，其总的原则是使得分块后的块中的多个像素尽可能不同时出现在重新排列前的帧中的原始块中，且使得块中的像素在被预测时，其在重新排列前的帧中的目标模板中的像素尽可能地已重构，而且优选地重组后的图像大小为((rounddown(M/T)+1)xT)x((rounddown(N/T)+1)xT)。
五、图像编码方法实施例
图9示出了根据本发明一个实施例的示例性图像编码方法的流程图。
如图9所示，在步骤S910中，定义当前待预测像素的目标模板，然后前 进到步骤S920。
在步骤S920中，将所述目标模板与该帧的搜索区域的候选模板相比较，以及确定所述候选模板中至少一个与所述目标模板匹配的匹配模板，然后前进到步骤S930。
在步骤S930中，基于所述至少一个匹配模板来确定当前待预测像素的预测值，然后前进到步骤S940。
在步骤S940中，基于所述当前待预测像素的预测值对所述当前待预测像素或者该当前待预测像素所属于的块进行编码。
有关步骤S910、S920和S930的具体操作可以参考结合图1描述的步骤S110、S120、S130。
有关步骤S940的编码操作可以参考结合图4描述的图像编码器和结合图5描述的编码器的功能和操作。
在一个示例中，该编码方法还可以包括：像素重组织分块步骤，将像素重新排列并分块，得到各个作为编码目标的块，使得分块后的块中的多个像素尽可能不同时出现在重新排列前的帧中的原始块中，且使得块中的像素在被预测时，其在重新排列前的帧中的目标模板中的像素尽可能地已重构；对于当前待编码块，对于块中的每个像素，在重新排列前的帧中执行上述目标模板定义步骤、匹配模板确定步骤和预测值确定步骤，由此得到每个像素的预测值，从而得到当前待编码块的预测块；以及使用当前待编码块的预测块对当前待编码块进行编码。
六、图像解码方法实施例
图10示出了根据本发明一个实施例的图像帧解码的示例性解码方法1000的流程图。
解码方法可以视为编码方法的逆操作。
如图10所示，在步骤S1010中，接收图像块的编码表示，该图像块是被编码前的图像内的像素经重新排列和分块后形成的，然后前进到步骤S1020。
在步骤S1020中，得到该图像块的预测块，然后前进到步骤S1030。步骤S1020包括对于图像块中的每个像素通过如下步骤进行预测：在步骤S1021中，确定该像素的目标模板，然后前进到步骤S1022。在步骤S1022中，将 所述目标模板与该帧的搜索区域的候选模板相比较，以及确定所述候选模板中至少一个与所述目标模板匹配的匹配模板。在步骤S1023中，基于所述至少一个匹配模板来确定当前待预测像素的预测值。
在步骤S1030中，基于该图像块的预测块和该图像块的编码表示，得到该图像块的各个像素值。如前所述，该编码表示为重新排列后的块的残差，将预测块和块的残差，得到了解码的像素值。
步骤S1022的确定该像素的目标模板可以包括：确定该像素在原始图像帧中的初始位置；以及基于该初始位置周围的经重构的像素，确定该像素的目标模板。
所述搜索区域可以为该帧的当前待预测像素的左上侧区域。
七、21点模板以及引入匹配索引表的模板匹配预测实施例
在一个实施例中，在基于模板匹配的帧内像素预测(或像素编码)方法过程中，为了提高搜索与待预测像素的目标模板匹配的匹配模板的效率，提出了一种基于匹配索引表来组织模板和进行模板更新、搜索的方法。
在一个实施例中，基于模板匹配的帧内像素预测(或编码)方法还包括构建匹配索引表步骤，对于已经预测的像素的目标模板，提取模板特征并构建哈希(Hash)表。由此前述匹配模板确定步骤可以包括提取目标模板的特征，基于所提取的特征来定位Hash表中与目标模板匹配的模板。在一个示例中，如果没有在Hash表中定位到与目标模板匹配的模板，则基于该目标模板构建新节点并添加到Hash表中。所述提取模板特征可以包括将所述模板分成子组，获得各个子组的像素代表值，将各个子组的像素代表值作为模板的特征。在一个示例中，对于一个像素的目标模板，距离该像素较近处的子组内的像素数目小于距离该像素较远处的子组内的像素数目。在一个示例中，所述各个子组的像素代表值为子组的像素平均值。
下面以图2(d)所示的21点模板为例来说明哈希表的构建、检索和更新过程。
哈希表(Hash Table)是根据关键字进行快速查找的一种数据结构。哈希表的特点是查找速度非常快，缺点是哈希函数构造必须合理和需额外的存储空间。虽然模板匹配预测方法有很好的预测准确性，但也导致预测花费的时 间指数增长。而模板匹配预测方法本质上一个查找最佳相似模板的过程，通过引入哈希方法可以对模板查找过程进行加速。
哈希表通过牺牲存储空间换取常数级查找速度。哈希表不需穷举比较就可以直接找到需查找的对象，而这其中的关键就是将要查找的对象通过哈希函数映射到内存中的存储位置上。哈希函数是哈希表设计的核心问题，而哈希函数的构造通常要求计算时间要短和保障存储位置分布尽可能均匀，尽可能减少不同查找对象映射到相同位置引起的冲突机率。大多数哈希函数都不能保证不发生冲突，对于冲突的处理策略一般为用链表记录冲突的查找对象。
在一个示例中，为了构造对应图2D所示的21点模板的哈希函数，首先依据与当前编码像素点的位置，可以将图2(d)中的21点模板分成以下8组，如图11所示。
·G1:{1}
·G2:{2}
·G3:{3}
·G4:{4,5}
·G5:{6,7,13,14}
·G6:{8,15,16,17}
·G7:{9,10,18,19}
·G8:{11,12,20,21}
其中，G1，G2，G3组各自包含一个像素点1、2、3，G4组包括4和5两个像素点，G5组包含6、7、13和14四个像素点，G6组包括8、15、16和17四个像素点，G7组包括9、10、18和19四个像素点，G8组包括11、12、20和21四个像素点。对八个组取平均值，从第一组到第八组取每组像素点值的平均值的前三位比特组成24比特的哈希值。对于具有相同哈希值的模板，存入一个链表中。哈希值的取值是综合考虑模板的位置信息和像素颜色值分布的情况，越靠近带预测像素“×”的分组在哈希值中越重要，取各组平均值则可有效抑制远离“×”位置的噪声对哈希值的影响，从而确保哈希值作为模板的特征可以显著标识不同的模板。同时，哈希值的计算也考虑了有损编码时对哈希值计算的影响。当有损编码时，取平均值的方法可以确保哈希值的稳定性。
在建立了模板的哈希表后，模板的搜索过程就转变为哈希表的查找过程。需要特别注意的是，为了确保编码和解码过程的哈希表状态的一致，在对编码单元CU进行预测时需要使用哈希表完成查找过程，得到CU的重构图像后再对哈希表统一进行一次更新。哈希表的查找的第一步是根据当前要编码的像素点计算模板的哈希值，在与哈希值对应的链表中查找对当前模板来说最佳的匹配模板。在一个示例中，在哈希表的查找过程中对两个模板相同的标准放宽为21个点中有18个点相等，如满足这个条件后立即返回就可以进一步在哈希表加速的基础上进一步加速查找过程。哈希表的更新过程与哈希表的查找过程除了一些微小的差异外几乎一样。更新过程也是先计算哈希值，然后遍历哈希值对应的链表，如果与链表中的模板均不同则将当前的模板信息添加到链表中。而更新过程中也采用上述的模板相同的标准，若模板相同则不会放入链表中。
为了进一步降低模板匹配预测的时间，可以限定哈希表中链表长度不超过限定长度。实际编码中可以根据编码时间和效率的要求给出合理的限定值，例如，在本发明实施例的一个实例中，将链表长度限定为不超过图像长度的十分之一。同时在一个示例中，为节约哈希表的存储空间，对21点模板，符合模板相同的模板可以只记录一个模板。
八、帧内像素预测方法的另一实施例
前面描述了以像素为单位进行预测中，采用模板匹配方法，以及该像素预测应用于图像编码和图像解码中。不过，以像素为单位进行预测，并不限于采用模板匹配方法，而是可以采用其他预测方法。通过首先对接收到的图像帧中像素进行重排列，然后以像素为单位进行像素值预测，能够避免传统图像编码的误差扩散。
下面参考图12描述帧内预测方法的另一实施例。图12示出了根据本发明另一实施例的帧内像素预测方法1200的流程图。
如图12所示，在步骤S1210中，执行像素重新排列步骤，将一帧图像中的像素进行重新排列。
另外，在后续进行像素块编码的情况下，还可以对重新排列后的像素进行分块操作。
有关像素重新排列的方法，可以参考前面结合图6-图8进行的描述。
在步骤S1210的像素重新排列之后，可以前进到步骤S1220。
在步骤S1220中，执行像素值预测步骤，以像素为单位对重新排列后的各个像素的像素值进行预测。
在一个示例中，可以采用前面结合图1-3描述的基于模板匹配的模板匹配预测方法以像素为单位进行像素值预测。
在一个示例中，像素值预测步骤采用模板匹配方法，对于块中的每个像素，分别进行像素值预测处理，得到第一预测值，包括：目标模板获得步骤，获得当前待预测像素的目标模板；匹配模板确定步骤，将所述目标模板与该帧的搜索区域的候选模板相比较，以及确定所述候选模板中至少一个与所述目标模板匹配的匹配模板；以及基于所述至少一个匹配模板来确定像素的预测值。
在一个示例中，采用模板匹配方法进行像素值预测还可以包括：构建匹配索引表步骤，对于已经预测的像素的目标模板，提取模板特征并构建Hash表；其中所述匹配模板确定步骤包括提取目标模板的特征，基于所提取的特征定位Hash表中与目标模板匹配的模板。
在一个示例，所述提取模板特征可以包括将所述模板分成子组，获得各个子组的像素代表值，将各个子组的像素代表值作为模板的特征。
在一个示例中，对于一个像素的目标模板，距离该像素较近处的子组内的像素数目小于距离该像素较远处的子组内的像素数目。
在一个示例中，所述各个子组的像素代表值为子组的像素平均值。
在一个示例中，一个像素X的目标模板包括21个像素，分别为该像素X正左侧的三个像素、以及该像素上方的三行像素，该三行像素的每行为6个，分别为该像素X左侧的三个像素、正上方的一个像素和右侧的二个像素，其中，紧邻该像素X的三个像素各自为一个子组，与该像素X位于同一行的最左侧两个像素以及分别在该两个像素正上方的紧邻两个像素组成一个子组，在该像素X所在行之上一行的最右侧两个像素组成一个子组，以及在该像素X所在行之上、且非相邻的两行中按从左至右的顺序，每两行的四个像素组成一个子组，由此组成八个子组，由该八个子组的像素代表值作为模板的特征。
在一个示例中，如果没有在Hash表中定位到与目标模板匹配的模板，则基于该目标模板构建新节点并添加到Hash表中。
在另一个示例中，并不固定采用特定的一种像素预测算法，而是在实际执行像素预测之前，首先进行像素预测算法的确定，然后利用确定的像素预测算法来进行预测。
例如，如果像素像素处于重新排列后的图像的上方和左侧，采用JPEG-LS预测算法，否则采用模板匹配算法进行预测。这是因为，发明人经实验统计发现，一般地对于位于图像左侧和上方的像素，相比于位于图像中部和右侧和下侧的像素，模板匹配算法的预测效果差些。这里上方和左侧是指相对于图像的中点而言的上方和左侧，在一个示例中，例如指图像的顶部两行和左侧两行，当然并不局限于此，位于顶部多少行和左侧多少行可以根据图像的尺寸和采用的模板匹配算法的具体情况来确定。
再例如，可以基于待预测像素在重新排列前的图像中的周围像素所采用的预测算法，来确定所述对其采用的预测算法。
该预测算法可以从下列预测算法集合中选取，该预测算法集合包括模板匹配算法、加权模板匹配算法、JPEG-LS预测方法、梯度自适应预测方法。模板匹配算法即前文中描述的本发明实施例的基于模板匹配的帧内预测方法。下面简要介绍其他三种算法。
加权模板匹配方法是非局部均值方法((Non-Local Means，NLM))针对帧内编码的简化版，关于NLM方法的介绍，可参见非专利文献BuadesA,CollB,MorelJM.A non-local algorithm for image denoising.Computer Vision and Pattern Recognition,2005.CVPR2005.IEEE Computer Society Conference on,volume2.IEEE,2005.60–65.中的介绍。加权模板匹配方法中加权系数的计算方法与非局部均值方法中计算权重的方法相同，都是利用搜索区域内模板与当前模板的结果相似度来计算权重，以确保与当前模板越相似的模板的权重越大，与当前模板越不相似的模板权重越小，有关加权模板匹配方法，可参考非专利文献Wige E,Yammine G,Amon P,et al.Pixel-based averaging predictor for hevc lossless coding ICIP,2013.1806–1810.中的介绍。
JPEG-LS是JPEG2000的一种无损编码方法。JPEG标准虽然有无损编码的方法，但因各种原因没有得到广泛的应用。JPEG-LS标准要求在算法复杂 度尽可能低的情况下减少编码使用的比特数。JPEG-LS是一种低复杂度的图像压缩算法，主要采用上下文自适应编码、图像预测、自适应哥伦布编码和变长编码等技术，压缩性能要优于JPEG2000的无损编码方法。JPEG-LS预测方法利用三个相邻已重构像素点之间的纹理特征进行预测。JPEG-LS预测方法是通过当前像素点的左面、上方和左上方的三个近邻点，在非常简单的边检测基础上对当前像素点做预测。设当前像素点为“×”，左面的像素点的值为Left，上面的像素点的值为Above，坐上方的点为AboveLeft。具体预测过程是，计算Left、Above和AboveLeft的最大值Max和最小值Min，如果Max与AboveLeft相等，则“×”的预测值等于Left和Above的最小值；如Min与AboveLeft相等，则“×”的预测值等于Left和Above的最大值；否则，“×”的预测值为Above+Left-AboveLeft。有关JPEG-LS的详细介绍，可参考非专利文献Weinberger MJ,Seroussi G,Sapiro G.The loco-I lossless image compression algorithm:principles and standardization into jpeg-ls.Image Processing,IEEE Transactionson,2000,9(8):1309–1324。
梯度自适应预测方法利用当前像素点周围像素的梯度预测当前像素点的值。不同于线性预测方法，梯度自适应预测方法对图像中强烈变化的区域有非常好的鲁棒性。梯度自适应方法分别计算垂直和水平方向的三个梯度，然后将其分别相加得到垂直和水平方向的梯度估计。预测结果则通过垂直和水平方法的梯度估计的大小比较来计算得到。
根据本发明实施例的梯度自适应预测方法用到的7个相邻像素的位置如图13所示，其中“×”是当前需要预测的点,Ik表示标号为k的像素的像素值。水平方向的梯度估计的计算公式如公式(1)。所示
dh＝|I1-I5|+|I3-I2|+|I3-I4|  (1)
垂直方向的梯度估计的计算公式为(2)。
dv＝|I1-I2|+|I3-I6|+|I4-I7|  (2)
当前像素点的预测值的计算公式为(3)。其中的常数均为经验值。
在一个示例中，采用基于模板匹配的帧内编码框架，在此情况下因为在编码前引入了重采样过程，编码过程是重采样后的图像上进行CTU(coding tree unit，编码树单元)划分进行的，并且21个点模板需要的已编码像素点比较多，这就导致在编码了三行CTU和三列CTU后21个点模板才能全部为重构后的像素值。对梯度自适应预测方法也存在类似的问题。对图13中的7个像素部分为重构后的像素值的情况也要进行灵活处理。在一个示例中，采取调整阀值和特殊情况处理的方式处理这种情况。首先统计水平梯度的3个梯度的存在数量和垂直梯度的梯度存在数量，然后对公式(2)中的常数分别乘以存在数量与3比值得到水平方向和垂直方向的梯度系数。其中公式(2)第一、三、四种情况乘以水平方向的梯度系数，第二、五、六种情况下乘以垂直方向的梯度系数。当只存在水平梯度或垂直梯度时，以I1或I3为最终的预测值。
根据本发明实施例，通过首先对接收的图像帧中的像素进行重新排列，然后对这样的经过像素重新排列的图像帧以像素为单位进行像素值预测，能够避免误差扩散，提高像素值预测的准确性，从而提高图像编码的准确性和提高解码端的解码效果。
九、扩展的图像编码方法实施例
下面参考图14描述根据本发明实施例的扩展的图像编码方法。
图14示出了根据本发明一个实施例的扩展的图像编码方法1400的总体 流程图。需要说明的是，该流程图不应理解为各个步骤在时间上按照图示各个步骤编号的顺序被顺序执行，例如像素重构步骤，当前作为编码对象的像素的预测需要使用对先前已编码的像素进行重构得到的重构像素值，因此对于当前作为编码对象的像素，对先前已编码的像素进行重构的操作应该在对该当前像素进行预测之前进行；而在当前像素块编码完成后，又执行像素重构步骤，得到该当前像素的重构像素值，用于后续编码的像素的预测。
如图14所示，在步骤S1410中，在像素分块步骤，将像素分块。
在一个示例中，在将像素分块之前，可以将像素重新排列，得到各个作为编码目标的块，使得分块后的块中的多个像素尽可能不同时出现在重新排列前的帧中的原始块中，且使得块中的像素在被预测时，其在重新排列前的帧中的目标模板中的像素尽可能地已重构。在一个示例中，将像素重新排列并分块，得到各个作为编码目标的块，使得分块后的块中的至少一些像素不同时出现在重新排列前的帧中的原始块中，且使得块中的像素在被预测时，其在重新排列前的帧中的目标模板中的至少一些像素已重构。
有关像素重新排列和分块的方法，可以参考前面结合图6-8描述的像素重新排列和分块方法。
在步骤S1420中，执行像素值预测步骤，对于当前待编码块，对于块中的每个像素，分别进行像素值预测处理，得到第一预测值。
在一个示例中，可以采用前面结合图1-3描述的基于模板匹配的模板匹配预测方法以像素为单位进行像素值预测。
在另一个示例中，并不固定采用特定的一种像素预测算法，而是在实际执行像素预测之前，首先进行像素预测算法的确定，然后利用确定的像素预测算法来进行预测。
例如，如果像素处于重新排列后的图像的上方或左侧，采用JPEG-LS预测算法，否则采用模板匹配算法进行预测。这是因为，发明人经实验统计发现，一般地对于位于图像上方或左侧的像素，相比于位于图像中部、右侧和下方的像素，模板匹配算法的预测效果差些。
再例如，可以基于待预测像素在重新排列前的块中的周围像素所采用的预测算法，来确定所述对其采用的第一预测算法。
该预测算法可以从下列预测算法集合中选取，该预测算法集合包括模板 匹配算法、加权模板匹配算法、JPEG-LS预测方法、梯度自适应预测方法。模板匹配算法可以是前文中描述的本发明实施例的基于模板匹配的帧内预测方法。
需要说明的是，预测算法并不局限于上面所列的算法，还可以采用其它算法，例如JPEG-LS预测方法是基于图像纹理的预测方法中的一种，且是比较容易的一种，也可以采用其它基于图像纹理的预测方法。
回到图14，在步骤S1430中，对于当前待编码块，对于块中的每个像素，计算残差，包括：在步骤S1431中，基于像素值预测步骤预测得到的该像素的第一预测值和该像素的真实值,计算关于该像素的第一残差；在步骤S1432中，确定该像素的第一残差是正常残差还是异常残差；在步骤S1433中，如果该像素的第一残差为异常残差，则进行异常残差修正，包括：记录该出现异常残差的像素的位置；对该像素进行重新预测，得到第二预测值和对应的第二残差，并记录重新预测信息。其中将经过异常残差修正后的、该当前待编码块的像素的残差组成该当前待编码块的正常残差块，供进行离散余弦变换、量化和熵编码。
基于出现异常残差的像素的位置信息，可以在编码器端的像素重构步骤定位到图像块中出现异常残差的像素；基于重新预测信息和第二残差，能够重构该像素的像素值。
在一个示例中，利用与获得第一预测值的第一预测算法不同的预测算法来对该像素进行步骤S1433中的重新预测。
在一个示例中，关于步骤S1433中的重新预测，可以采用调色板方法来进行。调色板方法是通过记录索引来达到记录索引对应数值的方法，它在索引和对应数值之间建立一一对应的映射关系，这种映射关系被称为调色板。256色调色板方法被便携式网络图形格式(Portable Network Graphics，PNG)用来提升压缩效率。调色板方法特别适宜用在数值较少的应用场景下。本发明实施例中的调色板方法是广义的，涵盖基于主色的(Major-Color-based)方法。通过记录调色板方法中的索引和残差，能够重构像素的像素值。有关调色板方法的介绍，可以参考非专利文献，Guo L,Karczewicz M,Sole J,et al.Non-rce3:Modified palette mode for screen content coding.Document JCTVC-N0249,ITU-T/ISO/IEC Joint Collaborative Team on Video Coding (JCT-VC),July,2013.和Liwei G,Wei P,Feng Z,et al.Color palette for screencontent coding.Image Processing(ICIP),2014IEEE International Conference on.5556–5560.以及Guo X,Li B,Xu JZ,et al.AHG8:Major-color-based screen content coding.Document JCTVC-O0182,ITU-T/ISO/IEC Joint Collaborative Team on Video Coding(JCT-VC),November,2013.
需要说明的是，这里的重新预测方法并不局限于调色板方法，也可以应用其他预测方法。在一个实施例中，对于每个出现异常残差的像素，可以试验作为候选的各个预测方法，并选择表现最优的预测方法作为重新预测方法，并记录下该重新预测方法的标识和以及可选的为重构像素值所需的其它信息作为重新预测信息，以便基于该重新预测信息和对应的残差，能够重构该像素的像素值。
在一个示例中，在采用调色板预测方法的情况下，重新预测信息可以包括预测方法标识(例如，调色板预测方法的编号是1，则预测方法标识为1)、调色板索引号(例如，索引号01表示黑色)。
在另一个示例中，在采用基于图像纹理的预测方法的情况下，重新预测信息可以包括预测方法标识(例如，基于图像纹理的预测方法的编号是2，则预测方法标识为2)、预测方法编号(例如，编号02表示JPEG-LS预测方法)。
关于步骤S1432中的确定该像素的第一残差是正常残差还是异常残差的方法，在一个示例中，可以采用经验确定的正常残差阈值，第一残差小于等于正常残差阈值，则第一残差为正常残差，否则为异常残差；在另一个示例中，可以使用率失真优化(Rate-Distortion Optimization,RDO)选择策略来确定正常残差阈值。RDO方法在码率和失真之间做出折中选择，确保解码后视频图像的质量和码率之间的组合最优化。例如，在残差的取值范围内，每隔预定间隔取阈值候选，测试以该阈值候选作为正常残差阈值的情况下，对于特定重新预测算法，平均而言，评估编码异常残差的码率和失真情况，然后递增测试下一阈值候选，直至将所有阈值候选测试完毕，最后选择码率和失真情况之间组合最优的阈值候选作为最后确定的正常残差阈值。
回到图14，在步骤S1440中，将所述出现异常残差的像素的位置和重新预测信息单独进行编码，该编码过程是无所的，该编码后的像素的位置和重 新预测信息用于像素值重构步骤和用于发送到解码端。需要说明的是，所述出现异常残差的像素的位置和重新预测信息并不经过离散余弦变换和量化步骤，以防止出现信息丢失而导致无法正确定位出现异常残差像素的位置和无法进行重新预测。
在一个示例中，所述将所述出现异常残差的像素的位置进行无损编码通过下列算法中的一项进行：最短路径位置编码、单近邻位置参考编码、四近邻位置参考编码。
下面介绍根据本发明实施例的对异常残差的位置进行编码的最短路径位置编码、单近邻位置参考编码、四近邻位置参考编码。需要说明的是，这三种编码方法可以用于对所有非零残差进行编码，而不是仅局限于对异常残差的位置进行编码。本发明实施例的图像中的像素经过重新排列和分块，为了与标准HEVC(High Efficiency Video Coding，高效率视频编码)中的最大编码单元(Largest Coding Units，LCU)区分开来，将本发明实施例的经重新排列和分块框架下的编码单元称为VLCU(VLCU,VirtualLargestCodingUnit，虚拟最大编码单元)，而“相邻”CU与当前编码CU位置关系如图15所示。最短路径位置编码方法通过减少VLCU中当前CU异常残差的位置信息使用的码率增加压缩效率。而单近邻和四近邻位置参考编码方法则通过利用“相邻”CU异常残差的位置信息预测当前CU位置达到降低比特率的目标。
最短路径位置编码需要用到“编码距离”的概念。与SAD(sum of absolute difference绝对差值和)和SSE(sum of square errors误差平方和)等距离概念类似，编码距离为基于零阶指数哥伦布编码时所需的比特数。公式(4)给出了“编码距离”的定义。
Gd＝ExpGolomb(Xc-Xp)+ExpGolomb(Yc-Yp)  (4)
其中ExpGolomb(·)是采用零阶指数哥伦布编码时使用的比特数，(X，Y)是二维坐标系下的坐标，c和p是不同位置的像素点。
最短路径位置编码中的最短路径是将CU中出现异常残差的像素的位置信息重新排列看做一条“路径”，以保证这条路径的总“编码距离”最短。为了减少位置信息，通过“编码距离”最小也就是记录当前位置比特数最少将位置信息转变为与上一个位置的差。
最短路径位置编码方法只用到当前编码单元CU的异常残差的位置信息。 最短路径位置编码方法通过“编码距离”来对异常残差像素进行重新排列，然后通过记录位置信息之间差值以减少记录位置信息所需的比特。第一个异常残差的位置为与坐标原点“编码距离”最小的点的位置。对所有未编码的位置按距离进行排序，挑选与前一编码的位置信息最近的位置进行编码。最短路径位置编码方法的位置信息均采用零阶指数哥伦布编码。
下面介绍根据本发明实施例的单近邻位置参考编码和四近邻位置参考编码方法。当前编码CU的像素与VLCU中“近邻”CU在原图像中是相邻关系，而当前CU中的异常残差是模板匹配预测方法效果不好的像素点，考虑到模板匹配预测方法要利用相邻像素点的特点，如当前CU中的点不能被很好的预测，则它“相邻”四个CU不能被很好预测的概率会很大，如图16所示。本发明实施例的单近邻位置参考编码方法和四近邻位置参考编码方法利用这一点，减少当前CU的位置信息的码率。
单近邻位置参考编码方法是利用“相邻”CU的出现异常残差的位置信息减去当前CU的位置信息。在与当前相邻的左面、上边、左上、右上四个VLCU近邻的相对应四个CU中通过RDO选择出最优的近邻CU。单近邻位置参考编码方法需要额外的两个比特来记录最优“相邻”CU的位置。该方法首先对单个的“相邻”CU中的异常残差位置信息按最短路径位置编码方法中的编码距离进行排序。当前CU出现异常残差的位置信息被分解为三部分：在排序后“相邻”CU数组中的索引、X轴的差和Y轴的差。这样，当前CU的异常残差变成了包含上述三部分的三元组。为了利用三元组中索引不小于零的特点，对整个三元组按索引按照从小到大排序。为了进一步减少三元组中索引值的相关性，除了第一个三元组的索引，排序后的索引值减去前一个位置的索引值得到索引值的差。
对三元组的索引差、X轴的差、Y轴的差分别进行变长编码和和直接编码的率失真优化RDO过程。此时，因为失真是不变的，只需要选择使用最少的比特数的方法。将X轴的差和Y轴的差作为一个整体，对这个三元组进行变长编码和直接按照排序后顺序依次编码的选择需要三个比特来记录。对三元组的三个部分分别采用变长编码。变长编码是分别记录已重复出现的元素的长度和重复出现的元素值。
单近邻位置参考编码方法在通过对三元组编码后的比特数量多少对 四个“近邻”CU进行选择。需要指出的是，只需要对编码后比特数了最少的“近邻”CU的序号进行编码。因为首先对索引进行增序排序，从而保证索引差大于等于零。索引差的结束标志设为-1。在编码时，通过先编索引差就可以得到整个三元组的长度。而这个三元组中各个元素具有相同的长度，其他元素的长度值与索引差的长度值相同。对其他三元组中的元素就不需要单独设置结束标志，对单近邻位置参考编码方法来说就只需要设置索引差的结束标志就可以标识出单近邻位置参考编码方法其他元素的结束标志。
四近邻位置参考编码则通过利用“相邻的”左面、上方、左上和右上四个CU的合并成一个虚拟的CU的位置信息来减少码率的，虚拟CU合并过程如图17所示。虚拟CU中异常残差的位置与当前编码CU的位置会存在三种情况，第一种情况是虚拟CU中异常残差点位置与当前编码CU位置是重合的；第二种情况是虚拟CU中不是异常残差，而当前编码CU中是异常残差；第三种情况是当前编码CU中不是异常残差，而虚拟CU中是异常残差。四近邻位置参考编码方法就是要对上述三种情况分别编码。对于第一种情况和第三种情况，按照从左到右，从上到下的处理顺序，如虚拟CU残差异常才进行编码，处于第一种情况下对当前CU相应位置的出现异常残差进行编码，处于第三种情况下则对当前CU对应位置的零进行编码。对于第二种情况下的当前CU的出现异常残差则采用最短路径位置编码的方法进行编码。
对于第一种情况和第三种情况编码时，因为虚拟CU在解码端与编码端是一致的，所以不需要设置编码结束标志。而色度分量的四近邻位置参考编码方法也可以采取不同的参考进行编码。色度分量的四近邻位置参考编码方法与亮度分量的四近邻位置参考编码方法不同，可以直接利用当前CU的亮度分量作为参考位置信息进行编码。
回到图14，在步骤S1450中，由经过异常残差修正后的、该当前待编码块的像素的残差组成该当前待编码块的正常残差块，对其进行离散余弦变换、量化。量化后的残差块供发送到像素重构模块以及发送到熵编码器模块。
需要说明的是，这里所谓的“正常残差块”并不表示该残差块中的所有残差均是正常残差，在某些情况下，可能有少许残差仍为异常残差，例如可能有极少数的出现异常残差的像素经过重新预测后，得到的第二残差虽然有所改善，但仍为异常残差；或者也不排除经过重新预测后，得到的第二残差 并不优于第一残差的情况，对这样的情况，可以仍然选用第一残差作为像素残差，而不将该像素标识为出现异常残差的。在所有这些情况下，修正后的残差块均称为“正常残差块”。
在步骤S1460中，对量化后的正常残差块进行熵编码，供发送到解码端。
熵编码基于概率模型对编程过程中产生的各种语法元素进行压缩。熵编码包括霍夫曼编码和算术编码。在一个示例中，本发明实施例的熵编码采用上下文自适应的二进制算术编码(Context-adaptive binary arithmetic coding，CABAC)。
在步骤S1470中，进行像素值重构步骤，对于先前已编码的像素的像素值进行重构，所述重构的像素值用于像素值预测步骤。
在一个示例中，像素值重构步骤包括：通过对量化后的正常残差块进行逆量化和逆离散余弦变换，得到由像素的正常残差组成的正常残差块；以及对于出现异常残差的像素，解码得到出现异常残差的像素的位置和重新预测信息，基于得到的正常残差块和出现异常残差的像素的位置和重新预测信息、以及对应图像块中的像素的第一预测值，重构图像块中的各个像素的像素值。在一个示例中，所述基于得到的正常残差块和出现异常残差的像素的位置和重新预测信息、以及对应图像块中的像素的第一预测值，重构图像块中的各个像素的像素值包括：对于不是出现异常残差的像素，基于得到的正常残差块，获得该像素的第一残差和该像素的第一预测值，来重构该像素的像素值；对于出现异常残差的像素，基于重新预测信息，得到第二预测值，基于得到的正常残差块，获得第二残差，基于第二残差和第二预测值，来重构该像素的像素值。
根据本发明实施例，通过对出现异常残差的像素应用重新预测来得到正常残差，能够充分利用高效率视频编码HEVC的变换、量化和熵编码方法，进行有损编码。由此能够结合像素重新排列分块、以像素为单位预测带来的避免误差扩的散优点和块变换、量化、熵编码带来的效率高的优点。该实施例的编码方法尤其适合屏幕图像编码。
十、扩展的解码方法实施例
根据本发明的另一实施例，提供了一种对图像帧解码的解码方法，可以 包括：接收图像块的编码表示，在一个示例中，该图像块可以是被编码前的图像内的像素经重新排列和分块后形成的；对于所述编码表示，通过解码、逆量化和逆离散余弦变换，得到图像块中的各个像素的正常残差；接收经无损编码的出现异常残差的像素的位置和重新预测信息并解码；对于图像块中的每个像素，分别进行第一预测处理得到该像素的第一预测值；基于得到的各个像素的正常残差和出现异常残差的像素的位置和重新预测信息,和像素的第一预测值，确定各个像素的像素值。
在一个示例中，图像在编码侧经过重新排列，所述解码方法还可以包括：根据图像重新排列的规则，恢复未经重新排列的原图像。
在一个示例中，对于图像块中的每个像素，分别进行像素预测处理得到该像素的第一预测值可以包括：确定对该像素采用的预测算法和/或预测算法的参数；以及利用该第一预测算法预测该像素的值。传统技术中的以块为单位的预测，块中的所有像素点都是用同一个预测方法进行预测，比如都是用同一个预测方向进行预测。而根据本发明实施例的方法可以针对不同像素的位置，周围像素的不同，有个性化的进行不同的预测，比如有的像素用模板匹配预测方法，有的像素用JPEG-LS预测方法，即使都用相同的预测算法也可以采用不同的参数，都采用模板匹配方法，也可以使用的不同模板。
在一个示例中，确定对该像素采用的第一预测算法包括：基于该像素在重新排列前的块中的周围像素所采用的预测算法，来确定所述对其采用的第一预测算法。
在一个示例中，第一预测算法选自下列中的一个：模板匹配算法、加权模板匹配算法、JPEG-LS预测方法、梯度自适应预测方法。
在一个示例中，像素值预测处理中的确定对该像素采用的第一预测算法可以包括：如果像素在重新排列前的块中处于左上角，采用的第一预测算法是JPEG-LS，否则采用的第一预测算法是模板匹配算法。
在一个示例中，像素值预测处理中的确定对该像素采用的第一预测算法可以包括：如果像素在重新排列前的块中处于左侧或上方，采用的第一预测算法是JPEG-LS，否则采用的第一预测算法是模板匹配算法。
在一个示例中，基于得到的各个像素的残差和出现异常残差的像素的位置和重新预测信息,和像素的第一预测值，确定各个像素的像素值可以包括： 对于不是出现异常残差的像素，基于得到的残差和该像素的第一预测值，来确定该像素的像素值；对于出现异常残差的像素，基于重新预测信息，得到第二预测值，基于得到的残差和第二预测值，来确定该像素的像素值。
十一、扩展的图像编码器实施例
下面参考图18，描述根据本发明实施例的扩展的图像编码器。图18示出了根据本发明实施例的扩展的图像编码器1800的结构示意图。
如图18所示，对图像进行帧内编码的编码器1800，可以包括：像素分块部件1810、像素值预测部件1820、残差计算部件1830、离散余弦变换部件1840和量化器1850、熵编码器1860和像素值重构部件1870。
像素分块部件1810，用于将像素分块。在图18所示的示例中，像素分块部件1810还在对像素分块之前，对像素进行重新排列。有关对像素重新排列的方法，可以参考前面结合图6-8进行的描述。
像素值预测部件1820，用于对于当前待编码块，对于块中的每个像素，分别进行像素值预测处理，得到第一预测值。在图18所示的示例中，像素值预测部件1820在像素预测之前，首先进行像素预测(pixel predication，PP)的预测算法的确定(或预测)。有关像素预测算法和对像素预测算法进行确定(或预测)的方法可以参考前面结合图14的步骤S1420进行的描述。
残差计算部件1830，用于对于当前待编码块，对于块中的每个像素，计算残差。有关残差计算的具体方法和实现可以参考图14的步骤S1430进行的描述。在图18所示的示例中，首先基于像素值预测步骤预测得到的该像素的第一预测值和该像素的真实值,计算关于该像素的第一残差。然后，基于率失真优化RDO进行异常像素选取，将出现异常残差的像素点选取出来，然后进行异常残差修正，包括对异常像素点进行重新预测，得到第二预测值和对应的第二残差，并记录位置和重新预测信息。在一个优选示例中，尽可能使得第二残差为正常残差，但如前所述，并不排除少许先前出现异常残差的像素经重新预测后得到的第二残差仍为异常的残差或者第二残差劣于第一残差的情况。将如此得到的第二残差与被判为正常残差的第一残差相结合来得到修正的残差作为正常残差块，这样的正常残差块经过离散余弦变换部件1840和量化器1850进行离散余弦变换和量化，这样经离散余弦变换和量化后的结果 输出到熵编码器1860以及输出到像素值重构部件1870。另外，残差计算部件1830将得到的出现异常残差的位置和重新预测信息单独进行编码，该编码过程是无损的。然后经单独进行编码后的像素的位置和重新预测信息发送到像素值重构部件1870和解码器端，在一个示例中，在发送到解码器端之前，经单独进行编码后的像素的位置和重新预测信息先进行熵编码，然后发送到解码器端。
如前所述，离散余弦变换部件1840和量化器1850和熵编码器1860，用于分别对于当前待编码块对应的残差块进行离散余弦变换、量化和熵编码。
像素值重构部件1870，用于对于先前已编码的像素的像素值进行重构，其一方面接收经离散余弦变换和量化的残差，将其进行逆量化和逆离散余弦变换以及解码后得到修正的残差’(这里及后续出现的符号“’”表示是经过解码得到的，而不是原始值)，该修正的残差’分为第一残差’和第二残差’，其中由第一残差’与第一预测值来得到正常残差的像素的像素值；像素值重构部件预测值来得到正常残差的像素的像素值；像素值重构部件另一方面接收经单独编码的异常残差的像素的位置和重新预测信息，对其进行解码，然后对该像素进行重新预测，得到第二预测值’，之后利用第二残差’和第二预测值’来得到异常残差的像素的像素值，由此实现了像素的重构。
根据上述实施例的图像编码器，将像素残差分为正常残差和异常残差，并对异常残差的像素进行重新预测，以便第二残差为正常残差或者更接近于正常残差，由此能够获得更准确的图像编码。
十二、扩展的图像解码器实施例
下面参考图19，描述根据本发明实施例的扩展的图像解码器。图19示出了根据本发明实施例的扩展的图像解码器1900的结构示意图。
如图19所示，解码器1900可以包括：图像块编码表示接收部件1910，接收图像块的编码表示；残差恢复部件1920，对于所述编码表示，通过熵解码、逆量化和逆离散余弦变换，得到图像块中的各个像素的残差；异常残差解码及像素值预测部件1930，接收经无损编码的出现异常残差的像素的位置和重新预测信息并解码，以及进行重新预测，得到第二预测值’；预测部件1940，对于图像块中的每个像素，分别进行第一预测处理得到该像素的第一 预测值’；像素值计算部件1950，基于得到的各个像素的正常残差和出现异常残差的像素的位置、重新预测信息和像素的第一预测值’，确定各个像素的像素值。在图19所示的示例中，预测部件1940对预测像素(Pixel Predication)的预测方法进行预测，然后利用预测得到的像素预测方法来进行像素值预测，得到像素的第一预测值。在图19所示的示例中，像素值计算部件1950一方面由残差恢复部件1920恢复得到的残差中的第一残差’和由预测部件1940得到的像素的第一预测值，来得到正常残差的像素的像素值，另一方面，由残差恢复部件1920恢复得到的残差中的第二残差’和异常残差解码及像素值预测部件1930得到的第二预测值’，来得到异常残差的像素的像素值。
在一个示例中，该图像块是被编码前的图像内的像素经重新排列和分块后形成的，解码器还包括反重组部件，用于根据图像排列的规则，恢复未经重新排列的原图像。
需要说明的是，上述图像编码器、图像编码方法和图像解码器、图像解码方法的各个部件或各个步骤可以用软件程序来实现，例如通过通用计算机中的CPU结合RAM和ROM等以及其中运行的软件代码来实现。软件程序可以存储在诸如闪存、软盘、硬盘、光盘等存储介质上，在运行时加载到诸如随机访问存储器RAM上来由CPU执行。另外，除了通用计算机上，还可以通过专用集成电路和软件之间的合作来实现。所述集成电路包括通过例如MPU(微处理单元)、DSP(数字信号处理器)、FPGA(现场可编程门阵列)、ASIC(专用集成电路)等中的至少一个来实现。另外，图像编码器的各个部件可以用专门的硬件来实现，例如特定的现场可编程门阵列、专用集成电路等。另外，图像编码器的各个部件也可以利用软件和硬件的结合来实现。
上述图像编码器中的各个单元的结构和数量不对本发明的范围构成限制。根据本发明的一个实施例，各个部件可以合并为一个独立的部件来执行和实现相应的功能和操作，或者各个部件进一步拆分为更小的单元来实现他们各自的功能和操作。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (36)

  1. 一种对图像进行帧内编码的编码方法，包括：
    像素分块步骤，将一帧图像中的像素分块；
    像素值预测步骤，对于当前待编码块，对于块中的每个像素，分别进行像素值预测处理，得到第一预测值；
    残差计算步骤，对于当前待编码块，对于块中的每个像素，计算残差；
    离散余弦变换、量化和熵编码步骤，对于残差计算步骤得到的当前待编码块对应的残差块进行离散余弦变换、量化和熵编码，其中量化后的残差块用于在编码端的像素值重构步骤，熵编码后的残差块供发送到解码端；
    像素值重构步骤，对于先前已编码的像素的像素值进行重构，所述重构的像素值用于像素值预测步骤；
    所述残差计算步骤包括：
    基于像素值预测步骤预测得到的该像素的第一预测值和该像素的真实值,计算关于该像素的第一残差；
    确定该像素的第一残差是正常残差还是异常残差；
    如果该像素的第一残差为异常残差，则进行异常残差修正，包括
    记录该出现异常残差的像素的位置；
    对该像素进行重新预测，得到第二预测值和对应的第二残差，并记录重新预测信息，使得编码端的像素值重构步骤和解码端都能够基于该出现异常残差的像素的位置和重新预测信息，重构和解码该像素的像素值；
    其中由经过异常残差修正的、该当前待编码块的像素的残差组成该当前待编码块的正常残差块，供离散余弦变换、量化和熵编码步骤进行下一步的处理，
    将所述出现异常残差的像素的位置和重新预测信息单独进行编码，该编码过程是无损的，经编码后的像素的位置和重新预测信息用于像素值重构步骤和用于发送到解码端。
  2. 根据权利要求1的编码方法，还包括在像素分块步骤之前，将所有像素进行重新排列。
  3. 根据权利要求1的编码方法，所述第二残差为正常残差或者与第一残差相比更接近于正常残差。
  4. 根据权利要求1的编码方法，其中在像素值重构步骤，
    通过对量化后的正常残差块进行逆量化和逆离散余弦变换，得到正常残差块；
    对于出现异常残差的像素，解码得到出现异常残差的像素的位置和重新预测信息；以及
    基于得到的正常残差块和出现异常残差的像素的位置和重新预测信息、以及对应图像块中的像素的第一预测值，重构图像块中的各个像素的像素值。
  5. 根据权利要求1或2的编码方法，其中所述像素值预测步骤包括:
    在对每个像素进行预测时，
    确定对该像素采用的预测算法和/或预测算法的参数；以及
    利用该第一预测算法预测该像素的值。
  6. 根据权利要求5的编码方法，所述确定对该像素采用的第一预测算法包括：
    基于该像素在重新排列前的图像中的周围像素所采用的预测算法，来确定所述对其采用的第一预测算法。
  7. 根据权利要求5的编码方法，所述第一预测算法选自下列中的一个：
    模板匹配算法、加权模板匹配算法、JPEG-LS预测方法、梯度自适应预测方法。
  8. 根据权利要求5的编码方法，所述像素值预测处理中的确定对该像素采用的第一预测算法包括：
    如果块像素处于重新排列后的图像的上方或左侧，采用的第一预测算法是JPEG-LS，否则采用的第一预测算法是模板匹配算法。
  9. 根据权利要求1的编码方法，所述确定该像素的第一残差是正常残差还是异常残差包括：
    基于率失真优化RDO选择策略来确定正常残差阈值，如果第一残差小于等于正常残差阈值，则确定第一残差是正常残差，否则确定第一残差是异常残差。
  10. 根据权利要求1的编码方法，所述对该像素进行重新预测，得到对应的第二残差包括：
    利用与获得第一预测值的第一预测算法不同的预测算法来对该像素进行重新预测。
  11. 根据权利要求1的编码方法，所述将所述出现异常残差的像素的位置进行编码通过下列算法中的一项进行：
    最短路径位置编码、单近邻位置参考编码、四近邻位置参考编码。
  12. 根据权利要求4的编码方法，所述基于得到的正常残差块和出现异常残差的像素的位置和重新预测信息、以及对应图像块中的像素的第一预测值，重构图像块中的各个像素的像素值包括：
    对于不是出现异常残差的像素，基于得到的正常残差块和前面已重构块的像素点重构值，获得该像素的第一残差和该像素的第一预测值，来重构该像素的像素值，
    对于出现异常残差的像素，基于重新预测信息，得到第二预测值，基于得到的正常残差块，获得第二残差，基于第二残差和第二预测值，来重构该像素的像素值。
  13. 一种对图像帧解码的解码方法，包括：
    接收图像块的编码表示；
    对于所述编码表示，通过解码、逆量化和逆离散余弦变换，得到图像块中的各个像素的残差；
    接收经无损编码的出现异常残差的像素的位置和重新预测信息并解码；
    对于图像块中的每个像素，进行像素预测处理得到该像素的第一预测值；
    基于得到的各个像素的残差、出现异常残差的像素的位置和重新预测信息和像素的第一预测值，确定各个像素的解码像素值。
  14. 根据权利要求13的解码方法，其中图像在编码侧经过重新排列，
    所述解码方法还包括：
    根据图像重新排列的规则，恢复未经重新排列的原图像。
  15. 根据权利要求14的解码方法，其中所述对于图像块中的每个像素，分别进行第一预测处理得到该像素的第一预测值包括:
    确定对该像素采用的第一预测算法；以及
    利用该第一预测算法预测该像素的值。
  16. 根据权利要求15的解码方法，所述确定对该像素采用的第一预测算法包括：
    基于该像素在重新排列前的块中的周围像素所采用的预测算法，来确定所述对其采用的第一预测算法。
  17. 根据权利要求15的解码方法，所述第一预测算法选自下列中的一个：
    模板匹配算法、加权模板匹配算法、JPEG-LS预测方法、梯度自适应预测方法。
  18. 根据权利要求15的解码方法，所述像素值预测处理中的确定对该像素采用的第一预测算法包括：
    如果像素在重新排列前的块中处于左侧或上方，采用的第一预测算法是JPEG-LS，否则采用的第一预测算法是模板匹配算法。
  19. 根据权利要求15的解码方法，所述基于得到的各个像素的残差和出现异常残差的像素的位置和重新预测信息,和像素的第一预测值，确定各个像素的像素值包括：
    对于不是出现异常残差的像素，基于得到的残差和该像素的第一预测值，来确定该像素的像素值，
    对于出现异常残差的像素，基于重新预测信息，得到第二预测值，基于得到的残差和第二预测值，来确定该像素的像素值。
  20. 一种对图像进行帧内编码的编码器，包括：
    像素分块部件，用于将像素分块；
    像素值预测部件，用于对于当前待编码块，对于块中的每个像素，分别进行像素值预测处理，得到第一预测值；
    残差计算部件，用于对于当前待编码块，对于块中的每个像素，计算残差；
    离散余弦变换部件，量化器和熵编码器，用于分别对于当前待编码块对应的残差块进行离散余弦变换、量化和编码；
    像素值重构部件，用于对于先前已编码的像素的像素值进行重构；
    所述残差计算部件：
    基于像素值预测步骤预测得到的该像素的第一预测值和该像素的真实值,计算关于该像素的第一残差；
    确定该像素的第一残差是否处于预定残差正常范围内，如果该像素的第一残差处于预定残差正常范围内，则确定该像素的第一残差为正常残差，否则确定该像素的第一残差为异常残差；
    如果该像素的第一残差为异常残差，则进行异常残差修正，包括：
    记录该出现异常残差的像素的位置；
    对该像素进行重新预测，得到第二预测值和对应的第二残差，并记录重新预测信息，
    其中由经残差修正的、该当前待编码块的残差组成该当前待编码块的正常残差块，供进行离散余弦变换、量化和熵编码，
    将所述出现异常残差的像素的位置和重新预测信息单独进行编码，该编码过程是无损的，然后单独进行编码后的像素的位置和重新预测信息也进行熵编码，
    所述熵编码后的正常残差块和像素的位置和重新预测信息用于发送到解码端。
  21. 根据权利要求20的编码器，所述像素分块部件在对像素分块之前，还对像素进行重新排列。
  22. 一种对图像帧解码的解码器，包括：
    图像块编码表示接收部件，接收图像块的编码表示；
    残差恢复部件，对于所述编码表示，通过熵解码、逆量化和逆离散余弦变换，得到图像块中的各个像素的残差；
    预测部件，对于图像块中的每个像素，分别进行第一预测处理得到该像素的第一预测值；
    异常残差解码及像素值预测部件，接收经无损编码的出现异常残差的像素的位置和重新预测信息并解码，以及进行重新预测，得到第二预测值；
    像素值计算部件，基于得到的各个像素的残差、出现异常残差的像素的位置和第二预测值和像素的第一预测值，确定各个像素的像素值。
  23. 根据权利要求22的解码器，其中所述图像块的编码表示是原始图像经重新排列和分块后的图像块的编码表示，
    所述解码器还包括反重组部件，用于根据图像重新排列的规则，恢复未经重新排列的原图像。
  24. 一种对图像内的像素进行预测的帧内像素预测方法，包括：
    像素重新排列步骤，将一帧图像中的像素进行重新排列；以及
    像素值预测步骤，以像素为单位对重新排列后的各个像素的像素值进行 预测。
  25. 根据权利要求24的帧内像素预测方法，其中所述像素值预测步骤包括:
    在对每个像素进行预测时，
    确定对该像素采用的预测算法和/或预测算法的参数；以及
    利用该预测算法预测该像素的值。
  26. 根据权利要求25的帧内像素预测方法，所述确定对该像素采用的预测算法包括：
    基于该像素在重新排列前的图像中的周围像素所采用的预测算法，来确定所述对其采用的预测算法。
  27. 根据权利要求25的帧内像素预测方法，根据该像素在重新排列后的图像中所处的位置，来确定所采用的预测算法。
  28. 根据权利要求27的帧内像素预测方法，所述确定对该像素采用的预测算法包括：
    如果像素处于重新排列后的图像的上方和左侧，采用的第一预测算法是JPEG-LS，否则采用的第一预测算法是模板匹配算法。
  29. 根据权利要求25的帧内像素预测方法，所述预测算法选自下列中的一个：
    模板匹配算法、加权模板匹配算法、JPEG-LS预测方法、梯度自适应预测方法。
  30. 根据权利要求24的帧内像素预测方法，还包括：
    像素分块步骤，用于将重新排列后的像素进行分块，以及
    所述像素值预测步骤采用模板匹配方法，对于块中的每个像素，分别进行像素值预测处理，得到第一预测值，包括：
    目标模板获得步骤，获得当前待预测像素的目标模板；
    匹配模板确定步骤，将所述目标模板与该帧的搜索区域的候选模板相比较，以及确定所述候选模板中至少一个与所述目标模板匹配的匹配模板；以及
    基于所述至少一个匹配模板来确定像素的预测值。
  31. 根据权利要求30的帧内像素预测方法，还包括：
    构建匹配索引表步骤，对于已经预测的像素的目标模板，提取模板特征 并构建哈希表，
    其中所述匹配模板确定步骤包括提取目标模板的特征，基于所提取的特征定位哈希表中与目标模板匹配的模板。
  32. 根据权利要求31的帧内像素预测方法，所述提取模板特征包括将所述模板分成子组，获得各个子组的像素代表值，将各个子组的像素代表值作为模板的特征。
  33. 根据权利要求32的帧内像素预测方法，对于一个像素的目标模板，距离该像素较近处的子组内的像素数目小于距离该像素较远处的子组内的像素数目。
  34. 根据权利要求33的帧内像素预测方法，所述各个子组的像素代表值为子组的像素平均值。
  35. 根据权利要求31的帧内像素预测方法，一个像素X的目标模板包括21个像素，分别为该像素X正左侧的三个像素、以及该像素上方的三行像素，该三行像素的每行为六个，分别为该像素X左侧的三个像素、正上方的一个像素和右侧的二个像素，其中，紧邻该像素X的三个像素各自为一个子组，与该像素X位于同一行的最左侧两个像素以及分别在该两个像素正上方的紧邻两个像素组成一个子组，在该像素X所在行之上一行的最右侧两个像素组成一个子组，以及在该像素X所在行之上、且非相邻的两行中按从左至右的顺序，每两行的四个像素组成一个子组，由此组成八个子组，由该八个子组的像素代表值作为模板的特征。
  36. 根据权利要求31的帧内像素预测方法，还包括：
    如果没有在哈希表中定位到与目标模板匹配的模板，则基于该目标模板构建新节点并添加到哈希表中。
CN201580080671.6A 2015-06-04 2015-06-04 像素预测方法、编码方法、解码方法及其装置、存储介质 Active CN108028942B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/080753 WO2016192073A1 (zh) 2015-06-04 2015-06-04 编码方法、解码方法及其装置

Publications (2)

Publication Number Publication Date
CN108028942A true CN108028942A (zh) 2018-05-11
CN108028942B CN108028942B (zh) 2020-06-26

Family

ID=57439973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580080671.6A Active CN108028942B (zh) 2015-06-04 2015-06-04 像素预测方法、编码方法、解码方法及其装置、存储介质

Country Status (3)

Country Link
US (2) US10375391B2 (zh)
CN (1) CN108028942B (zh)
WO (1) WO2016192073A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111541895A (zh) * 2019-02-06 2020-08-14 索尼公司 用于残差电平数据的位置相关熵编码的嵌入式编解码器（ebc）电路系统
CN111986099A (zh) * 2020-06-30 2020-11-24 武汉大学 基于融合残差修正的卷积神经网络的耕地监测方法及系统
CN112243123A (zh) * 2019-07-16 2021-01-19 四川大学 一种基于无损编码的hevc码率优化方法
CN113595555A (zh) * 2021-07-27 2021-11-02 中国电力科学研究院有限公司 能耗数据预测编码压缩采集方法及系统
WO2021217623A1 (zh) * 2020-04-30 2021-11-04 深圳市大疆创新科技有限公司 一种多媒体数据处理方法、设备及存储介质
CN114359029A (zh) * 2022-03-21 2022-04-15 广州匠芯创科技有限公司 图像处理方法及其装置、系统、存储介质
CN115171328A (zh) * 2022-06-30 2022-10-11 国网北京市电力公司 基于视频压缩编码的烟火识别方法、装置、设备及介质
WO2022268198A1 (en) * 2021-06-25 2022-12-29 FG Innovation Company Limited Device and method for coding video data
CN116506623A (zh) * 2023-06-28 2023-07-28 鹏城实验室 高并行的块内预测方法及系统

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10838682B2 (en) * 2016-07-28 2020-11-17 Intelligent Waves Llc System, method and computer program product for generating remote views in a virtual mobile device platform using efficient processing during display encoding
EP3777167A1 (en) * 2018-03-30 2021-02-17 Vid Scale, Inc. Template-based inter prediction techniques based on encoding and decoding latency reduction
US11956460B2 (en) * 2018-08-31 2024-04-09 Hulu, LLC Selective template matching in video coding
CN111050176B (zh) 2018-10-15 2021-10-15 腾讯科技（深圳）有限公司 视频编码、视频解码方法、装置、计算机设备和存储介质
CN112565787B (zh) 2018-12-28 2022-05-31 杭州海康威视数字技术股份有限公司 一种编解码方法及其设备
CN112235568B (zh) * 2019-07-15 2024-03-26 华为技术有限公司 图像编码方法、解码方法、装置和存储介质
CN111050181B (zh) * 2019-12-30 2022-06-07 哈尔滨工业大学 一种超光谱大气红外遥感图像的时间维压缩方法
KR20220003812A (ko) * 2020-07-02 2022-01-11 삼성전자주식회사 호 채널의 상태에 기반하여 필터를 사용하여 전처리된 컨텐츠를 전송하는 전자 장치 및 전자 장치의 동작 방법
CN113542750A (zh) * 2021-05-27 2021-10-22 绍兴市北大信息技术科创中心 采用两套及两套以上哈希表进行搜索的数据编码方法
CN113365059B (zh) * 2021-08-09 2021-11-12 江苏势通生物科技有限公司 图像冗余去除方法、图像冗余去除装置、存储介质和设备
WO2023200214A1 (ko) * 2022-04-12 2023-10-19 현대자동차주식회사 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN115580726A (zh) * 2022-09-28 2023-01-06 自然资源部国土卫星遥感应用中心 一种基于重排序的高光谱图像无损压缩方法和系统
CN116505952B (zh) * 2023-06-27 2023-09-08 厦门立林科技有限公司 红外码压缩方法、装置、智能设备及存储介质
CN116634168B (zh) * 2023-07-26 2023-10-24 上海方诚光电科技有限公司 一种基于工业相机的图像无损处理方法及系统
CN117081663B (zh) * 2023-10-13 2024-02-02 江苏嘉擎信息技术有限公司 一种基于多路光纤连接转换的测试方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010050860A (ja) * 2008-08-25 2010-03-04 Hitachi Ltd 画像表示装置、録画再生装置、及び画像処理方法
CN101854545A (zh) * 2009-03-30 2010-10-06 索尼公司 用于视频编码器中的帧内预测的方法和设备
CN101965733A (zh) * 2008-03-09 2011-02-02 Lg电子株式会社 用于编码或解码视频信号的方法和设备
CN103004199A (zh) * 2010-07-20 2013-03-27 索尼公司 图像处理设备和图像处理方法
CN105282558A (zh) * 2014-07-18 2016-01-27 清华大学 帧内像素预测方法、编码方法、解码方法及其装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7289668B2 (en) * 2002-08-09 2007-10-30 Xerox Corporation Document image decoding systems and methods using modified stack algorithm
JP4552677B2 (ja) * 2005-02-04 2010-09-29 ソニー株式会社 符号化装置および方法、復号装置および方法、情報処理システム、記録媒体、並びにプログラム
CN102273216A (zh) * 2009-01-08 2011-12-07 日本电气株式会社 分发系统、方法以及变换装置
CN102273207A (zh) * 2009-01-08 2011-12-07 日本电气株式会社 图像转换装置、方法以及程序
CN103248885B (zh) * 2012-02-14 2018-01-26 乐金电子(中国)研究开发中心有限公司 帧内图像预测编解码方法及视频编解码器
KR20150058324A (ko) * 2013-01-30 2015-05-28 인텔 코포레이션 차세대 비디오용 콘텐츠 적응적 엔트로피 코딩
KR101621854B1 (ko) * 2014-02-21 2016-05-17 연세대학교 산학협력단 Tsm 율-왜곡 최적화 방법, 그를 이용한 인코딩 방법 및 장치, 그리고 영상 처리 장치
WO2015184069A1 (en) * 2014-05-28 2015-12-03 Arris Enterprises, Inc. Acceleration of context adaptive binary arithmetic coding (cabac) in video codecs

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101965733A (zh) * 2008-03-09 2011-02-02 Lg电子株式会社 用于编码或解码视频信号的方法和设备
JP2010050860A (ja) * 2008-08-25 2010-03-04 Hitachi Ltd 画像表示装置、録画再生装置、及び画像処理方法
CN101854545A (zh) * 2009-03-30 2010-10-06 索尼公司 用于视频编码器中的帧内预测的方法和设备
CN103004199A (zh) * 2010-07-20 2013-03-27 索尼公司 图像处理设备和图像处理方法
CN105282558A (zh) * 2014-07-18 2016-01-27 清华大学 帧内像素预测方法、编码方法、解码方法及其装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FATIH KAMISLI: "Intra Prediction Based on Markov Process Modeling of Images", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
彭秀莲: "基于行结构的图像编码", 《中国博士学位论文全文数据库（电子期刊）》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111541895A (zh) * 2019-02-06 2020-08-14 索尼公司 用于残差电平数据的位置相关熵编码的嵌入式编解码器（ebc）电路系统
CN111541895B (zh) * 2019-02-06 2022-04-22 索尼公司 用于残差电平数据的位置相关熵编码的嵌入式编解码器（ebc）电路系统
CN112243123B (zh) * 2019-07-16 2022-05-27 四川大学 一种基于无损编码的hevc码率优化方法
CN112243123A (zh) * 2019-07-16 2021-01-19 四川大学 一种基于无损编码的hevc码率优化方法
WO2021217623A1 (zh) * 2020-04-30 2021-11-04 深圳市大疆创新科技有限公司 一种多媒体数据处理方法、设备及存储介质
CN111986099A (zh) * 2020-06-30 2020-11-24 武汉大学 基于融合残差修正的卷积神经网络的耕地监测方法及系统
CN111986099B (zh) * 2020-06-30 2022-05-13 武汉大学 基于融合残差修正的卷积神经网络的耕地监测方法及系统
WO2022268198A1 (en) * 2021-06-25 2022-12-29 FG Innovation Company Limited Device and method for coding video data
CN113595555A (zh) * 2021-07-27 2021-11-02 中国电力科学研究院有限公司 能耗数据预测编码压缩采集方法及系统
CN114359029A (zh) * 2022-03-21 2022-04-15 广州匠芯创科技有限公司 图像处理方法及其装置、系统、存储介质
CN115171328A (zh) * 2022-06-30 2022-10-11 国网北京市电力公司 基于视频压缩编码的烟火识别方法、装置、设备及介质
CN115171328B (zh) * 2022-06-30 2023-11-10 国网北京市电力公司 基于视频压缩编码的烟火识别方法、装置、设备及介质
CN116506623A (zh) * 2023-06-28 2023-07-28 鹏城实验室 高并行的块内预测方法及系统
CN116506623B (zh) * 2023-06-28 2023-09-12 鹏城实验室 高并行的块内预测方法及系统

Also Published As

Publication number Publication date
US20190356914A1 (en) 2019-11-21
US10375391B2 (en) 2019-08-06
US11057621B2 (en) 2021-07-06
US20180146192A1 (en) 2018-05-24
WO2016192073A1 (zh) 2016-12-08
CN108028942B (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CN108028942B (zh) 像素预测方法、编码方法、解码方法及其装置、存储介质
EP3560197B1 (en) Low-complexity sign prediction for video coding
US11197005B2 (en) Cross-component prediction for video coding
US11025903B2 (en) Coding video data using derived chroma mode
KR102419112B1 (ko) 변환 도메인에서 잔차 부호 예측 방법 및 장치
US20120213278A1 (en) Moving image coding device, moving image decoding device, moving image coding/decoding system, moving image coding method and moving image decoding method
KR102435595B1 (ko) 분산 처리 환경에서의 학습 파라미터의 압축 및 전송을 제공하는 방법 및 장치
KR20090058954A (ko) 사이드 매칭을 이용한 영상의 부호화 방법 및 장치, 그복호화 방법 및 장치
US11259052B2 (en) Transform variations of multiple separable transform selection
KR20190096432A (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
AU2020235621A1 (en) Implicit transform selection in video coding
US20240129495A1 (en) Method and apparatus for encoding/decoding image signal
KR102391402B1 (ko) 이미지를 인코딩하고 디코딩하기 위한 방법, 이미지를 인코딩하고 디코딩하기 위한 디바이스 및 상응하는 컴퓨터 프로그램
KR102254162B1 (ko) 비디오 코딩 시스템에서 인트라 예측 방법 및 장치
CN115836525A (zh) 用于从多个交叉分量进行预测的方法和系统
KR102009634B1 (ko) 영상 보정 정보 부호화 및 복호화 방법 및 장치
GB2580106A (en) Image data encoding and decoding
GB2577350A (en) Image data encoding and decoding
US11711528B2 (en) Systems and methods for liner model derivation
KR20220007523A (ko) 영상 부호화/복호화 방법 및 장치
WO2022191947A1 (en) State based dependent quantization and residual coding in video coding
CN117981319A (zh) 用于基于块的视频编解码的符号预测
GB2580108A (en) Image data encoding and decoding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant