CN106254878A - 一种图像编码及解码方法、图像处理设备 - Google Patents

一种图像编码及解码方法、图像处理设备 Download PDF

Info

Publication number
CN106254878A
CN106254878A CN201610364479.6A CN201610364479A CN106254878A CN 106254878 A CN106254878 A CN 106254878A CN 201610364479 A CN201610364479 A CN 201610364479A CN 106254878 A CN106254878 A CN 106254878A
Authority
CN
China
Prior art keywords
reference zone
parameter
duplication
dynamic
mobile vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610364479.6A
Other languages
English (en)
Other versions
CN106254878B (zh
Inventor
林涛
李明
吴平
尚国强
吴钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
ZTE Corp
Original Assignee
Tongji University
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University, ZTE Corp filed Critical Tongji University
Priority to EP16810930.4A priority Critical patent/EP3310056A1/en
Priority to EP21178252.9A priority patent/EP3896976A1/en
Priority to US15/736,006 priority patent/US11159818B2/en
Priority to PCT/CN2016/085015 priority patent/WO2016202189A1/zh
Publication of CN106254878A publication Critical patent/CN106254878A/zh
Application granted granted Critical
Publication of CN106254878B publication Critical patent/CN106254878B/zh
Priority to US17/482,832 priority patent/US11653019B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种图像编码及解码方法、图像处理设备,包括:依据参考区域的大小,获取当前编码样值段的复制参数的动态界限;根据动态界限对复制参数进行编码,生成包括参考区域大小信息和复制参数信息的视频码流。解析视频码流,获取解码样值段的复制参数的动态界限;根据动态界限对复制参数进行解码。根据参考区域的动态位置与大小,对编码样值段的复制参数进行编码;生成包括参考区域位置与大小信息和复制参数信息的视频码流。根据参考区域的动态位置与大小,对当前编码样值段的复制参数进行编码;生成包括参考区域位置与大小信息和复制参数信息的视频码流。

Description

一种图像编码及解码方法、图像处理设备
技术领域
本发明涉及数字视频编码及解码技术,尤其涉及一种图像编码及解码方法、图像处理设备。
背景技术
随着电视机和显示器进入超高清(4K)和特超高清(8K)的分辨率,以及以远程桌面为典型表现形式的新一代云计算与信息处理模式及平台的发展和普及,对视频图像数据压缩的需求也走向更高分辨率和包含摄像机摄取图像和计算机屏幕图像的复合图像。对视频图像进行超高压缩比和极高质量的数据压缩成为必不可少的技术。
充分利用4K/8K图像和计算机屏幕图像的特点,对视频图像进行超高效率的压缩(HEVC,High Efficiency Video Coding),也是正在制定中的最新国际视频压缩标准和其他若干国际标准、国内标准、行业标准的一个主要目标。
计算机屏幕图像的一个显著特点是同一帧图像内通常会有很多相似甚至完全相同的像素图样(pi×el pattern)。例如,计算机屏幕图像中常出现的中文或外文文字,都是由少数几种基本笔划所构成,同一帧图像内可以找到很多相似或相同的笔划。计算机屏幕图像中常见的菜单、图标等,也具有很多相似或相同的图样。因此,现有的图像和视频压缩技术中通常采用各种复制方式,至少包括下列复制方式:
1)帧内块复制即帧内块匹配或称帧内运动补偿或称块匹配或称块复制。
2)帧内微块复制即帧内微块匹配或称微块匹配或称微块复制。
3)帧内线条(简称条)复制即帧内条匹配或称条匹配或称条复制。
4)帧内串复制即帧内串匹配或称串匹配或称串复制或称像素串复制。
5)调色板索引串复制即调色板或称索引串复制。
6)索引串复制与像素串复制混合的融合复制方式,简称索引-像素串融合复制方式,也称调色板-像素串融合复制方式或融合像素串复制的调色板方式或融合调色板的像素串复制方式或调色板与像素串复制方式。
7)结合多种调色板与像素串复制方式的多重调色板与像素串复制方式。
最常见的一类参考像素样值集是当前像素样值段邻近或附近的一个参考区域。参考区域都是有限的,因此,复制位置即移动矢量的取值范围也是有限。在各种复制方式中,对移动矢量进行编码或解码时,都没有对移动矢量的取值范围进行限制,因而消耗了不必要的比特数,在很大程度上降低了复制方式的压缩效率,特别是在编解码块中具有多个移动矢量的多像素段复制方式,如微块复制方式、条复制方式、像素串复制方式、调色板与像素串复制方式,的压缩效率。
发明内容
为解决上述技术问题,本发明实施例提供了一种图像编码及解码方法、图像处理设备。
本发明实施例提供的图像编码方法,包括:
依据参考区域的大小,获取当前编码样值段的复制参数的动态界限;
根据所述动态界限对所述复制参数进行编码,生成包括参考区域大小信息和复制参数信息的视频码流。
本发明实施例中,将参考区域大小信息和/或参考区域位置与大小信息和/或移动矢量的取值范围信息的编码比特写入所述视频码流的以下一处或多处:
视频参数集、序列参数集、图像参数集、条带头、编码树单元(CTU)头、编码单元(CU)头、编解码块头。
本发明实施例中,所述复制参数是移动矢量。
本发明实施例中,所述复制参数的动态界限是移动矢量的动态上限、动态下限、动态左限、动态右限中的一个、或多个或全部。
本发明实施例中,所述方法还包括:
根据所述动态界限,对复制参数进行具有与所述动态界限对应的截断值的截断k阶指数哥伦布码二值化和熵编码,其中,k≥0。
本发明实施例提供的图像解码方法,包括:
解析视频码流,获取解码样值段的复制参数的动态界限;
根据所述动态界限对所述复制参数进行解码。
本发明实施例中,所述解析视频码流,获取解码样值段的复制参数的动态界限,包括:
解析所述视频码流,获取以下信息至少之一:参考区域大小信息、参考区域位置与大小信息、移动矢量的取值范围信息;
根据所获取的信息,确定所述解码样值段的复制参数的动态界限。
本发明实施例中,在根据所述动态界限对所述复制参数进行解码之前,还包括:
解析码流,获取复制参数信息。
本发明实施例中,解析所述视频码流中以下一处或多处对应码流,获得以下信息至少之一:参考区域大小信息、参考区域位置与大小信息、移动矢量的取值范围信息,包括:
视频参数集、序列参数集、图像参数集、条带头、CTU头、CU头、编解码块头。
本发明实施例中,所述复制参数是移动矢量。
本发明实施例中,所述复制参数的动态界限是移动矢量的动态上限、动态下限、动态左限、动态右限中的一个、或多个或全部。
本发明实施例中,所述方法还包括:
根据所述动态界限,对复制参数进行具有与所述动态界限对应的截断值的截断k阶指数哥伦布码二值化和熵解码,其中,k≥0。
本发明另一实施例提供的图像编码方法,包括:
根据参考区域的动态位置与大小,对编码样值段的复制参数进行编码;
生成包括参考区域位置与大小信息和复制参数信息的视频码流。
本发明实施例中,将所述参考区域大小信息和/或参考区域位置与大小信息和/或移动矢量的取值范围信息的编码比特写入所述视频码流的以下一处或多处:
视频参数集、序列参数集、图像参数集、条带头、CTU头、CU头、编解码块头。
本发明实施例中,所述复制参数是移动矢量。
本发明实施例中,所述复制参数的动态界限是移动矢量的动态上限、动态下限、动态左限、动态右限中的一个、多个或全部。
本发明实施例中,所述参考区域的动态位置由一个或多个区域移动矢量表示。
本发明实施例中,根据参考区域的动态位置与大小对所述编码样值段的移动矢量进行编码时,所述参考区域由K个与所述编解码块同样形状和大小的子参考区域组成;其中,K≥1;
K个所述子参考区域的动态位置分别由对应的K个子参考区域移动矢量表示,将当前编解码样值段的移动矢量分解成一个主移动矢量和一个从移动矢量,其中,所述主移动矢量等于所述参考样值段所在子参考区域的子参考区域移动矢量。
本发明另一实施例提供的图像解码方法,包括:
解析视频码流,至少获取参考区域位置及大小信息和复制参数信息;
根据参考区域的动态位置与大小对当前解码样值段的复制参数进行解码。
本发明实施例中,解析所述视频码流中的以下一处或多处对应码流,获得以下信息至少之一:参考区域大小信息、参考区域位置与大小信息、移动矢量的取值范围信息,包括:
视频参数集、序列参数集、图像参数集、条带头、CTU头、CU头、编解码块头。
本发明实施例中,所述复制参数是移动矢量。
本发明实施例中,所述复制参数的动态界限是移动矢量的动态上限、动态下限、动态左限、动态右限中的一个、或多个或全部。
本发明实施例中,所述参考区域的动态位置由一个或多个区域移动矢量表示。
本发明实施例中,根据参考区域的动态位置与大小对当前解码样值段的移动矢量进行解码时,所述参考区域由K个与当前编解码块同样形状和大小的子参考区域组成;其中,K≥1;
K个所述子参考区域的动态位置分别由对应的K个子参考区域移动矢量表示,将当前编解码样值段的移动矢量分解成一个主移动矢量和一个从移动矢量,其中,所述主移动矢量等于当前参考样值段所在子参考区域的子参考区域移动矢量。
本发明实施例提供的图像处理设备,包括:
第一获取单元,用于依据参考区域的大小,获取当前编码样值段的复制参数的动态界限;
编码单元,用于根据所述动态界限对所述复制参数进行编码;
生成单元,用于生成包括参考区域大小信息和复制参数信息的视频码流。
本发明另一实施例提供的图像处理设备,包括:
解析单元,用于解析视频码流,获取解码样值段的复制参数的动态界限;
解码单元,用于根据所述动态界限对所述复制参数进行解码。
本发明另一实施例提供的图像处理设备,包括:
编码单元,用于根据参考区域的动态位置与大小,对编码样值段的复制参数进行编码;
生成单元,用于生成包括参考区域位置与大小信息和复制参数信息的视频码流。
本发明另一实施例提供的图像处理设备,包括:
解析单元,用于解析视频码流,至少获取参考区域位置及大小信息和复制参数信息;
解码单元,用于根据参考区域的动态位置与大小对当前解码样值段的复制参数进行解码。
本发明实施例的技术方案中,对图像编码包括:依据参考区域的大小,获取当前编码样值段的复制参数的动态界限;根据所述动态界限对所述复制参数进行编码;生成包括参考区域大小信息和复制参数信息的视频码流。相应地,对图像解码包括:解析视频码流,,获取解码样值段的复制参数的动态界限;根据所述动态界限对所述复制参数进行解码。此外,对图像编码包括:根据参考区域的动态位置与大小,对编码样值段的复制参数进行编码;生成包括参考区域位置与大小信息和复制参数信息的视频码流。相应地,对图像解码包括:解析视频码流,至少获取参考区域位置及大小信息和复制参数信息;根据参考区域的动态位置与大小对当前解码样值段的复制参数进行解码。如此,在各种复制方式中,对移动矢量进行编码或解码时,对移动矢量的取值范围进行了限制,节省了比特数,提升了复制方式的压缩效率。
附图说明
在附图(其不一定是按比例绘制的)中,相似的附图标记可在不同的视图中描述相似的部件。具有不同字母后缀的相似附图标记可表示相似部件的不同示例。附图以示例而非限制的方式大体示出了本文中所讨论的各个实施例。
图1为本发明实施例的图像编码方法的流程示意图一;
图2为本发明实施例的图像解码方法的流程示意图一;
图3为本发明实施例的图像编码方法的流程示意图二;
图4为本发明实施例的图像解码方法的流程示意图二;
图5为本发明实施例的图像编码方法的流程示意图三和流程示意图四;
图6为本发明实施例中参考区域的大小、参考区域的位置、移动矢量的动态界限的示例图;
图7为本发明实施例的图像解码方法的流程示意图三和流程示意图四;
图8为本发明实施例的图像处理设备的结构组成示意图一;
图9为本发明实施例的图像处理设备的结构组成示意图二;
图10为本发明实施例的图像处理设备的结构组成示意图三;
图11为本发明实施例的图像处理设备的结构组成示意图四。
具体实施方式
为了能够更加详尽地了解本发明实施例的特点与技术内容,下面结合附图对本发明实施例的实现进行详细阐述,所附附图仅供参考说明之用,并非用来限定本发明实施例。
图像的数字视频信号的自然形式是图像的序列。一帧图像通常是由若干像素组成的矩形区域,而数字视频信号就是由几十帧至成千上万帧图像组成的视频图像序列,有时也简称为视频序列或序列。对数字视频信号进行编码就是对一帧一帧图像进行编码。在任一时刻,正在编码中的那一帧图像称为当前编码图像。同样,对数字视频信号的压缩后的视频码流(简称码流也称为比特流)进行解码就是对一帧一帧压缩图像的码流进行解码。在任一时刻,正在解码中的那一帧图像称为当前解码图像。当前编码图像或当前解码图像都统称为当前图像。
在几乎所有视频图像编码的国际标准如MPEG-1/2/4,H.264/AVC以及HEVC中,对一帧图像进行编码(以及相应的解码)时,把一帧图像划分成若干块M×M像素的子图像,称为编码块(从解码的角度也就是解码块,统称为编解码块)或编码单元(CU,Coding Unit),以CU为基本编码单位,对子图像一块一块进行编码。常用的M的大小是4,8,16,32,64。因此,对视频图像序列进行编码就是对各帧图像的各个编码单元即CU依次一个一个CU进行编码。在任一时刻,正在编码中的CU称为当前编码CU。同样,对视频图像序列的码流进行解码也是对各帧图像的各个CU依次一个一个CU进行解码,最终重构出整个视频图像序列。在任一时刻,正在解码中的CU称为当前解码CU。当前编码CU或当前解码CU统称为当前CU。
为适应一帧图像内各部分图像内容与性质的不同,有针对性地进行最有效的编码,一帧图像内各CU的大小可以是不同的,有的是8×8,有的是64×64,等等。为了使不同大小的CU能够无缝拼接起来,一帧图像通常先划分成大小完全相同具有N×N像素的最大编码单元(LCU,Largest Coding Unit),然后每个LCU再进一步划分成树状结构的多个大小不一定相同的CU。因此,LCU也称为编码树单元(CTU,Coding Tree Unit)。例如,一帧图像先划分成大小完全相同的64×64像素的LCU(N=64)。其中某个LCU由3个32×32像素的CU和4个16×16像素的CU构成,这样7个成树状结构的CU构成一个CTU。而另一个LCU由2个32×32像素的CU、3个16×16像素的CU和20个8×8像素的CU构成。这样25个成树状结构的CU构成另一个CTU。对一帧图像进行编码,就是依次对一个一个CTU中的一个一个CU进行编码。在HEVC国际标准中,LCU与CTU是同义词。大小等于CTU的CU称为深度为0的CU。深度为0的CU上下左右四等分得到的CU称为深度为1的CU。深度为1的CU上下左右四等分得到的CU称为深度为2的CU。深度为2的CU上下左右四等分得到的CU称为深度为3的CU。在任一时刻,正在编码中的CTU称为当前编码CTU。在任一时刻,正在解码中的CTU称为当前解码CTU。当前编码CTU或当前解码CTU统称为当前CTU。
CU也可以再进一步被划分成若干子区域。子区域包括但不限于预测单元(PU),变换单元(TU),不对称划分(AMP)的区域。
一个彩色像素通常有3个分量(component)组成。最常用的两种像素色彩格式(pi×el color format)是由绿色分量、蓝色分量、红色分量组成的GBR色彩格式和由一个亮度(luma)分量及两个色度(chroma)分量组成的YUV色彩格式。通称为YUV的色彩格式实际包括多种色彩格式,如YCbCr色彩格式。因此,对一个CU进行编码时,可以把一个CU分成3个分量平面(G平面、B平面、R平面或Y平面、U平面、V平面),对3个分量平面分别进行编码;也可以把一个像素的3个分量捆绑组合成一个3元组,对由这些3元组组成的CU整体进行编码。前一种像素及其分量的排列方式称为图像(及其CU)的平面格式(planar format),而后一种像素及其分量的排列方式称为图像(及其CU)的叠包格式(packed format)。像素的GBR色彩格式和YUV色彩格式都是像素的3分量表现格式。
除了像素的3分量表现格式,像素的另一种常用的表现格式是调色板索引表现格式。在调色板索引表现格式中,一个像素的数值也可以用调色板的索引来表现。调色板空间中存储了需要被表现的像素的颜色的3个分量的数值或近似数值,调色板的地址被称为这个地址中存储的像素的颜色的索引。一个索引可以表现像素的颜色的一个分量,一个索引也可以表现像素的颜色的3个分量。调色板可以是一个,也可以是多个。在多个调色板的情形,一个完整的索引实际上由调色板序号(表示多个调色板中的哪一个)和该序号的调色板的索引两部分组成。像素的索引表现格式就是用索引来表现这个像素。如果一个图像区域(如编码块或解码块)中的像素不能全部都用调色板颜色来表现(即对该图像区域中至少一个像素,没有3个分量的数值与该像素相等或近似相等的调色板颜色及其索引),则调色板中通常有一个特殊的称为逃逸颜色的索引,用来表现不能用正常的调色板颜色来表现的像素。因此,如果一个像素的索引是逃逸颜色的索引,则该像素需要用另外的专用的3个分量来表现其颜色。调色板中的正常颜色和逃逸颜色都称为调色板颜色,但逃逸颜色是一个虚拟颜色,在调色板中并没有一个物理空间来存放这个颜色,只有一个特殊的专门的虚拟的索引。逃逸颜色的索引通常是调色板的最后一个索引。像素的索引表现格式也被称为像素的索引颜色(inde×ed color)或仿颜色(pseudo color)表现格式,或者常常被直接称为索引像素(inde×ed pi×el)或仿像素(pseudo pi×el)或像素索引或索引。索引有时也被称为指数。把像素用其索引表现格式来表现也称为索引化或指数化。
其他的常用的像素表现格式包括CMYK表现格式和灰度表现格式。
YUV色彩格式又可根据是否对色度分量进行下采样再细分成若干种子格式:1个像素由1个Y分量、1个U分量、1个V分量组成的YUV4:4:4像素色彩格式;左右相邻的2个像素由2个Y分量、1个U分量、1个V分量组成的YUV4:2:2像素色彩格式;左右上下相邻按2×2空间位置排列的4个像素由4个Y分量、1个U分量、1个V分量组成的YUV4:2:0像素色彩格式。一个分量一般用1个8~16比特的数字来表示。YUV4:2:2像素色彩格式和YUV4:2:0像素色彩格式都是对YUV4:4:4像素色彩格式施行色度分量的下采样得到。一个像素分量也称为一个像素样值(pi×el sample)或简单地称为一个样值(sample)。
编码或解码时的最基本元素可以是一个像素,也可以是一个像素分量,也可以是一个像素索引(即索引像素)。作为编码或解码的最基本元素的一个像素或一个像素分量或一个索引像素统称为一个像素样值,有时也通称为一个像素值,或简单地称为一个样值。
在本发明实施例中,“像素样值”、“像素值”、“样值”、“索引像素”、“像素索引”是同义词,根据上下文,可以明确是表示“像素”还是表示“一个像素分量”还是表示“索引像素”或者同时表示三者之任一。如果从上下文不能明确,那么就是同时表示三者之任一。
在本发明实施例中,编码块或解码块(统称为编解码块)是由若干像素值组成的一个区域。编解码块的形状可以是矩形、正方形、平行四边形、梯形、多边形、圆形、椭圆形及其他各种形状。矩形也包括宽度或高度为一个像素值的退化为线(即线段或线形)的矩形。一帧图像中,各个编解码块可以具有各不相同的形状和大小。一帧图像中,某些或全部编解码块可以有互相重叠部分,也可以所有编解码块都互不重叠。一个编解码块,可以由“像素”组成,也可以由“像素的分量”组成,也可以由“索引像素”组成,也可以由这3者混合组成,也可以由这3者中之任意2种混合组成。从视频图像编码或解码的角度,编解码块是指一帧图像中对其施行编码或解码的一个区域,包括但不限于以下至少一种:最大编码单元LCU、编码树单元CTU、编码单元CU、CU的子区域、预测单元PU、变换单元TU。
计算机屏幕图像的一个显著特点是同一帧图像内通常会有很多相似甚至完全相同的像素图样(pi×el pattern)。例如,计算机屏幕图像中常出现的中文或外文文字,都是由少数几种基本笔划所构成,同一帧图像内可以找到很多相似或相同的笔划。计算机屏幕图像中常见的菜单、图标等,也具有很多相似或相同的图样。因此,图像和视频压缩技术采用的复制方式,至少包括下列复制方式:
1)帧内块复制即帧内块匹配或称帧内运动补偿或称块匹配或称块复制。块复制编码或解码的基本运算是对一个当前编码块或当前解码块(简称为当前块),从重构参考像素样值集内复制一个与当前块同样大小(同样像素样值的数目)的参考块,并将所述参考块的数值赋值予当前块。块复制方式的复制参数包括当前块的位移矢量,表示参考块与当前块之间的相对位置。一个当前块有一个位移矢量。
2)帧内微块复制即帧内微块匹配或称微块匹配或称微块复制。在微块复制中,把一个当前块(如8×8像素样值)分成几个微块(如4×2像素样值的微块或8×2像素样值的微块或2×4像素样值的微块或2×8像素样值的微块),微块复制编码或解码的基本运算是对当前块中的每一个编码微块或解码微块(简称为当前微块),从重构参考像素样值集内复制一个参考微块,并将所述参考微块的数值赋值予当前微块。微块复制方式的复制参数包括当前微块的位移矢量,表示参考微块与当前微块之间的相对位置。一个当前微块有一个位移矢量。一个当前块分成多少个微块就有多少个位移矢量。
3)帧内线条(简称条)复制即帧内条匹配或称条匹配或称条复制。条是高度为1或宽度为1的微块,如4×1或8×1或1×4或1×8像素样值的微块。条复制编码或解码的基本运算是对当前块中的每一个编码条或解码条(简称为当前条),从重构参考像素样值集内复制一个参考条,并将所述参考条的数值赋值予当前条。显然,条复制是微块复制的一种特殊情况。条复制方式的复制参数包括当前条的位移矢量,表示参考条与当前条之间的相对位置。一个当前条有一个位移矢量。一个当前块分成多少个条就有多少个位移矢量。
4)帧内串复制即帧内串匹配或称串匹配或称串复制或称像素串复制。在像素串复制中,把一个当前编码块或一个当前解码块(简称为当前块)分成几个长度可变的像素样值串。这里的串是指把一个任意形状的二维区域内的像素样值排列成一个长度远大于宽度的串(如宽度为1个像素样值而长度为37个像素样值的串或宽度为2个像素样值而长度为111个像素样值的串,通常但不限于长度是一个独立编码或解码参数而宽度是一个预定的或由其他编码或解码参数导出的参数)。串复制编码或解码的基本运算是对当前块中的每一个编码串或解码串(简称为当前串),从重构参考像素样值集内复制一个参考串,并将所述参考串的数值赋值予当前串。串复制方式的复制参数包括当前串的位移矢量和复制长度即复制大小,分别表示参考串与当前串之间的相对位置和当前串的长度即像素样值的数目。当前串的长度也是参考串的长度。一个当前串有一个位移矢量和一个复制长度。一个当前块分成多少个串就有多少个位移矢量和多少个复制长度。位移矢量也称为复制位置,其表现形式有:2维坐标、线性地址、距离、指针、索引、编号、模式号等。
5)调色板索引串复制即调色板或称索引串复制。在调色板编码和对应的解码方式中,首先构造或获取一个调色板,然后将当前编码块或当前解码块(简称为当前块)的部分或全部像素用调色板中的调色板颜色的索引来表现,再对索引进行编码和解码,包括但不限于:把一个当前块的索引分成几个长度可变的索引串,即进行索引串复制编码和解码。索引串复制编码或解码的基本运算是对当前块中的每一个索引编码串或索引解码串(简称为当前索引串),从索引化的重构参考像素样值集内复制一个参考索引串,并将所述参考索引串的索引数值赋值予当前索引串。索引串复制方式的复制参数包括当前索引串的位移矢量和复制长度即复制大小,分别表示参考索引串与当前索引串之间的相对位置和当前索引串的长度即对应的像素样值的数目。当前索引串的长度也是参考索引串的长度。一个当前索引串有一个位移矢量和一个复制长度。一个当前块分成多少个索引串就有多少个位移矢量和多少个复制长度。位移矢量也称为复制位置,其表现形式有:2维坐标、线性地址、距离、指针、索引、编号、模式号等。在调色板索引串复制方式中,复制的参考像素取自调色板。所以,索引串也称为调色板颜色串或调色板像素串或调色板串,索引串复制方式也称为调色板复制方式或调色板方式。在调色板方式中,串也称为游程或行程。因此,索引串也称为索引游程或索引行程或简称为游程或行程。当前块的调色板颜色来源于当前块的像素颜色和/或调色板颜色候选集,而调色板颜色候选集由已完成编解码的编解码块的调色板颜色的一部分累积组成。
6)索引串复制与像素串复制混合的融合复制方式,简称索引-像素串融合复制方式,也称调色板-像素串融合复制方式或融合像素串复制的调色板方式或融合调色板的像素串复制方式或调色板与像素串复制方式。对一个当前编码块或当前解码块(简称为当前块)进行编码或解码时,部分或全部像素采用像素串复制方式,部分或全部像素采用索引串复制方式即参考像素取自调色板的调色板方式。
7)结合多种调色板与像素串复制方式的多重调色板与像素串复制方式。采用至少两种不同的调色板与像素串复制方式进行编码和解码。不同的调色板与像素串复制方式采用不同的融合方案来融合调色板复制与像素串复制。在一帧图像中,部分编解码块采用融合方案I的调色板与像素串复制方式,部分编解码块采用融合方案II的调色板与像素串复制方式,部分编解码块采用融合方案III的调色板与像素串复制方式,等等。不同的融合方案主要在下列方面可能有所不同:1)串的种类的数目,2)参数的取值范围,3)一个或若干复制参数的取值范围,4)复制位置即位移矢量的取值范围,5)当前索引或当前像素的位置,6)当前样值段的位置,7)参考索引或参考像素的位置,8)参考样值段的位置;9)复制形状。
其他的复制方式还包括矩形复制方式、以及若干种复制方式混合的复制方式等。
块复制方式中的块,微块复制方式中的微块,条复制方式中的条,串复制方式中的串,矩形复制方式中的矩形,调色板索引方式中的像素索引串,统称为像素样值段,简称样值段。样值段的基本组成元素是像素或像素分量或像素索引。一个样值段有一个复制参数,用来表示当前像素样值段与参考像素样值段之间的关系。因此,一个样值段是具有同样复制关系的一次复制操作的最小单位。一个复制参数包括若干复制参数分量,复制参数分量至少包括:位移矢量水平分量、位移矢量垂直分量、1维位移矢量、线性地址、相对线性地址、索引、调色板线性地址、相对索引、调色板相对线性地址、复制长度、复制宽度、复制高度、矩形宽度、矩形长度、未匹配像素(又称无参考像素,即不是从其他地方复制过来的非复制像素)。
在各种复制方式中,像素样值或索引需要按照一定顺序排列。排列方式也称为扫描方式。扫描方式根据其路径形状,可分为下列几种:
A)水平Z形扫描方式又称水平光栅扫描方式。一个编码块或解码块(统称为编解码块)的像素样值或索引,一行一行排列,在所有的行内都按照同一方向(全部从左向右或者全部从右向左)排列。行与行之间可以从上向下排列,也可以从下向上排列。
B)垂直Z形扫描方式又称垂直光栅扫描方式。一个编码块或解码块(统称为编解码块)的像素样值或索引,一列一列排列,在所有的列内都按照同一方向(全部从上向下或者全部从下向上)排列。列与列之间可以从左向右排列,也可以从右向左排列。
C)水平弓形扫描方式。一个编码块或解码块(统称为编解码块)的像素样值或索引,一行一行排列,在奇数行内按照一个方向(如:从左向右)排列而在偶数行内按照另一个(相反)方向(如:从右向左)排列。行与行之间可以从上向下排列,也可以从下向上排列。
D)垂直弓形扫描方式。一个编码块或解码块(统称为编解码块)的像素样值或索引,一列一列排列,在奇数列内按照一个方向(如:从上向下)排列而在偶数列内按照另一个(相反)方向(如:从下向上)排列。列与列之间可以从左向右排列,也可以从右向左排列。
串复制(索引串复制或像素串复制或索引串-像素串融合复制)方式中,基本复制形状有下列2种:
I)一维线性复制形状。当前串和参考串都是在各个编解码块内按照预定的扫描方式的顺序排列形成的一维样值串,具有相等的长度,但这两个串各自形成的二维区域不一定有相同的二维形状。
II)二维保形复制形状。当前串在当前编解码块内按照预定的扫描方式的顺序排列。参考串与当前串保持完全相同的二维形状,具有相等的长度。
以上每种基本复制形状又可根据具体的扫描方式细分为多种复制形状,如垂直弓形一维线性复制形状、水平Z形二维保形复制形状等。
需要说明的是,“复制”是重构和解码的操作,对应的编码操作是“匹配”。因此,各种复制方式如块匹配方式、微块复制方式、线条复制方式、像素串复制方式、索引串复制方式等也称为块匹配方式、微块匹配方式、线条匹配方式、像素串匹配方式、索引串匹配方式等。
一类参考像素样值集是当前像素样值段邻近或附近的一个参考区域。参考区域都是有限的,因此,复制位置即移动矢量的取值范围也是有限。在各种复制方式中,对移动矢量进行编码或解码时,都没有对移动矢量的取值范围进行限制,因而消耗了不必要的比特数,在很大程度上降低了复制方式的压缩效率,特别是在一个编解码块中具有多个移动矢量的多像素段复制方式,如微块复制方式、条复制方式、像素串复制方式、调色板与像素串复制方式,的压缩效率。
基于此,本发明实施例提供了一种图像编码及解码方法、图像处理设备。在对移动矢量进行编解码之前,首先对移动矢量的取值范围进行限制。
本发明实施例中,一个或多个编解码块的参考区域的大小是固定的。本发明实施例中,一个或多个编解码块的参考区域的大小是有界的。本发明实施例中,一个或多个编解码块的参考区域的大小是自适应受限制的,即所述限制由所述编解码块的其他性质(如,所述编解码块的位置,或所述编解码块与图像中其他区域的像素的相似性,等)所确定。本发明实施例中,,一个或多个编解码块的参考区域的位置是固定的。本发明实施例中,一个或多个编解码块的参考区域的位置是自适应受限制的,即所述限制由所述编解码块的其他性质(如,所述编解码块的位置,或所述编解码块与图像中其他区域的像素的相似性,等)所确定。本发明实施例中,一个或多个当前像素样值段的移动矢量的取值范围是固定的。本发明实施例中,一个或多个当前像素样值段的移动矢量的取值范围是有界的。本发明实施例中,一个或多个当前像素样值段的移动矢量的取值范围是自适应受限制的,即所述限制由所述当前像素样值段的其他性质(如,所述当前像素样值段的位置,或所述当前像素样值段的位置,或所述当前像素样值段与图像中其他区域的像素的相似性,等)所确定。
本发明实施例的技术方案中,一个编解码块的参考区域的的大小和位置是受到限制的,不同的编解码块的参考区域的的大小和位置的限制可以是不同的,是自适应和动态变化的。一个当前像素样值段的移动矢量的取值范围是受到限制的,不同的当前像素样值段的移动矢量的取值范围的限制可以是不同的,是自适应和动态变化的。
本发明实施例的技术方案中,在复制方式特别是多像素段复制方式中,参考区域是自适应和动态受到限制的区域,移动矢量的取值范围是自适应和动态受到限制的取值范围,根据移动矢量的取值范围的所述限制,对移动矢量施行自限编解码即自适应和动态受到限制的编解码。
上述方案中,所述自限编解码至少包括具有与所述限制对应的截断值的二值化方法和熵编解码。
上述方案中,所述自限编解码至少包括具有与所述限制对应的截断值的截断k阶指数哥伦布码二值化方法和熵编解码,其中k≥0。
上述方案中,所述截断k阶指数哥伦布码是其前缀和/或其后缀具有截断值的k阶指数哥伦布码。
上述方案中,所述自限编解码至少包括把一组若干个移动矢量分解成一个主移动矢量和若干个从移动矢量。
上述方案中,所述自适应和动态受到限制的区域是与当前编解码块具有同样大小和形状的K(K≥1)个子参考区域,所述自限编解码至少包括把所述当前编解码块的移动矢量分成对应的K组,把每一组的各个移动矢量都分解成一个共同的主移动矢量和各个从移动矢量。
上述方案中,在视频码流的视频参数集和/或序列参数集和/或图像参数集和/或条带头和/或CTU头和/或CU头和/或编解码块头的一处或若干处用一个或几个语法元素对参考区域进行指定和限制。
本发明实施例中,在视频码流的视频参数集和/或序列参数集和/或图像参数集和/或条带头和/或CTU头和/或CU头和/或编解码块头的一处或若干处用一个或几个语法元素对移动矢量的取值范围进行指定和限制。
图1为本发明实施例的图像编码方法的流程示意图一,如图1所示,所述图像编码方法包括以下步骤:
步骤101:依据参考区域的大小,获取当前编码样值段的复制参数的动态界限。
步骤102:根据所述动态界限对所述复制参数进行编码,生成包括参考区域大小信息和复制参数信息的视频码流。
本发明实施例的上述方案中,将参考区域大小信息和/或参考区域位置与大小信息和/或移动矢量的取值范围信息的编码比特写入所述视频码流的以下一处或多处:
视频参数集、序列参数集、图像参数集、条带头、CTU头、CU头、编解码块头。
其中,视频参数集:通常是视频参数集的一个或几个直接存在或隐含推导的语法元素;
序列参数集:通常是序列参数集的一个或几个直接存在或隐含推导的语法元素;
图像参数集:通常是图像参数集的一个或几个直接存在或隐含推导的语法元素;
条带头:通常是条带头的一个或几个直接存在或隐含推导的语法元素;
CTU头:通常是CTU头的一个或几个直接存在或隐含推导的语法元素;
CU头:通常是CU头的一个或几个直接存在或隐含推导的语法元素;
编解码块头:通常是编解码块头的一个或几个直接存在或隐含推导的语法元素。
本发明实施例的上述方案中,所述复制参数是移动矢量。
本发明实施例的上述方案中,所述复制参数的动态界限是移动矢量的动态上限、动态下限、动态左限、动态右限中的一个、或多个或全部。
本发明实施例的上述方案中,根据所述动态界限,对复制参数进行具有与所述动态界限对应的截断值的截断k阶指数哥伦布码二值化和熵编码,其中,k≥0。
图2为本发明实施例的图像解码方法的流程示意图一,如图2所示,所述图像解码方法包括以下步骤:
步骤201:解析视频码流,获取解码样值段的复制参数的动态界限。
步骤202:根据所述动态界限对所述复制参数进行解码。
本发明实施例的上述方案中,所述解析视频码流,获取解码样值段的复制参数的动态界限,包括:
解析所述视频码流,获取以下信息至少之一:参考区域大小信息、参考区域位置与大小信息、移动矢量的取值范围信息;
根据所获取的信息,确定所述解码样值段的复制参数的动态界限。
本发明实施例的上述方案中,在根据所述动态界限对所述复制参数进行解码之前,还包括:
解析码流,获取复制参数信息。
本发明实施例的上述方案中,,解析所述视频码流中以下一处或多处对应码流,获得以下信息至少之一:参考区域大小信息、参考区域位置与大小信息、移动矢量的取值范围信息,包括:
视频参数集、序列参数集、图像参数集、条带头、CTU头、CU头、编解码块头。
本发明实施例的上述方案中,所述复制参数是移动矢量。
本发明实施例的上述方案中,所述复制参数的动态界限是移动矢量的动态上限、动态下限、动态左限、动态右限中的一个、或多个或全部。
本发明实施例的上述方案中,根据所述动态界限,对复制参数进行具有与所述动态界限对应的截断值的截断k阶指数哥伦布码二值化和熵解码,其中,k≥0。
图3为本发明实施例的图像编码方法的流程示意图二,如图3所示,所述图像编码方法包括以下步骤:
步骤301:根据参考区域的动态位置与大小,对编码样值段的复制参数进行编码。
步骤302:生成包括参考区域位置与大小信息和复制参数信息的视频码流。
本发明实施例的上述方案中,将所述参考区域大小信息和/或参考区域位置与大小信息和/或移动矢量的取值范围信息的编码比特写入所述视频码流的以下一处或多处:
视频参数集、序列参数集、图像参数集、条带头、CTU头、CU头、编解码块头。
本发明实施例的上述方案中,所述复制参数是移动矢量。
本发明实施例的上述方案中,所述复制参数的动态界限是移动矢量的动态上限、动态下限、动态左限、动态右限中的一个、多个或全部。
本发明实施例的上述方案中,所述参考区域的动态位置由一个或多个区域移动矢量表示。
本发明实施例的上述方案中,根据参考区域的动态位置与大小对所述编码样值段的移动矢量进行编码时,所述参考区域由K个与所述编解码块同样形状和大小的子参考区域组成;其中,K≥1;
K个所述子参考区域的动态位置分别由对应的K个子参考区域移动矢量表示,将当前编解码样值段的移动矢量分解成一个主移动矢量和一个从移动矢量,其中,所述主移动矢量等于所述参考样值段所在子参考区域的子参考区域移动矢量。
图4为本发明实施例的图像解码方法的流程示意图二,如图4所示,所述图像解码方法包括以下步骤:
步骤401:解析视频码流,至少获取参考区域位置及大小信息和复制参数信息。
步骤402:根据参考区域的动态位置与大小对当前解码样值段的复制参数进行解码。
本发明实施例的上述方案中,解析所述视频码流中的以下一处或多处对应码流,获得以下信息至少之一:参考区域大小信息、参考区域位置与大小信息、移动矢量的取值范围信息,包括:
视频参数集、序列参数集、图像参数集、条带头、CTU头、CU头、编解码块头。
本发明实施例的上述方案中,所述复制参数是移动矢量。
本发明实施例的上述方案中,所述复制参数的动态界限是移动矢量的动态上限、动态下限、动态左限、动态右限中的一个、或多个或全部。
本发明实施例的上述方案中,所述参考区域的动态位置由一个或多个区域移动矢量表示。
本发明实施例的上述方案中,根据参考区域的动态位置与大小对当前解码样值段的移动矢量进行解码时,所述参考区域由K个与当前编解码块同样形状和大小的子参考区域组成;其中,K≥1;
K个所述子参考区域的动态位置分别由对应的K个子参考区域移动矢量表示,将当前编解码样值段的移动矢量分解成一个主移动矢量和一个从移动矢量,其中,所述主移动矢量等于当前参考样值段所在子参考区域的子参考区域移动矢量。
图5(a)为本发明实施例的图像编码方法的流程示意图三,如图所示,所述流程中:
采用至少包括下列功能和操作的复制方式进行编码并产生至少含参考区域大小信息和复制参数信息的视频码流:从参考区域的大小获取当前编码样值段的复制参数的动态界限,根据所述动态界限对所述复制参数进行编码。
图5(b)为本发明实施例的图像编码方法的流程示意图四,如图所示,所述流程中:
采用至少包括下列功能和操作的复制方式进行编码并产生至少含参考区域位置与大小信息和复制参数信息的视频码流:根据参考区域的动态位置与大小对当前编码样值段的复制参数进行编码。
在一实施方式中,所述复制参数是移动矢量。图6是一个例。
在一实施方式中,所述参考区域是当前CTU以及邻近的若干CTU,从而参考区域大小是当前CTU以及邻近的若干CTU的大小。图6(a)是一个例。
在一实施方式中,所述复制参数的动态界限是移动矢量的动态上限、动态下限、动态左限、动态右限。图6(a)是一个例。
在一实施方式中,根据所述动态界限对复制参数进行具有与所述动态界限对应的截断值的二值化和熵编码。
在一实施方式中,根据所述动态界限对复制参数进行具有与所述动态界限对应的截断值的截断k阶指数哥伦布码二值化和熵编码,其中k≥0。
在一实施方式中,所述截断k阶指数哥伦布码是其前缀和/或其后缀具有截断值的k阶指数哥伦布码。
在一实施方式中,所述参考区域的动态位置由一个或几个区域移动矢量来表示。图6(b)中的主移动矢量是一个例。
在一实施方式中,所述参考区域的动态位置由一个或几个区域移动矢量来表示,而所述参考区域的大小是一个或几个当前编码块的大小。图6(b)是一个例。
在一实施方式中,所述参考区域由一个或几个与当前编码块同样形状和大小的区域组成,而所述参考区域的动态位置由对应的一个或几个区域移动矢量来表示。图6(b)是一个例。
在一实施方式中,根据参考区域的动态位置与大小对当前编码样值段的移动矢量进行编码时,把一组若干个当前编码样值段的移动矢量分解成一个主移动矢量和若干个从移动矢量。图6(b)是一个例。
在一实施方式中,根据参考区域的动态位置与大小对当前编码样值段的移动矢量进行编码时,所述参考区域由K(K≥1)个与当前编码块同样形状和大小的子参考区域组成,而K个所述子参考区域的动态位置分别由对应的K(K≥1)个子参考区域移动矢量来表示,将当前编码样值段的移动矢量分解成一个主移动矢量和一个从移动矢量,所述主移动矢量等于当前参考样值段所在子参考区域的子参考区域移动矢量。图6(b)是一个例。
在一实施方式中,所述参考区域大小信息存在于视频码流的视频参数集和/或序列参数集和/或图像参数集和/或条带头和/或CTU头和/或CU头和/或编解码块头的一处或若干处。
在一实施方式中,所述参考区域位置与大小信息存在于视频码流的视频参数集和/或序列参数集和/或图像参数集和/或条带头和/或CTU头和/或CU头和/或编解码块头的一处或若干处。
图7(a)为本发明实施例的图像解码方法的流程示意图三,如图所示,所述流程中:
解析视频码流,至少获取参考区域大小信息和复制参数信息,采用至少包括下列功能和操作的复制方式进行解码:从参考区域的大小获取当前解码样值段的复制参数的动态界限,根据所述动态界限对所述复制参数进行解码。
图7(b)为本发明实施例的图像解码方法的流程示意图四,如图所示,所述流程中:
解析视频码流,至少获取参考区域位置与大小信息和复制参数信息,采用至少包括下列功能和操作的复制方式进行解码:根据参考区域的动态位置与大小对当前解码样值段的复制参数进行解码。
在一实施方式中,所述复制参数是移动矢量。图6是一个例。
在一实施方式中,所述参考区域是当前CTU以及邻近的若干CTU,从而参考区域大小是当前CTU以及邻近的若干CTU的大小。图6(a)是一个例。
在一实施方式中,所述复制参数的动态界限是移动矢量的动态上限、动态下限、动态左限、动态右限。图6(a)是一个例。
在一实施方式中,根据所述动态界限对复制参数进行具有与所述动态界限对应的截断值的二值化和熵解码。
在一实施方式中,根据所述动态界限对复制参数进行具有与所述动态界限对应的截断值的截断k阶指数哥伦布码二值化和熵解码,其中k≥0。
在一实施方式中,所述截断k阶指数哥伦布码是其前缀和/或其后缀具有截断值的k阶指数哥伦布码。
在一实施方式中,所述参考区域的动态位置由一个或几个区域移动矢量来表示。图6(b)中的主移动矢量是一个例。
在一实施方式中,所述参考区域的动态位置由一个或几个区域移动矢量来表示,而所述参考区域的大小是一个或几个当前解码块的大小。图6(b)是一个例。
在一实施方式中,所述参考区域由一个或几个与当前解码块同样形状和大小的区域组成,而所述参考区域的动态位置由对应的一个或几个区域移动矢量来表示。图6(b)是一个例。
在一实施方式中,根据参考区域的动态位置与大小对当前解码样值段的移动矢量进行解码时,把一组若干个当前解码样值段的移动矢量分解成一个主移动矢量和若干个从移动矢量。图6(b)是一个例。
在一实施方式中,根据参考区域的动态位置与大小对当前解码样值段的移动矢量进行解码时,所述参考区域由K(K≥1)个与当前解码块同样形状和大小的子参考区域组成,而K个所述子参考区域的动态位置分别由对应的K(K≥1)个子参考区域移动矢量来表示,将当前解码样值段的移动矢量分解成一个主移动矢量和一个从移动矢量,所述主移动矢量等于当前参考样值段所在子参考区域的子参考区域移动矢量。图6(b)是一个例。
在一实施方式中,所述参考区域大小信息存在于视频码流的视频参数集和/或序列参数集和/或图像参数集和/或条带头和/或CTU头和/或CU头和/或编解码块头的一处或若干处。
在一实施方式中,所述参考区域位置与大小信息存在于视频码流的视频参数集和/或序列参数集和/或图像参数集和/或条带头和/或CTU头和/或CU头和/或编解码块头的一处或若干处。
本发明适用于叠包格式图像的编码和解码。本发明也同样适用于分量平面格式图像的编码和解码。
图8为本发明实施例的图像处理设备的结构组成示意图一,所述图像处理设备能够对图像进行编码,如图8所示,所述图像处理设备包括:
第一获取单元81,用于依据参考区域的大小,获取当前编码样值段的复制参数的动态界限;
编码单元82,用于根据所述动态界限对所述复制参数进行编码;
生成单元83,用于生成包括参考区域大小信息和复制参数信息的视频码流。
本领域技术人员应当理解,图8所示的图像处理设备中的各单元的实现功能可参照前述图像编码方法的相关描述而理解。图8所示的图像处理设备中的各单元的功能可通过运行于处理器上的程序而实现,也可通过具体的逻辑电路而实现。
在实际应用中,所述图像处理设备中的各个单元所实现的功能,均可由位于图像处理设备中的中央处理器(Central Processing Unit,CPU)、或微处理器(Micro Processor Unit,MPU)、或数字信号处理器(Digital Signal Processor,DSP)、或现场可编程门阵列(Field Programmable Gate Array,FPGA)等实现。
图9为本发明实施例的图像处理设备的结构组成示意图二,所述图像处理设备能够对图像进行解码,如图9所示,所述图像处理设备包括:
解析单元91,用于解析视频码流,获取解码样值段的复制参数的动态界限;
解码单元92,用于根据所述动态界限对所述复制参数进行解码。
本领域技术人员应当理解,图9所示的图像处理设备中的各单元的实现功能可参照前述图像解码方法的相关描述而理解。图9所示的图像处理设备中的各单元的功能可通过运行于处理器上的程序而实现,也可通过具体的逻辑电路而实现。
在实际应用中,所述图像处理设备中的各个单元所实现的功能,均可由位于图像处理设备中的中央处理器(Central Processing Unit,CPU)、或微处理器(Micro Processor Unit,MPU)、或数字信号处理器(Digital Signal Processor,DSP)、或现场可编程门阵列(Field Programmable Gate Array,FPGA)等实现。
图10为本发明实施例的图像处理设备的结构组成示意图三,所述图像处理设备能够对图像进行编码,如图10所示,所述图像处理设备包括:
编码单元1001,用于根据参考区域的动态位置与大小,对编码样值段的复制参数进行编码;
生成单元1002,用于生成包括参考区域位置与大小信息和复制参数信息的视频码流。
在实际应用中,所述图像处理设备中的各个单元所实现的功能,均可由位于图像处理设备中的中央处理器(Central Processing Unit,CPU)、或微处理器(Micro Processor Unit,MPU)、或数字信号处理器(Digital Signal Processor,DSP)、或现场可编程门阵列(Field Programmable Gate Array,FPGA)等实现。
图11为本发明实施例的图像处理设备的结构组成示意图四,所述图像处理设备能够对图像进行解码,如图11所示,所述图像处理设备包括:
解析单元1101,用于解析视频码流,至少获取参考区域位置及大小信息和复制参数信息;
解码单元1102,用于根据参考区域的动态位置与大小对当前解码样值段的复制参数进行解码。
在实际应用中,所述图像处理设备中的各个单元所实现的功能,均可由位于图像处理设备中的中央处理器(Central Processing Unit,CPU)、或微处理器(Micro Processor Unit,MPU)、或数字信号处理器(Digital Signal Processor,DSP)、或现场可编程门阵列(Field Programmable Gate Array,FPGA)等实现。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。

Claims (28)

1.一种图像编码方法,其特征在于,所述方法包括:
依据参考区域的大小,获取当前编码样值段的复制参数的动态界限;
根据所述动态界限对所述复制参数进行编码,生成包括参考区域大小信息和复制参数信息的视频码流。
2.根据权利要求1所述的图像编码方法,其特征在于,将参考区域大小信息和/或参考区域位置与大小信息和/或移动矢量的取值范围信息的编码比特写入所述视频码流的以下一处或多处:
视频参数集、序列参数集、图像参数集、条带头、编码树单元CTU头、编码单元CU头、编解码块头。
3.根据权利要求1所述的图像编码方法,其特征在于,所述复制参数是移动矢量。
4.根据权利要求1所述的图像编码方法,其特征在于,所述复制参数的动态界限是移动矢量的动态上限、动态下限、动态左限、动态右限中的一个、或多个或全部。
5.根据权利要求1所述的图像编码方法,其特征在于,所述方法还包括:
根据所述动态界限,对复制参数进行具有与所述动态界限对应的截断值的截断k阶指数哥伦布码二值化和熵编码,其中,k≥0。
6.一种图像解码方法,其特征在于,所述方法包括:
解析视频码流,获取解码样值段的复制参数的动态界限;
根据所述动态界限对所述复制参数进行解码。
7.根据权利要求6所述的图像解码方法,其特征在于,所述解析视频码流,获取解码样值段的复制参数的动态界限,包括:
解析所述视频码流,获取以下信息至少之一:参考区域大小信息、参考区域位置与大小信息、移动矢量的取值范围信息;
根据所获取的信息,确定所述解码样值段的复制参数的动态界限。
8.根据权利要求6所述的图像解码方法,其特征在于,在根据所述动态界限对所述复制参数进行解码之前,还包括:
解析码流,获取复制参数信息。
9.根据权利要求7所述的图像解码方法,其特征在于,解析所述视频码流中以下一处或多处对应码流,获得以下信息至少之一:参考区域大小信息、参考区域位置与大小信息、移动矢量的取值范围信息,包括:
视频参数集、序列参数集、图像参数集、条带头、CTU头、CU头、编解码块头。
10.根据权利要求6所述的图像解码方法,其特征在于,所述复制参数是移动矢量。
11.根据权利要求6所述的图像解码方法,其特征在于,所述复制参数的动态界限是移动矢量的动态上限、动态下限、动态左限、动态右限中的一个、或多个或全部。
12.根据权利要求6所述的图像解码方法,其特征在于,所述方法还包括:
根据所述动态界限,对复制参数进行具有与所述动态界限对应的截断值的截断k阶指数哥伦布码二值化和熵解码,其中,k≥0。
13.一种图像编码方法,其特征在于,所述方法包括:
根据参考区域的动态位置与大小,对编码样值段的复制参数进行编码;
生成包括参考区域位置与大小信息和复制参数信息的视频码流。
14.根据权利要求13所述的图像编码方法,其特征在于,将所述参考区域大小信息和/或参考区域位置与大小信息和/或移动矢量的取值范围信息的编码比特写入所述视频码流的以下一处或多处:
视频参数集、序列参数集、图像参数集、条带头、CTU头、CU头、编解码块头。
15.根据权利要求13所述的图像编码方法,其特征在于,所述复制参数是移动矢量。
16.根据权利要求13所述的图像编码方法,其特征在于,所述复制参数的动态界限是移动矢量的动态上限、动态下限、动态左限、动态右限中的一个、多个或全部。
17.根据权利要求13所述的图像编码方法,其特征在于,所述参考区域的动态位置由一个或多个区域移动矢量表示。
18.根据权利要求17所述的图像编码方法,其特征在于,根据参考区域的动态位置与大小对所述编码样值段的移动矢量进行编码时,所述参考区域由K个与所述编解码块同样形状和大小的子参考区域组成;其中,K≥1;
K个所述子参考区域的动态位置分别由对应的K个子参考区域移动矢量表示,将当前编解码样值段的移动矢量分解成一个主移动矢量和一个从移动矢量,其中,所述主移动矢量等于所述参考样值段所在子参考区域的子参考区域移动矢量。
19.一种图像解码方法,其特征在于,所述方法包括:
解析视频码流,至少获取参考区域位置及大小信息和复制参数信息;
根据参考区域的动态位置与大小对当前解码样值段的复制参数进行解码。
20.根据权利要求19所述的图像解码方法,其特征在于,解析所述视频码流中的以下一处或多处对应码流,获得以下信息至少之一:参考区域大小信息、参考区域位置与大小信息、移动矢量的取值范围信息,包括:
视频参数集、序列参数集、图像参数集、条带头、CTU头、CU头、编解码块头。
21.根据权利要求19所述的图像解码方法,其特征在于,所述复制参数是移动矢量。
22.根据权利要求19所述的图像解码方法,其特征在于,所述复制参数的动态界限是移动矢量的动态上限、动态下限、动态左限、动态右限中的一个、或多个或全部。
23.根据权利要求19所述的图像解码方法,其特征在于,所述参考区域的动态位置由一个或多个区域移动矢量表示。
24.根据权利要求23所述的图像解码方法,其特征在于,根据参考区域的动态位置与大小对当前解码样值段的移动矢量进行解码时,所述参考区域由K个与当前编解码块同样形状和大小的子参考区域组成;其中,K≥1;
K个所述子参考区域的动态位置分别由对应的K个子参考区域移动矢量表示,将当前编解码样值段的移动矢量分解成一个主移动矢量和一个从移动矢量,其中,所述主移动矢量等于当前参考样值段所在子参考区域的子参考区域移动矢量。
25.一种图像处理设备,其特征在于,所述设备包括:
第一获取单元,用于依据参考区域的大小,获取当前编码样值段的复制参数的动态界限;
编码单元,用于根据所述动态界限对所述复制参数进行编码;
生成单元,用于生成包括参考区域大小信息和复制参数信息的视频码流。
26.一种图像处理设备,其特征在于,所述设备包括:
解析单元,用于解析视频码流,获取解码样值段的复制参数的动态界限;
解码单元,用于根据所述动态界限对所述复制参数进行解码。
27.一种图像处理设备,其特征在于,所述设备包括:
编码单元,用于根据参考区域的动态位置与大小,对编码样值段的复制参数进行编码;
生成单元,用于生成包括参考区域位置与大小信息和复制参数信息的视频码流。
28.一种图像处理设备,其特征在于,所述设备包括:
解析单元,用于解析视频码流,至少获取参考区域位置及大小信息和复制参数信息;
解码单元,用于根据参考区域的动态位置与大小对当前解码样值段的复制参数进行解码。
CN201610364479.6A 2015-06-14 2016-05-27 一种图像编码及解码方法、图像处理设备 Active CN106254878B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP16810930.4A EP3310056A1 (en) 2015-06-14 2016-06-06 Image coding and decoding methods, image processing device, and computer storage medium
EP21178252.9A EP3896976A1 (en) 2015-06-14 2016-06-06 Image coding and decoding methods, image processing device, and computer storage medium
US15/736,006 US11159818B2 (en) 2015-06-14 2016-06-06 Image coding and decoding methods, image processing device and computer storage medium
PCT/CN2016/085015 WO2016202189A1 (zh) 2015-06-14 2016-06-06 图像编码及解码方法、图像处理设备、计算机存储介质
US17/482,832 US11653019B2 (en) 2015-06-14 2021-09-23 Image coding and decoding methods, image processing device and computer storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510322825 2015-06-14
CN201510322825X 2015-06-14

Publications (2)

Publication Number Publication Date
CN106254878A true CN106254878A (zh) 2016-12-21
CN106254878B CN106254878B (zh) 2020-06-12

Family

ID=57626935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610364479.6A Active CN106254878B (zh) 2015-06-14 2016-05-27 一种图像编码及解码方法、图像处理设备

Country Status (3)

Country Link
US (2) US11159818B2 (zh)
EP (2) EP3896976A1 (zh)
CN (1) CN106254878B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150834A (zh) * 2019-06-28 2020-12-29 浙江宇视科技有限公司 信息发布方法、装置、设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3122322A1 (en) 2015-03-10 2016-09-15 Huawei Technologies Co., Ltd. Picture processing using an affine motion model and a motion vector 2-tuple
CN106254878B (zh) * 2015-06-14 2020-06-12 同济大学 一种图像编码及解码方法、图像处理设备
US11412264B2 (en) * 2019-09-24 2022-08-09 Qualcomm Incorporated Parameter set signaling for video coding

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007117711A2 (en) * 2006-04-07 2007-10-18 Microsoft Corporation Dynamic selection of motion estimation search ranges and extended motion vector ranges
CN101309405A (zh) * 2007-05-14 2008-11-19 华为技术有限公司 参考数据载入的方法及装置
CN102939757A (zh) * 2010-06-04 2013-02-20 索尼公司 图像处理装置和方法
WO2014205339A2 (en) * 2013-06-21 2014-12-24 Qualcomm Incorporated Intra prediction from a predictive block
US20150103915A1 (en) * 2013-10-11 2015-04-16 Sony Corporation Video coding system with search range and method of operation thereof
EP2981090A1 (en) * 2013-04-05 2016-02-03 Samsung Electronics Co., Ltd. Method for determining inter-prediction candidate for interlayer decoding and encoding method and apparatus

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3977716B2 (ja) 2002-09-20 2007-09-19 株式会社東芝 動画像符号化/復号化方法及び装置
US7899117B2 (en) 2004-05-26 2011-03-01 Panasonic Corporation Apparatus and method for encoding motion vector, and program and medium therefor
CN100584006C (zh) 2006-06-20 2010-01-20 中兴通讯股份有限公司 一种基于时间分辨率变换的视频转换处理方法
CN103647972B (zh) 2008-12-03 2017-04-12 日立麦克赛尔株式会社 运动图像解码方法和运动图像编码方法
KR101798079B1 (ko) 2010-05-10 2017-11-16 삼성전자주식회사 픽셀값의 차분을 이용하여 영상 프레임을 부호화하는 방법 및 이를 위한 장치
US9247266B2 (en) 2011-04-18 2016-01-26 Texas Instruments Incorporated Temporal motion data candidate derivation in video coding
WO2013156678A1 (en) * 2012-04-16 2013-10-24 Nokia Corporation An apparatus, a method and a computer program for video coding and decoding
US9584805B2 (en) 2012-06-08 2017-02-28 Qualcomm Incorporated Prediction mode information downsampling in enhanced layer coding
KR101967398B1 (ko) * 2013-07-09 2019-04-09 노키아 테크놀로지스 오와이 모션 정보를 시그널링하기 위한 구문을 수반하는 비디오 코딩을 위한 방법 및 장치
US9948915B2 (en) * 2013-07-24 2018-04-17 Qualcomm Incorporated Sub-PU motion prediction for texture and depth coding
CN104427338B (zh) * 2013-09-07 2019-11-05 上海天荷电子信息有限公司 一种使用块匹配的图像编码以及图像解码的方法和装置
US10327001B2 (en) * 2014-06-19 2019-06-18 Qualcomm Incorporated Systems and methods for intra-block copy
CN106254878B (zh) * 2015-06-14 2020-06-12 同济大学 一种图像编码及解码方法、图像处理设备
CN105187845B (zh) 2015-08-10 2018-07-03 珠海全志科技股份有限公司 视频数据解码装置及解码方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007117711A2 (en) * 2006-04-07 2007-10-18 Microsoft Corporation Dynamic selection of motion estimation search ranges and extended motion vector ranges
CN101309405A (zh) * 2007-05-14 2008-11-19 华为技术有限公司 参考数据载入的方法及装置
CN102939757A (zh) * 2010-06-04 2013-02-20 索尼公司 图像处理装置和方法
EP2981090A1 (en) * 2013-04-05 2016-02-03 Samsung Electronics Co., Ltd. Method for determining inter-prediction candidate for interlayer decoding and encoding method and apparatus
WO2014205339A2 (en) * 2013-06-21 2014-12-24 Qualcomm Incorporated Intra prediction from a predictive block
US20150103915A1 (en) * 2013-10-11 2015-04-16 Sony Corporation Video coding system with search range and method of operation thereof

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BIN LI等: "On Intra BC mode", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC)》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150834A (zh) * 2019-06-28 2020-12-29 浙江宇视科技有限公司 信息发布方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US20220014777A1 (en) 2022-01-13
EP3896976A1 (en) 2021-10-20
EP3310056A4 (en) 2018-04-18
US11159818B2 (en) 2021-10-26
US11653019B2 (en) 2023-05-16
EP3310056A1 (en) 2018-04-18
CN106254878B (zh) 2020-06-12
US20180184109A1 (en) 2018-06-28

Similar Documents

Publication Publication Date Title
CN111800641B (zh) 同模式采用不同种类重构像素的图像编码解码方法和装置
US10341651B2 (en) Image coding method, decoding method, coding device and decoding device
CN112383780B (zh) 点匹配参考集和索引来回扫描串匹配的编解码方法和装置
CN105491376B (zh) 图像编码、解码方法及装置
CN106254865A (zh) 一种图像编码及解码方法、图像处理设备
CN106254888B (zh) 一种图像编码及解码方法、图像处理设备
CN104853211A (zh) 使用多种形式的参考像素存储空间的图像压缩方法和装置
KR101946598B1 (ko) 이미지 코딩, 디코딩 방법 및 장치
CN113784124B (zh) 使用多种形状子块进行精细划分的块匹配编码和解码方法
CN105847842A (zh) 图像编码方法及装置、图像解码方法及装置
US11653019B2 (en) Image coding and decoding methods, image processing device and computer storage medium
CN104935945B (zh) 扩展参考像素样值集的图像编码或解码方法
CN104811731A (zh) 多层次子块匹配图像压缩方法
WO2016202189A1 (zh) 图像编码及解码方法、图像处理设备、计算机存储介质
CN105992003B (zh) 依据排序或频度对调色板颜色编号的图像压缩方法和装置
CN106303535A (zh) 参考像素取自不同程度重构像素的图像压缩方法和装置
CN106303534A (zh) 多种索引串与像素串融合复制方式的图像压缩方法和装置
CN104918050B (zh) 使用动态排列重组的参考像素样值集的图像编解码方法
WO2016197893A1 (zh) 图像编码及解码方法、图像处理设备、计算机存储介质
WO2016119746A1 (zh) 图像编码方法及装置、图像解码方法及装置
CN105828080A (zh) 图像编解码方法及装置
CN105828079B (zh) 图像处理方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant