CN109218729A - 视频编码方法、视频解码方法、视频编码器及视频解码器 - Google Patents

视频编码方法、视频解码方法、视频编码器及视频解码器 Download PDF

Info

Publication number
CN109218729A
CN109218729A CN201711433410.5A CN201711433410A CN109218729A CN 109218729 A CN109218729 A CN 109218729A CN 201711433410 A CN201711433410 A CN 201711433410A CN 109218729 A CN109218729 A CN 109218729A
Authority
CN
China
Prior art keywords
sub
block
blocks
prediction mode
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711433410.5A
Other languages
English (en)
Inventor
林敬杰
林俊隆
林柏翰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from TW106145208A external-priority patent/TW201907732A/zh
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN109218729A publication Critical patent/CN109218729A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Abstract

本发明提供一种视频编码方法、视频解码方法、视频编码器及视频解码器。视频编码方法包括：接收画面；将画面分割成多个区块；针对各个区块分别执行编码程序，编码程序包括：根据分割参数，将这些区块中的特定区块平均分割成多个相同尺寸的子区块；对这些子区块分别进行画面内预测，以搜寻这些子区块所对应的多个预测模式；根据这些预测模式对这些子区块进行索引编号，以产生索引地图；依据索引地图，产生索引编码信息；根据索引编码信息对特定区块进行编码，以产生对应的视频编码数据。

Description

视频编码方法、视频解码方法、视频编码器及视频解码器
技术领域
本发明涉及一种图像处理的方法及装置，且特别涉及一种视频编码方法、视频解码方法、视频编码器及视频解码器。
背景技术
近来，随着人们对于视频画面质量与尺寸的要求不断提升，如何提供支持高解析度、高帧率(frame rate)的视频编解码技术成为业界致力的议题之一。以虚拟现实视频图像(VR 360)的应用为例，为了提供使用者良好的沉浸式体验，对视频解析度的要求可能高达8K、16K、甚至32K以上，另外对帧率的要求也可能高达90帧/每秒(frame rate persecond，FPS)、甚至120帧/每秒。
传统的视频编码技术是将画面分割成多个区块进行编码。一般而言，可能对较单纯的画面背景采用较大尺寸的子区块进行编码以获得较佳的压缩率，并对包含较多画面细节的区域采用较小尺寸的子区块进行编码以获得较佳视频质量。
发明内容
本发明是关于一种视频编码方法、视频解码方法、视频编码器及视频解码器。根据本发明实施例，画面中的各个区块会被平均分割成尺寸相同的多个子区块。通过此方式，装置在对画面作编解码的过程中将不需额外记录或处理各个区块所对应的四叉树分割信息，故可减轻装置的运算负担。此外，每个区块中的子区块经画面内预测后会被索引编号，使得区块转换成一索引地图，索引地图可进一步被压缩成一索引编码信息供后续编解码处理，以提升编解码效能。
根据本发明的一方面，提出一种由包括处理器的电子装置实现的视频编码方法，其包括以下步骤：处理器接收画面；处理器将画面分割成多个区块；处理器针对各个区块分别执行编码程序，编码程序包括：根据分割参数，将这些区块中的特定区块平均分割成多个相同尺寸的子区块，分割参数决定特定区块的分割深度；对这些子区块分别进行画面内预测，以搜寻这些子区块所对应的多个预测模式；根据这些预测模式对这些子区块进行索引编号，以产生索引地图，索引地图包括用以表示这些预测模式的多个预测模式索引值；依据索引地图产生索引编码信息；根据索引编码信息对特定区块进行编码，以产生对应的视频编码数据。
根据本发明的另一方面，提出一种视频编码器。视频编码器包括存储器以及处理器。处理器耦接存储器，并经配置而用以：接收画面；将画面分割成多个区块；针对各个区块分别执行编码程序，编码程序包括：根据分割参数，将这些区块中的特定区块平均分割成多个相同尺寸的子区块，分割参数决定特定区块的分割深度；对这些子区块分别进行画面内预测，以搜寻这些子区块所对应的多个预测模式；根据这些预测模式对这些子区块进行索引编号，以产生索引地图，索引地图包括用以表示这些预测模式的多个预测模式索引值；依据索引地图产生索引编码信息；根据索引编码信息对特定区块进行编码，以产生对应的视频编码数据。
根据本发明的另一方面，提出一种由包括处理器的电子装置实现的视频解码方法，其包括以下步骤：接收对应区块的视频编码数据，其中区块被平均分割成多个相同尺寸的子区块；根据索引编码信息重建对应区块的索引地图，索引地图包括多个预测模式索引值，这些预测模式索引值分别对应这些子区块基于画面内预测所取得的多个预测模式；根据该索引地图的这些预测模式索引值以及这些预测模式索引值所对应的这些子区块基于该画面内预测所取得的这些预测模式，重建这些子区块中的各个像素值。
根据本发明的另一方面，提出一种视频解码器。视频解码器包括存储器以及处理器。处理器耦接存储器，并经配置而用以：接收对应区块的视频编码数据，其中区块被平均分割成多个相同尺寸的子区块；根据索引编码信息重建对应区块的索引地图，索引地图包括多个预测模式索引值，这些预测模式索引值分别对应这些子区块基于画面内预测所取得的多个预测模式；根据该索引地图的这些预测模式索引值以及这些预测模式索引值所对应的这些子区块基于该画面内预测所取得的这些预测模式，重建这些子区块中的各个像素值。
为了对本发明的上述及其他方面有更佳的了解，下文特举实施例，并配合附图详细说明如下：
附图说明
图1绘示依照本发明一实施例的视频编码器的范例方块图。
图2绘示依照本发明一实施例的视频编码方法的范例流程图。
图3绘示将画面的区块平均分割成相同尺寸的子区块的示意图。
图4绘示根据本发明一实施例的决定分割参数的范例流程图。
图5绘示根据图4的流程决定分割参数的示意图。
图6绘示根据本发明另一实施例的决定分割参数的范例流程图。
图7A～图7C绘示根据图6的流程决定分割参数的示意图。
图8绘示对区块中的一子区块进行画面内预测的示意图。
图9A绘示对一区块中的子区块进行索引编码后所产生的索引地图的示意图。
图9B绘示不同预测角度与预测模式索引值的对应图。
图10绘示对索引地图中的预测模式索引值进行调整以产生调整后索引地图的示意图。
图11A～图11E绘示对索引地图的多个范例扫描态样。
图12绘示依据本发明一实施例的视频解码器的范例方块图。
图13绘示依据本发明一实施例的视频解码方法的范例流程图。
【符号说明】
100：视频编码器
102：画面分割模块
104：预测模块
106：转换模块
108：量化模块
110：熵编码模块
112：逆量化模块
114：逆转换模块
IM：画面
BS：视频编码数据
S202、S204、S206、S208、S210、S212、S402、S404、S406、S602、S604、S1302、S1304、S1306：步骤
BL：区块
SB、SBa、SBb、SBc、SBt：子区块
PR1、PR2：像素列
MP、MP’：索引地图
1200：视频解码器
1202：接收模块
1204：解码模块
DE：视频解码数据
具体实施方式
本发明提出一种视频编码方法、视频解码方法、视频编码器及视频解码器。视频编码可对视频数据进行压缩，以降低数据传输量的技术。视频解码可对压缩后的视频数据进行解压缩，以还原压缩前的视频数据。
本发明的视频编码方法以及视频解码方法可由电子装置来实施。电子装置例如包括存储器以及处理器。存储器用以存储可供处理器取得或执行的程序、指令、数据或文件。处理器耦接存储器，其经配置后可执行本发明实施例的视频编码方法及视频解码方法。处理器可例如被实施为微控制单元(microcontroller)、微处理器(microprocessor)、数字信号处理器(digital signal processor)、特殊应用集成电路(application specificintegrated circuit，ASIC)、数字逻辑电路、现场可编程逻辑门阵列(field programmablegate array，FPGA)、或其它具有运算处理功能的硬件元件。
本发明的视频编码方法以及视频解码方法也可实作为一或多个软件程序，此一或多个软件程序可存储于非暂态计算机可读取存储介质(non-transitory computerreadable storage medium)，例如硬盘、光盘、随身碟、存储器，当处理器从非暂态计算机可读取存储介质载入软件程序时，可执行本发明的视频编码方法以及视频解码方法。本领域技术人员应了解到，在本发明实施例中所提及的方法步骤，除特别叙明其顺序者外，均可依实际需要调整其前后顺序，甚至可同时或部分同时执行。
另一方面，根据本发明实施例，用以执行视频编码方法的电子装置可视为一视频编码器，而用以执行视频解码方法的电子装置可视为一视频解码器。视频编码器与视频解码器可能分别设置在图像提供端以及图像接收端，也可能整合在同一设备当中。视频编码器连同视频解码器可视为一视频编解码(video codec)系统或设备，或是作为其中的一部分。
图1绘示依照本发明一实施例的视频编码器100的范例方块图。视频编码器100包括画面分割模块102、预测模块104、转换模块106、量化模块108、熵编码模块110、逆量化模块112以及逆转换模块114。该等模块可以软件(如程序、文件、数据)、硬件(如逻辑电路)或其结合的方式实现于视频编码器100中的处理器，并经处理器操作以实现本发明实施例的视频编码方法。
画面分割模块102可接收画面IM，并将画面IM分割成多个区块。画面IM例如是一视频画面串列中的其中一帧画面。区块例如是一最大编码单元(largest coding unit，LCU)，或被称为编码树单元(coding tree unit，CTU)。每一个区块具有以L×L矩阵形式排列的多个像素，其中L为正整数。
视频编码器100可以区块为单位对画面IM中的每个区块作一编码程序，以产生对应的视频编码数据BS。所述的编码程序可例如通过预测模块104、转换模块106、量化模块108、熵编码模块110、逆量化模块112以及逆转换模块114的协作来实现。
预测模块104可将区块平均分割成相同尺寸的多个子区块，并对各个子区块作画面内预测(intra prediction)，以针对每个子区块搜寻合适的预测模式。预测模块104可根据搜寻到的预测模式对区块中的子区块进行索引编码，以产生索引地图，并将索引地图压缩成索引编码信息供后续编码处理。
转换模块106可根据索引编码信息对区块进行转换编码程序，以将区块转换成转换区块。转换编码程序可以是离散余弦转换(discrete cosine transform，DCT)或是其他转换算法。举例来说，转换模块106可先根据索引编码信息还原预测后的区块，并将该预测后的区块与画面IM中的原区块作比较以产生残值数据(residual data)，再对残值数据进行转换编码程序以产生转换后数据。
残值数据可被呈现为转换单元(transform unit)作处理。在一实施例中，转换单元与子区块具有相同尺寸，也就是说，转换模块106在执行转换编码程序的过程中，可不对子区块作进一步分割。
量化模块108可根据预设的量化步阶(quantization step)对转换后数据进行量化处理，以产生量化后数据并提供至熵编码模块110。
熵编码模块110可对量化后数据进行熵编码处理以产生视频编码数据BS。熵编码处理可例如是基于语法的自适应二进制算数编码(syntax-based context adaptivebinary arithmetic coding，SBAC)、自适应二进制算数编码(context adaptive binaryarithmetic coding，CABAC)、自适应变动长度编码(context adaptive variable lengthcoding)、或其它合适的熵编码技术。
逆量化模块112以及逆转换模块114可将被转换至频域的残值数据分别作逆量化及逆转换处理，以重建像素值域的数据。重建后的数据可被提供至预测模块104以进行预测。所述的逆量化及逆转换处理可分别是转换模块106及量化模块108的逆处理，其可由目前视频编码器或视频解码器中所采用的逆量化及逆转换技术来实现。
图2绘示依照本发明一实施例的视频编码方法的范例流程图。所述的编码程序可例如由图1的视频编码器100来实现，或是由包含处理器的电子装置来实施。
在步骤S202，画面分割模块102接收画面IM，并将画面IM分割成多个区块。
在步骤S204，预测模块104根据分割参数，将多个区块中的一特定区块平均分割成多个相同尺寸的子区块，其中分割参数决定特定区块的分割深度。
在一实施例中，分割参数可表示特定区块的分割深度(depth of partition)。举例来说，当分割深度＝1，表示将特定区块分割成1×1个子区块；当分割深度＝2，表示将特定区块分割成2×2个子区块；当分割深度＝K，表示将特定区块平均分割成K×K个子区块，以此类推。又一实施例中，当分割深度＝n，表示以m的n次方对特定区块作切割，其中m、n为正整数。举例来说，若m＝2，则当分割深度＝2，表示将一特定区块分割成4×4个子区块。
在一实施例中，分割参数可根据基准值与选定深度值之间的差值决定，其中选定深度值表示对特定区块作平均分割的分割深度。在此实施例中，分割参数(δ)可例如表示如下：
δ＝Bdv-Rdv (式一)
其中Bdv为基准值，Rdv为选定深度值。举例来说，可预先设定Bdv＝2，此时若需将特定区块平均分割成3×3个子区块，也就是Rdv＝3，分割参数(δ)只需以1表示即可，进而减少传输分割参数所需的数据量。
在一实施例中，分割参数可包含于一画面参数组(picture parameter set)或一切片标头(slice header)。
在步骤S206，预测模块104对特定区块中的各个子区块分别进行画面内预测(intra prediction)，以搜寻各个子区块所对应的预测模式。
画面内预测例如包括将一子区块的邻近像素选为预测子(predictor)，并将预测子以不同的预测模式进行内插(或其他数值预测算法)，以预测子区块的像素内容。预测模块104可根据子区块在不同预测模式下的效能，自多个预测模式中选择对子区块最佳的预测模式。不同的预测模式例如对应不同的预测角度，预测模式的数量可根据所采用的视频编码协议而有所不同。
在步骤S208，预测模块104根据预测模式对子区块进行索引编号，以产生索引地图。索引地图包括用以表示预测模式的预测模式索引值。举例来说，若一特定区块包括3×3个子区块，则每个子区块皆会被赋予一索引编号以表示相应的预测模式。因此，该特定区块将被转换成包括3×3(＝9)个预测模式索引值的一张索引地图。
在步骤S210，预测模块104根据索引地图产生索引编码信息。举例来说，预测模块104可例如将索引地图视为一编码簿(code book)，并利用压缩编码簿的方法对索引地图进行压缩，以产生索引编码信息。
在一实施例中，预测模块104可先对索引地图中的预测模式索引值进行调整，再对索引地图进行压缩，以提升整体的压缩比。相关细节将在之后配合图10作说明。
在步骤S212，视频编码器100根据索引编码信息对特定区块进行编码，以产生对应的视频编码数据。举例来说，转换模块106可先根据索引编码信息还原预测后的区块，并将该预测后的区块与原区块作比较以产生残值数据，再对残值数据进行转换编码程序以产生转换后数据。之后，再通过量化模块108以及熵编码模块110的处理，即可产生相应于被编码的特定区块的视频编码数据。
图3绘示将画面IM的区块BL平均分割成相同尺寸的多个子区块SB的示意图。
在图3的范例中，待编码的画面IM被视频编码器100中的画面分割模块102分割成4×4个区块BL，其中每个区块BL例如代表一个LCU。针对待处理的某一区块BL，预测模块104可根据分割参数将其分割成8×8个相同尺寸的子区块SB作处理。预测模块104并不需视画面内容或其他条件将LCU分割成大小不等的子区块，故可省去记录或维持四叉树分割或其他非均匀分割方式的分割信息，进而降低编解码过程中所需处理的数据量。
应注意的是，虽然图3是以4×4个区块BL以及8×8个子区块SB作为范例，但此并非用以限制本发明。根据本发明实施例，区块BL以及子区块SB的数量皆可以是任意的，端看视频的应用而定。
图4绘示根据本发明一实施例的决定分割参数的范例流程图。根据此实施例，视频编码器100可先运算画面局部的一或多个区块在不同候选分割参数下作分割所分别对应的编码成本函数值，再从中选择对应最低编码成本的候选分割参数作为画面IM的分割参数。
如图4所示，在步骤S402，视频编码器100自多个区块中，选取位于画面局部的一或多个区块。在一实施例中，所述的画面局部例如是指画面的左上角区域或中心区域。
在步骤S404，视频编码器100基于不同的候选分割参数，对位于该画面局部的一或多个区块分别进行平均分割，以取得对应这些候选分割参数的多个编码成本函数值。不同的候选分割参数对应不同的分割深度。编码成本函数例如是位率失真优化(rate-distortion optimization，RDO)成本函数、绝对差值和(sum of absolute difference，SAD)成本函数、绝对转换后差值和(sum of absolute transformed difference，SATD)成本函数等。
在步骤S406，视频编码器100根据这些编码成本函数值，自这些候选分割参数挑选其一，以作为分割参数。举例来说，视频编码器100可选择对应最低编码成本的候选分割参数作为画面IM的分割参数。
图5绘示根据图4的流程决定分割参数的示意图。在图5的范例中，视频编码器100可根据三种不同的候选分割参数P1、P2、P3，将位于画面IM左上角的区块BL分别切割成2×2个子区块、3×3个子区块、以及4×4个子区块。
视频编码器100可分别针对这些候选分割参数P1、P2、P3计算对应的编码成本函数值，并挑选对应最小编码成本函数值的候选分割参数来作为画面IM的分割参数。
举例来说，若视频编码器100判断出当区块BL以候选分割参数P2进行分割后作编码所产生的RDO函数值最小，则可选择以候选分割参数P2作为画面IM的分割参数。
虽然图5的范例是对画面IM左上角的区块BL采用不同的候选分割参数进行分割以决定整张画面IM的分割参数，但本发明并不限于此。在一些实施例中，可针对画面IM中的一或多个区域的一或多个区块采用不同的候选分割参数进行分割，以决定分割参数的值。
图6绘示根据本发明另一实施例的决定分割参数的范例流程图。根据此实施例，视频编码器100可先运算画面IM中所有区块BL在不同候选分割参数下作分割后所分别对应的编码成本函数值，再从中选择对应最低编码成本的候选分割参数作为分割参数。
如图6所示，在步骤S602，视频编码器100基于不同的候选分割参数，对画面IM中的多个区块BL分别进行平均分割，以取得对应这些候选分割参数的多个编码成本函数值。
在步骤S604，视频编码器100根据这些编码成本函数值，自这些候选分割参数挑选其一作为分割参数。
图7A～图7C绘示根据图6的流程决定分割参数的示意图。在图7A的范例中，视频编码器100根据候选分割参数P1’将位于画面IM中的各个区块BL分别切割成2×2个子区块。在图7B的范例中，视频编码器100根据候选分割参数P2’将位于画面IM中的各个区块BL分别切割成3×3个子区块。在图7C的范例中，视频编码器100根据候选分割参数P3’将位于画面IM中的各个区块BL分别切割成4×4个子区块。
视频编码器100可分别针对候选分割参数P1’、P2’、P3’计算对画面IM作分割后进行编码所得到的编码成本函数值，并挑选对应最小编码成本函数值的候选分割参数来作为分割参数。
除了通过上述方式决定分割参数，在一实施例中，视频编码器100也可接收使用者操作参数，并根据使用者操作参数设定分割参数，以供使用者手动设定画面IM的分割参数。
上述多种决定分割参数的实施方式可以彼此结合。举例来说，针对一视频串流中的不同画面，视频编码器100可采用以下至少其一的方式来决定画面的分割参数：(1)以图4实施例的方式来决定分割参数、(2)以图6实施例的方式来决定分割参数、以及(3)根据使用者操作参数来决定分割参数。
举例来说，视频编码器100可针对视频串流中的部分画面采用图4的方式来决定其分割参数，并针对剩余的画面采用图5方式来决定其分割参数。
在产生某一画面IM的分割参数后，视频编码器100可将该分割参数套用至视频数据中的其他一或多个画面。举例来说，视频编码器100在针对视频画面串列中的第1张画面决定一对应的分割参数后，可将该分割参数套用至接续的第2张～第i张画面，以对这些画面中的区块采用相同的分割深度进行分割，其中i为大于1的正整数。视频编码器100也可针对第i+1张画面再次执行如图4或图6的流程，或是供使用者进行设定，以决定另一分割参数，并将其套用至第i+1张画面～第k张画面，以决定这些画面中区块的分割深度，其中k为大于i+1的正整数。视频编码器100也可对视频画面串列中的所有画面采用单一个分割参数，或是根据视频数据的类型或需求(如延迟要求、画质要求等)而采取相应的分割参数。
图8绘示对区块BL中的一子区块SBt进行画面内预测的示意图。虽然图8的范例是以对角线方向对子区块作画面内预测，然此仅是作为说明之用，并非用以限制本发明。
在图8的范例中，视频编码器100的预测模块104在对子区块SBt作画面内预测时，以位于子区块SBt上方的邻近子区块SBa～SBc中的两列邻近像素列PR1、PR2中的像素作为预测子进行预测，其中像素列PR1为紧邻子区块SBt的上边缘的像素列，像素列PR2为紧邻像素列PR1的上边缘的像素列，像素列PR1、PR2分别包括多个像素。预测模块104可根据邻近像素列PR1、PR2中的像素沿着左下方向的内插结果，预测子区块SBt中像素的像素值。由于采用多个邻近像素列中的像素作为预测子，故可提升对子区块SBt作画面内预测的效能。
然应注意的是，本发明并不以上述范例为限。对一子区块作画面内预测时，也可将邻近于该子区块的一或多个像素列中的像素作为预测子。
图9A绘示对区块BL中的各个子区块SB进行索引编码后所产生的索引地图MP的示意图。在图9A的范例中，索引地图MP包括8×8个预测模式索引值，每个预测模式索引值皆对应一个子区块SB的预测模式，也就是对子区块SB执行画面内预测后所搜寻出的最佳预测角度。
图9B绘示不同预测角度(预测模式)与预测模式索引值的对应图。如图9B所示，每个预测角度皆对应一预测模式索引值(例如2～67)，另外预测模式索引值＝0例如表示估计整个区块的平均值的平均模式(DC mode)，而预测模式索引值＝1例如表示估计整个区块的渐层的渐层(planar mode)模式。预测角度相近者，其预测模式索引值亦相近。举例来说，在图9B的范例中，预测模式索引值＝2所对应的预测角度与预测模式索引值＝3所对应的预测角度相近。当知本公开并不以上述范例为限，预测模式索引值的数值大小、预测模式的数量等，皆可因所采用的视频编解码规格而有所调整。
图10绘示对索引地图MP中的预测模式索引值进行调整以产生调整后索引地图MP’的示意图。
根据本发明实施例，索引地图MP可视为编码簿进行压缩以产生索引编码信息。索引编码信息可包括复制模式符码以及跑字符码，更可进一步包括索引值符码。复制模式符码指示一复制方向。跑字符码是指示一特定数量，其中针对区块BL中的这些子区块SB中包含该特定数量的一组连续子区块集合，该组连续子区块集合中的每一个子区块所对应的预测模式索引值分别与位于该复制方向上的一邻接子区块所对应的预测模式索引值相同。索引值符码则是用以指示一特定子区块所对应的一特定预测模式索引值，该特定预测模式索引值与该组连续子区块集合中的各该子区块所对应的预测模式索引值相同。
为方便说明，索引地图MP中各个子区块的坐标位置以(X，Y)来描述，其中X为横轴坐标1～8，Y为纵轴坐标A～H。举例来说，位于(7，A)位置的子区块是指位于索引地图MP中第7行、第A列的子区块。根据索引地图MP，可知位于坐标(7，A)、(8，A)、(1，B)、(2，B)、(3，B)等位置的子区块的预测模式索引值皆等于23，且以一水平逐线扫描(raster scan)顺序来说，这些子区块为一组连续子区块集合，故针对此组数值，可将复制模式符码设为“copy leftmode flag”以表示复制方向为“向左”，并将索引值符码设为“mode index#23”以表示欲复制的预测模式索引值为“23”，并将跑字符码设为“run value(5)”以表示欲复制预测模式索引值的连续子区块集合包含“5个”子区块。也就是说，位于坐标(3，B)的子区块的预测模式索引值复制自位于其左方的坐标为(2，B)的子区块的预测模式索引值，而位于坐标(2，B)的子区块的预测模式索引值复制自位于其左方的坐标为(1，B)的子区块的预测模式索引值，以此类推。另外，针对非连续的预测模式索引值，例如针对坐标(2，A)的子区块，其跑字符码可设为“run value(0)”，索引值符码可设为“mode index#2”。
上述例子中，跑字符码所表示的子区块预测模式索引值的复制数量是从1开始起算，故“run value(5)”是表示欲复制的子区块集合包括5个子区块。然本公开并不限于此，在一实施例中，跑字符码所表示的子区块预测模式索引值的复制数量是从0开始起算，此时，当跑字符码设为“run value(4)”，才是表示欲复制预测模式索引值的连续子区块集合包含“5个”子区块。
在一实施例中，复制模式符码也可设为“copy above run mode flag”以表示复制方向为“向上”。举例来说，当复制模式符码设为“copy above run mode flag”，且跑字符码设为“run value(10)”，表示连续10个子区块的预测模式索引值皆是复制自其相邻上边缘的子区块的预测模式索引值。又一实施例中，若跑字符码所表示的子区块预测模式索引值的复制数量是从0开始起算，则当跑字符码设为“run value(9)”，才是表示连续10个子区块的预测模式索引值皆是复制自其相邻上边缘的子区块的预测模式索引值。
又一实施例中，当跑字符码被设定成一特定值，可用来指示一区块中的所有子区块的预测模式索引值皆相同。所述的特定值可例如(但非限定)为“0”。
通过上述方式，索引地图MP可被压缩成包含一或多个复制模式符码、一或多个跑字符码以及一或多个索引值符码的索引编码信息，藉此减低记录、传输索引地图MP所需的数据量。
在一实施例中，预测模块104可对索引地图MP中的预测模式索引值作微调，以进一步提升对索引地图MP的压缩比。进一步说，假若一区块BL中的多个子区块SB包括一第一子区块以及邻接第一子区块的一第二子区块，且第一子区块对应于第一预测模式索引值，第二子区块对应于第二预测模式索引值，则预测模块104可判断第一预测模式索引值与第二预测模式索引值之间的一差值是否落在一容许范围内，并在判断出该差值落在容许范围内之后，将第一预测模式索引值替换成第二预测模式索引值。在一实施例中，第二子区块例如邻接于第一子区块的上边缘或左边缘。
以图10为范例，假设所述的容许范围(Δ)为-1Δ1，在索引地图MP中，由于位于坐标(4，C)、(5，C)、(6，C)的子区块的预测模式索引值分别为“64”、“20”、“46”，这些预测模式索引值与位于坐标(4，B)、(5，B)、(6，B)的子区块的预测模式索引值“65”、“21”、“45”皆仅相差1，此差值落在容许范围内，故预测模块104可将位置(4，C)、(5，C)、以及(6，C)的子区块的预测模式索引值分别替换成“65”、“21”、“45”，以产生索引地图MP’。
根据索引地图MP’，由于位于坐标(7，B)、(8，B)、以及(1，C)～(8，C)的子区块的预测模式索引值分别与自身上方相邻的子区块的预测模式索引值相同，故位置(7，B)、(8，B)、以及(1，C)～(8，C)的子区块的预测模式索引值可以复制模式符码＝“copy above runmode flag”以及跑字符码＝“run value(10)”作描述，进而提升的压缩效率。
图11A～图11D绘示对索引地图MP的范例扫描态样。所述的扫描态样指的是预测模块104在对索引地图MP进行压缩时所采用的特定扫描顺序。不同的扫描顺序可定义出的不同的连续子区块集合，进而在压缩时产生相应的模式符码、跑字符码以及索引值符码来描述索引地图MP。
如图11A所示，其绘示对索引地图MP采取的一种水平蛇行扫描(snake scanorder)态样。又如图11B所示，其绘示对索引地图MP采取的一种垂直蛇行扫描态样。又如图11C所示，其绘示对索引地图MP采取的一种水平逐线扫描态样。又如图11D所示，其绘示对索引地图MP采取的一种垂直逐线扫描态样。又如图11E所示，其绘示对索引地图MP采取的一种对角线扫描态样。
应注意的是，上述实施例并非穷举的或限制性的。在一些应用中，对该等实施例中的一或多个进行适当的结合、修饰皆是允许的。
图12绘示依据本发明一实施例的视频解码器1200的范例方块图。视频解码器1200包括接收模块1202以及解码模块1204。接收模块1102用以接收视频编码数据BS。解码模块1104用以将视频编码数据BS重建为对应的视频解码数据DE。
接收模块1102以及解码模块1104可以软件(如程序、文件、数据)、硬件(如逻辑电路)或其结合的方式实现于视频解码器1200中的处理器，并经处理器操作以实现本发明实施例的视频解码方法。
图13绘示依据本发明一实施例的视频解码方法的范例流程图。所述的视频解码方法可例如由图12的视频解码器1200来实现，或是由包含处理器的电子装置来实施。
在步骤S1302，接收模块1102接收对应一区块的视频编码数据BS，其中区块被平均分割成多个相同尺寸的子区块。
在步骤S1304，解码模块1104根据索引编码信息重建对应于区块的索引地图。索引地图包括多个预测模式索引值，这些预测模式索引值分别对应这些子区块基于画面内预测所取得的多个预测模式。索引编码信息可例如夹带于视频编码数据BS，也可以独立讯息的形式进行传递。解码模块1104更可自画面参数组或切片标头取得区块的分割参数。
在步骤S1306，解码模块1104根据该索引地图的这些预测模式索引值以及这些预测模式索引值所对应的这些子区块基于该画面内预测所取得的这些预测模式，重建这些子区块中的各个像素值。由于索引地图记录着各个子区块所对应的预测模式索引值，故解码模块1104可根据这些预测模式索引值所代表的预测模式，重建出各个子区块的像素值。
综上所述，本发明提出一种视频编码方法、视频解码方法、视频编码器及视频解码器。根据本发明实施例，画面中的各个区块会被平均分割成尺寸相同的多个子区块。通过此方式，装置在对画面作编解码的过程中将不需额外记录或处理各个区块所对应的四叉树分割信息，故可减轻装置的运算负担。此外，每个区块中的子区块经画面内预测后会被索引编号，使得区块转换成一索引地图，索引地图可进一步被压缩成一索引编码信息供后续编解码处理，以提升编解码效能。
虽然本发明已以实施例公开如上，然其并非用以限定本发明。本发明所属领域技术人员在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视所附权利要求书界定范围为准。

Claims (28)

1.一种视频编码方法，由包括处理器的电子装置实现，该视频编码方法包括：
该处理器接收画面；
该处理器将该画面分割成多个区块；以及
该处理器针对各该区块分别执行编码程序，该编码程序包括：
根据分割参数，将这些区块中的特定区块平均分割成多个相同尺寸的子区块，该分割参数决定该特定区块的分割深度；
对这些子区块分别进行画面内预测，以搜寻这些子区块所对应的多个预测模式；
根据这些预测模式对这些子区块进行索引编号，以产生索引地图，该索引地图包括用以表示这些预测模式的多个预测模式索引值；
依据该索引地图，产生索引编码信息；以及
根据该索引编码信息对该特定区块进行编码，以产生对应的视频编码数据。
2.如权利要求1所述的视频编码方法，还包括：
该处理器自这些区块中，选取位于该画面的画面局部的一或多个区块；
该处理器基于不同的候选分割参数，对位于该画面局部的该一或多个区块分别进行平均分割，以取得对应这些候选分割参数的多个编码成本函数值；以及
该处理器根据这些编码成本函数值，自这些候选分割参数挑选其一作为该分割参数。
3.如权利要求1所述的视频编码方法，还包括：
该处理器基于不同的候选分割参数，对该画面中的这些区块分别进行平均分割，以取得对应这些候选分割参数的多个编码成本函数值；以及
该处理器根据这些编码成本函数值，自这些候选分割参数挑选其一作为该分割参数。
4.如权利要求1所述的视频编码方法，还包括：
该处理器接收使用者操作参数；以及
该处理器根据该使用者操作参数设定该分割参数。
5.如权利要求1所述的视频编码方法，其中该分割参数包含于画面参数组或切片标头。
6.如权利要求1所述的视频编码方法，其中该分割参数根据基准值与选定深度值之间的差值决定，其中该选定深度值表示对该特定区块作平均分割的分割深度。
7.如权利要求1所述的视频编码方法，其中这些子区块包括第一子区块以及邻接该第一子区块的第二子区块，该第一子区块对应于这些预测模式索引值中的第一预测模式索引值，该第二子区块对应于这些预测模式索引值中的第二预测模式索引值，该视频编码方法还包括：
该处理器判断该第一预测模式索引值与该第二预测模式索引值之间的差值是否落在容许范围内；以及
当该差值落在该容许范围内，该处理器将该第一预测模式索引值替换成该第二预测模式索引值。
8.如权利要求7所述的视频编码方法，其中该第二子区块邻接于该第一子区块的上边缘或左边缘。
9.如权利要求1所述的视频编码方法，其中该索引编码信息包括：
复制模式符码，指示复制方向；以及
跑字符码，指示特定数量，其中针对这些子区块中包含该特定数量的一组连续子区块集合，该组连续子区块集合中的每一个子区块所对应的预测模式索引值分别与位于该复制方向上的邻接子区块所对应的预测模式索引值相同。
10.如权利要求9所述的视频编码方法，其中该索引编码信息还包括：
索引值符码，用以指示特定子区块所对应的特定预测模式索引值，该特定预测模式索引值与该组连续子区块集合中的各该子区块所对应的预测模式索引值相同。
11.一种视频编码器，包括：
存储器；以及
处理器，耦接该存储器，并经配置而用以：
接收画面；
将该画面分割成多个区块；以及
针对各该区块分别执行编码程序，该编码程序包括：
根据分割参数，将这些区块中的特定区块平均分割成多个相同尺寸的子区块，该分割参数决定该特定区块的分割深度；
对这些子区块分别进行画面内预测，以搜寻这些子区块所对应的多个预测模式；
根据这些预测模式对这些子区块进行索引编号，以产生索引地图，该索引地图包括用以表示这些预测模式的多个预测模式索引值；
依据该索引地图，产生索引编码信息；以及
根据该索引编码信息对该特定区块进行编码，以产生对应的视频编码数据。
12.如权利要求11所述的视频编码器，其中该处理器还用以：
自这些区块中，选取位于该画面的画面局部的一或多个区块；
基于不同的候选分割参数，对位于该画面局部的该一或多个区块分别进行平均分割，以取得对应这些候选分割参数的多个编码成本函数值；以及
根据这些编码成本函数值，自这些候选分割参数挑选其一作为该分割参数。
13.如权利要求11所述的视频编码器，其中该处理器还用以：
基于不同的候选分割参数，对该画面中的这些区块分别进行平均分割，以取得对应这些候选分割参数的多个编码成本函数值；以及
根据这些编码成本函数值，自这些候选分割参数挑选其一作为该分割参数。
14.如权利要求11所述的视频编码器，其中该处理器还用以：
接收使用者操作参数；以及
根据该使用者操作参数设定该分割参数。
15.如权利要求11所述的视频编码方法，其中该分割参数包含于画面参数组或切片标头。
16.如权利要求11所述的视频编码器，其中该分割参数根据基准值与选定深度值之间的差值决定，其中该选定深度值表示对该特定区块作平均分割的分割深度。
17.如权利要求11所述的视频编码器，其中这些子区块包括第一子区块以及邻接该第一子区块的第二子区块，该第一子区块对应于这些预测模式索引值中的第一预测模式索引值，该第二子区块对应于这些预测模式索引值中的第二预测模式索引值，该处理器还用以：
判断该第一预测模式索引值与该第二预测模式索引值之间的差值是否落在容许范围内；以及
当该差值落在该容许范围内，将该第一预测模式索引值替换成该第二预测模式索引值。
18.如权利要求17所述的视频编码器，其中该第二子区块邻接于该第一子区块的上边缘或左边缘。
19.如权利要求11所述的视频编码器，其中该索引编码信息包括：
复制模式符码，指示复制方向；以及
跑字符码，指示特定数量，其中针对这些子区块中包含该特定数量的一组连续子区块集合，该组连续子区块集合中的每一个子区块所对应的预测模式索引值分别与位于该复制方向上的对应邻接子区块所对应的预测模式索引值相同。
20.如权利要求19所述的视频编码器，其中该索引编码信息还包括：
索引值符码，用以指示这些子区块中的特定子区块所对应的特定预测模式索引值，该组连续子区块集合中的各该子区块所对应的各该预测模式索引值皆等同于该特定预测模式索引值。
21.一种视频解码方法，由包括处理器的电子装置实现，该视频解码方法包括：
接收对应区块的视频编码数据，其中该区块被平均分割成多个相同尺寸的子区块；
根据索引编码信息重建对应该区块的索引地图，该索引地图包括多个预测模式索引值，这些预测模式索引值分别对应这些子区块基于画面内预测所取得的多个预测模式；
根据该索引地图的这些预测模式索引值以及这些预测模式索引值所对应的这些子区块基于该画面内预测所取得的这些预测模式，重建这些子区块中的各个像素值。
22.如权利要求21所述的视频解码方法，还包括：
自画面参数组或切片标头取得分割参数，该分割参数决定该区块的分割深度。
23.如权利要求21所述的视频解码方法，其中该索引编码信息包括：
复制模式符码，指示复制方向；以及
跑字符码，指示特定数量，其中针对这些子区块中包含该特定数量的一组连续子区块集合，该组连续子区块集合中的每一个子区块所对应的预测模式索引值分别与位于该复制方向上的对应邻接子区块所对应的预测模式索引值相同。
24.如权利要求23所述的视频解码方法，其中该索引编码信息还包括：
索引值符码，用以指示这些子区块中的特定子区块所对应的特定预测模式索引值，该组连续子区块集合中的各该子区块所对应的各该预测模式索引值皆等同于该特定预测模式索引值。
25.一种视频解码器，包括：
存储器；以及
处理器，耦接该存储器，并经配置而用以：
接收对应区块的视频编码数据，其中该区块被平均分割成多个相同尺寸的子区块；
根据索引编码信息重建对应该区块的索引地图，该索引地图包括多个预测模式索引值，这些预测模式索引值分别对应这些子区块基于画面内预测所取得的多个预测模式；以及
根据该索引地图的这些预测模式索引值以及这些预测模式索引值所对应的这些子区块基于该画面内预测所取得的这些预测模式，重建这些子区块中的各个像素值。
26.如权利要求25所述的视频解码器，其中该处理器还用以：
自画面参数组或切片标头取得分割参数，该分割参数决定该区块的分割深度。
27.如权利要求25所述的视频解码器，其中该索引编码信息包括：
复制模式符码，指示复制方向；以及
跑字符码，指示特定数量，其中针对这些子区块中包含该特定数量的一组连续子区块集合，该组连续子区块集合中的每一个子区块所对应的预测模式索引值分别与位于该复制方向上的对应邻接子区块所对应的预测模式索引值相同。
28.如权利要求27所述的视频解码器，其中该索引编码信息还包括：
索引值符码，用以指示这些子区块中的特定子区块所对应的特定预测模式索引值，该组连续子区块集合中的各该子区块所对应的各该预测模式索引值皆等同于该特定预测模式索引值。
CN201711433410.5A 2017-07-05 2017-12-26 视频编码方法、视频解码方法、视频编码器及视频解码器 Pending CN109218729A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762528546P 2017-07-05 2017-07-05
US62/528,546 2017-07-05
TW106145208A TW201907732A (zh) 2017-07-05 2017-12-22 視訊編碼方法、視訊解碼方法、視訊編碼器及視訊解碼器
TW106145208 2017-12-22

Publications (1)

Publication Number Publication Date
CN109218729A true CN109218729A (zh) 2019-01-15

Family

ID=64990505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711433410.5A Pending CN109218729A (zh) 2017-07-05 2017-12-26 视频编码方法、视频解码方法、视频编码器及视频解码器

Country Status (1)

Country Link
CN (1) CN109218729A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114071189A (zh) * 2020-08-03 2022-02-18 纬创资通股份有限公司 视频处理装置及视频串流的处理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114071189A (zh) * 2020-08-03 2022-02-18 纬创资通股份有限公司 视频处理装置及视频串流的处理方法
CN114071189B (zh) * 2020-08-03 2023-05-05 纬创资通股份有限公司 视频处理装置及视频串流的处理方法

Similar Documents

Publication Publication Date Title
AU2020397870B2 (en) Method and apparatus for point cloud coding
US11750809B2 (en) Encoding and decoding methods and apparatuses with multiple image block division manners
JP5893780B2 (ja) ビデオデータを復号化する方法及び装置
US11838509B2 (en) Video coding method and apparatus
RU2518635C2 (ru) Способ и устройство для кодирования и декодирования блока кодирования границы картинки
US20190014325A1 (en) Video encoding method, video decoding method, video encoder and video decoder
KR101758954B1 (ko) 디코더 및 방법
JP6469048B2 (ja) 動画像符号化装置、動画像符号化方法、動画像復号装置、動画像復号方法、動画像符号化データ及び記録媒体
EP3412027A1 (en) Method and apparatus for scan order selection
CN108353175A (zh) 使用系数引起的预测处理视频信号的方法和装置
CN114710668B (zh) 光栅扫描分块组与矩形分块组协调的解码方法、设备和介质
CN109218729A (zh) 视频编码方法、视频解码方法、视频编码器及视频解码器
TWI559751B (zh) 用於評估要轉換成被跳過巨集區塊的巨集區塊候選者的方法、系統和電腦程式產品
KR20220097259A (ko) MPEG-5 EVC 인코더의 baseline coding 구조 개선 방법
CN116368523A (zh) Uv坐标编码

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190115