CN112135130B - 视频编译码方法及其图像处理装置 - Google Patents

视频编译码方法及其图像处理装置 Download PDF

Info

Publication number
CN112135130B
CN112135130B CN202010589359.2A CN202010589359A CN112135130B CN 112135130 B CN112135130 B CN 112135130B CN 202010589359 A CN202010589359 A CN 202010589359A CN 112135130 B CN112135130 B CN 112135130B
Authority
CN
China
Prior art keywords
coding unit
current coding
size
prediction
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010589359.2A
Other languages
English (en)
Other versions
CN112135130A (zh
Inventor
姚昌皓
傅秉忠
林敬杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN112135130A publication Critical patent/CN112135130A/zh
Application granted granted Critical
Publication of CN112135130B publication Critical patent/CN112135130B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种视频编译码方法及其图像处理装置，此方法适用于图像处理装置并且包括下列步骤。接收目前编码单元，并且根据目前编码单元的尺寸，进行滤波器选择。利用至少一所选择的滤波器，针对目前编码单元的多个参考边界进行滤波操作，以产生多个滤波参考值。根据上述滤波参考值，针对目前编码单元进行内插运算，以产生多个内插预测值。

Description

视频编译码方法及其图像处理装置
技术领域
本公开涉及一种视频编译码的技术。
背景技术
随着虚拟现实以及扩增实境于影音娱乐产业的快速发展，消费者对于高质量图像的需求则日渐提升，以更为融入、探索以及操控虚拟环境而仿佛感觉身历其境。为了可提供流畅且高画质的图像画面，在有限的储存容量和网络带宽下接收或传送图像数据，图像编译码的技术为关键核心之一。
发明内容
有鉴于此，本公开提供一种视频编译码方法及其图像处理装置。
在本公开的范例实施例中，上述的方法适用于图像处理装置并且包括下列步骤。接收目前编码单元，并且根据目前编码单元的尺寸，进行滤波器选择。利用至少一所选择的滤波器，针对目前编码单元的多个参考边界进行滤波操作，以产生多个滤波参考值。根据上述滤波参考值，针对目前编码单元进行内插运算，以产生多个内插预测值。
在本公开的范例实施例中，上述的图像处理装置包括存储器以及处理器，其中处理器耦接存储器。存储器用以储存数据。处理器用以接收目前编码单元，并且根据目前编码单元的尺寸，进行滤波器选择，又利用至少一所选择的滤波器，针对目前编码单元的多个参考边界进行滤波操作，以产生多个滤波参考值，再根据上述滤波参考值，针对目前编码单元进行内插运算，以产生多个内插预测值。
为让本公开的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1是根据本公开一范例实施例所绘示的图像处理装置的方块图。
图2是根据本公开一范例实施例所绘示的视频编译码方法的流程图。
图3是根据本公开一范例实施例所绘示的视频编译码方法的流程方块图。
图4是根据本公开一范例实施例所绘示的自适应性滤波器的选择流程的功能方块图。
图5A-图5D是根据本公开一范例实施例所绘示的滤波操作的示意图。
图6是根据本公开一范例实施例所绘示的上采样处理的示意图。
图7是根据本公开一范例实施例所绘示的预测样本及其内插运算的流程图。
图8是根据本公开一范例实施例所绘示的内插运算的示意图。
图9是根据本公开一范例实施例所绘示的预测样本及其内插运算的流程图。
具体实施方式
目前国际电信联盟电信标准化部门(Telecommunication StandardizationSector，ITU-T)以及动态图像专家群(Moving Picture Experts Group,MPEG)共同组成的联合视频探索小组(Joint Video Expert Team，JVET)会议中提出了下世代视频编码(Versatile Video Coding，H.266/VVC)，以提供编码效能高于高效率视频编码(HighEfficiency Video Coding，H.265/HEVC)的标准。在响应于JVET会议中的征求压缩技术效能竞赛(Call for Proposal，CfP)中，主要是针对标准动态范围(standard dynamicrange，SDR)影片、高动态范围(high dynamic range，HDR)影片以及360度影片等三种技术项目进行探讨，而此三种技术皆需要进行预测，以进行画面数据的编码。
上述的预测方法大致分为画面间预测(inter-prediction)以及画面内预测(intra-prediction)，以消除画面间以及画面内的冗余性，达到压缩的目的。前者主要是在时间域上对于画面之间的区块之间进行相关性分析以进行移动补偿预测(motion-compensation prediction)，而后者主要是在空间域上对于画面中的邻近区块进行相关性分析。一般来说，目前基于亮度(luma-based)的画面内预测方式包含四种工具：传统画面内预测(conventional intra prediction)、多参考线画面内预测(multiple referenceline intra prediction)、画面内分区预测(intra sub-partition prediction)以及非线性加权画面内预测(non-linear weighted intra prediction，NWIP)。
以一般360度图像来说，由于默认的图像画面为球形，而在压缩的过程将会投影至矩形的画面中，因此需要进行非线性的画面内预测。然而，以非线性加权画面内预测来说，主要分为三个程序：特征侦测(feature detection)、矩阵向量乘法(matrix-vectormultiplication)运算以及逆离散余弦变换(inverse discrete cosine transform，IDCT)运算。在此，特征点侦测需要利用编码单元上方以及左方的多个参考线，因此将会需要大量储存空间来储存参数。此外，矩阵向量乘法运算以及IDCT运算则是运算复杂度高。因此，本公开将在不失画面内预测的精确度的前提下，提出一种可降低存储器储存量以及运算复杂度的图像编译码方法。
本公开的部份范例实施例接下来将会配合附图来详细描述，以下的描述所引用的组件符号，当不同附图出现相同的组件符号将视为相同或相似的组件。这些范例实施例只是本公开的一部份，并未揭示所有本公开的可实施方式。更确切的说，这些范例实施例仅为本公开的权利要求中的方法以及装置的范例。
图1是根据本公开一范例实施例所绘示的图像处理装置的方块图。
请参照图1，在本范例实施例中，图像处理装置100至少包括存储器110以及处理器120，其中处理器120耦接存储器110。在一范例实施例中，图像处理装置100可以是个人计算机、笔记本电脑、服务器计算机、平板计算机、智能型手机、穿戴装置、工作站等电子装置。
存储器110用以储存图像、数据、程序代码等数据，其可以例如是任意型式的固定式或可移动式随机存取存储器(random access memory，RAM)、只读存储器(read-onlymemory，ROM)、闪存(flash memory)、硬盘或其他类似装置、集成电路及其组合。
处理器120用以控制图像处理装置100整体的作动以执行视频编译码，可以例如是中央处理单元(central processing unit，CPU)、应用处理器(application processor，AP)，或是其他可编程的一般用途或特殊用途的微处理器(microprocessor)、数字信号处理器(digital signal processor，DSP)、图像讯号处理器(image signal processor，ISP)、图形处理器(graphics processing unit，GPU)或其他类似装置、集成电路及其组合。
附带说明的是，在一范例实施例中，图像处理装置100可选择性地包括图像捕获设备、传输接口、显示器、通讯单元。图像捕获设备可以例如是数字相机、数字摄影机、网络摄影机、监视摄影机，用以撷取图像数据。传输接口可以是I/O接口，以使处理器120接收图像数据以及相关信息。显示器可以是任何用以显示处理后的图像数据的屏幕。通讯单元可以是支持任何有线连接或是无线通信标准的调制解调器、传送接收器，用以自外部来源接收原始图像数据以及将处理后的图像数据传送至其它装置或是平台。本领域技术人员应明了，以编码的观点来说，处理器120可在完成编码后，将编码后的比特流以及相关信息透过通讯单元传送至其它具有译码器的装置或是平台。此外，处理器120亦可将编码后的比特流以及相关信息储存至例如是DVD光盘、传统硬盘、随身硬盘、记忆卡等储存记录媒体，本公开不在此设限。以译码的观点来说，处理器120在接收到已编码的比特流以及相关信息后，可根据相关信息将已编码的比特流以及相关信息进行译码并且输出至播放器进行播放。
图2是根据本公开一范例实施例所绘示的视频编译码方法的流程图，而图2的方法流程可以图1的图像处理装置100来实现。在本公开一实施例中，编译码可以是编码及/或译码，编译码方法可以是编码方法及/或译码方法。
在本范例实施例中，处理器120可执行图像处理装置100的编码流程及/或译码流程。举例来说，图2的方法流程可以是以程序代码的形式储存于存储器110中，而处理器120将执行程序代码以实现图2的各个步骤。当处理器120执行编码流程时，在执行图2的流程之前，其将会先接收到原始视频串流/画面，再对此原始视频串流/画面进行编码程序。当处理器120执行译码流程时，在执行图2的流程之前，其将会先接收到已编码的比特流，再对此已编码的比特流进行译码程序。在以下的说明当中，将对所接收到的原始视频串流/画面或是已编码的比特流中多个做为基本处理单元(basic processing unit)的编码树单元(Coding Tree Unit，CTU)中的其中一个编码单元(coding unit，CU)来进行说明，并且将其统称为“目前编码单元”。
请同时参照图1以及图2，首先，图像处理装置100的处理器120将接收目前编码单元(步骤S202)，并且将根据目前编码单元的尺寸，进行滤波器选择(步骤S204)。在此，处理器120可根据目前编码单元的宽度以及高度来分别选择对应的滤波器。在此可选择的滤波器可以包括旁路滤波器(bypass filter，不进行滤波，直接输出)以及不同阶(tap)的平滑滤波器，而处理器120将利用至少一所选择的滤波器，针对目前编码单元的多个参考边界进行滤波操作，以产生多个滤波参考值(步骤S206)，进而有效地简化特征侦测所需的储存空间以及减少后续相关运算的复杂度。之后，处理器120将根据上述滤波参考值，针对目前编码单元进行内插运算，以产生多个内插预测值(步骤S208)，藉以取代复杂的IDCT运算。处理器120将针对目前编码单元进行编译码。也就是说，本范例实施例是以滤波器选择以及内插运算，在不失画面内预测的精确度的前提下，来降低存储器储存量以及运算复杂度，以有效地提升视频图像的编译码效能。以下将以下列范例实施例来针对步骤S204～S208的细节加以说明。
图3是根据本公开一范例实施例所绘示的视频编译码方法的功能方块图，而此范例可以图1用以进行编码及/或译码的图像处理装置100来实现。
请同时参照图1以及图3，图像处理装置100的处理器120在接收目前编码单元CU后，将进行自适应性滤波器310的选择。在此，处理器120可先根据目前编码单元的尺寸以及各个参考边界的边界尺寸，进行参数选择，以产生目前编码单元CU的至少一个滤波器索引，而各个滤波器索引即分别对应到不同的滤波器。在本范例实施例中，目前编码单元CU的参考边界为目前编码单元CU的上方参考行BT以及左方参考列BL，而上方参考行BT与左方参考列BL具有相邻的边界画素BTL。处理器120将分别针对上方参考行BT以及左方参考列BL选择出对应的滤波器来进行滤波操作。
具体来说，图4是根据本公开一范例实施例所绘示的自适应性滤波器的选择流程的功能方块图，而此范例可以图1用以进行编码及/或译码的图像处理装置100来实现。
请同时参照图1、图3以及图4，在此，处理器120将根据目前编码单元CU的尺寸W、H以及各个参考边界BT、BL的边界尺寸BW、BH来进行参数选择410，以产生目前编码单元CU的组合数p(combination size)、分割尺寸sw、sh(split size)以及滤波器索引fw、fh(filterindex)。
首先，处理器120将根据目前编码单元CU的尺寸，来计算目前编码单元CU的参考边界BT、BL的组合数p。处理器120将判断目前编码单元CU的宽度W以及高度H是否皆为4。若是，处理器120会将目前编码单元CU的参考边界BT、BL的组合数p皆设定为2。若否，处理器120会将目前编码单元CU的参考边界BT、BL的组合数p皆设定为4。在此，处理器120可以例如是依据方程式(1)来判断组合数p：
接着，处理器120将根据目前编码单元CU的参考边界BT、BL的边界尺寸BW、BH以及组合数p，来计算目前编码单元CU的分割尺寸sw、sh。处理器120可针对参考边界BT、BL的边界尺寸BW、BH与组合数p进行除法运算或位移运算(shift)，以产生目前编码单元CU分别对应于上方参考行BT以及左方参考列BL的分割尺寸sw、sh。在此，处理器120可以例如是依据方程式(2)来判断分割尺寸sw、sh：
之后，处理器120再根据目前编码单元CU的分割尺寸sw、sh，计算目前编码单元CU的滤波器索引fw、fh。处理器120可针对分割尺寸sw、sh分别进行对数运算，以产生目前编码单元CU分别对应于上方参考行BT以及左方参考列BL的滤波器索引fw、fh。在此，处理器120可以例如是依据方程式(3)来判断滤波器索引fw、fh：
fw＝log2sw,fh＝log2sh 方程式(3)
滤波器索引可以例如是0～4，其分别对应于旁路滤波器、2阶均值滤波器、4阶均值滤波器、8阶均值滤波器以及16阶均值滤波器，但本公开不以此为限。
在本范例实施例中，处理器120将根据分割尺寸sw、sh，来对目前编码单元CU的参考边界BT、BL进行分割420，并且根据滤波器索引fw、fh来自滤波器F1～FN进行滤波器选择430，而其滤波操作的结果将会是分别符合组合数p的多个组合440。
举例来说，图5A-图5D是根据本公开一范例实施例所绘示的滤波操作的示意图。
请参照图5A，假设编码单元的尺寸为4×4，参考边界的边界尺寸分别为4。在此，分割尺寸将会分别是2，而滤波器索引将会对应到2阶均值滤波器。以左方参考列的边界区块501A、502A为例，将会产生滤波结果510A，而以上方参考行的边界区块503A、504A为例，将会产生滤波结果520A，其它边界区块以此类推。两个参考边界的组合数将会分别是2。
请参照图5B，假设编码单元的尺寸为8×8，参考边界的边界尺寸分别为8。在此，分割尺寸将会分别是4，而滤波器索引将会对应到2阶均值滤波器。以左方参考列的边界区块501B、502B为例，将会产生滤波结果510B，而以上方参考行的边界区块503B、504B为例，将会产生滤波结果520B，其它边界区块以此类推。两个参考边界的组合数将会分别是4。
请参照图5C，假设编码单元的尺寸为16×16，参考边界的边界尺寸分别为16。在此，分割尺寸将会分别是4，而滤波器索引将会对应到4阶均值滤波器。以左方参考列的边界区块501C、502C、503C、504C为例，将会产生滤波结果510C，而以上方参考行的边界区块505C、506C、507C、508C为例，将会产生滤波结果520C，其它边界区块以此类推。两个参考边界的组合数将会分别是4。
请参照图5D，假设编码单元的尺寸为8×4，参考边界的边界尺寸分别为8、4。在此，分割尺寸将会分别是2、1，而滤波器索引将会分别对应到2阶均值滤波器以及旁路滤波器(不滤波)。以左方参考列的边界区块501D、502D为例，将会产生具有滤波参考值的滤波结果510D，而以上方参考行的边界区块503D为例，其滤波结果520D将会与滤波前的边界区块503D相同，其它边界区块以此类推。两个参考边界的组合数将会分别是4。
请再回到图3，处理器120在针对上方参考行BT以及左方参考列BL选择出对应的滤波器来进行滤波操作后，将会产生滤波参考值BDred，并且再针对滤波参考值BDred进行矩阵向量乘法运算320。在本范例实施例中，处理器120将根据滤波参考值BDred、默认矩阵以及默认偏移向量，计算目前编码单元CU的下采样预测值，以产生下采样预测样本PREDred。处理器120可以是以方程式(4)来计算出下采样预测样本PREDred：
PREDred＝A·BDred+b 方程式(4)
其中A、b为对应于特定模式的默认矩阵以及默认偏移向量。详细来说，在此的默认矩阵以及默认偏移向量则是对应到预先储存的多个训练模型，而每个训练模型则是对应于不同的矩阵加权画面内预测(matrix weighted intra prediction，MIP)模式。目前编码单元CU可以所选择的模式则是与其尺寸相关。举例来说，当W＝H＝4，则模式数量有35，当max(W,H)＝8，则模式数量有19，当max(W,H)>8，则模式数量有11。接着，处理器120将根据下采样预测样本PREDred进行内插运算330，以产生目前编码单元CU的内插预测值PRED。
具体来说，处理器120将针对下采样预测样本PREDred，进行上采样样处理，以产生目前编码单元CU的预测样本，其中各个下采样预测值将等距地配置于预测样本中。以图6为根据本公开一范例实施例所绘示的上采样处理的示意图为例，当下采样预测样本600在进行上采样处理后，将会产生预测样本600’，其中下采样预测值将会等距地配置于预测样本600’中。举例来说，下采样预测样本600的位置601、632所对应的下采样预测值将会分别配置于预测样本600’的位置601’以及632’。预测样本600’的上方一行以及左方一列的边界区块B0～B16则会配置参考边界上位于相同位置所对应的原始边缘值(像素值)。接着，处理器120将根据原始边缘值以及下采样预测值，针对预测样本进行内插运算，以产生预测样本的内插样本预测值。
在一范例实施例中，处理器120将根据目前编码单元的尺寸以及下采样预测样本的尺寸，将预测样本划分为多个内插模块。接着，处理器120再利用原始边缘值以及下采样预测值，针对各个内插模块进行线性内插，以产生预测样本的内插样本预测值。之后，处理器120则是针对具有下采样预测值以及内插样本预测值的预测样本来进行后续的编译码。
具体来说，图7是根据本公开一范例实施例所绘示的预测样本及其内插运算的流程图。
请参照图7，在此的预测样本700’为32×32。处理器120将判断所需进行内插的宽度HorSize或是高度VerSize的任一者是否大于1(步骤S701)。若否，则处理器120将无需针对预测样本700’进行内插运算。若是，则处理器120将所需进行内插的宽度upHor以及高度upVer分别设定为HorSize以及VerSize，并且再进行内插运算(步骤S702)，其中：
其中
以另一观点来说，处理器120所划分出的每个内插模块，以内插模块P1为例，其内部的最右下方小区块701以及其外部的左下方小区块702、左上方小区块703以及右上方小区块704为四个已知小区块，并且是由原始边缘值以及下采样预测值的其中四者所组成(在此是由3个原始边缘值以及1个下采样预测值所组成)。
以图8根据本公开一范例实施例所绘示的内插运算的示意图为例，假设小区块A、B、C、D为四个已知小区块，并且分别具有数值a、b、c、d。针对内插范围800的小区块P，假设dX为小区块P与内插范围自最左上角的水平距离，dY为P点与内插范围自最左上角的垂直距离，则小区块P的预测值P’可以下列方程式(5)来表示：
在另一范例实施例中，处理器120将根据目前编码单元的尺寸以及下采样预测样本的尺寸，将预测样本划分为多个水平方向模块。接着，处理器120再利用原始边缘值以及下采样预测值，针对各个水平方向模块进行线性内插，以产生预测样本的水平内插样本预测值。之后，处理器120再根据目前编码单元的尺寸以及下采样预测样本的尺寸，将预测样本划分为多个垂直方向内插模块。接着，处理器120再利用原始边缘值、下采样预测值以及水平内插样本预测值，针对各个垂直方向内插模块进行线性内插，以产生预测样本的垂直内插样本预测值。之后，处理器120则是针对具有下采样预测值、水平内插样本预测值以及垂直内插样本预测值的预测样本来进行后续的编译码。
具体来说，图9是根据本公开一范例实施例所绘示的预测样本及其内插运算的流程图。
请参照图9，在此的预测样本900为32×32。针对各个水平方向的内插模块，处理器120将判断所需进行内插的宽度HorSize是否大于1(步骤S901)。若否，则处理器120将无需针对预测样本900进行水平方向的内插运算。若是，则处理器120将所需进行内插的宽度upHor以及高度upVer分别设定为HorSize以及1，并且再进行内插运算。接着，针对各个垂直方向的内插模块，处理器120将判断所需进行内插的高度VerSize是否大于1(步骤S903)。若否，则处理器120将无需针对预测样本900’进行垂直方向的内插运算。若是，则处理器120将所需进行内插的宽度upHor以及高度upVer分别设定为1以及VerSize，并且再进行内插运算。
以另一观点来说，处理器120所划分出的每个水平内插模块，以具有小区块902～905的水平内插模块P11为例，其内部的最右方小区块905以及外部的左方小区块901为两个已知小区块，并且是由原始边缘值以及下采样预测值的其中两者所组成(在此是由1个原始边缘值以及1个下采样预测值所组成)。在此，小区块902～904的水平内插样本预测值则可以线性内插运算的方式而计算出。附带说明的是，若将方程式(5)设定为upVer＝1、dY＝1，小区块的预测值P’可以下列方程式(5.1)来表示：
以水平内插模块P11来说，在此的c、d则分别会是两个已知小区块901、905的数值。
类似地，处理器120所划分出的每个垂直内插模块，以具有小区块902、906～908的垂直内插模块P12为例，其内部的最下方小区块902以及外部的上方小区块909为两个已知小区块，并且是由原始边缘值以及水平内插样本预测值的其中两者所组成(在此是由1个原始边缘值以及1个水平内插样本预测值所组成)。在此，小区块906～908的垂直内插样本预测值则可以线性内插运算的方式而计算出。附带说明的是，若将方程式(5)设定为upHor＝1、dX＝1，小区块的预测值P’可以下列方程式(5.2)来表示：
以垂直内插模块P12来说，在此的b、d则分别会是两个已知小区块909、902的数值。
在另一范例实施例中，处理器120可以是先将预测样本划分成垂直方向模块来进行线性内插，再将预测样本划分成水平方向模块来进行线性内插。详细来说，处理器120将根据目前编码单元的尺寸以及下采样预测样本的尺寸，将预测样本划分为多个垂直方向模块。接着，处理器120再利用原始边缘值以及下采样预测值，针对各个垂直方向模块进行线性内插，以产生预测样本的垂直内插样本预测值。之后，处理器120再根据目前编码单元的尺寸以及下采样预测样本的尺寸，将预测样本划分为多个水平方向内插模块。接着，处理器120再利用原始边缘值、下采样预测值以及垂直内插样本预测值，针对各个水平方向内插模块进行线性内插，以产生预测样本的水平内插样本预测值。之后，处理器120则是针对具有下采样预测值、水平内插样本预测值以及垂直内插样本预测值的预测样本来进行后续的编译码。
综上所述，本公开提供一种视频编译码方法及其图像处理装置，其是以滤波器选择以及内插运算，在不失画面内预测的精确度的前提下，来降低复杂的运算量，以有效地提升视频图像的编译码效能。
最后应说明的是：以上各实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述各实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。

Claims (17)

1.一种视频编译码方法，其特征在于，适用于图像处理装置，包括：
接收目前编码单元；
根据该目前编码单元的尺寸，进行滤波器选择；
利用至少一所选择的滤波器，针对该目前编码单元的多个参考边界进行滤波操作，以产生多个滤波参考值；
根据所述滤波参考值，针对该目前编码单元进行内插运算，以产生多个内插预测值，
其中，根据该目前编码单元的该尺寸，进行滤波器选择的步骤包括：
根据该目前编码单元的该尺寸以及各所述参考边界的边界尺寸，进行参数选择，以产生该目前编码单元的至少一滤波器索引，其中各所述滤波器索引对应于多个滤波器中的其中一之者，
其中，根据该目前编码单元的该尺寸以及各所述参考边界的该边界尺寸，进行参数选择，以产生该目前编码单元的该滤波器索引的步骤包括：
根据该目前编码单元的该尺寸，计算该目前编码单元的各所述参考边界的组合数；
根据该目前编码单元的各所述参考边界的该边界尺寸以及该组合数，计算该目前编码单元的分割尺寸；以及
根据该目前编码单元的该分割尺寸，计算该目前编码单元的所述滤波器索引。
2.根据权利要求1所述的视频编译码方法，其特征在于，根据该目前编码单元的该尺寸，计算该目前编码单元的各所述参考边界的该组合数的步骤包括：
判断该目前编码单元的宽度以及高度是否皆为4；
若是，设定该目前编码单元的各所述参考边界的该组合数为2；以及
若否，设定该目前编码单元的各所述参考边界的该组合数为4。
3.根据权利要求1所述的视频编译码方法，其特征在于，根据该目前编码单元的各所述参考边界的该边界尺寸以及该组合数，计算该目前编码单元的该分割尺寸的步骤包括：
针对该目前编码单元的各所述参考边界的该边界尺寸与该组合数进行除法运算，以产生该目前编码单元的该分割尺寸。
4.根据权利要求1所述的视频编译码方法，其特征在于，根据该目前编码单元的该分割尺寸，计算该目前编码单元的所述滤波器索引的步骤包括：
针对该目前编码单元的该分割尺寸进行对数运算，以产生该目前编码单元的所述滤波器索引。
5.根据权利要求1所述的视频编译码方法，其特征在于，所述所选择的滤波器是自多个不同阶的平滑滤波器所选择。
6.根据权利要求5所述的视频编译码方法，其特征在于，所述不同阶的平滑滤波器包括旁路滤波器以及2N阶均值滤波器，其中N为1、2、3、4。
7.根据权利要求1所述的视频编译码方法，其特征在于，所述参考边界为该目前编码单元的上方参考行以及左方参考列，而利用所述所选择的滤波器，针对该目前编码单元的各所述参考边界进行滤波操作，以产生所述滤波参考值的步骤包括：
利用各所述所选择的滤波器，分别针对该目前编码单元的该上方参考行以及该左方参考列进行滤波操作，以分别产生所述滤波参考值。
8.根据权利要求1所述的视频编译码方法，其特征在于，根据所述滤波参考值，针对该目前编码单元进行内插运算，以产生所述内插预测值的步骤包括：
根据所述滤波参考值、默认矩阵以及默认偏移向量，计算该目前编码单元的多个下采样预测值，以产生下采样预测样本；以及
根据所述参考边界的多个原始边缘值以及该下采样预测样本，产生所述内插预测值。
9.根据权利要求8所述的视频编译码方法，其特征在于，该默认矩阵以及该默认偏移向量关联于该目前编码单元的该尺寸。
10.根据权利要求8所述的视频编译码方法，其特征在于，根据所述参考边界的所述原始边缘值以及该下采样预测样本，产生所述内插预测值的步骤包括：
针对所述下采样预测样本，进行上采样处理，以产生该目前编码单元的预测样本，其中各所述下采样预测值等距地配置于该预测样本中；
配置所述参考边界的所述原始边缘值于该预测样本的上方一行以及左方一列所对应的位置；
根据所述原始边缘值以及所述下采样预测值，针对该预测样本进行内插运算，以产生该预测样本的内插样本预测值；以及
设定该预测样本中的所述下采样预测值以及所述内插样本预测值为所述内插预测值。
11.根据权利要求10所述的视频编译码方法，其特征在于，根据所述参考边界的所述原始边缘值以及所述下采样预测值，针对该预测样本进行内插运算的步骤包括：
根据该目前编码单元的该尺寸以及该下采样预测样本的尺寸，划分该预测样本为多个内插模块；以及
利用所述原始边缘值以及所述下采样预测值，针对各所述内插模块进行线性内插，以产生该预测样本的所述内插样本预测值。
12.根据权利要求11所述的视频编译码方法，其特征在于，针对各所述内插模块，该内插模块的内部的最右下方小区块以及该内插模块外部的左下方小区块、左上方小区块以及右上方小区块为四个已知小区块并且是由所述原始边缘值以及所述下采样预测值的其中四者所组成。
13.根据权利要求10所述的视频编译码方法，其特征在于，根据所述参考边界的所述原始边缘值以及所述下采样预测值，针对该预测样本进行内插运算的步骤包括：
根据该目前编码单元的该尺寸以及该下采样预测样本的尺寸，自该预测样本划分出多个水平方向内插模块，其中各所述水平方向内插模块的高度为1；
利用所述原始边缘值以及所述下采样预测值，针对各所述水平方向内插模块进行线性内插，以产生该预测样本的多个水平内插样本预测值；
根据该目前编码单元的该尺寸以及该下采样预测样本的尺寸，自该预测样本划分出多个垂直方向内插模块，其中各所述垂直方向内插模块的宽度为1；
利用所述原始边缘值、所述下采样预测值以及所述水平内插样本预测值，针对各所述垂直方向内插模块进行线性内插，以产生该预测样本的多个垂直内插样本预测值；
设定该预测样本中的所述下采样预测值、所述水平内插样本预测值以及所述垂直内插样本预测值为所述内插预测值。
14.根据权利要求13所述的视频编译码方法，其特征在于：
针对各所述水平方向内插模块，该水平方向内插模块的内部的最右方小区块以及该水平方向内插模块外部的左方小区块是由所述原始边缘值以及所述下采样预测值的其中两者所组成，以及
针对各所述垂直方向内插模块，该垂直方向内插模块的内部的最下方小区块以及该垂直方向内插模块外部的上方小区块是由所述原始边缘值、所述下采样预测值及所述水平内插样本预测值的其中两者所组成。
15.根据权利要求10所述的视频编译码方法，其特征在于，根据所述参考边界的所述原始边缘值以及所述下采样预测值，针对该预测样本进行内插运算的步骤包括：
根据该目前编码单元的该尺寸以及该下采样预测样本的尺寸，自该预测样本划分出多个垂直方向内插模块，其中各所述垂直方向内插模块的宽度为1；
利用所述原始边缘值以及所述下采样预测值，针对各所述垂直方向内插模块进行线性内插，以产生该预测样本的多个垂直内插样本预测值；
根据该目前编码单元的该尺寸以及该下采样预测样本的尺寸，自该预测样本划分出多个水平方向内插模块，其中各所述水平方向内插模块的高度为1；
利用所述原始边缘值、所述下采样预测值以及所述垂直内插样本预测值，针对各所述水平方向内插模块进行线性内插，以产生该预测样本的多个水平内插样本预测值；
设定该预测样本中的所述下采样预测值、所述水平内插样本预测值以及所述垂直内插样本预测值为所述内插预测值。
16.一种图像处理装置，其特征在于，包括：
存储器，用以储存数据；
处理器，耦接该存储器，用以：
接收目前编码单元；
根据该目前编码单元的尺寸，进行滤波器选择；
利用至少一所选择的滤波器，针对该目前编码单元的多个参考边界进行滤波操作，以产生多个滤波参考值；
根据所述滤波参考值，针对该目前编码单元进行内插运算，以产生多个内插预测值，
其中，该处理器根据该目前编码单元的该尺寸以及各所述参考边界的边界尺寸，进行参数选择，以产生该目前编码单元的至少一滤波器索引，其中各所述滤波器索引对应于多个滤波器中的其中一之者，
其中，该处理器根据该目前编码单元的该尺寸，计算该目前编码单元的各所述参考边界的组合数；根据该目前编码单元的各所述参考边界的该边界尺寸以及该组合数，计算该目前编码单元的分割尺寸；以及根据该目前编码单元的该分割尺寸，计算该目前编码单元的所述滤波器索引。
17.根据权利要求16所述的图像处理装置，其特征在于，该处理器根据所述滤波参考值、默认矩阵以及默认偏移向量，计算该目前编码单元的多个下采样预测值，以产生下采样预测样本，以及根据参考边界的多个原始边缘值以及该下采样预测样本，产生所述内插预测值。
CN202010589359.2A 2019-06-24 2020-06-24 视频编译码方法及其图像处理装置 Active CN112135130B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962865359P 2019-06-24 2019-06-24
US62/865,359 2019-06-24

Publications (2)

Publication Number Publication Date
CN112135130A CN112135130A (zh) 2020-12-25
CN112135130B true CN112135130B (zh) 2024-03-22

Family

ID=73850243

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010589359.2A Active CN112135130B (zh) 2019-06-24 2020-06-24 视频编译码方法及其图像处理装置

Country Status (3)

Country Link
US (1) US11431971B2 (zh)
CN (1) CN112135130B (zh)
TW (1) TWI753467B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103563380A (zh) * 2011-05-27 2014-02-05 联发科技股份有限公司 减少用于视频处理的行缓冲的方法及装置
CN104067623A (zh) * 2012-01-19 2014-09-24 三菱电机株式会社 运动图像解码装置、运动图像编码装置、运动图像解码方法以及运动图像编码方法
CN104702950A (zh) * 2011-04-01 2015-06-10 苗太平洋控股有限公司 以帧内预测模式解码图像的方法
CN106060564A (zh) * 2016-06-16 2016-10-26 北京大学深圳研究生院 帧内预测参考像素点滤波控制方法、装置及编码器
CN108696755A (zh) * 2012-04-13 2018-10-23 三菱电机株式会社 图像编码装置、图像解码装置及其方法
WO2019066523A1 (ko) * 2017-09-29 2019-04-04 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5169978B2 (ja) 2009-04-24 2013-03-27 ソニー株式会社 画像処理装置および方法
WO2015093895A1 (en) 2013-12-20 2015-06-25 Lg Electronics Inc. Method and apparatus for encoding and decoding video signal using adaptive sampling
EP3611925A4 (en) 2017-04-13 2020-03-25 Panasonic Intellectual Property Corporation of America ENCODING DEVICE, DECODING DEVICE, ENCODING METHOD, AND DECODING METHOD
US11647214B2 (en) 2018-03-30 2023-05-09 Qualcomm Incorporated Multiple transforms adjustment stages for video coding
US11190764B2 (en) 2018-07-06 2021-11-30 Qualcomm Incorporated Merged mode dependent intra smoothing (MDIS) and intra interpolation filter switching with position dependent intra prediction combination (PDPC)

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104702950A (zh) * 2011-04-01 2015-06-10 苗太平洋控股有限公司 以帧内预测模式解码图像的方法
CN103563380A (zh) * 2011-05-27 2014-02-05 联发科技股份有限公司 减少用于视频处理的行缓冲的方法及装置
CN104067623A (zh) * 2012-01-19 2014-09-24 三菱电机株式会社 运动图像解码装置、运动图像编码装置、运动图像解码方法以及运动图像编码方法
CN108696755A (zh) * 2012-04-13 2018-10-23 三菱电机株式会社 图像编码装置、图像解码装置及其方法
CN106060564A (zh) * 2016-06-16 2016-10-26 北京大学深圳研究生院 帧内预测参考像素点滤波控制方法、装置及编码器
WO2019066523A1 (ko) * 2017-09-29 2019-04-04 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于片类型和帧间预测的H.264去块滤波新算法;李康顺;金晶;王峰;;计算机应用研究(07);全文 *

Also Published As

Publication number Publication date
US20200404264A1 (en) 2020-12-24
TWI753467B (zh) 2022-01-21
TW202101980A (zh) 2021-01-01
US11431971B2 (en) 2022-08-30
CN112135130A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
CN111066326B (zh) 机器学习视频处理系统和方法
RU2745021C1 (ru) Способ и устройства для конфигурирования преобразования для сжатия видео
RU2699258C2 (ru) Способ прогнозирования изображения и устройство прогнозирования изображения
US11856221B2 (en) Method and device for image encoding and decoding, and recording medium having bit stream stored therein
WO2020088324A1 (zh) 一种视频图像预测方法及装置
CN114339260A (zh) 图像处理方法及装置
US20180199058A1 (en) Video encoding and decoding method and device
US20190182503A1 (en) Method and image processing apparatus for video coding
JP2007189276A (ja) 画像圧縮装置及び画像圧縮プログラム
CN111869208A (zh) 使用自适应乘数系数进行图像滤波的方法及装置
US20240137532A1 (en) Methods and systems for adaptive cropping
JP2013048307A (ja) 動画像復号化装置および動画像復号化方法
KR20220088888A (ko) 인트라 예측을 위한 신경망의 반복 트레이닝
JP2022544157A (ja) 適応分解能管理予測再スケーリング
CN112135130B (zh) 视频编译码方法及其图像处理装置
US20210321088A1 (en) Methods and systems of video coding using reference regions
WO2021003671A1 (en) Resolution-adaptive video coding
KR20200004348A (ko) 타겟 영역 수정을 통해 비디오 신호를 처리하는 방법 및 장치
RU2795258C1 (ru) Способ и устройство для конфигурирования преобразования для сжатия видео
US20230388483A1 (en) Methods and Systems of Video Coding Using Reference Regions
WO2020135368A1 (zh) 一种帧间预测的方法和装置
JP2013034160A (ja) 動画像符号化装置および動画像符号化方法
JP2024537625A (ja) デコーダ側イントラモード導出における角度離散化の改善
JP2023030585A (ja) 画像符号化装置及び方法及びプログラム
KR20230157975A (ko) 딥러닝 기반 yuv 비디오 압축을 위한 모션 흐름 코딩

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant