CN107920247A - 选择画面内预测模式的方法、视频编码装置及处理设备 - Google Patents

选择画面内预测模式的方法、视频编码装置及处理设备 Download PDF

Info

Publication number
CN107920247A
CN107920247A CN201710910588.8A CN201710910588A CN107920247A CN 107920247 A CN107920247 A CN 107920247A CN 201710910588 A CN201710910588 A CN 201710910588A CN 107920247 A CN107920247 A CN 107920247A
Authority
CN
China
Prior art keywords
intra
conversion
converting unit
block
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710910588.8A
Other languages
English (en)
Inventor
林俊隆
林敬杰
林柏翰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Priority to JP2017193720A priority Critical patent/JP2018078545A/ja
Priority to US15/725,300 priority patent/US20180103251A1/en
Publication of CN107920247A publication Critical patent/CN107920247A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Abstract

一种选择画面内预测模式的方法、视频编码装置及处理设备。所述方法包括下列步骤。在转换单元依据预设转换索引进行操作的情况下，依据区块来计算对视频编码中的多个预测模式所对应的多个预测成本。基于所述预测成本以从所述预测模式中选择多个候选预测模式。基于所述区块以及所述候选预测模式所对应的所述预测成本来计算所述候选预测模式在多个转换索引下所对应的多个失真成本。以及，依据所述失真成本以从所述候选预测模式中选择其中之一来作为对应于所述区块的画面内预测的将使用预测模式。

Description

选择画面内预测模式的方法、视频编码装置及处理设备
技术领域
本发明涉及一种选择画面内预测的预测模式的方法、视频编码装置及处理设备。
背景技术
随着网络、通信系统、显示器及计算机等应用的新技术的近期发展中，许多应用都须要高效的视频编码的解决方案，例如高视频压缩率、虚拟现实(Virtual Reality；VR)及360度视频内容。为提供身历其境的视觉效果，提升视频解析度以在视频中看见更多细节是常见作法。VR技术通常是以头戴式装置(Head Mounted device；HMD)实现，且头戴式装置与眼睛之间的距离十分接近，因此需要视频内容的解析度希望能够增加到当前的4K到8K解析度、甚至32K解析度以上。此外，画面刷新率也会影响到VR的使用体验，因此希望将画面刷新率增加到每秒30张、每秒90张甚至是每秒120张。基于上述需求，目前所使用的高效率视频编码(High Efficiency Video Coding；HEVC)(又可称为H.265)似乎不足以对使用者提供更佳的视觉效果及体验。
为了进一步提升针对数字视频的编码效率及提升图像质量，联合视频探索小组(Joint Video Exploration Team；JVET)将数种解决潜在需求的强化型视频编码技术应用在联合探索测试平台(Joint Exploration Test Model；JEM)中，以尝试性地推动视频编码技术的进步。JEM所采用的画面内预测(intra prediction)技术由原本HEVC所具备的35种预测模式扩展到67种预测模式，藉以用于更为准确地进行角度预测。
此外，JEM还在转换单元(Transform Unit；TU)中引入模式依赖(mode-dependent)非分离式二次转换(non-separable secondary transform；NSST)技术。NSST可在视频编码器的首次转换(primary transform)(又称为内核转换(core transform)或第一转换(first transform))与量化(quantization)之间中实现，NSST也会在视频解码器的解量化(de-quantization)与反向首次转换中实现。NSST能够在定向纹理图案(directionaltexture pattern)中达到更好的压缩效率，但需要较为复杂的运算。
发明内容
本公开提供一种选择画面内预测的预测模式的方法、视频编码装置及图像处理设备，其可提升视频编码的效率及处理速度，同时可降低视频编码的硬件实作成本。
本公开的选择画面内预测的预测模式的方法包括下列步骤。在转换单元依据预设转换索引进行操作的情况下，依据输入图像的区块来计算对画面内预测中的多个预测模式所对应的多个预测成本。基于所述多个预测成本以从所述多个预测模式中选择多个候选预测模式。基于所述区块以及所述多个候选预测模式所对应的所述预测成本来计算所述多个候选预测模式在多个转换索引下所对应的多个失真成本。所述预设转换索引为所述多个转换索引的其中之一。以及，依据所述失真成本以从所述多个候选预测模式中选择其中之一来作为对应于所述区块的画面内预测的将使用预测模式。
本公开的视频编码装置至少包括转换单元以及画面内预测单元。转换单元用以依据多个转换索引来转换输入图像的区块所对应的残余值。画面内预测单元耦接所述转换单元。在所述转换单元依据预设转换索引进行操作的情况下，画面内预测单元获得输入图像的区块并依据所述区块计算对画面内预测中的多个预测模式所对应的多个预测成本。所述预设转换索引为所述多个转换索引的其中之一。画面内预测单元基于所述预测成本以从所述预测模式中选择多个候选预测模式，基于所述区块以及所述多个候选预测模式所对应的所述预测成本来计算所述多个候选预测模式在所述转换单元的所述多个转换索引下所对应的多个失真成本，并且依据所述失真成本以从所述候选预测模式中选择其中之一来作为对应于所述区块的画面内预测的将使用预测模式。
本公开的图像处理设备包括处理器以及存储器。所述处理器在依据预设转换索引以对残余值进行转换的情况下，依据输入图像的区块来计算对画面内预测中的多个预测模式所对应的多个预测成本。所述残余值对应所述区块。处理器基于所述预测成本以从所述多个预测模式中选择多个候选预测模式，基于所述区块以及所述候选预测模式所对应的所述预测成本来计算所述候选预测模式在多个转换索引下所对应的多个失真成本。所述预设转换索引为所述多个转换索引的其中之一。处理器依据所述失真成本以从所述多个候选预测模式中选择其中之一来作为对应于所述区块的画面内预测的将使用预测模式。
基于上述，本公开实施例所述的画面内预测的模式选择法、视频编码装置及图像处理设备在进行画面内预测的预测模式选择时，将会先行把转换单元设定为预设的转换索引(例如，将转换单元设定为禁用第二转换单元且仅以第一转换单元进行残余值转换的操作模式)，再基于输入图像的区块来计算画面内预测中的每个预测模式所对应的预测成本，以从这些预测模式中选择多个候选预测模式。接着，利用候选预测模式对应的预测成本以及所述区块来从这些候选预测模式中找出具备最佳(例如，最低)失真成本的候选预测模式来做为将使用的预测模式。换句话说，本公开实施例不会针对转换单元中的不同操作模式(意即，依据不同的转换索引进行残余值转换的情况下)都分别计算出每个预测模式所对应的预测成本，而是针对转换单元中的预测操作模式(意即，依据预设转换索引进行残余值转换的情况下)计算一次画面内预测中每个预测模式所对应的预测成本。然后，则是通过上述预测成本配合转换单元在不同的转换索引进行残余值转换的情况来实现失真成本的计算，从而进行后续的候选预测模式的选择。藉此，本公开实施例可大幅减少对于预测成本的运算量、提升视频编码的效率及处理速度，同时可降低视频编码的硬件实作成本。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1是依据本公开实施例的一种视频编码装置的结构方块图。
图2是符合本发明实施例的一种图像处理设备的方块图。
图3绘示一种联合探索测试平台(JEM)中画面内预测的两阶段示意图。
图4是符合本发明实施例的一种选择画面内预测的预测模式的方法的流程图。
【符号说明】
100：视频编码装置
110：转换与量化单元
112：转换单元
113：第一转换单元
114：第二转换单元
115：量化单元
120：反向量化与反向转换单元
122：反向量化单元
124：反向转换单元
130：预测单元
132：画面内预测单元
134：画面间预测单元
140、150：加法器
160：画面缓冲器
170：熵编码单元
200：图像处理设备
210：处理器
220：存储器
S410～S480：选择画面内预测的预测模式的方法的步骤
ST1：粗略模式检测(RMD)阶段
ST11：画面内预测的SATD成本计算
ST12：选择候选预测模式
ST2：速率失真优化(RDO)阶段
ST21：进行第一转换
ST22：进行第二转换
ST23：进行量化编码
ST24：选择当前区块的将使用预测模式
IM：输入图像
MR：输入图像的剩余值
TD、DA：数据
VD：图像数据
N1：视频编码装置的输入端
N2：反向量化与转换单元的输出端
具体实施方式
图1是依据本公开实施例的一种视频编码装置100的结构方块图。视频编码装置100依据获得输入图像中的多张输入图像IM来进行视频编码，藉以降低输入图像的数据量，让输入图像能够易于传输与存储。视频编码装置100所使用的视频编码可以是联合探索测试平台(JEM)，也可以是符合本公开实施例的、在视频转换中具备第一转换以及第二转换(如，NSST)的视频编码。
本实施例的视频编码装置100主要包括转换与量化单元110、反向量化与反向转换单元120、预测单元130、位于视频编码装置100输入端N1的加法器140、位于反向量化与转换单元120输出端N2的加法器150、画面缓冲器160以及熵编码单元170。转换与量化单元110包括转换单元112以及量化单元115。预测单元130包括画面内预测单元132以及画面间预测单元134。加法器140藉由预测单元130提供的信息来与输入图像IM相减以获得输入图像IM的剩余值MR。
在JEM中，转换单元112包括第一转换单元113以及第二转换单元114。第一转换单元113对输入图像IM的残余值MR进行第一转换(又称为内核转换或首次转换)。第二转换单元114则是对已进行第一转换的残余值进行第二转换。此处的第二转换为模式依赖型非分离式二次转换(NSST)。NSST的残余值处理可以与预测单元130(如，画面内预测单元132)所选择及使用的画面内预测模式有关。JEM中的NSST可具备三种转换内核，画面内预测单元可选择性地使用这些转换内核来强化残余值编码的效能。换句话说，JEM可选择性地启用第一转换以及NSST中三种转换内核的其中之一来进行残余值编码，或是仅使用第一转换且禁用NSST来进行残余值编码。本实施例以多个“转换索引”来代表NSST的操作模式。其中一个转换索引用以表示转换单元112不使用第二转换单元114来对当前区块的残余值进行转换，此种操作模式可利用“预设转换索引”来表示。预设转换索引以外的其他转换索引用以表示，转换单元112使用第二转换单元114中至少一个转换内核(本公开使用的NSST具备三种转换内核)的其中之一来对当前区块的残余值进行转换的操作模式。换句话说，本公开具备四种转换索引，以分别代表禁用NSST(转换索引为“0”)、使用第一转换内核来进行NSST(转换索引为“1”)、使用第二转换内核来进行NSST(转换索引为“2”)、以及使用第三转换内核来进行NSST(转换索引为“3”)。
已被转换单元112进行残余值转换后的数据TD则由量化单元115处理后成为数据DA，并通过熵编码单元170处理成为经压缩后的图像数据VD。图像数据VD除了数据DA以外还可包括预测单元130所产生的各种画面内预测模式与画面间预测模式。
为了模拟视频解码后的数据，视频编码器100利用反向量化与反向转换单元120中的反向量化单元122以及反向转换单元124将数据DA还原成经视频解码后的图像数据。此图像数据经由加法器150与输入图像IM的处理后暂存于画面缓冲器160中。视频解码后的图像数据可供画面内预测单元132以及画面间预测单元134作为当前区块的模式预测使用。
画面内预测单元132是利用同一个画面中已解析的区块来对正在处理的区块进行像素数值预测以及残余值转换。画面间预测单元134则是针对连续的多个输入图像之间的区块进行像素预测以及残余值转换。
图1中的各个功能方块可以是以硬件方式实现，也可以是以软件程序或固件模块的方式实现。图2是符合本发明实施例的一种图像处理设备200的方块图。当图1中的视频编码装置100是以软件程序或固件模块实现时，可通过图像处理设备200中的处理器210及存储器220来执行，以实现本公开实施例。存储器220可存储以指令呈现的视频编码装置100中的各个软件程序或固件模块。处理器210可存取存储器220已执行这些软件程序或固件模块。处理器210可以是中央处理单元、绘图处理单元、为处理器、现场可编程逻辑门阵列…等。
在JEM的画面内预测技术中，将通过两个阶段来决定哪个画面内编码的预测模式来用于进行编码的当前区块。图3绘示一种JEM中画面内预测的两阶段示意图。第一阶段ST1是粗略模式检测(rough mode detection；RMD)阶段。详细来说，RMD阶段包括两个子阶段ST11及ST12。这两个子阶段ST11及ST12可由图1中的画面内预测模式132来实现。子阶段ST11是使用SATD方式来计算当前区块对应的多个画面内预测模式(在JEM中具备35至67种画面内预测模式)的预测成本(也可称为是SATD成本)，在此称为是“画面内预测的SATD成本计算”。子阶段ST12则是基于这些预测成本以从上述多个画面内预测模式中选择多个候选预测模式，在此称为是“选择候选预测模式”。应用本实施例者可依其需求来调整候选预测模式的被选择数量，例如可选择具备较低SATD成本的3个或5个画面内预测模式作为候选预测模式。本实施例以“选择3个预测模式作为后选预测模式”来实现本公开实施例。
第二阶段ST2则是速率失真优化(Rate-Distortion Optimization；RDO)阶段。详细来说，阶段ST21包括四个子阶段ST21至ST24。子阶段ST21可由图1的第一转换单元113实现；子阶段ST22可由图1的第二转换单元114实现；子阶段ST23可由图1的量化单元115实现；子阶段ST24可由图1的画面内预测单元132或量化单元115择一实现。应用本发明实施例者也可依其需求来调整实现上述各个子阶段的功能方块，本公开不被限制于此。
子阶段ST21针对当前区块以及这些后选预测模式进行第一转换/内核转换/首次转换。并且，为了强化编码效能，本实施例在子阶段ST22中针对已进行第一转换的当前区块残余值数据进行第二转换(如，NSST)。子阶段ST23是将通过子阶段ST22的当前区块残余值数据进行量化编码以计算每个候选预测模式所对应的位率失真成本(Rate-DistortionCost；RDCost)以作为失真成本。本公开以所述位率失真成本作为所述失真成本。子阶段ST24用以选择出在真实编码位的数量与量化失真之间具备最佳位率失真成本的候选预测模式来作为对应于此当前区块的画面内预测的将使用预测模式，在此称为是“选择当前区块的将使用预测模式”。
在JEM的设计中，NSST具备三种转换单元，因此拥有四种操作模式。这些操作模式是以不同的转换索引来表示。因此，每个候选预测模式都需要在不同的NSST操作模式下分别计算。需特别注意的是，JEM具备67种的画面内预测模式以及4种NSST的操作模式(以NSST转换索引(“0”至“3”)表示)。为了精确计算出最佳的画面内预测模式、且不同的NSST操作模式将可能导致RDO阶段的结果(对于候选预测模式的选择)有所不同，因此JEM会让每种画面内预测模式在不同NSST的操作模式下分别执行RMD阶段ST1以及RDO阶段ST2，如此才会认为所选择出的画面内预测模式较为正确。
以另一角度来说，NSST适用于画面内预设的第二转换，以更为降低残余值的位数量。对于上述4种NSST转换索引的画面内模式选择的处理流程可大致上描述如下述运算1至运算8：
运算1：在NSST转换索引为“0”时的RMD阶段(基于SATD成本以从67个画面内预测模式中选择3个候选预测模式)
运算2：在NSST转换索引为“0”时的RDO阶段(从3个候选预测模式中选择最佳的画面内预测模式)
运算3：在NSST转换索引为“1”时的RMD阶段(基于SATD成本以从67个画面内预测模式中选择3个候选预测模式)
运算4：在NSST转换索引为”1”时的RDO阶段(从3个候选预测模式中选择最佳的画面内预测模式)
运算5：在NSST转换索引为“2”时的RMD阶段(基于SATD成本以从67个画面内预测模式中选择3个候选预测模式)
运算6：在NSST转换索引为“2”时的RDO阶段(从3个候选预测模式中选择最佳的画面内预测模式)
运算7：在NSST转换索引为“3”时的RMD阶段(基于SATD成本以从67个画面内预测模式中选择3个候选预测模式)
运算8：在NSST转换索引为“3”时的RDO阶段(从3个候选预测模式中选择最佳的画面内预测模式)
基于上述运算1至运算8可知，就算是SATD方式为一种能够快速计算出以哪个画面内编码模式对区块进行编码会具备最小成本的算法，在RMD阶段仍然需要进行多次计算(如，运算1、运算3、运算5、运算7)才能在3个候选预测模式中计算出最小SATD成本。
然而，本公开实施例认为，在图3的子阶段ST11中对于SATD成本的计算跟NSST的操作模式无直接关联，换句话说，SATD成本的计算跟NSST的操作模式对于最终的视频编码结果影响不大。因此，在不同NSST转换索引下各个画面内预测模式的SATD成本应可以利用同一组SATD成本来作为后续RDO阶段在不同的NSST的操作模式计算之用。藉此，本公开实施例仅在将NSST设定为预设转换索引(如，将NSST的转换索引设定为“0”)时对这些画面内预测模式计算一次SATD成本，将这些SATD成本暂存，并把“NSST设定为其他转换索引(如，将NSST的转换索引设定为“1”至“3”)时的SATD成本计算”的步骤移除，便可大幅节省运算流程。换句话说，本公开实施例可将上述运算1的SATD成本计算结果暂存，并省略上述运算3、5、7，改由运算1计算获得的SATD成本来进行运算4、6、8，从而节省运算量。
图4是符合本发明实施例的一种选择画面内预测的预测模式的方法的流程图。图4所述的方法可适用于图1所述的视频编码装置100以及图2所述的图像处理装置200。请参考图1及图4，在步骤S410中，将转换单元112中第二转换单元114的操作模式设定为禁能，亦即，将第二转换单元114的转换索引设定为“0”。在步骤S420中，在第二转换单元114依据所述预设转换索引进行操作的情况下，画面内预测单元132以绝对变换插的和(SATD)方式依据输入图像IM的当前区块来计算对画面内预测中的多个预测模式所对应的多个预测成本。所述预测成本为SATD成本。
在步骤S430中，画面内预测单元132基于步骤S420的预测成本以从多个画面内预测模式(如，67个画面内预测模式)中选择多个候选预测模式。本实施例可从67个画面内预测模式所对应的预测成本中找寻最佳的预测成本。画面内预测模式的数量大于候选预测模式的被选择数量。例如，从这些预测成本中找寻具备最低的3个预测成本所对应的画面内预测模式作为预选预测模式。
在步骤S440中，在选择出这些候选预测模式之后，画面内预测单元132便会暂存这些候选预测模式所对应的预测成本，以供后续步骤使用。于部分实施例中，画面内预测单元132也可以将每个画面内预测模式所对应的预测成本皆进行暂存。
在步骤S450中，可通过转换及量化单元110中的第一转换单元113、第二转换单元114以及量化单元115而基于所述当前区块以及步骤S430选择出的多个候选预测模式所对应的预测成本来进行位率失真最佳化(Rate-Distortion Optimization；RDO)检查以计算这些候选预测模式在多个转换索引(本实施例具备4个转换索引”0”至”3”)下所对应的多个失真成本。本公开实施例的失真成本是以图3中RDO阶段ST2中的子阶段ST23所述的位率失真成本来实现。换句话说，步骤S430的失真成本计算方式可参照图3中的RDO阶段ST2。
在步骤S460中，判断第二转换单元114中所设定的转换索引是否为最后一个转换索引(亦即，是否为转换索引”3”)。若第二转换单元114中所设定的转换索引并非为转换索引”3”，则从步骤S460进入步骤S470以将第二转换单元114中所设定的转换索引加1。并且，在转换索引加1之后，便回到步骤S450以计算在此NSST的转换索引的情况下各个候选预测成本所对应的失真成本。基于步骤S450至S470，本公开便可计算这些候选预测模式在不同的转换索引的情况下所对应的失真成本。
在步骤S480中，画面内预测单元134(或执行步骤S480的其他元件)可依据步骤S450计算得到的失真成本以从这些候选预测模式中选择其中之一来作为对应于所述当前区块的画面内预测的将使用预测模式。
表1是采用本公开实施例的视频压缩率以及图像质量的比较。表1中的“Y”、“U”、“V”为一种颜色编码方法。“Y”表示明亮度(Luminance)，“U”和“V”则分别表示色度(Chrominance)及浓度(Chroma)。
表1
测试图样 Y U V 编码时间(％)
图样A1 0.02％ -0.11％ 0.00％ 90％
图样A2 0.03％ -0.04％ 0.07％ 92％
图样B 0.02％ 0.07％ -0.04％ 91％
图样C 0.01％ -0.07％ -0.04％ 90％
图样D 0.03％ -0.14％ -0.01％ 92％
图样E 0.04％ 0.06％ -0.09％ 92％
平均 0.03％ -0.04％ -0.04％ 91％
表1是在使用本公开实施例以让视频编码后再行解码的图像与原本的图样相比对的结果。可看出经视频编码后的图像的Y、U、V值跟原本的图样相比差异十分微小，但编码时间则缩短了9％，可谓是大幅增加视频编码的处理速度。
综上所述，本公开实施例所述的画面内预测的模式选择法、视频编码装置及图像处理设备在进行画面内预测的预测模式选择时，将会先行把转换单元设定为预设的转换索引(例如，将转换单元设定为禁用第二转换单元且仅以第一转换单元进行残余值转换的操作模式)，再基于输入图像的区块来计算画面内预测中的每个预测模式所对应的预测成本，以从这些预测模式中选择多个候选预测模式。接着，利用候选预测模式对应的预测成本以及所述区块来从这些候选预测模式中找出具备最佳(例如，最低)失真成本的候选预测模式来做为将使用的预测模式。换句话说，本公开实施例不会针对转换单元中的不同操作模式(意即，依据不同的转换索引进行残余值转换的情况下)都分别计算出每个预测模式所对应的预测成本，而是针对转换单元中的预测操作模式(意即，依据预设转换索引进行残余值转换的情况下)计算一次画面内预测中每个预测模式所对应的预测成本。然后，则是通过上述预测成本配合转换单元在不同的转换索引进行残余值转换的情况来实现失真成本的计算，从而进行后续的候选预测模式的选择。藉此，本公开实施例可大幅减少对于预测成本的运算量、提升视频编码的效率及处理速度，同时可降低视频编码的硬件实作成本。
虽然本发明已以实施例公开如上，然其并非用以限定本发明，本领域技术人员在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视所附权利要求书界定范围为准。

Claims (20)

1.一种选择画面内预测的预测模式的方法，其特征在于，包括：
在转换单元依据预设转换索引进行操作的情况下，依据输入图像的区块来计算对画面内预测中的多个预测模式所对应的多个预测成本；
基于所述多个预测成本以从所述多个预测模式中选择多个候选预测模式；
基于所述区块以及所述多个候选预测模式所对应的所述预测成本来计算所述多个候选预测模式在多个转换索引下所对应的多个失真成本，其中所述预设转换索引为所述多个转换索引的其中之一；以及
依据所述失真成本以从所述多个候选预测模式中选择其中之一来作为对应于所述区块的画面内预测的将使用预测模式。
2.如权利要求1所述的方法，其特征在于，所述转换单元包括第一转换单元以及第二转换单元，且所述第二转换单元使用非分离式二次转换。
3.如权利要求2所述的方法，其特征在于，所述第二转换单元包括至少一个转换内核，
所述预设转换索引用以表示所述转换单元不使用所述第二转换单元来对所述区块的残余值进行转换的操作模式，除了所述预设转换索引以外的所述转换索引用以表示所述转换单元使用所述第二转换单元中至少一个转换内核的其中之一来对所述区块的所述残余值进行转换的操作模式。
4.如权利要求1所述的方法，其特征在于，以绝对变换插的和方式依据所述输入图像的所述区块来计算对所述画面内预测中的所述多个预测模式所对应的所述多个预测成本。
5.如权利要求1所述的方法，其特征在于，利用位率失真最佳化检查并基于所述区块以及所述多个候选预测模式所对应的所述预测成本来计算所述多个候选预测模式在所述多个转换索引下所对应的所述多个失真成本。
6.如权利要求1所述的方法，其特征在于，还包括：
在选择出所述多个候选预测模式之后，暂存所述候选预测模式所对应的所述预测成本。
7.如权利要求1所述的方法，其特征在于，使用所述画面内预测的视频编码为联合探索测试平台，且所述多个预测模式的数量大于所述多个候选预测模式的数量。
8.一种视频编码装置，其特征在于，包括：
转换单元，用以依据多个转换索引来转换输入图像的区块所对应的残余值；以及
画面内预测单元，耦接所述转换单元，在所述转换单元依据预设转换索引进行操作的情况下，所述画面内预测单元获得输入图像的区块并依据所述区块计算对画面内预测中的多个预测模式所对应的多个预测成本，其中所述预设转换索引为所述多个转换索引的其中之一，
所述画面内预测单元基于所述多个预测成本以从所述多个预测模式中选择多个候选预测模式，基于所述区块以及所述多个候选预测模式所对应的所述预测成本来计算所述多个候选预测模式在所述转换单元的所述多个转换索引下所对应的多个失真成本，并且依据所述失真成本以从所述多个候选预测模式中选择其中之一来作为对应于所述区块的画面内预测的将使用预测模式。
9.如权利要求8所述的视频编码装置，其特征在于，所述转换单元包括：
第一转换单元，对所述残余值进行第一转换；以及
第二转换单元，对已进行所述第一转换的所述残余值选择性地使用非分离式二次转换作为第二转换以产生已转换残余值。
10.如权利要求9所述的视频编码装置，其特征在于，所述转换单元包括至少一个转换内核，
所述预设转换索引用以表示所述转换单元不使用所述第二转换单元且使用所述第一转换单元来对所述残余值进行转换的操作模式，除了所述预设转换索引以外的所述转换索引用以表示所述转换单元使用所述第一转换单元以及所述第二转换单元中至少一个转换内核的其中之一来对所述残余值进行转换的操作模式。
11.如权利要求8所述的视频编码装置，其特征在于，所述画面内预测单元以绝对变换插的和方式依据所述区块计算对所述画面内预测中的所述多个预测模式所对应的所述多个预测成本。
12.如权利要求8所述的视频编码装置，其特征在于，所述画面内预测单元利用位率失真最佳化检查并基于所述区块以及所述多个候选预测模式所对应的所述预测成本来计算所述多个候选预测模式在所述多个转换索引下所对应的所述多个失真成本。
13.如权利要求8所述的视频编码装置，其特征在于，所述画面内预测单元在选择出所述多个候选预测模式之后暂存所述候选预测模式所对应的所述预测成本。
14.如权利要求8所述的视频编码装置，其特征在于，所述视频编码装置所使用的视频编码为联合探索测试平台，且所述多个预测模式的数量大于所述多个候选预测模式的数量。
15.一种图像处理设备，其特征在于，包括：
处理器；以及
存储器，耦接所述处理器，
其中所述处理器在依据预设转换索引以对残余值进行转换的情况下，依据输入图像的区块来计算对画面内预测中的多个预测模式所对应的多个预测成本，其中所述残余值对应所述区块，所述处理器基于所述多个预测成本以从所述多个预测模式中选择多个候选预测模式，基于所述区块以及所述多个候选预测模式所对应的所述预测成本来计算所述多个候选预测模式在多个转换索引下所对应的多个失真成本，其中所述预设转换索引为所述多个转换索引的其中之一，并且，
所述处理器依据所述失真成本以从所述多个候选预测模式中选择其中之一来作为对应于所述区块的画面内预测的将使用预测模式。
16.如权利要求15所述的图像处理设备，其特征在于，所述处理器对所述残余值进行第一转换，并对已进行所述第一转换的所述残余值使用非分离式二次转换作为第二转换以产生已转换残余值。
17.如权利要求16所述的图像处理设备，其特征在于，所述第二转换包括至少一个转换内核，
所述预设转换索引用以表示所述处理器不使用所述第二转换且使用所述第一转换来对所述残余值进行转换的操作模式，除了所述预设转换索引以外的所述转换索引用以表示所述处理器使用所述第一转换以及所述第二转换中至少一个转换内核的其中之一来对所述残余值进行转换的操作模式。
18.如权利要求15所述的图像处理设备，其特征在于，所述处理器以绝对变换插的和方式依据所述区块计算对所述画面内预测中的所述多个预测模式所对应的所述多个预测成本。
19.如权利要求15所述的图像处理设备，其特征在于，所述处理器利用位率失真最佳化检查并基于所述区块以及所述多个候选预测模式所对应的所述预测成本来计算所述多个候选预测模式在所述多个转换索引下所对应的所述多个失真成本。
20.如权利要求15所述的图像处理设备，其特征在于，所述处理器在选择出所述多个候选预测模式之后暂存所述候选预测模式所对应的所述预测成本，
并且，所述图像处理设备所使用的视频编码为联合探索测试平台，且所述多个预测模式的数量大于所述多个候选预测模式的数量。
CN201710910588.8A 2016-10-07 2017-09-29 选择画面内预测模式的方法、视频编码装置及处理设备 Pending CN107920247A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017193720A JP2018078545A (ja) 2016-10-07 2017-10-03 画面内予測の予測モードを選択する方法、ビデオ符号化デバイス及び画像処理装置
US15/725,300 US20180103251A1 (en) 2016-10-07 2017-10-05 Method for selecting prediction mode of intra prediction, video encoding device and image processing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201662405252P 2016-10-07 2016-10-07
US62/405,252 2016-10-07

Publications (1)

Publication Number Publication Date
CN107920247A true CN107920247A (zh) 2018-04-17

Family

ID=61898684

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710910588.8A Pending CN107920247A (zh) 2016-10-07 2017-09-29 选择画面内预测模式的方法、视频编码装置及处理设备

Country Status (2)

Country Link
CN (1) CN107920247A (zh)
TW (1) TW201815164A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110418132A (zh) * 2018-04-27 2019-11-05 晨星半导体股份有限公司 帧内预测模式决定装置与帧内预测模式决定方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1695382A (zh) * 2002-11-01 2005-11-09 诺基亚有限公司 用于图像编码转换的方法和设备
US20120201303A1 (en) * 2009-10-23 2012-08-09 Huawei Technologies Co., Ltd. Method and device for encoding and decoding videos
US20130188692A1 (en) * 2012-01-25 2013-07-25 Yi-Jen Chiu Systems, methods, and computer program products for transform coefficient sub-sampling
CN104170379A (zh) * 2011-10-24 2014-11-26 码间私人有限公司 用于图像解码的方法和装置
CN105323589A (zh) * 2014-07-23 2016-02-10 晨星半导体股份有限公司 应用于视频系统的编码/解码方法及编码/解码装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1695382A (zh) * 2002-11-01 2005-11-09 诺基亚有限公司 用于图像编码转换的方法和设备
US20120201303A1 (en) * 2009-10-23 2012-08-09 Huawei Technologies Co., Ltd. Method and device for encoding and decoding videos
CN104170379A (zh) * 2011-10-24 2014-11-26 码间私人有限公司 用于图像解码的方法和装置
US20130188692A1 (en) * 2012-01-25 2013-07-25 Yi-Jen Chiu Systems, methods, and computer program products for transform coefficient sub-sampling
CN105323589A (zh) * 2014-07-23 2016-02-10 晨星半导体股份有限公司 应用于视频系统的编码/解码方法及编码/解码装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIANLE CHEN 等: "Algorithm Description of Joint Exploration Test Model 3", 《JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110418132A (zh) * 2018-04-27 2019-11-05 晨星半导体股份有限公司 帧内预测模式决定装置与帧内预测模式决定方法

Also Published As

Publication number Publication date
TW201815164A (zh) 2018-04-16

Similar Documents

Publication Publication Date Title
US10142652B2 (en) Entropy coding motion vector residuals obtained using reference motion vectors
US20220353534A1 (en) Transform Kernel Selection and Entropy Coding
US10362329B2 (en) Video coding using reference motion vectors
CN105284111B (zh) 运动图像编码装置、运动图像解码装置、运动图像编码方法、运动图像解码方法、及程序
WO2016138779A1 (zh) 帧内编解码方法、编码器和解码器
CN102932642B (zh) 一种帧间编码快速模式选择方法
CN108495135A (zh) 一种屏幕内容视频编码的快速编码方法
CN106713932A (zh) 图像解码方法
CN105933717A (zh) 一种编码单元的模式决策方法和装置
CN107027032A (zh) 最后帧运动向量分区
EP3729810B1 (en) Motion vector coding using residual block energy distribution
US20180103251A1 (en) Method for selecting prediction mode of intra prediction, video encoding device and image processing apparatus
CN106165420A (zh) 用于显示流压缩(dsc)的平度检测的系统及方法
CN107231557A (zh) 用于在视频编码中的高级帧内预测的递归块分区中的智能重排
US20200021855A1 (en) Context Derivation for Coefficient Coding
CN107277506A (zh) 一种基于自适应运动矢量精度的运动矢量精度快速选择方法及装置
WO2014058796A1 (en) Method and apparatus for video coding using reference motion vectors
CN103313055B (zh) 一种基于分割的色度帧内预测方法、及视频编码解码方法
CN106797447A (zh) 颜色索引图压缩装置和方法
CN113573056A (zh) 一种率失真优化量化的方法、装置、存储介质及终端
CN107920247A (zh) 选择画面内预测模式的方法、视频编码装置及处理设备
CN101600111B (zh) 一种实现自适应插值滤波二次编码的搜索方法
CN109688411B (zh) 一种视频编码率失真代价估计方法和装置
US10547869B2 (en) Template-based entropy coding of quantized transform coefficients
CN110035288A (zh) 对视频序列进行编码的方法、编码装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180417