CN112055209A - 图像编码方法及图像处理装置、计算机可读存储介质 - Google Patents

图像编码方法及图像处理装置、计算机可读存储介质 Download PDF

Info

Publication number
CN112055209A
CN112055209A CN202010782344.8A CN202010782344A CN112055209A CN 112055209 A CN112055209 A CN 112055209A CN 202010782344 A CN202010782344 A CN 202010782344A CN 112055209 A CN112055209 A CN 112055209A
Authority
CN
China
Prior art keywords
intra
block
coded
prediction
prediction mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010782344.8A
Other languages
English (en)
Inventor
林聚财
江东
张雪
方瑞东
殷俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010782344.8A priority Critical patent/CN112055209A/zh
Publication of CN112055209A publication Critical patent/CN112055209A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开了一种图像编码方法及图像处理装置、计算机可读存储介质。其中，所述图像编码方法包括：根据待编码块所适用的预设预测编码技术构建所述预设预测编码技术对应的列表；其中，所述预设预测编码技术包括至少一种预测编码技术，所述列表列出有所述预设预测编码技术对应的可选项中的至少部分可选项；基于所述列表从所述预设预测编码技术对应的可选项中选出所述待编码块的预测信息，以对所述待编码块进行编码。上述方案，能够提升编码压缩率。

Description

图像编码方法及图像处理装置、计算机可读存储介质
技术领域
本申请涉及图像编解码技术领域，特别是涉及一种图像编码方法及图像处理装置、计算机可读存储介质。
背景技术
由于视频图像的数据量较大，对视频图像进行编解码的目的是为了对视频图像进行压缩，以减小传输流量或存储空间。视频图像的编解码系统主要包括编码、传输和解码三大部分，视频图像编码部分主要应用了块划分、预测、变换、量化等技术。
其中，预测技术包括帧内预测、帧间预测、块复制(IBC)技术、串匹配(SP)技术等，几个技术之间的关系为并列关系。编码器对每个待编码块选择最优的预测技术以及该技术下具体的预测模式并传递给解码端，解码端根据编码端选择的预测技术和具体预测模式进行解码过程，得到重建块。在预测技术中，块复制技术、串匹配技术是帧间预测技术向帧内预测技术的延伸，这两种技术与帧间预测技术的相同之处在于都有运动矢量(MV)指导待编码块的预测，因此，本申请将此类技术统称为基于运动信息的预测技术。
在现有的编码技术的预测过程中，有关列表构建的方式是较为固定的，而对于不同的块采用相同的列表构建方式，会导致块内信息不能充分利用，从而造成冗余。
发明内容
本申请主要解决的技术问题是提供一种图像编码方法及图像处理装置、计算机可读存储介质，能够提升编码压缩率。
为了解决上述问题，本申请第一方面提供了一种图像编码方法，所述方法包括：根据待编码块所适用的预设预测编码技术，构建与所述预设预测编码技术相对应的列表；其中，所述预设预测编码技术包括至少一种预测编码技术，所述列表列出有所述预设预测编码技术对应的可选项中的至少部分可选项；基于所述列表从所述预设预测编码技术对应的可选项中选出所述待编码块的预测信息，以对所述待编码块进行编码。
为解决上述问题，本申请第二方面提供了一种图像处理装置，所述图像处理装置包括相互连接的处理器和存储器，所述存储器用于存储程序指令，所述处理器用于执行所述程序指令以实现上述第一方面的图像编码方法。
为解决上述问题，本申请第三方面提供了一种计算机可读存储介质，其上存储有程序指令，所述程序指令被处理器执行时实现上述第一方面的图像编码方法。
本发明的有益效果是：区别于现有技术的情况，本申请根据待编码块所适用的预设预测编码技术，构建与所述预设预测编码技术相对应的列表，其中，所述预设预测编码技术包括至少一种预测编码技术，所述列表列出有所述预设预测编码技术对应的可选项中的至少部分项，基于所述列表从所述预设预测编码技术对应的可选项中选出所述待编码块的预测信息，以对所述待编码块进行编码。通过上述方式，对于不同的块可以选择构建不同的更适合当前块的列表，通过构建合适的列表，可以提升编码压缩率。
附图说明
图1是本申请图像编码方法一实施例的流程示意图；
图2是图1中步骤S11第一实施例的流程示意图；
图3是一应用场景中待编码块的相邻块的位置示意图；
图4是图1中步骤S11第二实施例的流程示意图；
图5是一应用场景中帧内预测模式的预测角度方向及序号的分布示意图；
图6是图1中步骤S11第三实施例的流程示意图；
图7是图1中步骤S11第四实施例的流程示意图；
图8是本申请图像处理装置一实施例的结构示意图；
图9是本申请图像处理装置另一实施例的结构示意图；
图10是本申请计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
请参阅图1，图1是本申请图像编码方法一实施例的流程示意图。本实施例中的图像编码方法，包括以下步骤：
S11：根据待编码块所适用的预设预测编码技术，构建与所述预设预测编码技术相对应的列表。其中，所述预设预测编码技术包括至少一种预测编码技术，所述列表列出有所述预设预测编码技术对应的可选项中的至少部分可选项。
对于一帧图像，一般是将其划分为多个CU(编码单元)块，分别对每个CU块单独进行编码，本申请的待编码块即为CU块。可以理解的是，当待编码块满足预设预测编码技术的使用条件时，则可以选择在该预设预测编码技术下的预测信息来对该待编码块进行编码；而一个CU块在预设预测编码技术下可能对应有多个可选项，因此，可以通过构建预设预测编码技术对应的列表来列出更可能被选中的项。现有的编码技术的预测过程中，通常只对待编码块适用的某一种预测编码技术进行构建列表，而没有考虑在待编码块可能适用多种预测编码技术时，其列表的构建方法，从而可能出现不同的块采用了相同的列表构建方式，使得部分块的列表并非是最合适的；而本实施例中的预设预测编码技术可以包括至少一种预测编码技术，因此当预设预测编码技术包括一种预测编码技术时，则构建该预测编码技术对应的列表，而当预设预测编码技术包括多种预测编码技术时，则构建每种预测编码技术所对应的列表，因此可以构建出合适于待编码块的列表。
在一实施例中，预设预测编码技术包括帧内预测技术、基于运动信息的预测技术和merge预测技术中的至少一种。可以理解的是，这三类预测技术可以自由组合；例如，待编码块可能只满足某一预测技术的使用条件，此时，可以构建该预测技术对应的列表；又例如，待编码块也可能满足所有预测技术的使用条件，此时，则可以构建所有预测技术对应的列表。
S12：基于列表，从预设预测编码技术对应的可选项中选出待编码块的预测信息，以对待编码块进行编码。
在构建出预设预测编码技术对应的列表后，通过遍历该预设预测编码技术下对应的所有可选项，对每一种可选项进行预测并计算各个可选项的代价值，最后通过比较各个可选项的代价值，选取一个最优的可选项(代价值最小的)作为待编码块的预测信息，由于构建出的列表中列出了更可能被选中的项，即最优的可选项极大可能在构建出的列表中，因此通过将更可能被选中的项列在列表中可以节省码流传输。
本实施例中，根据待编码块所适用的预设预测编码技术构建预设预测编码技术对应的列表，基于列表从预设预测编码技术对应的可选项中选出待编码块的预测信息，对于不同的块来说可以选择构建不同的更适合当前块的列表，通过构建合适的列表，可以提升编码压缩率。
具体地，请参阅图2，图2是图1中步骤S11第一实施例的流程示意图。本实施例中，上述预设预测编码技术包括帧内预测技术，预设预测编码技术对应的列表包括帧内预测模式候选列表，预设预测编码技术对应的可选项包括可选帧内预测模式，待编码块的预测信息包括待编码块的预测模式；在帧内预测过程中，可以根据待编码块的时空域维度的附近块的模式信息来构建帧内预测模式候选列表，其过程主要包括得到帧内预测候选模式来填充帧内预测模式候选列表、对帧内预测模式候选列表进行调整。帧内预测模式候选列表的列表长度可以根据经验设定；此时，上述步骤S11包括：
S111：选取所述待编码块的时空域的附近块的相关预测模式作为帧内预测候选模式。
S112：将帧内预测候选模式按照第一预设填充顺序填充到帧内预测模式候选列表。
本实施例中，将填充帧内预测模式候选列表的帧内预测候选模式定义为帧内预测候选模式。具体地，可以通过下列几种方式中的一种或多种来获取帧内预测候选模式，以实现对帧内预测模式候选列表的填充，另外，可以在填充过程中加入查重过程，以避免重复填充。
作为一种可实施方式，若待编码块的相邻块中存在采用帧内预测技术的第一已编码块，则获取第一已编码块的预测模式作为帧内预测候选模式。此时待编码块的相邻块为该待编码块在空域下的附近块，可以理解的是，待编码块任何一个相邻的已编码块中，若存在采用帧内预测的已编码块，将此处采用帧内预测的已编码块定义为第一已编码块，则可以获取第一已编码块的预测模式，并作为帧内预测候选模式来填充帧内预测模式候选列表。
作为一种可实施方式，在待编码块的图像帧为P帧或B帧时，获取待编码块的图像帧的参考帧列表中的任意帧，若任意帧中存在采用帧内预测技术的与待编码块位置相同的块，则获取与待编码块位置相同的块的预测模式作为帧内预测候选模式。此时，与待编码块位置相同的块为该待编码块在时域下的附近块，可以理解的是，如果待编码块为P帧或B帧的块，则可获取其参考帧列表中的其他帧中任何一可获取到的帧在相同位置的块的信息，若相同位置的块采用帧内预测，则可获取与待编码块位置相同的块的帧内预测模式来作为帧内预测候选模式并填充帧内预测模式候选列表。
作为一种可实施方式，统计各可选帧内预测模式的出现概率，将出现概率满足预设范围的可选帧内预测模式作为帧内预测候选模式。可以理解的是，也可以通过统计得到出现概率满足条件的几种可选帧内预测模式，例如某些可选帧内预测模式的出现概率较大，例如DC模式、Planar模式、Bi模式等，则可认为这些可选帧内预测模式可以作为帧内预测候选模式来填充帧内预测模式候选列表。
作为一种可实施方式，若待编码块的周围存在第二已编码块，则获取第二已编码块的重建像素作为待编码块的参考像素，通过对待编码块的参考像素进行纹理特征提取得到一个方向特征，通过计算方向特征与各可选帧内预测模式的角度方向之间的距离，选取与方向特征最接近的可选帧内预测模式作为帧内预测候选模式。可以理解的是，若待编码块周围存在已编码块，将此处的已编码块定义为第二已编码块，则可以获取第二已编码块的重建像素来作为待编码块的参考像素，然后通过对参考像素进行纹理特征提取而得到一个方向特征，再通过计算该方向特征与帧内预测下的各可选帧内预测模式的角度方向之间的距离，选取距离最近时对应的可选帧内预测模式来作为帧内预测候选模式，并填充帧内预测模式候选列表。
作为一种可实施方式，还可以通过帧内预测模式候选列表中已经存在的帧内预测模式，生成预选帧内预测模式；对预选帧内预测模式在帧内预测模式候选列表中进行查重，若不存在重复模式，则将预选帧内预测模式作为帧内预测候选模式。可以理解的是，通过前述的方式，可以对帧内预测模式候选列表进行填充，此时帧内预测模式候选列表中已经存在了一些帧内预测模式，对这些在帧内预测模式候选列表中已经存在的帧内预测模式，通过第一预设生成方法可以生成一种可选帧内预测模式，将其定义为预选帧内预测模式，对生成的该预选帧内预测模式在帧内预测模式候选列表中进行查重过程，如果没有发现帧内预测模式候选列表中存在重复的模式，则可以将该预选帧内预测模式作为帧内预测候选模式，并填充帧内预测模式候选列表。
进一步地，上述第一预设生成方法可以包括：采用聚类的方法得到帧内预测模式候选列表中已经存在的帧内预测模式的角度方向的聚类中心，获取距离聚类中心最近的可选帧内预测模式作为预选帧内预测模式。可以理解的是，对于帧内预测模式候选列表中存在的所有的帧内预测模式，通过聚类的方法得到列表中存在的所有的帧内预测模式的角度方向的聚类中心，在帧内预测下的各可选帧内预测模式中，选取与聚类中心最近的可选帧内预测模式作为预选帧内预测模式。
进一步地，上述第一预设生成方法还可以包括：对帧内预测模式候选列表中已经存在的帧内预测模式的角度方向进行加权平均，得到加权平均后的角度方向，获取与加权平均后的角度方向最接近的可选帧内预测模式作为预选帧内预测模式；加权平均后的角度方向与帧内预测模式候选列表中已经存在的帧内预测模式的角度方向之间的关系为：
Figure BDA0002620700660000071
其中，d为加权平均后的角度方向，a1、a2……an表示各个帧内预测模式候选列表中已经存在的帧内预测模式的角度方向的系数，d1、d2……dn表示各个帧内预测模式候选列表中已经存在的帧内预测模式的角度方向。
可以理解的是，通过上述公式对帧内预测模式候选列表中已经存在的帧内预测模式的角度方向进行加权平均，得到加权平均后的角度方向d后，在帧内预测下的各可选帧内预测模式中，选择一个与加权平均后的角度方向d最接近的可选帧内预测模式作为预选帧内预测模式。其中非角度模式可以不参与比较，或设置非角度模式为零角度参与计算选择。
在一实施例中，上述第一预设填充顺序可以是固定的填充顺序。例如可通过经验对上述方式得到的帧内预测候选模式以任一固定的填充顺序填充到帧内预测模式候选列表。
在一实施例中，采用上述第一预设填充顺序进行排序的方法包括：根据待编码块的纹理信息得到预测角度方向，将帧内预测模式候选列表中的帧内预测模式按照与预测角度方向的接近程度进行依次排序。可以理解的是，通过分析待编码块的纹理信息得到预测角度方向，以此调整帧内预测模式候选列表中的模式顺序，将更接近该预测角度方向的预测模式排在列表的前面。
上述实施例中，通过在帧内预测过程中，提供了根据相邻时空域上的已编码块构建帧内预测模式候选列表的几种方法，并提供了多种选择帧内预测候选模式的方法，丰富了候选模式的选择方式，同时可根据块自适应地调整候选模式的顺序，构建更有效的候选列表，从而提升编码效率；另外，对于没有选择帧内预测模式候选列表中的预测模式的情况，通过构建帧内预测模式序号列表的方式实现根据块信息自适应调整模式序号，达到了节省模式传输码流、提升编码效率的目的。
请参阅图3，图3是一应用场景中待编码块的相邻块的位置示意图。本应用场景中，设定帧内预测模式候选列表的列表长度为4，通过帧内预测候选模式的获取过程和帧内预测候选模式的顺序确定过程来构建帧内预测模式候选列表。首先确认采用待编码块的空域的相邻位置块的预测模式以及DC模式来对帧内预测模式候选列表填充；如图3所示，待编码块的空域的相邻位置块为待编码块周围的几个位置的已编码块，若这几个位置的已编码块的预测模式为帧内预测模式，则这几个位置的已编码块的预测模式可用来填充帧内预测模式候选列表；假设A块到G块所有块都是帧内预测，并且已编码完成，则可以获得A块到G块的帧内预测模式，假设这些帧内预测模式都不重复，且都不是DC模式，则当前共可以获得7个不同的帧内预测模式来作为帧内预测候选模式。然后可以利用Sobel算子计算待编码块周围的A块到G块中，每块的平均水平梯度和平均垂直梯度，再将所有梯度取平均，得到一个水平梯度大小和一个垂直梯度大小，利用计算出的水平梯度大小和垂直梯度大小组成的角度方向向量作为纹理特征，该纹理特征作为待编码块的纹理信息，利用此纹理信息可以调整帧内预测模式候选列表中的帧内预测候选模式的顺序；按照可填充帧内预测模式候选列表的候选模式与待编码块之间的纹理特征方向的接近程度来对候选模式进行排序，例如前述的7个不同的帧内预测模式中，除了DC模式以外，与纹理特征方向最接近的前3种模式按顺序依次为C块的模式、D块的模式、F块的模式，同时设定了将DC模式填充至帧内预测模式候选列表的最后一位，则最后得到的帧内预测模式候选列表按顺序依次为C块模式、D块模式、F块模式、DC模式。
请参阅图4，图4是图1中步骤S11第二实施例的流程示意图。本实施例中，上述预设预测编码技术对应的列表还包括帧内预测模式序号列表。在帧内预测过程中，先获取待编码块需要参考的参考像素的像素值，这些参考像素通过相邻块的重建得到，后续用这些参考像素来预测当前的待编码块；接着构建帧内预测模式候选列表，如果后续选择的预测模式是帧内预测模式候选列表中的模式，则直接传输选择的预测模式在帧内预测模式候选列表中的序号给解码端，如果选择的预测模式不是帧内预测模式候选列表中的模式，则需要传输该模式的序号。本实施例中，构建帧内预测模式序号列表针对的是帧内预测模式候选列表之外的可选帧内预测模式，为这些可选帧内预测模式设置序号，当编码器没有选择帧内预测模式候选列表中的模式时，则将在帧内预测模式候选列表之外的可选帧内预测模式中选择并传递其设置的序号给解码端。此时，上述步骤S11包括：
S121：选取所述待编码块的时空域的附近块的相关预测模式作为帧内预测候选模式。
S122：将帧内预测候选模式按照第一预设填充顺序填充到帧内预测模式候选列表。
本实施例中的步骤S121和步骤S122与前述实施例中的步骤S111和步骤S112基本类似，此处不再赘述。
S123：将位于帧内预测模式候选列表之外的可选帧内预测模式按照第二预设填充顺序填充到帧内预测模式序号列表。
具体地，对于帧内预测下的所有可选帧内预测模式中，获取位于帧内预测模式候选列表之外的所有可选帧内预测模式，以实现对帧内预测模式序号列表的填充。
在一实施例中，采用上述第二预设填充顺序进行排序的方法包括：根据待编码块的纹理信息得到预测角度方向，将帧内预测模式序号列表中的帧内预测模式按照与预测角度方向的接近程度进行依次排序。可以理解的是，通过分析待编码块的纹理信息得到预测角度方向，以此调整帧内预测模式序号列表中的模式顺序，将更接近该预测角度方向的预测模式排在列表的前面。
在一实施例中，根据待编码块的大小来对帧内预测模式序号列表中的帧内预测模式进行排序。可以根据块的大小来设置模式序号，例如，宽高比更大的块更接近垂直方向的预测角度，将越接近该预测角度方向的预测模式的序号设置得越小，以排在列表的前面。
请参阅图5，图5是一应用场景中帧内预测模式的预测角度方向及序号的分布示意图。在一应用场景中，AVS3标准中的帧内预测模式为66种，序号为0，1，……，65，其中3-32和34-65为角度模式，其中序号12为垂直预测模式，序号24为水平预测模式。如图5所示，在构建帧内预测模式序号列表时，可以根据块的大小自适应调整角度模式序号，例如当块的宽：高＝8：1时，则认为水平模式为最优模式的概率更大，因此构建的帧内预测模式序号列表为0，1，24，……，23，3，25……，在传输时则需要传输预测模式在此列表下的位置序号；也可以根据块的纹理信息来构建帧内预测模式序号列表，具体根据纹理特征分析得到与纹理特征方向最接近的帧内预测候选模式，例如得到纹理特征方向为垂直方向，则构建的列表将与垂直方向距离更近的帧内预测候选模式放在列表前面，距离相同的模式可先在列表中填充其左边的模式或另外用列表记录其左右位置，例如选择先在列表中填充左边再填充右边的方式，上面的帧内预测模式中非角度模式可构建的帧内预测模式序号列表为12，43，44，42，45，……，65，31，32，在传输时，传输预测模式在此列表中的位置序号即可。
请参阅图6，图6是图1中步骤S11第三实施例的流程示意图。本实施例中，上述预设预测编码技术包括基于运动信息的预测技术，预设预测编码技术对应的列表包括MV候选列表，预设预测编码技术对应的可选项包括MV候选列表中的候选MV，待编码块的预测信息包括待编码块的MV；在基于运动信息的预测过程中，通过构建MV候选列表，使编码端可以从MV候选列表中选择合适的MV，通过传递此MV在MV候选列表中的位置，将当前过程中选择的MV传递给解码端。本实施例中，上述步骤S11包括：
S131：将待编码块的时空域附近的已编码块选择的MV和/或采用过的历史MV作为候选MV。
S132：将候选MV按照第三预设填充顺序填充到MV候选列表。
例如，待编码块任何一个相邻的已编码块中，若存在采用基于运动信息的预测技术的已编码块，则可以获取该已编码块选择的MV，将其作为候选MV来填充MV候选列表。又例如，在待编码块的图像帧为P帧或B帧时，获取待编码块的图像帧的参考帧列表中的任意帧，若任意帧中存在采用基于运动信息的预测技术的与待编码块位置相同的块，则获取与待编码块位置相同的块选择的MV作为候选MV。又例如，可以记录已经采用过的历史MV，将历史MV作为候选MV来填充MV候选列表。
作为一种可实施方式，还可以利用MV候选列表中已经存在的MV生成新的MV，将新的MV作为候选MV。可以理解的是，通过前述的方式，可以对MV候选列表进行填充，此时MV候选列表中已经存在了一些MV，对这些在MV候选列表中已经存在的MV，通过第二预设生成方法可以生成新的MV，将该新的MV作为候选MV，并填充MV候选列表。
进一步地，上述第二预设生成方法可以包括：利用精度限制，根据MV候选列表中已有的MV得到量化后的新的MV。例如，将精度为1/4的MV量化到精度为1/2，或者将整像素精度的MV量化到4倍整像素精度，将得到的新的MV加入MV候选列表。
进一步地，上述第二预设生成方法可以包括：利用MV候选列表中已有的MV，通过下列公式得到新的MV：
MV＝f(MV1)+f(MV2)+···+f(MVn)；
Figure BDA0002620700660000111
例如，当公式中bi＝1,
Figure BDA0002620700660000112
所以得到的新的MV为：
Figure BDA0002620700660000113
又例如，当公式中bi＝1,ai通过预先设置时，例如得到新的MV为：
Figure BDA0002620700660000114
将计算出的新的MV填至MV候选列表。
在一实施例中，采用上述第三预设填充顺序进行排序的方法包括：将MV候选列表中的MV进行聚类，根据每类中MV的数量对MV候选列表中的MV进行排序。可以理解的是，通过选定合适的方法将MV候选列表中的MV进行聚类和计数，根据每类中MV数量的多少来对MV进行排序，将MV数量更多的类别中的MV排在列表的前面。例如，AVS3标准中，帧间预测direct模式下MV候选列表的构建过程中，将构建好的MV候选列表中数量多的MV排在列表前面，数量少的MV排在列表后面。
在另一实施例中，采用上述第三预设填充顺序进行排序的方法包括：根据待编码块的纹理信息与附近的已编码块的纹理信息的接近程度，对MV候选列表中附近的已编码块选择的MV进行排序。可以理解的是，利用计算梯度相关方法来计算待编码块的周边已编码块的梯度信息，以此作为待编码块的纹理信息，将待编码块的纹理信息与周边已编码块的纹理信息进行比较，根据两个纹理信息的接近程度来调整周边已编码块选择的MV的顺序，将更接近待编码块的纹理信息的周边已编码块选择的MV排在列表的前面。例如，AVS3标准中，帧间预测direct模式下MV候选列表的构建过程中，调整根据待编码块的空域的相邻块得到的候选MV的顺序，具体计算根据空间相邻位置获取的MV对应的待编码块的相邻块的纹理特征，与利用计算待编码块的参考像素梯度得到的待编码块的纹理特征进行比较，将与待编码块的纹理相近的相邻块对应的MV放在列表这一部分的前面，依此方法来调整列表顺序。
在其他实施例中，当然也可以对MV候选列表的列表长度进行调整。
上述实施例中，在基于运动信息的预测过程中，提供了构建并调整MV候选列表的若干方法，丰富了MV候选列表的填充方式，构建了更有效的MV候选列表以减少码流传输。
请参阅图7，图7是图1中步骤S11第四实施例的流程示意图。本实施例中，上述预设预测编码技术包括merge预测技术，预设预测编码技术对应的列表包括merge预测候选列表，预设预测编码技术对应的可选项包括merge预测候选列表中的预测模式，待编码块的预测信息包括待编码块的预测模式；在帧内预测或基于运动信息的预测过程中，选取待编码块的时域或空域的附近位置的已编码块，按照顺序将所有已编码块的预测模式填充至merge预测候选列表，通过遍历merge预测候选列表中的预测模式，以选择最优的预测模式，若编码端最终选择merge预测技术，则传输merge预测候选列表中的最优的预测模式在该列表中的序号。本实施例中，上述步骤S11包括：
S141：选取所述待编码块的时空域附近的已编码块的预测模式和/或选择的MV及参考方向和索引作为merge候选模式。
S142：将所述merge候选模式按照第四预设填充顺序填充到所述merge预测候选列表。
可以理解的是，在merge预测候选列表中的预测模式可以为任一种预测模式，包括帧内、帧间、IBC、SP等预测技术下的预测模式。如果在merge预测候选列表构建下使用基于运动信息的预测技术，则需要获取MV的参考方向和索引，merge预测候选列表在填充时，MV的参考方向和索引可以来自已有的MV的参考方向和索引，或者设定为固定参考方向和索引。在一应用场景中，可以按照图3中块A-G设定的顺序遍历待编码块的空域的附近已编码块所选择的预测方式，同时构建merge预测候选列表；例如待编码块选择D块的预测模式时代价最小，则传输D块的预测模式在merge预测候选列表中的序号。
上述实施例中，通过在预测过程中，提供了merge预测候选列表的构建方法，在选择预测技术的过程中增加merge预测候选列表，选取待编码块的时空域附近的已编码块的预测模式，可进一步减少其模式序号传输码流大小。
请参阅图8，图8是本申请图像处理装置一实施例的结构示意图。本实施例中的图像处理装置80包括相互耦接的存储器800和处理器802；存储器800用于存储程序指令，处理器802用于执行存储器800中存储的程序指令，以实现上述任一实施例中的图像编码方法的步骤。
请参阅图9，图9是本申请图像处理装置另一实施例的结构示意图。本实施例中的图像处理装置90包括：列表构建模块900，用于根据待编码块所适用的预设预测编码技术构建所述预设预测编码技术对应的列表；模式选择执行模块902，用于基于所述列表从所述预设预测编码技术对应的可选项中选出所述待编码块的预测信息，以对所述待编码块进行编码。
关于本申请图像处理装置实现图像编码方法的具体内容请参阅上述图像编码方法实施例中的内容，此处不再赘述。
请参阅图10，图10是本申请计算机可读存储介质一实施例的结构示意图。本申请计算机可读存储介质10上存储有程序指令100，程序指令100被处理器执行时实现上述任一图像编码方法的实施例中的步骤。
该计算机可读存储介质10具体可以为U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等可以存储程序指令100的介质，或者也可以为存储有该程序指令100的服务器，该服务器可将存储的程序指令100发送给其他设备运行，或者也可以自运行该存储的程序指令100。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。上述的处理器可以是通用处理器，包括中央处理器(CentralProcessing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (15)

1.一种图像编码方法，其特征在于，所述方法包括：
根据待编码块所适用的预设预测编码技术，构建与所述预设预测编码技术相对应的列表；其中，所述预设预测编码技术包括至少一种预测编码技术，所述列表列出有所述预设预测编码技术对应的可选项中的至少部分可选项；
基于所述列表，从所述预设预测编码技术对应的可选项中选出所述待编码块的预测信息，以对所述待编码块进行编码。
2.根据权利要求1所述的编码方法，其特征在于，所述预设预测编码技术包括帧内预测技术、基于运动信息的预测技术和merge预测技术中的至少一种。
3.根据权利要求2所述的编码方法，其特征在于，当所述预设预测编码技术包括所述帧内预测技术时，所述预设预测编码技术对应的列表包括帧内预测模式候选列表，所述预设预测编码技术对应的可选项包括可选帧内预测模式，所述待编码块的预测信息包括所述待编码块的预测模式；
所述根据待编码块所适用的预设预测编码技术，构建与所述预设预测编码技术相对应的列表的步骤，包括：
选取所述待编码块的时空域的附近块的相关预测模式作为帧内预测候选模式；
将所述帧内预测候选模式按照第一预设填充顺序填充到所述帧内预测模式候选列表。
4.根据权利要求3所述的编码方法，其特征在于，所述选取所述待编码块的时空域的附近块的相关预测模式作为帧内预测候选模式的步骤，包括：
若所述待编码块的相邻块中存在采用帧内预测技术的第一已编码块，则获取所述第一已编码块的预测模式作为所述帧内预测候选模式；
和/或，在所述待编码块的图像帧为P帧或B帧时，获取所述待编码块的图像帧的参考帧列表中的任意帧，若所述任意帧中存在采用帧内预测技术的与所述待编码块位置相同的块，则获取所述与所述待编码块位置相同的块的预测模式作为所述帧内预测候选模式；
和/或，统计各可选帧内预测模式的出现概率，将出现概率满足预设范围的可选帧内预测模式作为所述帧内预测候选模式；
和/或，若所述待编码块的周围存在第二已编码块，则获取所述第二已编码块的重建像素作为所述待编码块的参考像素，通过对所述待编码块的参考像素进行纹理特征提取得到一个方向特征，通过计算所述方向特征与各可选帧内预测模式的角度方向之间的距离，选取与所述方向特征最接近的可选帧内预测模式作为所述帧内预测候选模式。
5.根据权利要求4所述的编码方法，其特征在于，所述方法还包括：
通过所述帧内预测模式候选列表中已经存在的帧内预测模式，生成预选帧内预测模式；
对所述预选帧内预测模式在所述帧内预测模式候选列表中进行查重，若不存在重复模式，则将所述预选帧内预测模式作为所述帧内预测候选模式。
6.根据权利要求5所述的编码方法，其特征在于，所述通过所述帧内预测模式候选列表中已经存在的帧内预测模式，生成预选帧内预测模式的步骤，包括：
采用聚类的方法得到所述帧内预测模式候选列表中已经存在的帧内预测模式的角度方向的聚类中心，获取距离所述聚类中心最近的可选帧内预测模式作为所述预选帧内预测模式；
和/或，对所述帧内预测模式候选列表中已经存在的帧内预测模式的角度方向进行加权平均，得到加权平均后的角度方向，获取与所述加权平均后的角度方向最接近的可选帧内预测模式作为所述预选帧内预测模式；所述加权平均后的角度方向与所述帧内预测模式候选列表中已经存在的帧内预测模式的角度方向之间的关系为：
Figure FDA0002620700650000021
其中，d为所述加权平均后的角度方向，a1、a2……an表示各个所述帧内预测模式候选列表中已经存在的帧内预测模式的角度方向的系数，d1、d2……dn表示各个所述帧内预测模式候选列表中已经存在的帧内预测模式的角度方向。
7.根据权利要求3所述的编码方法，其特征在于，所述方法还包括：
根据所述待编码块的纹理信息得到预测角度方向，将所述帧内预测模式候选列表中的帧内预测模式按照与所述预测角度方向的接近程度进行依次排序。
8.根据权利要求3所述的编码方法，其特征在于，所述预设预测编码技术对应的列表还包括帧内预测模式序号列表；
所述根据待编码块所适用的预设预测编码技术，构建与所述预设预测编码技术相对应的列表的步骤，还包括：
将位于所述帧内预测模式候选列表之外的可选帧内预测模式按照第二预设填充顺序填充到所述帧内预测模式序号列表。
9.根据权利要求8所述的编码方法，其特征在于，所述方法还包括：
根据所述待编码块的纹理信息得到预测角度方向，将所述帧内预测模式序号列表中的帧内预测模式按照与所述预测角度方向的接近程度进行依次排序；
或，根据所述待编码块的大小来对所述帧内预测模式序号列表中的帧内预测模式进行排序。
10.根据权利要求2所述的编码方法，其特征在于，当所述预设预测编码技术包括所述基于运动信息的预测技术时，所述预设预测编码技术对应的列表包括MV候选列表，所述预设预测编码技术对应的可选项包括所述MV候选列表中的候选MV，所述待编码块的预测信息包括所述待编码块的MV；
所述根据待编码块所适用的预设预测编码技术，构建与所述预设预测编码技术相对应的列表的步骤，包括：
将所述待编码块的时空域附近的已编码块选择的MV和/或采用过的历史MV作为候选MV；
将所述候选MV按照第三预设填充顺序填充到所述MV候选列表。
11.根据权利要求10所述的编码方法，其特征在于，所述方法还包括：
利用所述MV候选列表中已经存在的MV生成新的MV，将所述新的MV作为所述候选MV。
12.根据权利要求10所述的编码方法，其特征在于，所述方法还包括：
将所述MV候选列表中的MV进行聚类，根据每类中MV的数量对所述MV候选列表中的MV进行排序；
或，根据所述待编码块的纹理信息与所述附近的已编码块的纹理信息的接近程度，对所述MV候选列表中所述附近的已编码块选择的MV进行排序。
13.根据权利要求2所述的编码方法，其特征在于，当所述预设预测编码技术包括所述merge预测技术时，所述预设预测编码技术对应的列表包括merge预测候选列表，所述预设预测编码技术对应的可选项包括所述merge预测候选列表中的预测模式，所述待编码块的预测信息包括所述待编码块的预测模式；
所述根据待编码块所适用的预设预测编码技术，构建与所述预设预测编码技术相对应的列表的步骤，包括：
选取所述待编码块的时空域附近的已编码块的预测模式和/或选择的MV及参考方向和索引作为merge候选模式；
将所述merge候选模式按照第四预设填充顺序填充到所述merge预测候选列表。
14.一种图像处理装置，其特征在于，所述图像处理装置包括相互连接的处理器和存储器，所述存储器用于存储程序指令，所述处理器用于执行所述程序指令以实现如权利要求1-13任一项所述的方法。
15.一种计算机可读存储介质，其特征在于，其上存储有程序指令，所述程序指令被处理器执行时实现如权利要求1-13任一项所述的方法。
CN202010782344.8A 2020-08-06 2020-08-06 图像编码方法及图像处理装置、计算机可读存储介质 Pending CN112055209A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010782344.8A CN112055209A (zh) 2020-08-06 2020-08-06 图像编码方法及图像处理装置、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010782344.8A CN112055209A (zh) 2020-08-06 2020-08-06 图像编码方法及图像处理装置、计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN112055209A true CN112055209A (zh) 2020-12-08

Family

ID=73602645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010782344.8A Pending CN112055209A (zh) 2020-08-06 2020-08-06 图像编码方法及图像处理装置、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112055209A (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101222641A (zh) * 2007-01-11 2008-07-16 华为技术有限公司 帧内预测编解码方法及其装置
CN109561304A (zh) * 2018-11-16 2019-04-02 建湖云飞数据科技有限公司 一种图像编码方法
CN109889827A (zh) * 2019-04-11 2019-06-14 腾讯科技（深圳）有限公司 帧内预测编码方法、装置、电子设备及计算机存储介质
KR20190093172A (ko) * 2018-01-31 2019-08-08 가온미디어 주식회사 움직임 정보를 처리하는 영상 처리 방법, 그를 이용한 영상 복호화, 부호화 방법 및 그 장치
CN110213588A (zh) * 2019-06-25 2019-09-06 浙江大华技术股份有限公司 空域候选运动信息获取方法、装置、编解码器及存储装置
CN110225346A (zh) * 2018-12-28 2019-09-10 杭州海康威视数字技术股份有限公司 一种编解码方法及其设备
CN110519600A (zh) * 2019-08-21 2019-11-29 浙江大华技术股份有限公司 帧内帧间联合预测方法、装置、编解码器及存储装置
CN110868589A (zh) * 2018-08-28 2020-03-06 华为技术有限公司 帧间预测方法、装置及其应用的编/解方法及装置
CN111010577A (zh) * 2018-12-31 2020-04-14 北京达佳互联信息技术有限公司 一种视频编码中帧内帧间联合预测的方法及设备
CN111010578A (zh) * 2018-12-28 2020-04-14 北京达佳互联信息技术有限公司 一种帧内帧间联合预测的方法、装置以及存储介质
CN111294602A (zh) * 2019-03-14 2020-06-16 北京达佳互联信息技术有限公司 一种帧内预测模式编解码方法和装置及设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101222641A (zh) * 2007-01-11 2008-07-16 华为技术有限公司 帧内预测编解码方法及其装置
KR20190093172A (ko) * 2018-01-31 2019-08-08 가온미디어 주식회사 움직임 정보를 처리하는 영상 처리 방법, 그를 이용한 영상 복호화, 부호화 방법 및 그 장치
CN110868589A (zh) * 2018-08-28 2020-03-06 华为技术有限公司 帧间预测方法、装置及其应用的编/解方法及装置
CN109561304A (zh) * 2018-11-16 2019-04-02 建湖云飞数据科技有限公司 一种图像编码方法
CN110225346A (zh) * 2018-12-28 2019-09-10 杭州海康威视数字技术股份有限公司 一种编解码方法及其设备
CN111010578A (zh) * 2018-12-28 2020-04-14 北京达佳互联信息技术有限公司 一种帧内帧间联合预测的方法、装置以及存储介质
CN111010577A (zh) * 2018-12-31 2020-04-14 北京达佳互联信息技术有限公司 一种视频编码中帧内帧间联合预测的方法及设备
CN111294602A (zh) * 2019-03-14 2020-06-16 北京达佳互联信息技术有限公司 一种帧内预测模式编解码方法和装置及设备
CN109889827A (zh) * 2019-04-11 2019-06-14 腾讯科技（深圳）有限公司 帧内预测编码方法、装置、电子设备及计算机存储介质
CN110213588A (zh) * 2019-06-25 2019-09-06 浙江大华技术股份有限公司 空域候选运动信息获取方法、装置、编解码器及存储装置
CN110519600A (zh) * 2019-08-21 2019-11-29 浙江大华技术股份有限公司 帧内帧间联合预测方法、装置、编解码器及存储装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱涛;: "基于帧内帧间联合预测的深度视频编码方法", 信息技术, no. 10, 25 October 2016 (2016-10-25) *

Similar Documents

Publication Publication Date Title
CN112929660B (zh) 用于对图像进行编码或解码的方法和设备
CN107809642B (zh) 用于视频图像编码和解码的方法、编码设备和解码设备
JP6356912B2 (ja) 最適化関数を用いてグラフベース予測を実行する方法及び装置
CN110519600B (zh) 帧内帧间联合预测方法、装置、编解码器及存储装置
CN110679148B (zh) 用于代码化视频数据块的方法和装置
TWI792167B (zh) 解碼器、編碼器、及相關聯方法和電腦程式
CN107046645B (zh) 图像编解码方法及装置
CN109314785A (zh) 用于导出运动预测信息的方法和装置
CN112166613A (zh) 使用缩减二次变换来处理视频信号的方法和装置
CN102804782A (zh) 用于预测编码的使用可变分区的视频编码的方法和设备以及用于预测编码的使用可变分区的视频解码的方法和设备
CN107113438A (zh) 帧内编码模式
EP2611156A1 (en) Apparatus and method for encoding depth image by skipping discrete cosine transform (dct), and apparatus and method for decoding depth image by skipping dct
WO2005006256A2 (en) Method and apparatus for coding motion information
TW202402050A (zh) 使用基於矩陣之內預測及二次轉換之寫碼技術
CN108605132A (zh) 选择扫描顺序的方法和装置
EP3732882A1 (en) Efficient context model computation design in transform coefficient coding
KR20190090867A (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US20210014493A1 (en) Method and apparatus for processing video signal by applying secondary transform to partitioned block
WO2014058796A1 (en) Method and apparatus for video coding using reference motion vectors
KR102059842B1 (ko) 일반화된 그래프 파라미터를 이용하여 그래프 기반 변환을 수행하는 방법 및 장치
US20200288129A1 (en) Method and device for encoding/decoding video signal by using optimized conversion based on multiple graph-based model
CN108605133A (zh) 选择扫描顺序的方法和装置
CN112055209A (zh) 图像编码方法及图像处理装置、计算机可读存储介质
Cheng et al. Perceptual image compression using relativistic average least squares gans
CN110166774B (zh) 帧内预测方法、视频编码方法、视频处理装置、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination