CN114567775A - 图像划分方法和装置 - Google Patents

图像划分方法和装置 Download PDF

Info

Publication number
CN114567775A
CN114567775A CN202210463095.5A CN202210463095A CN114567775A CN 114567775 A CN114567775 A CN 114567775A CN 202210463095 A CN202210463095 A CN 202210463095A CN 114567775 A CN114567775 A CN 114567775A
Authority
CN
China
Prior art keywords
partition
coding
prediction
tree
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210463095.5A
Other languages
English (en)
Other versions
CN114567775B (zh
Inventor
刘�东
冯傲林
李礼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202210463095.5A priority Critical patent/CN114567775B/zh
Publication of CN114567775A publication Critical patent/CN114567775A/zh
Application granted granted Critical
Publication of CN114567775B publication Critical patent/CN114567775B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种图像划分方法和装置，可以应用于图像处理技术领域。该图像划分方法包括：获取图像中的待划分编码树单元的数据；将数据输入预设的划分图识别模型中，输出与待划分编码树单元对应的预测划分图，预测划分图包括预测四叉深度图和预测多叉图；基于预测四叉深度图构建划分树；根据划分树确定与待划分编码单元对应的所有候选划分结构；根据每个候选划分结构与预测多叉图的相似性确定预测划分结构；以及根据预测划分结构对待划分编码树单元进行划分；该图像划分方法无需通过递归方式确定编码树单元对应的划分结构，也就无需在递归过程中频繁计算率失真代价，从而降低了确定编码树单元划分结构的复杂度。

Description

图像划分方法和装置
技术领域
本发明涉及图像处理技术领域，更具体地涉及一种图像划分方法和装置。
背景技术
多功能视频编码（Versatile Video Coding，VVC）是视频数据的主流压缩格式之一。VVC引入了自适应四叉树加多类型树（Quadtree plus Multi-Type Tree，QTMTT）的块划分技术，支持五种划分模式，包括四叉树划分，水平、竖直两个方向的二叉树和三叉树划分，带来了十分可观的编码性能增益，同时也大幅提升了编码复杂度。
自适应块划分在编码过程中经常通过率失真优化（Rate-DistortionOptimization，RDO）的方式来确定图像的具体划分结构。具体来说，一帧图像首先被划分为互相不重叠的编码树单元（Coding Tree Unit，CTU），每个CTU可以被进一步划分为需要编码的编码单元（Coding Unit，CU），而将CTU划分为CU是一个递归过程，需要遍历CTU可能的CU划分方式，且每个图像块划分的判断依据是划分前后编码的率失真代价比较。
然而，基于率失真代价优化的方式划分CTU需要遍历所有的CU，而每个CTU对应的CU划分方式较多，且每次计算率失真代价都需要耗费一定时长，从而使得CTU划分过程的复杂度较高，耗时较长。
发明内容
鉴于上述问题，本发明提供了一种图像划分方法和装置。
根据本发明的第一个方面，提供了一种图像划分方法，包括：
获取图像中的待划分编码树单元的数据；
将上述数据输入预设的划分图识别模型中，输出与上述待划分编码树单元对应的预测划分图，其中，上述预测划分图包括用于表示四叉树划分结构的预测四叉深度图和用于表示多类型树划分结构的预测多叉图；
基于上述预测四叉深度图按照划分规则构建与上述待划分编码树单元对应的划分树，其中，上述划分树中的一条划分路径表示上述待划分编码树单元的一种划分结构；
根据上述划分树确定与上述待划分编码单元对应的所有候选划分结构，得到划分结构集；
根据上述划分结构集中的每个上述候选划分结构与上述预测多叉图的相似性确定预测划分结构；以及
根据上述预测划分结构对上述待划分编码树单元进行划分。
根据本发明的实施例，上述基于上述预测四叉深度图按照划分规则构建与上述待划分编码树单元对应的划分树包括：
操作11，根据上述预测四叉深度图确定与上述待划分编码树单元对应的四叉树划分结构；
操作12，根据上述四叉树划分结构确定与上述四叉树划分结构对应的初始编码单元集，其中，上述初始编码单元集包括编码单元的位置信息和尺寸信息；
操作13，初始化上述划分树的根节点，其中，上述根节点为全零矩阵，与上述根节点对应的编码单元集为上述初始编码单元集，上述根节点的深度值为零；
操作14，按照上述划分规则确定与上述根节点对应的所有划分方式，其中，上述与上述根节点对应的所有划分方式中的每种划分方式对应一个叶子节点；
操作15，针对所有叶子节点中的每个叶子节点，记录与上述叶子节点对应的多叉图、编码单元集和深度值，其中，上述多叉图用于记录当前节点的划分状态，上述编码单元集用于记录在上述当前节点的划分状态下产生的编码单元集，上述深度值用于记录上述当前节点的多类型树被执行的次数，上述多叉图包括多叉深度图和多叉方向图；
在确定当前节点的深度值不满足预设条件的情况下，针对上述当前节点执行操作14和操作15，直到新节点的深度值满足预设条件时，结束划分，得到上述划分树。
根据本发明的实施例，上述根据上述划分结构集中的每个上述候选划分结构与上述预测多叉图的相似性确定上述预测划分结构包括：
针对上述划分结构集中的每个所述候选划分结构，确定与上述候选划分结构对应的候选多叉图；
确定上述候选多叉图相对于上述预测多叉图的相似度；
确定与上述相似度最高的候选多叉图对应的划分结构为上述预测划分结构。
根据本发明的实施例，上述确定上述候选多叉图相对于上述预测多叉图的相似度包括：
确定上述候选多叉图与上述预测多叉图之间的均方误差或平均绝对误差，得到上述候选多叉图的相似度。
根据本发明的实施例，上述根据上述预测四叉深度图确定与上述待划分编码树单元对应的四叉树划分结构包括：
操作21，按照预设扫描顺序扫描上述预测四叉深度图中的元素；
操作22，在上述预测四叉深度图中的第m个元素为i的情况下，从上述第m个元素对应的基本单元开始按照预设规则划分出一个编码单元，其中，m≥1，i＞0；
对上述第m个元素之后且不对应于位于已划分编码单元的基本单元的元素继续执行操作21和操作22，直至完成对上述预测四叉深度图中的每个元素的扫描，得到上述四叉树划分结构。
根据本发明的实施例，上述图像划分方法还包括：
在上述预测四叉深度图中的所有元素均为零的情况下，表明上述待划分编码树单元不进行四叉树划分。
根据本发明的实施例，上述划分图识别模型采用以下方法训练得到：
获取样本图像数据，其中，上述样本图像数据包括与样本图像对应的样本编码树单元和与上述样本编码树单元对应的样本划分图；
将上述样本编码树单元输入卷积神经网络模型，输出与上述样本编码树单元对应的预测划分图；
将上述预测划分图和与上述样本划分图输入损失函数，得到损失结果；
根据上述损失结果调整上述卷积神经网络模型的模型参数，得到上述划分图识别模型。
根据本发明的实施例，上述图像划分方法还包括：
在上述获取样本图像数据之前，基于多功能视频编码标准对上述样本图像进行编码；
记录与上述样本图像对应的上述样本编码树单元；
利用率失真优化方式确定与上述样本编码树单元对应的样本划分结构；
根据上述样本划分结构确定与上述样本编码树单元对应的上述样本划分图。
本发明的第二方面提供了一种图像划分装置，包括：
获取模块，用于获取图像中的待划分编码树单元的数据；
预测模块，用于将上述数据输入预设的划分图识别模型中，输出与上述待划分编码树单元对应的预测划分图，其中，上述预测划分图包括用于表示四叉树划分结构的预测四叉深度图和用于表示多类型树划分结构的预测多叉图；
构建模块，用于基于上述预测四叉深度图按照划分规则构建与上述待划分编码树单元对应的划分树，其中，上述划分树中的一条划分路径表示上述待划分编码树单元的一种划分结构；
第一确定模块，用于根据上述划分树确定与上述待划分编码单元对应的所有候选划分结构，得到划分结构集；
第二确定模块，用于根据上述划分结构集中的每个上述候选划分结构与上述预测多叉图的相似性确定预测划分结构；以及
划分模块，用于根据上述预测划分结构对上述待划分编码树单元进行划分。
根据本发明的实施例，通过获取图像中的待划分编码树单元的数据，将待划分编码树单元的数据输入预设的划分图识别模型中，输出与待划分编码树单元对应的预测划分图，根据预测划分图中的预测四叉深度图构建与待划分编码树单元对应的划分树，其中，划分树中的一条划分路径表示待划分编码树单元的一种划分结构；根据划分树确定与待划分编码单元对应的所有候选划分结构，得到划分结构集；然后根据划分结构集中的每个候选划分结构与预测多叉图的相似性确定预测划分结构。本发明提供的图像划分方法无需通过递归方式来确定编码树单元对应的划分结构，也就避免了递归过程中频繁计算率失真代价，从而降低了确定编码树单元划分结构的复杂度。
附图说明
通过以下参照附图对本发明实施例的描述，本发明的上述内容以及其他目的、特征和优点将更为清楚，在附图中：
图1示意性示出了根据本发明实施例的图像划分方法的流程图；
图2示意性示出了本发明实施例中VVC划分结构的两种表示方式；
图3示意性示出了本发明其中一个实施例的划分图的示意图；
图4示意性示出了根据本发明的实施例的预测划分结构确定方法的流程图；
图5示意性示出了根据本发明实施例的划分图识别模型训练方法的流程图；
图6示意性示出了根据本发明实施例的图像划分装置的结构框图；
图7示意性示出了根据本发明实施例的适于实现图像划分方法的电子设备的方框图。
具体实施方式
本发明的方案适用于基于多功能视频编码（Versatile Video Coding，VVC）标准对图像编码过程中，确定图像划分出的各编码树单元（Coding Tree Unit，CTU）所能划分出的编码单元（Coding Unit，CU）。
以下，将参照附图来描述本发明的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本发明实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语（包括技术和科学术语）具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释（例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等）。
多功能视频编码是视频数据的主流压缩格式之一，其引入了自适应块划分技术，然而自适应块划分在编码过程中一般通过率失真优化的方式来确定图像的具体划分结构。具体来说，一帧图像首先被划分为互相不重叠的CTU，每个CTU可以被进一步划分为需要编码的CU，而将CTU划分为CU是一个递归过程，需要遍历CTU所有可能的CU划分方式，并通过计算率失真代价来确定最优的CU划分方式。
但是，由于基于率失真优化的方式划分CTU需要遍历所有的CU划分方式，而每个CTU对应的CU划分方式较多，且每次计算率失真代价都需要耗费一定时长，从而使得CTU划分过程的复杂度较高，耗时较长。
有鉴于此，本发明针对以上技术问题，通过将获得的图像的编码树单元输入到训练好的划分图识别模型中，得到编码树单元的预测划分图，而根据编码树单元的预测划分图可以推导出该编码树单元的划分结构，从而无需通过递归方式来确定编码树单元对应的划分结构，也就避免了递归过程中频繁计算率失真代价，从而降低了确定编码树单元划分结构的复杂度。
具体地，本发明的实施例提供了一种图像划分方法，包括：获取图像中的待划分编码树单元的数据；将上述数据输入预设的划分图识别模型中，输出与上述待划分编码树单元对应的预测划分图，其中，上述预测划分图包括用于表示四叉树划分结构的预测四叉深度图和用于表示多类型树划分结构的预测多叉图；基于上述预测四叉深度图按照划分规则构建与上述待划分编码树单元对应的划分树，其中，上述划分树中的一条划分路径表示上述待划分编码树单元的一种划分结构；根据上述划分树确定与上述待划分编码单元对应的所有候选划分结构，得到划分结构集；根据上述划分结构集中的每个上述候选划分结构与上述预测多叉图的相似性确定预测划分结构；以及根据上述预测划分结构对上述待划分编码树单元进行划分。
在本发明的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。
在本发明的技术方案中，对数据的获取、收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。
图1示意性示出了根据本发明实施例的图像划分方法的流程图。
如图1所示，该实施例的图像划分方法包括操作S110~操作S160。
在操作S110，获取图像中的待划分编码树单元的数据。
根据本发明的实施例，待划分编码树单元的数据实际上是图像划分出的一个图像块，可以通过待划分编码树单元的各个像素点的像素值来表示。
根据本发明的实施例，待划分编码树单元的数据包括待划分编码树单元中各个像素的像素值形成的矩阵。
根据本发明的实施例，在基于VVC标准对图像编码之前，需要将图像划分为互不重叠的多个CTU，本发明对于如何将图像划分为CTU不加限制。
根据本发明的实施例，待划分编码树单元可以包括K*K个互不重叠的基本单元，且每个基本单元由L*L个像素点构成，其中K=2n，n为大于等于1的自然数，L为大于等于2的自然数。此处，CTU所包含的K*K个基本单元是指紧邻排列的K行以及K列中的K*K个基本单元，而每个基本单元是指紧邻排列的L行以及L列的像素点构成的图像块。基本单元是CTU划分的最小单元，即基本单元不能再继续被划分。
在操作S120，将上述数据输入预设的划分图识别模型中，输出与上述待划分编码树单元对应的预测划分图，其中，上述预测划分图包括用于表示四叉树划分结构的预测四叉深度图和用于表示多类型树划分结构的预测多叉图。
根据本发明的实施例，将数据输入到划分图识别模型可以理解为是将待划分编码树单元的像素矩阵输入到划分图识别模型中，其中，像素矩阵包括该待划分编码树单元中各像素点的像素值。
根据本发明的实施例，划分图是本发明中提出的表示VVC划分结构的一个数据形式。预测划分图是以数据形式表示的待划分编码树单元的划分结构。
在操作S130，基于上述预测四叉深度图按照划分规则构建与上述待划分编码树单元对应的划分树，其中，上述划分树中的一条划分路径表示上述待划分编码树单元的一种划分结构。
根据本发明的实施例，划分规则可以是VVC标准。
根据本发明的实施例，划分树可以是从根节点开始，将所有可能的划分模式划分至叶子节点，每一条划分树的路径对应了CTU的一个划分结构，并且每一条路径上记录了若干组多叉图。
在操作S140，根据上述划分树确定与上述待划分编码单元对应的所有候选划分结构，得到划分结构集。
在操作S150，根据上述划分结构集中的每个上述候选划分结构与上述预测多叉图的相似性确定预测划分结构。
在操作S160，根据上述预测划分结构对上述待划分编码树单元进行划分。
根据本发明的实施例，由于利用划分图识别模型输出的预测划分图是划分结构的数据形式，且该预测划分图中可能存在不符合VVC标准的数值。因此，本方法根据VVC标准构建与待划分编码树单元对应的划分树，可以得到与待划分编码树单元对应的所有候选划分结构，然后从所有候选结构中确定与预测多叉图最相似的划分结构为预测划分结构。利用该方法得到的预测划分结构能够保证得到的预测划分结构满足VVC标准，以便于编码器进行划分。
根据本发明的实施例，通过获取图像中的待划分编码树单元的数据，将待划分编码树单元的数据输入预设的划分图识别模型中，输出与待划分编码树单元对应的预测划分图，根据预测划分图中的预测四叉深度图构建与待划分编码树单元对应的划分树，其中，划分树中的一条划分路径表示待划分编码树单元的一种划分结构；根据划分树确定与待划分编码单元对应的所有候选划分结构，得到划分结构集；然后根据划分结构集中的每个候选划分结构与预测多叉图的相似性确定预测划分结构。本发明提供的图像划分方法无需通过递归方式来确定编码树单元对应的划分结构，也就避免了递归过程中频繁计算率失真代价，从而降低了确定编码树单元划分结构的复杂度。
根据本发明的实施例，根据VVC标准，图像块的划分采用自适应四叉树加多类型树（Quadtree plus Multi-Type Tree，QTMTT）的块划分技术，一个图像块被允许使用四叉树、水平二叉树、竖直二叉树、水平三叉树、竖直三叉树五种划分模式进行划分。二叉树和三叉树又统称为多类型树。其中，四叉树模式将图像块划分为四个尺寸相同的子块，二叉树将图像块划分为两个尺寸相同的子块，三叉树将图像块按照边长为1：2：1的比例划分为三个子块，其中二叉树和三叉树有水平和竖直两种方向。
另外，VVC标准规定，一个图像块在划分过程中一旦使用了二叉树或三叉树划分，该图像块的后续划分过程中便不再允许使用四叉树划分模式。可以理解的是，在这样的规定下，多类型树划分的根节点是整个CTU划分的根节点或者四叉树划分的叶子节点。
在VVC标准中，可以定义CTU的尺寸，也可以定义所需划分出的编码单元CU的最大尺寸以及最小尺寸，也可以定义一个CTU划分的最大深度，包括四叉树划分的最大深度和多类型树划分的最大深度，这里的最大深度是指从CTU划分至任意CU允许的最大划分次数。
图2示意性示出了本发明实施例中VVC划分结构的两种表示方式；其中，图2中的(a)图为编码树单元的QTMTT块划分结构，图2中的(b)图为用划分树表示的编码树单元的QTMTT块划分结构，其中，(a)图中的块划分结构与(b)图中的划分树之间为等效关系。
如图2所示，图(b)中的NO表示不进行划分，QT表示四叉树划分，BTH表示水平二叉树划分，BTV表示竖直二叉树划分，TTH表示水平三叉树划分，TTV表示竖直三叉树划分。根据图(a)中的QTMTT块划分结构可以推导出图 (b)中的划分树，根据图(b)中的划分树也可以反推出图(b)中的QTMTT块划分结构。
图3示意性示出了本发明其中一个实施例的划分图的示意图；其中，图3中的(A)图为划分图中的四叉深度图；图3中的(B)图四叉树划分、二叉树划分和三叉树划分过程示意图，其中，QT表示四叉树划分，BTV表示竖直二叉树划分，TTV表示竖直三叉树划分；图3中的(C)图为划分图中的多个多叉深度图；图3中的(D)图为划分图中的多个多叉方向图，其中，(D)图中的H表示水平划分，N表示不划分，V表示竖直划分。
如上所述，二叉树划分或三叉树划分的根节点是整个CTU划分的根节点或四叉树划分的叶子节点，在这个规则下，四叉树划分和多类型树划分可以分开来表示。
如图3所示，划分图包括一个四叉深度图和多组多叉图，四叉深度图来表示四叉树划分结构，多组多叉图表示多类型树划分结构，其中，一组多叉图包括多叉深度图和多叉方向图。
下面具体描述划分图的定义过程：
如图3中的（A）图和（B）图所示，将四叉深度图初始化为一个尺寸为K*K的全0矩阵，该矩阵的每个元素对应了CTU相应位置的基本单元。CTU每进行一次四叉树划分，生成的四个子CU对应的四叉深度图中的元素数值便加1。按照此规则，一个CTU的四叉树划分结构便可以表示为一个K*K的矩阵，该矩阵即为四叉深度图。
如图3中的（B）图、（C）图和（D）图所示，对于多叉深度图和多叉方向图，同样分别初始化为一个K*K的全0矩阵，每进行一次二叉树划分，生成的两个子CU对应的多叉深度图中的元素数值加1，对应多叉方向图中的元素值按照划分方向进行更新，若为水平，则记录为1，若为竖直，则记录为-1，若未划分，记录为0。每进行一次三叉树划分，生成的三个子CU中，中间CU对应的多叉深度图中的元素数值加1，两边CU对应的多叉深度图中的元素数值加2。同时，按照与二叉树划分同样的规则更新多叉方向图。不同于四叉深度图只记录一个矩阵，划分图会记录多组多叉图来记录划分过程，在每进行一层的多类型树划分时，会记录一组多叉图，其中多叉深度图为前一层多叉深度图的基础上叠加当前划分增加的数值得到，多叉方向图直接记录当前层的方向。注意此处所述的一层的多类型树划分是指对整个CTU进行的一次多类型树划分，部分区域可能划分，部分区域可能不划分。多叉图的组数等于预先定义的多类型树划分的最大深度。
根据本发明的实施例，基于上述预测四叉深度图按照划分规则构建与上述待划分编码树单元对应的划分树包括：操作11，根据上述预测四叉深度图确定与上述待划分编码树单元对应的四叉树划分结构；操作12，根据上述四叉树划分结构确定与上述四叉树划分结构对应的初始编码单元集，其中，上述初始编码单元集包括编码单元的位置信息和尺寸信息；操作13，初始化上述划分树的根节点，其中，上述根节点的多叉图为全零矩阵，与上述根节点对应的编码单元集为上述初始编码单元集，上述根节点的深度值为零；操作14，按照上述划分规则确定与上述根节点对应的所有划分方式，其中，上述与上述根节点对应的所有划分方式中的每种划分方式对应一个叶子节点；操作15，针对所有叶子节点中的每个叶子节点，记录与上述叶子节点对应的多叉图、编码单元集和深度值，其中，上述多叉图用于记录当前节点的划分状态，上述编码单元集用于记录在上述当前节点的划分状态下产生的编码单元集，上述深度值用于记录上述当前节点的多类型树被执行的次数，上述多叉图包括多叉深度图和多叉方向图；在确定当前节点的深度值不满足预设条件的情况下，针对上述当前节点执行操作14和操作15，直到新节点的深度值满足预设条件时，结束划分，得到上述划分树。
根据本发明的实施例，根据上述预测四叉深度图确定与上述待划分编码树单元对应的四叉树划分结构包括：操作21，按照预设扫描顺序扫描上述预测四叉深度图中的元素；操作22，在上述预测四叉深度图中的第m个元素为i的情况下，从上述第m个元素对应的基本单元开始按照预设规则划分出一个编码单元，其中，m≥1，i＞0；对上述第m个元素之后且不对应于位于已划分编码单元的基本单元的元素继续执行操作21和操作22，直至完成对上述预测四叉深度图中的每个元素的扫描，得到上述四叉树划分结构。
根据本发明的实施例，上述图像划分方法还包括：在上述预测四叉深度图中的所有元素均为零的情况下，表明上述待划分编码树单元不进行四叉树划分。
根据本发明的实施例，预测四叉深度图为深度矩阵，预测四叉深度图中的数值代表四叉树的划分深度，取值范围为0-n，n＞0。
根据本发明的实施例，预设扫描顺序例如可以包括从左到右从上到下的扫描顺序进行扫描。
根据本发明的实施例，对于包括K*K个互不重叠的基本单元，且每个基本单元由L* L个像素点构成的CTU，预设规则例如可以包括从第m个元素对应的基本单元开始向右和向 下划分出一个包含
Figure 693279DEST_PATH_IMAGE001
个像素点的编码单元。
根据本发明的实施例，根节点对应的所有划分方式包括遍历其允许的所有划分方式组合，针对每种划分方式组合，生成一个节点成为该根节点的叶子节点，该叶子节点的多叉图和编码单元集根据当前划分方式组合生成。其中，划分方式组合中，候选划分模式包括多类型划分模式和不划分模式，组合的含义是所有CU的候选划分模式组合。
根据本发明的实施例，根据上述划分结构集中的每个上述候选划分结构与上述预测多叉图的相似性确定上述预测划分结构包括：针对上述划分结构集中的每个候选划分结构，确定与上述候选划分结构对应的候选多叉图；确定上述候选多叉图相对于上述预测多叉图的相似度；确定与上述相似度最高的候选多叉图对应的划分结构为上述预测划分结构。
根据本发明的实施例，确定上述候选多叉图相对于上述预测多叉图的相似度包括：确定上述候选多叉图与上述预测多叉图之间的均方误差或平均绝对误差，得到上述候选多叉图的相似度。
图4示意性示出了根据本发明的实施例的预测划分结构确定方法的流程图。
在该实施例中，划分树的每个节点成员包括一组多插图、一个编码单元集合和深度值，其中，多叉图用于记录当前节点的划分状态，编码单元集用于记录在当前节点的划分状态下产生的编码单元集，深度值用于记录当前多类型树被执行的次数，多叉图包括多叉深度图和多叉方向图。
如图4所示，该确定方法包括操作S401~S410。
在操作S401，根据预测四叉深度图确定与待划分编码树单元对应的四叉树划分结构。
在操作S402，根据四叉树划分结构确定与四叉树划分结构对应的初始编码单元集，其中，初始编码单元集包括编码单元的位置信息和尺寸信息。
在操作S403，初始化划分树的根节点，将根节点的多叉图置为全零矩阵，将初始编码单元集置为根节点的编码单元集，记录根节点的深度值为零。
在操作S404，遍历所有叶子节点，针对每个叶子节点，遍历其允许的所有划分方式组合，针对每种划分方式组合生成一个节点成为该叶子节点的子节点。
在操作S405，判断当前叶子节点的深度值是否大于或等于预设深度值。在当前叶子节点的深度值大于或等于预设深度值的情况下，执行操作S406；在当前叶子节点的深度值小于预设深度值的情况下，执行操作S404。
在操作S406，确定划分树建立完成，其中，划分树中的一条划分路径表示待划分编码树单元的一种划分结构及相应的多组多叉图。
在操作S407，根据划分树确定与待划分编码单元对应的所有候选划分结构，得到划分结构集。
在操作S408，针对划分结构集中的每个候选划分结构，确定与候选划分结构对应的候选多叉图。
在操作S409，确定候选多叉图相对于预测多叉图的相似度。
在操作S410，确定与相似度最高的候选多叉图对应的划分结构为预测划分结构。
根据本发明的实施例，在获得划分树中与预测多叉图相似度最高的路径后，便获得了完整的CTU划分结构，此时利用部分的划分结构或者完整的划分结构用于编码器划分是可以调节的。其中，一种可能的调节方式是使用相似度最高的路径的不同长度所包含的不同划分结构用于编码器划分，剩余的划分结构由编码器的率失真优化来确定，其中，不同长度是指不同数目的节点个数。
根据本发明的实施例，上述划分图识别模型采用以下方法训练得到：获取样本图像数据，其中，上述样本图像数据包括与样本图像对应的样本编码树单元和与上述样本编码树单元对应的样本划分图；将上述样本编码树单元输入卷积神经网络模型，输出与上述样本编码树单元对应的预测划分图；将上述预测划分图和与上述样本划分图输入损失函数，得到损失结果；根据上述损失结果调整上述卷积神经网络模型的模型参数，得到上述划分图识别模型。
根据本发明的实施例，划分图识别模型是利用标注有实际划分图的多个CTU样本训练卷积神经网络模型得到。
根据本发明的实施例，上述图像划分方法还包括：在上述获取样本图像数据之前，基于多功能视频编码标准对上述样本图像进行编码；
记录与上述样本图像对应的上述样本编码树单元；利用率失真优化方式确定与上述样本编码树单元对应的样本划分结构；根据上述样本划分结构确定与上述样本编码树单元对应的上述样本划分图。
图5示意性示出了根据本发明实施例的划分图识别模型训练方法的流程图。
如图5所示，该划分图识别模型训练方法包括操作S501~操作S511。
在操作S501，获取至少一帧样本图像。
在操作S502，基于多功能视频编码对样本图像进行编码。
在操作S503，记录与样本图像对应的样本编码树单元。
在操作S504，利用率失真优化方式确定与样本编码树单元对应的样本划分结构。
在操作S505，根据样本划分结构确定与样本编码树单元对应的样本划分图。
在操作S506，获取与样本图像对应的样本编码树单元和与样本编码树单元对应的样本划分图。
在操作S507，将样本编码树单元输入卷积神经网络模型，输出与样本编码树单元对应的预测划分图。
在操作S508，将预测划分图和与样本划分图输入损失函数，得到损失结果。
在操作S509，判断损失结果是否满足预设要求。在损失结果不满足预设要求的情况下，执行操作S510；在损失结果满足预设要求的情况下，执行操作S511。
在操作S510，调整卷积神经网络模型的模型参数，然后执行操作S507~操作S509。
在操作S511，结束训练，得到划分图识别模型。
根据本发明的实施例，通过获取图像中的待划分编码树单元的数据，将待划分编码树单元的数据输入预设的划分图识别模型中，输出与待划分编码树单元对应的预测划分图，根据预测划分图中的预测四叉深度图和预测多叉图确定与待划分编码树单元对应的预测划分结构。本发明提供的图像划分方法无需通过递归方式来确定编码树单元对应的划分结构，也就避免了递归过程中频繁计算率失真代价，从而降低了确定编码树单元划分结构的复杂度。
需要说明的是，本发明实施例中的流程图所示的操作除非明确说明不同操作之间存在执行的先后顺序，或者不同操作在技术实现上存在执行的先后顺序，否则，多个操作之间的执行顺序可以不分先后，多个操作也可以同时执行。
基于上述图像划分方法，本发明还提供了一种图像划分装置。以下将结合图6对该装置进行详细描述。
图6示意性示出了根据本发明实施例的图像划分装置的结构框图。
如图6所示，该实施例的图像划分装置600包括获取模块610、预测模块620、构建模块630、第一确定模块640、第二确定模块650和划分模块660。
获取模块610用于获取图像中的待划分编码树单元的数据。在一实施例中，获取模块610可以用于执行前文描述的操作S110，在此不再赘述。
预测模块620用于将上述数据输入预设的划分图识别模型中，输出与上述待划分编码树单元对应的预测划分图，其中，上述预测划分图包括用于表示四叉树划分结构的预测四叉深度图和用于表示多类型树划分结构的预测多叉图。在一实施例中，预测模块620可以用于执行前文描述的操作S120，在此不再赘述。
构建模块630用于基于上述预测四叉深度图按照划分规则构建与上述待划分编码树单元对应的划分树，其中，上述划分树中的一条划分路径表示上述待划分编码树单元的一种划分结构。。在一实施例中，构建模块630可以用于执行前文描述的操作S130，在此不再赘述。
第一确定模块640用于根据上述划分树确定与上述待划分编码单元对应的所有候选划分结构，得到划分结构集。在一实施例中，第一确定模块640可以用于执行前文描述的操作S140，在此不再赘述。
第二确定模块650用于根据上述划分结构集中的每个上述候选划分结构与上述预测多叉图的相似性确定预测划分结构。在一实施例中，第二确定模块650可以用于执行前文描述的操作S150，在此不再赘述。
划分模块660用于根据上述预测划分结构对上述待划分编码树单元进行划分。在一实施例中，划分模块660可以用于执行前文描述的操作S160，在此不再赘述。
根据本发明的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本发明实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本发明实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列（FPGA）、可编程逻辑阵列（PLA）、片上系统、基板上的系统、封装上的系统、专用集成电路（ASIC），或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本发明实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
根据本发明的实施例，获取模块610、预测模块620、构建模块630、第一确定模块640、第二确定模块650和划分模块660中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本发明的实施例，获取模块610、预测模块620、构建模块630、第一确定模块640、第二确定模块650和划分模块660中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列（FPGA）、可编程逻辑阵列（PLA）、片上系统、基板上的系统、封装上的系统、专用集成电路（ASIC），或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，获取模块610、预测模块620、构建模块630、第一确定模块640、第二确定模块650和划分模块660中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
需要说明的是，本发明的实施例中图像划分装置部分与本发明的实施例中图像划分方法部分是相对应的，图像划分装置部分的描述具体参考图像划分方法部分，在此不再赘述。
图7示意性示出了根据本发明实施例的适于实现图像划分方法的电子设备的方框图。
如图7所示，根据本发明实施例的电子设备700包括处理器701，其可以根据存储在只读存储器（ROM）702中的程序或者从存储部分708加载到随机访问存储器（RAM）703中的程序而执行各种适当的动作和处理。处理器701例如可以包括通用微处理器（例如CPU）、指令集处理器和/或相关芯片组和/或专用微处理器（例如，专用集成电路（ASIC））等等。处理器701还可以包括用于缓存用途的板载存储器。处理器701可以包括用于执行根据本发明实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 703中，存储有电子设备700操作所需的各种程序和数据。处理器 701、ROM702以及RAM 703通过总线704彼此相连。处理器701通过执行ROM 702和/或RAM 703中的程序来执行根据本发明实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 702和RAM 703以外的一个或多个存储器中。处理器701也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本发明实施例的方法流程的各种操作。
根据本发明的实施例，电子设备700还可以包括输入/输出（I/O）接口705，输入/输出（I/O）接口705也连接至总线704。电子设备700还可以包括连接至I/O接口705的以下部件中的一项或多项：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管（CRT）、液晶显示器（LCD）等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
本发明还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本发明实施例的方法。
根据本发明的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本发明的实施例，计算机可读存储介质可以包括上文描述的ROM 702和/或RAM 703和/或ROM 702和RAM 703以外的一个或多个存储器。
本发明的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本发明实施例所提供的图像划分方法。
在该计算机程序被处理器701执行时执行本发明实施例的系统/装置中限定的上述功能。根据本发明的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分709被下载和安装，和/或从可拆卸介质711被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被处理器701执行时，执行本发明实施例的系统中限定的上述功能。根据本发明的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
根据本发明的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网（LAN）或广域网（WAN），连接到用户计算设备，或者，可以连接到外部计算设备（例如利用因特网服务提供商来通过因特网连接）。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本发明中。特别地，在不脱离本发明精神和教导的情况下，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本发明的范围。
以上对本发明的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本发明的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本发明的范围由所附权利要求及其等同物限定。不脱离本发明的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本发明的范围之内。

Claims (9)

1.一种图像划分方法，包括：
获取图像中的待划分编码树单元的数据；
将所述数据输入预设的划分图识别模型中，输出与所述待划分编码树单元对应的预测划分图，其中，所述预测划分图包括用于表示四叉树划分结构的预测四叉深度图和用于表示多类型树划分结构的预测多叉图；
基于所述预测四叉深度图按照划分规则构建与所述待划分编码树单元对应的划分树，其中，所述划分树中的一条划分路径表示所述待划分编码树单元的一种划分结构；
根据所述划分树确定与所述待划分编码单元对应的所有候选划分结构，得到划分结构集；
根据所述划分结构集中的每个所述候选划分结构与所述预测多叉图的相似性确定预测划分结构；以及
根据所述预测划分结构对所述待划分编码树单元进行划分。
2.根据权利要求1所述的方法，其中，所述基于所述预测四叉深度图按照划分规则构建与所述待划分编码树单元对应的划分树包括：
操作11，根据所述预测四叉深度图确定与所述待划分编码树单元对应的四叉树划分结构；
操作12，根据所述四叉树划分结构确定与所述四叉树划分结构对应的初始编码单元集，其中，所述初始编码单元集包括编码单元的位置信息和尺寸信息；
操作13，初始化所述划分树的根节点，其中，所述根节点为全零矩阵，与所述根节点对应的编码单元集为所述初始编码单元集，所述根节点的深度值为零；
操作14，按照所述划分规则确定与所述根节点对应的所有划分方式，其中，所述与所述根节点对应的所有划分方式中的每种划分方式对应一个叶子节点；
操作15，针对所有叶子节点中的每个叶子节点，记录与所述叶子节点对应的多叉图、编码单元集和深度值，其中，所述多叉图用于记录当前节点的划分状态，所述编码单元集用于记录在所述当前节点的划分状态下产生的编码单元集，所述深度值用于记录所述当前节点的多类型树被执行的次数，所述多叉图包括多叉深度图和多叉方向图；
在确定当前节点的深度值不满足预设条件的情况下，针对所述当前节点执行操作14和操作15，直到新节点的深度值满足预设条件时，结束划分，得到所述划分树。
3.根据权利要求1所述的方法，其中，所述根据所述划分结构集中的每个所述候选划分结构与所述预测多叉图的相似性确定所述预测划分结构包括：
针对所述划分结构集中的每个所述候选划分结构，确定与所述候选划分结构对应的候选多叉图；
确定所述候选多叉图相对于所述预测多叉图的相似度；
确定与所述相似度最高的候选多叉图对应的划分结构为所述预测划分结构。
4.根据权利要求3所述的方法，其中，所述确定所述候选多叉图相对于所述预测多叉图的相似度包括：
确定所述候选多叉图与所述预测多叉图之间的均方误差或平均绝对误差，得到所述候选多叉图的相似度。
5.根据权利要求2所述的方法，其中，所述根据所述预测四叉深度图确定与所述待划分编码树单元对应的四叉树划分结构包括：
操作21，按照预设扫描顺序扫描所述预测四叉深度图中的元素；
操作22，在所述预测四叉深度图中的第m个元素为i的情况下，从所述第m个元素对应的基本单元开始按照预设规则划分出一个编码单元，其中，m≥1，i＞0；
对所述第m个元素之后且不对应于位于已划分编码单元的基本单元的元素继续执行操作21和操作22，直至完成对所述预测四叉深度图中的每个元素的扫描，得到所述四叉树划分结构。
6.根据权利要求5所述的方法，还包括：
在所述预测四叉深度图中的所有元素均为零的情况下，表明所述待划分编码树单元不进行四叉树划分。
7.根据权利要求1所述的方法，其中，所述划分图识别模型采用以下方法训练得到：
获取样本图像数据，其中，所述样本图像数据包括与样本图像对应的样本编码树单元和与所述样本编码树单元对应的样本划分图；
将所述样本编码树单元输入卷积神经网络模型，输出与所述样本编码树单元对应的预测划分图；
将所述预测划分图和与所述样本划分图输入损失函数，得到损失结果；
根据所述损失结果调整所述卷积神经网络模型的模型参数，得到所述划分图识别模型。
8.根据权利要求7所述的方法，还包括：
在所述获取样本图像数据之前，基于多功能视频编码标准对所述样本图像进行编码；
记录与所述样本图像对应的所述样本编码树单元；
利用率失真优化方式确定与所述样本编码树单元对应的样本划分结构；
根据所述样本划分结构确定与所述样本编码树单元对应的所述样本划分图。
9.一种图像划分装置，包括：
获取模块，用于获取图像中的待划分编码树单元的数据；
预测模块，用于将所述数据输入预设的划分图识别模型中，输出与所述待划分编码树单元对应的预测划分图，其中，所述预测划分图包括用于表示四叉树划分结构的预测四叉深度图和用于表示多类型树划分结构的预测多叉图；
构建模块，用于基于所述预测四叉深度图按照划分规则构建与所述待划分编码树单元对应的划分树，其中，所述划分树中的一条划分路径表示所述待划分编码树单元的一种划分结构；
第一确定模块，用于根据所述划分树确定与所述待划分编码单元对应的所有候选划分结构，得到划分结构集；
第二确定模块，用于根据所述划分结构集中的每个所述候选划分结构与所述预测多叉图的相似性确定预测划分结构；以及
划分模块，用于根据所述预测划分结构对所述待划分编码树单元进行划分。
CN202210463095.5A 2022-04-29 2022-04-29 图像划分方法和装置 Active CN114567775B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210463095.5A CN114567775B (zh) 2022-04-29 2022-04-29 图像划分方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210463095.5A CN114567775B (zh) 2022-04-29 2022-04-29 图像划分方法和装置

Publications (2)

Publication Number Publication Date
CN114567775A true CN114567775A (zh) 2022-05-31
CN114567775B CN114567775B (zh) 2022-09-09

Family

ID=81721219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210463095.5A Active CN114567775B (zh) 2022-04-29 2022-04-29 图像划分方法和装置

Country Status (1)

Country Link
CN (1) CN114567775B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116828180A (zh) * 2023-08-29 2023-09-29 北京中星微人工智能芯片技术有限公司 视频编码方法、装置、电子设备和计算机可读介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1750658A (zh) * 2004-09-14 2006-03-22 华为技术有限公司 帧间预测模式的选择方法
US20120065959A1 (en) * 2010-09-13 2012-03-15 Richard Salisbury Word graph
CN102595116A (zh) * 2011-01-14 2012-07-18 华为技术有限公司 多图像块划分的编解码方法和装置
US20120230412A1 (en) * 2011-03-10 2012-09-13 National Chin Nan University Multi-view video coding method
CN103747257A (zh) * 2013-12-05 2014-04-23 中国科学技术大学 一种视频数据高效编码的方法
US20170346303A1 (en) * 2016-05-25 2017-11-30 Lenovo (Singapore) Pte. Ltd. Systems and methods to determine time at which battery is to be charged
CN108027983A (zh) * 2015-09-23 2018-05-11 皇家飞利浦有限公司 针对三维图像的三角形网格的生成
CN108307192A (zh) * 2014-10-11 2018-07-20 华为技术有限公司 预测块的划分方法、编码设备和解码设备
CN113382245A (zh) * 2021-07-02 2021-09-10 中国科学技术大学 图像划分方法和装置
US20210302960A1 (en) * 2020-03-30 2021-09-30 Toyota Research Institute, Inc. Systems and methods for generating driving recommendations
CN114071162A (zh) * 2020-07-29 2022-02-18 Oppo广东移动通信有限公司 图像编码方法、图像解码方法及相关装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1750658A (zh) * 2004-09-14 2006-03-22 华为技术有限公司 帧间预测模式的选择方法
US20120065959A1 (en) * 2010-09-13 2012-03-15 Richard Salisbury Word graph
CN102595116A (zh) * 2011-01-14 2012-07-18 华为技术有限公司 多图像块划分的编解码方法和装置
US20120230412A1 (en) * 2011-03-10 2012-09-13 National Chin Nan University Multi-view video coding method
CN103747257A (zh) * 2013-12-05 2014-04-23 中国科学技术大学 一种视频数据高效编码的方法
CN108307192A (zh) * 2014-10-11 2018-07-20 华为技术有限公司 预测块的划分方法、编码设备和解码设备
CN108027983A (zh) * 2015-09-23 2018-05-11 皇家飞利浦有限公司 针对三维图像的三角形网格的生成
US20170346303A1 (en) * 2016-05-25 2017-11-30 Lenovo (Singapore) Pte. Ltd. Systems and methods to determine time at which battery is to be charged
US20210302960A1 (en) * 2020-03-30 2021-09-30 Toyota Research Institute, Inc. Systems and methods for generating driving recommendations
CN114071162A (zh) * 2020-07-29 2022-02-18 Oppo广东移动通信有限公司 图像编码方法、图像解码方法及相关装置
CN113382245A (zh) * 2021-07-02 2021-09-10 中国科学技术大学 图像划分方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116828180A (zh) * 2023-08-29 2023-09-29 北京中星微人工智能芯片技术有限公司 视频编码方法、装置、电子设备和计算机可读介质
CN116828180B (zh) * 2023-08-29 2023-11-17 北京中星微人工智能芯片技术有限公司 视频编码方法、装置、电子设备和计算机可读介质

Also Published As

Publication number Publication date
CN114567775B (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
KR101155767B1 (ko) 비디오 데이터의 인코딩을 위한 인코딩 유형 및 예측 모드선택
KR101978194B1 (ko) 디지털 이미지를 처리하는 방법 및 시스템
KR102393665B1 (ko) 그래픽 처리 시스템
JP6532542B2 (ja) イントラ予測を行う映像復号方法及びその装置並びにイントラ予測を行う映像符号化方法
CN113780296A (zh) 基于多尺度信息融合的遥感图像语义分割方法及系统
CN110276345B (zh) 卷积神经网络模型训练方法、装置和计算机可读存储介质
CN112734641A (zh) 目标检测模型的训练方法、装置、计算机设备及介质
CN112771578B (zh) 使用细分缩放和深度上缩放的图像生成
JP6664819B2 (ja) デジタル画像のブロックのマスクベースの処理のためのシステムおよび方法
KR20200091317A (ko) 자율 주행 자동차의 레벨 4를 충족시키기 위해 영역의 클래스에 따라 모드를 전환하여 그리드 셀 별로 가중 컨벌루션 필터를 이용한 감시용 이미지 세그멘테이션 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN114567775B (zh) 图像划分方法和装置
EP3509305A1 (en) Intra-prediction video coding method and device
JP2009509418A (ja) 時間予測のための分類フィルタリング
US20180048917A1 (en) Systems, apparatus, and methods for bit level representation for data processing and analytics
WO2021253373A1 (en) Probabilistic geometric partitioning in video coding
KR20210041603A (ko) 비디오 이미지 요소의 예측 방법 및 장치, 및 컴퓨터 저장 매체
KR102138650B1 (ko) 디지털 이미지의 블록을 처리하는 시스템 및 방법
CN111385640A (zh) 视频封面的确定方法、装置、设备及存储介质
US12015767B2 (en) Intra-frame predictive coding method and system for 360-degree video and medium
CN110634187B (zh) 基于户型图的房屋点云模型生成方法及装置
US20160344998A1 (en) Depth Image Coding/Decoding Method and Apparatus
CN114359359B (zh) 多任务光学和sar遥感图像配准方法、设备和介质
CN116071651A (zh) 一种均压场识别方法、装置、存储介质及终端
CN115917611B (zh) 使用参考区域的视频编解码的方法和系统
CN110490926B (zh) 标高确定方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant