CN112866692A - 一种基于hevc的编码单元划分方法及装置 - Google Patents

一种基于hevc的编码单元划分方法及装置 Download PDF

Info

Publication number
CN112866692A
CN112866692A CN202110061724.7A CN202110061724A CN112866692A CN 112866692 A CN112866692 A CN 112866692A CN 202110061724 A CN202110061724 A CN 202110061724A CN 112866692 A CN112866692 A CN 112866692A
Authority
CN
China
Prior art keywords
image
sub
processed
depth value
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110061724.7A
Other languages
English (en)
Other versions
CN112866692B (zh
Inventor
景晓军
赵日发
黄海
穆俊生
张荣辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202110061724.7A priority Critical patent/CN112866692B/zh
Publication of CN112866692A publication Critical patent/CN112866692A/zh
Application granted granted Critical
Publication of CN112866692B publication Critical patent/CN112866692B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例提供了一种基于高效视频编码HEVC的编码单元划分方法及装置，将获取的指定亮度图像划分为多个第一指定大小的子图像，作为当前的待处理子图像；将获取的当前的每一待处理子图像的关联图像的特征图和该待处理子图像输入至目标深度值预测模型，得到该待处理子图像的深度值；如果该待处理子图像的深度值为第一预设深度值，将该待处理子图像确定为一个编码单元；如果该待处理子图像的深度值不是第一预设深度值，将该待处理子图像划分为多个子图像，作为当前的待处理子图像，并继续确定当前的每一待处理子图像的划分方式，直至得到的子图像为第二指定大小。基于上述处理，可以提高编码单元划分的效率，进而，可以提高视频编码的效率。

Description

一种基于HEVC的编码单元划分方法及装置
技术领域
本发明涉及视频编码技术领域，特别是涉及一种基于HEVC的编码单元划分方法及装置。
背景技术
为了提高视频传输的速度，发送端在向接收端发送视频(可以称为原始视频)之前，可以基于HEVC(High Efficiency Video Coding，高效视频编码)算法，对原始视频进行编码得到目标视频，进而，可以向接收端发送目标视频。
现有技术中，对原始视频进行编码时，可以先确定出原始视频的每一视频帧对应的CU(Coding Unit，编码单元)，然后，对确定出的编码单元进行编码得到目标视频。具体的，确定编码单元的方法可以包括：
针对原始视频中的每一视频帧，可以将该视频帧划分为多个64×64的子图像，作为第一子图像。针对每一第一子图像，计算该第一子图像的率失真代价，并确定该第一子图像包含的4个32×32的子图像，作为第二子图像。针对每一第二子图像，计算该第二子图像的率失真代价，并确定该第二子图像包含的4个16×16的子图像，作为第三子图像。针对每一第三子图像，计算该第三子图像的率失真代价，并确定该第三子图像包含的4个8×8的子图像，作为第四子图像。针对每一第四子图像，计算该第四子图像的率失真代价。
然后，针对每一第三子图像，计算该第三子图像包含的4个第四子图像的率失真代价的和值(可以称为第一和值)。当第一和值不大于该第三子图像的率失真代价时，确定将该第三子图像划分为4个第四子图像，并将该4个第四子图像作为4个编码单元。当第一和值大于该第三子图像的率失真代价时，确定不对该第三子图像进行划分。然后，继续判断该第三子图像所属的第二子图像的率失真代价，与该第二子图像包含的4个第三子图像的率失真代价的和值(可称为第二和值)的大小；当第二和值不大于该第二子图像的率失真代价时，确定将该第二子图像划分为4个第三子图像；当第二和值大于该第二子图像的率失真代价时，确定不对该第三子图像进行划分。然后，继续判断该第二子图像所属的第一子图像的率失真代价，与该第一子图像包含的4个第二子图像的率失真代价的和值(可称为第三和值)的大小，当第三和值不大于该第一子图像的率失真代价时，确定将该第一子图像划分为4个第二子图像；当第三和值大于该第一子图像的率失真代价时，确定不对该第一子图像进行划分，即将该第一子图像作为一个编码单元。同理，可以得到各第一子图像各自的划分方式。然后，按照确定出的划分方式，对每一第一子图像进行划分，得到对应的编码单元。
上述编码单元划分过程中，针对每一第一子图像，均需要先计算该第一子图像的率失真代价，该第一子图像包含的4个第二子图像的率失真代价，每一第二子图像包含的4个第三子图像的率失真代价，以及每一第三子图像包含的4个第四子图像的率失真代价，还需要依次比较每一第三子图像的率失真代价与该第三子图像包含的第四子图像的率失真代价的大小，并比较该第三子图像所属的第二子图像的率失真代价与该第二子图像包含的第三子图像的率失真代价的大小，以及比较该第二子图像所属的第一子图像的率失真代价与该第一子图像包含的第二子图像的率失真代价的大小，才可以确定该第一子图像的划分方式。
可见，现有技术中的编码单元划分方法，存在较多的冗余计算，导致编码单元划分的效率较低，进而，导致视频编码的效率较低。
发明内容
本发明实施例的目的在于提供一种基于HEVC的编码单元划分方法及装置，以减少冗余计算，提高编码单元划分的效率，进而，可以提高视频编码的效率。具体技术方案如下：
第一方面，为了达到上述目的，本发明实施例提供了一种基于HEVC的编码单元划分方法，所述方法包括：
获取指定亮度图像；
将所述指定亮度图像划分为多个第一指定大小的子图像，作为当前的待处理子图像；
针对当前的每一待处理子图像，获取该待处理子图像的关联图像的特征图；其中，该待处理子图像的关联图像包括：与该待处理子图像的大小相同的子图像中，位于该待处理子图像的指定邻域范围内的子图像；
将该待处理子图像的关联图像的特征图和该待处理子图像，输入至预先训练的该待处理子图像的大小对应的目标深度值预测模型，得到该待处理子图像的深度值；其中，所述目标深度值预测模型为基于预设训练样本进行训练得到的，所述预设训练样本包括：对样本亮度图像进行裁剪得到的，且与该待处理子图像的大小相同的样本子图像、所述样本子图像的深度值，以及所述样本子图像的关联图像的特征图，所述样本子图像的深度值用于表示在对所述样本亮度图像进行编码单元划分时，是否对所述样本子图像进行划分；
如果该待处理子图像的深度值为第一预设深度值，将该待处理子图像确定为一个编码单元；
如果该待处理子图像的深度值不是所述第一预设深度值，对该待处理子图像进行划分，得到多个子图像，作为当前的待处理子图像，并返回执行所述针对当前的每一待处理子图像，获取该待处理子图像的关联图像的特征图的步骤，直至对该待处理子图像进行划分得到的多个子图像为第二指定大小。
可选的，所述指定邻域范围内的子图像包括：该待处理子图像的左侧相邻的子图像、左上方相邻的子图像、正上方相邻的子图像和右上方相邻的子图像。
可选的，所述目标深度值预测模型包括卷积层；
在所述针对当前的每一待处理子图像，获取该待处理子图像的关联图像的特征图之前，所述方法还包括：
针对该待处理子图像的每一关联图像，将该关联图像输入至所述卷积层；
所述针对当前的每一待处理子图像，获取该待处理子图像的关联图像的特征图，包括：
获取所述卷积层提取的该关联图像的特征图。
可选的，所述目标深度值预测模型的训练过程包括：
获取样本亮度图像；
基于高效视频编码HEVC算法，确定所述样本亮度图像包含的子图像的深度值；其中，一个子图像的深度值用于表示在对所述样本亮度图像进行编码单元划分时，是否对该子图像进行划分；
基于确定出的深度值对所述样本亮度图像进行裁剪，得到所述样本亮度图像的各子图像；
从所述各子图像中确定出与该待处理子图像的大小相同的子图像，作为样本子图像；
基于初始深度值预测模型，获取所述样本子图像的关联图像的特征图；
将所述样本子图像的关联图像的特征图和所述样本子图像，作为所述初始深度值预测模型的输入数据，将所述样本子图像的深度值，作为所述初始深度值预测模型的输出数据，对所述初始深度值预测模型进行训练；
当达到所述初始深度值预测模型的收敛条件时，得到该待处理子图像的大小对应的备选深度值预测模型；
基于所述备选深度值预测模型，确定该待处理子图像的大小对应的所述目标深度值预测模型。
可选的，所述备选深度值预测模型包括卷积层，所述卷积层包括多个卷积核；
所述基于所述备选深度值预测模型，确定该待处理子图像的大小对应的所述目标深度值预测模型，包括：
针对所述卷积层中的每一卷积核，计算该卷积核中各元素的绝对值的和值，作为第一和值；
按照对应的第一和值从小到大的顺序，从所述卷积层中的各卷积核中，确定前第一数目个卷积核，作为待处理卷积核；
从所述卷积层中删除所述待处理卷积核，得到该待处理子图像的大小对应的目标深度值预测模型。
可选的，所述初始深度值预测模型为卷积神经网络CNN模型。
可选的，所述方法还包括：
基于各编码单元各自的深度值，对确定出的各编码单元进行编码，得到所述指定亮度图像对应的编码结果。
第二方面，为了达到上述目的，本发明实施例提供了一种基于HEVC的编码单元划分装置，所述装置包括：
第一获取模块，用于获取指定亮度图像；
第一划分模块，用于将所述指定亮度图像划分为多个第一指定大小的子图像，作为当前的待处理子图像；
第二获取模块，用于针对当前的每一待处理子图像，获取该待处理子图像的关联图像的特征图；其中，该待处理子图像的关联图像包括：与该待处理子图像的大小相同的子图像中，位于该待处理子图像的指定邻域范围内的子图像；
预测模块，用于将该待处理子图像的关联图像的特征图和该待处理子图像，输入至预先训练的该待处理子图像的大小对应的目标深度值预测模型，得到该待处理子图像的深度值；其中，所述目标深度值预测模型为基于预设训练样本进行训练得到的，所述预设训练样本包括：对样本亮度图像进行裁剪得到的，且与该待处理子图像的大小相同的样本子图像、所述样本子图像的深度值，以及所述样本子图像的关联图像的特征图，所述样本子图像的深度值用于表示在对所述样本亮度图像进行编码单元划分时，是否对所述样本子图像进行划分；
确定模块，用于如果该待处理子图像的深度值为第一预设深度值，将该待处理子图像确定为一个编码单元；
第二划分模块，用于如果该待处理子图像的深度值不是所述第一预设深度值，对该待处理子图像进行划分，得到多个子图像，作为当前的待处理子图像，并返回执行所述针对当前的每一待处理子图像，获取该待处理子图像的关联图像的特征图的步骤，直至对该待处理子图像进行划分得到的多个子图像为第二指定大小。
可选的，所述指定邻域范围内的子图像包括：该待处理子图像的左侧相邻的子图像、左上方相邻的子图像、正上方相邻的子图像和右上方相邻的子图像。
可选的，所述目标深度值预测模型包括卷积层；
所述装置还包括：
输入模块，用于针对该待处理子图像的每一关联图像，将该关联图像输入至所述卷积层；
所述第二获取模块，具体用于获取所述卷积层提取的该关联图像的特征图。
可选的，所述装置还包括：
训练模块，用于获取样本亮度图像；
基于高效视频编码HEVC算法，确定所述样本亮度图像包含的子图像的深度值；其中，一个子图像的深度值用于表示在对所述样本亮度图像进行编码单元划分时，是否对该子图像进行划分；
基于确定出的深度值对所述样本亮度图像进行裁剪，得到所述样本亮度图像的各子图像；
从所述各子图像中确定出与该待处理子图像的大小相同的子图像，作为样本子图像；
基于初始深度值预测模型，获取所述样本子图像的关联图像的特征图；
将所述样本子图像的关联图像的特征图和所述样本子图像，作为所述初始深度值预测模型的输入数据，将所述样本子图像的深度值，作为所述初始深度值预测模型的输出数据，对所述初始深度值预测模型进行训练；
当达到所述初始深度值预测模型的收敛条件时，得到该待处理子图像的大小对应的备选深度值预测模型；
基于所述备选深度值预测模型，确定该待处理子图像的大小对应的所述目标深度值预测模型。
可选的，所述备选深度值预测模型包括卷积层，所述卷积层包括多个卷积核；
所述训练模块，具体用于针对所述卷积层中的每一卷积核，计算该卷积核中各元素的绝对值的和值，作为第一和值；
按照对应的第一和值从小到大的顺序，从所述卷积层中的各卷积核中，确定前第一数目个卷积核，作为待处理卷积核；
从所述卷积层中删除所述待处理卷积核，得到该待处理子图像的大小对应的目标深度值预测模型。
可选的，所述初始深度值预测模型为卷积神经网络CNN模型。
可选的，所述装置还包括：
编码模块，用于基于各编码单元各自的深度值，对确定出的各编码单元进行编码，得到所述指定亮度图像对应的编码结果。
本发明实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一所述的基于HEVC的编码单元划分方法步骤。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的基于HEVC的编码单元划分方法。
本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的基于HEVC的编码单元划分方法。
本发明实施例提供的一种基于HEVC的编码单元划分方法，可以获取指定亮度图像；将指定亮度图像划分为多个第一指定大小的子图像，作为当前的待处理子图像；针对当前的每一待处理子图像，获取该待处理子图像的关联图像的特征图；将该待处理子图像的关联图像的特征图和该待处理子图像，输入至预先训练的该待处理子图像的大小对应的目标深度值预测模型，得到该待处理子图像的深度值；如果该待处理子图像的深度值为第一预设深度值，将该待处理子图像确定为一个编码单元；如果该待处理子图像的深度值不是第一预设深度值，对该待处理子图像进行划分，得到多个子图像，作为当前的待处理子图像，并返回执行针对当前的每一待处理子图像，获取该待处理子图像的关联图像的特征图的步骤，直至对该待处理子图像进行划分得到的多个子图像为第二指定大小。
基于上述处理，可以根据预先训练的目标深度值预测模型，直接确定待处理子图像的划分方式，而不需要计算各待处理子图像的率失真代价，也不需要比较每一待处理子图像的率失真代价，与该待处理子图像包含的子图像的率失真代价的大小。因此，相对于现有技术，可以减少冗余计算，提高编码单元划分的效率，进而，可以提高视频编码的效率。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本发明实施例提供的一种基于HEVC的编码单元划分方法的流程图；
图2为本发明实施例提供的一种待处理子图像的示意图；
图3为本发明实施例提供的另一种基于HEVC的编码单元划分方法的流程图；
图4本发明实施例提供的一种目标深度值预测模型训练方法的流程图；
图5本发明实施例提供的另一种目标深度值预测模型训练方法的流程图；
图6为本发明实施例提供的另一种基于HEVC的编码单元划分方法的流程图；
图7为本发明实施例提供的一种基于HEVC的编码单元划分装置的结构图；
图8为本发明实施例提供的一种电子设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，图1为本发明实施例提供的一种基于HEVC的编码单元划分方法的流程图，该方法应用于电子设备，电子设备可以为终端，或者，电子设备也可以为服务器。
该方法可以包括以下步骤：
S101：获取指定亮度图像。
S102：将指定亮度图像划分为多个第一指定大小的子图像，作为当前的待处理子图像。
S103：针对当前的每一待处理子图像，获取该待处理子图像的关联图像的特征图。
其中，该待处理子图像的关联图像包括：与该待处理子图像的大小相同的子图像中，位于该待处理子图像的指定邻域范围内的子图像。
S104：将该待处理子图像的关联图像的特征图和该待处理子图像，输入至预先训练的该待处理子图像的大小对应的目标深度值预测模型，得到该待处理子图像的深度值。
其中，目标深度值预测模型为基于预设训练样本进行训练得到的，预设训练样本包括：对样本亮度图像进行裁剪得到的，且与该待处理子图像的大小相同的样本子图像、样本子图像的深度值，以及样本子图像的关联图像的特征图，样本子图像的深度值用于表示在对样本亮度图像进行编码单元划分时，是否对样本子图像进行划分。
S105：如果该待处理子图像的深度值为第一预设深度值，将该待处理子图像确定为一个编码单元。
S106：如果该待处理子图像的深度值不是第一预设深度值，对该待处理子图像进行划分，得到多个子图像，作为当前的待处理子图像，并返回执行针对当前的每一待处理子图像，获取该待处理子图像的关联图像的特征图的步骤，直至对该待处理子图像进行划分得到的多个子图像为第二指定大小。
基于本发明实施例提供的基于HEVC的编码单元划分方法，可以根据预先训练的目标深度值预测模型，直接确定待处理子图像的划分方式，而不需要计算各待处理子图像的率失真代价，也不需要比较每一待处理子图像的率失真代价，与该待处理子图像包含的子图像的率失真代价的大小。因此，相对于现有技术，可以减少冗余计算，提高编码单元划分的效率，进而，可以提高视频编码的效率。
在步骤S101中，待编码的原始视频可以为YUV格式的视频，针对原始视频的每一视频帧(可以称为待处理视频帧)，电子设备可以提取待处理视频帧的Y分量(即亮度分量)，得到待处理视频帧对应的亮度图像(即本发明实施例中的指定亮度图像)。后续，电子设备可以对指定亮度图像进行编码，得到指定亮度图像的编码结果，作为待处理视频帧的编码结果。进而，可以得到原始视频的各视频帧的编码结果，作为原始视频的编码结果。
在步骤S102中，第一指定大小可以为64×64(即宽度方向为64个像素点，高度方向为64个像素点)。电子设备可以按照每一子图像宽度方向和高度方向均包含64个像素点的方式，对指定亮度图像进行裁剪，得到多个64×64的子图像，作为当前的待处理子图像。
在步骤S103中，针对当前的每一待处理子图像，电子设备可以确定该待处理子图像的关联图像，进而，电子设备可以获取该待处理子图像的指定邻域范围内的子图像(即该待处理子图像的关联图像)的特征图。
在本发明的一个实施例中，一个待处理子图像的指定邻域范围内的子图像包括：该待处理子图像的左侧相邻的子图像、左上方相邻的子图像、正上方相邻的子图像和右上方相邻的子图像。
一个待处理子图像左侧相邻的子图像，也就是和该待处理子图像位于同一行，且位于该待处理子图像左侧相邻的子图像。
参见图2，图2为本发明实施例提供的一种待处理子图像的示意图。
电子设备对指定亮度图像进行划分，得到9个64×64的子图像，该9个64×64的子图像包括：子图像1、子图像2、子图像3、子图像4、子图像6、子图像7、子图像8和子图像9。
图2中，子图像6的关联图像包括：子图像6的左侧相邻的子图像5、左上方相邻的子图像1、正上方相邻的子图像2和右上方相邻的子图像3。
可以理解的是，由于子图像1位于指定亮度图像的第一行，且位于指定亮度图像的第一列，不存在子图像1的左侧相邻的子图像、左上方相邻的子图像、正上方相邻的子图像和右上方相邻的子图像，即不存在子图像1的关联图像。
在本发明的一个实施例中，目标深度值预测模型包括卷积层。参见图3，在步骤S103之前，该方法还可以包括以下步骤：
S107：针对该待处理子图像的每一关联图像，将该关联图像输入至卷积层。
相应的，步骤S103可以包括以下步骤：
S1031：获取卷积层提取的该关联图像的特征图。
在步骤S107中，针对每一待处理子图像，电子设备可以将该待处理子图像的每一关联图像输入至目标深度值预测模型的卷积层，电子设备可以通过卷积层对该关联图像进行卷积处理，得到该关联图像的特征图。进而，电子设备可以获取该关联图像的特征图。
可以理解是，如果一个待处理子图像不存在关联图像，则电子设备可以将预设特征图，作为该待处理子图像的关联图像的特征图。
一种实现方式中，针对该待处理子图像的每一关联图像(可以称为第一关联图像)，在确定该第一关联图像的深度值时，电子设备将该第一关联图像的关联图像的特征图，以及该第一关联图像输入至目标深度值预测模型的卷积层，目标深度值预测模型的卷积层可以对该第一关联图像进行卷积处理，得到该第一关联图像的特征图。进而，电子设备可以获取卷积层提取的该第一关联图像的特征图。
另外，目标深度值预测模型可以包括多个卷积层，针对该待处理子图像的每一第一关联图像，目标深度值预测模型的第1个卷积层可以对该第一关联图像进行卷积处理，得到该第一关联图像的特征图(可以称为第一特征图)，并输入至第2个卷积层。第2个卷积层可以对第一特征图进行卷积处理，得到该第一关联图像的第二特征图，并输入至第3个卷积层，以此类推，直至最后一个卷积层提取得到该第一关联图像的特征图。
也就是说，目标深度值预测模型包括的多个卷积层均可以提取得到该第一关联图像的特征图。电子设备可以获取任一个卷积层提取的该第一关联图像的特征图，例如，电子设备可以获取最后一个卷积层提取的该第一关联图像的特征图。
电子设备在确定各待处理子图像的划分方式时，是基于各待处理子图像在指定亮度图像中的位置，按照先从左至右，再从上至下的处理顺序(可以称为目标处理顺序)，依次确定每一待处理子图像的划分方式。
针对图2所示的待处理子图像的示意图，电子设备对指定亮度图像进行划分，得到9个64×64的子图像。然后，电子设备基于各子图像在指定亮度图像中的位置，按照先从左至右，再从上至下的目标处理顺序，先确定第1个64×64的子图像(即子图像1)的划分方式，再确定第2个64×64的子图像(即子图像2)的划分方式，再确定第3个64×64的子图像(即子图像3)的划分方式。然后，电子设备可以确定第4个64×64的子图像(即子图像4)的划分方式，再确定第5个64×64的子图像(即子图像5)的划分方式，以此类推，可以确定每一子图像的划分方式。
可以理解的是，针对每一待处理子图像，由于在目标处理顺序中，该待处理子图像的关联图像位于该待处理子图像之前。因此，在确定该待处理子图像的划分方式之前，已经确定了对该待处理子图像的关联图像的划分方式，也就是已经得到了该待处理子图像的关联图像的特征图。因此，在确定该待处理子图像的划分方式理时，可以直接获取该待处理子图像的关联图像的特征图。
另外，电子设备还可以保存目标深度值预测模型的卷积层提取的该第一关联图像的特征图。电子设备可以获取本地存储的该第一关联图像的特征图。
在步骤S104中，针对每一待处理子图像，电子设备可以将该待处理子图像的关联图像的特征图和该待处理子图像，输入至预先训练的该待处理子图像的大小对应的目标深度值预测模型，得到该待处理子图像的深度值。
一种实现方式中，目标深度值预测模型可以包括：多个卷积层、SENet和全连接层。其中，每一卷积层均包含多个卷积核。
针对每一待处理子图像，电子设备可以将该待处理子图像的关联图像的特征图和该待处理子图像，输入至目标深度值预测模型。电子设备可以通过第1个卷积层的各卷积核分别对该待处理子图像进行卷积处理，得到每一卷积核输出的该待处理子图像的特征图(可以称为第三特征图)，并将各个第三特征图输入至第2个卷积层。通过第2个卷积层的各卷积核分别对各个第三特征图进行卷积处理，得到每一卷积核输出的该待处理子图像的特征图(可以称为第四特征图)，并将各个第四特征图输入至第3个卷积层，以此类推，直至最后一个卷积层提取得到该待处理子图像的多个特征图(可以称为第五特征图)。
另外，针对最后一个卷积层的每一个卷积核，可以获取在确定该待处理子图像的关联图像的划分方式时，该卷积核提取到的特征图(可以称为第六特征图)，也就是说，可以获取在输入该待处理子图像的关联图像时，该卷积核提取到的特征图(即第六特征图)。然后，可以对该卷积核提取的第五特征图和第六特征图进行拼接，得到一个目标特征图。也就是说，可以得到多个目标特征图，目标特征图的数目与最后一个卷积层中的卷积核的数目相同。进而，可以将得到的各目标特征图输入至SENet(Squeeze-and-ExcitationNetworks，挤压和激励网络)。
电子设备可以通过SENet确定各卷积核各自权重，然后，针对每一目标特征图，可以计算该目标特征图与该目标特征图对应的卷积核的权重的乘积，得到新的目标特征图。然后，可以将各个新的目标特征图输入至全连接层。电子设备可以通过全连接层，对各个新的目标特征图进行特征融合，得到特征融合后的目标特征图，并对特征融合后的目标特征图进行映射处理，得到该待处理子图像的深度值。
另外，在基于训练好的目标深度值预测模型，确定当前的每一待处理子图像的深度值之前，电子设备还可以基于预设的训练样本，对初始深度值预测模型进行训练，得到目标深度值预测模型。
在本发明的一个实施例中，参见图4，图4为本发明实施例提供的一种目标深度值预测模型训练方法的流程图，该方法可以包括以下步骤：
S401：获取样本亮度图像。
S402：基于高效视频编码HEVC算法，确定样本亮度图像包含的子图像的深度值。
其中，一个子图像的深度值用于表示在对样本亮度图像进行编码单元划分时，是否对该子图像进行划分。
S403：基于确定出的深度值对样本亮度图像进行裁剪，得到样本亮度图像的各子图像。
S404：从各子图像中确定出与该待处理子图像的大小相同的子图像，作为样本子图像。
S405：基于初始深度值预测模型，获取样本子图像的关联图像的特征图。
S406：将样本子图像的关联图像的特征图和样本子图像，作为初始深度值预测模型的输入数据，将样本子图像的深度值，作为初始深度值预测模型的输出数据，对初始深度值预测模型进行训练。
S407：当达到初始深度值预测模型的收敛条件时，得到该待处理子图像的大小对应的备选深度值预测模型。
S408：基于备选深度值预测模型，确定该待处理子图像的大小对应的目标深度值预测模型。
针对步骤S401和步骤S402，电子设备可以获取不同分辨率(例如，1920×1080，1280×720，832×480，416×240等)的视频(可以称为样本视频)，并按照预设采样率从样本视频中提取样本视频帧，例如，可以从样本视频中，每隔10帧提取一帧样本视频帧。电子设备可以将提取到的样本视频帧转换为亮度图像，得到样本亮度图像。
然后，电子设备可以基于HEVC算法，确定样本亮度图像的各子图像的深度值，一个子图像的深度值用于表示在对样本亮度图像进行编码单元划分时，是否对该子图像进行划分。
在步骤S403中，一种实现方式中，电子设备可以对样本亮度图像进行裁剪，得到多个64×64的子图像。针对一个64×64的子图像，如果基于确定出的深度值，该64×64的子图像需要进行划分，则电子设备可以对64×64的子图像进行裁剪，得到32×32的子图像。针对一个32×32的子图像，如果基于确定出的深度值，该32×32的子图像需要划分，则电子设备可以对32×32的子图像进行裁剪，得到16×16的子图像。
针对步骤S404和步骤S405中，电子设备可以从样本图的各子图像中确定与待处理子图像的大小相同的子图像，作为样本子图像。针对每一样本子图像，确定该样本子图像的关联图像，并获取该样本子图像的关联图像的特征图。电子设备获取样本子图像的关联图像的特征图的方式，与电子设备获取待处理子图像的关联图像的特征图的方式类似，可以参见前述实施例的详细介绍。
在步骤S406中，预设训练样本可以包括：正样本和负样本。
电子设备可以从样本子图像中，确定深度值为第一预设深度值的样本子图像(可以称为第一样本子图像)，并将第一样本子图像、第一样本子图像的关联图像的特征图、以及第一样本子图像的深度值(即第一预设深度值)，作为负样本。将深度值不是第一预设深度值的样本子图像(可以称为第二样本子图像)、第二样本子图像的关联图像的特征图、以及第二样本子图像的深度值，作为正样本。进而，基于正样本和负样本对初始深度值预测模型进行训练。
可以理解的是，针对每一样本子图像，如果该样本子图像的深度值不是第一预设深度值，表示需要对该样本子图像进行划分。因此，在对该样本子图像进行划分之前，电子设备可以对该样本子图像进行复制。然后，电子设备可以将该样本子图像作为正样本中的第二样本子图像，并对复制得到的样本子图像进行裁剪，得到该样本子图像的子图像。
一种实现方式中，电子设备可以将第一样本子图像、第一样本子图像的关联图像的特征图，作为初始深度值预测模型的输入数据，并将第一样本子图像的深度值(即第一预设深度值)，作为初始深度值预测模型的输出数据，对初始深度值预测模型进行训练。电子设备还可以将第二样本子图像、第二样本子图像的关联图像的特征图，作为初始深度值预测模型的输入数据，并将第二样本子图像的深度值，作为初始深度值预测模型的输出数据，对初始深度值预测模型进行训练。
在本发明的一个实施例中，初始深度值预测模型为CNN(Convolutional NeuralNetworks，卷积神经网络)模型。
针对步骤S407和步骤S408，当初始深度值预测模型达到收敛条件时，可以得到备选深度值预测模型。进而，电子设备可以基于备选深度值预测模型，确定该待处理子图像的大小对应的目标深度值预测模型。
一种实现方式中，电子设备可以直接将该待处理子图像的大小对应的备选深度值预测模型，作为该待处理子图像的大小对应的目标深度值预测模型。
另一种实现方式中，该待处理子图像的大小对应的备选深度值预测模型可以包括卷积层，卷积层可以包括多个卷积核，相应的，参见图5，步骤S408可以包括以下步骤：
S4081：针对卷积层中的每一卷积核，计算该卷积核中各元素的绝对值的和值，作为第一和值。
S4082：按照对应的第一和值从小到大的顺序，从卷积层中的各卷积核中，确定前第一数目个卷积核，作为待处理卷积核。
S4083：从卷积层中删除待处理卷积核，得到该待处理子图像的大小对应的目标深度值预测模型。
在步骤S4081中，在对初始深度值预测模型进行训练时，初始深度值预测模型中的SENet，可以确定初始深度值预测模型的卷积层中每一卷积核的权重，并计算各卷积核与各自权重的乘积，得到新的卷积核。包含新的卷积核的初始深度值预测模型也就是备选深度值预测模型。一个卷积核的权重表示该卷积核提取的特征图，对预测得到的待处理子图像的深度值的影响程度。
因此，针对卷积层中的每一卷积核，电子设备可以计算该卷积核中各元素的绝对值的和值，作为第一和值。第一和值可以表示该卷积核提取的特征图，对预测得到的待处理子图像的深度值的影响程度。
在步骤S4082中，第一数目可以由技术人员根据经设置，例如，第一数目可以为卷积层中的卷积核的总数目的25％，或者，第一数目也可以为卷积层中的卷积核的总数目的20％，但并不限于此。
基于上述处理，确定出的待处理卷积核为第一和值较小的卷积核，也就是权重较小的卷积核，即待处理卷积核提取的特征图，对预测得到的待处理子图像的深度值的影响程度较小，因此，可以删除待处理卷积核，在保证了目标深度值预测模型确定出的深度值的准确性的同时，可以减少计算量，提高确定待处理子图像的深度值的效率，进而，可以提高编码单元划分的效率，以提高编码效率。
在步骤S105中，第一预设深度值与待处理子图像的大小相对应。如果当前的待处理子图像的大小为64×64，则第一预设深度值为0。如果当前的待处理子图像的大小为32×32，则第一预设深度值为1。如果当前的待处理子图像的大小为16×16，则第一预设深度值为2。
一个待处理子图像的深度值为第一预设深度值时，表明不对该待处理子图像进行划分，即将该待处理子图像作为一个编码单元，该编码单元的深度值为第一预设深度值。
一个编码单元的深度值可以表示该编码单元在CTU(Coding Tree Unit，编码树单元)中的位置。64×64的编码单元的深度值为0，表示64×64的编码单元为CTU中的根节点。32×32的编码单元的深度值为1，表示32×32的编码单元为CTU中的根节点的子节点(可以称为第一子节点)。16×16的编码单元的深度值为2，表示16×16的编码单元为CTU中的第一子节点的子节点(可以称为第二子节点)。8×8的编码单元的深度值为3，表示8×8的编码单元为CTU中的第二子节点的子节点。
在步骤S106中，第二指定大小可以为8×8。针对当前的每一待处理子图像，如果该待处理子图像的深度值不是第一预设深度值，表明需要对该待处理子图像进行划分，电子设备可以对该待处理子图像进行划分，得到多个子图像，并将得到子图像作当前的待处理子图像。然后，继续判断当前的每一待处理子图像是否需要进行划分，直至划分得到第二指定大小的子图像。
一种实现方式中，如果该待处理子图像的大小为64×64，且该待处理子图像的深度值不是第一预设深度值，电子设备可以将该待处理子图像划分为4个32×32的子图像。电子设备还可以将32×32的子图像作为当前的待处理子图像，并继续判断当前的每一待处理子图像是否需要进行划分。
如果不需要对该待处理子图像进行划分，则电子设备可以将该待处理子图像作为一个编码单元。如果该待处理子图像需要进行划分，电子设备可以将该待处理子图像划分为4个16×16的子图像，并将16×16的子图像作为当前的待处理子图像。
然后，继续判断当前的每一待处理子图像是否需要进行划分，如果不需要对该待处理子图像进行划分，则电子设备可以将该待处理子图像作为一个编码单元。如果该待处理子图像需要进行划分，电子设备可以将该待处理子图像划分为4个8×8的子图像，并将得到的每一8×8的子图像，作为一个编码单元。
在本发明的一个实施例中，参见图6，该方法还可以包括以下步骤：
S108：按照各编码单元各自的深度值，对确定出的各编码单元进行编码，得到指定亮度图像对应的编码结果。
一种实现方式中，在对指定亮度图像进行划分，得到多个编码单元之后，电子设备可以按照各编码单元各自的深度值，对各编码单元进行编码，得到指定亮度图像的编码结果。指定亮度图像的编码结果，也就是原始视频中的待处理视频帧的编码结果。进而，可以得到原始视频的各视频帧的编码结果(即原始视频的编码结果)。
与图1的方法实施例相对应，参见图7，图7为本发明实施例提供的一种基于HEVC的编码单元划分装置的结构图，所述装置包括：
第一获取模块701，用于获取指定亮度图像；
第一划分模块702，用于将所述指定亮度图像划分为多个第一指定大小的子图像，作为当前的待处理子图像；
第二获取模块703，用于针对当前的每一待处理子图像，获取该待处理子图像的关联图像的特征图；其中，该待处理子图像的关联图像包括：与该待处理子图像的大小相同的子图像中，位于该待处理子图像的指定邻域范围内的子图像；
预测模块704，用于将该待处理子图像的关联图像的特征图和该待处理子图像，输入至预先训练的该待处理子图像的大小对应的目标深度值预测模型，得到该待处理子图像的深度值；其中，所述目标深度值预测模型为基于预设训练样本进行训练得到的，所述预设训练样本包括：对样本亮度图像进行裁剪得到的，且与该待处理子图像的大小相同的样本子图像、所述样本子图像的深度值，以及所述样本子图像的关联图像的特征图，所述样本子图像的深度值用于表示在对所述样本亮度图像进行编码单元划分时，是否对所述样本子图像进行划分；
确定模块705，用于如果该待处理子图像的深度值为第一预设深度值，将该待处理子图像确定为一个编码单元；
第二划分模块706，用于如果该待处理子图像的深度值不是所述第一预设深度值，对该待处理子图像进行划分，得到多个子图像，作为当前的待处理子图像，并返回执行所述针对当前的每一待处理子图像，获取该待处理子图像的关联图像的特征图的步骤，直至对该待处理子图像进行划分得到的多个子图像为第二指定大小。
可选的，所述指定邻域范围内的子图像包括：该待处理子图像的左侧相邻的子图像、左上方相邻的子图像、正上方相邻的子图像和右上方相邻的子图像。
可选的，所述目标深度值预测模型包括卷积层；
所述装置还包括：
输入模块，用于针对该待处理子图像的每一关联图像，将该关联图像输入至所述卷积层；
所述第二获取模块，具体用于获取所述卷积层提取的该关联图像的特征图。
可选的，所述装置还包括：
训练模块，用于获取样本亮度图像；
基于高效视频编码HEVC算法，确定所述样本亮度图像包含的子图像的深度值；其中，一个子图像的深度值用于表示在对所述样本亮度图像进行编码单元划分时，是否对该子图像进行划分；
基于确定出的深度值对所述样本亮度图像进行裁剪，得到所述样本亮度图像的各子图像；
从所述各子图像中确定出与该待处理子图像的大小相同的子图像，作为样本子图像；
基于初始深度值预测模型，获取所述样本子图像的关联图像的特征图；
将所述样本子图像的关联图像的特征图和所述样本子图像，作为所述初始深度值预测模型的输入数据，将所述样本子图像的深度值，作为所述初始深度值预测模型的输出数据，对所述初始深度值预测模型进行训练；
当达到所述初始深度值预测模型的收敛条件时，得到该待处理子图像的大小对应的备选深度值预测模型；
基于所述备选深度值预测模型，确定该待处理子图像的大小对应的所述目标深度值预测模型。
可选的，所述备选深度值预测模型包括卷积层，所述卷积层包括多个卷积核；
所述训练模块，具体用于针对所述卷积层中的每一卷积核，计算该卷积核中各元素的绝对值的和值，作为第一和值；
按照对应的第一和值从小到大的顺序，从所述卷积层中的各卷积核中，确定前第一数目个卷积核，作为待处理卷积核；
从所述卷积层中删除所述待处理卷积核，得到该待处理子图像的大小对应的目标深度值预测模型。
可选的，所述初始深度值预测模型为卷积神经网络CNN模型。
可选的，所述装置还包括：
编码模块，用于基于各编码单元各自的深度值，对确定出的各编码单元进行编码，得到所述指定亮度图像对应的编码结果。
基于本发明实施例提供的基于HEVC的编码单元划分装置，可以根据预先训练的目标深度值预测模型，直接确定待处理子图像的划分方式，而不需要计算各待处理子图像的率失真代价，也不需要比较每一待处理子图像的率失真代价，与该待处理子图像包含的子图像的率失真代价的大小。因此，相对于现有技术，可以减少冗余计算，提高编码单元划分的效率，进而，可以提高视频编码的效率。
本发明实施例还提供了一种电子设备，如图8所示，包括处理器801、通信接口802、存储器803和通信总线804，其中，处理器801，通信接口802，存储器803通过通信总线804完成相互间的通信，
存储器803，用于存放计算机程序；
处理器801，用于执行存储器803上所存放的程序时，实现如下步骤：
获取指定亮度图像；
将所述指定亮度图像划分为多个第一指定大小的子图像，作为当前的待处理子图像；
针对当前的每一待处理子图像，获取该待处理子图像的关联图像的特征图；其中，该待处理子图像的关联图像包括：与该待处理子图像的大小相同的子图像中，位于该待处理子图像的指定邻域范围内的子图像；
将该待处理子图像的关联图像的特征图和该待处理子图像，输入至预先训练的该待处理子图像的大小对应的目标深度值预测模型，得到该待处理子图像的深度值；其中，所述目标深度值预测模型为基于预设训练样本进行训练得到的，所述预设训练样本包括：对样本亮度图像进行裁剪得到的，且与该待处理子图像的大小相同的样本子图像、所述样本子图像的深度值，以及所述样本子图像的关联图像的特征图，所述样本子图像的深度值用于表示在对所述样本亮度图像进行编码单元划分时，是否对所述样本子图像进行划分；
如果该待处理子图像的深度值为第一预设深度值，将该待处理子图像确定为一个编码单元；
如果该待处理子图像的深度值不是所述第一预设深度值，对该待处理子图像进行划分，得到多个子图像，作为当前的待处理子图像，并返回执行所述针对当前的每一待处理子图像，获取该待处理子图像的关联图像的特征图的步骤，直至对该待处理子图像进行划分得到的多个子图像为第二指定大小。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
基于本发明实施例提供的电子设备，可以根据预先训练的目标深度值预测模型，直接确定待处理子图像的划分方式，而不需要计算各待处理子图像的率失真代价，也不需要比较每一待处理子图像的率失真代价，与该待处理子图像包含的子图像的率失真代价的大小。因此，相对于现有技术，可以减少冗余计算，提高编码单元划分的效率，进而，可以提高视频编码的效率。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一基于HEVC的编码单元划分方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一基于HEVC的编码单元划分方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质和计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种基于高效视频编码HEVC的编码单元划分方法，其特征在于，所述方法包括：
获取指定亮度图像；
将所述指定亮度图像划分为多个第一指定大小的子图像，作为当前的待处理子图像；
针对当前的每一待处理子图像，获取该待处理子图像的关联图像的特征图；其中，该待处理子图像的关联图像包括：与该待处理子图像的大小相同的子图像中，位于该待处理子图像的指定邻域范围内的子图像；
将该待处理子图像的关联图像的特征图和该待处理子图像，输入至预先训练的该待处理子图像的大小对应的目标深度值预测模型，得到该待处理子图像的深度值；其中，所述目标深度值预测模型为基于预设训练样本进行训练得到的，所述预设训练样本包括：对样本亮度图像进行裁剪得到的，且与该待处理子图像的大小相同的样本子图像、所述样本子图像的深度值，以及所述样本子图像的关联图像的特征图，所述样本子图像的深度值用于表示在对所述样本亮度图像进行编码单元划分时，是否对所述样本子图像进行划分；
如果该待处理子图像的深度值为第一预设深度值，将该待处理子图像确定为一个编码单元；
如果该待处理子图像的深度值不是所述第一预设深度值，对该待处理子图像进行划分，得到多个子图像，作为当前的待处理子图像，并返回执行所述针对当前的每一待处理子图像，获取该待处理子图像的关联图像的特征图的步骤，直至对该待处理子图像进行划分得到的多个子图像为第二指定大小。
2.根据权利要求1所述的方法，其特征在于，所述指定邻域范围内的子图像包括：该待处理子图像的左侧相邻的子图像、左上方相邻的子图像、正上方相邻的子图像和右上方相邻的子图像。
3.根据权利要求1所述的方法，其特征在于，所述目标深度值预测模型包括卷积层；
在所述针对当前的每一待处理子图像，获取该待处理子图像的关联图像的特征图之前，所述方法还包括：
针对该待处理子图像的每一关联图像，将该关联图像输入至所述卷积层；
所述针对当前的每一待处理子图像，获取该待处理子图像的关联图像的特征图，包括：
获取所述卷积层提取的该关联图像的特征图。
4.根据权利要求1所述的方法，其特征在于，所述目标深度值预测模型的训练过程包括：
获取样本亮度图像；
基于高效视频编码HEVC算法，确定所述样本亮度图像包含的子图像的深度值；其中，一个子图像的深度值用于表示在对所述样本亮度图像进行编码单元划分时，是否对该子图像进行划分；
基于确定出的深度值对所述样本亮度图像进行裁剪，得到所述样本亮度图像的各子图像；
从所述各子图像中确定出与该待处理子图像的大小相同的子图像，作为样本子图像；
基于初始深度值预测模型，获取所述样本子图像的关联图像的特征图；
将所述样本子图像的关联图像的特征图和所述样本子图像，作为所述初始深度值预测模型的输入数据，将所述样本子图像的深度值，作为所述初始深度值预测模型的输出数据，对所述初始深度值预测模型进行训练；
当达到所述初始深度值预测模型的收敛条件时，得到该待处理子图像的大小对应的备选深度值预测模型；
基于所述备选深度值预测模型，确定该待处理子图像的大小对应的所述目标深度值预测模型。
5.根据权利要求4所述的方法，其特征在于，所述备选深度值预测模型包括卷积层，所述卷积层包括多个卷积核；
所述基于所述备选深度值预测模型，确定该待处理子图像的大小对应的所述目标深度值预测模型，包括：
针对所述卷积层中的每一卷积核，计算该卷积核中各元素的绝对值的和值，作为第一和值；
按照对应的第一和值从小到大的顺序，从所述卷积层中的各卷积核中，确定前第一数目个卷积核，作为待处理卷积核；
从所述卷积层中删除所述待处理卷积核，得到该待处理子图像的大小对应的目标深度值预测模型。
6.根据权利要求4所述的方法，其特征在于，所述初始深度值预测模型为卷积神经网络CNN模型。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述方法还包括：
基于各编码单元各自的深度值，对确定出的各编码单元进行编码，得到所述指定亮度图像对应的编码结果。
8.一种基于HEVC的编码单元划分装置，其特征在于，所述装置包括：
第一获取模块，用于获取指定亮度图像；
第一划分模块，用于将所述指定亮度图像划分为多个第一指定大小的子图像，作为当前的待处理子图像；
第二获取模块，用于针对当前的每一待处理子图像，获取该待处理子图像的关联图像的特征图；其中，该待处理子图像的关联图像包括：与该待处理子图像的大小相同的子图像中，位于该待处理子图像的指定邻域范围内的子图像；
预测模块，用于将该待处理子图像的关联图像的特征图和该待处理子图像，输入至预先训练的该待处理子图像的大小对应的目标深度值预测模型，得到该待处理子图像的深度值；其中，所述目标深度值预测模型为基于预设训练样本进行训练得到的，所述预设训练样本包括：对样本亮度图像进行裁剪得到的，且与该待处理子图像的大小相同的样本子图像、所述样本子图像的深度值，以及所述样本子图像的关联图像的特征图，所述样本子图像的深度值用于表示在对所述样本亮度图像进行编码单元划分时，是否对所述样本子图像进行划分；
确定模块，用于如果该待处理子图像的深度值为第一预设深度值，将该待处理子图像确定为一个编码单元；
第二划分模块，用于如果该待处理子图像的深度值不是所述第一预设深度值，对该待处理子图像进行划分，得到多个子图像，作为当前的待处理子图像，并返回执行所述针对当前的每一待处理子图像，获取该待处理子图像的关联图像的特征图的步骤，直至对该待处理子图像进行划分得到的多个子图像为第二指定大小。
9.根据权利要求8所述的装置，其特征在于，所述指定邻域范围内的子图像包括：该待处理子图像的左侧相邻的子图像、左上方相邻的子图像、正上方相邻的子图像和右上方相邻的子图像。
10.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。
CN202110061724.7A 2021-01-18 2021-01-18 一种基于hevc的编码单元划分方法、装置及电子设备 Active CN112866692B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110061724.7A CN112866692B (zh) 2021-01-18 2021-01-18 一种基于hevc的编码单元划分方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110061724.7A CN112866692B (zh) 2021-01-18 2021-01-18 一种基于hevc的编码单元划分方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN112866692A true CN112866692A (zh) 2021-05-28
CN112866692B CN112866692B (zh) 2022-04-26

Family

ID=76006330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110061724.7A Active CN112866692B (zh) 2021-01-18 2021-01-18 一种基于hevc的编码单元划分方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN112866692B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106303548A (zh) * 2015-05-22 2017-01-04 北大方正集团有限公司 Hevc帧内预测编码方法
CN108737841A (zh) * 2017-04-21 2018-11-02 腾讯科技（深圳）有限公司 编码单元深度确定方法及装置
CN110381312A (zh) * 2019-07-19 2019-10-25 广东工业大学 一种基于hevc的预测深度划分范围的方法和装置
CN111757110A (zh) * 2020-07-02 2020-10-09 中实燃气发展(西安)有限公司 视频编码方法及编码树单元划分方法、系统、设备及可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106303548A (zh) * 2015-05-22 2017-01-04 北大方正集团有限公司 Hevc帧内预测编码方法
CN108737841A (zh) * 2017-04-21 2018-11-02 腾讯科技（深圳）有限公司 编码单元深度确定方法及装置
JP2020500482A (ja) * 2017-04-21 2020-01-09 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 符号化ユニットの深さ特定方法及び装置
CN110381312A (zh) * 2019-07-19 2019-10-25 广东工业大学 一种基于hevc的预测深度划分范围的方法和装置
CN111757110A (zh) * 2020-07-02 2020-10-09 中实燃气发展(西安)有限公司 视频编码方法及编码树单元划分方法、系统、设备及可读存储介质

Also Published As

Publication number Publication date
CN112866692B (zh) 2022-04-26

Similar Documents

Publication Publication Date Title
US11151723B2 (en) Image segmentation method, apparatus, and fully convolutional network system
CN110751134B (zh) 目标检测方法、装置、存储介质及计算机设备
CN111080527B (zh) 一种图像超分辨率的方法、装置、电子设备及存储介质
CN109784181B (zh) 图片水印识别方法、装置、设备及计算机可读存储介质
CN111163338B (zh) 视频清晰度评估模型训练方法、视频推荐方法及相关装置
CN110555847B (zh) 一种基于卷积神经网络的图像处理方法及装置
CN110544214A (zh) 一种图像修复方法、装置及电子设备
CN112580561A (zh) 目标检测方法、装置、电子设备及存储介质
CN110909663A (zh) 一种人体关键点识别方法、装置及电子设备
CN111639230B (zh) 一种相似视频的筛选方法、装置、设备和存储介质
CN111444923A (zh) 自然场景下图像语义分割方法和装置
CN110084742B (zh) 一种视差图预测方法、装置及电子设备
CN111445487A (zh) 图像分割方法、装置、计算机设备和存储介质
CN113436068B (zh) 一种图像拼接方法、装置、电子设备及存储介质
CN111046730A (zh) 植株数据处理方法、装置、计算机设备和存储介质
CN111738272A (zh) 一种目标特征提取方法、装置及电子设备
CN112866692B (zh) 一种基于hevc的编码单元划分方法、装置及电子设备
CN113888438A (zh) 图像处理方法、装置及存储介质
CN111445411B (zh) 图像去噪方法、装置、计算机设备和存储介质
CN109784481B (zh) 一种基于神经网络的调整方法、装置及设备
WO2022179354A1 (zh) 样点自适应补偿的边界补偿模式的数据处理方法、装置
CN110874814A (zh) 一种图像处理方法、图像处理装置及终端设备
CN113033616B (zh) 高质量视频重建方法、装置、设备及存储介质
CN114584781A (zh) 视频压缩方法及装置、计算机可读存储介质
CN112633198A (zh) 一种图片处理方法、装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant