CN110324620A - 帧内预测方法、装置、电子设备及机器可读存储介质 - Google Patents

帧内预测方法、装置、电子设备及机器可读存储介质 Download PDF

Info

Publication number
CN110324620A
CN110324620A CN201810276552.3A CN201810276552A CN110324620A CN 110324620 A CN110324620 A CN 110324620A CN 201810276552 A CN201810276552 A CN 201810276552A CN 110324620 A CN110324620 A CN 110324620A
Authority
CN
China
Prior art keywords
block
pixel
data block
specified
specified pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810276552.3A
Other languages
English (en)
Other versions
CN110324620B (zh
Inventor
左旭光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201810276552.3A priority Critical patent/CN110324620B/zh
Publication of CN110324620A publication Critical patent/CN110324620A/zh
Application granted granted Critical
Publication of CN110324620B publication Critical patent/CN110324620B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请提供了帧内预测方法、装置、电子设备及机器可读存储介质。本申请中，并非仅依赖于隐藏层只包含全连接层的深度神经网络实现帧内预测，而是由卷积层或降维处理与全连接层一起实现帧内预测，因为卷积层或降维处理能够帮助全连接层分担帧内预测，因此，相比于仅依赖于隐藏层只包含全连接层的深度神经网络实现帧内预测，本申请中全连接层的层数可以远小于仅依赖于隐藏层只包含全连接层的深度神经网络中全连接层的层数，大大降低帧内预测的复杂度。

Description

帧内预测方法、装置、电子设备及机器可读存储介质
技术领域
本申请涉及视频技术，特别涉及帧内预测方法、装置、电子设备及机器可读存储介质。
背景技术
在视频编解码领域，帧内预测技术是一种去除图像内临近像素之间空间相关性(即空域冗余)的技术。
目前，帧内预测是基于深度神经网络实现的。其中，帧内预测基于的深度神经网络包括：输入层、隐藏层、输出层。隐藏层仅包含全连接层。图1示出了基于深度神经网络的帧内预测示意图。如图1所示，对于图1所示的尺寸为NxN的像素块(图1中的白色方框)，将与该像素块相邻的区域(图1所示的灰色区域)中的重建像素输入至深度神经网络的输入层，并经过深度神经网络的全连接层(全连接层的最后一层包含NxN个节点)处理，最终由输出层输出像素块的预测块。
虽然基于深度神经网络(隐藏层仅包含全连接层)可实现帧内预测。但是，当通过隐藏层只包含全连接层的深度神经网络实现帧内预测时，常要求全连接层的层数比较多，而全连接层的层数与深度神经网络所需的网络参数成正比例关系，每增加一层全连接层，所需的网络参数会急剧增加，会加大帧内预测复杂度。
发明内容
本申请提供了帧内预测方法、装置、电子设备及机器可读存储介质，以降低帧内预测的复杂度。
本申请提供的技术方案包括：
本申请提供第一种帧内预测方法，包括：
将指定像素块的参考像素输入至第一深度神经网络中的第一全连接层；
依据所述第一全连接层输出的第一数据块确定待输入至卷积层的目标数据块；
将所述目标数据块输入至所述卷积层；
依据所述卷积层输出的第二数据块确定所述指定像素块的预测块。
本申请提供第二种帧内预测方法，包括：
对指定像素块的参考像素进行降维处理得到第七数据块；
将所述第七数据块输入至第二深度神经网络中的第二全连接层；
依据所述第二全连接层输出的第八数据块确定所述指定像素块的预测块。
本申请提供第一种帧内预测装置，包括：
第一全连接模块，用于将指定像素块的参考像素输入至第一深度神经网络中的第一全连接层；
数据处理模块，用于依据所述第一全连接层输出的第一数据块确定待输入至卷积层的目标数据块，将所述目标数据块输入至所述卷积层；
预测模块，用于依据所述卷积层输出的第二数据块确定所述指定像素块的预测块。
本申请提供第二种帧内预测装置，包括：
降维模块，用于对指定像素块的参考像素进行降维处理得到第八数据块；
第二全连接模块，用于将所述第八数据块输入至第二深度神经网络中的第二全连接层；
预测模块，用于依据所述第二全连接层输出的第九数据块确定所述指定像素块的预测块。
本申请提供第一种电子设备，包括：存储器、处理器；
所述存储器，用于存储帧内预测方法对应的机器可读指令；
所述处理器，用于读取所述存储器上的所述机器可读指令，并执行所述指令以实现上述第一种帧内预测方法。
本申请提供第二种电子设备，包括：存储器、处理器；
所述存储器，用于存储帧内预测方法对应的机器可读指令；
所述处理器，用于读取所述存储器上的所述机器可读指令，并执行所述指令以实现上述第二种帧内预测方法。
本申请提供第一种机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，处理器通过执行所述机器可执行指令被促使：
将指定像素块的参考像素输入至第一深度神经网络中的第一全连接层；
依据所述第一全连接层输出的第一数据块确定待输入至卷积层的目标数据块；
将所述目标数据块输入至所述卷积层；
依据所述卷积层输出的第二数据块确定所述指定像素块的预测块。
本申请提供第二种机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，处理器通过执行所述机器可执行指令被促使：
对指定像素块的参考像素进行降维处理得到第八数据块；
将所述第八数据块输入至第二深度神经网络中的第二全连接层；
依据所述第二全连接层输出的第九数据块确定所述指定像素块的预测块。
由以上技术方案可以看出，本申请中，并非仅依赖于隐藏层只包含全连接层的深度神经网络实现帧内预测，而是由卷积层或降维处理与全连接层一起实现帧内预测，因为卷积层或降维处理能够帮助全连接层分担帧内预测，因此，相比于仅依赖于隐藏层只包含全连接层的深度神经网络实现帧内预测，本申请中全连接层的层数可以远小于仅依赖于隐藏层只包含全连接层的深度神经网络中全连接层的层数，大大降低帧内预测的复杂度。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1为基于深度神经网络的帧内预测示意图；
图2为本申请提供的第一种帧内预测方法示范性实施例流程图；
图3为本申请提供的指定像素块的参考像素确定示范性实施例流程图；
图4为本申请提供的指定像素块的参考像素示意图；
图5为本申请提供的帧内预测实施例1实现结构图；
图6a为本申请实施例2提供的第六像素区域至第八像素区域结构示意图；
图6b为本申请实施例2提供的第三数据块结构示意图；
图7a为本申请实施例2提供的第九像素区域至第十三像素区域结构示意图；
图7b为本申请实施例2提供的第三数据块另一结构示意图；
图8为本申请帧内预测实施例2实现结构图；
图9为本申请帧内预测实施例3实现结构图；
图10为本申请帧内预测实施例4实现结构图；
图11为本申请提供的步骤203实现流程图；
图12为本申请提供的第二种帧内预测方法示范性实施例流程图；
图13为本申请提供的第二种帧内预测方法实施例结构图；
图14为本申请提供的第二种帧内预测方法另一实施例结构图；
图15为本申请提供的第一种帧内预测示范性实施例结构图；
图16为本申请提供的第二种帧内预测示范性实施例结构图；
图17为本申请提供的电子设备示范性实施例结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参见图2，图2为本申请提供的第一种帧内预测方法示范性实施例流程图。如图2所示，该流程可包括以下步骤：
步骤201，将指定像素块的参考像素输入至第一深度神经网络中的第一全连接层。
应用于编码端，这里的指定像素块是指图像中任一待编码的像素块。应用于解码端，这里的指定像素块是指图像中任一待解码的像素块。
至于本步骤201中指定像素块的参考像素，图3举例示出了指定像素块的参考像素的一种获取方式，具体见下文描述，这里暂不赘述。
在本申请中，第一深度神经网络、第一全连接层只是为便于描述而进行的命名，并非用于限定本申请。
需要说明的是，本申请并非仅依赖于第一全连接层的深度神经网络实现帧内预测，还依赖于卷积层，具体见下述步骤202。如此，本申请并不特别限定第一深度神经网络中第一全连接层的层数。作为一个实施例，第一深度神经网络中第一全连接层的层数可大于等于1。
步骤202，依据第一全连接层输出的第一数据块确定待输入至卷积层的目标数据块，将目标数据块输入至卷积层。
这里，第一数据块只是为便于和后文出现的数据块区分而进行的命名，并非用于限定。
本申请中，指定像素块的尺寸可为M*N，M*N是指M列N行，M、N大于1，M与N相等或不等。
作为一个实施例，第一全连接层的最后一层可以包含T1个节点，T1为：M与N之乘积，当第一全连接层的最后一层包含T1个节点，第一全连接层输出的第一数据块的尺寸与指定像素块的尺寸相同，为M*N。
作为另一个实施例，第一全连接层的最后一层也可以包含T2个节点，T2不同于T1，当第一全连接层的最后一层包含T2个节点，则第一全连接层输出的第一数据块的尺寸与指定像素块的尺寸不同，不为M*N。
在本申请中，卷积层用于与第一全连接层一起实现帧内预测，之所以将目标数据块输入至卷积层，其目的是通过卷积层去除目标数据块中不必要的参数，仅保留目标数据块中必要参数，以降低帧内预测复杂度。本申请中，卷积层中每个神经元不再和上一层的所有神经元相连，而只和上一层中一小部分神经元相连(称为局部连接)，并且在卷积层中所有连接可共享同一个权重(称为权值共享)，而不是每个连接有一个不同的权重，卷积层的局部连接、权值共享等特性进一步降低后续帧内预测的复杂度，也可进一步提高帧内预测的效率和准确度。
作为一个实施例，本申请中，卷积层和上述第一全连接层可属于同一深度神经网络，即卷积层、第一全连接层同属于第一深度神经网络。作为另一个实施例，本申请中，卷积层和上述第一全连接层可属于不同深度神经网络，即第一全连接层属于第一深度神经网络，卷积层属于不同于第一深度神经网络的另一深度神经网络(记为卷积神经网络)。下文分别以卷积层和第一全连接层属于同一深度神经网络或者属于不同深度神经网络进行实施例描述，具体见下文的图5至图8所示流程，这里暂不赘述。
步骤203，依据卷积层输出的第二数据块确定指定像素块的预测块。
这里，第二数据块只是为便于区分而进行的命名，并非用于限定。
应用于编码端，本步骤203中，当依据第二数据块确定指定像素块的预测块后，可依据预测块进行帧内编码，实现了帧内预测编码。应用于解码端，本步骤203中，当依据第二数据块确定指定像素块的预测块后，可依据预测块进行帧内解码，实现了帧内预测解码。
至于本步骤203中如何依据卷积层输出的第二数据块确定指定像素块的预测块，下文通过图9所示流程举例进行了描述，这里暂不赘述。
至此，完成图2所示流程。
通过图2所示流程可以看出，本申请并非仅依赖于隐藏层只包含全连接层的深度神经网络实现帧内预测，而是由卷积层与全连接层一起实现帧内预测，由于卷积层具有局部连接、权值共享等特点，且卷积层是用于去除目标数据块中不必要的参数，仅保留目标数据块中必要参数，因此，由卷积层与全连接层一起实现帧内预测，相比于仅依赖于隐藏层只包含全连接层的深度神经网络实现帧内预测，本申请可大大降低帧内预测的复杂度，也可实现本申请中全连接层的层数可远小于仅依赖于隐藏层只包含全连接层的深度神经网络中全连接层的层数，进一步提高帧内预测的效率。
下面描述如何指定像素块的参考像素：
在本申请中，作为一个实施例，指定像素块的参考像素是从与指定像素块相邻的第一像素区域得到的，下文通过图3所示流程进行描述。这里，第一像素区域只是为便于区分而进行的命名，并非用于具体限定某一特定像素区域。
参见图3，图3为本申请提供的指定像素块的参考像素的示范性实施例确定流程图。如图3所示，该流程可包括：
步骤301，获取与指定像素块相邻的第一像素区域。
应用于编码端，步骤301具体可为：获取与指定像素块相邻且已被编码的第一像素区域中的重建像素。应用于解码端，步骤301具体可为：获取与指定像素块相邻且已被解码的第一像素区域中的重建像素。
步骤302，将第一像素区域中的重建像素确定为所述指定像素块的参考像素。
至此，完成图3所示流程。图4举例示出了指定像素块(图4中的白色方框区域)、指定像素块的参考像素(图4中的灰色区域)的示意图。
在图3所示流程中，最终实现了以重建像素作为指定像素块的参考像素。需要说明的是，图3所示的确定指定像素块的参考像素的流程只是一种举例，并非用于限定。
作为一个实施例，上述步骤301中，第一像素区域可包括指定像素块左上侧、指定像素块上侧、指定像素块左侧的区域。
具体地，第一像素区域可包括：与指定像素块相邻、且处于指定像素块左上侧的尺寸为L1*L2的第二像素区域；与指定像素块相邻、处于指定像素块上侧且与所述第二像素区域不存在交集的尺寸为X*L2的第三像素区域；与指定像素块相邻、处于指定像素块左侧且与所述第二像素区域不存在交集的尺寸为L1*Y的第四像素区域。需要说明的是，上述的第二像素区域、第三像素区域、第四像素区域只是为便于区分而进行的命名，并非用于限定。
其中，L1*L2是指L1列L2行，L1、L2大于等于1；X*L2是指X列L2行，X大于或者等于指定像素块的列数M；L1*Y是指L1列Y行，Y大于或者等于指定像素块的行数N。
以上对指定像素块的参考像素进行了描述。
下面通过四个实施例分别对图2所示流程进行描述：
实施例1：
本实施例1以卷积层与第一全连接层同处于第一深度神经网络为例描述。
本实施例1中，上述步骤202中依据第一全连接层输出的第一数据块确定待输入至卷积层的目标数据块可包括：将所述第一全连接层输出的第一数据块确定为所述目标数据块。
基于此，本实施例1中，如图5所示，先将指定像素块的参考像素输入至第一深度神经网络中的第一全连接层，之后将第一全连接层输出的第一数据块输入至第一深度神经网络的卷积层，最后依据卷积层输出的第二数据块确定指定像素块的预测块。
需要说明的是，本实施例1中，第一深度神经网络除了包括卷积层之外，也有可能包括池化层、归一化层等网络层。当第一深度神经网络还包括池化层、归一化层等网络层时，上述依据卷积层输出的第二数据块确定指定像素块的预测块可为：依据第一深度神经网络的输出确定指定像素块的预测块。比如，第一深度神经网络包括顺序排列的第一全连接层、卷积层、池化层、归一化层，则第一全连接层输出的第一数据块输入至卷积层，卷积层输出的第二数据块依次经由池化层、归一化层输出，最终依据归一化层输出的数据块确定指定像素块的预测块。
以上对实施例1进行了描述。
实施例2：
本实施例2以卷积层与第一全连接层同处于第一深度神经网络为例描述。
本实施例2中，上述步骤202中依据第一全连接层输出的第一数据块确定待输入至卷积层的目标数据块可包括：
步骤b1，获取与指定像素块相邻的第五像素区域。
应用于编码端，步骤b1具体可为：获取与指定像素块相邻且已被编码的第五像素区域。应用于解码端，步骤b1具体可为：获取与指定像素块相邻且已被解码的第五像素区域。
这里，第五像素区域只是为便于区分而进行的命名，并非用于限定。
步骤b2，利用第五像素区域中的重建像素与第一全连接层输出的第一数据块生成第三数据块。
这里，第三数据块只是为便于区分而进行的命名，并非用于限定。
步骤b3，将第三数据块确定为所述目标数据块。
可以看出，本实施例2相比实施例1，卷积层的输入不同。相比实施例1，本实施例2中，卷积层的输入不再仅是第一全连接层输出的第一数据块，而是利用第五像素区域中的重建像素与第一全连接层输出的第一数据块生成的第三数据块。下文描述如何利用第五像素区域中的重建像素与第一全连接层输出的第一数据块生成第三数据块，这里暂不赘述。
作为一个实施例，步骤b1获取的第五像素区域可包括以下第六像素区域至第八像素区域：与指定像素块相邻、且处于指定像素块左上侧的尺寸为k1*k2的第六像素区域；与指定像素块相邻、处于指定像素块上侧且尺寸为T1*k2的第七像素区域；与指定像素块相邻、处于指定像素块左侧且尺寸为k1*T2的第八像素区域。
其中，k1*k2是指k1列k2行，k1、k2大于等于1；T1*k2是指T1列k2行，T1为第一数据块的列数，在一个例子中，T1可以等于M；k1*T2是指k1列T2行，T2为所述第一数据块的行数，在一个例子中，T2可以等于N。
图6a的灰度部分示出了第六像素区域至第八像素区域。需要说明的是，上述第六像素区域至第八像素区域只是为便于描述进行的命名，并非用于限定。
基于图6a所示的第六像素区域至第八像素区域，则上述步骤b2中，利用第五像素区域中的重建像素与第一全连接层输出的第一数据块生成第三数据块可为：将图6a所示的第六像素区域至第八像素区域中的重建像素与第一全连接层输出的第一数据块拼接在一起，组成第三数据块，具体见图6b所示。
本实施例2中，第四像素区域除了包括上述的第六像素区域至第八像素区域之外，还可进一步包括以下第九像素区域至第十三像素区域：
与所述指定像素块相邻、且处于所述指定像素块右上侧的尺寸为k3*k2的第九像素区域，k3*k2是指k3列k2行，k3大于等于1；
与所述指定像素块相邻、且处于所述指定像素块左下侧的尺寸为k1*k4的第十像素区域，k1*k4是指k1列k4行，k4大于等于1；
与所述指定像素块相邻、且处于所述指定像素块右侧的尺寸为k3*T2的第十一像素区域，k3*T2是指k3列T2行；
与所述指定像素块相邻、且处于所述指定像素块下侧的尺寸为T1*k4的第十二像素区域，T1*k4是指T1列k4行；
与所述指定像素块相邻、且处于所述指定像素块右下侧的尺寸为k3*k4的第十三像素区域，k3*k4是指k3列k4行。
图7a示出了第九像素区域至第十三像素区域。需要说明的是，上述第九像素区域至第十三像素区域只是为便于描述进行的命名，并非用于限定。
基于图7a示出的各像素区域，再结合图6a示出的各像素区域、则上述步骤b2中，利用第五像素区域中的重建像素与第一全连接层输出的第一数据块生成第三数据块可为：将图6a、图7a所示的像素区域中的重建像素与第一全连接层输出的第一数据块拼接在一起，组成第三数据块，具体见图7b所示。
基于此，本实施例2中，如图8所示，先将指定像素块的参考像素输入至第一深度神经网络中的第一全连接层，之后将利用与指定像素块相邻的第五像素区域中的重建像素与第一全连接层输出的第一数据块生成的第三数据块(如图7b所示的第三数据块)输入至第一深度神经网络的卷积层，最后依据卷积层输出的第二数据块确定指定像素块的预测块。
需要说明的是，在本实施例2中，若不存在所述第九像素区域，则所述第五像素区域进一步包括：从与指定像素块相邻且处于指定像素块上侧的像素区域中获取的尺寸为k3*k2的第十四像素区域。在一个例子中，这里可选择指定像素块上侧且最靠右边的尺寸为k3*k2的像素区域作为第十四像素区域。或者，选择指定像素块上侧最靠右边的至少一列组成尺寸为k3*k2的像素区域作为第十四像素区域。等等。
同理，若不存在所述第十像素区域，则所述第五像素区域进一步包括：从与指定像素块相邻且处于指定像素块左侧的像素区域中获取的尺寸为k1*k4的第十五像素区域；在一个例子中，这里可选择指定像素块左侧且最靠下的尺寸为k1*k4的像素区域作为第十五像素区域。或者，选择指定像素块左侧最靠下的至少一行组成尺寸为k1*k4的像素区域作为第十五像素区域。等等。
若不存在所述第十一像素区域，则所述第五像素区域进一步包括：从所述第一数据块的右侧获取的尺寸为k3*T2的第十六像素区域。在一个例子中，这里可选择第一数据块右侧至少一列组成尺寸为k3*T2的像素区域作为第十六像素区域。等等。
若不存在所述第十二像素区域，则所述第五像素区域进一步包括：从所述第一数据块的下侧获取的尺寸为T1*k4的第十七像素区域；在一个例子中，这里可选择第一数据块下侧至少一行的组成尺寸为T1*k4的像素区域作为第十七像素区域。等等。
若不存在所述第十三像素区域，则所述第五像素区域进一步包括：从所述第一数据块的右下侧获取的尺寸为k3*k4的第十八像素区域。在一个例子中，这里可选择第一数据块最右侧至少一列组成尺寸为k3*k4的像素区域作为第十八像素区域。等等。
需要说明的是，上述第十四像素区域至第十八像素区域只是为便于描述进行的命名，并非用于限定。
以上对实施例2进行了描述。
上述实施例1、实施例2中的第一深度神经网络可通过以下方式训练：
从训练序列中取H个像素块，针对每个像素块，在其相邻左侧选取尺寸为P1xQ1(P1列Q1行)的像素区域，在其相邻上侧选取尺寸为Q1xP1(Q1列P1行)的像素区域、以及在其相邻左上侧选取尺寸为P1xP1(P1列P1行)的像素区域，将选取的各个像素区域内的重建像素输入至深度神经网络中，输出得到该像素块对应的数据块，利用输出的数据块计算像素块训练的代价函数(比如将深度神经网络输出的数据块与对应的像素块的原始数据块之间的平均平方差(MSE：Mean Square Error)作为像素块训练的代价函数)。通过反向传递的方法更新深度神经网络的网络参数，选取H个像素块训练的代价函数最小时对应的网络参数作为深度神经网络的网络参数。如此，即可完成训练上述实施例1、实施例2中的第一深度神经网络。
实施例3：
本实施例3以卷积层与第一全连接层处于不同深度神经网络为例描述。本实施例3中，假设卷积层所处的深度神经网络记为卷积神经网络。这里，卷积神经网络与第一全连接层所处的第一深度神经网络为两个不同的神经网络。本实施例3中，卷积神经网络中卷积层的层数大于等于1。其中，每个卷积层，即可包含一种尺寸的卷积核，也可包含多个不同尺寸的卷积核，本申请并不具体限定。
本实施例3中，上述步骤202中依据第一全连接层输出的第一数据块确定待输入至卷积层的目标数据块可包括：将所述第一全连接层输出的第一数据块确定为所述目标数据块。
基于此，本实施例1中，如图9所示，先将指定像素块的参考像素输入至第一深度神经网络中的第一全连接层，之后将第一全连接层输出的第一数据块输入至卷积神经网络的卷积层，最后依据卷积层输出的第二数据块确定指定像素块的预测块。
需要说明的是，本实施例3中，卷积神经网络除了包括卷积层之外，其也有可能包括池化层、归一化层等网络层。当卷积神经网络还包括池化层、归一化层等网络层时，上述依据卷积层输出的第二数据块确定指定像素块的预测块可为：依据卷积神经网络的输出确定指定像素块的预测块。比如，卷积神经网络包括顺序排列的卷积层、池化层、归一化层，则第一全连接层输出的第一数据块输入至卷积神经网络的卷积层，卷积层输出的第二数据块依次经由池化层、归一化层输出，最终依据归一化层输出的数据块确定指定像素块的预测块。
实施例4：
本实施例4与实施例3类似，以卷积层与第一全连接层处于不同深度神经网络为例描述。
本实施例4中，假设卷积层所处的深度神经网络记为卷积神经网络。这里，卷积神经网络与第一全连接层所处的第一深度神经网络为两个不同的神经网络。本实施例4中，卷积神经网络中卷积层的层数大于等于1。其中，每个卷积层，即可包含一种尺寸的卷积核，也可包含多个不同尺寸的卷积核，本申请并不具体限定。
本实施例4中，上述步骤202中依据第一全连接层输出的第一数据块确定待输入至卷积层的目标数据块的方式类似实施例2中依据第一全连接层输出的第一数据块确定待输入至卷积层的目标数据块的方式，这里不再赘述。
本实施例4中，如图10所示，先将指定像素块的参考像素输入至第一深度神经网络中的第一全连接层，之后将利用与指定像素块相邻的第五像素区域中的重建像素与第一全连接层输出的第一数据块生成的第三数据块(如图7b所示的第三数据块)输入至卷积神经网络的卷积层，最后依据卷积层输出的第二数据块确定指定像素块的预测块。
至此，完成实施例4的描述。
在实施例3、实施例4中，第一深度神经网络的训练方式类似上述第一深度神经网络的训练方式。
在实施例3、实施例4中，卷积神经网络的训练方式可为：
从训练序列中取H个像素块，针对每一像素块(记为像素块1)，然后利用已训练好的第一深度神经网络输出得到对应的数据块(记为数据块1)，将得到的数据块1、与像素块1相邻块的重建像素一起输入至卷积神经网络输出得到另一数据块(记为数据块2)，利用数据块2计算像素块1训练的代价函数(比如将数据块2与像素块1的原始块的MSE作为训练的代价函数)。通过反向传递的方法更新卷积神经网络参数，选取H个像素块训练的代价函数最小时对应的网络参数作为卷积神经网络的网络参数。如此，即可完成卷积神经网络的训练。
还需要说明的是，在有些应用中，训练卷积神经网络时，还可进一步将P2个通过传统帧内预测生成的数据块(记为数据块3)与上述第二重建像素一起输入至卷积神经网络，得到数据块4，然后利用数据块4计算像素块1训练的代价函数，通过反向传递的方法更新卷积神经网络参数，以实现最终训练好的卷积神经网络还可用于增强层传统的帧内预测块，进而得到指定像素块的最终预测块。
下面对步骤203中如何依据卷积层输出的第二数据块确定指定像素块的预测块进行描述：
参见图11，图11为本申请提供的步骤203的示范性实施例流程图。如图11所示，该流程可包括：
步骤1101，比较所述第二数据块的尺寸与所述指定像素块的尺寸，若比较结果为：第二数据块的尺寸等于指定像素块的尺寸，执行步骤1102；若比较结果为：第二数据块的尺寸大于指定像素块的尺寸，执行步骤1103。
步骤1102，将所述第二数据块确定为所述指定像素块的预测块；或者，依据所述第二数据块与所述第一数据块生成第四数据块，将所述第四数据块确定为所述指定像素块的预测块。
作为一个实施例，这里依据第二数据块与第一数据块生成第四数据块可包括：将所述第二数据块与所述第一数据块中位置对应的像素叠加得到所述第四数据块。需要说明的是，将所述第二数据块与所述第一数据块中位置对应的像素叠加得到所述第四数据块只是依据第二数据块与第一数据块生成第四数据块的举例描述，并非用于限定。
步骤1103，从所述第二数据块中截取尺寸与所述指定像素块的尺寸相等的第五数据块，之后执行步骤1104。
在应用中，当第二数据块的尺寸大于指定像素块的尺寸时，一般是由上述实施例2、实施例4中第三数据块输入至卷积层引起的。因此，应用于实施例2、实施例4中，这里截取的第五数据块可具有以下特点：第五数据块在第二数据块中的位置与第一数据块在第三数据块中的位置对应。比如，如图6b或图7b所示，第一数据块在第三数据块中的位置处于右下角，则第五数据块即为第二数据块中尺寸与指定像素块的尺寸相等、且处于第二数据块的右下角。
步骤1104，将截取的第五数据块确定为所述指定像素块的预测块，或者，依据所述第五数据块与所述第一数据块生成第六数据块，将所述第六数据块确定为所述指定像素块的预测块。
作为一个实施例，这里，依据第五数据块与第一数据块生成第六数据块可包括：将所述第五数据块与所述第一数据块中位置对应的像素叠加得到所述第六数据块。需要说明的是，这里，将所述第五数据块与所述第一数据块中位置对应的像素叠加得到所述第六数据块只是依据第五数据块与第一数据块生成第六数据块的举例描述，并非用于限定。
至此，完成图11所示流程。通过图11所示流程，能够最终依据第二数据块确定指定像素块的预测块。
需要说明的是，作为一个实施例，上述步骤1101中的比较结果也可能为：第二数据块的尺寸小于指定像素块的尺寸。当第二数据块的尺寸小于指定像素块的尺寸时，本申请中，作为一个实施例，可对第二数据块进行上采样得到尺寸与所述指定像素块的尺寸相等的第七数据块，将得到的第七数据块确定为所述指定像素块的预测块。这里，第七数据块只是为便于区分已出现的数据块而进行的命名，并非用于限定。
以上对本申请提供的第一种帧内预测方法进行了描述，下面对本申请提供的第二种帧内预测方法进行描述：
参见图12，图12为本申请提供的第二种帧内预测方法示范性实施例流程图。如图12所示，该流程可包括以下步骤：
步骤1201，对指定像素块的参考像素进行降维处理得到第八数据块。
这里，降维处理，是指将高维数据化为低维度数据的操作，而本步骤1201通过对指定像素块的参考像素进行降维处理，最终能够降低指定像素块的参考像素的维度，显然降低了帧内预测的复杂度。
这里，指定像素块的参考像素的确定方式如图3所示流程所述，这里不再赘述。
这里，第八数据块只是为便于区分已出现的数据块而进行的命名，并非用于限定。
步骤1202，将所述第八数据块输入至第二深度神经网络中的第二全连接层。
这里，第二深度神经网络、第二全连接层只是为便于区分而进行的命名，并非用于限定。
步骤1203，依据所述第二全连接层输出的第九数据块确定所述指定像素块的预测块。
在一个例子中，本步骤1203中，依据所述第二全连接层输出的第九数据块确定所述指定像素块的预测块可包括：将所述第九数据块确定为所述指定像素块的预测块。这里，第九数据块只是为便于区分而进行的命名，并非用于限定。
至此，完成图12的描述。
作为一个实施例，上述步骤1201中，对指定像素块的参考像素进行降维处理得到第八数据块包括：
将指定像素块的参考像素输入至池化层，通过池化层将所述指定像素块的参考像素划分为多个子像素块，每一子像素块的维度小于所述指定像素块的参考像素的维度，从所述多个子像素块中选择满足指定条件的一个子像素块确定为所述第八数据块。其中，指定条件可为最大值、最小值、方差等，这里不限，说明书举例。
作为一个实施例，在本申请中，池化层与第二全连接层属于同一深度神经网络，即都属于第二深度神经网络。图13示出了池化层与第二全连接层同属于第二深度神经网络时的处理方式。
作为另一个实施例，在本申请中，池化层与第二全连接层属于不同深度神经网络，第二全连接层属于第二深度神经网络，池化层属于不同于第二深度神经网络的神经网络(记为池化神经网络)。图14示出了池化层与第二全连接层属于不同深度神经网络时的处理方式。
需要说明的是，上述对指定像素块的参考像素进行降维处理，其目的是将指定像素块的参考像素的维度由高维度降为低维度。至于如何对指定像素块的参考像素进行降维处理，本申请并不具体限定。
由以上描述可以看出，本申请并非仅依赖于隐藏层只包含全连接层的深度神经网络实现帧内预测，而是由降维处理与全连接层一起实现帧内预测，降维处理能够将指定像素块的参考像素的维度由高维度降为低维度，相比于仅依赖于隐藏层只包含全连接层的深度神经网络实现帧内预测，本申请可大大降低帧内预测的复杂度，也可实现本申请中全连接层的层数可远小于仅依赖于隐藏层只包含全连接层的深度神经网络中全连接层的层数，进一步提高帧内预测的效率。
下面对本申请提供的装置进行描述：
参见图15，图15为本申请提供的第一装置示范性实施例结构图。如图15所示，该装置包括：
第一全连接模块，用于将指定像素块的参考像素输入至第一深度神经网络中的第一全连接层；
数据处理模块，用于依据所述第一全连接层输出的第一数据块确定待输入至卷积层的目标数据块，将所述目标数据块输入至所述卷积层；所述卷积层和所述第一全连接层属于同一深度神经网络或者属于不同深度神经网络；
预测模块，用于依据所述卷积层输出的第二数据块确定所述指定像素块的预测块。
作为一个实施例，所述指定像素块的参考像素是从所述指定像素块相邻的第一像素区域中得到。
作为一个实施例，所述第一像素区域包括：
与指定像素块相邻、且处于指定像素块左上侧的尺寸为L1*L2的第二像素区域，L1*L2是指L1列L2行，L1、L2大于等于1；
与指定像素块相邻、处于指定像素块上侧且与所述第二像素区域不存在交集的尺寸为X*L2的第三像素区域，X*L2是指X列L2行，X大于或者等于指定像素块的列数M；
与指定像素块相邻、处于指定像素块左侧且与所述第二像素区域不存在交集的尺寸为L1*Y的第四像素区域，L1*Y是指L1列Y行，Y大于或者等于指定像素块的行数N。
作为一个实施例，所述数据处理模块用于：
将所述第一全连接层输出的第一数据块确定为所述目标数据块；或者，
获取与指定像素块相邻的第五像素区域，利用所述第五像素区域中的重建像素与所述第一全连接层输出的第一数据块生成第三数据块，将所述第三数据块确定为所述目标数据块。
作为一个实施例，所述第五像素区域包括：
与所述指定像素块相邻、且处于指定像素块左上侧的尺寸为k1*k2的第六像素区域，k1*k2是指k1列k2行，k1、k2大于等于1；
与指定像素块相邻、处于指定像素块上侧且尺寸为T1*k2的第七像素区域，T1*k2是指T1列k2行，T1为第一数据块的列数；
与指定像素块相邻、处于指定像素块左侧且尺寸为k1*T2的第八像素区域，k1*T2是指k1列T2行，T2为第一数据块的行数。
作为一个实施例，所述第五像素区域进一步包括：
与所述指定像素块相邻、且处于所述指定像素块右上侧的尺寸为k3*k2的第九像素区域，k3*k2是指k3列k2行，k3大于等于1；
与所述指定像素块相邻、且处于所述指定像素块左下侧的尺寸为k1*k4的第十像素区域，k1*k4是指k1列k4行，k4大于等于1；
与所述指定像素块相邻、且处于所述指定像素块右侧的尺寸为k3*T2的第十一像素区域，k3*T2是指k3列T2行；
与所述指定像素块相邻、且处于所述指定像素块下侧的尺寸为T1*k4的第十二像素区域，T1*k4是指T1列k4行；
与所述指定像素块相邻、且处于所述指定像素块右下侧的尺寸为k3*k4的第十三像素区域，k3*k4是指k3列k4行。
作为一个实施例，若不存在所述第九像素区域，则所述第五像素区域进一步包括：从与指定像素块相邻且处于指定像素块上侧的像素区域中获取的尺寸为k3*k2的第十四像素区域；
若不存在所述第十像素区域，则所述第五像素区域进一步包括：从与指定像素块相邻且处于指定像素块左侧的像素区域中获取的尺寸为k1*k4的第十五像素区域；
若不存在所述第十一像素区域，则所述第五像素区域进一步包括：从所述第一数据块的右侧获取的尺寸为k3*T2的第十六像素区域；
若不存在所述第十二像素区域，则所述第五像素区域进一步包括：从所述第一数据块的下侧获取的尺寸为T1*k4的第十七像素区域；
若不存在所述第十三像素区域，则所述第五像素区域进一步包括：从所述第一数据块的右下侧获取的尺寸为k3*k4的第十八像素区域。
作为一个实施例，所述预测模块用于：
比较所述第二数据块的尺寸与所述指定像素块的尺寸；
若比较结果为：第二数据块的尺寸等于指定像素块的尺寸，则将所述第二数据块确定为所述指定像素块的预测块；或者，依据所述第二数据块与所述第一数据块生成第四数据块，将所述第四数据块确定为所述指定像素块的预测块；
若比较结果为：第二数据块的尺寸大于指定像素块的尺寸，则从所述第二数据块中截取尺寸与所述指定像素块的尺寸相等的第五数据块，
将截取的第五数据块确定为所述指定像素块的预测块，或者，依据所述第五数据块与所述第一数据块生成第六数据块，将所述第六数据块确定为所述指定像素块的预测块；
若比较结果为：第二数据块的尺寸小于指定像素块的尺寸，则对第二数据块进行上采样得到尺寸与所述指定像素块的尺寸相等的第七数据块，将得到的第七数据块确定为所述指定像素块的预测块。
作为一个实施例，所述预测模块依据第二数据块与第一数据块生成第四数据块包括：将所述第二数据块与所述第一数据块中位置对应的像素叠加，得到所述第四数据块；
所述预测模块依据第五数据块与第一数据块生成第六数据块包括：将所述第五数据块与所述第一数据块中位置对应的像素叠加，得到所述第六数据块。
至此，完成图15所示装置结构图。
参见图16，图16为本申请提供的第二装置结构图。该装置包括：
降维模块，用于对指定像素块的参考像素进行降维处理得到第八数据块；
第二全连接模块，用于将所述第八数据块输入至第二深度神经网络中的第二全连接层；
预测模块，用于依据所述第二全连接层输出的第九数据块确定所述指定像素块的预测块。
作为一个实施例，所述降维模块用于：
将指定像素块的参考像素输入至池化层，通过所述池化层将所述指定像素块的参考像素划分为多个子像素块，每一子像素块的维度小于所述指定像素块的参考像素的维度，从所述多个子像素块中选择满足指定条件的一个子像素块确定为所述第八数据块。
作为一个实施例，所述池化层与所述第二全连接层属于同一深度神经网络或者属于不同深度神经网络。
至此，完成图16所示装置结构图。
参见图17，图17为本申请提供的电子设备示范性实施例结构图，该电子设备包括：
该电子设备包括：存储器、处理器；
所述存储器，用于存储帧内预测方法对应的机器可读指令；
所述处理器，用于读取所述存储器上的所述机器可读指令，并执行所述指令以实现上述第一种帧内预测方法；或者，
所述处理器，用于读取所述存储器上的所述机器可读指令，并执行所述指令以实现上述第二种帧内预测方法。
至此，完成图17所示的电子设备装置结构图。
本申请还提供了一种机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，处理器通过执行所述机器可执行指令被促使上述第一种帧内预测方法；或者，处理器通过执行所述机器可执行指令被促使执行上述第二种帧内预测方法。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (24)

1.一种帧内预测方法，其特征在于，该方法包括：
将指定像素块的参考像素输入至第一深度神经网络中的第一全连接层；
依据所述第一全连接层输出的第一数据块确定待输入至卷积层的目标数据块；
将所述目标数据块输入至所述卷积层；
依据所述卷积层输出的第二数据块确定所述指定像素块的预测块。
2.根据权利要求1所述的方法，其特征在于，所述指定像素块的参考像素是从所述指定像素块相邻的第一像素区域中得到的；
所述第一像素区域包括：
与指定像素块相邻、且处于指定像素块左上侧的尺寸为L1*L2的第二像素区域，L1*L2是指L1列L2行，L1、L2大于等于1；
与指定像素块相邻、处于指定像素块上侧且与所述第二像素区域不存在交集的尺寸为X*L2的第三像素区域，X*L2是指X列L2行，X大于或者等于指定像素块的列数M；
与指定像素块相邻、处于指定像素块左侧且与所述第二像素区域不存在交集的尺寸为L1*Y的第四像素区域，L1*Y是指L1列Y行，Y大于或者等于指定像素块的行数N。
3.根据权利要求1所述的方法，其特征在于，所述依据第一全连接层输出的第一数据块确定待输入至卷积层的目标数据块包括：
将所述第一全连接层输出的第一数据块确定为所述目标数据块；或者，
获取与指定像素块相邻的第五像素区域，利用所述第五像素区域中的重建像素与所述第一全连接层输出的第一数据块生成第三数据块，将所述第三数据块确定为所述目标数据块。
4.根据权利要求3所述的方法，其特征在于，所述第五像素区域包括：
与所述指定像素块相邻、且处于指定像素块左上侧的尺寸为k1*k2的第六像素区域，k1*k2是指k1列k2行，k1、k2大于等于1；
与指定像素块相邻、处于指定像素块上侧且尺寸为T1*k2的第七像素区域，T1*k2是指T1列k2行，T1为第一数据块的列数；
与指定像素块相邻、处于指定像素块左侧且尺寸为k1*T2的第八像素区域，k1*T2是指k1列T2行，T2为第一数据块的行数。
5.根据权利要求4所述的方法，其特征在于，所述第五像素区域进一步包括：
与所述指定像素块相邻、且处于所述指定像素块右上侧的尺寸为k3*k2的第九像素区域，k3*k2是指k3列k2行，k3大于等于1；
与所述指定像素块相邻、且处于所述指定像素块左下侧的尺寸为k1*k4的第十像素区域，k1*k4是指k1列k4行，k4大于等于1；
与所述指定像素块相邻、且处于所述指定像素块右侧的尺寸为k3*T2的第十一像素区域，k3*T2是指k3列T2行；
与所述指定像素块相邻、且处于所述指定像素块下侧的尺寸为T1*k4的第十二像素区域，T1*k4是指T1列k4行；
与所述指定像素块相邻、且处于所述指定像素块右下侧的尺寸为k3*k4的第十三像素区域，k3*k4是指k3列k4行。
6.根据权利要求5所述的方法，其特征在于，若不存在所述第九像素区域，则所述第五像素区域进一步包括：从与指定像素块相邻且处于指定像素块上侧的像素区域中获取的尺寸为k3*k2的第十四像素区域；
若不存在所述第十像素区域，则所述第五像素区域进一步包括：从与指定像素块相邻且处于指定像素块左侧的像素区域中获取的尺寸为k1*k4的第十五像素区域；
若不存在所述第十一像素区域，则所述第五像素区域进一步包括：从所述第一数据块的右侧获取的尺寸为k3*T2的第十六像素区域；
若不存在所述第十二像素区域，则所述第五像素区域进一步包括：从所述第一数据块的下侧获取的尺寸为T1*k4的第十七像素区域；
若不存在所述第十三像素区域，则所述第五像素区域进一步包括：从所述第一数据块的右下侧获取的尺寸为k3*k4的第十八像素区域。
7.根据权利要求1所述的方法，其特征在于，所述依据卷积层输出的第二数据块确定所述指定像素块的预测块包括：
比较所述第二数据块的尺寸与所述指定像素块的尺寸；
若比较结果为：第二数据块的尺寸等于指定像素块的尺寸，则将所述第二数据块确定为所述指定像素块的预测块；或者，依据所述第二数据块与所述第一数据块生成第四数据块，将所述第四数据块确定为所述指定像素块的预测块；
若比较结果为：第二数据块的尺寸大于指定像素块的尺寸，则从所述第二数据块中截取尺寸与所述指定像素块的尺寸相等的第五数据块，
将所述第五数据块确定为所述指定像素块的预测块，或者，依据所述第五数据块与所述第一数据块生成第六数据块，将所述第六数据块确定为所述指定像素块的预测块；
若比较结果为：第二数据块的尺寸小于指定像素块的尺寸，则对第二数据块进行上采样得到尺寸与所述指定像素块的尺寸相等的第七数据块，将得到的第七数据块确定为所述指定像素块的预测块。
8.根据权利要求7所述的方法，其特征在于，所述依据第二数据块与第一数据块生成第四数据块包括：将所述第二数据块与所述第一数据块中位置对应的像素叠加，得到所述第四数据块；
所述依据第五数据块与第一数据块生成第六数据块包括：将所述第五数据块与所述第一数据块中位置对应的像素叠加，得到所述第六数据块。
9.一种帧内预测方法，其特征在于，该方法包括：
对指定像素块的参考像素进行降维处理得到第八数据块；
将所述第八数据块输入至第二深度神经网络中的第二全连接层；
依据所述第二全连接层输出的第九数据块确定所述指定像素块的预测块。
10.根据权利要求9所述的方法，其特征在于，所述对指定像素块的参考像素进行降维处理得到第八数据块包括：
将指定像素块的参考像素输入至池化层，通过所述池化层将所述指定像素块的参考像素划分为多个子像素块，每一子像素块的维度小于所述指定像素块的参考像素的维度，从所述多个子像素块中选择满足指定条件的一个子像素块确定为所述第八数据块。
11.一种帧内预测装置，其特征在于，该装置包括：
第一全连接模块，用于将指定像素块的参考像素输入至第一深度神经网络中的第一全连接层；
数据处理模块，用于依据所述第一全连接层输出的第一数据块确定待输入至卷积层的目标数据块，将所述目标数据块输入至所述卷积层；
预测模块，用于依据所述卷积层输出的第二数据块确定所述指定像素块的预测块。
12.根据权利要求11所述的装置，其特征在于，所述指定像素块的参考像素是从所述指定像素块相邻的第一像素区域中得到的；
所述第一像素区域包括：
与指定像素块相邻、且处于指定像素块左上侧的尺寸为L1*L2的第二像素区域，L1*L2是指L1列L2行，L1、L2大于等于1；
与指定像素块相邻、处于指定像素块上侧且与所述第二像素区域不存在交集的尺寸为X*L2的第三像素区域，X*L2是指X列L2行，X大于或者等于指定像素块的列数M；
与指定像素块相邻、处于指定像素块左侧且与所述第二像素区域不存在交集的尺寸为L1*Y的第四像素区域，L1*Y是指L1列Y行，Y大于或者等于指定像素块的行数N。
13.根据权利要求11所述的装置，其特征在于，所述数据处理模块用于：
将所述第一全连接层输出的第一数据块确定为所述目标数据块；或者，
获取与指定像素块相邻的第五像素区域，利用所述第五像素区域中的重建像素与所述第一全连接层输出的第一数据块生成第三数据块，将所述第三数据块确定为所述目标数据块。
14.根据权利要求13所述的装置，其特征在于，所述第五像素区域包括：
与所述指定像素块相邻、且处于指定像素块左上侧的尺寸为k1*k2的第六像素区域，k1*k2是指k1列k2行，k1、k2大于等于1；
与指定像素块相邻、处于指定像素块上侧且尺寸为T1*k2的第七像素区域，T1*k2是指T1列k2行，T1为第一数据块的列数；
与指定像素块相邻、处于指定像素块左侧且尺寸为k1*T2的第八像素区域，k1*T2是指k1列T2行，T2为第一数据块的行数。
15.根据权利要求14所述的装置，其特征在于，所述第五像素区域进一步包括：
与所述指定像素块相邻、且处于所述指定像素块右上侧的尺寸为k3*k2的第九像素区域，k3*k2是指k3列k2行，k3大于等于1；
与所述指定像素块相邻、且处于所述指定像素块左下侧的尺寸为k1*k4的第十像素区域，k1*k4是指k1列k4行，k4大于等于1；
与所述指定像素块相邻、且处于所述指定像素块右侧的尺寸为k3*T2的第十一像素区域，k3*T2是指k3列T2行；
与所述指定像素块相邻、且处于所述指定像素块下侧的尺寸为T1*k4的第十二像素区域，T1*k4是指T1列k4行；
与所述指定像素块相邻、且处于所述指定像素块右下侧的尺寸为k3*k4的第十三像素区域，k3*k4是指k3列k4行。
16.根据权利要求15所述的装置，其特征在于，若不存在所述第九像素区域，则所述第五像素区域进一步包括：从与指定像素块相邻且处于指定像素块上侧的像素区域中获取的尺寸为k3*k2的第十四像素区域；
若不存在所述第十像素区域，则所述第五像素区域进一步包括：从与指定像素块相邻且处于指定像素块左侧的像素区域中获取的尺寸为k1*k4的第十五像素区域；
若不存在所述第十一像素区域，则所述第五像素区域进一步包括：从所述第一数据块的右侧获取的尺寸为k3*T2的第十六像素区域；
若不存在所述第十二像素区域，则所述第五像素区域进一步包括：从所述第一数据块的下侧获取的尺寸为T1*k4的第十七像素区域；
若不存在所述第十三像素区域，则所述第五像素区域进一步包括：从所述第一数据块的右下侧获取的尺寸为k3*k4的第十八像素区域。
17.根据权利要求11所述的装置，其特征在于，所述预测模块用于：
比较所述第二数据块的尺寸与所述指定像素块的尺寸；
若比较结果为：第二数据块的尺寸等于指定像素块的尺寸，则将所述第二数据块确定为所述指定像素块的预测块；或者，依据所述第二数据块与所述第一数据块生成第四数据块，将所述第四数据块确定为所述指定像素块的预测块；
若比较结果为：第二数据块的尺寸大于指定像素块的尺寸，则从所述第二数据块中截取尺寸与所述指定像素块的尺寸相等的第五数据块，
将截取的第五数据块确定为所述指定像素块的预测块，或者，依据所述第五数据块与所述第一数据块生成第六数据块，将所述第六数据块确定为所述指定像素块的预测块；
若比较结果为：第二数据块的尺寸小于指定像素块的尺寸，则对第二数据块进行上采样得到尺寸与所述指定像素块的尺寸相等的第七数据块，将得到的第七数据块确定为所述指定像素块的预测块。
18.根据权利要求17所述的装置，其特征在于，所述预测模块依据第二数据块与第一数据块生成第四数据块包括：将所述第二数据块与所述第一数据块中位置对应的像素叠加，得到所述第四数据块；
所述预测模块依据第五数据块与第一数据块生成第六数据块包括：将所述第五数据块与所述第一数据块中位置对应的像素叠加，得到所述第六数据块。
19.一种帧内预测装置，其特征在于，该装置包括：
降维模块，用于对指定像素块的参考像素进行降维处理得到第八数据块；
第二全连接模块，用于将所述第八数据块输入至第二深度神经网络中的第二全连接层；
预测模块，用于依据所述第二全连接层输出的第九数据块确定所述指定像素块的预测块。
20.根据权利要求19所述的装置，其特征在于，所述降维模块用于：
将指定像素块的参考像素输入至池化层，通过所述池化层将所述指定像素块的参考像素划分为多个子像素块，每一子像素块的维度小于所述指定像素块的参考像素的维度，从所述多个子像素块中选择满足指定条件的一个子像素块确定为所述第八数据块。
21.一种电子设备，其特征在于，该电子设备包括：存储器、处理器；
所述存储器，用于存储帧内预测方法对应的机器可读指令；
所述处理器，用于读取所述存储器上的所述机器可读指令，并执行所述指令以实现权利要求1至8任一项所述的帧内预测方法。
22.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有机器可执行指令，处理器通过执行所述机器可执行指令被促使：
将指定像素块的参考像素输入至第一深度神经网络中的第一全连接层；
依据所述第一全连接层输出的第一数据块确定待输入至卷积层的目标数据块；
将所述目标数据块输入至所述卷积层；
依据所述卷积层输出的第二数据块确定所述指定像素块的预测块。
23.一种电子设备，其特征在于，该电子设备包括：存储器、处理器；
所述存储器，用于存储帧内预测方法对应的机器可读指令；
所述处理器，用于读取所述存储器上的所述机器可读指令，并执行所述指令以实现权利要求9-10任一项所述的帧内预测方法。
24.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有机器可执行指令，处理器通过执行所述机器可执行指令被促使：
对指定像素块的参考像素进行降维处理得到第八数据块；
将所述第八数据块输入至第二深度神经网络中的第二全连接层；
依据所述第二全连接层输出的第九数据块确定所述指定像素块的预测块。
CN201810276552.3A 2018-03-30 2018-03-30 帧内预测方法、装置、电子设备及机器可读存储介质 Active CN110324620B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810276552.3A CN110324620B (zh) 2018-03-30 2018-03-30 帧内预测方法、装置、电子设备及机器可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810276552.3A CN110324620B (zh) 2018-03-30 2018-03-30 帧内预测方法、装置、电子设备及机器可读存储介质

Publications (2)

Publication Number Publication Date
CN110324620A true CN110324620A (zh) 2019-10-11
CN110324620B CN110324620B (zh) 2021-08-24

Family

ID=68111477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810276552.3A Active CN110324620B (zh) 2018-03-30 2018-03-30 帧内预测方法、装置、电子设备及机器可读存储介质

Country Status (1)

Country Link
CN (1) CN110324620B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150161522A1 (en) * 2013-12-06 2015-06-11 International Business Machines Corporation Method and system for joint training of hybrid neural networks for acoustic modeling in automatic speech recognition
CN104754357A (zh) * 2015-03-24 2015-07-01 清华大学 基于卷积神经网络的帧内编码优化方法及装置
CN107105278A (zh) * 2017-04-21 2017-08-29 中国科学技术大学 运动矢量自动生成的视频编解码框架
CN107145727A (zh) * 2017-04-26 2017-09-08 中国人民解放军总医院 一种利用卷积神经网络的医学图像处理装置与方法
US20170374374A1 (en) * 2015-02-19 2017-12-28 Magic Pony Technology Limited Offline Training of Hierarchical Algorithms
CN109996083A (zh) * 2017-12-29 2019-07-09 杭州海康威视数字技术股份有限公司 帧内预测方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150161522A1 (en) * 2013-12-06 2015-06-11 International Business Machines Corporation Method and system for joint training of hybrid neural networks for acoustic modeling in automatic speech recognition
US20170374374A1 (en) * 2015-02-19 2017-12-28 Magic Pony Technology Limited Offline Training of Hierarchical Algorithms
CN104754357A (zh) * 2015-03-24 2015-07-01 清华大学 基于卷积神经网络的帧内编码优化方法及装置
CN107105278A (zh) * 2017-04-21 2017-08-29 中国科学技术大学 运动矢量自动生成的视频编解码框架
CN107145727A (zh) * 2017-04-26 2017-09-08 中国人民解放军总医院 一种利用卷积神经网络的医学图像处理装置与方法
CN109996083A (zh) * 2017-12-29 2019-07-09 杭州海康威视数字技术股份有限公司 帧内预测方法及装置

Also Published As

Publication number Publication date
CN110324620B (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
US11330244B2 (en) Layered scene decomposition CODEC with asymptotic resolution
Chiang et al. A unified point-based framework for 3d segmentation
WO2022267641A1 (zh) 一种基于循环生成对抗网络的图像去雾方法及系统
CN103020897B (zh) 基于多区块的单帧图像的超分辨率重建的装置、系统和方法
CN110728219A (zh) 基于多列多尺度图卷积神经网络的3d人脸生成方法
CN107517385A (zh) 一种视频图像的编解码方法和装置
CN110517352B (zh) 一种物体的三维重建方法、存储介质、终端及系统
CN112164130B (zh) 基于深度对抗网络的视频-动画风格迁移方法
Nie et al. Pyramid architecture for multi-scale processing in point cloud segmentation
CN113362242B (zh) 基于多特征融合网络的图像修复方法
CN110930500A (zh) 一种基于单视角视频的动态头发建模方法
CN110415169A (zh) 一种深度图超分辨率重建方法、系统及电子设备
Zheng et al. Complementary bi-directional feature compression for indoor 360deg semantic segmentation with self-distillation
CN108924528B (zh) 一种基于深度学习的双目风格化实时渲染方法
CN116912148B (zh) 图像增强方法、装置、计算机设备及计算机可读存储介质
WO2023185284A1 (zh) 视频处理方法和装置
CN110324620A (zh) 帧内预测方法、装置、电子设备及机器可读存储介质
CN116091319A (zh) 基于长距离上下文依赖的图像超分辨率重建方法及系统
CN101742088A (zh) 非局部均值空域时变视频滤波方法
CN114332186A (zh) 一种无监督单视图船舶深度估计方法
CN103632344B (zh) Mean边界条件下模糊矩阵与图像矢量乘积的替代计算方法
CN113902631A (zh) 图像处理方法、电子设备和存储介质
Li et al. Viewport Prediction for Volumetric Video Streaming by Exploring Video Saliency and Trajectory Information
CN117173024A (zh) 一种基于整体注意力的矿井图像超分辨率重建系统及方法
Xu et al. Equivariant Light Field Convolution and Transformer

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant