CN111179246A - 一种像素位移量确认方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请涉及一种像素位移量确认方法、装置、电子设备及存储介质，该方法包括：通过用第一卷积核集合对第一帧图像和第二帧图像的像素进行像素特征提取得到第一特征层集合和第二特征层集合；用第二卷积核集合对第一特征层集合和第二特征层集合进行像素特征提取得到第三特征层集合和第四特征层集合；将第一特征层集合和第三特征层集合聚合处理得到第一聚合特征，将第二特征层集合和第四特征层集合聚合处理得到第二聚合特征；对第一聚合特征和第二聚合特征进行解码处理得到第一帧图像中像素的位移量，如此，对相邻的两帧图像进行多次的像素特征提取，尽可能的提取图像中像素特征，在一定程度上提高了像素位移量的估计精度。

Description

一种像素位移量确认方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机视觉领域，特别涉及一种像素位移量确认方法、装置、电子设备及存储介质。

背景技术

光流估计属于计算机视觉领域一个基础的任务，有广泛的应用空间，包括运动分割，目标跟踪和增强现实。

现有技术中，光流估计是根据视频序列的前后帧图像中的每一个像素的亮度不变的特性使用相应算法估计像素的位移量；但是由于两帧图像的光照和阴影经常发生变化，缺少丰富的像素特征提取，比如说图像的纹理以及孔径信息，造成光流估计在现实应用中存在很大的难度，除此之外由于前后帧存在遮挡问题以及非刚体的运动，也限制了现有光流估计的性能，如此，因对图像中像素特征的提取量不够丰富导致了像素位移量的估计精度较低的问题。

发明内容

本申请实施例要解决的是因对图像中像素特征的提取量不够丰富导致了像素位移量的估计精度较低的技术问题。

为解决上述技术问题，本申请实施例公开了一种像素位移量确认方法；

一方面，本申请实施例提供了一种像素位移量确认方法，该方法包括：

用第一卷积核集合对第一帧图像和第二帧图像的像素进行像素特征提取得到第一特征层集合和第二特征层集合；第一卷积核集合包括至少两种尺寸的卷积核；第一帧图像和第二帧图像为视频中相邻的两帧图像；

用第二卷积核集合对第一特征层集合和第二特征层集合进行像素特征提取得到第三特征层集合和第四特征层集合；第一特征层集合的每个特征子层与第二卷积核集合的每个卷积核子集相对应；第二特征层集合的每个特征子层与第二卷积核集合的每个卷积核子集相对应；第二卷积核集合中的每个卷积核为预设空洞率的卷积核；

将第一特征层集合和第三特征层集合聚合处理得到第一聚合特征，将第二特征层集合和第四特征层集合聚合处理得到第二聚合特征；

对第一聚合特征和第二聚合特征进行解码处理得到第一帧图像中像素的位移量。

另一方面提供了一种像素位移量确认装置，该装置包括：

第一特征提取模块，用于用第一卷积核集合对第一帧图像和第二帧图像的像素进行像素特征提取得到第一特征层集合和第二特征层集合；第一卷积核集合包括至少两种尺寸的卷积核；第一帧图像和第二帧图像为视频中相邻的两帧图像；

第二特征提取模块，用于用第二卷积核集合对第一特征层集合和第二特征层集合进行像素特征提取得到第三特征层集合和第四特征层集合；第一特征层集合的每个特征子层与第二卷积核集合的每个卷积核子集相对应；第二特征层集合的每个特征子层与第二卷积核集合的每个卷积核子集相对应；第二卷积核集合中的每个卷积核为预设空洞率的卷积核；

聚合模块，用于将第一特征层集合和第三特征层集合聚合处理得到第一聚合特征，将第二特征层集合和第四特征层集合聚合处理得到第二聚合特征；

解码模块，用于对第一聚合特征和第二聚合特征进行解码处理得到第一帧图像中像素的位移量。

另一方面提供了一种电子设备，该电子设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上述的像素位移量确认方法。

另一方面提供了一种可读存储介质，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上述的像素位移量确认方法。

采用上述技术方案，本申请实施例所述的具有如下有益效果：

本申请中通过用第一卷积核集合对第一帧图像和第二帧图像的像素进行像素特征提取得到第一特征层集合和第二特征层集合；第一卷积核集合包括至少两种尺寸的卷积核；第一帧图像和第二帧图像为视频中相邻的两帧图像；用第二卷积核集合对第一特征层集合和第二特征层集合进行像素特征提取得到第三特征层集合和第四特征层集合；第一特征层集合的每个特征子层与第二卷积核集合的每个卷积核子集相对应；第二特征层集合的每个特征子层与第二卷积核集合的每个卷积核子集相对应；第二卷积核集合中的每个卷积核为预设空洞率的卷积核；将第一特征层集合和第三特征层集合聚合处理得到第一聚合特征，将第二特征层集合和第四特征层集合聚合处理得到第二聚合特征；对第一聚合特征和第二聚合特征进行解码处理得到第一帧图像中像素的位移量，如此，对相邻的两帧图像进行多次的像素特征提取，尽可能的提取图像中像素特征，在一定程度上提高了像素位移量的估计精度。同时因为聚合特征收集到了不同级别的语义信息和纹理信息，对光照变化，阴影和模糊具有一定的鲁棒性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种应用环境的示意图；

图2是本申请实施例提供的一种像素位移量确认方法的流程示意图；

图3是本申请实施例提供的一种像素位移量确认方法的流程示意图；

图4是本申请实施例提供的第一特征层集合和第三特征层集合的结构示意图；

图5是本申请实施例提供的一种像素位移量确认方法的流程示意图；

图6是本申请实施例提供的一种像素位移量确认装置的结构示意图；

图7是本申请实施例提供的一种像素位移量确认装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

此处所称的“一个实施例”或“实施例”是指可包含于本申请至少一个实现方式中的特定特征、结构或特性。在本申请的描述中，需要理解的是，术语“上”、“下”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含的包括一个或者更多个该特征。而且，术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

请参阅图1，图1是本申请实施例提供的一种应用环境的示意图；包括摄像机设备101和服务器102；摄像机设备101将拍摄的视频传给服务器102；服务器102用第一卷积核集合对第一帧图像和第二帧图像的像素进行像素特征提取得到第一特征层集合和第二特征层集合；第一卷积核集合包括至少两种尺寸的卷积核；第一帧图像和第二帧图像为视频中相邻的两帧图像；服务器102用第二卷积核集合对第一特征层集合和第二特征层集合进行像素特征提取得到第三特征层集合和第四特征层集合；第一特征层集合的每个特征子层与第二卷积核集合的每个卷积核子集相对应；第二特征层集合的每个特征子层与第二卷积核集合的每个卷积核子集相对应；第二卷积核集合中的每个卷积核为预设空洞率的卷积核；服务器102将第一特征层集合和第三特征层集合聚合处理得到第一聚合特征，将第二特征层集合和第四特征层集合聚合处理得到第二聚合特征；服务器102对第一聚合特征和第二聚合特征进行解码处理得到第一帧图像中像素的位移量。

可选的，摄像机设备101可以为手机、相机或者类似摄像设备；服务器102可以为手机、计算机等具有计算处理功能的设备；摄像机设备101与服务器102之间的数据传输可以通过有线链路传输，也可以通过无线链路传输。通信链路类型的选择可以根据实际的应用情况和应用环境而定。

以下介绍本申请一种像素位移量确认方法的具体实施例，图2是本申请实施例提供的一种像素位移量确认方法的流程示意图，本说明书提供了如实施例或流程图的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示，该方法可以包括：

S201：用第一卷积核集合对第一帧图像和第二帧图像的像素进行像素特征提取得到第一特征层集合和第二特征层集合；第一卷积核集合包括至少两种尺寸的卷积核；第一帧图像和第二帧图像为视频中相邻的两帧图像；

相同尺寸的卷积核可以根据实际情况设置不同的权重系数；

S202：用第二卷积核集合对第一特征层集合和第二特征层集合进行像素特征提取得到第三特征层集合和第四特征层集合；第一特征层集合的每个特征子层与第二卷积核集合的每个卷积核子集相对应；第二特征层集合的每个特征子层与第二卷积核集合的每个卷积核子集相对应；第二卷积核集合中的每个卷积核为预设空洞率的卷积核；

于一种可选的实施方式中，该步骤可以包括:

S301：将第一特征层集合的特征层和第二特征层集合的特征层分别按照特征层的尺寸从大到小，排列成n层；其中，n为大于等于1的整数；

S302：用第一特征层集合中第i层特征层对应的卷积核个数为i+1的卷积核子集对第i层特征层进行像素特征提取，每一个卷积核是对上一个卷积核进行像素特征提取后得到的特征层进行像素特征提取得到的，直到第i+1个卷积核对上一个卷积核进行像素特征提取后得到的特征层进行像素特征提取得到第三特征层集合；用第二特征层集合中第i层特征层对应的卷积核个数为i+1的卷积核子集对第i层特征层进行像素特征，每一个卷积核是对上一个卷积核进行像素特征提取后得到的特征层进行像素特征提取得到的，直到第i+1个卷积核对上一个卷积核进行像素特征提取后得到的特征层进行像素特征提取得到第四特征层集合；i为大于等于1且小于等于n的整数，i越大特征层的尺寸越大。

卷积核个数为i+1的卷积核子集可以为相同尺寸，不同权重系数的多个卷积核；卷积核个数为i+1的卷积核子集也可以为不同尺寸，根据实际情况设置相应的权重系数；

请参阅图4，图4是本申请实施例提供的第一特征层集合和第三特征层集合的结构示意图；以n取3，对用第二卷积核集合对第一特征层集合进行像素特征提取得到第三特征层集合为例进行如下说明：

将第一特征层集合的特征层按照特征层的尺寸从大到小，排列成3层，如图中的第三层特征层3、第二层特征层2和第二层特征层1；

用第三层特征层3对应的卷积核个数为4的卷积核子集对第二层特征层进行像素特征提取，4个卷积核子集中的第一个卷积核对第二层特征层2进行像素特征提取得到特征层31，用4个卷积核子集中的第二个卷积核对特征层31进行像素特征提取得到特征层32，用3个卷积核子集中的第三个卷积核对特征层32进行像素特征提取得到特征层33，用4个卷积核子集中的第四个卷积核对特征层33进行像素特征提取得到特征层34，特征层34为第三特征层集合中的一个特征层；

用第二层特征层2对应的卷积核个数为3的卷积核子集对第二层特征层进行像素特征提取，3个卷积核子集中的第一个卷积核对第二层特征层2进行像素特征提取得到特征层21，用3个卷积核子集中的第二个卷积核对特征层21进行像素特征提取得到特征层22，用3个卷积核子集中的第三个卷积核对特征层22进行像素特征提取得到特征层23，特征层23为第三特征层集合中的一个特征层；

用第一层特征层1对应的卷积核个数为2的卷积核子集对第一层特征层进行像素特征提取，2个卷积核子集中的第一个卷积核对第一层特征层1进行像素特征提取得到特征层11，用2个卷积核子集中的第二个卷积核对特征层11进行像素特征提取得到特征层12，特征层12为第三特征层集合中的一个特征层；

对用第二卷积核集合对第一特征层集合进行像素特征提取得到第三特征层集合的方法的构思与此相同；

S203：将第一特征层集合和第三特征层集合聚合处理得到第一聚合特征，将第二特征层集合和第四特征层集合聚合处理得到第二聚合特征；

于一种可选的实施方式中，该步骤可以包括：

将第一特征层集合中每层包含的特征层和所述特征层对应的第三特征层集合中的第三特征层以及下一层聚合特征进行上采样处理的特征层在通道维度进行堆叠，用1x1的卷积核对堆叠结果进行降维得到第一降维特征集合；用1x1的卷积核对第一特征层集合中的每层包含的特征层进行升维得到第一升维特征集合；第一降维特征集合的维度与第二升维特征集合的维度一致，将第一降维特征集合中每层包含的特征和与所述特征层对应的第一升维特征集合中的第一升维特征集合中的第一升维特征进行加权处理得到第一聚合特征；

将第二特征层集合中每层包含的特征层和所述特征层对应的第四特征层集合中的第四特征层以及下一层聚合特征进行上采样处理的特征层在通道维度进行堆叠，用1x1的卷积核对堆叠结果进行降维得到第二降维特征集合；用1x1的卷积核对第一特征层集合中的每层包含的特征层进行升维得到第二升维特征集合；第二降维特征集合的维度与第二升维特征集合的维度一致，将第二降维特征集合中每层包含的特征和与所述特征层对应的第二升维特征集合中的第二升维特征集合中的第二升维特征进行加权处理得到第二聚合特征。

基于上述n取3的上述实施例进行如下阐述，

将第二特征层2和特征层23以及第一特征层1的聚合特征进行上采样处理的特征层在通道维度进行堆叠，用1x1的卷积核对堆叠结果进行降维得到第一降维特征集合的一个第一降维特征子集合；用1x1的卷积核对第二特征层2进行升维得到第一升维特征集合的一个第一降维特征子集合；该第一降维特征子集合与该第一降维特征子集合的维度一致，将第一降维特征集合中每层包含的特征和与所述特征层对应的第一升维特征集合中的第一升维特征集合中的第一升维特征进行加权处理得到第一聚合特征中的第二特征层2的聚合特征；

将第三特征层3和特征层34以及第二特征层2的聚合特征进行上采样处理的特征层在通道维度进行堆叠，用1x1的卷积核对堆叠结果进行降维得到第一降维特征集合的一个第一降维特征子集合；用1x1的卷积核对第三特征层3进行升维得到第一升维特征集合的一个第一降维特征子集合；该第一降维特征子集合与该第一降维特征子集合的维度一致，将第一降维特征集合中每层包含的特征和与所述特征层对应的第一升维特征集合中的第一升维特征集合中的第一升维特征进行加权处理得到第一聚合特征中的第三特征层3的聚合特征；

本申请实施例所述的升维也叫做增加通道，即增加特征层的数量，所述的降维也叫做减少通道，即减少特征层的数量；现有技术中，在做图像分割的时候，需要对图像进行像素级别的分类，因此在卷积提取到抽象特征后需要通过上采样将特征层还原到原图大小。常见的上采样方法有双线性插值、转置卷积、上采样和上池化。可选的，下一层聚合特征进行上采样处理得到与第一特征层集合中的该特征层的尺寸相同，尺寸相同即解析度相同。

将第二特征层集合和第四特征层集合聚合处理得到第二聚合特征的方法的构思与此相同；

S204：对第一聚合特征和第二聚合特征进行解码处理得到第一帧图像中像素的位移量；

于一种可选的实施方式中，请参阅图5，图5是本申请实施例提供的一种像素位移量确认方法的流程示意图；如图5所示，所述方法还包括：

取第一聚合特征中尺寸最大的特征层501，用索贝尔sobel卷积核502对尺寸最大的特征层501进行边缘特征提取得到感知特征层503；

用第三卷积集合对感知特征层进行特征提取得到感知特征层特征集合；

将感知特征层集合中的感知特征层进行排列得到第一感知特征卷积核504；

用第一感知特征卷积核504对位移量中的特征层505和特征层506进行特征提取得到第一位移量特征层507和第二位移量特征层508；

根据第一位移量特征层和第一预设位移量特征层，第二位移量特征层和第二预设位移量特征层，确定损失值；

若损失值不符合预设条件，则训练第三卷积集合中的参数和/或将感知特征层集合中的感知特征层进行重新排列得到更新后的第一感知特征卷积核，直至损失值符合预设条件。本申请实施例中，第三卷积集合中的参数包括第三卷积集合中中卷积核的大小、步长、卷积核的权重系数等。

图像处理中认为，灰度值变化剧烈的地方就是边缘。而且命名为sobel算子(sobel卷积核)，就是对一副图像的输入到输出边缘信息的整个处理过程。sobel算子的思想，Sobel算子认为，邻域的像素对当前像素产生的影响不是等价的，所以距离不同的像素具有不同的权值，对算子结果产生的影响也不同。一般来说，距离越远，产生的影响越小。sobel算子的原理，对传进来的图像像素做卷积，卷积的实质是在求梯度值，或者说给了一个加权平均，其中权值就是所谓的卷积核；然后对生成的新像素灰度值做阈值运算，以此来确定边缘信息。索贝尔sobel卷积核502为现有技术。如此，可尽可能的提取图像中像素特征信息，在一定程度上提高了像素位移量的估计精度。

本申请实施例中，可以用现有技术中的PWC-Net解码器解码对第三聚合特征进行解码处理；

本申请的实施例还提供了一种像素位移量确认装置，该装置包括：

第一特征提取模块601，用于用第一卷积核集合对第一帧图像和第二帧图像的像素进行像素特征提取得到第一特征层集合和第二特征层集合；第一卷积核集合包括至少两种尺寸的卷积核；第一帧图像和第二帧图像为视频中相邻的两帧图像；

第二特征提取模块602，用于用第二卷积核集合对第一特征层集合和第二特征层集合进行像素特征提取得到第三特征层集合和第四特征层集合；第一特征层集合的每个特征子层与第二卷积核集合的每个卷积核子集相对应；第二特征层集合的每个特征子层与第二卷积核集合的每个卷积核子集相对应；第二卷积核集合中的每个卷积核为预设空洞率的卷积核；

聚合模块603，用于将第一特征层集合和第三特征层集合聚合处理得到第一聚合特征，将第二特征层集合和第四特征层集合聚合处理得到第二聚合特征；

解码模块604，用于对第一聚合特征和第二聚合特征进行进行解码处理得到第一帧图像中像素的位移量。

于一种可选的实施方式中，第二特征提取模块包括特整层排列模块701和像素特征提取模块702；

特整层排列模块701，用于将第一特征层集合的特征层和第二特征层集合的特征层分别按照特征层的尺寸从大到小，排列成n层；其中，n为大于等于1的整数；

像素特征提取模块702，用于用第一特征层集合中第i层特征层对应的卷积核个数为i+1的卷积核子集对第i层特征层进行像素特征提取，每一个卷积核是对上一个卷积核进行像素特征提取后得到的特征层进行像素特征提取得到的，直到第i+1个卷积核对上一个卷积核进行像素特征提取后得到的特征层进行像素特征提取得到第三特征层集合；用第二特征层集合中第i层特征层对应的卷积核个数为i+1的卷积核子集对第i层特征层进行像素特征，每一个卷积核是对上一个卷积核进行像素特征提取后得到的特征层进行像素特征提取得到的，直到第i+1个卷积核对上一个卷积核进行像素特征提取后得到的特征层进行像素特征提取得到第四特征层集合；i为大于等于1且小于等于n的整数，i越大特征层的尺寸越大。

本申请的实施例还提供了一种电子设备，该电子设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述方法实施例提供的像素位移量确认方法。

本申请的实施例还提供了一种存储介质，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上述方法实施例提供的像素位移量确认方法。

可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

由上述本申请提供的像素位移量确认方法、设备或存储介质的实施例可见，本申请中通过用第一卷积核集合对第一帧图像和第二帧图像的像素进行像素特征提取得到第一特征层集合和第二特征层集合；第一卷积核集合包括至少两种尺寸的卷积核；第一帧图像和第二帧图像为视频中相邻的两帧图像；用第二卷积核集合对第一特征层集合和第二特征层集合进行像素特征提取得到第三特征层集合和第四特征层集合；第一特征层集合的每个特征子层与第二卷积核集合的每个卷积核子集相对应；第二特征层集合的每个特征子层与第二卷积核集合的每个卷积核子集相对应；第二卷积核集合中的每个卷积核为预设空洞率的卷积核；将第一特征层集合和第三特征层集合聚合处理得到第一聚合特征，将第二特征层集合和第四特征层集合聚合处理得到第二聚合特征；对第一聚合特征和第二聚合特征进行解码处理得到第一帧图像中像素的位移量，如此，对相邻的两帧图像进行多次的像素特征提取，尽可能的提取图像中像素特征，在一定程度上提高了像素位移量的估计精度的技术问题。同时因为聚合特征收集到了不同级别的语义信息和纹理信息，对光照变化，阴影和模糊具有一定的鲁棒性。

需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (8)

1.一种像素位移量确认方法，其特征在于，所述方法包括：

用第一卷积核集合对第一帧图像和第二帧图像的像素进行像素特征提取得到第一特征层集合和第二特征层集合；所述第一卷积核集合包括至少两种尺寸的卷积核；所述第一帧图像和所述第二帧图像为视频中相邻的两帧图像；

用第二卷积核集合对所述第一特征层集合和所述第二特征层集合进行像素特征提取得到第三特征层集合和第四特征层集合；所述第一特征层集合的每个特征子层与所述第二卷积核集合的每个卷积核子集相对应；所述第二特征层集合的每个特征子层与所述第二卷积核集合的每个卷积核子集相对应；所述第二卷积核集合中的每个卷积核为预设空洞率的卷积核；

将第一特征层集合和第三特征层集合聚合处理得到第一聚合特征，将第二特征层集合和第四特征层集合聚合处理得到第二聚合特征；

对第一聚合特征和第二聚合特征进行解码处理得到第一帧图像中像素的位移量。

2.根据权利要求1所述的像素位移量确认方法，其特征在于，所述用第二卷积核集合对所述第一特征层集合和所述第二特征层集合进行像素特征提取得到第三特征层集合和第四特征层集合,包括：

将所述第一特征层集合的特征层和所述第二特征层集合的特征层分别按照特征层的尺寸从大到小，排列成n层；其中，n为大于等于1的整数；

用第一特征层集合中第i层特征层对应的卷积核个数为i+1的卷积核子集对所述第i层特征层进行像素特征提取，每一个卷积核是对上一个卷积核进行像素特征提取后得到的特征层进行像素特征提取得到的，直到第i+1个卷积核对上一个卷积核进行像素特征提取后得到的特征层进行像素特征提取得到第三特征层集合；用第二特征层集合中第i层特征层对应的卷积核个数为i+1的卷积核子集对所述第i层特征层进行像素特征，每一个卷积核是对上一个卷积核进行像素特征提取后得到的特征层进行像素特征提取得到的，直到第i+1个卷积核对上一个卷积核进行像素特征提取后得到的特征层进行像素特征提取得到第四特征层集合；i为大于等于1且小于等于n的整数，i越大特征层的尺寸越大。

3.根据权利要求1所述的像素位移量确认方法，其特征在于，所述将第一特征层集合和第三特征层集合聚合处理得到第一聚合特征，将第二特征层集合和第四特征层集合聚合处理得到第二聚合特征，包括：

将第一特征层集合中每层包含的特征层和所述特征层对应的第三特征层集合中的第三特征层以及下一层聚合特征进行上采样处理的特征层在通道维度进行堆叠，用1x1的卷积核对堆叠结果进行降维得到第一降维特征集合；用1x1的卷积核对第一特征层集合中的每层包含的特征层进行升维得到第一升维特征集合；第一降维特征集合的维度与第二升维特征集合的维度一致，将第一降维特征集合中每层包含的特征和与所述特征层对应的第一升维特征集合中的第一升维特征集合中的第一升维特征进行加权处理得到第一聚合特征；

将第二特征层集合中每层包含的特征层和所述特征层对应的第四特征层集合中的第四特征层以及下一层聚合特征进行上采样处理的特征层在通道维度进行堆叠，用1x1的卷积核对堆叠结果进行降维得到第二降维特征集合；用1x1的卷积核对第一特征层集合中的每层包含的特征层进行升维得到第二升维特征集合；第二降维特征集合的维度与第二升维特征集合的维度一致，将第二降维特征集合中每层包含的特征和与所述特征层对应的第二升维特征集合中的第二升维特征集合中的第二升维特征进行加权处理得到第二聚合特征。

4.根据权利要求1所述的像素位移量确认方法，其特征在于，所述方法还包括：

取第一聚合特征中尺寸最大的特征层，用索贝尔sobel卷积核对所述尺寸最大的特征层进行边缘特征提取得到感知特征层；

用第三卷积集合对所述感知特征层进行特征提取得到感知特征层特征集合；

将所述感知特征层集合中的感知特征层进行排列得到第一感知特征卷积核；

用第一感知特征卷积核对所述所述位移量中的两个特征层进行特征提取得到第一位移量特征层和第二位移量特征层；

根据所述第一位移量特征层和第一预设位移量特征层，所述第二位移量特征层和第二预设位移量特征层，确定损失值；

若所述损失值不符合预设条件，则训练第三卷积集合中的参数和/或将感知特征层集合中的感知特征层进行重新排列得到更新后的第一感知特征卷积核，直至所述损失值符合预设条件。

5.一种像素位移量确认装置，其特征在于，所述装置包括：

第一特征提取模块，用于用第一卷积核集合对第一帧图像和第二帧图像的像素进行像素特征提取得到第一特征层集合和第二特征层集合；所述第一卷积核集合包括至少两种尺寸的卷积核；所述第一帧图像和所述第二帧图像为视频中相邻的两帧图像；

第二特征提取模块，用于用第二卷积核集合对所述第一特征层集合和所述第二特征层集合进行像素特征提取得到第三特征层集合和第四特征层集合；所述第一特征层集合的每个特征子层与所述第二卷积核集合的每个卷积核子集相对应；所述第二特征层集合的每个特征子层与所述第二卷积核集合的每个卷积核子集相对应；所述第二卷积核集合中的每个卷积核为预设空洞率的卷积核；

聚合模块，用于将第一特征层集合和第三特征层集合聚合处理得到第一聚合特征，将第二特征层集合和第四特征层集合聚合处理得到第二聚合特征；

解码模块，用于对第一聚合特征和第二聚合特征进行解码处理得到第一帧图像中像素的位移量。

6.根据权利要求5所述的一种像素位移量确认装置，其特征在于，所述第二特征提取模块包括特整层排列模块和像素特征提取模块；

特整层排列模块，用于将所述第一特征层集合的特征层和所述第二特征层集合的特征层分别按照特征层的尺寸从大到小，排列成n层；其中，n为大于等于1的整数；

像素特征提取模块，用于用第一特征层集合中第i层特征层对应的卷积核个数为i+1的卷积核子集对所述第i层特征层进行像素特征提取，每一个卷积核是对上一个卷积核进行像素特征提取后得到的特征层进行像素特征提取得到的，直到第i+1个卷积核对上一个卷积核进行像素特征提取后得到的特征层进行像素特征提取得到的第三特征层集合；用第二特征层集合中第i层特征层对应的卷积核个数为i+1的卷积核子集对所述第i层特征层进行像素特征，每一个卷积核是对上一个卷积核进行像素特征提取后得到的特征层进行像素特征提取得到的，直到第i+1个卷积核对上一个卷积核进行像素特征提取后得到的特征层进行像素特征提取得到第四特征层集合；i为大于等于1且小于等于n的整数，i越大特征层的尺寸越大。

7.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-4任一所述的像素位移量确认方法。

8.一种存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1-4任一所述的像素位移量确认方法。

Images