CN113344200A - 用于训练可分离卷积网络的方法、路侧设备及云控平台 - Google Patents

Abstract

本公开提供了用于训练可分离卷积网络的方法、路侧设备及云控平台，涉及计算机技术领域，特别涉及智能交通和计算机视觉技术。具体实现方案为：获取包括目标数目个样本图像和对应的样本标签的批训练样本集合；生成该批训练样本集合对应的第二初始卷积核的滑动窗口的局部区域块集合；分别生成针对该局部区域块集合中各局部区域块的融合卷积核，其中，该融合卷积核基于第一初始卷积核针对样本图像的卷积结果和该第二初始卷积核生成；利用所生成的融合卷积核对相应的局部区域块进行卷积，生成与该批训练样本集合中目标数目个样本图像对应的特征图；根据所生成的特征图与对应的样本标签之间的差异，调整该第一初始卷积核和该第二初始卷积核。

Description

用于训练可分离卷积网络的方法、路侧设备及云控平台

技术领域

本公开涉及计算机技术领域，特别涉及人工智能、计算机视觉技术和智能交通，尤其涉及用于训练可分离卷积网络的方法、路侧设备及云控平台。

背景技术

随着人工智能和计算机视觉技术的飞速发展，深度学习神经网络因其优越的性能深受工业市场的追捧。为了满足工业需求，往往需要将模型设计得非常笨重，但是这又往往造成了与应用场景的设备资源受限之间的冲突。

现有技术中往往采用一种专门针对资源受限终端设备的轻量神经网络架构，其核心是深度可分离卷积(Depthwise Convolution)。

发明内容

提供了一种用于训练可分离卷积网络的方法及图像处理方法、路侧设备及云控平台。

根据第一方面，提供了一种用于训练可分离卷积网络的方法，其中，该可分离卷积网络中包括第一初始卷积核和第二初始卷积核，该方法包括：获取批训练样本集合，其中，批训练样本集合中包括目标数目个样本图像和对应的样本标签；生成批训练样本集合对应的第二初始卷积核的滑动窗口的局部区域块集合；分别生成针对局部区域块集合中各局部区域块的融合卷积核，其中，融合卷积核基于第一初始卷积核针对样本图像的卷积结果和第二初始卷积核生成；利用所生成的融合卷积核对相应的局部区域块进行卷积，生成与批训练样本集合中目标数目个样本图像对应的特征图；根据所生成的特征图与对应的样本标签之间的差异，调整第一初始卷积核和第二初始卷积核。

根据第二方面，提供了一种图像处理方法，包括：获取待处理图像的目标卷积区域；利用预先生成的融合卷积核对目标卷积区域进行卷积操作，生成卷积结果，其中，融合卷积核基于第一目标卷积核针对待处理图像的卷积结果和第二目标卷积核生成，第一目标卷积核和第二目标卷积核包括基于如第一方面中任一实现方式所描述的方法调整后的第一初始卷积核和第二初始卷积核；基于卷积结果，生成待处理图像对应的特征图。

根据第三方面，提供了一种用于训练可分离卷积网络的装置，其中，该可分离卷积网络中包括第一初始卷积核和第二初始卷积核，该装置包括：第一获取单元，被配置成获取批训练样本集合，其中，批训练样本集合中包括目标数目个样本图像和对应的样本标签；第一生成单元，被配置成生成批训练样本集合对应的第二初始卷积核的滑动窗口的局部区域块集合；第二生成单元，被配置成分别生成针对局部区域块集合中各局部区域块的融合卷积核，其中，融合卷积核基于第一初始卷积核针对样本图像的卷积结果和第二初始卷积核生成；卷积单元，被配置成利用所生成的融合卷积核对相应的局部区域块进行卷积，生成与批训练样本集合中目标数目个样本图像对应的特征图；调整单元，被配置成根据所生成的特征图与对应的样本标签之间的差异，调整第一初始卷积核和第二初始卷积核。

根据第四方面，提供了一种图像处理装置，包括：第二获取单元，被配置成获取待处理图像的目标卷积区域；第三生成单元，被配置成利用预先生成的融合卷积核对目标卷积区域进行卷积操作，生成卷积结果，其中，融合卷积核基于第一目标卷积核针对待处理图像的卷积结果和第二目标卷积核生成，第一目标卷积核和第二目标卷积核包括基于如第一方面或中任一实现方式所描述的方法调整后的第一初始卷积核和第二初始卷积核；第四生成单元，被配置成基于卷积结果，生成待处理图像对应的特征图。

根据第五方面，提供了一种电子设备，该电子设备包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，存储器存储有可被上述至少一个处理器执行的指令，上述指令被至少一个处理器执行，以使上述至少一个处理器能够执行如第一方面或第二方面中任一实现方式所描述的方法。

根据第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机能够执行如第一方面或第二方面中任一实现方式所描述的方法。

根据第七方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如第一方面或第二方面中任一项所述的方法。

根据第八方面，提供了一种路侧设备，包括如第五方面所描述的电子设备。

根据第九方面，提供了一种云控平台，包括如第五方面所描述的电子设备。

根据本公开的技术通过基于有监督训练同时调整第一初始卷积核和第二初始卷积核，并基于初始卷积核和第二初始卷积核生成针对各图像区域的融合卷积核，从而实现了将空间关联的卷积核应用于可分离卷积网络，提供了一种训练可分离卷积网络的方法，进而为据此生成的融合卷积核所提取的特征以及提升图像处理效果提供技术基础。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开第一实施例的示意图；

图2是根据本公开第二实施例的示意图；

图3是可以实现本公开实施例的用于训练可分离卷积网络的方法的一个应用场景的示意图；

图4是根据本公开实施例的用于训练可分离卷积网络的装置的示意图；

图5是根据本公开实施例的图像处理装置的示意图；

图6是用来实现本公开实施例的用于训练可分离卷积网络的方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是示出了根据本公开第一实施例的示意图100。该用于训练可分离卷积网络的方法包括以下步骤：

S101，获取批训练样本集合。

在本实施例中，用于训练可分离卷积网络的方法的执行主体可以通过各种方式获取批训练样本集合。其中，上述可分离卷积网络中可以包括第一初始卷积核和第二初始卷积核。上述批训练样本集合中可以包括目标数目个样本图像和对应的样本标签。上述目标数目可以是batchsize的值。上述可分离卷积通常可以包括深度可分离卷积。

在本实施例中，可选地，上述第一初始卷积核的大小可以不大于上述第二初始卷积核的大小。作为示例，为了减小计算量，上述第一初始卷积核的大小可以为1×1，上述第二初始卷积核的大小可以为3×3。

S102，生成批训练样本集合对应的第二初始卷积核的滑动窗口的局部区域块集合。

在本实施例中，上述执行主体可以通过各种方式生成上述步骤S101所获取的批训练样本集合对应的第二初始卷积核的滑动窗口的局部区域块集合。其中，上述局部区域块集合中可以包括上述第二初始卷积核在上述批训练样本集合中的样本图像上滑动的各区域。作为示例，上述执行主体可以通过执行torch.nn.Unfold()操作生成上述步骤S101所获取的批训练样本集合对应的第二初始卷积核的滑动窗口的局部区域块集合。

在本实施例中，作为示例，上述局部区域块集合的维度可以为(N，C×K×K，H，W)。其中，上述N可以用于表征batchsize。上述C可以用于表征上述第二初始卷积核的输入通道数。上述K可以用于表征上述第二初始卷积核的高和宽。作为又一示例，上述局部区域块集合的维度还可以经过重排序(reshape)为(N，C，K×K，H，W)。其中，上述字符的含义可以与前述描述一致。

S103，分别生成针对局部区域块集合中各局部区域块的融合卷积核。

在本实施例中，上述执行主体可以通过各种方式分别生成针对上述步骤S102所生成的局部区域块集合中各局部区域块的融合卷积核。其中，上述融合卷积核可以基于上述第一初始卷积核针对上述样本图像的卷积结果和上述第二初始卷积核生成。其中，上述局部区域块的大小通常与上述第二初始卷积核的大小一致。

在本实施例中，上述执行主体可以利用上述第一初始卷积核针对上述样本图像生成与上述第一初始卷积核对应的卷积结果。而后，上述执行主体还可以将上述与上述第一初始卷积核对应的卷积结果进行重新排布(reshape)，从而生成为与上述局部区域块的维度匹配的重排布结果。而后，上述执行主体还可以将上述重排布结果与上述第二初始卷积核进行融合，以生成与上述各局部区域块对应的融合卷积核。从而，上述融合卷积核中包含了不同局部区域的特征。

在本实施例中，作为示例，上述融合卷积核的维度可以为(N，C×K×K，H，W)。作为又一示例，上述融合卷积核的维度还可以经过重排序为(N，C，K×K，H，W)。其中，上述字符的含义可以与前述描述一致。

S104，利用所生成的融合卷积核对相应的局部区域块进行卷积，生成与批训练样本集合中目标数目个样本图像对应的特征图。

在本实施例中，上述执行主体可以通过各种方式利用上述步骤S103所生成的与各局部区域块对应的融合卷积核对相应的局部区域块进行卷积，生成与批训练样本集合中目标数目个样本图像对应的特征图。

在本实施例中，作为示例，当上述融合卷积核的输出通道数为1时，上述执行主体可以生成目标数目个特征图。作为又一示例，当上述融合卷积核的输出通道数为3时，上述执行主体所生成的特征图的数目可以为上述目标数目的3倍。

S105，根据所生成的特征图与对应的样本标签之间的差异，调整第一初始卷积核和第二初始卷积核。

在本实施例中，上述执行主体可以通过各种方式确定上述步骤S104所生成的特征图与对应的样本标签之间的差异。作为示例，上述执行主体可以利用预设的损失函数计算损失值。而后，上述执行主体可以利用反向传播(Backpropagation，BP)法调整上述第一初始卷积核和第二初始卷积核。

本公开的上述实施例提供的方法，通过基于有监督训练同时调整第一初始卷积核和第二初始卷积核，并基于初始卷积核和第二初始卷积核生成针对各图像区域的融合卷积核，从而实现了将空间关联的卷积核应用于可分离卷积网络，提供了一种训练可分离卷积网络的方法，进而为据此生成的融合卷积核所提取的特征以及提升图像处理效果提供技术基础。

在本实施例的一些可选的实现方式中，响应于确定不满足预设训练停止条件，上述执行主体可以将上述调整后的第一初始卷积核和第二初始卷积核确定为新的第一初始卷积核和第二初始卷积核，以及继续执行训练步骤S103-S105。响应于确定满足预设训练停止条件，上述执行主体可以将包含上述调整后的第一初始卷积核和第二初始卷积核的可分离卷积网络确定为训练完成后的可分离卷积网络。其中，上述训练停止条件可以包括但不限于以下至少一项：训练时间达到预设训练时长，迭代次数达到预设迭代次数，损失值收敛，训练集的预测准确率达到预设阈值。

在本实施例的一些可选的实现方式中，上述执行主体可以按照如下步骤生成批训练样本集合对应的第二初始卷积核的滑动窗口的局部区域块集合：

第一步，获取第二初始卷积核对应的预设滑动步幅。

在这些实现方式中，上述执行主体可以通过各种方式获取上述第二初始卷积核对应的预设滑动步幅(stride)。作为示例，上述执行主体可以获取用户端发送的用户设置的预设滑动步幅。作为又一示例，上述执行主体可以获取预设的默认滑动步幅。

第二步，生成局部区域块集合。

在这些实现方式中，上述局部区域块集合的维度中包括上述目标数目、上述样本图像的通道数、上述第二初始卷积核的宽与高的乘积、上述样本图像的高与上述预设滑动步幅的比值和上述样本图像的宽与上述预设滑动步幅的比值。

基于上述可选的实现方式，本方案可以实现对滑动步幅大于1的局部区域块集合的生成。

在本实施例的一些可选的实现方式中，上述执行主体可以按照如下步骤分别生成针对局部区域块集合中各局部区域块的融合卷积核：

第一步，基于第一初始卷积核针对样本图像的卷积结果，生成与局部区域块集合中的局部区域块的维度匹配的修正系数张量。

在这些实现方式中，上述执行主体可以直接将上述第一初始卷积核针对样本图像生成的卷积结果按照与上述局部区域块的维度匹配的方式进行重新排布，将重新排布后的结果确定为修正系数张量。作为示例，上述第一初始卷积核可以为1×1维度的卷积核。可选地，上述执行主体还可以将上述第一初始卷积核针对样本图像生成的卷积结果输入至sigmoid函数，将上述sigmoid函数的输出的归一化后的值按照与上述局部区域块的维度匹配的方式进行重新排布，将重新排布后的归一化后的值确定为上述修正系数张量。

第二步，基于修正系数张量与第二初始卷积核进行点乘，生成针对局部区域块集合中各局部区域块的融合卷积核。

在这些实现方式中，上述融合卷积核的维度通常与上述第二初始卷积核的维度匹配。作为示例，上述第二初始卷积核的维度可以是(1,C×K×K,1,1)。其中，上述C可以用于表征上述第二初始卷积核的输入通道数。上述K可以用于表征上述第二初始卷积核的高和宽。上述第一步所生成的修正系数张量的维度可以是(N，C×K×K，H，W)。其中，上述N可以用于表征batchsize。上述C、K的含义可以与前述描述一致。上述H和W可以用于表征上述样本图像的高和宽。

基于上述可选的实现方式，本方案可以基于上述第一初始卷积核和上述第二初始卷积核生成与局部区域块相关联的融合卷积核，从而丰富了具备空间独立性的卷积核的生成方法。

可选地，基于上述可选的实现方式，上述执行主体可以按照如下步骤利用所生成的融合卷积核对相应的局部区域块进行卷积，生成与批训练样本集合中目标数目个样本图像对应的特征图：

S1、利用所生成的融合卷积核对相应的局部卷积块进行卷积，生成与局部区域块集合的维度一致的卷积结果。

在这些实现方式中，上述执行主体可以利用上述所生成的融合卷积核对相应的局部卷积块进行卷积，生成与局部区域块集合的维度一致的卷积结果。作为示例，上述执行主体可以利用基于样本图像左上角的局部卷积块生成的融合卷积核对上述样本图像左上角的局部卷积块进行卷积，生成与上述样本图像左上角的局部卷积块对应的卷积结果。上述执行主体可以对上述局部区域块集合中各局部区域块进行上述卷积操作，从而生成与局部区域块集合的维度一致的卷积结果。作为示例，上述卷积结果的维度可以是(N，C，K×K，H/s，W/s)。其中，上述s可以用于表征上述预设滑动步幅。上述其他字符的含义可以与前述描述一致，此处不再赘述。

S2、在第二初始卷积核的宽与高的乘积的维度上进行求和，生成与批训练样本集合中目标数目个样本图像对应的特征图。

在这些实现方式中，上述执行主体可以通过各种方式在第二初始卷积核的宽与高的乘积的维度上进行求和，生成与批训练样本集合中目标数目个样本图像对应的特征图。其中，上述特征图的维度中可以包括上述目标数目、上述样本图像的通道数、上述样本图像的高与上述预设滑动步幅的比值和上述样本图像的宽与上述预设滑动步幅的比值。

作为示例，上述卷积结果的维度如上述排列，则上述执行主体可以通过执行ReduceSum(axis＝-3)操作，以在第二初始卷积核的宽与高的乘积的维度上进行求和，从而生成与批训练样本集合中目标数目个样本图像对应的特征图。其中，上述特征图的维度可以是(N，C，H/s，W/s)。上述字符的含义可以与前述描述一致，此处不再赘述。

基于上述可选的实现方式，本方案可以通过维度变换实现对滑动步幅大于1的局部区域块集合对应的特征图的生成，从而丰富了特征图的生成方式，提升了所提取的特征的准确性。

继续参见图2，图2是根据本公开第二实施例的示意图200。该图像处理方法包括以下步骤：

S201，获取待处理图像的目标卷积区域。

在本实施例中，图像处理方法的执行主体可以通过各种方式获取待处理图像的目标卷积区域。其中，上述待处理图像的目标卷积区域可以根据实际应用场景的不同而灵活设定。作为示例，上述待处理图像可以为输入层的原始图像，从而上述目标卷积区域可以包括上述待处理图像的感受野。作为又一示例，上述待处理图像可以为隐层输出的图像，从而上述目标卷积区域可以为待与相对应的卷积核进行卷积操作的区域。

需要说明的是，上述待处理图像的目标卷积区域的数目通常大于1；当全连接时，上述待处理图像的目标卷积区域也可以等于1。

S202，利用预先生成的融合卷积核对目标卷积区域进行卷积操作，生成卷积结果。

在本实施例中，上述执行主体可以利用预先生成的融合卷积核对目标卷积区域进行卷积操作，生成卷积结果。其中，上述融合卷积核可以基于第一目标卷积核针对上述步骤S201所获取的待处理图像的卷积结果和第二目标卷积核生成。上述第一目标卷积核和上述第二目标卷积核可以包括基于如前述实施例所描述的用于训练可分离卷积网络的方法调整后的第一初始卷积核和第二初始卷积核。

S203，基于卷积结果，生成待处理图像对应的特征图。

在本实施例中，基于上述步骤S202所生成的卷积结果，上述执行主体可以通过各种方式生成上述步骤S201所获取的待处理图像对应的特征图。作为示例，上述执行主体可以直接上述步骤S202所生成的卷积结果确定为上述待处理图像对应的特征图。作为又一示例，上述执行主体还可以针对上述步骤S202所生成的卷积结果执行多次上述步骤S202(相当于将多个融合卷积核所在的卷积层串联)，将最终输出的卷积结果确定为上述待处理图像对应的特征图。

从图2中可以看出，本实施例中的图像处理方法的流程200，通过利用预先训练的基于第一目标卷积核针对待处理图像的卷积结果和第二目标卷积核生成的融合卷积核实现对目标卷积区域进行卷积操作，进而生成特征图。从而实现了在不同的空间采用不同的卷积核进行卷积操作，弥补了传统卷积对空间信息特征不区分的缺点。并且可以通过目标卷积区域的确定，保留传统卷积平移不变性的特点，从而提升了卷积网络的特征表征能力。

继续参见图3，图3是根据本公开的实施例的用于训练可分离卷积网络的方法的应用场景的一个示意图。在图3的应用场景中，服务器可以获取批训练样本集合301。其中，上述批训练样本集合中可以包括目标数目个样本图像3031和对应的目标数目个样本标签3032。服务器可以生成上述批训练样本集合301对应的第二初始卷积核3032的滑动窗口局部区域块集合302。而后，服务器可以分别生成上述局部区域块集合302中各局部区域块的融合卷积核303。其中，上述融合卷积核303基于上述第一初始卷积核3031针对上述样本图像3031的卷积结果和第二初始卷积核3032生成。之后，服务器利用所生成的融合卷积核303对相应的局部区域块进行卷积，生成对应的特征图304。最后，根据所生成的特征图304与对应的样本标签3032之间的差异值305，服务器可以调整上述第一初始卷积核3031和第二初始卷积核3032。

需要说明的是，包括第一初始卷积核和第二初始卷积核的深度可分离卷积网络可以应用于现有的各种检测模型框架，例如MobileNet模型。

目前，现有技术之一通常是采用深度可分离卷积解决终端设备资源受限的问题，但上述轻量模型没有考虑到空间不同位置的信息对特征产生的贡献，导致模型的特征表达能力有限。而本公开的上述实施例提供的方法，通过有监督训练同时调整第一初始卷积核和第二初始卷积核，基于上述训练完成的第一初始卷积核和第二初始卷积核生成融合卷积核，从而提供了一种能够针对不同信息空间采用不同的卷积核提取特征的可分离卷积网络，有助于提升可分离卷积网络的特征表征能力，从而为进一步提升图像处理效果提供基础。

进一步参考图4，作为对上述各图所示方法的实现，本公开提供了用于训练可分离卷积网络的装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图4所示，本实施例提供的用于训练可分离卷积网络的装置400包括第一获取单元401、第一生成单元402、第二生成单元403、卷积单元404和调整单元405。其中，第一获取单元401，被配置成获取批训练样本集合，其中，批训练样本集合中包括目标数目个样本图像和对应的样本标签；第一生成单元402，被配置成生成批训练样本集合对应的第二初始卷积核的滑动窗口的局部区域块集合；第二生成单元403，被配置成分别生成针对局部区域块集合中各局部区域块的融合卷积核，其中，融合卷积核基于第一初始卷积核针对样本图像的卷积结果和第二初始卷积核生成；卷积单元404，被配置成利用所生成的融合卷积核对相应的局部区域块进行卷积，生成与批训练样本集合中目标数目个样本图像对应的特征图；调整单元405，被配置成根据所生成的特征图与对应的样本标签之间的差异，调整第一初始卷积核和第二初始卷积核。

在本实施例中，用于训练可分离卷积网络的装置400中：第一获取单元401、第一生成单元402、第二生成单元403、卷积单元404和调整单元405的具体处理及其所带来的技术效果可分别参考图1对应实施例中的步骤S101、S102、S103、S104和S105的相关说明，在此不再赘述。

在本实施例的一些可选的实现方式中，上述第一生成单元402可以进一步被配置成：获取第二初始卷积核对应的预设滑动步幅；生成局部区域块集合，其中，局部区域块集合的维度中包括目标数目、样本图像的通道数、第二初始卷积核的宽与高的乘积、样本图像的高与预设滑动步幅的比值和样本图像的宽与上述预设滑动步幅的比值。

在本实施例的一些可选的实现方式中，上述第二生成单元403可以被进一步配置成：基于第一初始卷积核针对样本图像的卷积结果，生成与局部区域块集合中的局部区域块的维度匹配的修正系数张量；基于修正系数张量与第二初始卷积核进行点乘，生成针对局部区域块集合中各局部区域块的融合卷积核，其中，融合卷积核的维度与第二初始卷积核的维度匹配。

在本实施例的一些可选的实现方式中，上述卷积单元404可以被进一步配置成：利用所生成的融合卷积核对相应的局部卷积块进行卷积，生成与局部区域块集合的维度一致的卷积结果；在第二初始卷积核的宽与高的乘积的维度上进行求和，生成与批训练样本集合中目标数目个样本图像对应的特征图，其中，特征图的维度中包括目标数目、样本图像的通道数、样本图像的高与预设滑动步幅的比值和样本图像的宽与预设滑动步幅的比值。

本公开的上述实施例提供的装置，通过调整单元405利用第一获取单元401获取的批训练样本集合，基于有监督训练同时调整第一初始卷积核和第二初始卷积核，并通过第一生成单元402基于初始卷积核和第二初始卷积核生成针对各图像区域的融合卷积核，从而实现了将空间关联的卷积核应用于可分离卷积网络，提供了一种训练可分离卷积网络的方法，进而为据此生成的融合卷积核所提取的特征以及提升图像处理效果提供技术基础。

进一步参考图5，作为对上述各图所示方法的实现，本公开提供了图像处理装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图5所示，本实施例提供的图像处理装置500包括第二获取单元501、第三生成单元502和第四生成单元503。其中，第二获取单元501，被配置成获取待处理图像的目标卷积区域；第三生成单元502，被配置成利用预先生成的融合卷积核对目标卷积区域进行卷积操作，生成卷积结果，其中，融合卷积核基于第一目标卷积核针对待处理图像的卷积结果和第二目标卷积核生成，第一目标卷积核和第二目标卷积核包括基于如前述实施例中所描述的用于训练可分离卷积网络的方法调整后的第一初始卷积核和第二初始卷积核；第四生成单元503，被配置成基于卷积结果，生成待处理图像对应的特征图。

在本实施例中，图像处理装置500中：第二获取单元501、第三生成单元502和第四生成单元503的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤S201-S203的相关说明，在此不再赘述。

本公开的上述实施例提供的装置，通过第三生成单元502利用预先训练的基于第一目标卷积核针对第二获取单元501获取的待处理图像的卷积结果和第二目标卷积核生成的融合卷积核实现对目标卷积区域进行卷积操作，进而通过第四生成单元503生成特征图。从而实现了在不同的空间采用不同的卷积核进行卷积操作，弥补了传统卷积对空间信息特征不区分的缺点。并且可以通过目标卷积区域的确定，保留传统卷积平移不变性的特点，从而提升了卷积网络的特征表征能力。

本公开的技术方案中，所涉及的用户个人信息的获取、存储和应用等，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如用于训练可分离卷积网络的方法及图像处理方法。例如，在一些实施例中，用于训练可分离卷积网络的方法及图像处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的用于训练可分离卷积网络的方法及图像处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行用于训练可分离卷积网络的方法及图像处理方法。

可选地，路侧设备除了包括电子设备，还可以包括通信部件等，电子设备可以和通信部件一体集成，也可以分体设置。电子设备可以获取感知设备(如路侧相机)的数据，例如图片和视频等，从而进行图像视频处理和数据计算。可选的，电子设备自身也可以具备感知数据获取功能和通信功能，例如是AI相机，电子设备可以直接基于获取的感知数据进行图像视频处理和数据计算。

可选地，云控平台在云端执行处理，云控平台包括的电子设备可以获取感知设备(如路侧相机)的数据，例如图片和视频等，从而进行图像视频处理和数据计算；云控平台也可以称为车路协同管理平台、边缘计算平台、云计算平台、中心系统、云端服务器等

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (15)

1.一种用于训练可分离卷积网络的方法，其中，所述可分离卷积网络中包括第一初始卷积核和第二初始卷积核，所述方法包括：

获取批训练样本集合，其中，所述批训练样本集合中包括目标数目个样本图像和对应的样本标签；

生成所述批训练样本集合对应的所述第二初始卷积核的滑动窗口的局部区域块集合；

分别生成针对所述局部区域块集合中各局部区域块的融合卷积核，其中，所述融合卷积核基于所述第一初始卷积核针对样本图像的卷积结果和所述第二初始卷积核生成；

利用所生成的融合卷积核对相应的局部区域块进行卷积，生成与所述批训练样本集合中目标数目个样本图像对应的特征图；

根据所生成的特征图与对应的样本标签之间的差异，调整所述第一初始卷积核和所述第二初始卷积核。

2.根据权利要求1所述的方法，其中，所述生成所述批训练样本集合对应的所述第二初始卷积核的滑动窗口的局部区域块集合，包括：

获取所述第二初始卷积核对应的预设滑动步幅；

生成所述局部区域块集合，其中，所述局部区域块集合的维度中包括所述目标数目、所述样本图像的通道数、所述第二初始卷积核的宽与高的乘积、所述样本图像的高与所述预设滑动步幅的比值和所述样本图像的宽与所述预设滑动步幅的比值。

3.根据权利要求1或2所述的方法，其中，所述分别生成针对所述局部区域块集合中各局部区域块的融合卷积核，包括：

基于所述第一初始卷积核针对样本图像的卷积结果，生成与所述局部区域块集合中的局部区域块的维度匹配的修正系数张量；

基于所述修正系数张量与所述第二初始卷积核进行点乘，生成针对所述局部区域块集合中各局部区域块的融合卷积核，其中，所述融合卷积核的维度与所述第二初始卷积核的维度匹配。

4.根据权利要求2所述的方法，其中，所述利用所生成的融合卷积核对相应的局部区域块进行卷积，生成与所述批训练样本集合中目标数目个样本图像对应的特征图，包括：

利用所生成的融合卷积核对相应的局部卷积块进行卷积，生成与所述局部区域块集合的维度一致的卷积结果；

在所述第二初始卷积核的宽与高的乘积的维度上进行求和，生成与所述批训练样本集合中目标数目个样本图像对应的特征图，其中，所述特征图的维度中包括所述目标数目、所述样本图像的通道数、所述样本图像的高与所述预设滑动步幅的比值和所述样本图像的宽与所述预设滑动步幅的比值。

5.一种图像处理方法，包括：

获取待处理图像的目标卷积区域；

利用预先生成的融合卷积核对所述目标卷积区域进行卷积操作，生成卷积结果，其中，所述融合卷积核基于第一目标卷积核针对所述待处理图像的卷积结果和第二目标卷积核生成，所述第一目标卷积核和所述第二目标卷积核包括基于如权利要求1-4之一所述的方法调整后的第一初始卷积核和第二初始卷积核；

基于所述卷积结果，生成所述待处理图像对应的特征图。

6.一种用于训练可分离卷积网络的装置，其中，所述可分离卷积网络中包括第一初始卷积核和第二初始卷积核，所述装置包括：

第一获取单元，被配置成获取批训练样本集合，其中，所述批训练样本集合中包括目标数目个样本图像和对应的样本标签；

第一生成单元，被配置成生成所述批训练样本集合对应的所述第二初始卷积核的滑动窗口的局部区域块集合；

第二生成单元，被配置成分别生成针对所述局部区域块集合中各局部区域块的融合卷积核，其中，所述融合卷积核基于所述第一初始卷积核针对样本图像的卷积结果和所述第二初始卷积核生成；

卷积单元，被配置成利用所生成的融合卷积核对相应的局部区域块进行卷积，生成与所述批训练样本集合中目标数目个样本图像对应的特征图；

调整单元，被配置成根据所生成的特征图与对应的样本标签之间的差异，调整所述第一初始卷积核和所述第二初始卷积核。

7.根据权利要求6所述的装置，其中，所述第一生成单元被进一步配置成：

获取所述第二初始卷积核对应的预设滑动步幅；

生成所述局部区域块集合，其中，所述局部区域块集合的维度中包括所述目标数目、所述样本图像的通道数、所述第二初始卷积核的宽与高的乘积、所述样本图像的高与所述预设滑动步幅的比值和所述样本图像的宽与所述预设滑动步幅的比值。

8.根据权利要求6或7所述的装置，其中，所述第二生成单元被进一步配置成：

基于所述第一初始卷积核针对样本图像的卷积结果，生成与所述局部区域块集合中的局部区域块的维度匹配的修正系数张量；

基于所述修正系数张量与所述第二初始卷积核进行点乘，生成针对所述局部区域块集合中各局部区域块的融合卷积核，其中，所述融合卷积核的维度与所述第二初始卷积核的维度匹配。

9.根据权利要求7所述的装置，其中，所述卷积单元被进一步配置成：

利用所生成的融合卷积核对相应的局部卷积块进行卷积，生成与所述局部区域块集合的维度一致的卷积结果；

在所述第二初始卷积核的宽与高的乘积的维度上进行求和，生成与所述批训练样本集合中目标数目个样本图像对应的特征图，其中，所述特征图的维度中包括所述目标数目、所述样本图像的通道数、所述样本图像的高与所述预设滑动步幅的比值和所述样本图像的宽与所述预设滑动步幅的比值。

10.一种图像处理装置，包括：

第二获取单元，被配置成获取待处理图像的目标卷积区域；

第三生成单元，被配置成利用预先生成的融合卷积核对所述目标卷积区域进行卷积操作，生成卷积结果，其中，所述融合卷积核基于第一目标卷积核针对所述待处理图像的卷积结果和第二目标卷积核生成，所述第一目标卷积核和所述第二目标卷积核包括基于如权利要求1-4之一所述的方法调整后的第一初始卷积核和第二初始卷积核；

第四生成单元，被配置成基于所述卷积结果，生成所述待处理图像对应的特征图。

11.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。

12.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-5中任一项所述的方法。

13.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-5中任一项所述的方法。

14.一种路侧设备，包括如权利要求11所述的电子设备。

15.一种云控平台，包括如权利要求11所述的电子设备。

Images