CN110245747B - 基于全卷积神经网络的图像处理方法及装置 - Google Patents

Abstract

本发明提供了一种基于全卷积神经网络的图像处理方法及装置，方法包括：对待处理图像的图像数据进行数据细化，并将数据细化后的待处理图像转换为与三原色对应的单通道灰度图像并进行图像卷积，得到待处理图像的特征图；对待处理图像的特征图进行图像反卷积，以将特征图恢复为与待处理图像分辨率相同且将目标物体的类别标注出来的目标图像。数据细化使图像中每个像素点的像素值更加精确，在通过卷积提取特征时，可以提取到更多细节特征。将三通道图像转换为与三原色对应的三个单通道灰度图像进行卷积与直接对三通道图像进行卷积相比能够减少图像特征的损失，从而使最终的图像处理结果更加准确，可以很好的用于处理弱光照条件下的图像。

Description

基于全卷积神经网络的图像处理方法及装置

技术领域

本发明涉及图像处理领域，具体而言，涉及一种基于全卷积神经网络的图像处理方法及装置。

背景技术

图像语义分割就是通过机器自动分割识别出图像中的内容，可以说是图像理解的基石性技术，是自动驾驶系统、无人机应用以及穿戴式设备等领域中举足轻重的应用。

深度学习技术可以提升图像语义分割任务的性能，但大多数深度学习技术(比如，全卷积神经网络(fully CNN))在高分辨率图像或深度图像的数据集上具有很好的效果，但在处理弱光照、低清晰度或是光照不均衡的图像时采用深度学习技术进行图像语义分割的效果就不佳。

发明内容

为了解决上述问题，本发明实施例提供一种基于全卷积神经网络的图像处理方法及装置。

第一方面，本发明实施例提供一种基于全卷积神经网络的图像处理方法，应用于计算机设备，所述全卷积神经网络包括数据细化层、卷积层和反卷积层，所述方法包括：

将待处理图像输入到训练好的全卷积神经网络的细化层中对所述待处理图像的图像数据进行数据细化处理，并将数据细化处理后的所述待处理图像转换为三原色单通道灰度图像；

将所述三原色单通道灰度图像输入卷积层中进行图像卷积处理，得到三原色单通道灰度图像对应的用于表征所述待处理图像中目标物体类别的特征图，对三原色单通道灰度图像的特征图进行处理得到表征所述待处理图像中目标物体类别的特征图；

将所述待处理图像的特征图输入反卷积层中进行图像反卷积处理，以将所述特征图转换为与所述待处理图像分辨率相同，且将目标物体的类别标注出来的目标图像。

可选地，在本实施例中，所述计算机设备中存储有样本图像及与样本图像对应的参考图像，在将待处理图像输入到训练好的全卷积神经网络的细化层中对所述待处理图像的图像数据进行数据细化处理之前，所述方法还包括：对全卷积神经网络进行训练的步骤，该步骤包括：

将样本图像输入到待训练的全卷积神经网络中进行处理，以获得样本图像的第一目标图像；

计算所述第一目标图像与所述参考图像的损失函数值；

判断所述损失函数值是否大于预设值，若大于，则对所述全卷积神经网络中的网络参数进行调整；

再次将所述样本图像输入到调整后的全卷积网络中重复上述步骤，直到计算得到的损失函数值小于预设值，结束对全卷积神经网络的训练，得到训练好的全卷积神经网络。

可选地，在本实施例中，所述将待处理图像输入到训练好的全卷积神经网络的细化层中对所述待处理图像的图像数据进行数据细化处理，包括：

将待处理图像的图像数据的数据类型由整型扩展为浮点型。

可选地，在本实施例中，所述对所述全卷积神经网络中的网络参数进行调整，包括：

根据所述损失函数值对全卷积神经网络中的卷积核中的参数值进行调整。

可选地，在本实施例中，所述将所述三原色单通道灰度图像输入卷积层中进行图像卷积处理，得到三原色单通道灰度图像对应的用于表征所述待处理图像中目标物体类别的特征图，对三原色单通道灰度图像的特征图进行处理得到表征所述待处理图像中目标物体类别的特征图，包括：

通过卷积核对所述单通道灰度图像进行多次卷积得到多个卷积结果，对各个卷积结果进行修正及池化处理，以获得所述单通道灰度图像的特征图；

将各个单通道灰度图像的特征图进行叠加，以获得所述待处理图像的特征图。

第二方面，本发明实施例还提供一种基于全卷积神经网络的图像处理装置，应用于计算机设备，所述全卷积神经网络包括细化单元、卷积单元和反卷积单元，所述装置包括：

数据细化模块，用于将待处理图像输入到训练好的全卷积神经网络的细化层中对所述待处理图像的图像数据进行数据细化处理，并将数据细化处理后的所述待处理图像转换为三原色单通道灰度图像；

卷积模块，用于将所述三原色单通道灰度图像输入卷积层中进行图像卷积处理，得到三原色单通道灰度图像对应的用于表征所述待处理图像中目标物体类别的特征图，对三原色单通道灰度图像的特征图进行处理得到表征所述待处理图像中目标物体类别的特征图；

反卷积模块，用于将将所述待处理图像的特征图输入反卷积层中进行图像反卷积处理，以将所述特征图转换为与所述待处理图像分辨率相同，且将目标物体的类别标注出来的目标图像。

可选的，在本实施例中，所述装置还包括训练模块，用于对全卷积神经网络进行训练，所述训练模块具体用于：

将样本图像输入到待训练的全卷积神经网络中进行处理，以获得样本图像的第一目标图像；

计算所述第一目标图像与所述参考图像的损失函数值；

判断所述损失函数值是否大于预设值，若大于，则对所述全卷积神经网络中的网络参数进行调整；

再次将所述样本图像输入到调整后的全卷积网络中重复上述步骤，直到计算得到的损失函数值小于预设值，结束对全卷积神经网络的训练，得到训练好的全卷积神经网络。

可选地，在本实施例中，所述数据细化模块具体用于：

将待处理图像的图像数据的数据类型由整型扩展为浮点型。

可选地，在本实施例中，所述对所述全卷积神经网络中的网络参数进行调整，包括：

根据所述损失函数值对全卷积神经网络中的卷积核中的参数值进行调整。

可选的，在本实施例中，所述卷积模块具体用于：

通过卷积核对所述单通道灰度图像进行多次卷积得到多个卷积结果，对各个卷积结果进行修正及池化处理，以获得所述单通道灰度图像的特征图；

将各个单通道灰度图像的特征图进行叠加，以获得所述待处理图像的特征图。

相对于现有技术，本发明实施例具有以下有益效果：

本发明提供了一种基于全卷积神经网络的图像处理方法及装置，应用于计算机设备，方法包括：将待处理图像输入到训练好的全卷积神经网络的细化层中对图像数据进行数据细化处理，并将数据细化处理后的待处理图像转换为与三原色对应的三个单通道灰度图像；对与三原色对应的三个单通道灰度图像进行图像卷积处理，得到待处理图像的特征图；将待处理图像的特征图输入反卷积层中进行图像反卷积处理，以将特征图恢复为与待处理图像分辨率相同且将目标物体的类别标注出来的目标图像。数据细化使图像中每个像素点的像素值更加精确，在通过卷积进行特征提取时，可以提取到更多细节特征。将三通道图像转换为与三原色对应的单通道图像进行卷积与直接对三通道图像进行卷积相比能够减少图像特征的损失，从而使得最终的图像处理结果更加准确，可以很好的用于处理弱光照条件下的图像。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本申请是实施例提供的计算机设备100的结构示意图；

图2为本申请实施例提供的基于全卷积神经网络的图像处理方法的流程图；

图3为本申请实施例提供的示例图之一；

图4为本申请实施例提供的示例图之二；

图5为本申请实施例提供的卷积示例图；

图6为本申请实施例提供的步骤S120的子步骤流程图；

图7为本申请实施例提供的基于全卷积神经网络的图像处理装置的功能模块图。

图标：100-计算机设备；110-全卷积神经网络的图像处理装置；120-存储器；130-处理器；1101-数据细化模块；1102-卷积模块；1103-反卷积模块；1104-训练模块。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

请参照图1，图1是本申请是实施例提供的计算机设备100的结构示意图，该计算机设备100包括有处理器130、存储器120以及基于全卷积神经网络的图像处理装置110，所述存储器120与处理器130各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述基于全卷积神经网络的图像处理装置110包括至少一个可以软件或固件(firmware)的形式存储于所述存储器120中或固化在所述计算机设备100的操作系统(operatingsystem，OS)中的软件功能模块。所述处理器130用于执行所述存储器120中存储的可执行模块，例如所述基于全卷积神经网络的图像处理装置110所包括的软件功能模块及计算机程序等。

其中，所述存储器120可以是，但不限于，随机存取存储器(Random AccessMemory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。其中，存储器120用于存储程序，所述处理器130在接收到执行指令后，执行所述程序。

所述处理器130可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

请参照图2，图2为本申请实施例提供的基于全卷积神经网络的图像处理方法的流程图。所述方法应用于计算机设备100，所述全卷积神经网络包括数据细化层、卷积层和反卷积层，所述方法包括：

步骤S110，将待处理图像输入到训练好的全卷积神经网络的细化层中对待处理图像的图像数据进行数据细化处理，并将数据细化处理后的待处理图像转换为三原色单通道灰度图像。

训练完成后的全卷积神经网络可用于对图像进行分割处理，即对图像中物品的类别进行识别，并对各个物品进行分类显示，例如，识别出图像中的人物、车辆、动物等。值得说明的是，本实施例中训练完成后的全卷积神经网络可用于处理弱光照条件下的运动图像或运动模糊图像，从弱光照条件下的运动图像或运动模糊图像中识别出物体的轮廓，具体地，如何使全卷积神经网络具备上述功能，会在后续全卷积神经网络的训练过程中进行说明。

在本步骤中，将待处理图像输入到训练完成的全卷积神经网络的细化层中对待处理图像的图像数据进行细化，对图像的数据类型进行扩展，并将待处理图像由三通道图像转换为三原色单通道图像(R分量图像、G分量图像、B分量图像)。具体地，可以将图像的数据类型由整型(比如int8)数据类型扩展浮点型(比如float32或float64)，以使每个像素点的像素值由整型扩展为浮点型，从而细化待处理图像的图像数据，使得细化后的图像数据具有更加丰富的色彩饱和度，在通过卷积对图像进行特征提取时，能提取到更多的细节特征。同时，还可以将待处理图像的R分量图像、G分量图像、B分量图像分别转换为灰度图像以获得三个三原色单通道灰度图像，所述三个三原色单通道灰度图像是指分别与三原色对应的三个单通道灰度图像，例如R分量图像的单通道灰度图像等。将三通道的待处理图像转换为三个单通道的灰度图像进行卷积，与现有技术常用的直接将待处理图像转换为三通道灰度图像后对该三通道灰度图像进行卷积相比，能够减少图像特征信息的损失，同样也能使图像处理结果更加准确，从而很好的应用于对弱光照下的图像或运动模糊的图像进行处理。

可选地，在步骤S110之后，为了加速本实施例提供的神经网络的收敛，还需要对输入的图像数据进行归一化处理，使得图像每个像素点中的像素值取值范围在0到1之间。具体地，对图像数据执行均值方差的归一化处理。

步骤S120，将三原色单通道灰度图像输入卷积层中进行图像卷积处理，得到三原色单通道灰度图像对应的用于表征待处理图像中目标物体类别的特征图，对三原色单通道灰度图像的特征图进行处理得到表征待处理图像中目标物体类别的特征图。

在本步骤中，将步骤S110中获得的三原色单通道灰度图像输入到卷积层中分别进行图像卷积处理，从而分别获得三个单通道的特征图。卷积层对三个单通道灰度图像的特征图进行叠加处理以获得待处理图像的特征图。

所述特征图是指通过卷积核对图像进行卷积之后获得的由特征值组成的矩阵图。例如，请参照图3，图3为一个尺寸大小为9*9像素的二值化图像，当我们需要对图3进行处理时，事实上是对图3中各个像素点的像素值进行处理，图4示出了图3中图像的各个像素点的可能像素值。结合参照图5，图5中采用3*3大小的卷积核对图4中的图像进行一次卷积，卷积后生成7*7大小的特征图。首先将卷积核中的参数值分别与待处理图像中对应的像素点的像素值相乘，并将多个乘积加权求平均值作为此次卷积操作的一个输出值填入特征图中，然后将卷积核在待处理图像上按照预设步长滑动，从而获得多个输出值，将多个输出值依次填入构成此次卷积操作的输出的特征图。

值得说明的是，图3至图5仅为对卷积处理的举例说明，在其他实施例中，也可以是将多个乘积加权求和作为此次卷积操作的输出值，在此对卷积方式不作具体限定。

通常，全卷积神经网络中包含多个卷积层，优选地，本实施例提供的全卷积神经网络可以包含19个卷积层，每个卷积层包括多个卷积核。在经过多层的卷积操作之后，即可获得待处理图像的特征图，待处理图像的特征图的最终大小与卷积层数及卷积核数有关。

每个卷积核中的参数可以通过对全卷积神经网络进行训练确定，训练完成后的全卷积神经网络即可用于进行相应的图像处理。卷积核的通道数与待处理图像的通道数相同，在本实施例中均为3通道，其中，卷积核中参数的数据类型与输入的待处理图像的各个像素点的数据类型一致，比如为float32、float64或其他数据类型。

步骤S130，将待处理图像的特征图输入反卷积层中进行图像反卷积处理，以将特征图转换为与所述待处理图像分辨率相同，且将目标物体的类别标注出来的目标图像。

在本步骤中，当计算机设备对待处理图像进行了卷积操作后，获得了待处理图像的特征图之后，但此时待处理图像的图像尺寸已经缩小，为了得到与待处理图像的图像尺寸相同的图像，则需要对卷积单元输出的结果进行反卷积操作，以使图像恢复原图像大小，输出一个二值化的图像，并对图像中的物体进行显示。

请参照图6，图6为本申请实施例提供的对全卷积神经网络进行训练的流程图。在本实施例中，计算机设备中预先存储有大量的样本图像及与样本图像对应的参考图像，所述样本图像为照片，所述参考图像为对样本图像进行语义分割后的二值化图像。在步骤S110之前，所述基于全卷积神经网络的图像处理方法还包括对全卷积神经网络进行训练的步骤。具体为：

步骤S210，将样本图像输入到待训练的全卷积神经网络中进行处理，以获得样本图像的第一目标图像。

步骤S220，计算第一目标图像与参考图像的损失函数值。

步骤S230，判断损失函数值是否大于预设值。

步骤S240，若大于，则对全卷积神经网络中的网络参数进行调整。

步骤S250，再次将所述样本图像输入到调整后的全卷积网络中。重复上述步骤，直到计算得到的损失函数值小于预设值，结束对全卷积神经网络的训练，得到训练好的全卷积神经网络。

在上述步骤中，首先将样本图像输入到全卷积神经网络中，获得第一目标图像，此时由于全卷积神经网络并未被训练完成，因此输出的第一目标图像与参考图像之间存在着许多差异。通过损失函数值表示第一目标图像与参考图像之间的误差，并判断损失函数值是否大于预设值，若损失函数值不大于预设值，则表示第一目标图像与参考图像近似，此时训练完成；若损失函数值大于预设值，则将该损失函数值反馈至全卷积神经网络中，以使所述全卷积神经网络能够根据损失函数值自适应调整神经网络的网络参数。

将样本图像输入到网络参数更新后的全卷积神经网络中，再次输出一个图像，重复上述步骤，直到损失函数值小于预设值，即表示全卷积神经网络输出的图像与参考图像相差不大，此时训练完成。

可选的，在本实施例中，所述损失函数为加权交叉熵(weighted cross-entropy)损失函数或交叉熵损失函数。

交叉熵用于表征实际输出(概率)与期望输出(概率)的距离，即交叉熵的值越小，两个概率分布就越接近。假设概率分布p为期望输出，概率分布q为实际输出，H(p,q)为交叉熵，则交叉熵的公式具体为：

而加权交叉熵损失函数则是在交叉熵损失函数的公式中加入权重值ω，具体公式为：

其中，ω表示像素权重，p_i表示参考值集合(即期望输出值集合)；q_i表示全卷积神经网络的实际输出集合。

通过上述的损失函数计算全卷积神经网络的输出值与参考值的误差，从而将误差反馈至网络中，对神经网络进行训练。

可选的，在本实施例中，所述对所述全卷积神经网络中的网络参数进行调整是指根据所述损失函数值对全卷积神经网络中的卷积核中的参数值进行调整。

在全卷积神经网络中，每个卷积层的卷积核个数有很多，对神经网络训练的过程就是对卷积核中的参数进行调整的过程，使得调整之后的卷积核使全卷积神经网络的输出图像更加接近于参考图像。

可选的，步骤S110中的所述将待处理图像输入到训练好的全卷积神经网络的细化层中对所述待处理图像的图像数据进行数据细化处理，包括：将待处理图像的图像数据的数据类型由整型扩展为浮点型。

将数据类型由整型扩展为浮点型之后，图像中每个像素点的像素值由整型变为浮点型，数据更加精确，因此卷积和反卷积之后的图像中的数据更加丰富，从而使得最终的图像处理结果更加准确，可以很好的用于处理弱光照条件下的图像。

可选的，步骤S120中的：将所述单通道灰度图像输入卷积单元中进行图像卷积操作，并对单通道灰度图像的卷积结果进行处理以获得所述待处理图像的特征图，具体为：通过卷积核对所述单通道灰度图像进行多次卷积得到多个卷积结果，对各个卷积结果进行修正及池化处理，以获得所述单通道灰度图像的特征图；将各个单通道灰度图像的特征图进行叠加，获得所述待处理图像的特征图。

卷积核一般为3x3像素的算子或5x5像素的算子，优选的，在本实施例中，采用3x3像素大小的卷积核，卷积核的每个像素中包含有一个像素值。通过该卷积核并按照预设步长对待处理图像进行图像卷积，即可获得待处理图像的特征图。不同的卷积核可以提取不同的特征。

具体的，将卷积核在待处理图像上按照预设步长进行滑动，将卷积核的每个像素值与待处理图像中对应的像素值相乘，并将多个乘积相加作为新的像素值填入特征图中。

由于在对待处理图像进行卷积操作之前，对待处理图像的图像数据进行了细化和增强，因此，在进行卷积操作时，能够获得待处理图像更多的细节数据，从而使最终的图像处理结果更加准确。

在本实施例的卷积操作中，采用3x3像素大小的卷积核对待处理图像进行卷积操作，在每次卷积操作后都采用线性纠正单元(ReLU)对卷积结果进行修正，以筛选出结果中满足要求的值。

ReLU的公式为f(x)＝max(0,x)，在进行特征提取(卷积处理)时，为了使得数据更少，操作更方便，就直接舍弃掉那些不相关联的数据，即将小于0的值填充为0，大于0的值保留。

在卷积操作后，获得了许多有着不同值的特征图，尽管数据量比原始图像少了很多，但数据量还是很大，因此需要通过池化操作减少数据量。池化操作包括最大值池化及平均值池化。优选的，在本实施例中，池化窗口为2x2像素大小，步长与卷积操作的步长一致。

值得说明的是，在本申请中既可以选用最大值池化也可以采用平均值池化，在此对池化操作的类型不作限定。

最大值池化是指在池化窗口内选择最大值填入新的特征图中，按照预设的步长滑动池化窗口，以将整个特征图中的数值全部更新，从而获得一张数据量更小的特征图，以减小后续的数据处理量。

平均值池化是指对池化窗口内的所有值求平均之后将平均值填入新的特征图中，按照预设的步长滑动池化窗口，以将整个特征图中的数值全部更新，从而获得一张数据量更小的特征图，以减小后续的数据处理量。

为了对本实施例提供的图像处理方法的处理结果进行评估，采用了基于Interaction-over-Union(IoU)的准确度度量方法进行评估，具体公式如下：

其中，

是指参考图像与网络的输出图像的交叉区域，

是指参考图像与网络的输出图像的区域的并集，N为图像中的类别数目。MIoU的值越大，则表示本实施例提供的网络输出的图像越接近参考图像，处理结果越准确。

同时，经过大量的实验证明，本实施例提供的方案与现有技术提供的FCN-8S网络相比，处理图像时的运行时间相差不大，均为0.07秒左右。具体的实验结果可参照下表。

如上表所示，在LII(Low Illumination Images)测试数据集上的平均准确度为91.18％，在表3提供的方法中达到了最高值，且运行时间也没有增加。

请参照图7，图7为本申请实施例提供的基于全卷积神经网络的图像处理装置的功能模块图，应用于计算机设备100，所述全卷积神经网络包括细化单元、卷积单元和反卷积单元，所述全卷积神经网络的图像处理装置110包括：

数据细化模块1101，用于将待处理图像输入到训练好的全卷积神经网络的细化层中对所述待处理图像的图像数据进行数据细化处理，并将数据细化处理后的所述待处理图像转换为三原色单通道灰度图像。

卷积模块1102，用于将所述三原色单通道灰度图像输入卷积层中进行图像卷积处理，得到三原色单通道灰度图像对应的用于表征所述待处理图像中目标物体类别的特征图，对三原色单通道灰度图像的特征图进行处理得到表征所述待处理图像中目标物体类别的特征图。

反卷积模块1103，用于将将所述待处理图像的特征图输入反卷积层中进行图像反卷积处理，以将所述特征图转换为与所述待处理图像分辨率相同，且将目标物体的类别标注出来的目标图像。

在本实施例中，全卷积神经网络图像处理装置110还包括训练模块1104，用于对全卷积神经网络进行训练，所述训练模块1104具体用于：

将样本图像输入到待训练的全卷积神经网络中进行处理，以获得样本图像的第一目标图像；

计算所述第一目标图像与所述参考图像的损失函数值；

判断所述损失函数值是否大于预设值，若大于，则对所述全卷积神经网络中的网络参数进行调整；

再次将所述样本图像输入到调整后的全卷积网络中重复上述步骤，直到计算得到的损失函数值小于预设值，结束对全卷积神经网络的训练，得到训练好的全卷积神经网络。

在本实施例中，所述数据细化模块1101具体用于：将待处理图像的图像数据的数据类型由整型扩展为浮点型。

可选的，在本实施例中，所述对所述全卷积神经网络中的网络参数进行调整，包括：根据所述损失函数值对全卷积神经网络中的卷积核中的参数值进行调整。

可选的，在本实施例中，所述卷积模块1102具体用于：通过预设的卷积核对所述单通道灰度图像进行多次卷积，以获得所述待处理图像的特征图；每次卷积后均采用线性修正单元对卷积操作的输出结果进行修正；对所述线性修正单元的输出结果进行池化操作，以减少所述特征图的数据量。

可以理解的是，本实施例中的各功能模块的具体操作方法可参阅上述方法实施例中相应步骤的详细描述，在此不再重复赘述。

综上所述，本发明提供了一种基于全卷积神经网络的图像处理方法及装置，应用于计算机设备，方法包括：将待处理图像输入到训练好的全卷积神经网络的细化层中对图像数据进行数据细化处理，并将数据细化处理后的待处理图像转换为与三原色对应的单通道灰度图像；对与三原色对应的单通道灰度图像进行图像卷积处理，得到待处理图像的特征图；将待处理图像的特征图输入反卷积层中进行图像反卷积处理，以将特征图恢复为与待处理图像分辨率相同且将目标物体的类别标注出来的目标图像。由于数据细化后的图像中每个像素点的像素值更加精确，因此通过卷积对图像进行特征提取时，能够提取到更多的细节特征。将三通道图像转换为与三原色对应的三个单通道图像进行卷积处理与直接对三通道图像进行卷积处理相比能够减少图像特征的损失，从而使得最终的图像处理结果更加准确，可以很好的用于处理弱光照条件下的图像。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于全卷积神经网络的图像处理方法，其特征在于，应用于计算机设备，所述全卷积神经网络包括数据细化层、卷积层和反卷积层，所述方法包括：

将待处理图像输入到训练好的全卷积神经网络的细化层中对所述待处理图像的图像数据进行数据细化处理，并将数据细化处理后的所述待处理图像转换为三个三原色单通道灰度图像；

将各所述三原色单通道灰度图像输入卷积层中进行图像卷积处理，得到各所述三原色单通道灰度图像对应的用于表征所述待处理图像中目标物体类别的特征图，对各所述三原色单通道灰度图像的特征图进行处理得到一个处理后的表征所述待处理图像中目标物体类别的特征图；

将所述处理后的表征所述待处理图像中目标物体类别的特征图输入反卷积层中进行图像反卷积处理，以将所述待处理图像中目标物体类别的特征图转换为与所述待处理图像分辨率相同，且将目标物体的类别标注出来的目标图像。

2.根据权利要求1所述的方法，其特征在于，所述计算机设备中存储有样本图像及与样本图像对应的参考图像，在将待处理图像输入到训练好的全卷积神经网络的细化层中对所述待处理图像的图像数据进行数据细化处理之前，所述方法还包括：对全卷积神经网络进行训练的步骤，该步骤包括：

将样本图像输入到待训练的全卷积神经网络中进行处理，以获得样本图像的第一目标图像；

计算所述第一目标图像与所述参考图像的损失函数值；

判断所述损失函数值是否大于预设值，若大于，则对所述全卷积神经网络中的网络参数进行调整；

再次将所述样本图像输入到调整后的全卷积神经网络中进行处理，以获得所述样本图像的新的目标图像，计算所述新的目标图像与所述参考图像的损失函数值，直到计算得到的损失函数值小于预设值，结束对全卷积神经网络的训练，得到训练好的全卷积神经网络。

3.根据权利要求1所述的方法，其特征在于，所述将待处理图像输入到训练好的全卷积神经网络的细化层中对所述待处理图像的图像数据进行数据细化处理，包括：

将待处理图像的图像数据的数据类型由整型扩展为浮点型。

4.根据权利要求2所述的方法，其特征在于，所述对所述全卷积神经网络中的网络参数进行调整，包括：

根据所述损失函数值对全卷积神经网络中的卷积核中的参数值进行调整。

5.根据权利要求1所述的方法，其特征在于，所述将各所述三原色单通道灰度图像输入卷积层中进行图像卷积处理，得到各所述三原色单通道灰度图像对应的用于表征所述待处理图像中目标物体类别的特征图，对各所述三原色单通道灰度图像的特征图进行处理得到一个处理后的表征所述待处理图像中目标物体类别的特征图，包括：

通过卷积核对各所述三原色单通道灰度图像进行多次卷积得到多个卷积结果，对各个卷积结果进行修正及池化处理，以获得各所述三原色单通道灰度图像的特征图；

将各所述三原色单通道灰度图像的特征图进行叠加，以获得处理后的表征所述待处理图像中目标物体类别的特征图。

6.一种基于全卷积神经网络的图像处理装置，其特征在于，应用于计算机设备，所述全卷积神经网络包括细化层、卷积层和反卷积层，所述装置包括：

数据细化模块，用于将待处理图像输入到训练好的全卷积神经网络的细化层中对所述待处理图像的图像数据进行数据细化处理，并将数据细化处理后的所述待处理图像转换为三个三原色单通道灰度图像；

卷积模块，用于将各所述三原色单通道灰度图像输入卷积层中进行图像卷积处理，得到各所述三原色单通道灰度图像对应的用于表征所述待处理图像中目标物体类别的特征图，对各所述三原色单通道灰度图像的特征图进行处理得到一个处理后的表征所述待处理图像中目标物体类别的特征图；

反卷积模块，用于将所述处理后的表征所述待处理图像中目标物体类别的特征图输入反卷积层中进行图像反卷积处理，以将所述待处理图像中目标物体类别的特征图转换为与所述待处理图像分辨率相同，且将目标物体的类别标注出来的目标图像。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括训练模块，用于对全卷积神经网络进行训练，所述训练模块具体用于：

将样本图像输入到待训练的全卷积神经网络中进行处理，以获得样本图像的第一目标图像；

计算所述第一目标图像与参考图像的损失函数值；

判断所述损失函数值是否大于预设值，若大于，则对所述全卷积神经网络中的网络参数进行调整；

再次将所述样本图像输入到调整后的全卷积神经网络中进行处理，以获得所述样本图像的新的目标图像，计算所述新的目标图像与所述参考图像的损失函数值，直到计算得到的损失函数值小于预设值，结束对全卷积神经网络的训练，得到训练好的全卷积神经网络。

8.根据权利要求6所述的装置，其特征在于，所述数据细化模块具体用于：

将待处理图像的图像数据的数据类型由整型扩展为浮点型。

9.根据权利要求7所述的装置，其特征在于，所述对所述全卷积神经网络中的网络参数进行调整，包括：

根据所述损失函数值对全卷积神经网络中的卷积核中的参数值进行调整。

10.根据权利要求6所述的装置，其特征在于，所述卷积模块具体用于：

通过卷积核对各所述三原色单通道灰度图像进行多次卷积得到多个卷积结果，对各个卷积结果进行修正及池化处理，以获得各所述三原色单通道灰度图像的特征图；

将各所述三原色单通道灰度图像的特征图进行叠加，以获得处理后的表征所述待处理图像中目标物体类别的特征图。

Images