CN111626370B - 基于神经网络的镂空识别方法及装置、存储介质、终端 - Google Patents

Abstract

一种基于神经网络的镂空识别方法及装置、存储介质、终端，所述方法包括：提供训练集以及测试集，所述训练集中包含有多张含有镂空的镂空训练图片以及多张不含有镂空的无镂空训练图片，所述测试集中包含有多张测试图片；将每张镂空训练图片分割为多块镂空图片块，以及将每张无镂空训练图片分割为多块无镂空图片块；基于所述镂空图片块以及无镂空图片块，训练神经网络模型；采用所述神经网络模型对所述测试图片进行镂空识别测试；其中，所述神经网络模型包括卷积层、池化层、激活层以及1×N输出层。本发明可以提高识别的准确性和效率，降低识别成本。

Description

基于神经网络的镂空识别方法及装置、存储介质、终端

技术领域

本发明涉及图像处理领域，尤其涉及一种基于神经网络的镂空识别方法及装置、存储介质、终端。

背景技术

目前主流手机均具备模拟背景虚化的人像模式，其核心步骤是通过主/副摄像头来获取景深信息，通过景深来实现虚化的渐变性，最终达到DSLR相机光学背景虚化的效果。然而，由于场景的复杂性和当前双摄技术的限制，人像虚化照片中常出现镂空问题，即在人体的边缘附近的背景应该被虚化却没有生效的现象，这种情况会极大影响图像质量的效果，降低用户体验。

在当前现有的检测方案中，需要测试人员按照测试的场景手工的评估镂空的严重性，该方法存在成本高、准确性低的问题，难以满足需求。

亟需一种基于神经网络的镂空识别方法，可以降低识别成本、提高镂空识别的准确性。

发明内容

本发明解决的技术问题是提供一种基于神经网络的镂空识别方法及装置、存储介质、终端，可以自动对图像的不同区域进行细致而全面的分析评估，筛选出存在镂空问题的区域，有效提高识别的准确性和效率，降低识别成本。

为解决上述技术问题，本发明实施例提供一种基于神经网络的镂空识别方法，包括以下步骤：提供训练集以及测试集，所述训练集中包含有多张含有镂空的镂空训练图片以及多张不含有镂空的无镂空训练图片，所述测试集中包含有多张测试图片；将每张镂空训练图片分割为多块镂空图片块，以及将每张无镂空训练图片分割为多块无镂空图片块；基于所述镂空图片块以及无镂空图片块，训练神经网络模型；采用所述神经网络模型对所述测试图片进行镂空识别测试；其中，所述神经网络模型包括卷积层、池化层、激活层以及1×N输出层。

可选的，采用所述神经网络模型对所述测试图片进行镂空识别测试包括：对每张测试图片进行分割，以得到多块测试图片块；采用所述神经网络模型，对每块测试图片块进行评估，并经由所述1×N输出层得到每块测试图片块的N个输出值；采用预设的权重值对所述N个输出值进行加权运算，以得到每块测试图片块的镂空识别评估分数。

可选的，所述的基于神经网络的镂空识别方法还包括：依照各块测试图片块在所属的测试图片中的位置，在所属的测试图片上标注各块测试图片块的镂空识别评估分数。

可选的，所述的基于神经网络的镂空识别方法还包括：确定每张测试图片的镂空率以及镂空分布。

可选的，对每张测试图片进行分割，以得到多块测试图片块包括：对每张测试图片进行分割，以得到多块初始分割测试图片块；对所述初始分割测试图片块进行图像预处理，以得到所述多块测试图片块。

可选的，对所述初始分割测试图片块进行图像预处理选自以下一项或多项：对所述初始分割测试图片块进行色彩调整预处理，以调整色度至原色度的-30％～30％范围内，和/或，对所述初始分割测试图片块进行饱和度调整预处理，以调整饱和度至原饱和度的-30％～30％范围内；对所述初始分割测试图片块进行旋转角度预处理，以调整旋转角度至原旋转角度的-180％～180％范围内，和/或，对所述初始分割测试图片块的尺寸进行尺寸调整预处理，以调整各条边的边长至原对应的边长的-20％～20％范围内；对所述初始分割测试图片块进行白噪点添加预处理，以添加白噪点至白噪声标准差为12％。

可选的，基于所述镂空图片块以及无镂空图片块，训练神经网络模型包括：对所述镂空图片块以及无镂空图片块进行图像预处理，以得到镂空预处理图像块以及无镂空预处理图像块；将所述镂空预处理图像块以及无镂空预处理图像块拉伸成一维数组，作为输入数据，训练所述神经网络模型。

可选的，对所述初始分割测试图片块进行图像预处理的处理参数的取值范围大于对所述镂空图片块以及无镂空图片块进行图像预处理的处理参数的取值范围。

可选的，对所述镂空图片块以及无镂空图片块进行图像预处理选自以下一项或多项：对所述镂空图片块以及无镂空图片块进行色彩调整预处理，以调整色度至原色度的-15％～15％范围内，和/或，对所述镂空图片块以及无镂空图片块进行饱和度调整预处理，以调整饱和度至原饱和度的-15％～15％范围内；对所述镂空图片块以及无镂空图片块进行旋转角度预处理，以调整旋转角度至原旋转角度的-150％～150％范围内，和/或，对所述镂空图片块以及无镂空图片块的尺寸进行尺寸调整预处理，以调整各条边的边长至原对应的边长的-10％～10％范围内；对所述镂空图片块以及无镂空图片块进行白噪点添加预处理，以添加白噪点至白噪声标准差为8％。

可选的，在采用所述神经网络模型对所述测试图片进行镂空识别测试之前，所述的基于神经网络的镂空识别方法还包括：提供验证集，所述验证集中包含有多张含有镂空的镂空验证图片以及多张不含有镂空的无镂空验证图片；基于所述镂空验证图片以及无镂空验证图片，对所述神经网络模型进行验证。

可选的，所述提供训练集以及测试集包括：提供多张含有镂空的图片以及多张不含有镂空的图片；采用第一预设比例，将所述含有镂空的图片以及不含有镂空的图片分割为训练集、验证集，其中，训练集中的含有镂空的图片数量大于验证集中的含有镂空的图片数量，且训练集中的不含有镂空的图片数量大于验证集中的不含有镂空的图片数量；提供多张镂空结果未知的测试图片；采用第二预设比例，将所述含有镂空的图片以及不含有镂空的图片分割为测试集；其中，所述第一预设比例与所述第二预设比例相等或不等。

为解决上述技术问题，本发明实施例提供一种基于神经网络的镂空识别装置，包括：提供模块，用于提供训练集以及测试集，所述训练集中包含有多张含有镂空的镂空训练图片以及多张不含有镂空的无镂空训练图片，所述测试集中包含有多张测试图片；分割模块，用于将每张镂空训练图片分割为多块镂空图片块，以及将每张无镂空训练图片分割为多块无镂空图片块；训练模块，用于基于所述镂空图片块以及无镂空图片块，训练神经网络模型；测试模块，用于采用所述神经网络模型对所述测试图片进行镂空识别测试；其中，所述神经网络模型包括卷积层、池化层、激活层以及1×N输出层。

为解决上述技术问题，本发明实施例提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述基于神经网络的镂空识别方法的步骤。

为解决上述技术问题，本发明实施例提供一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述基于神经网络的镂空识别方法的步骤。

与现有技术相比，本发明实施例的技术方案具有以下有益效果：

在本发明实施例中，通过将每张镂空训练图片分割为多块镂空图片块，以及将每张无镂空训练图片分割为多块无镂空图片块，并基于所述镂空图片块以及无镂空图片块，训练神经网络模型，相比于现有的人工识别的方法，能够自动对图像的不同区域进行细致而全面的分析评估，筛选出存在镂空问题的区域，有效提高识别的准确性和效率，降低识别成本。进一步地，所述神经网络模型包括1×N输出层，而不包括全连接输出层，也即采用1×N输出层代替常规的神经网络模型的全连接输出层，有利于模拟人类对图像镂空情况评分的离散概率分布，相当于其中每一个输出对应分数概率分布曲线中的一个离散概率值，相比于常规的神经网络模型，可以进一步更具有针对性，更好地实现镂空识别，提高识别准确性。

进一步，采用所述神经网络模型，得到每块测试图片的N个输出值，并采用预设的权重值对所述N个输出值进行加权运算，以得到每块测试图片块的镂空识别评估分数，从而可以将镂空识别结构以易于分辨的形式更加直观地标注出来，有机会加以统计分析后最终输出镂空的严重程度指标。

进一步，通过设置对所述初始分割测试图片块进行图像预处理，以得到所述多块测试图片块的步骤，以及设置对所述镂空图片块以及无镂空图片块进行图像预处理，以得到镂空预处理图像块以及无镂空预处理图像块的步骤，且对所述初始分割测试图片块进行图像预处理的处理参数的取值范围大于对所述镂空图片块以及无镂空图片块进行图像预处理的处理参数的取值范围，可以使得与模型训练阶段相比，在检测阶段对图像预处理的参数限制更低，条件更为放宽，有助于加强鲁棒性与适应性。

进一步，通过提供验证集，并基于所述镂空验证图片以及无镂空验证图片，对所述神经网络模型进行验证，可以基于验证集中的图片对神经网络模型的精度进行计算，如果未能达到预期目标就继续训练，直至达到预期目标，从而可以提高神经网络模型的准确性和有效性，进而在后续测试过程中，提高测试的准确性。

附图说明

图1是本发明实施例中一种基于神经网络的镂空识别方法的流程图；

图2是图1中步骤S11的一种具体实施方式的流程图；

图3是图1中步骤S14的一种具体实施方式的流程图；

图4是图1中步骤S14的另一种具体实施方式的部分流程图；

图5是本发明实施例中一种基于神经网络的镂空识别装置的结构示意图。

具体实施方式

如前所述，对于人像虚化照片中常出现镂空问题，即在人体的边缘附近的背景应该被虚化却没有生效的现象，在现有的检测方案中，需要测试人员按照测试的场景手工的评估镂空的严重性，该方法存在成本高、准确性低的问题，难以满足需求。

本发明的发明人经过研究发现，在现有的人工检测方法中，检测结果的主观性较强，因而不具备稳定的可重复性，特别在一些镂空现象不太明显的区域更是如此；且人工检测需要耗费大量的人力和时间；在复杂场景下拍摄的图片中，人工识别往往会漏掉很多小尺寸或不太明显的镂空区域；人工识别难以全面评估一张照片的镂空程度，更难以量化输出。

在本发明实施例中，通过将每张镂空训练图片分割为多块镂空图片块，以及将每张无镂空训练图片分割为多块无镂空图片块，并基于所述镂空图片块以及无镂空图片块，训练神经网络模型，相比于现有的人工识别的方法，能够自动对图像的不同区域进行细致而全面的分析评估，筛选出存在镂空问题的区域，有效提高识别的准确性和效率，降低识别成本。进一步地，所述神经网络模型包括1×N输出层，而不包括全连接输出层，也即采用1×N输出层代替常规的神经网络模型的全连接输出层，有利于模拟人类对图像镂空情况评分的离散概率分布，相当于其中每一个输出对应分数概率分布曲线中的一个离散概率值，相比于常规的神经网络模型，可以进一步更具有针对性，更好地实现镂空识别，提高识别准确性。

为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

参照图1，图1是本发明实施例中一种基于神经网络的镂空识别方法的流程图。所述基于神经网络的镂空识别方法可以包括步骤S11至步骤S14：

步骤S11：提供训练集以及测试集，所述训练集中包含有多张含有镂空的镂空训练图片以及多张不含有镂空的无镂空训练图片，所述测试集中包含有多张测试图片；

步骤S12：将每张镂空训练图片分割为多块镂空图片块，以及将每张无镂空训练图片分割为多块无镂空图片块；

步骤S13：基于所述镂空图片块以及无镂空图片块，训练神经网络模型；

步骤S14：采用所述神经网络模型对所述测试图片进行镂空识别测试。

其中，所述神经网络模型包括卷积层、池化层、激活层以及1×N输出层。

在步骤S11的具体实施中，可以提供训练集，所述训练集中的图片可以用于训练所述神经网络模型；还可以提供测试集，所述测试集中的图片可以用于进行镂空识别测试。

在本发明实施例的一种具体实施方式中，还可以提供验证集，所述验证集中的图片可以在训练得到所述神经网络模型后，用于对所述神经网络模型进行验证。

进一步地，在采用所述神经网络模型对所述测试图片进行镂空识别测试之前，所述的基于神经网络的镂空识别方法还可以包括：提供验证集，所述验证集中包含有多张含有镂空的镂空验证图片以及多张不含有镂空的无镂空验证图片；基于所述镂空验证图片以及无镂空验证图片，对所述神经网络模型进行验证。

在本发明实施例中，通过提供验证集，并基于所述镂空验证图片以及无镂空验证图片，对所述神经网络模型进行验证，可以基于验证集中的图片对神经网络模型的精度进行计算，如果未能达到预期目标就继续训练，直至达到预期目标，从而可以提高神经网络模型的准确性和有效性，进而在后续测试过程中，提高测试的准确性。

在本发明实施例的另一种具体实施方式中，可以预先准备多张镂空状态已知的图片，以及多张镂空状态未知的图片，并采用预设的比例，将图片分成训练集、验证集、测试集。

参照图2，图2是图1中步骤S11的一种具体实施方式的流程图。所述提供训练集以及测试集的步骤可以包括步骤S21至步骤S24，以下对各个步骤进行说明。

在步骤S21中，提供多张含有镂空的图片以及多张不含有镂空的图片；

在步骤S22中，采用第一预设比例，将所述含有镂空的图片以及不含有镂空的图片分割为训练集、验证集，其中，训练集中的含有镂空的图片数量大于验证集中的含有镂空的图片数量，且训练集中的不含有镂空的图片数量大于验证集中的不含有镂空的图片数量；

在步骤S23中，提供多张镂空结果未知的测试图片；

在步骤S24中，采用第二预设比例，将所述含有镂空的图片以及不含有镂空的图片分割为测试集，其中，所述第一预设比例与所述第二预设比例相等或不等。

在本发明实施例中，通过设置训练集中的含有镂空的图片数量大于验证集中的含有镂空的图片数量，且训练集中的不含有镂空的图片数量大于验证集中的不含有镂空的图片数量，可以采用大量已知镂空情况的图像进行训练模型，采用少量已知镂空情况的图像进行模型效果验证，有助于进一步提高神经网络模型的准确性和有效性，进而在后续测试过程中，提高测试的准确性。

更近一步地，所述第一预设比例与所述第二预设比例均可以为1:1，从而有助于减少训练集、验证集、测试集中数据整理的运算量，提高整理效率。

继续参照图1，在步骤S12的具体实施中，将每张镂空训练图片分割为多块镂空图片块，以及将每张无镂空训练图片分割为多块无镂空图片块。

需要指出的是，所述分割块数不应当过多，否则容易导致训练效率过低；所述分割块数不应当过少，否则容易导致训练精度较低、准确性较差。

作为一个非限制性例子，可以设置每张镂空训练图片以及每张无镂空训练图片的分割块数为1万块至25万块之间，例如在100×100块与500×500块之间取值。在一个具体实施例中，可以设置为分割200×200块。

在步骤S13的具体实施中，基于所述镂空图片块以及无镂空图片块，训练神经网络模型。

其中，所述神经网络模型包括卷积层、池化层、激活层以及1×N输出层，例如可以是依据堆叠(inception)v3而构建的，则所述神经网络模型还可以包括inception特有的并联inception结构。

需要指出的是，本申请采用1×N输出层代替全连接输出层，也即没有全连接输出层。

其中，卷积神经网络由一个或多个卷积层和顶端的全连通层(对应经典的神经网络)组成，同时也包括关联权重和池化层(pooling layer)。这一结构使得卷积神经网络能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网络在图像和语音识别方面能够给出更好的结果。

具体地，在卷积神经网络模型中，每层卷积层(Convolutional layer)可以由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法最佳化得到的。卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网路能从低级特征中迭代提取更复杂的特征。

池化(Pooling)是卷积神经网络中另一个重要的概念，它实际上是一种形式的降采样。有多种不同形式的非线性池化函数，而其中“最大池化(Max pooling)”是最为常见的。它是将输入的图像划分为若干个矩形区域，对每个子区域输出最大值。直觉上，这种机制能够有效地原因在于，在发现一个特征之后，它的精确位置远不及它和其他特征的相对位置的关系重要。池化层(Pooling Layer)会不断地减小数据的空间大小，因此参数的数量和计算量也会下降，这在一定程度上也控制了过拟合。通常来说，卷积神经网络的卷积层之间都会周期性地插入池化层。

激活层(Activation Layer，又称为激活函数)通常在卷积层之后，还可以在池化层之后，部分使用预激活(pre-activation)技术的算法还可以将激励函数置于卷积核之前。所述激活层的作用在于向神经网络加入一些非线性因素，使得神经网络可以更好地解决较为复杂的问题。

需要指出的是，在现有技术中，卷积神经网络中的全连接层等价于传统前馈神经网络中的隐含层。全连接层位于卷积神经网络隐含层的最后部分，并只向其它全连接层传递信号。特征图在全连接层中会失去空间拓扑结构，被展开为向量并通过激励函数。

然而在本发明实施例中，采用1×N输出层代替全连接输出层。

根据镂空识别评估任务的特殊性，将后端的全连接输出层针对性的改造为1xN的输出层，以模拟人类对图像镂空情况评分的离散概率分布，其中每一个输出对应分数概率分布曲线中的一个离散概率值。最终的评估分数由N个输出值按概率加权算出。

需要指出的是，N不能设置过小，否则容易导致多个不同评分之间的差异过小，不能有效体现镂空情况；N不能设置过大，否则容易导致所述神经网络模型的训练效率较低，难以满足需求。

作为一个非限制性的例子，可以设置N为8至12，例如为10。

在本发明实施例的一种具体实施方式中，可以直接基于所述镂空图片块以及无镂空图片块生成输入数据，训练神经网络模型；在本发明实施例的另一种具体实施方式中，还可以在对所述镂空图片块以及无镂空图片块进行图像预处理后，再生成输入数据，训练神经网络模型。

参照图3，图3是图1中步骤S14的一种具体实施方式的流程图。所述基于所述镂空图片块以及无镂空图片块，训练神经网络模型的步骤可以包括步骤S31至步骤S32，以下对各个步骤进行说明。

在步骤S31中，对所述镂空图片块以及无镂空图片块进行图像预处理，以得到镂空预处理图像块以及无镂空预处理图像块。

进一步地，对所述镂空图片块以及无镂空图片块进行图像预处理的步骤可以选自以下一项或多项：对所述镂空图片块以及无镂空图片块进行色彩调整预处理，以调整色度至原色度的-15％～15％范围内，和/或，对所述镂空图片块以及无镂空图片块进行饱和度调整预处理，以调整饱和度至原饱和度的-15％～15％范围内；对所述镂空图片块以及无镂空图片块进行旋转角度预处理，以调整旋转角度至原旋转角度的-150％～150％范围内，和/或，对所述镂空图片块以及无镂空图片块的尺寸进行尺寸调整预处理，以调整各条边的边长至原对应的边长的-10％～10％范围内；对所述镂空图片块以及无镂空图片块进行白噪点添加预处理，以添加白噪点至白噪声标准差为8％。

其中，所述镂空图片块以及无镂空图片块的尺寸用于指示图片块的大小，可以采用图片块的单边边长进行指示，可以理解的是，还可以采用图片块的面积进行指示。

在步骤S32中，将所述镂空预处理图像块以及无镂空预处理图像块拉伸成一维数组，作为输入数据，训练所述神经网络模型。

在本发明实施例中，通过设置色彩、饱和度、旋转角度、尺寸、白噪点添加等方式的预处理步骤，可以提高图片块的质量和一致性，有助于提高神经网络模型的准确性。

继续参照图1，在步骤S14的具体实施中，采用所述神经网络模型对所述测试图片进行镂空识别测试。

参照图4，图4是图1中步骤S14的另一种具体实施方式的部分流程图。所述采用所述神经网络模型对所述测试图片进行镂空识别测试的步骤可以包括步骤S41至步骤S43，以下对各个步骤进行说明。

在步骤S41中，对每张测试图片进行分割，以得到多块测试图片块。

进一步地，对每张测试图片进行分割，以得到多块测试图片块的步骤可以包括：对每张测试图片进行分割，以得到多块初始分割测试图片块；对所述初始分割测试图片块进行图像预处理，以得到所述多块测试图片块。

需要指出的是，所述分割块数不应当过多，否则容易导致训练效率过低；所述分割块数不应当过少，否则容易导致训练精度较低、准确性较差。

作为一个非限制性例子，可以设置每张镂空训练图片以及每张无镂空训练图片的分割块数为1万块至25万块之间，例如在100×100块与500×500块之间取值。在一个具体实施例中，可以设置为分割200×200块。

更进一步地，对所述初始分割测试图片块进行图像预处理的步骤可以选自以下一项或多项：对所述初始分割测试图片块进行色彩调整预处理，以调整色度至原色度的-30％～30％范围内，和/或，对所述初始分割测试图片块进行饱和度调整预处理，以调整饱和度至原饱和度的-30％～30％范围内；对所述初始分割测试图片块进行旋转角度预处理，以调整旋转角度至原旋转角度的-180％～180％范围内，和/或，对所述初始分割测试图片块的尺寸进行尺寸调整预处理，以调整各条边的边长至原对应的边长的-20％～20％范围内；对所述初始分割测试图片块进行白噪点添加预处理，以添加白噪点至白噪声标准差为12％。

其中，所述镂空图片块以及无镂空图片块的尺寸用于指示图片块的大小，可以采用图片块的单边边长进行指示，可以理解的是，还可以采用图片块的面积进行指示。

在本发明实施例中，通过设置色彩、饱和度、旋转角度、尺寸、白噪点添加等方式的预处理步骤，可以提高图片块的质量和一致性，有助于提高神经网络模型的准确性。

需要指出的是，对所述初始分割测试图片块进行图像预处理的处理参数的取值范围可以大于对所述镂空图片块以及无镂空图片块进行图像预处理的处理参数的取值范围。

在本发明实施例中，通过设置对所述初始分割测试图片块进行图像预处理，以得到所述多块测试图片块的步骤，以及设置对所述镂空图片块以及无镂空图片块进行图像预处理，以得到镂空预处理图像块以及无镂空预处理图像块的步骤，且对所述初始分割测试图片块进行图像预处理的处理参数的取值范围大于对所述镂空图片块以及无镂空图片块进行图像预处理的处理参数的取值范围，可以使得与模型训练阶段相比，在检测阶段对图像预处理的参数限制更低，条件更为放宽，有助于加强鲁棒性与适应性。

在步骤S42中，采用所述神经网络模型，对每块测试图片块进行评估，并经由所述1×N输出层得到每块测试图片块的N个输出值。

在步骤S43中，采用预设的权重值对所述N个输出值进行加权运算，以得到每块测试图片块的镂空识别评估分数。

在本发明实施例中，采用所述神经网络模型，得到每块测试图片的N个输出值，并采用预设的权重值对所述N个输出值进行加权运算，以得到每块测试图片块的镂空识别评估分数，从而可以将镂空识别结构以易于分辨的形式更加直观地标注出来，有机会加以统计分析后最终输出镂空的严重程度指标。

进一步地，所述的基于神经网络的镂空识别方法还可以包括：依照各块测试图片块在所属的测试图片中的位置，在所属的测试图片上标注各块测试图片块的镂空识别评估分数。

在本发明实施例中，通过将镂空识别结构以易于分辨的形式直观地标注出来，便于用户确定镂空情况，提高用户体验。

进一步地，所述的基于神经网络的镂空识别方法还可以包括：确定每张测试图片的镂空率以及镂空分布。

在本发明实施例中，通过确定每张测试图片的镂空率以及镂空分布，可以在加以统计分析后，最终输出镂空的严重程度指标，进一步便于用户确定镂空情况，提高用户体验。

在本发明实施例中，通过将每张镂空训练图片分割为多块镂空图片块，以及将每张无镂空训练图片分割为多块无镂空图片块，并基于所述镂空图片块以及无镂空图片块，训练神经网络模型，相比于现有的人工识别的方法，能够自动对图像的不同区域进行细致而全面的分析评估，筛选出存在镂空问题的区域，有效提高识别的准确性和效率，降低识别成本。进一步地，所述神经网络模型包括1×N输出层，而不包括全连接输出层，也即采用1×N输出层代替常规的神经网络模型的全连接输出层，有利于模拟人类对图像镂空情况评分的离散概率分布，相当于其中每一个输出对应分数概率分布曲线中的一个离散概率值，相比于常规的神经网络模型，可以进一步更具有针对性，更好地实现镂空识别，提高识别准确性。

参照图5，图5是本发明实施例中一种基于神经网络的镂空识别装置的结构示意图。所述基于神经网络的镂空识别装置可以包括：

提供模块51，用于提供训练集以及测试集，所述训练集中包含有多张含有镂空的镂空训练图片以及多张不含有镂空的无镂空训练图片，所述测试集中包含有多张测试图片；

分割模块52，用于将每张镂空训练图片分割为多块镂空图片块，以及将每张无镂空训练图片分割为多块无镂空图片块；

训练模块53，用于基于所述镂空图片块以及无镂空图片块，训练神经网络模型；

测试模块54，用于采用所述神经网络模型对所述测试图片进行镂空识别测试；

其中，所述神经网络模型包括卷积层、池化层、激活层以及1×N输出层。

关于该基于神经网络的镂空识别装置的原理、具体实现和有益效果请参照前文及图1至图4示出的关于基于神经网络的镂空识别方法的相关描述，此处不再赘述。

本发明实施例还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述方法的步骤。所述存储介质可以是计算机可读存储介质，例如可以包括非挥发性存储器(non-volatile)或者非瞬态(non-transitory)存储器，还可以包括光盘、机械硬盘、固态硬盘等。

本发明实施例还提供了一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述方法的步骤。所述终端包括但不限于手机、计算机、平板电脑等终端设备。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (14)

1.一种基于神经网络的镂空识别方法，其特征在于，包括以下步骤：

提供训练集以及测试集，所述训练集中包含有多张含有镂空的镂空训练图片以及多张不含有镂空的无镂空训练图片，所述测试集中包含有多张测试图片；

将每张镂空训练图片分割为多块镂空图片块，以及将每张无镂空训练图片分割为多块无镂空图片块；

基于所述镂空图片块以及无镂空图片块，训练神经网络模型；

采用所述神经网络模型对所述测试图片进行镂空识别测试；

其中，所述神经网络模型包括卷积层、池化层、激活层以及1×N输出层。

2.根据权利要求1所述的基于神经网络的镂空识别方法，其特征在于，采用所述神经网络模型对所述测试图片进行镂空识别测试包括：

对每张测试图片进行分割，以得到多块测试图片块；

采用所述神经网络模型，对每块测试图片块进行评估，并经由所述1×N输出层得到每块测试图片块的N个输出值；

采用预设的权重值对所述N个输出值进行加权运算，以得到每块测试图片块的镂空识别评估分数。

3.根据权利要求2所述的基于神经网络的镂空识别方法，其特征在于，还包括：

依照各块测试图片块在所属的测试图片中的位置，在所属的测试图片上标注各块测试图片块的镂空识别评估分数。

4.根据权利要求3所述的基于神经网络的镂空识别方法，其特征在于，还包括：

确定每张测试图片的镂空率以及镂空分布。

5.根据权利要求2所述的基于神经网络的镂空识别方法，其特征在于，对每张测试图片进行分割，以得到多块测试图片块包括：

对每张测试图片进行分割，以得到多块初始分割测试图片块；

对所述初始分割测试图片块进行图像预处理，以得到所述多块测试图片块。

6.根据权利要求5所述的基于神经网络的镂空识别方法，其特征在于，对所述初始分割测试图片块进行图像预处理选自以下一项或多项：

对所述初始分割测试图片块进行色彩调整预处理，以调整色度至原色度的-30％～30％范围内，和/或，对所述初始分割测试图片块进行饱和度调整预处理，以调整饱和度至原饱和度的-30％～30％范围内；

对所述初始分割测试图片块进行旋转角度预处理，以调整旋转角度至原旋转角度的-180％～180％范围内，和/或，对所述初始分割测试图片块的尺寸进行尺寸调整预处理，以调整各条边的边长至原对应的边长的-20％～20％范围内；

对所述初始分割测试图片块进行白噪点添加预处理，以添加白噪点至白噪声标准差为12％。

7.根据权利要求5所述的基于神经网络的镂空识别方法，其特征在于，基于所述镂空图片块以及无镂空图片块，训练神经网络模型包括：

对所述镂空图片块以及无镂空图片块进行图像预处理，以得到镂空预处理图像块以及无镂空预处理图像块；

将所述镂空预处理图像块以及无镂空预处理图像块拉伸成一维数组，作为输入数据，训练所述神经网络模型。

8.根据权利要求7所述的基于神经网络的镂空识别方法，其特征在于，对所述初始分割测试图片块进行图像预处理的处理参数的取值范围大于对所述镂空图片块以及无镂空图片块进行图像预处理的处理参数的取值范围。

9.根据权利要求7所述的基于神经网络的镂空识别方法，其特征在于，对所述镂空图片块以及无镂空图片块进行图像预处理选自以下一项或多项：

对所述镂空图片块以及无镂空图片块进行色彩调整预处理，以调整色度至原色度的-15％～15％范围内，和/或，对所述镂空图片块以及无镂空图片块进行饱和度调整预处理，以调整饱和度至原饱和度的-15％～15％范围内；

对所述镂空图片块以及无镂空图片块进行旋转角度预处理，以调整旋转角度至原旋转角度的-150％～150％范围内，和/或，对所述镂空图片块以及无镂空图片块的尺寸进行尺寸调整预处理，以调整各条边的边长至原对应的边长的-10％～10％范围内；

对所述镂空图片块以及无镂空图片块进行白噪点添加预处理，以添加白噪点至白噪声标准差为8％。

10.根据权利要求1所述的基于神经网络的镂空识别方法，其特征在于，在采用所述神经网络模型对所述测试图片进行镂空识别测试之前，还包括：

提供验证集，所述验证集中包含有多张含有镂空的镂空验证图片以及多张不含有镂空的无镂空验证图片；

基于所述镂空验证图片以及无镂空验证图片，对所述神经网络模型进行验证。

11.根据权利要求1或10所述的基于神经网络的镂空识别方法，其特征在于，所述提供训练集以及测试集包括：

提供多张含有镂空的图片以及多张不含有镂空的图片；

采用第一预设比例，将所述含有镂空的图片以及不含有镂空的图片分割为训练集、验证集，其中，训练集中的含有镂空的图片数量大于验证集中的含有镂空的图片数量，且训练集中的不含有镂空的图片数量大于验证集中的不含有镂空的图片数量；

提供多张镂空结果未知的测试图片；

采用第二预设比例，将所述含有镂空的图片以及不含有镂空的图片分割为测试集；

其中，所述第一预设比例与所述第二预设比例相等或不等。

12.一种基于神经网络的镂空识别装置，其特征在于，包括：

提供模块，用于提供训练集以及测试集，所述训练集中包含有多张含有镂空的镂空训练图片以及多张不含有镂空的无镂空训练图片，所述测试集中包含有多张测试图片；

分割模块，用于将每张镂空训练图片分割为多块镂空图片块，以及将每张无镂空训练图片分割为多块无镂空图片块；

训练模块，用于基于所述镂空图片块以及无镂空图片块，训练神经网络模型；

测试模块，用于采用所述神经网络模型对所述测试图片进行镂空识别测试；

其中，所述神经网络模型包括卷积层、池化层、激活层以及1×N输出层。

13.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1至11任一项所述基于神经网络的镂空识别方法的步骤。

14.一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行权利要求1至11任一项所述基于神经网络的镂空识别方法的步骤。

Images