CN107491790A - 一种神经网络训练方法及装置 - Google Patents

Abstract

本发明公开一种神经网络训练方法及装置，以提高神经网络的健壮性和准确性。方法包括：采用训练图像集对神经网络模型进行训练，得到初级神经网络；将测试图像集中的测试图像输入初级神经网络，输出与测试图像对应的检测结果；选取检测结果有误的测试图像添加到训练图像集中得到新的训练图像集；采用新的训练图像集对所述初级神经网络进行训练。

Description

一种神经网络训练方法及装置

技术领域

本发明涉及计算机领域，特别涉及一种神经网络训练方法及装置。

背景技术

目前，训练神经网络主要是基于预置的训练图像集对神经网络模型进行训练得到目标神经网络。训练图像集中的图像数量越多，基于该训练图像集训练得到的目标神经网络的准确性越高。然而，在实际应用中，训练图像集的数量越多需要人工标注的工作量越大，人力成本较高。因此，目前为平衡人力成本与神经网络准确性，选取一定数量的图像进行标注后构成训练图像集。

基于现有的训练图像集，训练得到的神经网络仅适用于训练图像集中出现的情况，对于训练图像集中未出现的情况并不能很好的适用，准确性还有待提高。

发明内容

鉴于上述问题，本发明提供一种神经网络训练方法及装置，以提高神经网络的健壮性和准确性。

本发明实施例，一方面，提供一种神经网络训练方法，该方法包括：

采用训练图像集对神经网络模型进行训练，得到初级神经网络；

将测试图像集中的测试图像输入初级神经网络，输出与测试图像对应的检测结果；

选取检测结果有误的测试图像添加到训练图像集中得到新的训练图像集；

采用新的训练图像集对所述初级神经网络进行训练。

本发明实施例，还提供一种神经网络训练装置，包括：

第一训练单元，用于采用训练图像集对神经网络模型进行训练，得到初级神经网络；

测试单元，用于将测试图像集中的测试图像输入初级神经网络，输出与测试图像对应的检测结果；

更新单元，用于选取检测结果有误的测试图像添加到训练图像集中得到新的训练图像集，并执行第二训练单元；

第二训练单元，用于采用新的训练图像集对所述初级神经网络进行训练。

本发明实施例，在通过预置的训练图像集训练神经网络模型得到初级神经网络之后，还通过测试图像集对初级神经网络进行测试，将检测错误的测试图像(即正样本)加入到训练图像集中得到新的训练图像集，再基于该新的训练图像集对初级神经网络进行训练。本发明实施例，自动将测试图像集中检测有误的测试图像添加到训练图像集中，由于检测有误的测试图像具有反映初级神经网络检测错误的典型性，因此检测有误的测试图像能够形成很好的训练正样本，将训练正样本添加到训练图像集中不仅能够自动扩充训练图像集，降低人力成本，而且基于新的训练图像集训练得到的神经网络具有更强的健壮性和更低的错误检测率，提高神经网络的准确性。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1为本发明实施例中神经网络训练方法的流程图之一；

图2为本发明实施例中神经网络训练方法的流程图之二；

图3为本发明实施例中神经网络训练装置的结构示意图之一；

图4为本发明实施例中神经网络训练装置的结构示意图之二。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

实施例一

参见图1，为本发明实施例中神经网络训练方法的流程图，该方法包括：

步骤101、采用训练图像集对神经网络模型进行训练，得到初级神经网络。

步骤102、将测试图像集中的测试图像输入初级神经网络，输出与测试图像对应的检测结果。

步骤103、选取检测结果有误的测试图像添加到训练图像集中得到新的训练图像集，并执行步骤104。

步骤104、采用新的训练图像集对所述初级神经网络进行训练。

优选地，为进一步提高训练得到的神经网络的健壮性和准确性，本发明实施例，还可在步骤102输出与测试图像对应的检测结果之后，在步骤103之前，判断当前初级神经网络是否需要继续进行迭代训练，若需要则继续执行步骤103，若不需要则将当前的初级神经网络作为目标神经网络。因此，本发明实施例还提供一种图1所示的方法的改进方法，如图2所示，包括：

步骤101、采用训练图像集对神经网络模型进行训练，得到初级神经网络。

步骤102、将测试图像集中的测试图像输入初级神经网络，输出与测试图像对应的检测结果。

步骤102A、根据测试图像对应的检测结果判断是否满足预置的迭代停止条件，若是则执行步骤105，若否则执行步骤103。

步骤103、选取检测结果有误的测试图像添加到训练图像集中得到新的训练图像集，并执行步骤104。

步骤104、采用新的训练图像集对所述初级神经网络进行训练，将训练得到的神经网络作为初级神经网络并执行步骤102。

步骤105、将初级神经网络作为目标神经网络，并结束流程。

本发明实施例中，测试图像集中的图像为正常图像，训练图像集中的图像为异常图像，由于测试图像与异常图像相比，其采集难度更低，为了提高神经网络的训练效率，本发明实施例仅将通过初级神经网络后输出的检测有误的正常图像添加到训练图像集中。

优选地，本发明实施例中，前述步骤102A中，根据测试图像对应的检测结果判断是否满足预置的迭代停止条件，具体可通过但不仅限于以下任意一种方式实现：

方式1、判断检测结果错误的测试图像的数量是否大于等于预置的数量阈值，若是则确定不满足迭代停止条件，若否则确定满足迭代停止条件。

方式2、判断检测结果错误的测试图像的数量与输入初级神经网络的测试图像的总数量的比例值是否大于等于预置的比例阈值(比例阈值可以取10％，15％，20％等，本申请不做严格限定)，若是则确定不满足迭代停止条件，若否则确定满足迭代停止条件。

方式3、根据测试图像对应的检测结果判断初级神经网络是否满足收敛条件，若是则确定满足迭代停止条件，若否则确定不满足迭代停止条件。

本领域技术人员还可基于现有的判断神经网络停止迭代的现有方式进行判断，本申请不做严格限定。

本发明实施例一中，神经网络模型、训练图像集、测试图像集可根据实际需求的功能灵活设置。例如，当需要的功能为语义分割时，则选取实现语义分割功能的网络模型，则训练得到的初级神经网络为能够确定图像中各像素所属类型的语义分割模型；训练图像集为预先设置的包含有一定数量的已经标注各像素所属类型的训练图像，测试图像为预先设置的包含有一定数量的已经标注各像素所属类型的测试图像。

所述训练图像集为异常图像集，所述测试图像集为正常图像集，所述初级神经网络为用于确定图像中各像素所属类型的语义分割模型，类型的种类包含异常类型和正常类型。

第一示例，所述异常图像集包括透明污损图像和不透明污损图像，所述正常类型为无污损，所述异常类型为有污损。

第二示例，所述异常图像集包括透明污损图像和不透明污损图像，所述正常类型为无污损，所述异常类型包括透明污损和不透明污损。

第三示例，所述异常图像集包括过曝光图像和欠曝光图像，所述异常类型包括过曝光、欠曝光，所述正常类型为正常曝光。

第四示例，所述异常图像集包括透明污损图像、不透明污损图像、曝光图像和欠曝光图像，所述正常类型包括正常曝光和无污损，所述异常类型包括有污损、无污损、过曝光和欠曝光。

第五示例，所述异常图像集包括透明污损图像、不透明污损图像、曝光图像和欠曝光图像，所述正常类型包括正常曝光和无污损，所述异常类型包括透明污损、不透明污损、无污损、过曝光和欠曝光。

本发明实施例中，异常图像集、正常图像集、异常类型和正常类型，并不仅限于第一示例～第五示例，在此不再穷举。

本发明实施例中，异常图像集可预先通过镜头包含不同污损物的同类型摄像机(即后续被判断是否异常的摄像机同类型)分别采集图像得到。正常图像集可预先通过镜头上无污损的同类型摄像机采集图像得到。本申请不做详细描述。

所述神经网络可以是具有语义分割功能的任意一种神经网络模型，本申请不做严格限定。

本发明实施例中，在通过异常图像集训练得到初始语义分割模型之后，还通过正常图像集对初始语义分割模型进行测试，将错误检测的图像(即正样本)挑选出来并为该图像的每个像素打上正常类型的标签，加入到异常图像集中；并基于新的异常图像集对初始语义分割模型进行训练得到语义分割模型，这样做的目的是，希望通过添加错误检测的正样本，提高语义分割模型的健壮性和降低语义分割模型的错误检测率。

实施例二

基于前述实施例一提供的神经网络训练方法相同的构思，本发明实施例二提供一种神经网络训练装置，该装置的结构如图3所示，包括：

第一训练单元31，用于采用训练图像集对神经网络模型进行训练，得到初级神经网络；

测试单元32，用于将测试图像集中的测试图像输入初级神经网络，输出与测试图像对应的检测结果；

更新单元33，用于选取检测结果有误的测试图像添加到训练图像集中得到新的训练图像集，并执行第二训练单元34；

第二训练单元34，用于采用新的训练图像集对所述初级神经网络进行训练。

优选地，本发明实施例中，图3所示的装置还可进一步包括判断单元34，如图4所示：

判断单元34，用于根据测试图像对应的检测结果判断是否满足预置的迭代停止条件，若是则将所述初级神经网络作为目标神经网络，若否则执行所述更新单元33；

第二训练单元34进一步用于，将采用新的训练图像集对所述初级神经网络进行训练得到的神经网络作为初级神经网络，并执行所述测试单元32。

所述判断单元35根据测试图像对应的检测结果判断是否满足预置的迭代停止条件具体可通过但不仅限于以下任意一种方式实现：

方式1、判断检测结果错误的测试图像的数量是否大于等于预置的数量阈值，若是则确定不满足迭代停止条件，若否则确定满足迭代停止条件。

方式2、判断检测结果错误的测试图像的数量与输入初级神经网络的测试图像的总数量的比例值是否大于等于预置的比例阈值，若是则确定不满足迭代停止条件，若否则确定满足迭代停止条件。

方式3、根据测试图像对应的检测结果判断初级神经网络是否满足收敛条件，若是则确定满足迭代停止条件，若否则确定不满足迭代停止条件。

本领域技术人员还可基于现有的判断神经网络停止迭代的现有方式进行判断，本申请不做严格限定。

本发明实施例二中，神经网络模型、训练图像集、测试图像集可根据实际需求的功能灵活设置。例如，当需要的功能为语义分割时，则选取实现语义分割功能的网络模型，则训练得到的初级神经网络为能够确定图像中各像素所属类型的语义分割模型；训练图像集为预先设置的包含有一定数量的已经标注各像素所属类型的训练图像，测试图像为预先设置的包含有一定数量的已经标注各像素所属类型的测试图像。

所述训练图像集为异常图像集，所述测试图像集为正常图像集，所述初级神经网络为用于确定图像中各像素所属类型的语义分割模型，类型的种类包含异常类型和正常类型。

本发明实施例中，异常图像集、正常图像集、异常类型和正常类型，并不仅限于第一示例～第五示例，在此不再穷举。

本发明实施例中，异常图像集可预先通过镜头包含不同污损物的同类型摄像机(即后续被判断是否异常的摄像机同类型)分别采集图像得到。正常图像集可预先通过镜头上无污损的同类型摄像机采集图像得到。本申请不做详细描述。

所述神经网络可以是具有语义分割功能的任意一种神经网络模型，本申请不做严格限定。

以上是本发明的核心思想，为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种神经网络训练方法，其特征在于，包括：

采用训练图像集对神经网络模型进行训练，得到初级神经网络；

将测试图像集中的测试图像输入初级神经网络，输出与测试图像对应的检测结果；

选取检测结果有误的测试图像添加到训练图像集中得到新的训练图像集；

采用新的训练图像集对所述初级神经网络进行训练。

2.根据权利要求1所述的方法，其特征在于，输出与测试图像对应的检测结果之后，还包括：

根据测试图像对应的检测结果判断是否满足预置的迭代停止条件；

若是则将所述初级神经网络作为目标神经网络；

若否则执行所述选取检测结果有误的测试图像添加到训练图像集中得到新的训练图像集的步骤，以及，将采用新的训练图像集对所述初级神经网络进行训练得到的神经网络作为初级神经网络，执行所述将测试图像集中的测试图像输入初级神经网络的步骤。

3.根据权利要求2所述的方法，其特征在于，根据测试图像对应的检测结果判断是否满足预置的迭代停止条件，具体包括：

判断检测结果错误的测试图像的数量是否大于等于预置的数量阈值，若是则确定不满足迭代停止条件，若否则确定满足迭代停止条件；

或者，判断检测结果错误的测试图像的数量与输入初级神经网络的测试图像的总数量的比例值是否大于等于预置的比例阈值，若是则确定不满足迭代停止条件，若否则确定满足迭代停止条件。

4.根据权利要求1～3任一项所述的方法，其特征在于，所述训练图像集为异常图像集，所述测试图像集为正常图像集，所述初级神经网络为用于确定图像中各像素所属类型的语义分割模型，类型的种类包含异常类型和正常类型。

5.根据权利要求4所述的方法，其特征在于，所述异常图像集包括透明污损图像和不透明污损图像，所述正常类型为无污损，所述异常类型为有污损，或者所述异常类型包括透明污损和不透明污损；

或者，所述异常图像集包括过曝光图像和欠曝光图像，所述异常类型包括过曝光、欠曝光，所述正常类型为正常曝光；

或者，所述异常图像集包括透明污损图像、不透明污损图像、曝光图像和欠曝光图像，所述正常类型包括正常曝光和无污损，所述异常类型包括有污损、无污损、过曝光和欠曝光；或者，所述异常类型包括透明污损、不透明污损、无污损、过曝光和欠曝光。

6.一种神经网络训练装置，其特征在于，包括：

第一训练单元，用于采用训练图像集对神经网络模型进行训练，得到初级神经网络；

测试单元，用于将测试图像集中的测试图像输入初级神经网络，输出与测试图像对应的检测结果；

更新单元，用于选取检测结果有误的测试图像添加到训练图像集中得到新的训练图像集，并执行第二训练单元；

第二训练单元，用于采用新的训练图像集对所述初级神经网络进行训练。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

判断单元，用于根据测试图像对应的检测结果判断是否满足预置的迭代停止条件，若是则将所述初级神经网络作为目标神经网络，若否则执行所述更新单元；

第二训练单元进一步用于，将采用新的训练图像集对所述初级神经网络进行训练得到的神经网络作为初级神经网络，并执行所述测试单元。

8.根据权利要求7所述的装置，其特征在于，所述判断单元根据测试图像对应的检测结果判断是否满足预置的迭代停止条件，具体包括：

判断检测结果错误的测试图像的数量是否大于等于预置的数量阈值，若是则确定不满足迭代停止条件，若否则确定满足迭代停止条件；

或者，判断检测结果错误的测试图像的数量与输入初级神经网络的测试图像的总数量的比例值是否大于等于预置的比例阈值，若是则确定不满足迭代停止条件，若否则确定满足迭代停止条件。

9.根据权利要求6～8任一项所述的装置，其特征在于，所述训练图像集为异常图像集，所述测试图像集为正常图像集，所述初级神经网络为用于确定图像中各像素所属类型的语义分割模型，类型的种类包含异常类型和正常类型。

10.根据权利要求9所述的装置，其特征在于，所述异常图像集包括透明污损图像和不透明污损图像，所述正常类型为无污损，所述异常类型为有污损，或者所述异常类型包括透明污损和不透明污损；

或者，所述异常图像集包括过曝光图像和欠曝光图像，所述异常类型包括过曝光、欠曝光，所述正常类型为正常曝光；

或者，所述异常图像集包括透明污损图像、不透明污损图像、曝光图像和欠曝光图像，所述正常类型包括正常曝光和无污损，所述异常类型包括有污损、无污损、过曝光和欠曝光；或者，所述异常类型包括透明污损、不透明污损、无污损、过曝光和欠曝光。