CN113255876A - 深度学习神经网络的优化方法、装置及应用方法、装置 - Google Patents

Abstract

本申请公开了一种深度学习神经网络的优化方法、装置及应用方法、装置，该优化方法包括：搭建识别分类神经网络框架；搭建优化决策神经网络框架；将图像/视频数据输入识别分类神经网络进行训练，得到训练好的识别分类神经网络的网络参数；将已知类别的图像/视频数据输入优化决策神经网络进行训练，得到训练好的优化决策神经网络的各类别优化参数。本申请使用结构相对简单的识别分类神经网络与优化决策神经网络代替一个复杂的深度学习神经网络，减小了网络复杂度，从而减小了训练过程中的运算量，且两个网络可同时进行训练，有效减少了运行时间，提高了工作效率。

Description

深度学习神经网络的优化方法、装置及应用方法、装置

技术领域

本申请涉及图像视频处理技术领域，尤其涉及一种深度学习神经网络的优化方法、装置及应用方法、装置。

背景技术

随着深度学习的发展，由于其具有学习能力强，覆盖范围广，适应性好，能解决传统方法不能或难以解决问题的能力，因此广泛应用于目前正在进行的超分辨重建、去燥、MEMC(Motioin Estimate and Motion Compensation，运动补偿与运动估计)等项目中。

随着所处理问题规模和复杂度的提高，神经网络面临的训练从简单的“异或”问题升级为复杂的“识别、诊断、预知”问题，例如将卷积神经网络应用于超分辨重建，无论是最初的SRCNN(Super Resolution Convolutional Neural Network，超分辨率卷积神经网络)，还是目前效果较好应用较多的EDSR(Enhanced Deep Residual Networks for SuperResolution，用于超分辨率的增强型深度残差网络)，均是将低分辨图像作为网络输入，通过多个卷积层，以及池化层、全连接层等，最终训练得到最优高分辨图像

但是，由于庞大的数据运算，复杂的训练模型，精益求精的目标结果都将导致网络模型复杂化，训练运行耗时久，致使神经网络模型工作效率低，同时需要更强大的硬件支撑。

发明内容

本申请提供了一种深度学习神经网络的优化方法、装置及应用方法、装置，以解决目前深度学习神经网络模型因庞大的数据运算导致工作效率低的问题。

为了解决上述技术问题，本申请实施例公开了如下技术方案：

第一方面，本申请实施例公开了一种深度学习神经网络的优化方法，所述方法包括：

搭建识别分类神经网络框架；

搭建优化决策神经网络框架；

将图像/视频数据输入识别分类神经网络进行训练，得到训练好的识别分类神经网络的网络参数；

将已知类别的图像/视频数据输入优化决策神经网络进行训练，得到训练好的优化决策神经网络的各类别优化参数。

第二方面，本申请实施例还提供了一种深度学习神经网络的应用方法，所述方法包括：

将图像/视频数据输入已训练的识别分类神经网络，得到所述图像/视频数据的所属类别；

根据所述类别选取所述图像/视频数据相对应的优化参数；

将相应的优化参数应用于优化决策神经网络；

将所述图像/视频数据输入到已训练的优化决策神经网络中，得到相应的最优显示效果。

第三方面，本申请实施例还提供了一种深度学习神经网络的优化装置，包括：

存储器，用于存储指令；

处理器，用于执行所述存储器中存储的指令，以执行第一方面所述的深度学习神经网络的优化方法。

第四方面，本申请实施例还提供了一种深度学习神经网络的应用装置，其特征在于，包括：

存储器，用于存储指令；

处理器，用于执行所述存储器中存储的指令，以执行第二方面所述的深度学习神经网络的应用方法。

第五方面，本申请实施例还提供了一种显示设备，包括第三方面所述的深度学习神经网络的优化装置与第四方面所述的深度学习神经网络的应用装置。

与现有技术相比，本申请的有益效果为：

本申请提供的深度学习神经网络的优化方法使用两个结构相对简单的识别分类神经网络与优化决策神经网络代替一个结构复杂的深度学习神经网络，通过已知类别的图像/视频数据对识别分类神经网络进行训练，得到训练好的识别分类神经网络的网络参数；通过已确定最优显示效果与已知类别的图像/视频数据对优化决策神经网络进行训练，得到训练好的优化决策神经网络的各类别优化参数。本申请将一个复杂的深度学习神经网络拆分为识别分类神经网络与优化决策神经网络，能够简化网络复杂度，减少训练过程中的运算量，且在将该优化方法应用于实际中时，对不同的类别只需动态修改不同参数，无需更改网络结构，更利于硬件实现；并且两个网络可同时进行训练，可有效减少运行时间，提高工作效率，而由于运算量的减少，对硬件支持的要求也更低，减少训练成本。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种深度学习神经网络的优化方法的流程图；

图2为本申请实施例提供的深度学习神经网络的优化方法中S300的详细流程图；

图3为示例性的识别分类神经网络的训练过程示意图；

图4为本申请实施例提供的深度学习神经网络的优化方法中S400的详细流程图；

图5为示例性的优化决策神经网络的训练过程；

图6为本申请实施例提供的一种深度学习神经网络的应用方法的流程图；

图7为示例性的优化后深度学习神经网络的应用过程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

目前神经网络面临的训练从简单的“异或”问题分级为复杂的“识别、诊断、预知”问题，庞大的输入数据集，复杂的训练模型，精益求精的目标结果都将导致网络模型复杂化，训练运行耗时久，致使神经网络模型工作效率低，同时需要更强大的硬件支撑。例如将卷积神经网络应用于超分辨重建，无论是最初的SRCNN，还是目前效果较好应用较多的EDSR，均是将低分辨图像作为网络输入，通过多个卷积层，以及池化层，全连接层等，最终训练得到最优高分辨图像。然而由于庞大的数据运算，昂贵的硬件支撑，很难在实际应用中实现量产化，而从用户角度考虑，对各种不同的图像的质量需求是不一样的，例如对于风景类图像而已，用户希望图像除了保持细节纹理之外，更关注图像的色彩，而对于动物图像、建筑类图像而言，用户更希望其能突出纹理特征等，因此如何能够满足用户需求，减小训练及网络应用的代价，是目前急切需要解决的问题。

为了解决上述问题，本申请实施例提供了一种深度学习神经网络的优化方法，该方法将复杂的网络框架拆分成两个结构相对简单的子网络，减小了网络复杂度，子网络隐层个数更少或神经元个数更少，因此在训练过程中运算量更小，并且两个网络可同时进行训练，可有效减少运行时间，提高工作效率，而由于运算量的减少，对硬件支持的要求也更低，减少训练成本。

参见图1，为本申请实施例提供的一种深度学习神经网络的优化方法的流程图。

如图1所示，本申请实施例提供的深度学习神经网络的优化方法包括：

S100：搭建识别分类神经网络框架。

S200：搭建优化决策神经网络框架。

本申请使用结构相对简单的识别分类神经网络与优化决策神经网络替代一个复杂的深度学习神经网络，使得神经网络的隐层个数更少，或神经元个数更少，减少在神经网络在训练过程中的运算量，因此需要分别搭建识别分类神经网络框架与优化决策神经网络框架。

S300：将图像/视频数据输入识别分类神经网络进行训练，得到训练好的识别分类神经网络的网络参数。

搭建好识别分类神经网络后，需要对识别分类神经网络进行训练，获得识别分类神经网络的网络参数，以使该识别分类神经网络用于图像/视频数据的识别分类。本示例中，对识别分类神经网络进行训练的具体方法如图2所示：

S301：标记图像/视频数据所属类别。

准备用于训练识别分类神经网络的图像/视频数据集，标记输入图像/视频数据所属的类别，如风景类图像、动物类图像、建筑类图像等。

S302：将图像/视频数据输入识别分类神经网络。

S303：提取图像/视频数据的特征信息。

S304：根据特征信息输出图像/视频数据的类别。

标记好图像/视频数据的类别后，将该图像/视频数据传送至搭建好的识别分类神经网络中，识别分类神经网络提取输入的图像/视频数据的特征信息，并根据提取到的特征信息判断图像/视频数据所属的类别，即识别分类神经网络输出图像/视频数据所属的类别。

S305：判断输出的数据类别与标记的数据类别之间的识别率是否达到预期值。

识别分类神经网络输出图像/视频数据所属的类别后，将输出的数据类别与标记的数据类别进行比较，计算输出的数据类别与标记的数据类别之间的识别率，判断该识别率是否达到预期值，若该识别率达到预期值，则执行S306；若该识别率未达到预期值，则执行S307。

S306：若识别率达到预期值，则保存识别分类神经网络的网络参数。

若识别分类神经网络输出的数据类别与标记的数据类别之间的识别率达到预期值(如95％)，说明该识别分类神经网络已训练成功，可直接保存识别分类神经网络的网络参数。

S307：若识别率未达到预期值，则调整识别分类神经网络的网络参数，直至识别率达到预期值。

若识别分类神经网络输出的数据类别与标记的数据类别之间的识别率未达到预期值(如95％)，说明该识别分类神经网络未训练成功，需要调整识别分类神经网络的网络参数，直至输出的数据类别识别率达到预期值，然后再保存调整后的识别分类神经网络的网络参数。

如图3所示，对识别分类神经网络进行训练时，首先将标记类别的图像/视频数据传送至识别分类神经网络中；然后识别分类神经网络提取图像/视频数据的特征信息，并根据特征信息输出图像/视频数据所属的类别，如第1类、第2类、第3类…第N类等；然后将识别分类神经网络输出的类别与标记的类别进行比较，根据输出的数据类别与标记的数据类别之间的识别率调整识别分类神经网络的网络参数，最终得到训练好的识别分类神经网络的网络参数。

S400：将已知类别的图像/视频数据输入优化决策神经网络进行训练，得到训练好的优化决策神经网络的各类别优化参数。

搭建好优化决策神经网络后，需要对优化决策神经网络进行训练，获得优化决策神经网络的优化参数，以使该优化决策神经网络输出图像/视频数据的最优显示效果。本示例中，对优化决策神经网络进行训练的具体方法如图4所示：

S401：确定已知类别的图像/视频图像的最优显示效果。

准确用于训练优化决策神经网络的图像/视频数据，并标记该图像/视频数据所属的类别，如风景类图像、动物类图像、建筑类图像等；然后调试或确定各类别图像/视频的最终显示效果，例如分场景图像增强，需调试各类场景的最终显示效果(如风景图像，需增强图像色彩，增强图像细节)。

S402：将已知类别的图像/视频数据输入优化决策神经网络。

S403：输出已知类别的图像/视频数据的最优显示效果。

将已知类别的图像/视频数据传送至优化决策神经网络，该优化决策神经网络根据不同的类别分别进行训练，每个类别对应一套优化决策网络，输出各类别最优的显示效果。

S404：判断输出的最优显示效果与确定的最优显示效果之间的差异是否符合预期。

优化决策神经网络输出图像/视频的最优显示效果后，将输出的最优显示效果与确定的最优显示效果进行比较，判断输出的最优显示效果与确定的最优显示效果之间的差异是否符合预期，若差异符合预期，则执行S405；若差异不符合预期，则执行S406。

S405：若输出的最优显示效果与确定的最优显示效果之间的差异符合预期，则保存输出的最优显示效果对应的优化决策神经网络的优化参数。

若优化决策神经网络输出的最优显示效果与预先确定的最优显示效果之间的差异符合预期，说明该优化决策神经网络训练成功，可直接保存输出的最优显示效果对应的优化决策神经网络的优化参数。

S406：若输出的最优显示效果与确定的最优显示效果之间的差异不符合预期，则调整优化决策神经网络的优化参数，直至输出的最优显示效果与确定的最优显示效果之间的差异符合预期。

若优化决策神经网络输出的最优显示效果与预先确定的最优显示效果之间的差异不符合预期，说明该优化决策神经网络未训练成功，需要调整优化决策神经网络的优化参数，直至优化决策神经网络输出的最优显示效果与预先确定的最优显示效果之间的差异不符合预期，然后再保存调整后的优化决策神经网络的各类别优化参数。

如图5所示，对优化决策神经网络进行训练时，首先将已确定最优显示效果与已知类别的图像/视频数据传送至优化决策神经网络；然后优化决策神经网络根据图像/视频数据的类别输出相应的最优显示效果；然后将优化决策神经网络输出的最优显示效果与已确定的最优显示效果进行比较，根据输出的最优显示效果与确定的最优显示效果之间的差异调整优化决策神经网络的优化参数，最终得到训练好的优化决策神经网络的各类别优化参数。

本申请实施例提供的深度学习神经网络的优化方法将一个复杂的深度学习神经网络拆分成两个结构相对简单的识别分类神经网络与优化决策神经网络，使用两个神经网络相比较使用一个深度学习神经网络进行图像效果优化而言，两个网络的隐层个数更少，或神经元个数更少，因此在训练过程中运算量更小。而对于优化决策神经网络，保持网络结构固定，对各类图像分别进行训练，得到不同的优化参数，因此大大减小了网络输出个数，减小了网络的复杂度。并且，两个网络可同时进行训练，有效减少了运行时间，提高了工作效率，而由于运算量的减少，对硬件支持的要求也更低，减少了训练成本。

基于上述实施例所述的一种深度学习神经网络的优化方法，本申请实施例还提供了一种深度学习神经网络的优化装置。

本申请实施例提供的深度学习神经网络的优化装置包括：

存储器，用于存储指令。

处理器，用于执行存储器中存储的指令，以执行上述实施例所述的深度学习神经网络的优化方法。

本申请实施例提供的深度学习神经网络的优化装置将一个复杂的深度学习神经网络拆分成两个结构相对简单的识别分类神经网络与优化决策神经网络，使用两个神经网络相比较使用一个深度学习神经网络进行图像效果优化而言，两个网络的隐层个数更少，或神经元个数更少，因此在训练过程中运算量更小。而对于优化决策神经网络，保持网络结构固定，对各类图像分别进行训练，得到不同的优化参数，因此大大减小了网络输出个数，减小了网络的复杂度。并且，两个网络可同时进行训练，有效减少了运行时间，提高了工作效率，而由于运算量的减少，对硬件支持的要求也更低，减少了训练成本。

基于上述实施例所述的深度学习神经网络的优化方法，本申请实施例还提供了一种深度学习神经网络的应用方法。

如图6所示，本申请实施例提供的深度学习神经网络的应用方法包括：

S500：将图像/视频数据输入已训练的识别分类神经网络，得到图像/视频数据的所属类别。

将已训练的识别分类神经网络与优化决策神经网络应用于实际中时，将图像/视频数据传送至已训练的识别分类神经网络中，获取图像/视频所属的类别。

S600：根据类别选取图像/视频数据相对应的优化参数。

获取到图像/视频所属的类别后，根据类别选取已保存好的相对应的优化决策神经网络的类别优化参数，该类别与优化参数一一对应。

S700：将相应的优化参数应用于优化决策神经网络。

S800：将图像/视频数据输入到已训练的优化决策神经网络中，得到相应的最优显示效果。

获得与图像/视频类别对应的优化参数后，将优化参数应用于优化决策神经网络中，同时将图像/视频数据传送至已训练的优化决策神经网络中，得到相应的最优显示效果。

如图7所示，在实际应用过程中，首先将识别分类神经网络与优化决策神经网路紧密的联系在一起；然后通过识别分类神经网络获取输入图像/视频的类别信息，根据该类别信息选取该类别对应的优化参数；然后将选取到的优化参数应用于优化决策神经网络，同时将图像/视频数据输入优化决策神经网络，最终得到相应的最优显示效果。

本申请实施例提供的深度学习神经网络的应用方法在用户输入图像或视频信息时，通过识别分类神经网络获取输入信息的所属类别，然后根据不同的类别挑选相应的优化决策神经网络的优化参数，并将该优化参数应用于优化决策神经网络，最终得到图像或视频的最优显示效果。在实际应用中，对不同的类别只需动态修改不同的优化参数，无需更改网络结构，更利于硬件实现，且该方法在得到最优显示效果的同时，提高了神经网络的工作效率，可应用于分场景图像增强、超分辨重建、去燥等图像/视频处理领域。

基于上述实施例所述的一种深度学习神经网络的应用方法，本申请实施例还提供了一种深度学习神经网络的应用装置。

本申请实施例提供的深度学习神经网络的应用装置包括：

存储器，用于存储指令。

处理器，用于执行存储器中存储的指令，以执行上述实施例所述的深度学习神经网络的应用方法。

本申请实施例提供的深度学习神经网络的应用装置在用户输入图像或视频信息时，通过识别分类神经网络获取输入信息的所属类别，然后根据不同的类别挑选相应的优化决策神经网络的优化参数，并将该优化参数应用于优化决策神经网络，最终得到图像或视频的最优显示效果。在实际应用中，对不同的类别只需动态修改不同的优化参数，无需更改网络结构，更利于硬件实现，且该方法在得到最优显示效果的同时，提高了神经网络的工作效率，可应用于分场景图像增强、超分辨重建、去燥等图像/视频处理领域。

基于上述实施例所述的深度学习神经网络的优化装置与深度学习神经网络的应用装置，本申请实施例还提供了一种显示设备，该显示设备包括所述的深度学习神经网络的优化装置与深度学习神经网络的应用装置。

该显示设备使用新的神经网络架构，即结构相对简单的识别分类神经网络与优化决策神经网络，使得网络隐层个数更少，或神经元个数更少，因此在训练过程中运算量更小，且通过优化决策神经网络对各类图像分别进行训练，得到不同的优化参数，大大减小了网络输出个数，减小了网络复杂度；并且两个网络可同时进行训练，有效减少了运行时间，提高了工作效率；该显示设备应用于实际中时，对不同的类别只需动态修改不同参数，无需更改网络结构，更利于硬件实现，减少训练成本。

需要说明的是，在本说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的电路结构、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种电路结构、物品或者设备所固有的要素。在没有更多限制的情况下，有语句“包括一个……”限定的要素，并不排除在包括所述要素的电路结构、物品或者设备中还存在另外的相同要素。

本领域技术人员在考虑说明书及实践这里发明的公开后，将容易想到本申请的其他实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求的内容指出。

以上所述的本申请实施方式并不构成对本申请保护范围的限定。

Claims (9)

1.一种深度学习神经网络的优化方法，其特征在于，所述方法包括：

搭建识别分类神经网络框架；

搭建优化决策神经网络框架；

将图像/视频数据输入识别分类神经网络进行训练，得到训练好的识别分类神经网络的网络参数；

将已知类别的图像/视频数据输入优化决策神经网络进行训练，得到训练好的优化决策神经网络的各类别优化参数。

2.根据权利要求1所述的深度学习神经网络的优化方法，其特征在于，将图像/视频数据输入识别分类神经网络进行训练，得到训练好的识别分类神经网络的网络参数，包括：

标记图像/视频数据所属类别；

将所述图像/视频数据输入所述识别分类神经网络；

提取所述图像/视频数据的特征信息；

根据所述特征信息输出所述图像/视频数据的类别；

保存输出数据类别与标记数据类别的差异达到预期的识别分类神经网络的网络参数。

3.根据权利要求2所述的深度学习神经网络的优化方法，其特征在于，保存输出数据类别与标记数据类别的差异达到预期的识别分类神经网络的网络参数，包括：

判断输出的数据类别与标记的数据类别之间的识别率是否达到预期值；

若所述识别率未达到所述预期值，则调整所述识别分类神经网络的网络参数，直至所述识别率达到所述预期值；

若所述识别率达到所述预期值，则保存所述识别分类神经网络的网络参数。

4.根据权利要求1所述的深度学习神经网络的优化方法，其特征在于，将已知类别的图像/视频数据输入优化决策神经网络进行训练，得到训练好的优化决策神经网络的各类别优化参数，包括：

确定已知类别的图像/视频数据的最优显示效果；

将已知类别的图像/视频数据输入所述优化决策神经网络；

输出所述已知类别的图像/视频数据的最优显示效果；

保存输出的最优显示效果与确定的最优显示效果的差异达到预期的优化决策神经网络的优化参数。

5.根据权利要求4所述的深度学习神经网络的优化方法，其特征在于，保存输出的最优显示效果与确定的最优显示效果的差异达到预期的优化决策神经网络的优化参数，包括：

判断输出的最优显示效果与确定的最优显示效果之间的差异是否符合预期；

若输出的最优显示效果与确定的最优显示效果之间的差异不符合预期，则调整所述优化决策神经网络的优化参数，直至输出的最优显示效果与确定的最优显示效果之间的差异符合预期；

若输出的最优显示效果与确定的最优显示效果之间的差异符合预期，则保存输出的最优显示效果对应的优化决策神经网络的优化参数。

6.一种深度学习神经网络的应用方法，其特征在于，所述方法包括：

将图像/视频数据输入已训练的识别分类神经网络，得到所述图像/视频数据的所属类别；

根据所述类别选取所述图像/视频数据相对应的优化参数；

将相应的优化参数应用于优化决策神经网络；

将所述图像/视频数据输入到已训练的优化决策神经网络中，得到相应的最优显示效果。

7.一种深度学习神经网络的优化装置，其特征在于，包括：

存储器，用于存储指令；

处理器，用于执行所述存储器中存储的指令，以执行如权利要求1-5任一项所述的深度学习神经网络的优化方法。

8.一种深度学习神经网络的应用装置，其特征在于，包括：

存储器，用于存储指令；

处理器，用于执行所述存储器中存储的指令，以执行如权利要求6所述的深度学习神经网络的应用方法。

9.一种显示设备，其特征在于，包括如权利要求7所述的深度学习神经网络的优化装置与如权利要求8所述的深度学习神经网络的应用装置。

Images