CN111583146B - 一种基于改进多尺度循环网络的人脸图像去模糊方法 - Google Patents
一种基于改进多尺度循环网络的人脸图像去模糊方法 Download PDFInfo
- Publication number
- CN111583146B CN111583146B CN202010367554.0A CN202010367554A CN111583146B CN 111583146 B CN111583146 B CN 111583146B CN 202010367554 A CN202010367554 A CN 202010367554A CN 111583146 B CN111583146 B CN 111583146B
- Authority
- CN
- China
- Prior art keywords
- particle
- face image
- network
- target
- optimal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 194
- 238000012549 training Methods 0.000 claims abstract description 79
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 24
- 238000003708 edge detection Methods 0.000 claims abstract description 19
- 230000001815 facial effect Effects 0.000 claims abstract description 10
- 239000002245 particle Substances 0.000 claims description 201
- 230000008569 process Effects 0.000 claims description 74
- 230000006870 function Effects 0.000 claims description 28
- 230000001133 acceleration Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 9
- 125000004122 cyclic group Chemical group 0.000 claims description 9
- 230000006872 improvement Effects 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012804 iterative process Methods 0.000 claims description 6
- 238000007670 refining Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 11
- 238000005457 optimization Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000009191 jumping Effects 0.000 description 4
- 238000013215 result calculation Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000010845 search algorithm Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 244000300477 Gardenia carinata Species 0.000 description 1
- 241000135164 Timea Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- BSJGASKRWFKGMV-UHFFFAOYSA-L ammonia dichloroplatinum(2+) Chemical compound N.N.Cl[Pt+2]Cl BSJGASKRWFKGMV-UHFFFAOYSA-L 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种基于改进多尺度循环网络的人脸图像去模糊方法，兼顾GSA方法和PSO方法各自的优点，利用二者对SRN网络进行训练，有效提升网络收敛速度和网络精度。在此基础之上，利用训练完成的SRN网络提取原始人脸图像的局部纹理信息，利用边缘检测算法提取原始人脸图像的全局拓扑结构信息，最终对局部纹理信息、全局拓扑结构信息、原始人脸图像进行融合，得到去模糊的目标人脸图像，最大程度恢复模糊人脸图像的信息，显著提升基于人脸图像的人脸识别效率。此外，本申请还提供了一种基于改进多尺度循环网络的人脸图像去模糊装置、设备及可读存储介质，其技术效果与上述方法的技术效果相对应。
Description
技术领域
本申请涉及图像处理技术领域，特别涉及一种基于改进多尺度循环网络的人脸图像去模糊方法、装置、设备及可读存储介质。
背景技术
目前，人脸识别技术是模式识别和计算机视觉领域的研究热点。然而在实际应用中，人脸图像受光照、镜头失焦、相机抖动、物体运动、相机像素低等因素的干扰，往往较为模糊，这导致人脸识别效率和准确率受到了很大影响。因此，如何实现人脸图像的去模糊，成为业内公认的难题。
针对该问题，相关学者提出了基于卷积神经网络的人脸图像去模糊方法，其中基于多尺度卷积神经网络的方法，由于其结构简单、参数更少、容易训练等优势而备受关注。但是，多尺度卷积神经网络存在容易陷入局部最优解的问题，这不仅会导致误差下降缓慢或下降停滞的问题，还会影响网络精度。另外，目前多尺度卷积神经网络生成的图像和真实图像的分布存在差异，虽然肉眼看到的效果非常好，但是其数据还不够真实，存在严重的原始信息损失，一旦应用到模型训练中，必然会出现虚假信息过度拟合，最终导致该模型在实际应用中效果较差。
还有学者提出了基于分离低高频的多尺度人脸图像去模糊方法,其原理在于：在去模糊过程中，使用前处理网络恢复人脸图像的低频信息以及语义分割；然后将生成的低频信息、语义分割以及模糊图像拼接输入后续的多尺度网络恢复图片信息；最后，将去模糊网络和高级别任务联合训练，达到提升人脸识别率的目的。
但是，该方法存在以下缺点：第一，直接利用多尺度网络进行去模糊，仍然存在容易陷入局部最优解的问题，网络性能一般；第二，语义分割的结果比较粗糙，信息不够精确，且只有人脸的部分结构信息；第三，低频信息与语义分割获取的信息相似，仍不能较全面的反映图像的全局结构信息，将这两者结合起来，获取的人脸结构信息仍然比较有限，导致结果精度低。
综上，如何提供一种人脸图像去模糊方案，避免容易陷入局部最优解的问题，提升去模糊效果，是亟待本领域技术人员解决的问题。
发明内容
本申请的目的是提供一种基于改进多尺度循环网络的人脸图像去模糊方法、装置、设备及可读存储介质，用以解决当前的人脸图像去模糊方案容易陷入局部最优解，且去模糊效果较差的问题。其具体方案如下：
第一方面，本申请提供了一种基于改进多尺度循环网络的人脸图像去模糊方法，包括：
根据训练集，利用GSA方法和PSO方法对SRN网络进行训练；
利用训练完成的SRN网络，提取原始人脸图像的局部纹理信息；
利用边缘检测算法，提取所述原始人脸图像的全局拓扑结构信息；
对所述原始人脸图像、所述局部纹理信息、所述全局拓扑结构信息进行融合，得到目标人脸图像。
优选的，所述根据训练集，利用GSA方法和PSO方法对SRN网络进行训练，包括：
S1、初始化粒子种群，所述粒子种群包括预设数量的粒子；
S2、在当前迭代过程中，根据PSO方法计算下一迭代过程中粒子的位置，得到第一更新结果，并根据GSA方法计算下一迭代过程中粒子的位置，得到第二更新结果；
S3、根据训练集和损失度函数，从所述第一更新结果和所述第二更新结果中选取当前迭代过程中最优的粒子位置，其中所述损失度函数用于衡量根据粒子位置确定网络参数的SRN网络在所述训练集上的误差大小；
S4、判断所述当前迭代过程中最优的粒子位置的损失值是否小于全局最优粒子位置的损失值，若是，则更新所述全局最优粒子位置；
S5、判断是否达到训练终止条件，若是，则根据所述全局最优粒子位置确定SRN网络的网络参数，以作为训练完成的SRN网络；否则，跳转到S2进入下一迭代过程。
优选的，所述根据PSO方法计算下一迭代过程中粒子的位置，得到第一更新结果，包括：
根据初始引力常数和当前迭代次数，确定当前迭代过程的引力常数；根据所述粒子种群中各个粒子的位置，确定目标粒子与各个非目标粒子之间的距离，其中所述目标粒子为所述粒子种群中的任意一个粒子；
确定当前迭代过程中所述目标粒子对应的损失值，并确定当前迭代过程中所述粒子种群中各个粒子对应的损失值的最大值和最小值；
根据所述目标粒子对应的损失值、所述最大值和所述最小值，确定所述目标粒子的质量；
根据所述当前迭代过程的引力常数、所述目标粒子与各个非目标粒子之间的距离、所述目标粒子的质量，确定所述目标粒子受到的引力合力；
根据所述引力合力和所述目标粒子的质量，确定所述目标粒子在当前迭代过程中加速度；
根据所述加速度，确定所述目标粒子在下一迭代过程中的位置和速度，作为第一更新结果。
优选的，所述根据GSA方法计算下一迭代过程中粒子的位置，得到第二更新结果，包括：
根据损失函数，确定目标粒子截止到当前迭代过程的原始最优位置；根据目标改进公式对所述原始最优位置进行改进，得到所述目标粒子的改进最优位置；
根据损失函数，选取所述原始最优位置和所述改进最优位置中较优的位置，作为所述目标粒子对应的局部最优位置；
选取所述粒子种群各个粒子对应的局部最优位置中的最优位置，作为全局最优位置；
根据所述局部最优位置、所述全局最优位置、所述加速度，确定所述目标粒子在下一迭代过程中的位置和速度，作为第二更新结果。
优选的，所述根据目标改进公式对所述原始最优位置进行改进，得到所述目标粒子的改进最优位置，包括：
根据目标改进公式对所述原始最优位置进行改进，得到所述目标粒子的改进最优位置，所述目标改进公式为：
其中，
是粒子i的原始最优位置，N是所述粒子种群的大小，rand表示[0,1]之间的随机数，/>
是粒子i在第t次迭代过程中在d维空间的速度。
优选的，所述根据训练集和损失度函数，从所述第一更新结果和所述第二更新结果中选取当前迭代过程中最优的粒子位置，包括：
根据训练集和损失度函数，从所述第一更新结果和所述第二更新结果中选取当前迭代过程中最优的粒子位置，所述损失度函数为：
其中，q表示所述训练集的样本数量，m表示输出节点数量，gi表示SRN网络输出的第i个输出节点的预测结果，σ为实际结果。
优选的，所述利用边缘检测算法，提取所述原始人脸图像的全局拓扑结构信息，包括：
利用Canny算子，提取所述原始人脸图像的全局拓扑结构信息。
第二方面，本申请提供了一种基于改进多尺度循环网络的人脸图像去模糊装置，包括：
训练模块：用于根据训练集，利用GSA方法和PSO方法对SRN网络进行训练；
纹理信息提取模块：用于利用训练完成的SRN网络，提取原始人脸图像的局部纹理信息；
拓扑信息提取模块：用于利用边缘检测算法，提取所述原始人脸图像的全局拓扑结构信息；
融合模块：用于对所述原始人脸图像、所述局部纹理信息、所述全局拓扑结构信息进行融合，得到目标人脸图像。
第三方面，本申请提供了一种基于改进多尺度循环网络的人脸图像去模糊设备，包括：
存储器：用于存储计算机程序；
处理器：用于执行所述计算机程序，以实现如上所述的基于改进多尺度循环网络的人脸图像去模糊方法的步骤。
第四方面，本申请提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如上所述的基于改进多尺度循环网络的人脸图像去模糊方法的步骤。
本申请所提供的一种基于改进多尺度循环网络的人脸图像去模糊方法，包括：根据训练集，利用GSA方法和PSO方法对SRN网络进行训练；利用训练完成的SRN网络，提取原始人脸图像的局部纹理信息；利用边缘检测算法，提取原始人脸图像的全局拓扑结构信息；对原始人脸图像、局部纹理信息、全局拓扑结构信息进行融合，得到目标人脸图像。
已知GSA方法易陷入局部最优，但全局优化能力强；PSO方法局部搜索能力强，但全局优化能力较弱；SRN网络易陷入局部最优解，影响收敛速度和网络精度。针对上述问题，本申请通过PSO方法优化GSA方法的局部搜索能力，形成一套兼顾GSA和PSO优点的方法，并将其应用到SRN网络的训练过程中，从而有效提升SRN网络的收敛速度和网络精度。在此基础之上，利用训练完成的SRN网络提取原始人脸图像的局部纹理信息，利用边缘检测算法提取原始人脸图像的全局拓扑结构信息，最终对局部纹理信息、全局拓扑结构信息、原始人脸图像进行融合，得到去模糊的目标人脸图像，最大程度恢复模糊人脸图像的信息，显著提升基于人脸图像的人脸识别效率。
此外，本申请还提供了一种基于改进多尺度循环网络的人脸图像去模糊装置、设备及可读存储介质，其技术效果与上述方法的技术效果相对应，这里不再赘述。
附图说明
为了更清楚的说明本申请实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请所提供的一种基于改进多尺度循环网络的人脸图像去模糊方法实施例一的实现流程图；
图2为本申请所提供的一种基于改进多尺度循环网络的人脸图像去模糊方法实施例一中SRN网络训练过程的流程图；
图3为本申请所提供的一种基于改进多尺度循环网络的人脸图像去模糊方法实施例一中基于训练完成的SRN网络实现去模糊的流程图；
图4为本申请所提供的一种基于改进多尺度循环网络的人脸图像去模糊方法实施例二的实现流程图；
图5为本申请所提供的一种基于改进多尺度循环网络的人脸图像去模糊方法实施例二中第一更新结果计算过程示意图；
图6为本申请所提供的一种基于改进多尺度循环网络的人脸图像去模糊方法实施例二中第二更新结果计算过程示意图；
图7为本申请所提供的一种基于改进多尺度循环网络的人脸图像去模糊方法实施例二中S404的细化流程图；
图8为本申请提供了普通SRN网络和根据本申请训练的SRN网络的收敛速度对比示意图；
图9为本申请所提供的一种基于改进多尺度循环网络的人脸图像去模糊装置实施例的功能框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
粒子群优化算法(Particle Swarm Optimization，PSO)是在神经网络优化中比较有效的方法之一，其采用进化算法中群体进化的概念，粒子种群中的每个粒子表示一个候选解，每个粒子根据全局最优位置和自身搜索到的最优位置，去调节自身的飞行方向和速度，朝目标最好位置飞行。PSO方法具有信息共享能力和收敛速度快等特点，局部搜索能力强，但是全局搜索能力较弱。
引力搜索算法(Gravitational Search Algorithm,GSA)是受万有引力定律启发而被提出的新型全局智能搜索算法。在GSA算法中，将每一个粒子看作问题的一个解，所有粒子组成的粒子种群作为解向量，依据牛顿第二定律通过引力作用朝着惯性质量较大的粒子方向移动，实现了位置的调整和对空间中最优解的搜索。GSA算法全局搜索能力较强，但是容易陷入局部最优解。
多尺度循环网络(Scale-recurrent Network，SRN)将编/解码器与残差网络相结合，可扩大感受野。虽然每一尺度的网络结构和任务都相似，但是各尺度的参数仍然是相互独立的，在不同尺度之间可共享网络权重，以此减少网络参数，使模型的学习能力更加稳固。目前，相比于学术界的许多基于深度学习的图像去模糊方法，该网络具有更简单的网络结构，更少的参数，更加容易训练等优势。但是，SRN网络易陷入局部最优解，影响收敛速度和网络精度。
综上，GSA方法全局优化能力强，但易陷入局部最优；PSO方法局部搜索能力强，但全局优化能力相对于GSA方法较弱；SRN网络易陷入局部最优解，影响收敛速度和网络精度。
针对该问题，本申请提供一种基于改进多尺度循环网络的人脸图像去模糊方法、装置、设备及可读存储介质，利用PSO方法和GSA方法对SRN网络进行训练，兼顾二者的优点，有效提升SRN网络的收敛速度和网络精度，在训练完成后，通过融合SRN网络提取到的局部纹理信息、边缘检测得到的全局拓扑结构信息和原始人脸图像，得到去模糊的人脸图像，最大程度恢复图像信息，有助于提升基于人脸图像的人脸识别效率。
下面对本申请提供的一种基于改进多尺度循环网络的人脸图像去模糊方法实施例一进行介绍，参见图1，实施例一包括：
S101、根据训练集，利用GSA方法和PSO方法对SRN网络进行训练；
S102、利用训练完成的SRN网络，提取原始人脸图像的局部纹理信息；
S103、利用边缘检测算法，提取所述原始人脸图像的全局拓扑结构信息；
S104、对所述原始人脸图像、所述局部纹理信息、所述全局拓扑结构信息进行融合，得到目标人脸图像。
具体的，本实施例将SRN网络的网络参数作为待搜索的解，例如SRN网络的权值，将PSO的记忆能力、信息共享能力和GSA的全局搜素能力相结合，利用二者在迭代过程中不断优化粒子位置，搜索最优解，然后根据搜索得到的最优解更新SRN网络的网络参数，利用此时SRN网络在训练集上的损失值衡量该最优解的优劣程度，重复此过程，直至达到训练终止条件，得到最终的最优解。以最终的最优解作为网络参数的SRN网络即训练完成的SRN网络。
如图2所示，SRN网络的训练具体包括以下步骤：
S201、初始化粒子种群，所述粒子种群包括预设数量的粒子；
S202、在当前迭代过程中，采用PSO方法计算下一迭代过程中粒子的位置，得到第一更新结果；
S203、采用GSA方法，根据S202中依据PSO方法的计算过程中得出的粒子加速度，计算下一迭代过程中粒子的位置，得到第二更新结果；
特别说明的是，在根据GSA方法计算第二更新结果的过程中，利用到了S202的中间结果，即粒子的加速度。
S204、根据训练集和损失度函数，从所述第一更新结果和所述第二更新结果中选取当前迭代过程中最优的粒子位置，其中所述损失度函数用于衡量根据粒子位置确定网络参数的SRN网络在所述训练集上的误差大小；
S205、判断所述当前迭代过程中最优的粒子位置的损失值是否小于全局最优粒子位置的损失值，若是，则更新所述全局最优粒子位置，否则不做处理；
S206、判断是否达到训练终止条件，若是，跳转至S207，否则，跳转到S202进入下一迭代过程；
S207、根据所述全局最优粒子位置确定SRN网络的网络参数，以作为训练完成的SRN网络。
在得到训练完成的SRN网络之后，基于训练完成的SRN网络实现人脸图像去模糊的流程如图3所示，包括：利用训练完成的SRN网络恢复原始人脸图像的低频信息，即局部纹理信息；利用边缘检测算法提取原始人脸图像的高频信息，即全局拓扑结构信息；最后再将原始人脸图像、局部纹理信息、全局拓扑结构信息进行融合，得到去模糊的人脸图像，即目标人脸图像。
具体可以选用Canny算子作为上述边缘检测算法，Canny算子是一种多级边缘检测算法，该算子最初的提出是为了能够得到一个最优的边缘检测，即：检测到的边缘要尽可能跟实际的边缘接近并尽可能的多，同时，要尽量降低噪声对边缘检测的干扰。实际应用中，还可以选取robert算子、Sobel算子、Laplace算子等，本实施例对此不做限定。
本实施例所提供一种基于改进多尺度循环网络的人脸图像去模糊方法，兼顾GSA和PSO各自的优点，将二者应用到SRN网络的训练过程中，从而有效提升SRN网络的收敛速度和网络精度。在此基础之上，利用训练完成的SRN网络提取原始人脸图像的局部纹理信息，利用边缘检测算法提取原始人脸图像的全局拓扑结构信息，最终对局部纹理信息、全局拓扑结构信息、原始人脸图像进行融合，得到去模糊的目标人脸图像，最大程度恢复模糊人脸图像的信息，提高人脸图像去模糊效果，显著提升基于人脸图像的人脸识别效率。
下面以实际应用为例，详细介绍本申请提供的一种基于改进多尺度循环网络的人脸图像去模糊方法实施例二，实施例二基于前述实施例一实现，并在实施例一的基础上进行了一定程度上的拓展。
如图4所示，实施例二包括以下步骤：
S401、获取训练集；
训练集为30000张1920*1080的模糊人脸图像，将其作为输入数据Ii(i＝0,1,2...,29998,29999)。
S402、初始化SRN网络；
数据预处理设置：均值mean为127.5，方差scale为0.01254，图像随机镜像，输入数据顺序随机。初始化神经元之间的网络连接权值W，设为均值为0的均匀分布。另外，设置激活函数为ReLU函数，学习速率η固定为0.01。
S403、初始化PSO参数和GSA参数；
初始化PSO参数和GSA参数时，设置下降系数α为20，初始引力常数G0为1，质量和加速度均为0，粒子规模N为25，最大迭代次数tmax为1000，加速系数c1、c2、c3均为1.49，初始质量M和加速度a均为0，惯性权重w`从0.4到0.9线性增加，初始速度v为[0,1]间有间隔的随机值。
S404、根据PSO和GSA，分别计算粒子位置的第一更新结果和第二更新结果；
具体的，采用PSO方法计算下一迭代过程中粒子的位置，得到第一更新结果；采用GSA方法，根据依据PSO方法的计算过程中得出的粒子加速度，计算下一迭代过程中粒子的位置，得到第二更新结果。
此处的更新过程较为繁琐，将在下文进行详细介绍，此处不再展开。
S405、更新SRN网络的网络参数；
在每次迭代中，分别根据第一更新结果和第二更新结果更新SRN网络的权值W，得到两种不同网络参数的SRN网络。
S406、计算SRN网络的损失值，判断是否达到训练终止条件；若是，跳转到S404，否则跳转至S407；
根据损失函数分别计算两种SRN网络的损失值，确定损失值较小的SRN网络，同时得到第一更新结果和第二更新结果中较优的更新结果。如果已经达到训练终止条件，例如损失值达到阈值范围的极小值或当前迭代次数达到最大迭代次数tmax，则停止算法；如果还未达到训练终止条件，将较优的更新结果作为下一迭代过程的初始值，返回S404，继续迭代。
损失函数如下式所示：
其中，m表示输出节点数；q表示训练样本数；gi表示经训练样本经过SRN网络后的预测输出；σ为训练样本的实际输出。
S407、提取原始人脸图像的局部纹理信息；
该过程主要就是将模糊的原始人脸图像作为输入，送入上述已完成训练的SRN网络中，通过网络的前向结构，得到最终生成的清晰图片，继而获取图片局部纹理信息Li。
S408、提取原始人脸图像的全局拓扑结构信息；
将模糊的原始人脸图像作为Canny算子的输入，利用该算子优秀的边缘检测能力，提取全局拓扑结构结构信息Oi。
S409、信息融合。
将Canny算子提取的全局拓扑结构结构信息Oi、SRN网络提取的局部纹理信息Li和原始人脸图像Ii进行融合，最终得到输出结果fouti，即为去模糊后的图像，融合过程如下式所示：
fouti＝Ffuse(Oi，Li，Ii)
其中，Ffuse()为融合函数，其功能是将三个输入矩阵相加。
如前文所述，实施例二的S404包括第一更新结果的计算过程和第二更新结果的计算过程，其中第一更新结果的计算过程如图5所示，包括以下步骤：
S501、根据初始引力常数和当前迭代次数，确定当前迭代过程的引力常数；根据所述粒子种群中各个粒子的位置，确定目标粒子与各个非目标粒子之间的距离，其中所述目标粒子为所述粒子种群中的任意一个粒子；
S502、确定当前迭代过程中所述目标粒子对应的损失值，并确定当前迭代过程中所述粒子种群中各个粒子对应的损失值的最大值和最小值；
S503、根据所述目标粒子对应的损失值、所述最大值和所述最小值，确定所述目标粒子的质量；
S504、根据所述当前迭代过程的引力常数、所述目标粒子与各个非目标粒子之间的距离、所述目标粒子的质量，确定所述目标粒子受到的引力合力；
S505、根据所述引力合力和所述目标粒子的质量，确定所述目标粒子在当前迭代过程中加速度；
S506、根据所述加速度，确定所述目标粒子在下一迭代过程中的位置和速度，作为第一更新结果。
如图6所示，实施例二中第二更新结果的计算过程包括以下步骤：
S601、根据损失函数，确定目标粒子截止到当前迭代过程的原始最优位置；根据目标改进公式对所述原始最优位置进行改进，得到所述目标粒子的改进最优位置；
S602、根据损失函数，选取所述原始最优位置和所述改进最优位置中较优的位置，作为所述目标粒子对应的局部最优位置；
S603、选取所述粒子种群各个粒子对应的局部最优位置中的最优位置，作为全局最优位置；
S604、根据所述局部最优位置、所述全局最优位置、所述加速度，确定所述目标粒子在下一迭代过程中的位置和速度，作为第二更新结果。
下面结合图5和图6，对上述S404进行详细介绍，如图7所示，在每次迭代过程中，GSA和PSO根据如下步骤更新参数：
S701、计算引力常量G(t)，粒子i和粒子j之间的欧几里得距离Rij(t)，如下式所示：
Rij(t)＝||xi(t)xj(t)||2
其中，α为下降系数；G0为初始引力常数；tmax为最大迭代次数；xi(t)和xj(t)分别表示第t次迭代中粒子i和粒子j的位置。
S702、计算粒子i在第d维空间上受其它粒子的引力合力
如下式所示：/>
其中，
和/>
分别表示粒子i和j在第t次迭代中第d维空间上的位置；Mi(t)、Mj(t)分别表示在第t次迭代中受力粒子的惯性质量和施力粒子的惯性质量；ε为一个很小的常量；G(t)表示在第t次迭代中的引力常量；Rij(t)表示在第t次迭代中粒子i和粒子j的欧几里得距离；randj为在[0,1]范围间随机数。
S703、计算粒子i对应的损失值fi(t)；
所谓粒子i对应的损失值，即根据粒子i位置确定网络参数的SRN网络在训练集上的损失程度，本实施例用该损失值衡量粒子位置的优劣程度，具体的，损失值越小表明粒子位置越优秀。损失函数如下式所示：
其中，m表示输出节点数；q表示训练样本数；gi表示经训练样本经过SRN网络后的预测输出；σ为训练样本的实际输出。
S704、计算粒子i的质量Mi(t)，如下式所示：
其中，fi(t)表示粒子i在第t次迭代中对应的损失值；best(t)表示粒子种群在第t次迭代中的最小的损失值；worst(t)表示粒子种群在第t次迭代中的最大的损失值。
S705、计算粒子i在第d维空间上的加速度
如下式所示：
其中，Fi d(t)表示第t次迭代中第d维空间上，粒子i受其它粒子引力合力作用；Mi(t)表示粒子i在第t次迭代过程中的质量。
S706、计算粒子i在t+1次迭代过程中在d维空间上的速度
和位置
得到粒子位置的第一更新结果，如下式所示：
其中，randi表示范围在[0,1]间随机数；
和/>
分别表示粒子i在第t次迭代中第d维空间中的速度和位置；/>
表示第t次迭代中第d维空间上粒子i在引力合力作用下的加速度。/>
S707、计算粒子i的对应的局部最优解xi，best；
首先，确定粒子i在截止到第t次迭代中搜索到的最优位置，即从第1次到第t+1次迭代过程中搜索到的最优位置，记为原始最优位置
然后，根据目标改进公式对原始最优位置进行改进，得到改进最优位置，如下式所示：
其中，N是粒子的总数；rand表示[0,1]之间的随机数。
通过比较粒子i的原始最优位置和改进最优位置对应的损失值，取两者中损失值较小的位置作为粒子i对应的局部最优解xi，best。
S708、计算PSO和GSA融合后的粒子的速度vi(t+1)，如下式所示：vi(t+1)＝w`vi(t)+c1randai(t)+c2rand(xi，best-xi(t))+c3rand(xbest-xi(t))
其中，vi(t)表示粒子i在第t次迭代中的速度；w`为惯性权重，用于均衡粒子的探索能力与开发能力；xi，best表示PSO算法在第t次迭代中粒子i对应的局部最优解；xbest表示PSO算法在第t次迭代中粒子种群的最优位置，即全局最优解；rand表示[0,1]之间的随机数；c1、c2、c3表示加速系数，其数值被调整，可以平衡引力和记忆以及社会信息对搜索的影响；a表示粒子i在引力合力作用下的加速度。
S709、计算PSO和GSA融合后粒子i第t+1次迭代中的位置xi(t+1)，即粒子位置的第二更新结果，如下式所示：
其中vi(t+1)表示粒子i在第t+1次迭代中的速度；xi(t)表示粒子i在第t次迭代中的位置。
最终，根据前述S405和S406，从第一更新结果和第二更新结果中选取粒子位置的最终更新结果
具体过程如下：首先根据S703，计算S706中/>
对应的损失值f1i(t)和S709中xi(t+1)对应的损失值f2i(t)，然后比较f1i(t)和f2i(t)的大小，取最大者作为在本次迭代的最优粒子/>
从而保证了最优粒子的获得。
基于上述实施例二的实现流程和参数设置，经试验，该方法可以显著提高SRN的收敛速度，图8为普通SRN网络与通过PSO和GSA训练得到的SRN网络的收敛速度对比图。另外，该方法对图像进行去模糊的效果较好。最后，如若将该方法应用到人脸识别网络中，以Resnet34为基础的人脸识别网络进行人脸识别，识别结果如表1所示，可见该方法能够有效提升识别网络对模糊人脸的识别率：
表1
| 图像 | 识别率(％) |
| 人脸图像 | 78 |
| 通过本申请方法去模糊化的人脸图像 | 81 |
可见，本实施例提供的一种基于改进多尺度循环网络的人脸图像去模糊方法，通过PSO优化GSA的局部搜索能力，形成一套兼顾GSA和PSO优点的算法，并将其应用到SRN的权值更新中，从而有效提高了SRN的收敛速度和网络精度。在图像去模糊过程中，先利用训练完成的SRN提取原始人脸图像的局部纹理信息，利用Canny算子提取原始人脸图像的全局拓扑结构信息，最后将全局拓扑结构信息、局部纹理信息和原始人脸图像进行融合，最终得到去模糊的目标人脸图像。该方法可很大程度恢复模糊图片信息，达到去模糊的效果，如果将去模糊后的图像输入人脸识别网络进行识别，将显著提升模糊人脸识别率。
下面对本申请实施例提供的一种基于改进多尺度循环网络的人脸图像去模糊装置进行介绍，下文描述的一种基于改进多尺度循环网络的人脸图像去模糊装置与上文描述的一种基于改进多尺度循环网络的人脸图像去模糊方法可相互对应参照。
如图9所示，本实施例的基于改进多尺度循环网络的人脸图像去模糊装置，包括：
训练模块901：用于根据训练集，利用GSA方法和PSO方法对SRN网络进行训练；
纹理信息提取模块902：用于利用训练完成的SRN网络，提取原始人脸图像的局部纹理信息；
拓扑信息提取模块903：用于利用边缘检测算法，提取所述原始人脸图像的全局拓扑结构信息；
融合模块904：用于对所述原始人脸图像、所述局部纹理信息、所述全局拓扑结构信息进行融合，得到目标人脸图像。
本实施例的基于改进多尺度循环网络的人脸图像去模糊装置用于实现前述的基于改进多尺度循环网络的人脸图像去模糊方法，因此该装置中的具体实施方式可见前文中的基于改进多尺度循环网络的人脸图像去模糊方法的实施例部分，例如，训练模块901、纹理信息提取模块902、拓扑信息提取模块903、融合模块904，分别用于实现上述基于改进多尺度循环网络的人脸图像去模糊方法中步骤S101，S102，S103，S104。所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再展开介绍。
另外，由于本实施例的基于改进多尺度循环网络的人脸图像去模糊装置用于实现前述的基于改进多尺度循环网络的人脸图像去模糊方法，因此其作用与上述方法的作用相对应，这里不再赘述。
此外，本申请还提供了一种基于改进多尺度循环网络的人脸图像去模糊设备，包括：
存储器：用于存储计算机程序；
处理器：用于执行所述计算机程序，以实现如上文所述的基于改进多尺度循环网络的人脸图像去模糊方法的步骤。
最后，本申请提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如上文所述的基于改进多尺度循环网络的人脸图像去模糊方法的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的方案进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (9)
1.一种基于改进多尺度循环网络的人脸图像去模糊方法，其特征在于，包括：
根据训练集，利用GSA方法和PSO方法对SRN网络进行训练；
利用训练完成的SRN网络，提取原始人脸图像的局部纹理信息；
利用边缘检测算法，提取所述原始人脸图像的全局拓扑结构信息；
对所述原始人脸图像、所述局部纹理信息、所述全局拓扑结构信息进行融合，得到目标人脸图像；
其中，所述根据训练集，利用GSA方法和PSO方法对SRN网络进行训练，包括：
S1、初始化粒子种群，所述粒子种群包括预设数量的粒子；
S2、在当前迭代过程中，根据PSO方法计算下一迭代过程中粒子的位置，得到第一更新结果，并根据GSA方法计算下一迭代过程中粒子的位置，得到第二更新结果；
S3、根据训练集和损失度函数，从所述第一更新结果和所述第二更新结果中选取当前迭代过程中最优的粒子位置，其中所述损失度函数用于衡量根据粒子位置确定网络参数的SRN网络在所述训练集上的误差大小；
S4、判断所述当前迭代过程中最优的粒子位置的损失值是否小于全局最优粒子位置的损失值，若是，则更新所述全局最优粒子位置；
S5、判断是否达到训练终止条件，若是，则根据所述全局最优粒子位置确定SRN网络的网络参数，以作为训练完成的SRN网络；否则，跳转到S2进入下一迭代过程。
2.如权利要求1所述的方法，其特征在于，所述根据PSO方法计算下一迭代过程中粒子的位置，得到第一更新结果，包括：
根据初始引力常数和当前迭代次数，确定当前迭代过程的引力常数；根据所述粒子种群中各个粒子的位置，确定目标粒子与各个非目标粒子之间的距离，其中所述目标粒子为所述粒子种群中的任意一个粒子；
确定当前迭代过程中所述目标粒子对应的损失值，并确定当前迭代过程中所述粒子种群中各个粒子对应的损失值的最大值和最小值；
根据所述目标粒子对应的损失值、所述最大值和所述最小值，确定所述目标粒子的质量；
根据所述当前迭代过程的引力常数、所述目标粒子与各个非目标粒子之间的距离、所述目标粒子的质量，确定所述目标粒子受到的引力合力；
根据所述引力合力和所述目标粒子的质量，确定所述目标粒子在当前迭代过程中加速度；
根据所述加速度，确定所述目标粒子在下一迭代过程中的位置和速度，作为第一更新结果。
3.如权利要求2所述的方法，其特征在于，所述根据GSA方法计算下一迭代过程中粒子的位置，得到第二更新结果，包括：
根据损失函数，确定目标粒子截止到当前迭代过程的原始最优位置；根据目标改进公式对所述原始最优位置进行改进，得到所述目标粒子的改进最优位置；
根据损失函数，选取所述原始最优位置和所述改进最优位置中较优的位置，作为所述目标粒子对应的局部最优位置；
选取所述粒子种群各个粒子对应的局部最优位置中的最优位置，作为全局最优位置；
根据所述局部最优位置、所述全局最优位置、所述加速度，确定所述目标粒子在下一迭代过程中的位置和速度，作为第二更新结果。
4.如权利要求3所述的方法，其特征在于，所述根据目标改进公式对所述原始最优位置进行改进，得到所述目标粒子的改进最优位置，包括：
根据目标改进公式对所述原始最优位置进行改进，得到所述目标粒子的改进最优位置，所述目标改进公式为：
其中，
是粒子i的原始最优位置，N是所述粒子种群的大小，rand表示[0,1]之间的随机数，/>
是粒子i在第t次迭代过程中在d维空间的速度。
5.如权利要求1所述的方法，其特征在于，所述根据训练集和损失度函数，从所述第一更新结果和所述第二更新结果中选取当前迭代过程中最优的粒子位置，包括：
根据训练集和损失度函数，从所述第一更新结果和所述第二更新结果中选取当前迭代过程中最优的粒子位置，所述损失度函数为：
其中，q表示所述训练集的样本数量，m表示输出节点数量，gi表示SRN网络输出的第i个输出节点的预测结果，σ为实际结果。
6.如权利要求1-5任意一项所述的方法，其特征在于，所述利用边缘检测算法，提取所述原始人脸图像的全局拓扑结构信息，包括：
利用Canny算子，提取所述原始人脸图像的全局拓扑结构信息。
7.一种基于改进多尺度循环网络的人脸图像去模糊装置，其特征在于，包括：
训练模块：用于根据训练集，利用GSA方法和PSO方法对SRN网络进行训练；
纹理信息提取模块：用于利用训练完成的SRN网络，提取原始人脸图像的局部纹理信息；
拓扑信息提取模块：用于利用边缘检测算法，提取所述原始人脸图像的全局拓扑结构信息；
融合模块：用于对所述原始人脸图像、所述局部纹理信息、所述全局拓扑结构信息进行融合，得到目标人脸图像；
其中，所述根据训练集，利用GSA方法和PSO方法对SRN网络进行训练，包括：
S1、初始化粒子种群，所述粒子种群包括预设数量的粒子；
S2、在当前迭代过程中，根据PSO方法计算下一迭代过程中粒子的位置，得到第一更新结果，并根据GSA方法计算下一迭代过程中粒子的位置，得到第二更新结果；
S3、根据训练集和损失度函数，从所述第一更新结果和所述第二更新结果中选取当前迭代过程中最优的粒子位置，其中所述损失度函数用于衡量根据粒子位置确定网络参数的SRN网络在所述训练集上的误差大小；
S4、判断所述当前迭代过程中最优的粒子位置的损失值是否小于全局最优粒子位置的损失值，若是，则更新所述全局最优粒子位置；
S5、判断是否达到训练终止条件，若是，则根据所述全局最优粒子位置确定SRN网络的网络参数，以作为训练完成的SRN网络；否则，跳转到S2进入下一迭代过程。
8.一种基于改进多尺度循环网络的人脸图像去模糊设备，其特征在于，包括：
存储器：用于存储计算机程序；
处理器：用于执行所述计算机程序，以实现如权利要求1-6任意一项所述的基于改进多尺度循环网络的人脸图像去模糊方法的步骤。
9.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如权利要求1-6任意一项所述的基于改进多尺度循环网络的人脸图像去模糊方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010367554.0A CN111583146B (zh) | 2020-04-30 | 2020-04-30 | 一种基于改进多尺度循环网络的人脸图像去模糊方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010367554.0A CN111583146B (zh) | 2020-04-30 | 2020-04-30 | 一种基于改进多尺度循环网络的人脸图像去模糊方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111583146A CN111583146A (zh) | 2020-08-25 |
| CN111583146B true CN111583146B (zh) | 2023-05-23 |
Family
ID=72111922
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010367554.0A Active CN111583146B (zh) | 2020-04-30 | 2020-04-30 | 一种基于改进多尺度循环网络的人脸图像去模糊方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111583146B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112070744B (zh) * | 2020-09-08 | 2022-11-22 | 济南博观智能科技有限公司 | 一种人脸识别的方法、系统、设备及可读存储介质 |
| CN112084936B (zh) * | 2020-09-08 | 2024-05-10 | 济南博观智能科技有限公司 | 一种人脸图像预处理方法、装置、设备及存储介质 |
| CN112084953B (zh) * | 2020-09-10 | 2024-05-10 | 济南博观智能科技有限公司 | 一种人脸属性识别的方法、系统、设备及可读存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104331893A (zh) * | 2014-11-14 | 2015-02-04 | 东南大学 | 一种复杂图像多阈值分割方法 |
| CN109214327A (zh) * | 2018-08-29 | 2019-01-15 | 浙江工业大学 | 一种基于pso的反人脸识别方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7636700B2 (en) * | 2004-02-03 | 2009-12-22 | Hrl Laboratories, Llc | Object recognition system incorporating swarming domain classifiers |
| CN101261677B (zh) * | 2007-10-18 | 2012-10-24 | 周春光 | 人脸的特征提取方法 |
| CN103679139B (zh) * | 2013-11-26 | 2017-08-15 | 闻泰通讯股份有限公司 | 基于粒子群优化bp网络的人脸识别方法 |
| CN103927531B (zh) * | 2014-05-13 | 2017-04-05 | 江苏科技大学 | 一种基于局部二值和粒子群优化bp神经网络的人脸识别方法 |
| CN108932727B (zh) * | 2017-12-29 | 2021-08-27 | 浙江宇视科技有限公司 | 人脸跟踪方法和装置 |
| CN109903237B (zh) * | 2019-01-23 | 2023-04-07 | 复旦大学 | 一种基于分离低高频的多尺度人脸图像去模糊方法 |
-
2020
- 2020-04-30 CN CN202010367554.0A patent/CN111583146B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104331893A (zh) * | 2014-11-14 | 2015-02-04 | 东南大学 | 一种复杂图像多阈值分割方法 |
| CN109214327A (zh) * | 2018-08-29 | 2019-01-15 | 浙江工业大学 | 一种基于pso的反人脸识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111583146A (zh) | 2020-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111583146B (zh) | 一种基于改进多尺度循环网络的人脸图像去模糊方法 | |
| CN109559320B (zh) | 基于空洞卷积深度神经网络实现视觉slam语义建图功能的方法及系统 | |
| CN108596053B (zh) | 一种基于ssd和车辆姿态分类的车辆检测方法和系统 | |
| Zhu et al. | A three-pathway psychobiological framework of salient object detection using stereoscopic technology | |
| US9053358B2 (en) | Learning device for generating a classifier for detection of a target | |
| CN109214403B (zh) | 图像识别方法、装置及设备、可读介质 | |
| CN111508002A (zh) | 一种小型低飞目标视觉检测跟踪系统及其方法 | |
| WO2021088365A1 (zh) | 确定神经网络的方法和装置 | |
| CN111310821B (zh) | 多视图特征融合方法、系统、计算机设备及存储介质 | |
| CN111160229B (zh) | 基于ssd网络的视频目标检测方法及装置 | |
| CN114332578A (zh) | 图像异常检测模型训练方法、图像异常检测方法和装置 | |
| CN111260660B (zh) | 一种基于元学习的3d点云语义分割迁移方法 | |
| CN111783551A (zh) | 基于贝叶斯卷积神经网络的对抗样本防御方法 | |
| CN113888461A (zh) | 基于深度学习的小五金件缺陷检测方法、系统及设备 | |
| CN112287906B (zh) | 一种基于深度特征融合的模板匹配跟踪方法及系统 | |
| KR20200023221A (ko) | 딥러닝 기반의 실시간 대상 추적 방법 및 시스템 | |
| CN110569706A (zh) | 一种基于时间和空间网络的深度集成目标跟踪算法 | |
| CN112052771A (zh) | 一种对象重识别方法及装置 | |
| CN113052184A (zh) | 一种基于两阶段局部特征对齐的目标检测方法 | |
| CN110751027A (zh) | 一种基于深度多示例学习的行人重识别方法 | |
| CN116229112A (zh) | 一种基于多重注意力的孪生网络目标跟踪方法 | |
| CN113516713B (zh) | 一种基于伪孪生网络的无人机自适应目标跟踪方法 | |
| CN113763420A (zh) | 一种目标跟踪方法、系统及存储介质和终端设备 | |
| CN111815677A (zh) | 目标追踪方法、装置、终端设备和可读存储介质 | |
| CN111860054A (zh) | 一种卷积网络训练方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |