CN114418897A - 眼部光斑图像的修复方法、装置、终端设备及存储介质 - Google Patents
眼部光斑图像的修复方法、装置、终端设备及存储介质 Download PDFInfo
- Publication number
- CN114418897A CN114418897A CN202210231189.XA CN202210231189A CN114418897A CN 114418897 A CN114418897 A CN 114418897A CN 202210231189 A CN202210231189 A CN 202210231189A CN 114418897 A CN114418897 A CN 114418897A
- Authority
- CN
- China
- Prior art keywords
- image
- eye
- light spot
- sample
- repaired
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 239000011521 glass Substances 0.000 claims abstract description 44
- 230000008439 repair process Effects 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000013528 artificial neural network Methods 0.000 claims description 60
- 238000012549 training Methods 0.000 claims description 35
- 230000008447 perception Effects 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 18
- 230000003042 antagnostic effect Effects 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 7
- 239000000126 substance Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 238000005520 cutting process Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 101100409308 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) adv-1 gene Proteins 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请适用于图像处理技术领域，提供了一种眼部光斑图像的修复方法、装置、终端设备及存储介质，所述修复方法包括：获取待处理图像，所述待处理图像是指眼镜上带有光斑的眼部图像；将所述待处理图像输入到光斑去除网络中，得到眼部预测图像和光斑区域预测图像；根据所述待处理图像和所述光斑区域预测图像，生成待修复眼部图像；基于所述光斑区域预测图像、所述待修复眼部图像以及修复网络，得到目标眼部图像，所述目标眼部图像为所述修复网络修复后的眼部图像。上述方案不仅可以去除眼镜上存在的光斑，还可以还原人像中的眼部细节，从而提高成像质量。
Description
技术领域
本申请属于图像处理技术领域，尤其涉及一种眼部光斑图像的修复方法、装置、终端设备及存储介质。
背景技术
随着智能电子设备的不断发展，其拍摄功能早已摆脱了单一的模式，变得越来越强大，而互联网技术、智能电子设备以及影像技术的结合，使得各种人脸编辑以及美化的拍摄功能层出不穷，无一不展示着人们对智能电子设备的拍摄效果要求越来越高，为了追求更高级的拍摄效果，在进行拍摄时，人们通常选用补光灯进行补光拍摄，但对戴眼镜的用户进行补光拍摄时，镜片上会不可避免且高频率的出现光斑，而且眼镜上存在的光斑会降低人像的美感以及成像质量。
发明内容
本申请实施例提供了一种眼部光斑图像的修复方法、装置、终端设备及存储介质，可以去除眼镜上存在的光斑并还原人像中的眼部细节，从而提高成像质量。
本申请实施例的第一方面提供了一种眼部光斑图像的修复方法，所述修复方法包括：
获取待处理图像，所述待处理图像是指眼镜上带有光斑的眼部图像；
将所述待处理图像输入到光斑去除网络中，得到眼部预测图像和光斑区域预测图像，所述眼部预测图像为所述光斑去除网络基于所述待处理图像预测出的去除光斑后的眼部图像，所述光斑区域预测图像为所述光斑去除网络基于所述待处理图像预测出的光斑区域图像；
根据所述待处理图像和所述光斑区域预测图像，生成待修复眼部图像，所述待修复眼部图像中待修复区域的位置与所述光斑区域预测图像中光斑区域的位置相对应；
基于所述光斑区域预测图像、所述待修复眼部图像以及修复网络，得到目标眼部图像，所述目标眼部图像为所述修复网络修复后的眼部图像。
本申请实施例的第二方面提供了一种眼部光斑图像的修复装置，所述修复装置包括：
获取模块，用于获取待处理图像，所述待处理图像是指眼镜上带有光斑的眼部图像；
光斑区域获取模块，用于将所述待处理图像输入到光斑去除网络中，得到眼部预测图像和光斑区域预测图像，所述眼部预测图像为所述光斑去除网络基于所述待处理图像预测出的去除光斑后的眼部图像，所述光斑区域预测图像为所述光斑去除网络基于所述待处理图像预测出的光斑区域图像；
生成模块，用于根据所述待处理图像和所述光斑区域预测图像，生成待修复眼部图像，所述待修复眼部图像中待修复区域的位置与所述光斑区域预测图像中光斑区域的位置相对应；
光斑修复模块，用于基于所述光斑区域预测图像、所述待修复眼部图像以及修复网络，得到目标眼部图像，所述目标眼部图像为所述修复网络修复后的眼部图像。
本申请实施例的第三方面提供了一种终端设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的眼部光斑图像的修复方法。
本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的眼部光斑图像的修复方法。
本申请实施例的第五方面提供了一种计算机程序产品，当所述计算机程序产品在终端设备上运行时，使得所述终端设备执行上述第一方面所述的眼部光斑图像的修复方法。
本申请实施例与现有技术相比存在的有益效果是：本申请首先通过将获取到的带有光斑的眼部图像输入到光斑去除网络中，获取光斑去除网络预测得到的去除光斑后的眼部预测图像以及光斑区域预测图像，其次根据待处理图像和光斑区域预测图像，确定出待修复眼部图像，其中待修复眼部图像中待修复区域的位置与光斑区域预测图像中光斑区域的位置相对应，最后利用修复网络，根据光斑区域预测图像和待修复眼部图像，对待修复眼部图像中的待修复区域进行修复，以还原人像中的眼部细节，上述方案不仅可以去除眼镜上存在的光斑，还可以还原人像中的眼部细节，从而提高成像质量。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例一提供的一种眼部光斑图像的修复方法的流程示意图；
图2是待修复眼部图像的获取流程示意图；
图3是本申请实施例二提供的一种眼部光斑图像的修复方法的流程示意图；
图4是目标样本图像的获取流程示意图；
图5是本申请实施例三提供的一种眼部光斑图像的修复方法的流程示意图；
图6是本申请实施例四提供的一种眼部光斑图像的修复装置的结构示意图；
图7是本申请实施例五提供的一种终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本申请实施例提供的眼部光斑图像的修复方法可以应用于手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等终端设备上，本申请实施例对终端设备的具体类型不作任何限制。
应理解，本实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本申请实施例提供一种眼部光斑图像的修复方法，可以应用于眼部图像中的光斑修复。例如在利用拍照类型的应用程序进行补光拍摄时，对于戴眼镜的用户，眼镜上通常会不可避免的出现光斑，降低了人像的美感以及成像质量，利用本申请实施例提供的眼部光斑图像修复方法，电子设备在检测到上述拍照类型的应用程序启动时，可以基于光斑去除网络获取带有光斑的眼部图像中的光斑区域并可以利用修复网络还原眼部光斑图像中光斑处的眼部细节，即可实现修复眼镜上带有光斑的眼部图像。
在对眼部光斑图像进行修复时，现有技术方案是通过投影计算的方式确定拍摄装置的屏幕在眼镜上的投影区域，进而根据投影区域确定眼部光斑图像中眼镜上的光斑区域，对光斑区域进行去除，并利用细节回填算法得到修复后的眼部图像，为了改善现有技术方案中眼部光斑图像修复方法的复杂性，本申请实施例采用深度学习的方法将眼部光斑图像的修复分为两个阶段，第一个阶段利用光斑去除网络获取眼部光斑图像中眼镜区域的光斑区域，第二阶段利用修复网络修复还原眼部光斑图像中眼镜区域的光斑处的眼部细节，每个阶段针对性的端对端的完成各自的任务，使眼部光斑图像的修复方法变得更加简单，且易于实现。
本申请实施例在采用深度学习的方法对眼部光斑图像进行修复之前，需要先获取训练数据集，训练数据集中包含有N个目标样本图像，由于无法直接采集得到眼镜上带有光斑的眼部图像分离后的光斑区域图像和去除光斑后的眼部图像，因此在第一神经网络进行训练时，无法利用去除光斑后的眼部图像以及光斑区域图像作为标签数据对第一神经网络进行有监督的训练，导致光斑去除网络无法训练。基于上述问题，本申请可以通过将光斑区域样本图像和无光斑眼部样本图像进行融合，制作目标样本图像，并将光斑区域样本图像（即目标样本图像对应的光斑区域图像）和无光斑眼部样本图像（即目标样本图像对应的去除光斑后的眼部图像）标签数据，对第一神经网络进行有监督的训练。
应理解，上述目标样本图像对应的无光斑眼部样本图像也可以作为修复网络的标签数据，并对第二神经网络进行有监督的训练。
为了说明本申请的技术方案，下面通过具体实施例来说明。
参见图1，示出了本申请实施例一提供的一种眼部光斑图像的修复方法的流程示意图。如图1所示，该眼部光斑图像的修复方法可以包括如下步骤：
步骤101，获取待处理图像。
其中，待处理图像是指眼镜上带有光斑的眼部图像。
在本申请实施例中，可以通过对眼镜上带有光斑的人脸图像进行裁剪以及更改尺寸大小获取待处理图像，例如，终端设备可以通过拍照类型的应用程序获取针对目标用户的眼镜上带有光斑的人脸图像，目标用户是指带有眼镜的用户，即在终端设备利用拍照类型的应用程序对目标用户进行补光拍摄时，可以获取到针对目标用户的眼镜上带有光斑的人脸图像，首先对该人脸图像进行裁剪，保留人脸图像上的眼部区域，并更改裁剪后人脸图像的尺寸为固定尺寸（例如高为128，宽为256），得到针对目标用户的眼镜上带有光斑的眼部图像，确定该眼部图像为待处理图像。
应理解，针对目标用户的眼镜上带有光斑的人脸图像还可以是终端设备中存储的图像，还可以是由其他设备发送给终端设备的图像，在此不做限定。
还应理解的是，终端设备通过拍照类型的应用程序获取针对目标用户的眼镜上带有光斑的人脸图像是指，终端设备在检测到拍照类型的应用程序开启时，调用终端设备中的图像采集装置实时采集到的图像，其中，图像采集装置可以是任一能够采集图像的装置，例如单目摄像头、双目摄像头等。
步骤102，将待处理图像输入到光斑去除网络中，得到眼部预测图像和光斑区域预测图像。
其中，眼部预测图像是指光斑去除网络基于待处理图像预测出的去除光斑后的眼部图像，光斑区域预测图像是指光斑去除网络基于待处理图像预测出的光斑区域图像，即，光斑去除网络可以用于对待处理图像（即眼镜上带有光斑的眼部图像）进行分离，分离出位于眼镜的反射层的光斑区域与位于眼镜的透射层的去除光斑后的眼部区域，分离后光斑去除网络可以输出光斑区域预测图像和眼部预测图像。
在本申请实施例中，光斑去除网络可以是指对第一神经网络训练完成后得到的网络，例如第一神经网络可以为生成对抗网络，由第一生成器和第一判别器两部分构成的，而光斑去除网络在使用时，通常只需采用生成对抗网络中的第一生成器，第一生成器可以基于输入的待处理图像，生成眼部预测图像和光斑区域预测图像。
在本申请实施例中，第一生成器和第一判别器网络结构的选择可以有多种，例如第一生成器可以选择全卷积神经网络的网络结构、unet网络结构以及unet变体结构等卷积神经网络结构；第一判别器可以选择二分类网络的网络结构或者其他分类网络加一个sigmoid层的网络结构。
其中，光斑去除网络在使用之前，首先需要对第一神经网络进行训练，可以通过训练数据集对第一神经网络进行训练，训练数据集中包含有N个目标样本图像，目标样本图像可以是指带有光斑的眼部样本图像，由于本申请中的光斑去除网络是用于基于输入的目标样本图像生成目标样本图像对应的光斑区域样本预测图像和第一眼部样本预测图像，但是根据直接采集得到的带有光斑的眼部样本图像，无法得出带有光斑的眼部样本图像对应的光斑区域样本图像和无光斑眼部样本图像，即在光斑去除网络的训练过程中无法使用标签数据，也无法进行有监督的训练，故通过直接采集得到的带有光斑的眼部图像无法作为目标样本图像。在本申请实施例中，目标样本图像可以通过将光斑区域样本图像和无光斑眼部样本图像进行融合得到，光斑区域样本图像可以从带有光斑的眼部样本图像中抠取得到，无光斑眼部样本图像可以通过图像采集装置直接采集得到。在得到目标样本图像后，可以将目标样本图像作为第一神经网络的输入，将目标样本图像对应的光斑区域样本图像和无光斑眼部样本图像作为训练过程中的标签数据，以此对第一神经网络的第一生成器以及第一判别器进行训练。
步骤103，根据待处理图像和光斑区域预测图像，生成待修复眼部图像。
在本申请实施例中，基于光斑去除网络输出的光斑区域预测图像，可以得出待修复眼部图像中的待修复区域，即待修复眼部图像中待修复区域的位置与光斑区域预测图像中光斑区域的位置相对应。由于待修复眼部图像与光斑区域预测图像的尺寸大小相同，均为固定尺寸，因此在待修复眼部图像与光斑区域预测图像位于相同的坐标系时，其待修复眼部图像中待修复区域的位置坐标与光斑区域预测图像中光斑区域的位置坐标相同，且待修复眼部图像中待修复区域的像素值与光斑区域预测图像中光斑区域的像素值对应相等。
示例性地，待修复眼部图像可以通过将待处理图像与光斑区域预测图像进行融合得到。
在一种可能的实施方式中，根据待处理图像和光斑区域预测图像，生成待修复眼部图像包括：
获取光斑区域预测图像对应的掩膜图像；
将掩膜图像与待处理图像融合，生成待修复眼部图像。
其中，图像掩膜是指用选定的图像、图形或物体，对需要处理的图像的全部或者局部进行遮挡，来控制图像处理的区域。对光斑区域预测图像进行图像掩膜处理，可以得到光斑区域预测图像对应的掩膜图像，具体地，掩膜图像的获取具体可以为将需要处理的图像中的感兴趣区域内的像素值设置为第一像素值，而除感兴趣区外的其他像素值设为第二像素值，第一像素值与第二像素值不相等。
在本申请实施例中，获取光斑区域预测图像对应的掩膜图像可以将光斑区域的像素值置为0，将非光斑区域的像素值置为1。将掩膜图像与待处理图像进行融合可以是指将掩膜图像与待处理图像对应位置处的像素值相乘，可以得出待修复眼部图像中每个像素点的像素值。
应理解，在本申请实施例中，待修复眼部图像中的待修复区域的像素值与掩膜图像中光斑区域的像素值相同。
示例性地，如图2所示为待修复眼部图像的获取流程图，首先待处理图像输入到光斑去除网络后，由光斑去除网络输出光斑区域预测图像和眼部预测图像，其次对光斑区域预测图像进行图像掩膜处理，得到光斑区域预测图像对应的掩膜图像，该掩膜图像中光斑区域的像素值为0，且除光斑区域外的其他区域的像素值为1，其中，图2为了好区分光斑区域以及非光斑区域，将掩膜图像中每个像素点的像素值扩大了255倍，因此，将该掩膜图像与待处理图像进行融合后可以得到如图2所示的待修复眼部图像，可以看出待修复眼部图像中的待修复区域的像素值与掩膜图像中光斑区域的像素值是相等的，待修复眼部图像中除待修复区域外的其他区域的像素值与待处理图像中对应区域的像素值相等。因此，可以得出待修复眼部图像中待修复区域为如图2所示的待修复眼部图像的黑色区域。
步骤104，基于光斑区域预测图像、待修复眼部图像以及修复网络，得到目标眼部图像。
其中，目标眼部图像是指待修复眼部图像基于修复网络修复后的眼部图像。
在本申请实施例中，修复网络可以是指对第二神经网络训练完成后得到的网络，采用部分卷积的思想，根据光斑区域预测图像和待修复眼部图像，确定待修复眼部图像中的非待修复区域，并利用修复网络对非待修复区域进行卷积操作。
为了还原出更为真实的目标眼部图像，第二神经网络同样可以采用生成对抗网络的网络结构，其中，若第二神经网络采用生成对抗网络的网络结构，在使用修复网络时通常利用生成对抗网络中的第二生成器基于输入的待修复眼部图像输出修复完成的目标眼部图像。且第二生成器可以采用unet变体结构，并利用部分卷积的思想将普通卷积替换为部分卷积。
在本申请实施例中，修复网络在使用之前，首先需要对第二神经网络进行训练，其中，第二神经网络包括第二生成器和第二判别器两部分，在对第二神经网络进行训练时需要对其中的第二生成器和第二判别器同时进行训练，第二判别器可以采用深度较浅的网络。
在一种可能的实施方式中，基于光斑区域预测图像、待修复眼部图像以及修复网络，得到目标眼部图像包括：
根据光斑区域预测图像对应的掩膜图像和待修复眼部图像，确定待修复眼部图像中的非待修复区域；
利用修复网络对待修复眼部图像中的非待修复区域进行部分卷积，并根据待修复眼部图像中的非待修复区域的部分卷积结果，更新待修复眼部图像中的待修复区域的像素值，直到待修复眼部图像中待修复区域的像素值更新完毕输出待修复眼部图像的修复图，确定修复图为目标眼部图像。
在本申请实施例中，由于光斑区域预测图像对应的掩膜图像和待修复眼部图像的尺寸相等，均为固定尺寸，因此可以将光斑区域预测图像对应的掩膜图像以及待修复眼部图像共同输入到修复网络中，首先根据光斑区域预测图像对应的掩膜图像和待修复眼部图像，确定待修复眼部图像中与掩膜图像中光斑区域的位置坐标不对应的其他区域为待修复眼部图像的非待修复区域，其次对待修复眼部图像的非待修复区域进行卷积运算，根据计算出的部分卷积结果，更新待修复眼部图像中的待修复区域的像素值，若待修复眼部图像中待修复区域的像素值未更新完毕，则继续对非待修复区域进行迭代卷积运算，获取部分卷积结果，继续更新待修复区域的像素值，直到待修复眼部图像中待修复区域的像素值更新完毕，就可以输出待修复眼部图像的修复图，即目标眼部图像。
在本申请实施例中，首先通过将获取到的带有光斑的眼部图像输入到光斑去除网络中，获取光斑去除网络预测得到的去除光斑后的眼部预测图像以及光斑区域预测图像，其次根据眼部预测图像和光斑区域预测图像，确定出待修复眼部图像，其中待修复眼部图像中待修复区域的位置与光斑区域预测图像中光斑区域的位置相对应，最后利用修复网络，根据光斑区域预测图像和待修复眼部图像，对待修复眼部图像中的待修复区域进行修复，以还原人像中的眼部细节，上述方案不仅可以去除眼镜上存在的光斑并可以还原人像中的眼部细节，以提高成像质量。
参见图3，示出了本申请实施例二提供的一种眼部光斑图像的修复方法的流程示意图。如图3所示，该眼部光斑图像的修复方法流程可以包括如下步骤：
步骤301，获取无光斑眼部样本图像和有光斑眼部样本图像。
在本申请实施例中，无光斑眼部图像是指眼镜区域不带有光斑的眼部图像，有光斑眼部样本图像是指眼镜区域带有光斑的眼部图像，其中，无光斑眼部样本图像和有光斑眼部样本图像可以是指针对不同目标用户的带有眼镜的眼部图像，也可以是指针对同一目标用户的带有眼镜的眼部图像。例如如图4所示的无光斑眼部样本图像和有光斑眼部样本图像，可以看出两个样本图像可以是针对不同目标用户的样本图像；在无光斑眼部样本图像和有光斑眼部样本图像是指针对同一目标用户的带有眼镜的眼部图像的情况下，无光斑眼部样本图像可以通过在无补光情况下拍摄得到，有光斑眼部样本图像可以通过补光拍摄得到。
步骤302，获取无光斑眼部样本图像中的眼镜区域和有光斑眼部样本图像中的光斑区域的交集，得到目标光斑区域。
在本申请实施例中，可以通过人工标记获取无光斑眼部样本图像中的眼镜区域和有光斑眼部样本图像中的光斑区域，人工标记无光斑眼部样本图像中的眼镜区域时，将眼镜区域的像素值置为1，其他区域的像素置为0，为了将眼镜区域与其他区域明显区分，在图4中将眼镜区域对应图像的像素值均扩大255倍；人工标记有光斑眼部样本图像中的光斑区域时，将光斑区域置为1，其他区域的像素置为0，同样为了将光斑区域与其他区域明显区分，在图4中将光斑区域对应的图像的像素值均扩大255倍，以此获取如图4中所示的眼镜区域和光斑区域。
示例性地，获取目标光斑区域对应的图像的像素值的具体可以通过以下等式：
mask reflec =mask reflec0 ∩mask trans
其中，mask reflec 是指图4中目标光斑区域对应的图像的像素值，mask reflec0 是指图4中光斑区域对应的图像的像素值，mask trans 是指图4中眼镜区域对应的图像的像素值。
步骤303，根据目标光斑区域，获取包含目标光斑区域的光斑区域样本图像。
在本申请实施例中，光斑区域样本图像是指如图4所示的目标样本图像的获取流程示意图中的目标光斑区域对应的图像。
步骤304，将光斑区域样本图像与无光斑眼部样本图像进行融合，得到目标样本图像。
在本申请实施例中，目标样本图像包含目标光斑区域和无光斑眼部样本图像中除目标光斑区域外的其他区域。
具体地，将光斑区域样本图像与无光斑眼部样本图像进行融合的具体可以通过以下等式：
I blend =I trans (1-mask reflec )+I reflec mask reflec
其中，I blend 是指目标样本图像中像素点的像素值，I trans 是指无光斑眼部样本图像中像素点的像素值，I reflec 是指有光斑眼部样本图像中像素点的像素值。
示例性地，利用上述融合时采用的公式，将图4中的目标光斑区域对应的图像与无光斑样本图像进行图像融合，可以得到如图4所示的目标样本图像。
在本申请实施例中，为了增强光斑去除网络的鲁棒性，可以在光斑区域样本图像与无光斑眼部样本图像进行融合之前，对无光斑眼部样本图像进行亮度、色度以及模糊度的随机扰动。
步骤305，基于目标样本图像，训练第一神经网络，得到光斑去除网络。
在本申请实施例中，可以将目标样本图像输入到第一神经网络中，并基于第一神经网络输出光斑区域样本预测图像与第一眼部样本预测图像，将通过调用得到的目标样本图像对应的光斑区域样本图像与无光斑眼部样本图像作为标签数据，基于该标签数据与第一神经网络输出光斑区域样本预测图像与第一眼部样本预测图像之间的损失值对第一神经网络进行训练，在损失值达到目标值时，可以得到光斑去除网络。
在一种可能的实施方式中，基于目标样本图像，训练第一神经网络，得到光斑去除网络包括：
基于目标样本图像和第一神经网络，获取目标样本图像对应的光斑区域样本预测图像和第一眼部样本预测图像；
获取光斑区域样本图像与光斑区域样本预测图像的感知损失值、对抗损失值以及梯度域损失值；
将光斑区域样本图像与光斑区域样本预测图像的感知损失值、对抗损失值以及梯度域损失值进行加权求和，得到光斑区域样本图像与光斑区域样本预测图像的总损失值；
获取无光斑眼部样本图像与第一眼部样本预测图像的感知损失值、对抗损失值以及梯度域损失值；
将无光斑眼部样本图像与第一眼部样本预测图像的感知损失值、对抗损失值以及梯度域损失值进行加权求和，得到无光斑眼部样本图像与第一眼部样本预测图像的总损失值；
根据光斑区域样本图像与光斑区域样本预测图像的总损失值和无光斑眼部样本图像与第一眼部样本预测图像的总损失值，训练第一神经网络，得到光斑去除网络。
在本申请实施例中，光斑区域样本预测图像为第一神经网络基于目标样本图像预测出的光斑区域图像，第一眼部样本预测图像为第一神经网络基于目标样本图像预测出的去除光斑后的眼部图像。
其中，在对第一神经网络进行训练时，为了从多角度对构成第一神经网络的第一生成器和第一判别器进行训练，可以采用多损失值对第一生成器以及第一判别器进行训练，且多角度对构成光斑去除网络的生成器和判别器进行训练可以包括：图像的高层信息、图像的低层信息以及图像在梯度域上的差异。
示例性地，获取光斑区域样本图像与光斑区域样本预测图像的总损失值具体可以通过下列等式：
L 1=ω 11 L feat1+ω 21 L adv1+ω 31 L excl1
其中，L 1是指光斑区域样本图像与光斑区域样本预测图像的总损失值；ω 11、ω 21、ω 31分别是指光斑区域样本图像与光斑区域样本预测图像的感知损失值、对抗损失值、梯度域损失值对应的权重系数，其取值可以为ω 11=0.1、ω 21=0.01、ω 31=1；L feat1是指光斑区域样本图像与光斑区域样本预测图像的感知损失值，通过将光斑区域样本图像与光斑区域样本预测图像分别送入VGG-19网络提取特征后计算得出，其主要利用了图像的高层信息；L adv1是指光斑区域样本图像与光斑区域样本预测图像的对抗损失值，即指对抗生成网络的损失值，其主要利用了图像的低层信息，使光斑区域样本预测图像的生成更具真实感；L excl1是指光斑区域样本图像与光斑区域样本预测图像的梯度域损失值，主要利用光斑区域样本预测图像在梯度上与光斑区域样本图像的差异性，在梯度上减少光斑区域样本预测图像与光斑区域样本图像之间的相关性。
示例性地，获取无光斑眼部样本图像与第一眼部样本预测图像的损失值具体可以通过下列等式：
L 2=ω 12 L feat2+ω 22 L adv2+ω 32 L excl2
其中，L 2是指无光斑眼部样本图像与第一眼部样本预测图像的总损失值；ω 12、ω 22、ω 32分别是指无光斑眼部样本图像与第一眼部样本预测图像的感知损失值、对抗损失值、梯度域损失值对应的权重系数，其取值可以为ω 12=0.1、ω 22=0.01、ω 32=1；L feat2是指无光斑眼部样本图像与第一眼部样本预测图像的感知损失值，通过将无光斑眼部样本图像与第一眼部样本预测图像分别送入VGG-19网络提取特征后计算得出，其主要利用了图像的高层信息；L adv2是指无光斑眼部样本图像与第一眼部样本预测图像的对抗损失值，即指对抗生成网络的损失值，其主要利用了图像的低层信息，使第一眼部样本预测图像的生成更具真实感；L excl2是指无光斑眼部样本图像与第一眼部样本预测图像的梯度域损失值，主要利用第一眼部样本预测图像在梯度上与无光斑眼部样本图像的差异性，在梯度上减少无光斑眼部样本图像与第一眼部样本预测图像之间的相关性。
应理解，无光斑眼部样本图像与第一眼部样本预测图像的感知损失值还可以通过将无光斑眼部样本图像与第一眼部样本预测图像分别送入VGG-16、Resnet-50、Mobilenet等神经网络提取特征后计算得出，同样，光斑区域样本图像与光斑区域样本预测图像的感知损失值也可以通过将光斑区域样本图像与光斑区域样本预测图像分别送入VGG-16、Resnet-50、Mobilenet等神经网络提取特征后计算得出。
步骤306，基于目标样本图像，训练第二神经网络，得到修复网络。
在本申请实施例中，可以将目标样本图像输入到第二神经网络中，并基于第二神经网络输出第二眼部样本预测图像，将通过调用得到的目标样本图像对应的无光斑眼部样本图像作为标签数据，基于该标签数据与第二神经网络输出第二眼部样本预测图像之间的损失值对第二神经网络进行训练，在损失值达到目标值时，可以得到修复网络。
在一种可能的实施方式中，基于目标样本图像，训练第二神经网络，得到修复网络包括：
基于目标样本图像和第二神经网络，获取目标样本图像对应的第二眼部样本预测图像；
获取无光斑眼部样本图像与第二眼部样本预测图像的感知损失值、第一风格损失值、第二风格损失值、对抗损失值、总变差损失值、第二眼部样本预测图像中的待修复区域的第一像素损失值以及第二眼部样本预测图像中的非待修复区域的第二像素损失值；
将无光斑眼部样本图像与第二眼部样本预测图像的感知损失值、第一风格损失值、第二风格损失值、对抗损失值、总变差损失值、第二眼部样本预测图像中的待修复区域的第一像素损失值以及第二眼部样本预测图像中的非待修复区域的第二像素损失值进行加权求和，得到无光斑眼部样本图像与第二眼部样本预测图像的总损失值；
根据无光斑眼部样本图像与第二眼部样本预测图像的总损失值，训练第二神经网络，得到修复网络。
在本申请实施例中，第二眼部样本预测图像是指第二神经网络基于目标样本图像预测出的修复后的眼部图像，第二神经网络是指未完成训练的修复网络。
其中，为了提高修复网络的修复精度，可以从多个角度获取无光斑眼部样本图像与第二眼部样本预测图像的损失值以及每个角度的损失值对应的权重系数，再根据每个角度的无光斑眼部样本图像与第二眼部样本预测图像的损失值以及对应的权重系数，对每个角度的无光斑眼部样本图像与第二眼部样本预测图像的损失值进行加权求和，得出无光斑眼部样本图像与第二眼部样本预测图像的总损失值。
在本申请实施例中，感知损失值可以是指从图像的高层信息考虑得到的损失值，第一风格损失值以及第二风格损失值可以是指从修复区域与第二眼部样本预测图像的整体风格保持一致的角度考虑得到的损失值，第一风格损失值是指第二眼部样本预测图像经过VGG-19得到的特征图与无光斑眼部样本图像经过VGG-19得到的特征图之间的损失值，第二风格损失值是指更新后的第二眼部样本预测图像经过VGG-19得到的特征图与无光斑眼部样本图像经过VGG-19得到的特征图之间的损失值，更新后的第二眼部样本预测图像是指将第二眼部样本预测图像中非待修复区域的像素值更新为待处理图像中对应区域的像素值之后的图像。对抗损失值可以是指从第二眼部样本预测图像的颜色更加真实等方面考虑得到的损失值，总变差损失值主要用于平滑缺失部分的内容（即待修复区域的内容），第一像素损失值和第二像素损失值分别计算无效像素（即待修复区域像素）和有效像素（即非待修复区域像素）在高维特征空间的损失值。
示例性地，获取无光斑眼部样本图像与第二眼部样本预测图像的损失值具体可以通过下列等式：
L total =ω 13 L vaild +ω 23 L hole +ω 33 L perceptual +ω 43(L styleout +L stylecomp )+ω 53 L tv +ω 63 L adv
其中，L total 是指无光斑眼部样本图像与第二眼部样本预测图像的损失值，ω 13、ω 23、ω 33、ω 43、ω 53、ω 63分别是指无光斑眼部样本图像与第二眼部样本预测图像的第二像素损失值、第一像素损失值、感知损失值、第一风格损失值和第二风格损失值、总变差损失值、对抗损失值对应的权重系数，其取值可以为ω 13=1、ω 23=6、ω 33=0.05、ω 43=120、ω 53=0.1、ω 63=0.1；L hole 是指无光斑眼部样本图像与第二眼部样本预测图像的第一像素损失值，L vaild 是指无光斑眼部样本图像与第二眼部样本预测图像的第二像素损失值，L perceptual 是指无光斑眼部样本图像与第二眼部样本预测图像的感知损失值，通过将无光斑眼部样本图像与第二眼部样本预测图像分别送入VGG-19网络提取特征后计算得出，L styleout 是指无光斑眼部样本图像与第二眼部样本预测图像的第一风格损失值，L stylecomp 是指无光斑眼部样本图像与第二眼部样本预测图像的第二风格损失值，L tv 是指无光斑眼部样本图像与第二眼部样本预测图像的总变差损失值，L adv 是指无光斑眼部样本图像与第二眼部样本预测图像的对抗损失值。
应理解，无光斑眼部样本图像与第二眼部样本预测图像的感知损失值还可以通过将无光斑眼部样本图像与第二眼部样本预测图像分别送入VGG-16、Resnet-50、Mobilenet等神经网络提取特征后计算得出。
步骤307，获取待处理图像。
步骤308，将待处理图像输入到光斑去除网络中，得到眼部预测图像和光斑区域预测图像。
步骤309，根据待处理图像和光斑区域预测图像，生成待修复眼部图像
步骤310，基于光斑区域预测图像、待修复眼部图像以及修复网络，得到目标眼部图像。
本实施例步骤307-310与前述实施例步骤101-104相同，可以相互参阅，本实施例在此不再赘述。
在本申请实施例中，通过将光斑区域样本图像和无光斑眼部样本图像进行融合，制作目标样本图像，并将光斑区域样本图像和无光斑眼部样本图像作为第一神经网络的标签数据，可以对第一神经网络进行有监督的训练，并且从多个角度获取无光斑眼部样本图像与第二眼部样本预测图像的总损失值，可以保证待修复区域与第二眼部样本预测图像整体风格的统一，提高了修复网络的修复精度。
参见图5，示出了本申请实施例三提供的一种眼部光斑图像的修复方法的流程示意图。如图5所示，该眼部光斑图像的修复方法可以包括如下步骤：
步骤501，获取待处理图像。
步骤502，将待处理图像输入到光斑去除网络中，得到眼部预测图像和光斑区域预测图像。
步骤503，根据待处理图像和光斑区域预测图像，生成待修复眼部图像。
步骤504，基于光斑区域预测图像、待修复眼部图像以及修复网络，得到目标眼部图像。
本实施例步骤501-504与前述实施例步骤101-104相同，可以相互参阅，本实施例在此不再赘述。
步骤505，将待处理图像、光斑区域预测图像对应的掩膜图像以及目标眼部图像进行融合，以将目标眼部图像中的非待修复区域的像素值更新为待处理图像中对应位置的像素值，得到更新后的目标眼部图像。
在本申请实施例中，在利用修复网络对待修复的眼部图像进行修复时，为了避免得出的目标眼部图像中的非待修复区域的像素值发生变化，可以将待处理图像、光斑区域预测图像对应的掩膜图像以及目标眼部图像进行融合，融合之后以保证目标眼部图像中非待修复区域的像素值与原始的待处理图像中的对应位置的像素值相等，因此可以保证目标眼部图像中的非待修复区域的像素值为待处理图像中的原始值，不发生变化。
在本申请实施例中，更新后的目标眼部图像具体可以通过以下等式得到：
I blendout =maskI trans +(1-mask)I out
其中，I blendout 是指更新后的目标眼部图像中的像素值，mask是指光斑区域预测图像对应的掩膜图像的像素值，且mask的取值为0或1，I trans 是指待处理图像中的像素值，I out 是指目标眼部图像的像素值。
通过上述公式，确保了更新后的目标样本图像中的非待修复区域的像素值保持不变，即与待处理图像中对应位置的像素值相等。
步骤506，将更新后的目标眼部图像和包含待处理图像的人脸图像进行融合，得到目标人脸图像。
在本申请实施例中，对更新后的目标眼部图像进行裁剪复原操作以及尺寸复原操作，将进行裁剪复原操作以及尺寸复原操作之后的目标眼部图像与包含待处理图像的人脸图像进行融合，即把进行裁剪逆操作以及尺寸复原操作之后的目标眼部图像还原到包含待处理图像的人脸图像上，得到最终的去除光斑并还原眼部细节的目标人脸图像。
在本申请实施例中，将待处理图像、光斑区域预测图像对应的掩膜图像以及目标眼部图像进行融合，避免了在经过修复网络重新生成目标眼部图像时，目标眼部图像的待修复区域像素也发生改变。
参见图6，示出了本申请实施例四提供的一种眼部光斑图像的修复装置的结构示意图，为了便于说明，仅示出了与本申请实施例相关的部分。
眼部光斑图像的修复装置具体可以包括如下模块：
获取模块601，用于获取待处理图像，待处理图像是指眼镜上带有光斑的眼部图像；
光斑区域获取模块602，用于将待处理图像输入到光斑去除网络中，得到眼部预测图像和光斑区域预测图像，眼部预测图像为光斑去除网络基于待处理图像预测出的去除光斑后的眼部图像，光斑区域预测图像为光斑去除网络基于待处理图像预测出的光斑区域图像；
生成模块603，用于根据待处理图像和光斑区域预测图像，生成待修复眼部图像，待修复眼部图像中待修复区域的位置与光斑区域预测图像中光斑区域的位置相对应；
光斑修复模块604，用于基于光斑区域预测图像、待修复眼部图像以及修复网络，得到目标眼部图像，目标眼部图像为修复网络修复后的眼部图像。
在本申请实施例中，眼部光斑图像的修复装置具体还可以包括如下模块：
样本图像获取模块，用于获取无光斑眼部样本图像和有光斑眼部样本图像，无光斑眼部样本图像是指眼镜区域不带有光斑的眼部图像，有光斑眼部样本图像是指眼镜区域带有光斑的眼部图像；
目标光斑确定模块，用于获取无光斑眼部样本图像中的眼镜区域和有光斑眼部样本图像中的光斑区域的交集，得到目标光斑区域；
光斑样本获取模块，用于根据目标光斑区域，获取包含目标光斑区域的光斑区域样本图像；
目标样本确定模块，用于将光斑区域样本图像与无光斑眼部样本图像进行融合，得到目标样本图像，目标样本图像包含目标光斑区域和无光斑眼部样本图像中除目标光斑区域外的其他区域；
第一训练模块，用于基于目标样本图像，训练第一神经网络，得到光斑去除网络；
第二训练模块，用于基于目标样本图像，训练第二神经网络，得到修复网络。
在本申请实施例中，第一训练模块具体还可以包括如下子模块：
光斑区域获取子模块，用于基于目标样本图像和第一神经网络，获取目标样本图像对应的光斑区域样本预测图像和第一眼部样本预测图像，光斑区域样本预测图像为第一神经网络基于目标样本图像预测出的光斑区域图像，第一眼部样本预测图像为第一神经网络基于目标样本图像预测出的去除光斑后的眼部图像；
第一损失值获取子模块，用于获取光斑区域样本图像与光斑区域样本预测图像的感知损失值、对抗损失值以及梯度域损失值；
第一求和子模块，用于将光斑区域样本图像与光斑区域样本预测图像的感知损失值、对抗损失值以及梯度域损失值进行加权求和，得到光斑区域样本图像与光斑区域样本预测图像的总损失值；
第二损失值获取子模块，用于获取无光斑眼部样本图像与第一眼部样本预测图像的感知损失值、对抗损失值以及梯度域损失值；
第二求和子模块，用于将无光斑眼部样本图像与第一眼部样本预测图像的感知损失值、对抗损失值以及梯度域损失值进行加权求和，得到无光斑眼部样本图像与第一眼部样本预测图像的总损失值；
第一训练子模块，用于根据光斑区域样本图像与光斑区域样本预测图像的总损失值和无光斑眼部样本图像与第一眼部样本预测图像的总损失值，训练第一神经网络，得到光斑去除网络。
在本申请实施例中，第二训练模块具体还可以包括如下子模块：
样本预测图像获取子模块，用于基于目标样本图像和第二神经网络，获取目标样本图像对应的第二眼部样本预测图像，第二眼部样本预测图像为第二神经网络基于目标样本图像预测出的修复后的眼部图像；
第三损失值获取子模块，用于获取无光斑眼部样本图像与第二眼部样本预测图像的感知损失值、第一风格损失值、第二风格损失值、对抗损失值、总变差损失值、第二眼部样本预测图像中的待修复区域的第一像素损失值以及第二眼部样本预测图像中的非待修复区域的第二像素损失值，第一风格损失值用于指示无光斑眼部样本图像与第二眼部样本预测图像之间的风格差异，第二风格损失值用于指示无光斑眼部样本图像与更新后的第二眼部样本预测图像之间的风格差异，更新后的第二眼部样本预测图像是指将第二眼部样本预测图像中的非待修复区域的像素值更新为待处理图像中对应位置的像素值之后的图像；
第三求和子模块，用于将无光斑眼部样本图像与第二眼部样本预测图像的感知损失值、第一风格损失值、第二风格损失值、对抗损失值、总变差损失值、第二眼部样本预测图像中的待修复区域的第一像素损失值以及第二眼部样本预测图像中的非待修复区域的第二像素损失值进行加权求和，得到无光斑眼部样本图像与第二眼部样本预测图像的总损失值；
第二训练子模块，用于根据无光斑眼部样本图像与第二眼部样本预测图像的总损失值，训练第二神经网络，得到修复网络。
在本申请实施例中，生成模块603具体可以包括如下子模块：
掩膜图像获取子模块，用于获取光斑区域预测图像对应的掩膜图像；
图像生成子模块，用于将掩膜图像与待处理图像融合，生成待修复眼部图像，待修复眼部图像中的待修复区域的像素值与掩膜图像中光斑区域的像素值相同。
在本申请实施例中，修复模块604具体可以包括如下子模块：
区域确定子模块，用于根据光斑区域预测图像对应的掩膜图像和待修复眼部图像，确定待修复眼部图像中的非待修复区域；
目标图像确定子模块，用于利用修复网络对待修复眼部图像中的非待修复区域进行部分卷积，并根据待修复眼部图像中的非待修复区域的部分卷积结果，更新待修复眼部图像中的待修复区域的像素值，直到待修复眼部图像中待修复区域的像素值更新完毕输出待修复眼部图像的修复图，确定修复图为目标眼部图像。
在本申请实施例中，眼部光斑图像的修复装置具体还可以包括如下模块：
融合模块，用于将待处理图像、光斑区域预测图像对应的掩膜图像以及目标眼部图像进行融合，以将目标眼部图像中的非待修复区域的像素值更新为待处理图像中对应位置的像素值，得到更新后的目标眼部图像，目标眼部图像中的非待修复区域是指目标眼部图像中与光斑区域预测图像中非光斑区域相对应的区域；
人脸图像确定模块，用于将更新后的目标眼部图像和包含待处理图像的人脸图像进行融合，得到目标人脸图像。
本申请实施例提供的眼部光斑图像的修复装置可以应用在前述方法实施例中，详情参见上述方法实施例的描述，在此不再赘述。
图7是本申请实施例五提供的终端设备的结构示意图。如图7所示，该实施例的终端设备700包括：至少一个处理器710（图7中仅示出一个）处理器、存储器720以及存储在所述存储器720中并可在所述至少一个处理器710上运行的计算机程序721，所述处理器710执行所述计算机程序721时实现上述眼部光斑图像的修复方法实施例中的步骤。
所述终端设备700可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备可包括，但不仅限于，处理器710、存储器720。本领域技术人员可以理解，图7仅仅是终端设备700的举例，并不构成对终端设备700的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器710可以是中央处理单元(Central Processing Unit，CPU)，该处理器710还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路 (Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器720在一些实施例中可以是所述终端设备700的内部存储单元，例如终端设备700的硬盘或内存。所述存储器720在另一些实施例中也可以是所述终端设备700的外部存储设备，例如所述终端设备700上配备的插接式硬盘，智能存储卡（Smart MediaCard, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器720还可以既包括所述终端设备700的内部存储单元也包括外部存储设备。所述存储器720用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器720还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（RandomAccess Memory，RAM）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
本申请实现上述实施例方法中的全部或部分流程，也可以通过一种计算机程序产品来完成，当所述计算机程序产品在终端设备上运行时，使得所述终端设备执行时可实现上述各个方法实施例中的步骤。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制。尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (10)
1.一种眼部光斑图像的修复方法，其特征在于，所述修复方法包括：
获取待处理图像，所述待处理图像是指眼镜上带有光斑的眼部图像；
将所述待处理图像输入到光斑去除网络中，得到眼部预测图像和光斑区域预测图像，所述眼部预测图像为所述光斑去除网络基于所述待处理图像预测出的去除光斑后的眼部图像，所述光斑区域预测图像为所述光斑去除网络基于所述待处理图像预测出的光斑区域图像；
根据所述待处理图像和所述光斑区域预测图像，生成待修复眼部图像，所述待修复眼部图像中待修复区域的位置与所述光斑区域预测图像中光斑区域的位置相对应；
基于所述光斑区域预测图像、所述待修复眼部图像以及修复网络，得到目标眼部图像，所述目标眼部图像为所述修复网络修复后的眼部图像。
2.如权利要求1所述的修复方法，其特征在于，所述修复方法还包括：
获取无光斑眼部样本图像和有光斑眼部样本图像，所述无光斑眼部样本图像是指眼镜区域不带有光斑的眼部图像，所述有光斑眼部样本图像是指眼镜区域带有光斑的眼部图像；
获取所述无光斑眼部样本图像中的眼镜区域和所述有光斑眼部样本图像中的光斑区域的交集，得到目标光斑区域；
根据所述目标光斑区域，获取包含所述目标光斑区域的光斑区域样本图像；
将所述光斑区域样本图像与所述无光斑眼部样本图像进行融合，得到目标样本图像，所述目标样本图像包含所述目标光斑区域和所述无光斑眼部样本图像中除所述目标光斑区域外的其他区域；
基于所述目标样本图像，训练第一神经网络，得到所述光斑去除网络；
基于所述目标样本图像，训练第二神经网络，得到所述修复网络。
3.如权利要求2所述的修复方法，其特征在于，所述基于所述目标样本图像，训练第一神经网络，得到所述光斑去除网络包括：
基于所述目标样本图像和所述第一神经网络，获取所述目标样本图像对应的光斑区域样本预测图像和第一眼部样本预测图像，所述光斑区域样本预测图像为所述第一神经网络基于所述目标样本图像预测出的光斑区域图像，所述第一眼部样本预测图像为所述第一神经网络基于所述目标样本图像预测出的去除光斑后的眼部图像；
获取所述光斑区域样本图像与所述光斑区域样本预测图像的感知损失值、对抗损失值以及梯度域损失值；
将所述光斑区域样本图像与所述光斑区域样本预测图像的感知损失值、对抗损失值以及梯度域损失值进行加权求和，得到所述光斑区域样本图像与所述光斑区域样本预测图像的总损失值；
获取所述无光斑眼部样本图像与所述第一眼部样本预测图像的感知损失值、对抗损失值以及梯度域损失值；
将所述无光斑眼部样本图像与所述第一眼部样本预测图像的感知损失值、对抗损失值以及梯度域损失值进行加权求和，得到所述无光斑眼部样本图像与所述第一眼部样本预测图像的总损失值；
根据所述光斑区域样本图像与所述光斑区域样本预测图像的总损失值和所述无光斑眼部样本图像与所述第一眼部样本预测图像的总损失值，训练所述第一神经网络，得到所述光斑去除网络。
4.如权利要求2所述的修复方法，其特征在于，所述基于所述目标样本图像，训练第二神经网络，得到所述修复网络包括：
基于所述目标样本图像和所述第二神经网络，获取所述目标样本图像对应的第二眼部样本预测图像，所述第二眼部样本预测图像为所述第二神经网络基于所述目标样本图像预测出的修复后的眼部图像；
获取所述无光斑眼部样本图像与所述第二眼部样本预测图像的感知损失值、第一风格损失值、第二风格损失值、对抗损失值、总变差损失值、所述第二眼部样本预测图像中的待修复区域的第一像素损失值以及所述第二眼部样本预测图像中的非待修复区域的第二像素损失值，所述第一风格损失值用于指示所述无光斑眼部样本图像与所述第二眼部样本预测图像之间的风格差异，所述第二风格损失值用于指示所述无光斑眼部样本图像与更新后的第二眼部样本预测图像之间的风格差异，所述更新后的第二眼部样本预测图像是指将所述第二眼部样本预测图像中的非待修复区域的像素值更新为所述待处理图像中对应位置的像素值之后的图像；
将所述无光斑眼部样本图像与所述第二眼部样本预测图像的感知损失值、第一风格损失值、第二风格损失值、对抗损失值、总变差损失值、所述第二眼部样本预测图像中的待修复区域的第一像素损失值以及所述第二眼部样本预测图像中的非待修复区域的第二像素损失值进行加权求和，得到所述无光斑眼部样本图像与所述第二眼部样本预测图像的总损失值；
根据所述无光斑眼部样本图像与所述第二眼部样本预测图像的总损失值，训练所述第二神经网络，得到所述修复网络。
5.如权利要求1所述的修复方法，其特征在于，所述根据所述待处理图像和所述光斑区域预测图像，生成待修复眼部图像包括：
获取所述光斑区域预测图像对应的掩膜图像；
将所述掩膜图像与所述待处理图像融合，生成待修复眼部图像，所述待修复眼部图像中的待修复区域的像素值与所述掩膜图像中光斑区域的像素值相同。
6.如权利要求5所述的修复方法，其特征在于，基于所述光斑区域预测图像、所述待修复眼部图像以及修复网络，得到目标眼部图像包括：
根据所述光斑区域预测图像对应的掩膜图像和所述待修复眼部图像，确定所述待修复眼部图像中的非待修复区域；
利用所述修复网络对所述待修复眼部图像中的非待修复区域进行部分卷积，并根据所述待修复眼部图像中的非待修复区域的部分卷积结果，更新所述待修复眼部图像中的待修复区域的像素值，直到所述待修复眼部图像中待修复区域的像素值更新完毕输出所述待修复眼部图像的修复图，确定所述修复图为所述目标眼部图像。
7.如权利要求1所述的修复方法，其特征在于，所述修复方法还包括：
将所述待处理图像、所述光斑区域预测图像对应的掩膜图像以及所述目标眼部图像进行融合，以将所述目标眼部图像中的非待修复区域的像素值更新为所述待处理图像中对应位置的像素值，得到更新后的目标眼部图像，所述目标眼部图像中的非待修复区域是指所述目标眼部图像中与所述光斑区域预测图像中非光斑区域相对应的区域；
将更新后的目标眼部图像和包含所述待处理图像的人脸图像进行融合，得到目标人脸图像。
8.一种眼部光斑图像的修复装置，其特征在于，所述修复装置包括：
获取模块，用于获取待处理图像，所述待处理图像是指眼镜上带有光斑的眼部图像；
光斑区域获取模块，用于将所述待处理图像输入到光斑去除网络中，得到眼部预测图像和光斑区域预测图像，所述眼部预测图像为所述光斑去除网络基于所述待处理图像预测出的去除光斑后的眼部图像，所述光斑区域预测图像为所述光斑去除网络基于所述待处理图像预测出的光斑区域图像；
生成模块，用于根据所述待处理图像和所述光斑区域预测图像，生成待修复眼部图像，所述待修复眼部图像中待修复区域的位置与所述光斑区域预测图像中光斑区域的位置相对应；
光斑修复模块，用于基于所述光斑区域预测图像、所述待修复眼部图像以及修复网络，得到目标眼部图像，所述目标眼部图像为所述修复网络修复后的眼部图像。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210231189.XA CN114418897B (zh) | 2022-03-10 | 2022-03-10 | 眼部光斑图像的修复方法、装置、终端设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210231189.XA CN114418897B (zh) | 2022-03-10 | 2022-03-10 | 眼部光斑图像的修复方法、装置、终端设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114418897A true CN114418897A (zh) | 2022-04-29 |
| CN114418897B CN114418897B (zh) | 2022-07-19 |
Family
ID=81264199
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210231189.XA Active CN114418897B (zh) | 2022-03-10 | 2022-03-10 | 眼部光斑图像的修复方法、装置、终端设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114418897B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116758058A (zh) * | 2023-08-10 | 2023-09-15 | 泰安市中心医院(青岛大学附属泰安市中心医院、泰山医养中心) | 一种数据处理方法、装置、计算机及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013225776A (ja) * | 2012-04-20 | 2013-10-31 | Sharp Corp | 画像処理装置、およびそれを備えた画像形成装置、コンピュータプログラム及び記録媒体 |
| CN109034023A (zh) * | 2018-07-13 | 2018-12-18 | 中国科学院深圳先进技术研究院 | 一种眼动数据确定方法、装置、设备及存储介质 |
| CN109389562A (zh) * | 2018-09-29 | 2019-02-26 | 深圳市商汤科技有限公司 | 图像修复方法及装置 |
| CN110599413A (zh) * | 2019-08-15 | 2019-12-20 | 江苏大学 | 基于深度学习卷积神经网络的激光光斑图像去噪的方法 |
| US20200167893A1 (en) * | 2018-11-28 | 2020-05-28 | Adobe Inc. | Propagation of spot healing edits from one image to multiple images |
| CN112712472A (zh) * | 2019-10-25 | 2021-04-27 | 北京三星通信技术研究有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN113542580A (zh) * | 2020-04-22 | 2021-10-22 | 华为技术有限公司 | 去除眼镜光斑的方法、装置及电子设备 |
| CN114387443A (zh) * | 2020-10-22 | 2022-04-22 | Tcl科技集团股份有限公司 | 一种图像处理方法、存储介质及终端设备 |
-
2022
- 2022-03-10 CN CN202210231189.XA patent/CN114418897B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013225776A (ja) * | 2012-04-20 | 2013-10-31 | Sharp Corp | 画像処理装置、およびそれを備えた画像形成装置、コンピュータプログラム及び記録媒体 |
| CN109034023A (zh) * | 2018-07-13 | 2018-12-18 | 中国科学院深圳先进技术研究院 | 一种眼动数据确定方法、装置、设备及存储介质 |
| CN109389562A (zh) * | 2018-09-29 | 2019-02-26 | 深圳市商汤科技有限公司 | 图像修复方法及装置 |
| US20200167893A1 (en) * | 2018-11-28 | 2020-05-28 | Adobe Inc. | Propagation of spot healing edits from one image to multiple images |
| CN110599413A (zh) * | 2019-08-15 | 2019-12-20 | 江苏大学 | 基于深度学习卷积神经网络的激光光斑图像去噪的方法 |
| CN112712472A (zh) * | 2019-10-25 | 2021-04-27 | 北京三星通信技术研究有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN113542580A (zh) * | 2020-04-22 | 2021-10-22 | 华为技术有限公司 | 去除眼镜光斑的方法、装置及电子设备 |
| CN114387443A (zh) * | 2020-10-22 | 2022-04-22 | Tcl科技集团股份有限公司 | 一种图像处理方法、存储介质及终端设备 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116758058A (zh) * | 2023-08-10 | 2023-09-15 | 泰安市中心医院(青岛大学附属泰安市中心医院、泰山医养中心) | 一种数据处理方法、装置、计算机及存储介质 |
| CN116758058B (zh) * | 2023-08-10 | 2023-11-03 | 泰安市中心医院(青岛大学附属泰安市中心医院、泰山医养中心) | 一种数据处理方法、装置、计算机及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114418897B (zh) | 2022-07-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11250571B2 (en) | Robust use of semantic segmentation in shallow depth of field rendering | |
| CN110889851B (zh) | 针对深度和视差估计的语义分割的稳健用途 | |
| CN114245905A (zh) | 深度感知照片编辑 | |
| CN108234858B (zh) | 图像虚化处理方法、装置、存储介质及电子设备 | |
| Yang et al. | Single image haze removal via region detection network | |
| Li et al. | Single underwater image enhancement based on color cast removal and visibility restoration | |
| Liu et al. | Image de-hazing from the perspective of noise filtering | |
| Xiao et al. | Single image dehazing based on learning of haze layers | |
| KR102311796B1 (ko) | 지역적 신체영역 정보를 이용한 휴먼 모션 디블러링 방법 및 장치 | |
| CN112272832A (zh) | 用于基于dnn的成像的方法和系统 | |
| CN113205586A (zh) | 图像处理方法及装置、电子设备、计算机可读存储介质 | |
| CN116612015A (zh) | 模型训练方法、图像去摩尔纹方法、装置及电子设备 | |
| CN114418897B (zh) | 眼部光斑图像的修复方法、装置、终端设备及存储介质 | |
| TW202221639A (zh) | 顯著圖產生方法及使用該方法的影像處理系統 | |
| CN117058183A (zh) | 一种基于双摄像头的图像处理方法、装置、电子设备及存储介质 | |
| Zhang et al. | A compensation textures dehazing method for water alike area | |
| CN116363027A (zh) | 一种利用红外图去除屏下rgb图像彩虹状眩光方法、设备及存储介质 | |
| CN114372931A (zh) | 一种目标对象虚化方法、装置、存储介质及电子设备 | |
| US11366981B1 (en) | Data augmentation for local feature detector and descriptor learning using appearance transform | |
| Gao et al. | Air infrared small target local dehazing based on multiple-factor fusion cascade network | |
| CN110689609B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| Singh et al. | Dense spatially-weighted attentive residual-haze network for image dehazing | |
| Wang et al. | An airlight estimation method for image dehazing based on gray projection | |
| CN112508801A (zh) | 图像处理方法及计算设备 | |
| CN116569191A (zh) | 对情境注意特征和卷积特征的门控 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |