CN116245754A - 图像处理方法、装置、电子设备和存储介质 - Google Patents

Abstract

本公开提供一种图像处理方法、装置、电子设备和存储介质，涉及人工智能领域，尤其涉及计算机视觉、深度学习等技术领域；具体的技术方案为：采用预设插值方法对原始图像中每个初始瑕疵区域的初始包围框进行处理，得到沿设定方向颜色发生渐变的第一包围框；基于第一包围框，筛选出需要渲染的初始瑕疵区域并作为待渲染区域；对原始图像中的待渲染区域进行渲染，得到第一处理图像；采用预设模糊处理方法对原始图像进行模糊处理，得到第二处理图像；识别出原始图像中若干个初始瑕疵区域中的目标瑕疵区域；基于第一处理图像和第二处理图像，对原始图像中的目标瑕疵区域进行修复处理以得到第一目标图像。

Description

图像处理方法、装置、电子设备和存储介质

技术领域

本公开涉及人工智能领域，具体为计算机视觉、深度学习等技术领域，具体提供一种图像处理方法、装置、电子设备和存储介质。

背景技术

目前，面向企业的云端批量美颜修图项目具有广阔市场，而该类项目具有数据量大、要求精细等特点，因此要求自动化的修图工具应当具有高效、高品质等特性。然而，现有的主要是通过传统图像检测的方式进行处理，普遍存在自动修图的处理效率与处理质量均较低的问题。

发明内容

本公开要解决的技术问题是为了克服现有技术中图像处理技术易造成自动修图存在处理效率与处理质量均较低的缺陷，提供一种图像处理方法、装置、电子设备和存储介质。

本公开是通过下述技术方案来解决上述技术问题：

根据本公开的一方面，提供一种图像处理方法，所述图像处理方法包括：

采用预设插值方法对原始图像中每个初始瑕疵区域的初始包围框进行处理，得到沿设定方向颜色发生渐变的第一包围框；

基于所述第一包围框，筛选出需要渲染的初始瑕疵区域并作为待渲染区域；

对所述原始图像中的所述待渲染区域进行渲染，得到第一处理图像；

采用预设模糊处理方法对原始图像进行模糊处理，得到第二处理图像；

识别出所述原始图像中若干个所述初始瑕疵区域中的目标瑕疵区域；

基于所述第一处理图像和所述第二处理图像，对所述原始图像中的所述目标瑕疵区域进行修复处理以得到第一目标图像。

根据本公开的另一方面，提供一种图像处理装置，所述图像处理装置包括：

第一包围框获取模块，用于采用预设插值方法对原始图像中每个初始瑕疵区域的初始包围框进行处理，得到沿设定方向颜色发生渐变的第一包围框；

待渲染区域筛选模块，用于基于所述第一包围框，筛选出需要渲染的初始瑕疵区域并作为待渲染区域；

第一处理图像获取模块，用于对所述原始图像中的所述待渲染区域进行渲染，得到第一处理图像；

第二处理图像获取模块，用于采用预设模糊处理方法对原始图像进行模糊处理，得到第二处理图像；

目标瑕疵区域识别模块，用于识别出所述原始图像中若干个所述初始瑕疵区域中的目标瑕疵区域；

第一目标图像获取模块，用于基于所述第一处理图像和所述第二处理图像，对所述原始图像中的所述目标瑕疵区域进行修复处理以得到第一目标图像。

根据本公开的另一方面，提供一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行根据上述的方法。

根据本公开的另一方面，提供一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据上述的方法。

根据本公开的另一方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1为本公开第一实施例的图像处理方法的第一流程图；

图2为本公开第一实施例的图像处理方法的第二流程图；

图3为本公开第一实施例的图像处理方法的第三流程图；

图4为本公开第一实施例的图像插值处理的示意图；

图5为本公开第一实施例的图像处理方法的第四流程图；

图6为本公开第一实施例的图像翻转处理的示意图；

图7为本公开第一实施例的图像处理方法的第五流程图；

图8为本公开第二实施例的图像处理装置的第六流程图；

图9为本公开第二实施例的图像处理装置的第一流程图；

图10为本公开第二实施例的图像处理装置的第二流程图；

图11为本公开第三实施例的电子设备的结构示意图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在批量美颜修图场景中，现有主要采用传统图像处理的方式进行处理，例如，对比当前像素与周围像素的差异来判定该像素点是否为斑痘，若为斑痘像素点则采用一些统计学的方法使该像素点与周围像素点的光影效果保持和谐；然后，该方法存在计算量大、仍然保持原纹理的缺陷，容易导致存在异常纹理的badcase(错误数据)的情况，造成自动修图的处理效率与处理质量等均较低等问题；本公开提出一种基于高低频技术的高性能斑痘祛除方法，能够有效地减少badcase的出现，从而保证自动修图的处理效率与处理质量。

实施例1

如图1所示，本实施例的图像处理方法包括：

S11、采用预设插值方法对原始图像中每个初始瑕疵区域的初始包围框进行处理，得到沿设定方向颜色发生渐变的第一包围框；

S12、基于第一包围框，筛选出需要渲染的初始瑕疵区域并作为待渲染区域；

S13、对原始图像中的待渲染区域进行渲染，得到第一处理图像；

S14、采用预设模糊处理方法对原始图像进行模糊处理，得到第二处理图像；

S15、识别出原始图像中若干个初始瑕疵区域中的目标瑕疵区域；

其中，原始图像包括但不限于包含人体皮肤的图像，例如人脸图像；所有初始瑕疵区域为原始图像中可能存在斑痘的所有局部区域，目标瑕疵区域为确定存在斑痘的斑痘区域；在原始图像为人脸图像时，初始瑕疵区域之外的预设区域为脸部五官所在区域。

S16、基于第一处理图像和第二处理图像，对原始图像中的目标瑕疵区域进行修复处理以得到第一目标图像。

本实施例中的图像处理方法，属于一种基于高低频技术的高性能斑痘祛除方法，能够有效地减少badcase的出现，有效地优化图像处理流程，提高自动修图的准确率和效率，该图像处理算法还具有较好的稳定性；同时，具有性能高、算力成本低等优点，不仅仅适用于云端高性能机器，也适用于移动端设备中，具有较好的低端设备的适配性和兼容性。

本实施例的图像处理方法是对图1对应的方案的进一步改进，具体地：

在一可实施的方案中，如图2所示，步骤S11包括：

S211、获取原始图像中每个初始瑕疵区域的初始包围框对应的若干第一顶点数据，以及初始瑕疵区域之外的预设区域内的若干第二顶点数据；

其中，采用预设的AI(人工智能)算法对原始图像进行检测处理，以得到可能存在斑痘的初始瑕疵区域的初始包围框以及对应的顶点数据、同时也得到剩余的其他区域内的顶点数据，例如脸部五官的顶点数据，即采用AI算法预先分析得到可能存在斑痘的区域，保证了后续处理的效率与精度。

S212、采用预设插值方法基于第一顶点数据对初始瑕疵区域的初始包围框进行处理，得到沿设定方向颜色发生渐变的第一包围框；

步骤S12包括：

S221、采用预设翻转方式将第一包围框翻转至设定状态，以得到第二包围框；

S222、基于第二包围框对应的若干第三顶点数据和若干第二顶点数据，筛选出需要渲染的初始瑕疵区域并作为待渲染区域。

在一可实施的方案中，如图3所示，步骤S212包括：

S31、根据第一顶点数据确定初始包围框的高度值；

S32、在高度值大于第一设定阈值时，基于高度值对初始包围框进行分割处理以得到不同的高度分割信息；

S33、将高度分割信息分别存储中不同的第一预设通道中；

S34、分别设置初始包围框的不同顶点处对应的插值颜色值；

S35、采用重心坐标插值法基于插值颜色值对初始瑕疵区域的初始包围框进行处理，得到沿设定方向颜色发生渐变的第一包围框。

具体地，考虑到包围框的高度会超过预设高度值，一般预设高度值为256，此时需要以256为界限对包围框的高度进行分割处理，通常分割得到两个分割值，然后将这两个分割值分别增加中插值颜色的A通道和B通道中。

分别设置包围框的每个顶点的固定的插值颜色值，并利用重心坐标插值法对初始瑕疵区域的包围框进行处理，使包围框的颜色沿设定方向(如图4所示，箭头方向为设定方向，即由上至下)完成由黑色至红色的渐变插值(0-1)，得到第一包围框及其对应的渐变插值信息。

本方案中，通过对初始包围框进行插值处理以得到沿特定方向进行渐变的第一包围框，使得后续确定待渲染区域的可靠性，进而保证最终的图像处理效率与质量。

在一可实施的方案中，如图5所示，步骤S221包括：

S511、在基于高度值将初始包围框分割处理成两个部分时，对于任一部分，以当前部分的远离与另一部分连接处的外边框作为轴线，将当前部分沿着轴线进行水平翻转，以处理后的第二包围框；

具体地，参见图6所示，初始包围框被分割处理成两个部分A、B，部分A经过沿着轴线La旋转180度(旋转方向参见图6的示意)后得到A1，部分B经过沿着轴线Lb旋转180度(旋转方向参见图6的示意)后得到B1，部分A、B以及部分A1、B1构成的区域对应第二包围框。

步骤S222包括：

S521、采用射线法对第二包围框对应的若干第三顶点数据与不同的第二顶点数据围成的多边形进行求交，得到求交结果；

S522、在求交结果表征存在交点时，确定对应的初始瑕疵区域需要渲染以作为待渲染区域。

其中，采用射线法对不同的点数据围城的多边形进行求交属于本领域的成熟技术，在此不再赘述。

步骤S521和S522在图像处理设备的中央处理单元CPU中完成，保证了数据处理效率和准确度。在求交结果表征存在交点时，则判定当前的初始瑕疵区域需要渲染，并可以赋值为True；若不存在，则判定当前的初始瑕疵区域不需要渲染，并返回False。

本方案中，筛选出待渲染区域进行后续的渲染操作，而非针对所有的初始瑕疵区域都进行渲染，在保证图像处理质量的同时，避免了不必要的算力资源的浪费，且使得图像处理流程更加合理规范，同时也保证了整个图像处理的效率。

在一可实施的方案中，本实施例的图像处理方法还包括：

识别出原始图像中的若干个初始瑕疵区域；

生成用于标识初始瑕疵区域的标志位信息并存储至第二预设通道中；

将第一包围框对应的渐变插值信息存储至第三预设通道中。

具体地，第二预设通道为G通道，第三预设通道为R通道。

在一可实施的方案中，图像处理方法还包括：

将第一预设通道、第二预设通道和第三预设通道中存储的数据装载至图像处理设备的中央处理单元CPU中；

步骤S13包括：

S531、通过中央处理单元CPU装载的数据传输至图像处理设备的图形处理器GPU中；

S532、采用图形处理器GPU对原始图像中的待渲染区域进行渲染，得到第一处理图像。

本方案中，将存储在G通道、R通道、B通道和A通道中的数据在中央处理单元CPU中装载，然后放入图形处理器GPU中进行渲染处理，得到渲染结果并存入至一张纹理上，以获取第一处理图像。

在一可实施的方案中，步骤S14包括：

S541、采用高斯模糊处理方法对原始图像中的预设区域采用第一层次参数进行模糊处理，且采用第二层次参数对初始瑕疵区域进行模糊处理，以得到后的第二处理图像；

其中，第一层次参数对应的模糊处理程度低于第二层次参数对应的模糊处理程度。

本方案中，对原始图像进行高斯模糊处理，具体将原始图像中的非斑痘区域采用低层次的参数进行模糊处理，对原始图像中的斑痘区域采用高层次的参数进行模糊处理，以得到具有不同程度低频信息的纹理图，再将该处理结果存入至一张纹理上，以获取第二处理图像。

当然，还可以采用其他模糊处理方法，只要能够达到上述类似的效果即可。

在一可实施的方案中，步骤S15包括：

S551、获取第二预设通道对应的实际通道值；

S552、在实际通道值与预设通道值的第一差值小于第二设定阈值时，则确定对应的初始瑕疵区域属于目标瑕疵区域。

本方案中，通过对G通道的标志位信息进行判定以确定初始瑕疵区域是否为目标瑕疵区域，即斑痘区域；具体地，当G通道的实际通道值与设定值(一般为1.0)的差值小于0.001时，则确定初始瑕疵区域属于斑痘区域，保证了对斑痘区域确定的准确度，进而保证后续斑痘的自动修复处理的精度。

在一可实施的方案中，图像处理方法还包括：

在实际通道值与预设通道值的第一差值大于或者等于第二设定阈值时，则确定对应的初始瑕疵区域不属于目标瑕疵区域；

获取原始图像中初始瑕疵区域之外的预设区域内的原始像素信息；

采用原始像素信息修复对应的初始瑕疵区域以得到第二目标图像。

本方案中，当G通道的实际通道值与设定值(一般为1.0)的差值大于或者等于0.001时，则确定初始瑕疵区域为非斑痘区域，此时只需要获取原始图像中初始瑕疵区域之外的区域的像素值，并直接将该像素值赋值给初始瑕疵区域，以完成对初始瑕疵区域的自动修复处理；即对于非斑痘区域，不再采用斑痘区域对应的处理方式，简化了处理流程，避免不必要的算力，同时也实现对图像的自动处理。

在一可实施的方案中，如图7所示，步骤S16包括：

S71、基于渐变插值信息和高度分割信息，计算得到第一处理图像对应的采样偏移量；

S72、根据采样偏移量采样原始图像，得到与目标瑕疵区域对应的第一像素信息，以及根据采样偏移量采样第二处理图像，得到与目标瑕疵区域对应的第二像素信息；

S73、计算得到第一像素信息与第二像素信息的第二差值，以得到目标瑕疵区域对应的高频信息；

S74、获取原始图像中目标瑕疵区域对应的第三像素信息，以及获取第二处理图像中目标瑕疵区域对应的第四像素信息；

S75、计算得到第三像素信息与第四像素信息的第三差值，以得到目标瑕疵区域对应的低频信息；

S76、基于高频信息和低频信息，对原始图像中的目标瑕疵区域进行修复处理以得到第一目标图像。

本方案中，基于采样偏移量(或称BIS)采样和不基于采样偏移量，对原始图像和高斯模糊处理后的图像中斑痘区域的像素信息，以分别计算得到斑痘区域的高频信息和低频信息，以便于后续处理得到满足处理要求的第一目标图像。

在一可实施的方案中，如图8所示，步骤S76包括：

S81、对高频信息和低频信息进行融合处理，以得到融合信息；

S82、基于融合信息，采用预设透明度通道与原始图像进行比例混合调节处理，以得到第一目标图像。

具体地，将高频信息和低频信息相加以得到两种信息融合后的融合信息，在采用透明度通道与原始图像进行比例混合以得到最终的第一目标图像。

其中，透明度通道与原始图像在混合处理时的比例可以根据实际场景需求进行确定或调整。

本方案中，利用随机采样和高低频技术处理原始图像中的光影信息，使得能够有效地减少badcase的出现，很好地保证了图像处理质量和效率。

本实施例中的图像处理方法，属于一种基于高低频技术的高性能斑痘祛除方法，实现并行化的高效纹理替换，依靠AI人工智能算法预分析存在斑痘的区域，在图像处理设备的中央处理单元CPU中进行判定不需要渲染处理的区域、采用图像处理器GPU强大的并行性进行渲染操作以及确定斑痘轮廓范围等，合理分工协作，极大程度上提升了计算性能，使得能够有效地减少badcase的出现，从而有效地优化了图像处理流程，提高了自动修图的准确率和效率，该图像处理算法还具有较好的稳定性；同时，具有性能高、算力成本低等优点，不仅仅适用于云端高性能机器，也适用于移动端设备中，具有较好的低端设备的适配性和兼容性。

实施例2

如图9所示，本实施例的图像处理装置包括：

第一包围框获取模块91，用于采用预设插值方法对原始图像中每个初始瑕疵区域的初始包围框进行处理，得到沿设定方向颜色发生渐变的第一包围框；

待渲染区域筛选模块92，用于基于第一包围框，筛选出需要渲染的初始瑕疵区域并作为待渲染区域；

第一处理图像获取模块93，用于对原始图像中的待渲染区域进行渲染，得到第一处理图像；

第二处理图像获取模块94，用于采用预设模糊处理方法对原始图像进行模糊处理，得到第二处理图像；

目标瑕疵区域识别模块95，用于识别出原始图像中若干个初始瑕疵区域中的目标瑕疵区域；

其中，原始图像包括但不限于包含人体皮肤的图像，例如人脸图像；所有初始瑕疵区域为原始图像中可能存在斑痘的所有局部区域，目标瑕疵区域为确定存在斑痘的斑痘区域；在原始图像为人脸图像时，初始瑕疵区域之外的预设区域为脸部五官所在区域。

第一目标图像获取模块96，用于基于第一处理图像和第二处理图像，对原始图像中的目标瑕疵区域进行修复处理以得到第一目标图像。

本实施例中的图像处理装置，属于一种基于高低频技术的高性能斑痘祛除方案，能够有效地减少badcase的出现，有效地优化图像处理流程，提高自动修图的准确率和效率，该图像处理算法还具有较好的稳定性；同时，具有性能高、算力成本低等优点，不仅仅适用于云端高性能机器，也适用于移动端设备中，具有较好的低端设备的适配性和兼容性。

如图10所示，本实施例的图像处理装置是对图9对应的方案的进一步改进，具体地：

在一可实施的方案中，第一包围框获取模块91包括：

顶点数据获取单元101，用于获取原始图像中每个初始瑕疵区域的初始包围框对应的若干第一顶点数据，以及初始瑕疵区域之外的预设区域内的若干第二顶点数据；

其中，采用预设的AI算法对原始图像进行检测处理，以得到可能存在斑痘的初始瑕疵区域的初始包围框以及对应的顶点数据、同时也得到剩余的其他区域内的顶点数据，例如脸部五官的顶点数据，即采用AI算法预先分析得到可能存在斑痘的区域，保证了后续处理的效率与精度。

第一包围框获取单元102，用于采用预设插值方法基于第一顶点数据对初始瑕疵区域的初始包围框进行处理，得到沿设定方向颜色发生渐变的第一包围框；

待渲染区域筛选模块92包括：

第二包围框获取单元103，用于采用预设翻转方式将第一包围框翻转至设定状态，以得到第二包围框；

待渲染区域筛选单元104，用于基于第二包围框对应的若干第三顶点数据和若干第二顶点数据，筛选出需要渲染的初始瑕疵区域并作为待渲染区域。

在一可实施的方案中，第一包围框获取单元用于分别设置初始包围框的不同顶点处对应的插值颜色值；采用重心坐标插值法基于插值颜色值对初始瑕疵区域的初始包围框进行处理，得到沿设定方向颜色发生渐变的第一包围框。

在一可实施的方案中，图像处理装置还包括：

高度值获取模块105，用于根据第一顶点数据确定初始包围框的高度值；

分割信息获取模块106，用于在高度值大于第一设定阈值时，基于高度值对初始包围框进行分割处理以得到不同的高度分割信息；

第一存储模块107，用于将高度分割信息分别存储中不同的第一预设通道中。

具体地，考虑到包围框的高度会超过预设高度值，一般预设高度值为256，此时需要以256为界限对包围框的高度进行分割处理，通常分割得到两个分割值，然后将这两个分割值分别增加中插值颜色的A通道和B通道中。

分别设置包围框的每个顶点的固定的插值颜色值，并利用重心坐标插值法对初始瑕疵区域的包围框进行处理，使包围框的颜色沿设定方向(如图4所示，设定方向由上至下)完成由黑色至红色的渐变插值，得到第一包围框及其对应的渐变插值信息。

本方案中，通过对初始包围框进行插值处理以得到沿特定方向进行渐变的第一包围框，使得后续确定待渲染区域的可靠性，进而保证最终的图像处理效率与质量。

在一可实施的方案中，在基于高度值将初始包围框分割处理成两个部分时，第二包围框获取单元用于对于任一部分，以当前部分的远离与另一

部分连接处的外边框作为轴线，将当前部分沿着轴线进行水平翻转，以处5理后的第二包围框；

具体地，参见图6所示，初始包围框被分割处理成两个部分A、B，部分A经过沿着轴线La旋转180度后得到A1，部分B经过沿着轴线Lb旋转180度后得到B1，部分A、B以及部分A1、B1构成的区域对应第二包围框。

0待渲染区域筛选单元104用于采用射线法对第二包围框对应的若干第

三顶点数据与不同的第二顶点数据围成的多边形进行求交，得到求交结果；在求交结果表征存在交点时，确定对应的初始瑕疵区域需要渲染以作为待渲染区域。

其中，采用射线法对不同的点数据围城的多边形进行求交属于本领域5的成熟技术，在此不再赘述。

在图像处理设备的中央处理单元CPU中完成，保证了数据处理效率和准确度。在求交结果表征存在交点时，则判定当前的初始瑕疵区域需要渲染，并可以赋值为True；若不存在，则判定当前的初始瑕疵区域不需要渲染，并返回False。

0本方案中，筛选出待渲染区域进行后续的渲染操作，而非针对所有的初始瑕疵区域都进行渲染，在保证图像处理质量的同时，避免了不必要的算力资源的浪费，且使得图像处理流程更加合理规范，同时也保证了整个图像处理的效率。

在一可实施的方案中，图像处理装置还包括：5初始瑕疵区域识别模块108，用于识别出原始图像中的若干个初始瑕

疵区域；

标志位信息生成模块109，用于生成用于标识初始瑕疵区域的标志位信息；

第二存储模块1010，用于将标志位信息存储至第二预设通道中；

第三存储模块1011，用于将第一包围框对应的渐变插值信息存储至第三预设通道中。

具体地，第二预设通道为G通道，第三预设通道为R通道。

在一可实施的方案中，图像处理装置还包括：

数据装载模块1012，用于将第一预设通道、第二预设通道和第三预设通道中存储的数据装载至图像处理设备的中央处理单元CPU中；

第一处理图像获取模块93包括：

数据传输单元1013，用于通过中央处理单元CPU装载的数据传输至图像处理设备的图形处理器GPU中；

第一处理图像获取单元1014，用于采用图形处理器GPU对原始图像中的待渲染区域进行渲染，得到第一处理图像。

本方案中，将存储在G通道、R通道、B通道和A通道中的数据在中央处理单元CPU中装载，然后放入图形处理器GPU中进行渲染处理，得到渲染结果并存入至一张纹理上，以获取第一处理图像。

在一可实施的方案中，第二处理图像获取模块94包括：

模糊处理单元1015，用于采用高斯模糊处理方法对原始图像中的预设区域采用第一层次参数进行模糊处理，且采用第二层次参数对初始瑕疵区域进行模糊处理，以调用第二处理图像获取得到后的第二处理图像；

其中，第一层次参数对应的模糊处理程度低于第二层次参数对应的模糊处理程度。

本方案中，对原始图像进行高斯模糊处理，具体将原始图像中的非斑痘区域采用低层次的参数进行模糊处理，对原始图像中的斑痘区域采用高层次的参数进行模糊处理，以得到具有不同程度低频信息的纹理图，再将该处理结果存入至一张纹理上，以获取第二处理图像。

当然，还可以采用其他模糊处理方法，只要能够达到上述类似的效果即可。

在一可实施的方案中，目标瑕疵区域识别模块95包括：

实际通道值获取单元1016，用于获取第二预设通道对应的实际通道值；

目标瑕疵区域识别单元1017，用于在实际通道值与预设通道值的第一差值小于第二设定阈值时，则确定对应的初始瑕疵区域属于目标瑕疵区域。

在一可实施的方案中，目标瑕疵区域识别单元还用于在实际通道值与预设通道值的第一差值大于或者等于第二设定阈值时，则确定对应的初始瑕疵区域不属于目标瑕疵区域；

图像处理装置还包括：

原始像素信息获取单元1018，用于获取原始图像中初始瑕疵区域之外的预设区域内的原始像素信息；

第二目标图像获取模块1019，用于采用原始像素信息修复对应的初始瑕疵区域以得到第二目标图像。

本方案中，当G通道的实际通道值与设定值(一般为1.0)的差值大于或者等于0.001时，则确定初始瑕疵区域为非斑痘区域，此时只需要获取原始图像中初始瑕疵区域之外的区域的像素值，并直接将该像素值赋值给初始瑕疵区域，以完成对初始瑕疵区域的自动修复处理；即对于非斑痘区域，不再采用斑痘区域对应的处理方式，简化了处理流程，避免不必要的算力，同时也实现对图像的自动处理。

在一可实施的方案中，第一目标图像获取模块96包括：

采样偏移量计算单元1020，用于基于渐变插值信息和高度分割信息，计算得到第一处理图像对应的采样偏移量；

第一像素信息获取单元1021，用于根据采样偏移量采样原始图像，得到与目标瑕疵区域对应的第一像素信息；

第二像素信息获取单元1022，用于根据采样偏移量采样第二处理图像，得到与目标瑕疵区域对应的第二像素信息；

高频信息获取单元1023，用于计算得到第一像素信息与第二像素信息的第二差值，以得到目标瑕疵区域对应的高频信息；

第三像素信息获取单元1024，用于获取原始图像中目标瑕疵区域对应的第三像素信息；

第四像素信息获取单元1025，用于获取第二处理图像中目标瑕疵区域对应的第四像素信息；

低频信息获取单元1026，用于计计算得到第三像素信息与第四像素信息的第三差值，以得到目标瑕疵区域对应的低频信息；

第一目标图像获取单元1027，用于基于高频信息和低频信息，对原始图像中的目标瑕疵区域进行修复处理以得到第一目标图像。

本方案中，基于采样偏移量(或称BIS)采样和不基于采样偏移量，对原始图像和高斯模糊处理后的图像中斑痘区域的像素信息，以分别计算得到斑痘区域的高频信息和低频信息，以便于后续处理得到满足处理要求的第一目标图像。

在一可实施的方案中，第一目标图像获取单元用于对高频信息和低频信息进行融合处理，以得到融合信息；基于融合信息，采用预设透明度通道与原始图像进行比例混合调节处理，以得到第一目标图像

具体地，将高频信息和低频信息相加以得到两种信息融合后的融合信息，在采用透明度通道与原始图像进行比例混合以得到最终的第一目标图像。

其中，透明度通道与原始图像在混合处理时的比例可以根据实际场景需求进行确定或调整。

本方案中，利用随机采样和高低频技术处理原始图像中的光影信息，使得能够有效地减少badcase的出现，很好地保证了图像处理质量和效率。

本实施例中的图像处理装置，属于一种基于高低频技术的高性能斑痘祛除方案，实现并行化的高效纹理替换，依靠AI人工智能算法预分析存在斑痘的区域，在图像处理设备的中央处理单元CPU中进行判定不需要渲染处理的区域、采用图像处理器GPU强大的并行性进行渲染操作以及确定斑痘轮廓范围等，合理分工协作，极大程度上提升了计算性能，使得能够有效地减少badcase的出现，从而有效地优化了图像处理流程，提高了自动修图的准确率和效率，该图像处理算法还具有较好的稳定性；同时，具有性能高、算力成本低等优点，不仅仅适用于云端高性能机器，也适用于移动端设备中，具有较好的低端设备的适配性和兼容性。

实施例3

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图11示出了可以用来实施本公开的实施例的示例电子设备1100的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图11所示，设备1100包括计算单元1101，其可以根据存储在只读存储器(ROM)1102中的计算机程序或者从存储单元1108加载到随机访问存储器(RAM)1103中的计算机程序，来执行各种适当的动作和处理。在RAM 1103中，还可存储设备1100操作所需的各种程序和数据。计算单元1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。

设备1100中的多个部件连接至I/O接口1105，包括：输入单元1106，例如键盘、鼠标等；输出单元1107，例如各种类型的显示器、扬声器等；存储单元1108，例如磁盘、光盘等；以及通信单元1109，例如网卡、调制解调器、无线通信收发机等。通信单元1109允许设备1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1101的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法和处理，例如上述方法。例如，在一些实施例中，上述方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1108。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1102和/或通信单元1109而被载入和/或安装到设备1100上。当计算机程序加载到RAM 1103并由计算单元1101执行时，可以执行上文描述的方法的一个或多个步骤。备选地，在其他实施例中，计算单元1101可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行上述方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (33)

1.一种图像处理方法，所述图像处理方法包括：

采用预设插值方法对原始图像中每个初始瑕疵区域的初始包围框进行处理，得到沿设定方向颜色发生渐变的第一包围框；

基于所述第一包围框，筛选出需要渲染的初始瑕疵区域并作为待渲染区域；

对所述原始图像中的所述待渲染区域进行渲染，得到第一处理图像；

采用预设模糊处理方法对原始图像进行模糊处理，得到第二处理图像；

识别出所述原始图像中若干个所述初始瑕疵区域中的目标瑕疵区域；

基于所述第一处理图像和所述第二处理图像，对所述原始图像中的所述目标瑕疵区域进行修复处理以得到第一目标图像。

2.如权利要求1所述的图像处理方法，所述采用预设插值方法对原始图像中每个目标瑕疵区域的初始包围框进行处理，得到沿设定方向颜色发生渐变的第一包围框的步骤，还包括：

获取所述原始图像中每个所述初始瑕疵区域的所述初始包围框对应的若干第一顶点数据，以及所述初始瑕疵区域之外的预设区域内的若干第二顶点数据；

采用所述预设插值方法基于所述第一顶点数据对所述初始瑕疵区域的所述初始包围框进行处理，得到沿所述设定方向颜色发生渐变的所述第一包围框。

3.如权利要求2所述的图像处理方法，所述基于所述第一包围框，筛选出需要渲染的初始瑕疵区域并作为待渲染区域的步骤，包括：

采用预设翻转方式将所述第一包围框翻转至设定状态，以得到第二包围框；

基于所述第二包围框对应的若干第三顶点数据和若干所述第二顶点数据，筛选出需要渲染的初始瑕疵区域并作为所述待渲染区域。

4.如权利要求3所述的图像处理方法，所述采用所述预设插值方法基于所述第一顶点数据对所述初始瑕疵区域的所述初始包围框进行处理，得到沿所述设定方向颜色发生渐变的所述第一包围框的步骤，包括：

分别设置所述初始包围框的不同顶点处对应的插值颜色值；

采用重心坐标插值法基于所述插值颜色值对所述初始瑕疵区域的所述初始包围框进行处理，得到沿所述设定方向颜色发生渐变的所述第一包围框。

5.如权利要求4所述的图像处理方法，所述分别设置所述初始包围框的不同顶点处对应的插值颜色值的步骤之前，还包括：

根据所述第一顶点数据确定所述初始包围框的高度值；

在所述高度值大于第一设定阈值时，基于所述高度值对所述初始包围框进行分割处理以得到不同的高度分割信息；

将所述高度分割信息分别存储中不同的第一预设通道中。

6.如权利要求5所述的图像处理方法，在基于所述高度值将所述初始包围框分割处理成两个部分时，所述采用预设翻转方式将所述第一包围框翻转至设定状态，以得到第二包围框的步骤，包括：

对于任一部分，以当前部分的远离与另一部分连接处的外边框作为轴线，将所述当前部分沿着所述轴线进行水平翻转，以处理后的所述第二包围框。

7.如权利要求3所述的图像处理方法，所述基于所述第二包围框对应的若干第三顶点数据和若干所述第二顶点数据，筛选出需要渲染的初始瑕疵区域并作为所述待渲染区域的步骤，包括：

采用射线法对所述第二包围框对应的若干所述第三顶点数据与不同的所述第二顶点数据围成的多边形进行求交，得到求交结果；

在所述求交结果表征存在交点时，确定对应的初始瑕疵区域需要渲染以作为所述待渲染区域。

8.如权利要求5所述的图像处理方法，所述图像处理方法还包括：

识别出所述原始图像中的若干个所述初始瑕疵区域；

生成用于标识所述初始瑕疵区域的标志位信息并存储至第二预设通道中；

将所述第一包围框对应的渐变插值信息存储至第三预设通道中。

9.如权利要求8所述的图像处理方法，所述图像处理方法还包括：

将所述第一预设通道、所述第二预设通道和所述第三预设通道中存储的数据装载至图像处理设备的中央处理单元CPU中；

所述对所述原始图像中的所述待渲染区域进行渲染，得到第一处理图像的步骤，包括：

通过所述中央处理单元CPU装载的数据传输至所述图像处理设备的图形处理器GPU中；

采用所述图形处理器GPU对所述原始图像中的所述待渲染区域进行渲染，得到所述第一处理图像。

10.如权利要求1所述的图像处理方法，所述采用预设模糊处理方法对原始图像进行模糊处理，得到第二处理图像的步骤，包括：

采用高斯模糊处理方法对所述原始图像中的所述预设区域采用第一层次参数进行模糊处理，且采用第二层次参数对所述初始瑕疵区域进行模糊处理，以得到后的所述第二处理图像；

其中，所述第一层次参数对应的模糊处理程度低于所述第二层次参数对应的模糊处理程度。

11.如权利要求8中所述的图像处理方法，所述识别出所述原始图像中若干个所述初始瑕疵区域中的目标瑕疵区域步骤，还包括：

获取所述第二预设通道对应的实际通道值；

在所述实际通道值与预设通道值的第一差值小于第二设定阈值时，则确定对应的初始瑕疵区域属于所述目标瑕疵区域。

12.如权利要求11所述的图像处理方法，所述图像处理方法还包括：

在所述实际通道值与预设通道值的所述第一差值大于或者等于所述第二设定阈值时，则确定对应的所述初始瑕疵区域不属于目标瑕疵区域；

获取所述原始图像中所述初始瑕疵区域之外的预设区域内的原始像素信息；

采用所述原始像素信息修复对应的所述初始瑕疵区域以得到第二目标图像。

13.如权利要求11所述的图像处理方法，所述基于所述第一处理图像和所述第二处理图像，对所述原始图像中的所述目标瑕疵区域进行修复处理以得到第一目标图像的步骤，还包括：

基于所述渐变插值信息和所述高度分割信息，计算得到所述第一处理图像对应的采样偏移量；

根据所述采样偏移量采样所述原始图像，得到与所述目标瑕疵区域对应的第一像素信息，以及根据所述采样偏移量采样所述第二处理图像，得到与所述目标瑕疵区域对应的第二像素信息；

计算得到所述第一像素信息与所述第二像素信息的第二差值，以得到所述目标瑕疵区域对应的高频信息；

获取所述原始图像中所述目标瑕疵区域对应的第三像素信息，以及获取所述第二处理图像中所述目标瑕疵区域对应的第四像素信息；

计算得到所述第三像素信息与所述第四像素信息的第三差值，以得到所述目标瑕疵区域对应的低频信息；

基于所述高频信息和所述低频信息，对所述原始图像中的所述目标瑕疵区域进行修复处理以得到第一目标图像。

14.如权利要求13所述的图像处理方法，所述基于所述高频信息和所述低频信息，对所述原始图像中的所述目标瑕疵区域进行修复处理以得到第一目标图像的步骤，包括：

对所述高频信息和所述低频信息进行融合处理，以得到融合信息；

基于所述融合信息，采用预设透明度通道与所述原始图像进行比例混合调节处理，以得到所述第一目标图像。

15.如权利要求1-14中任一项所述的图像处理方法，所述原始图像包括人脸图像时，所述目标瑕疵区域为斑痘区域，所述初始瑕疵区域之外的预设区域为脸部五官所在区域。

16.一种图像处理装置，所述图像处理装置包括：

第一包围框获取模块，用于采用预设插值方法对原始图像中每个初始瑕疵区域的初始包围框进行处理，得到沿设定方向颜色发生渐变的第一包围框；

待渲染区域筛选模块，用于基于所述第一包围框，筛选出需要渲染的初始瑕疵区域并作为待渲染区域；

第一处理图像获取模块，用于对所述原始图像中的所述待渲染区域进行渲染，得到第一处理图像；

第二处理图像获取模块，用于采用预设模糊处理方法对原始图像进行模糊处理，得到第二处理图像；

目标瑕疵区域识别模块，用于识别出所述原始图像中若干个所述初始瑕疵区域中的目标瑕疵区域；

第一目标图像获取模块，用于基于所述第一处理图像和所述第二处理图像，对所述原始图像中的所述目标瑕疵区域进行修复处理以得到第一目标图像。

17.如权利要求16所述的图像处理装置，所述第一包围框获取模块包括：

顶点数据获取单元，用于获取所述原始图像中每个所述初始瑕疵区域的所述初始包围框对应的若干第一顶点数据，以及所述初始瑕疵区域之外的预设区域内的若干第二顶点数据；

第一包围框获取单元，用于采用所述预设插值方法基于所述第一顶点数据对所述初始瑕疵区域的所述初始包围框进行处理，得到沿所述设定方向颜色发生渐变的所述第一包围框。

18.如权利要求17所述的图像处理装置，所述待渲染区域筛选模块包括：

第二包围框获取单元，用于采用预设翻转方式将所述第一包围框翻转至设定状态，以得到第二包围框；

待渲染区域筛选单元，用于基于所述第二包围框对应的若干第三顶点数据和若干所述第二顶点数据，筛选出需要渲染的初始瑕疵区域并作为所述待渲染区域。

19.如权利要求18所述的图像处理装置，所述第一包围框获取单元用于分别设置所述初始包围框的不同顶点处对应的插值颜色值；采用重心坐标插值法基于所述插值颜色值对所述初始瑕疵区域的所述初始包围框进行处理，得到沿所述设定方向颜色发生渐变的所述第一包围框。

20.如权利要求19所述的图像处理装置，所述图像处理装置还包括：

高度值获取模块，用于根据所述第一顶点数据确定所述初始包围框的高度值；

分割信息获取模块，用于在所述高度值大于第一设定阈值时，基于所述高度值对所述初始包围框进行分割处理以得到不同的高度分割信息；

第一存储模块，用于将所述高度分割信息分别存储中不同的第一预设通道中。

21.如权利要求20所述的图像处理装置，在基于所述高度值将所述初始包围框分割处理成两个部分时，所述第二包围框获取单元用于对于任一部分，以当前部分的远离与另一部分连接处的外边框作为轴线，将所述当前部分沿着所述轴线进行水平翻转，以处理后的所述第二包围框。

22.如权利要求18所述的图像处理装置，所述待渲染区域筛选单元用于采用射线法对所述第二包围框对应的若干所述第三顶点数据与不同的所述第二顶点数据围成的多边形进行求交，得到求交结果；在所述求交结果表征存在交点时，确定对应的初始瑕疵区域需要渲染以作为所述待渲染区域。

23.如权利要求20所述的图像处理装置，所述图像处理装置还包括：

初始瑕疵区域识别模块，用于识别出所述原始图像中的若干个所述初始瑕疵区域；

标志位信息生成模块，用于生成用于标识所述初始瑕疵区域的标志位信息；

第二存储模块，用于将标志位信息存储至第二预设通道中；

第三存储模块，用于将所述第一包围框对应的渐变插值信息存储至第三预设通道中。

24.如权利要求23所述的图像处理装置，所述图像处理装置还包括：

数据装载模块，用于将所述第一预设通道、所述第二预设通道和所述第三预设通道中存储的数据装载至图像处理设备的中央处理单元CPU中；

所述第一处理图像获取模块包括：

数据传输单元，用于通过所述中央处理单元CPU装载的数据传输至所述图像处理设备的图形处理器GPU中；

第一处理图像获取单元，用于采用所述图形处理器GPU对所述原始图像中的所述待渲染区域进行渲染，得到所述第一处理图像。

25.如权利要求16所述的图像处理装置，所述第二处理图像获取模块包括：

模糊处理单元，用于采用高斯模糊处理方法对所述原始图像中的所述预设区域采用第一层次参数进行模糊处理，且采用第二层次参数对所述初始瑕疵区域进行模糊处理，以调用第二处理图像获取得到后的所述第二处理图像；

其中，所述第一层次参数对应的模糊处理程度低于所述第二层次参数对应的模糊处理程度。

26.如权利要求23所述的图像处理装置，所述目标瑕疵区域识别模块包括：

实际通道值获取单元，用于获取所述第二预设通道对应的实际通道值；

目标瑕疵区域识别单元，用于在所述实际通道值与预设通道值的第一差值小于第二设定阈值时，则确定对应的初始瑕疵区域属于所述目标瑕疵区域。

27.如权利要求26所述的图像处理装置，所述目标瑕疵区域识别单元还用于在所述实际通道值与预设通道值的所述第一差值大于或者等于所述第二设定阈值时，则确定对应的所述初始瑕疵区域不属于目标瑕疵区域；

所述图像处理装置还包括：

原始像素信息获取单元，用于获取所述原始图像中所述初始瑕疵区域之外的预设区域内的原始像素信息；

第二目标图像获取模块，用于采用所述原始像素信息修复对应的所述初始瑕疵区域以得到第二目标图像。

28.如权利要求26所述的图像处理装置，所述第一目标图像获取模块包括：

采样偏移量计算单元，用于基于所述渐变插值信息和所述高度分割信息，计算得到所述第一处理图像对应的采样偏移量；

第一像素信息获取单元，用于根据所述采样偏移量采样所述原始图像，得到与所述目标瑕疵区域对应的第一像素信息；

第二像素信息获取单元，用于根据所述采样偏移量采样所述第二处理图像，得到与所述目标瑕疵区域对应的第二像素信息；

高频信息获取单元，用于计算得到所述第一像素信息与所述第二像素信息的第二差值，以得到所述目标瑕疵区域对应的高频信息；

第三像素信息获取单元，用于获取所述原始图像中所述目标瑕疵区域对应的第三像素信息；

第四像素信息获取单元，用于获取所述第二处理图像中所述目标瑕疵区域对应的第四像素信息；

低频信息获取单元，用于计计算得到所述第三像素信息与所述第四像素信息的第三差值，以得到所述目标瑕疵区域对应的低频信息；

第一目标图像获取单元，用于基于所述高频信息和所述低频信息，对所述原始图像中的所述目标瑕疵区域进行修复处理以得到第一目标图像。

29.如权利要求28所述的图像处理装置，所述第一目标图像获取单元用于对所述高频信息和所述低频信息进行融合处理，以得到融合信息；基于所述融合信息，采用预设透明度通道与所述原始图像进行比例混合调节处理，以得到所述第一目标图像

30.如权利要求16-29中任一项所述的图像处理装置，所述原始图像包括人脸图像时，所述目标瑕疵区域为斑痘区域，所述初始瑕疵区域之外的预设区域为脸部五官所在区域。

31.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行根据权利要求1-15中任一项所述的方法。

32.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-15中任一项所述的方法。

33.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-15中任一项所述的方法。

Images