CN115660937A - 图像处理方法、图像处理装置、电子设备和存储介质 - Google Patents

Abstract

本申请公开了一种图像处理方法、图像处理装置、电子设备和存储介质。图像处理方法用于通过目标处理算法对待处理图像进行处理，目标处理算法能够解耦获得第一子算法和第二子算法，图像处理方法包括：对待处理图像并行执行第一子算法和第一图像处理算法以得到第一图像；对第一图像执行第二子算法以得到第二图像。本申请的技术方案中，通过将目标处理算法从耦合态，解耦成更小粒度的子算法，对目标处理算法的执行进行并发调度，降低了使用目标处理算法的耗时。

Description

图像处理方法、图像处理装置、电子设备和存储介质

技术领域

本申请涉及图像处理技术，更具体而言，涉及一种图像处理方法、图像处理装置、电子设备和存储介质。

背景技术

为了提高图像质量，可以将低分辨率的图像经过处理生成高分辨率的图像，然而，在相关技术中，图像处理的过程耗时过长，并且图像处理所使用的算法与其他算法难以并行执行，对硬件资源利用率不足。

发明内容

本申请实施方式提供了一种图像处理方法、图像处理装置、电子设备和存储介质。

本申请实施方式提供了一种图像处理方法，所述图像处理方法用于通过目标处理算法对待处理图像进行处理，所述目标处理算法能够解耦获得第一子算法和第二子算法，所述图像处理方法包括：对所述待处理图像并行执行所述第一子算法和第一图像处理算法以得到第一图像；对所述第一图像执行所述第二子算法以得到第二图像。

本申请实施方式提供了一种图像处理装置，所述图像处理装置用于通过目标处理算法对待处理图像进行处理，所述目标处理算法能够解耦获得第一子算法和第二子算法，所述图像处理装置包括：第一处理模块，所述第一处理模块用于对所述待处理图像并行执行所述第一子算法和第一图像处理算法以得到第一图像；第二处理模块，所述第二处理模块用于对所述第一图像执行所述第二子算法以得到第二图像。

本申请实施方式提供了一种电子设备，所述电子设备包括一个或多个处理器和存储器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行的情况下，实现上述任意一种实施方式的图像处理方法的步骤。

本申请实施方式提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述程序被处理器执行的情况下，实现上述任意一种实施方式的图像处理方法的步骤。

本申请实施方式的图像处理方法、图像处理装置、电子设备、计算机可读存储介质中，通过将目标处理算法从耦合态，解耦成更小粒度的子算法，对目标处理算法的执行进行并发调度，降低了使用目标处理算法的耗时。

本申请的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实施方式的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本申请某些实施方式的图像处理方法的示意图；

图2是本申请某些实施方式的图像处理装置的示意图；

图3是本申请某些实施方式的电子设备的示意图；

图4是本申请某些实施方式的图像处理方法的流程示意图；

图5是本申请某些实施方式的图像处理方法的流程示意图；

图6是本申请某些实施方式的图像处理方法的流程示意图。

具体实施方式

下面详细描述本申请的实施方式，实施方式的示例在附图中示出，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。

下文的公开提供了许多不同的实施方式或例子用来实现本申请的实施方式的不同结构。为了简化本申请的实施方式的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本申请。

为了提高图像的质量，可以将低分辨率的图像经过处理生成高分辨率的图像。其中，分辨率指的是图像中存储的信息量，是每英寸图像内有多少个像素点，分辨率的单位为PPI(Pixels Per Inch)，通常叫做像素每英寸。在相关技术中，超分人像算法对外暴露三个接口，分别为init，process，uninit。在其算法内部耦合三个小的子算法分别为人脸检测(对齐矫正)，人像分割，人像修复。其中人像分割与人像修复并发执行，然后再与人脸检测串行。

在相关技术中，超分人像算法是一个算法整体，若是想和别的算法并发执行，只能从PortraitRepair(超分人像)开始阶段进行算法并行，PortraitRepair(超分人像)在前100ms左右占用CPU负载很重，约70％-90％，后面100-300ms占用CPU资源在40％-60％，因此导致CPU负载过重带来卡顿和并行算法都会拉长严重导致无法并行；若是不与别的算法并发执行，超分人像算法耗时太久，性能太差，对硬件资源利用率不足。

请参阅图1，本申请实施方式提供了一种图像处理方法，图像处理方法用于通过目标处理算法对待处理图像进行处理，目标处理算法能够通过解耦获得第一子算法和第二子算法，图像处理方法包括：

01：对待处理图像并行执行第一子算法和第一图像处理算法以得到第一图像；

02：对第一图像执行第二子算法以得到第二图像。

请参阅图2，图像处理装置100用于通过目标处理算法对待处理图像进行处理，目标处理算法能够通过解耦获得第一子算法和第二子算法，图像处理装置100包括第一处理模块11、第二处理模块12。

本申请实施方式的图像处理方法可以由本申请实施方式的图像处理装置100实现。其中，步骤01可以由第一处理模块11实现，步骤02可以由第二处理模块12实现。也即是说，第一处理模块11可用于对待处理图像并行执行第一子算法和第一图像处理算法以得到第一图像。第二处理模块12可用于对第一图像执行第二子算法以得到第二图像。

本申请实施方式的图像处理方法、图像处理装置100中，通过将目标处理算法从耦合态，解耦成更小粒度的子算法，对目标处理算法的执行进行并发调度，从而降低使用目标处理算法的耗时。

请参阅图3，图像处理装置100可以应用于电子设备1000。电子设备可包括智能手机、平板电脑、智能手表、智能手环等装置，在此不做具体限定。本申请实施方式的电子设备1000以智能手机为例进行举例说明，不能理解为对本申请的限制。

步骤01对待处理图像并行执行第一子算法和第一图像处理算法以得到第一图像，第一子算法包括人脸检测算法，第一图像处理算法包括多帧降噪算法。具体地，人脸检测算法通过坐标系对人脸的关键点进行定位和记录，从而将图像映射到坐标系中，人脸检测算法的输入是一张图片，输出是人脸框坐标序列(0个人脸框或1个人脸框或多个人脸框)，人脸坐标框为一个正朝上的正方形。人脸检测算法在图像范围内扫描，再逐个判定候选区域是否为人脸。

具体地，图像在摄取或传输时所受的随机信号干扰，表现为图像信息或者像素亮度的随机变化。一张图像通常会包含很多噪声，很多时候将图像噪声看成是多维随机过程。噪声的存在严重影响了遥感图像的质量，因此在图像增强处理和分类处理之前，必须予以纠正。多帧降噪算法通过对获取到的图像进行降噪处理，以提高图形的质量。图像降噪的目的是调高提高图像的信噪比，使图像的应用特征突出。对于一副图像，图像信号和噪声信号的能量在频域上分布是不同的，其中噪声能量主要分布在高频区域，而图像能量主要分布在低频区域，基于这一点我们可以分离噪声。此处的多帧降噪算法可替换为具有不会产生人脸形变且不会使人脸的坐标发生变化的特性的算法。

如此，第一子算法与第一图像处理算法并行执行后得到第一图像。

步骤02对第一图像执行第二子算法以得到第二图像。具体地，第一图像可以为步骤01中得到的第一图像，第一子算法与第一图像处理算法并行执行后再与第二子算法串行执行。如此，实现图像分辨率的提升，降低图像处理过程的耗时。

请参阅图4和图5，在某些实施方式中，目标处理算法包括超分人像算法，第一子算法包括人脸检测算法，步骤01(对待处理图像并行执行第一子算法和第一图像处理算法以得到第一图像)，包括：

012：对待处理图像(frame，图像帧)并行执行人脸检测算法和第一图像处理算法以得到第一图像。

请参阅图2，在某些实施方式中，步骤012可以由第一处理模块11实现，也即是说，第一处理模块11可用于对待处理图像并行执行人脸检测算法和第一图像处理算法以得到第一图像。

如此，通过从拍照的系统层面对人脸检测算法和第一图像处理算法的执行进行并发调度，可以有效隐藏人脸检测算法或第一图像处理算法的时间，以达到降低使用超分人像算法时拍照阶段的算法处理耗时的效果，并且能够充分利用手机的硬件资源。

具体地，人脸检测算法用于检测图像中的多个人脸，常用的人脸检测算法包括OpenCV、神经网络、Matlab等。在一个实施例中，人脸检测使用OpenCV进行，首先，通过提供图像的位置来导入图像。然后将图片从RGB转换为灰度，因为在灰度中很容易检测人脸。之后，使用图像处理，其中根据需要对图像进行调整大小、裁剪、模糊和锐化。下一步是图像分割，用于轮廓检测或分割单个图像中的多个对象，以便分类器可以快速检测到图片中的对象和人脸。下一步是使用Haar-Like特征算法，该算法用于查找帧或图像中人脸的位置。所有的人脸都具有人脸的一些普遍特性，例如眼睛区域比其相邻像素更暗，鼻子区域比眼睛区域更亮。haar-like算法也用于对图像中的物体进行特征选择或特征提取，借助边缘检测、线检测、中心检测来检测图片中的眼睛、鼻子、嘴巴等。它用于选择图像中的基本特征并提取这些特征进行人脸检测。下一步是给出x、y、w、h的坐标，这在图片中形成一个矩形框来显示人脸的位置，或者我们可以说是显示图像中的感兴趣区域。之后，它可以在检测到人脸的感兴趣区域中制作一个矩形框。还有许多其他检测技术一起用于检测，例如微笑检测、眼睛检测、眨眼检测等。

在其他实施方式中，人脸检测也可以通过其他算法进行，在此不做具体限定。通过使用人脸检测算法，可以获取图像中的人脸信息。

在某些实施方式中，第一图像处理算法包括多帧算法。具体地，多帧算法可以为多帧降噪算法，用于对图像进行降噪处理，减少数字图像中的噪声。在一个实施例中，多帧降噪算法为BM3D算法，BM3D算法通过设计滤波器对图像进行处理，首先对每个参考块进行相似块匹配(Block-Matching)并分别得到一个三维的组合，然后对其进行协同变换和滤波(3D-Transform)，最后对各个参考块对应组合的滤波结果进行整合(Aggregation)，从而得到最终的降噪结果。

在其他实施方式中，多帧算法也可以通过其他算法进行，其他算法需具备不使图像中的关键点坐标发生变化即不会产生人脸形变的特性，在此不做具体限定。通过使用多帧算法，可以减少图像中的噪声。

请参阅图4和图5，在某些实施方式中，第二子算法包括人像分割算法和人像修复算法，步骤02(对第一图像执行第二子算法以得到第二图像)包括：

022：对第一图像并行执行人像修复算法和算法组以得到第二图像。算法组包括串行的人像分割算法和第二图像处理算法。

请参阅图2，步骤022由第二处理模块12实现，也即是说，第二处理模块12可用于对第一图像并行执行人像修复算法和算法组以得到第二图像，算法组包括串行的人像分割算法和第二图像处理算法。

如此，通过站在整个拍照系统的角度对人像分割算法和人像修复算法进行调度，以提高图像中人像的分辨率，实现对手机硬件资源的充分利用，并且能够降低使用超分人像算法时拍照阶段的算法处理耗时。

具体地，人像分割算法用于从图像中提取人像供人像修复算法使用，在一个实施例中，人像分割算法为OpenCV算法，首先使用BackgroundSubtractorMOG2进行背景分割，BackgroundSubtractorMOG2是一个以高斯混合模型为基础的背景前景分割算法，再使用人像识别填充面部信息，再使用形态学填充分割出来的前景，通过开操作去掉前景图像数组中的噪点，然后重复进行膨胀，填充前景轮廓，最后实现人像的提取。

具体地，第二图像处理算法用于处理人像分割算法所提取出的人像，可实现美颜和添加滤镜等操作。

具体地，人像修复算法用于提高经人像分割算法提取出的人像信息，提高其分辨率，在一个实施例中，人像修复通过深度学习实现，首先利用大量的高分辨率图像积累并进行学习，再对低分辨率的图像进行学习高分辨率图像的学习模型引入来进行恢复，最后得到图像的高频细节，获得更好的图像恢复效果。提高图像的识别能力和识别精度。先将高分辨率图像按照降质模型进行降质，产生训练模型。根据高分辨率图像的低频部分和高频部分对应关系对图像分块，通过一定算法进行学习，获得先验知识，建立学习模型。以输入的低分辨率块为依据，在建立好的训练集中搜索最匹配的高频块。

在其他实施方式中，第二图像处理算法也可以通过其他算法进行，需要注意的是，第二图像处理算法在使用其他算法时，需具备第二图像处理算法的耗时加上人像分割算法的耗时不能超过人像修复算法的耗时的特性，在此不做具体限定。通过使人像分割算法与第二图像处理算法串行执行后再与人像修复算法并行执行，降低图像处理过程的耗时。

请参阅图1和图4，第二图像处理算法包括美颜算法。具体地，美颜算法首先采取具有保边效果的滤波算法对图像进行模糊处理，然后用肤色检测的算法保护非皮肤区域，再将模糊之后的图像和原图进行图像融合，最后将融合后的图像进行锐化处理。如此，实现人像的美化。

请参阅图2，在某些实施方式中，图像处理方法还包括对第二图像执行第三图像处理算法以得到输出图像。具体地，第三图像处理算法包括滤镜算法和图像格式转换算法。在一个实施例中，第三图像处理算法为滤镜算法，滤镜算法通过对图像的RGB三种颜色数值进行调整，以达到对图像的像素值进行处理，进而实现滤镜的效果。

请参阅图6，在某些实施方式中，目标处理算法包括人脸反畸变算法，人脸反畸变算法包括检测算法，步骤01(对待处理图像并行执行第一子算法和第一图像处理算法以得到第一图像)，包括：

013：对待处理图像并行执行检测算法和第一图像处理算法以得到第一图像。

请参阅图2，步骤013可以由第一处理模块11实现，也即是说，第一处理模块11可以用于对待处理图像并行执行检测算法和第一图像处理算法以得到第一图像。

如此，以实现对图像中人像的获取和防止人脸发生形变。

具体地，人脸防畸变算法用于检测人脸和防止人脸发生形变，在一个实施例中，人脸防畸变采用深度学习实现，首先使用深度学习做人脸检测与人像抠图，获取需要保护的前景区域，主要是头部区域，其余区域被当作背景区域；其次对输入图像根据畸变校正获取畸变校正结果图，作为上述背景区域的结果参考，对畸变校正结果图做球面变换获取球面变换结果图，作为上述前景区域的结果参考；前景和背景需要平滑过渡，避免结果图中边界处产生突兀的变换，再辅以其他的一些约束，将上述问题转换为一个变换网格的优化问题进行求解；最后求解得到变换网格后做插值获取最终结果图。

在其他实施方式中，人脸防畸变算法也可以通过其他算法进行，在此不做具体限定。通过使用人脸防畸变算法，防止图像在检测过程中发生形变。

请参阅图3，本申请实施方式的图像处理方法可由本申请实施方式的电子设备1000实现。具体地，电子设备1000包括一个或多个处理器200和存储器300。存储器300存储有计算机程序。计算机程序被处理器200执行的情况下，实现上述任一实施方式的图像处理方法的步骤。

例如，计算机程序被处理器200执行的情况下，实现以下图像处理方法的步骤：

01：对待处理图像并行执行第一子算法和第一图像处理算法以得到第一图像；

02：对第一图像执行第二子算法以得到第二图像。

本申请实施方式提供了一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行的情况下，实现上述任意一种实施方式的图像处理方法的步骤。

例如，程序被处理器执行的情况下，实现以下图像处理方法的步骤：

01：对待处理图像并行执行第一子算法和第一图像处理算法以得到第一图像；

02：对第一图像执行第二子算法以得到第二图像。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理模块的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(控制方法)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的实施方式的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请的各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“某些实施方式”等的描述意指结合所述实施方式或示例描述的具体特征、结构或者特点包含于本申请的至少一个实施方式中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式。而且，描述的具体特征、结构或者特点可以在任何的一个或多个实施方式中以合适的方式结合。

尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (10)

1.一种图像处理方法，其特征在于，所述图像处理方法用于通过目标处理算法对待处理图像进行处理，所述目标处理算法能够解耦获得第一子算法和第二子算法，所述图像处理方法包括：

对所述待处理图像并行执行所述第一子算法和第一图像处理算法以得到第一图像；

对所述第一图像执行所述第二子算法以得到第二图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述目标处理算法包括超分人像算法，所述第一子算法包括人脸检测算法，所述对所述待处理图像并行执行所述第一子算法和第一图像处理算法以得到第一图像，包括：

对所述待处理图像并行执行所述人脸检测算法和所述第一图像处理算法以得到所述第一图像。

3.根据权利要求2所述的图像处理方法，其特征在于，所述第一图像处理算法包括多帧算法。

4.根据权利要求1所述的图像处理方法，其特征在于，所述目标处理算法包括超分人像算法，所述第二子算法包括人像分割算法和人像修复算法，所述对所述第一图像执行所述第二子算法以得到第二图像，包括：

对所述第一图像并行执行所述人像修复算法和算法组以得到所述第二图像，所述算法组包括所述串行的所述人像分割算法和第二图像处理算法。

5.根据权利要求4所述的图像处理方法，其特征在于，所述第二图像处理算法包括美颜算法。

6.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：

对所述第二图像执行第三图像处理算法以得到输出图像。

7.根据权利要求1所述的图像处理算法，其特征在于，所述目标处理算法包括人脸反畸变算法，所述人脸反畸变算法包括检测算法，所述对所述待处理图像并行执行所述第一子算法和第一图像处理算法以得到第一图像，包括：

对所述待处理图像并行执行所述检测算法和所述第一图像处理算法以得到所述第一图像。

8.一种图像处理装置，其特征在于，所述图像处理装置用于通过目标处理算法对待处理图像进行处理，所述目标处理算法能够解耦获得第一子算法和第二子算法，所述图像处理装置包括：

第一处理模块，所述第一处理模块用于对所述待处理图像并行执行所述第一子算法和第一图像处理算法以得到第一图像；

第二处理模块，所述第二处理模块用于对所述第一图像执行所述第二子算法以得到第二图像。

9.一种电子设备，其特征在于，所述电子设备包括一个或多个处理器和存储器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行的情况下，实现权利要求1至7任意一项所述的图像处理方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行的情况下，实现权利要求1至7任意一项所述的图像处理方法的步骤。

Images