CN111010509B - 图像处理方法、终端、图像处理系统和计算机可读存储介质 - Google Patents

Abstract

本申请公开一种图像处理方法、图像处理装置、终端、图像处理系统和计算机可读存储介质。图像处理方法包括：从终端的相册中获取原始图像；在原始图像存在人脸时，获取原始图像的清晰度；将清晰度小于第一阈值的原始图像确定为待修复图像；在当前网络状态为预设网络状态时，将待修复图像发送至云端服务器，接收云端服务器返回的修复后的目标图像。本申请公开的一种图像处理方法、图像处理装置、终端、图像处理系统和计算机可读存储介质避免了在拍摄时对原始图像进行处理，减小了拍摄所需要的时间；同时将待修复图像发送至云端服务器中进行处理，避免处理过程中占用终端的内存，提升用户体验。

Description

图像处理方法、终端、图像处理系统和计算机可读存储介质

技术领域

本申请涉及图像处理技术领域，特别涉及一种图像处理方法、图像处理装置、终端、图像处理系统和计算机可读存储介质。

背景技术

对图像进行超分算法处理一般都是在拍摄时对图像进行处理或者在后期对图像进行处理，但是，由于超分算法处理的处理时间一般都比较长，在拍摄时对图像进行超分算法处理会延长拍摄的时间，从而影响用户体验；而在后期对图像进行处理的方式则由于超分算法处理会占用终端较大的内存，从而影响用户的正常使用。

发明内容

本申请的实施例提供了一种图像处理方法、图像处理装置、终端、图像处理系统和计算机可读存储介质。

本申请实施方式的图像处理方法包括：从终端的相册中获取原始图像；在所述原始图像存在人脸时，获取所述原始图像的清晰度；将所述清晰度小于第一阈值的所述原始图像确定为待修复图像；在当前网络状态为预设网络状态时，将所述待修复图像发送至云端服务器；所述云端服务器对所述待修复图像进行处理，以得到目标图像；及将所述目标图像发送至所述终端。

本申请实施方式的图像处理方法包括：从终端的相册中获取原始图像；在所述原始图像存在人脸时，获取所述原始图像的清晰度；将所述清晰度小于第一阈值的所述原始图像确定为待修复图像；在当前网络状态为预设网络状态时，将所述待修复图像发送至云端服务器，以供所述云端服务器对所述待修复图像进行处理而得到目标图像。

本申请实施方式的图像处理装置包括：第一获取模块、第二获取模块、确定模块、及通信模块。所述第一获取模块用于从终端的相册中获取原始图像；第二获取模块用于在所述原始图像存在人脸时，获取所述原始图像的清晰度；所述确定模块用于将所述清晰度小于第一阈值的所述原始图像确定为所述待修复图像；所述通信模块用于在当前网络状态为预设网络状态时，将所述待修复图像发送至云端服务器，以供所述云端服务器对所述待修复图像进行处理而得到目标图像。

本申请实施方式的终端包括壳体和处理器，所述处理器安装在所述壳体上。所述处理器用于：从终端中的相册中获取原始图像；在所述原始图像存在人脸时，获取所述原始图像的清晰度；将所述清晰度小于第一阈值的所述原始图像确定为待修复图像；在当前网络状态为预设网络状态时，将所述待修复图像发送至云端服务器，以供所述云端服务器对所述待修复图像进行处理而得到目标图像。

本申请实施方式的图像处理系统包括终端和云端服务器，所述终端包括壳体和处理器，所述处理器安装在所述壳体上，所述处理器用于实现：从所述终端的相册中获取原始图像；在所述原始图像存在人脸时，获取所述原始图像的清晰度；将所述清晰度小于第一阈值的所述原始图像确定为所述待修复图像；在当前网络状态为预设网络状态时，将所述待修复图像发送至所述云端服务器。所述云端服务器对所述待修复图像进行处理，以得到目标图像，并将所述目标图像发送至所述终端。

本申请实施方式的计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现从终端的相册中获取原始图像；在所述原始图像存在人脸时，获取所述原始图像的清晰度；将所述清晰度小于第一阈值的所述原始图像确定为待修复图像；在当前网络状态为预设网络状态时，将所述待修复图像发送至云端服务器；所述云端服务器对所述待修复图像进行处理，以得到目标图像；将所述目标图像发送至所述终端。

本申请实施方式的图像处理方法、图像处理装置、终端、图像处理系统和计算机可读存储介质由于执行处理的图像为终端相册中的图像，为图像的后期处理，避免了在拍摄时进行图像处理，减小了拍摄所需要的时间，提升用户体验。另外，图像处理方法、图像处理装置、终端、图像处理系统和计算机可读存储介质将待修复图像发送至云端服务器中进行处理，避免在执行处理的过程中，占用终端的内存而影响用户的正常使用。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本申请某些实施方式的图像处理方法的流程示意图。

图2是本申请某些实施方式的图像处理装置的示意图。

图3是本申请某些实施方式的图像处理系统的示意图。

图4是本申请某些实施方式的云端服务器的示意图。

图5是本申请某些实施方式的图像处理方法的流程示意图。

图6是本申请某些实施方式的图像处理装置的示意图。

图7是本申请某些实施方式的图像处理方法的流程示意图。

图8是本申请某些实施方式的图像处理装置的示意图。

图9是本申请某些实施方式的图像处理方法的流程示意图。

图10是本申请某些实施方式的图像处理装置的示意图。

图11是本申请某些实施方式的图像处理方法的流程示意图。

图12是本申请某些实施方式的图像处理装置的示意图。

图13是本申请某些实施方式的图像处理方法的流程示意图。

图14是本申请某些实施方式的图像处理装置的第二获取模块的示意图。

图15是本申请某些实施方式的图像处理方法的流程示意图。

图16是本申请某些实施方式的图像处理装置的示意图。

图17是本申请某些实施方式的图像处理方法的流程示意图。

图18是本申请某些实施方式的图像处理装置的处理模块的示意图。

图19是本申请某些实施方式的图像处理方法的流程示意图。

图20是本申请某些实施方式的处理模块的第五获取单元的示意图。

图21是本申请某些实施方式的图像处理方法的流程示意图。

图22是本申请某些实施方式的处理模块的处理单元的示意图。

图23是本申请某些实施方式的图像处理方法的流程示意图。

图24是本申请某些实施方式的计算机可读存储介质与终端的连接示意图。

图25是本申请某些实施方式的相册中原始图像的场景示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

请参阅图1及图3，本申请实施方式的一种图像处理方法，包括：

01，从终端的相册中获取原始图像；

02，对原始图像进行人脸检测；

03，在原始图像存在人脸时，获取原始图像的清晰度；

04，判断清晰度是否小于或等于第一阈值；

05，将清晰度小于或等于第一阈值的原始图像确定为待修复图像；

06，获取终端的当前网络状态；

07，判断当前网络状态是否为预设网络状态；

08，在当前网络状态为预设网络状态时，将待修复图像发送至云端服务器300；

09，接收云端服务器300返回的修复后的目标图像。

请结合图1和图2，本申请实施方式的一种图像处理装置100可用于实现本申请实施方式的图像处理方法，图像处理装置100包括第一获取模块11、检测模块12、第二获取模块13、第一判断模块14、确定模块15、第三获取模块16、第二判断模块17及通信模块18。其中，步骤01可由第一获取模块11执行；步骤02可由检测模块12执行；步骤03可由第二获取模块13执行；步骤04可由第一判断模块14执行；步骤05可由确定模块15执行；步骤06可由第三获取模块16执行；步骤07可由第二判断模块17执行；步骤08及步骤09均可由通信模块18执行。也即是说，第一获取模块11可用于从终端的相册中获取原始图像；检测模块12可用于对原始图像进行人脸检测；第二获取模块13可用于在原始图像存在人脸时，获取原始图像的清晰度；第一判断模块14可用于判断清晰度是否小于或等于第一阈值；确定模块15可用于将清晰度小于或等于第一阈值的原始图像确定为待修复图像；第三获取模块16可用于获取终端200的当前网络状态；第二判断模块17可用于判断当前网络状态是否为预设网络状态；通信模块18可用于在当前网络状态为预设网络状态时，将待修复图像发送至云端服务器300，以供云端服务器300对待修复图像进行处理而得到目标图像；通信模块18还可用于接收云端服务器300返回的修复后的目标图像。

请结合图1和图3，本申请实施方式的一种图像处理系统1000包括终端200和云端服务器300，终端200包括壳体210和处理器230，处理器230设于壳体210上。其中，处理器230可用于实现本申请实施方式的图像处理方法，步骤01、步骤02、步骤03、步骤04、步骤05、步骤06、步骤07、步骤08及步骤09均可由终端200中的处理器230实现。也即是说，处理器230可用于：从终端200的相册中获取原始图像；对原始图像进行人脸检测；在原始图像存在人脸时，获取原始图像的清晰度；判断清晰度是否小于或等于第一阈值；将清晰度小于或等于第一阈值的原始图像确定为待修复图像；获取终端200的当前网络状态；判断当前网络状态是否为预设网络状态；在当前网络状态为预设网络状态时，将待修复图像发送至云端服务器300。云端服务器300可用于：对待修复图像进行处理，以得到目标图像；及将目标图像发送至终端200。具体地，请结合图4，云端服务器300可以包括处理芯片310及通信单元320，处理芯片310用于对待修复图像进行处理，以得到目标图像；通信单元320用于将目标图像发送至终端200。

本申请实施方式的图像处理方法、图像处理装置100、终端200、图像处理系统1000由于执行处理的图像为终端相册中的图像，为图像的后期处理，避免了在拍摄时进行图像处理，减小了拍摄所需要的时间，提升用户体验。另外，图像处理方法、图像处理装置、终端200、图像处理系统1000和计算机可读存储介质将图像发送至云端服务器300中进行处理，避免在执行处理的过程中，占用终端200的内存而影响用户的正常使用。

具体地，对原始图像进行人脸检测可通过对原始图像进行特征提取，以判断图像中是否具有人脸。例如，可将原始图像输入至一个已学习过的卷积神经网络中，该卷积神经网络可自动对原始图像中的图像特征(例如五官特征、肤色特征、纹理特征等等)进行提取，在对提取出的特征进行人脸检测，以得到该幅原始图像中是否具有人脸。

原始图像的数量可为一幅或多幅，多幅是指两幅或者两幅以上。例如，请参阅图25，图25为终端200相册中的3幅原始图像，将3幅原始图像输入至一个卷积神经网络中进行图像特征提取，再对提取得到的特征进行人脸检测，得到第一幅(图25中的左图)和第三幅(图25中的右图)中的图像具有人脸，第二幅(图25中的中间图)中的图像不存在人脸特征。通过对终端200的相册中的图像进行人脸检测，只对具有人脸的图像进行后续的处理修复，避免了对终端200相册中的每幅图像都进行处理修复，提高了整体的图像处理速度。其中，在确定图像为待修复图像后，对待修复图像进行处理而得到目标图像可指对待修复图像进行超分算法处理。

网络状态包括网络连接良好的网络状态、及网络连接较差的网络状态，可用发送速率和/或下载速率来衡量属于哪种状态。预设网络状态可为预先设置好的，本实施方式中，预设网络状态可为网络连接良好的网络状态。当仅用发送速率来衡量当前网络状态属于哪种网络状态为例进行说明，当实际发送速率大于预设发送速率时，则说明当前网络状态属于网络连接良好的网络状态，即当前网络状态为预设网络状态。例如，预设发送速率为300kb/s(即临界值)，若当前发送速率为600kb/s时，则表明当前网络状态为预设网络状态；若当前发送速率为200kb/s时，则表明当前网络状态不为预设网络状态。当仅用下载速率来衡量当前网络状态属于哪种网络状态为例进行说明，当实际下载速率大于预设下载速率时，则说明当前网络状态属于网络连接良好的网络状态，即当前网络状态为预设网络状态。例如，预设下载速率为300kb/s(即临界值)，当前下载速率为600kb/s时，则表明当前网络状态为预设网络状态；若当前下载速率为200kb/s时，则表明当前网络状态不为预设网络状态。当用发送速率和下载速率来衡量当前网络状态属于哪种网络状态为例进行说明，当实际发送速率大于预设发送速率，且实际下载速率大于预设下载速率时，则说明当前网络状态属于网络连接良好的网络状态，即当前网络状态为预设网络状态。例如，预设发送速率为300kb/s，预设下载速率也为300kb/s，若当前发送速率为600kb/s，且当前下载速率为600kb/s时，则表明当前网络状态为预设网络状态；若当前发送速率为200kb/s或当前下载速率为200kb/s时，则表明当前网络状态不为预设网络状态。通过获取终端200的网络状态，只有在当前网络状态处于预设网络状态时，即当前网络连接状态良好，才将图像发送至云端服务器300进行处理，避免了在当前网络状态较差时，图像发送的时间增加，影响整体的图像处理速度。

请参阅图5，在某些实施方式中，图像处理方法还可包括：

010，在当前网络状态不为预设网络状态时，终端200对待修复图像进行处理，以得到目标图像。

请结合图5和图6，在某些实施方式中，图像处理装置100还可包括处理模块110，其中，步骤010可由处理模块110执行。也即是说，处理模块110可用于在网络状态不为预设网络状态时，终端200对待修复图像进行处理，以得到目标图像。

请结合图3和图5，在某些实施方式中，步骤010可由处理器230实现，也即是说，处理器230可用于：在当前网络状态不为预设网络状态时，终端200对待修复图像进行处理，以得到目标图像。

具体地，在终端200的当前网络状态不为预设网络状态时，说明终端200此时的网络状态不好，例如当前网络状态为网络连接较差的网络状态，具体地，当仅用发送速率来衡量当前网络状态属于哪种网络状态时，若当前发送速率小于预设发送速率时，则表明当前网络状态不为预设网络状态；当仅用下载速率来衡量当前网络状态属于哪种网络状态时，若当前下载速率小于预设下载速率时，则表明当前网络状态不为预设网络状态；当用发送速率和下载速率来衡量属于哪种网络状态，若当实际发送速率小于预设发送速率，或实际下载速率小于预设下载速率时，则表明当前网络状态不为预设网络状态。在当前网络状态不为预设网络状态的情况下，在终端200中对待修复图像进行处理，以避免在网络状态不太好时花费过长时间将待修复图像发送至云端服务器，影响整体的图像处理速度。

请参阅图7，在某些实施方式中，图像处理方法还可包括：

011，保存目标图像至终端200的相册中。

请结合图7和图8，在某些实施方式中，图像处理装置100还可包括保存模块111，其中，步骤011可由保存模块111执行。也即是说，保存模块111可用于保存目标图像至终端200的相册中。

请结合图3和图7，在某些实施方式中，步骤011可由处理器230实现，也即是说，处理器230可用于：保存目标图像至终端200的相册中。

具体地，若待修复图像是在云端服务器300中进行处理(例如超分算法处理)得到的目标图像，则可通过通信模块18(或处理器230)接收目标图像，并通过保存模块111(或处理器230)将目标图像保持在终端200的相册中。若待修复图像是在终端200中进行处理得到的目标图像，则可直接将目标图像保存至终端200的相册中，以便用户可在终端200的相册中对目标图像进行浏览、编辑等，提升了用户体验。

请参阅图9，在某些实施方式中，图像处理方法还可包括：

012，获取终端200的当前状态；

013，判断当前状态是否处于预设状态；

在当前状态处于预设状态时，执行从终端200的相册中获取原始图像的步骤。

请结合图9和图10，在某些实施方式中，图像处理装置100还可包括第四获取模块112和第三判断模块113，其中，步骤012可由第四获取模块112执行；步骤013可由第三判断模块113。也即是说，第四获取模块112可用于获取终端200的当前状态；第三判断模块113可用于判断当前状态是否处于预设状态；在当前状态处于预设状态时，开始执行从终端200的相册中获取原始图像的步骤(即步骤01)。

请结合图3和图11，在某些实施方式中，步骤012和步骤013均可由处理器230实现，也即是说，处理器230可用于：获取终端200的当前状态；判断当前状态是否处于预设状态；在当前状态处于预设状态时，执行从终端200的相册中获取原始图像的步骤(即步骤01)。

具体地，当前状态可包括终端200中的当前时间、终端200的当前场景、终端200的当前剩余电量等中的至少一个。相应的，预设状态可包括预定时间、预定场景、预定剩余电量等中的至少一个。

以终端200是手机为例，预定时间可指用户不使用手机的时候，具体地，预定时间可包括进入睡眠的休息时间，例如为夜晚睡觉时间(比如但不局限于22：00～5：00时间段)，再例如为午休时间(比如但不局限于12：30～2：00时间段)；预定时间还可包括上班时间(比如但不局限于8：00～12：00及2：00～6：00)，此时用户一般不使用手机；预定时间还可包括上课时间(比如但不局限于8：00～8：40、9：00～9：45、10：00～10：45、11：00～11：45中的至少一个时间段等)等等。由于图像处理装置100或者终端200在终端200的相册中获取原始图像的过程需要占用一定的运行内存，在进入睡眠的休息时间、上班时间或上课时间，用户一般都不使用手机，图像处理装置100或者终端200也是处于非工作状态，在此时获取终端200的相册中的原始图像，相较于图像处理装置100或者终端200也处于工作状态时获取而言，不会造成内存抢占的问题。预定时间可为系统预先设定好的一个或多个时间段，当然，预定时间还可由用户根据自身的需求自行设置。因此，此时判断当前状态是否处于预设状态，可以是看当前时间是否处于预定时间即可。

预定场景可包括手机处于充电的场景、手机处于待机的场景、手机处于低功耗运行的场景等。由于图像处理装置100或者终端200从终端200的相册中获取原始图像的时间会比较长，且占用一定的运行内存，因此在预设场景下才执行获取的步骤，能尽可能的避免抢占内存的问题。低功耗运行的场景可指终端200在仅运行阅读、看新闻等对运行内存需求较小的软件。即手机的CPU使用率较低时的场景。因此，此时判断当前状态是否处于预设状态，可以是看当前场景是否处于预定场景即可。

预定剩余电量可为一个预先设置的已知的一个剩余电量。例如，预定剩余电量为60％～100％，在终端200的剩余电量在60％～100％之间时，则说明此时终端200的电量充足，可执行从终端200内的相册获取原始图像的步骤。避免了在从终端200的相册中获取原始图像的过程中，将剩余电量耗尽，影响用户后续的正常使用。预定剩余电量可为系统预先设定好的一个或多个电量值，当然，预定剩余电量还可由用户根据自身的需求自行设置。因此，此时判断当前状态是否处于预设状态，可以是看当前剩余电量是否处于预定剩余电量即可。

需要说明的是，从终端200的相册中获取原始图像可以仅仅是在当前时间处于预定时间即可执行，也可以仅仅是在当前场景处于预定场景下即可执行，也可以仅仅是在当前剩余电量处于预定剩余电量下即可执行，还可以是满足其中两个才执行或者满足三个才执行等等。如此，能最大程度地避免在相册中获取原始图像时，对用户的正常使用造成影响，提升了用户体验。

请参阅图11，在某些实施方式中，步骤01包括：

0111，从终端200的相册中获取预设时段内保存的原始图像。

请结合图11和图12，在某些实施方式中，第一获取模块11可包括第一获取单元1111，其中，步骤0111可由第一获取单元1111执行。也即是说，第一获取单元1111可用于从终端200的相册中获取预设时段内保存的原始图像。

请结合图3和图11，在某些实施方式中，步骤0111可由处理器230实现，也即是说，处理器230可用于：从终端200的相册中获取预设时段内保存的原始图像。

具体地，预设时段可为预先设定的一个时间段。在一个例子中，预设时段为3天，即，获取终端200相册中在3天内保存的原始图像。例如，获取到终端200中的当前日期为15日，在终端200处于预设状态时，获取终端200在12日至15日之间保存的原始图像。在某些实施方式中，预设时段可为从上次修复完的时间到当前时间段内在相册中保存的原始图像，例如，在终端200的当前状态处于预设状态时，获取到终端200的相册中距离上次修复的时间已过了9天，因此，将这9天内保存在相册中的原始图像进行获取，并在获取这个时间段内的原始图像后，记录当前时间，以用作下次修复时的一个初始时间。当然，预设时段可由用户按各自习惯进行设置，在此不一一列举。

请参阅图13，在某些实施方式中，步骤03包括：

031，对存在人脸的原始图像执行整形低通滤波以获取滤波图像；

032，根据原始图像与滤波图像获取原始图像中的高频信息，其中，高频信息为离散余弦变换系数中远离零频的部分，该部分用于描述原始图像的细节信息；及

033，根据高频信息的像素数量与原始图像的所有像素数量获取原始图像的清晰度。

请结合图13和图14，在某些实施方式中，第二获取模块13可包括第二获取单元131、第三获取单元132及第四获取单元133，其中，步骤031可由第二获取单元131执行；步骤032可由第三获取单元132执行；步骤033可由第四获取单元133执行。也即是说，第二获取单元131可用于对存在人脸的原始图像执行整形低通滤波以获取滤波图像；第三获取单元132可用于根据原始图像与滤波图像获取原始图像中的高频信息，其中，高频信息为离散余弦变换系数中远离零频的部分，该部分用于描述原始图像的细节信息；第四获取单元133可用于根据高频信息的像素数量与原始图像的所有像素数量获取原始图像的清晰度。

请结合图3和图13，在某些实施方式中，步骤031、步骤032和步骤033均可由处理器230实现，也即是说，处理器230可用于：对存在人脸的原始图像执行整形低通滤波以获取滤波图像；根据原始图像与滤波图像获取原始图像中的高频信息，其中，高频信息为离散余弦变换系数中远离零频的部分，该部分用于描述原始图像的细节信息；及根据高频信息的像素数量与原始图像的所有像素数量获取原始图像的清晰度。

根据原始图像与滤波图像获取原始图像中的高频信息，可以是：原始图像减去滤波图像得到高频信息；根据高频信息的像素数量与原始图像的所有像素数量获取原始图像的清晰度，可以是：将高频信息的像素数量与原始图像的所有像素数量的比值作为原始图像的清晰度。

具体地，图像的清晰度可用图像中的高频信息的像素数量在该幅图像中的所有像素中的占比来表征，占比越高，图像清晰度越高。例如，一幅原始图像中的高频信息的像素数量占该幅原始图像的所有像素数量的20％，则用占比20％来表征该幅原始图像的清晰度。由此可见，每一个清晰度对应一个高频信息的像素数量。

第一阈值则为一个已知的清晰度，用来衡量原始图像是否需要修复的临界值。若第一阈值太大，相册中一些清晰度较低的原始图像不会被作为待修复图像，导致相册中的图像质量降低；若第一阈值太小，则待修复图像过多，增大了整体图像处理时间。因此，第一阈值可为10％～30％之间。例如，第一阈值可为10％、11％、15％、16％、17％、18％、19％、20％、25％、30％等等。

以第一阈值为15％，一幅原始图像的所有像素数量为1600万为例进行说明，在获取到高频信息的像素数量小于240万时，则确定该幅原始图像的清晰度小于15％，并将该幅原始图像作为待修复图像。

请参阅图15，在某些实施方式中，图像处理方法还包括：

014，获取拍摄原始图像时摄像头221的感光度；

015，判断感光度是否大于或等于预设感光度；

步骤05包括：

051，将感光度大于或等于预设感光度且清晰度小于或等于第一阈值的原始图像确定为待修复图像。

请结合图15和图16，在某些实施方式中，图像处理装置100可包括第五获取模块114和第六获取模块115，确定模块15可包括确定单元151，其中，步骤014可由第五获取模块114执行；步骤015可由第六获取模块115执行；步骤051可由确定单元151执行。也即是说，第五获取模块114可用于获取拍摄原始图像时摄像头221的感光度；第六获取模块115可用于判断感光度是否大于或等于预设感光度；确定单元151可用于将感光度大于或等于预设感光度且清晰度小于或等于第一阈值的原始图像确定为待修复图像。

请结合图3和图15，在某些实施方式中，步骤014、步骤015和步骤051均可由处理器230实现，也即是说，处理器230可用于获取拍摄原始图像时摄像头221的感光度；判断感光度是否大于或等于预设感光度；及将感光度大于或等于预设感光度且清晰度小于或等于第一阈值的原始图像确定为待修复图像。

具体地，终端200可包括成像装置220，成像装置220可包括摄像头221，摄像头221可为前置摄像头，也可为后置摄像头。

感光度是指摄像头221中感光元件(例如，图像传感器)的感光灵敏度，用ISO来表示。一般地，环境亮度越低，拍摄时摄像头221的感光度越大，环境亮度越高，拍摄时摄像头221的感光度越小。在一个例子中，摄像头221的感光度的获取方式可以是：先由图像处理装置100或终端200中的感测元件，例如光线传感器，检测出拍摄原始图像时的环境亮度，每个环境亮度对应一个感光度，且环境亮度与感光度的对照表可存储在图像处理装置100或终端200中的存储单元中，再由第五获取模块114或处理器230根据该环境亮度在存储单元中读出对应的感光度。在另一个例子中，摄像头221的感光度的获取方式还可以是：在摄像头221利用一个感光度拍摄一幅原始图像时，第五获取模块114或处理器230直接记录下摄像头221拍摄该幅原始图像时的感光度。

预设感光度是一个已知感光度，用于衡量拍摄环境是低亮环境还是非低亮环境(包括高亮环境、亮度适中的环境)，例如，在感光度大于或等于预设感光度时，可以确定此时的拍摄环境的亮度较低，当前的拍摄环境属于低亮环境；在感光度小于预设感光度时，可以确定此时的拍摄环境的亮度不低，当前的拍摄环境属于非低亮环境。

在一个例子中，预设感光度是一个固定的经验值，可以根据多次拍摄实践总结得到，并在出厂时存储在图像处理装置100或终端200的存储单元中。在另一个例子中，预定感光度是一个可调整的值，可以由用户根据自身对明暗的判定标准进行设置，例如，用户A认为感光度大于800才表示拍摄环境属于低亮环境，便将预设感光度设置为800；用户B认为感光度大于750就表示拍摄环境属于低亮环境，便将预设感光度设置为750。本实施方式中，预设感光度的范围可以为700≤ISO≤900，例如，预设感光度可以为700、750、780、800、820、830、850、900等等。例如，当预设感光度为800时，则在得到摄像头221的感光度大于800时，则表明当前的拍摄环境为低亮环境。

摄像头211在低亮环境时拍摄的原始图像的质量较差，因此，在得到拍摄环境为低亮环境时，对图像进行清晰度判断，若清晰度小于第一阈值，则将该原始图像作为待修复图像。通过获取摄像头211在拍摄时的感光度，再进行感光度的判断，提高了辨别待修复图像的准确率。

请参阅图17，在某些实施方式中，步骤010可包括：

0101，获取参考图像，参考图像的清晰度高于第二阈值；

0102，根据参考图像对待修复图像进行人像超分算法处理，以得到目标图像。

请结合图17和图18，在某些实施方式中，处理模块110可包括第五获取单元1101及处理单元1102，其中，步骤0101可由第五获取单元1101执行；步骤0102可由处理单元1102执行。也即是说，第五获取单元1101可用于获取参考图像，参考图像的清晰度高于第二阈值；处理单元1102可用于根据参考图像对待修复图像进行人像超分算法处理，以得到目标图像。

请结合图3和图17，在某些实施方式中，步骤0101、步骤0102均可由处理器230实现，也即是说，处理器230可用于实现：获取参考图像，参考图像的清晰度高于第二阈值；根据参考图像对待修复图像进行人像超分算法处理，以得到目标图像。

具体地，参考图像可包括预设用户人像或预设标准人像。以终端200是手机为例，预设用户人像可通过获取终端200中的用户提前拍摄好的人像，需要说明的是，该预设用户人像可为用户相册中的证件照或者其他清晰度更高的具有人像的图像。当终端200中没有预设用户人像时，可通过获取一个预设的标准人像，该标准人像可在网络上下载与用户同地区的任意一张高清人像，例如高清海报等。预设用户人像和预设标准人像的清晰度都要大于第二阈值，第二阈值可预先设置，只有大于第二阈值的图像才能作为参考图像(预设用户人像或者预设标准人像)，以达到更好的图像处理效果。其中，第二阈值要大于第一阈值，以得到清晰度更高的参考图像，提升图像处理效果。

请参阅图19，在某些实施方式中，步骤0101可包括：

01011，对待修复图像的人像区域和预设用户的人像进行人脸检测；

01012，判断待修复图像的人脸与预设用户的人脸的相似度是否大于或等于第一预设相似度；

01013，在待修复图像的人脸与预设用户的人脸的相似度大于或等于第一预设相似度时，将预设用户人像作为参考图像；

01014，在待修复图像的人脸与预设用户的人脸的相似度小于第一预设相似度时，获取预设标准人像作为参考图像。

请结合图19和图20，在某些实施方式中，第五获取单元1101可包括检测子单元11011、判断子单元11012、确定子单元11013及第一获取子单元11014，其中，步骤01011可由检测子单元11011执行；步骤01012可由判断子单元11012执行；步骤01013可由确定子单元11013；步骤01014可由第一获取子单元11014执行。也即是说，检测子单元11011可用于对待修复图像的人像区域和预设用户的人像进行人脸检测；判断子单元11012可用于判断待修复图像的人脸与预设用户的人脸的相似度是否大于或等于第一预设相似度；确定子单元11013可用于在待修复图像的人脸与预设用户的人脸的相似度大于或等于第一预设相似度时，将预设用户人像作为参考图像；第一获取子单元11014可用于在待修复图像的人脸与预设用户的人脸的相似度小于第一预设相似度时，获取预设标准人像作为参考图像。

请结合图3和图19，在某些实施方式中，步骤01011、步骤01012、步骤01013及步骤01014均可由处理器230实现，也即是说，处理器230可用于：对待修复图像的人像区域和预设用户的人像进行人脸检测；判断待修复图像的人脸与预设用户的人脸的相似度是否大于或等于第一预设相似度；在待修复图像的人脸与预设用户的人脸的相似度大于或等于第一预设相似度时，将预设用户人像作为参考图像；在待修复图像的人脸与预设用户的人脸的相似度小于第一预设相似度时，获取预设标准人像作为参考图像。

具体地，待修复图像和预设用户人像的人脸进行检测，该检测方法可先分别获取待修复图像中的人脸特征点和预设用户人像中的人脸特征点，再对两个图像的人脸特征点进行比较，若两个图像的人脸特征点的相似度大于第一预设相似度，则说明待修复图像的人像区域与预设用户人像是属于同一人，此时，就根据该预设用户人像对待修复图像的人像区域进行人像超分算法处理得到修复图像。使用同一人的两张图像进行处理，得到的修复图像中的人像与用户本人更加相似，也更加自然，用户体验会更好。若两个图像的人脸特征点的相似度低于第一预设相似度，则说明待修复图像的人像区域与预设用户人像是不属于同一人，这时采用标准人像作为参考图像进行超分算法处理，得到的效果会更好。因此，可根据预设标准人像对待修复图像的人像区域进行人像超分算法处理，以得到修复图像。

更具体地，通过对待修复图像的人脸的特征和预设用户的人脸的特征进行检测，该特征包括五官特征、皮肤特征、头发特征中的至少一种，经过对比，若待修复图像的人脸与预设用户的人脸的相似度大于或等于第一预设相似度，则可确定该幅待修复图像中的人像为预设用户的人像；若待修复图像的人脸与预设用户的人脸的相似度小于第一预设相似度，则可确定该幅待修复图像中的人像不是预设用户的人像，通常预设用户为机主本人，但特殊情况下，也可以是机主授权的特定用户。其中，第一预设相似度的值越大，待修复图像上的人像与预设用户的人像越相似，就越能说明待修复图像中的人像属于预设用户的；第一预设相似度的值越小，对比工作量越小，对比速度也就越高。本实施方式中，第一预设相似度的范围可为70％-100％，例如，第一预设相似度可以为70％、71％、75％、80％、85％、89％、90％、91％、92％、94％、95％、98％、99％、100％等等。第一预设相似度在该范围时，既能保证对比的准确率，又能有较快的比对速度，进而加快图像处理的整体速度。

请参阅图21，在某些实施方式中，步骤0102可包括：

01021，获取待修复图像经上采样后的第一特征图；

01022，获取参考图像经过上采样和下采样后的第二特征图；

01023，获取参考图像未经过上采样和下采样的第三特征图；

01024，获取第二特征图中与第一特征图相似度超过第二预设相似度的特征以作为参考特征；

01025，获取第三特征图中与参考特征相似度超过第三预设相似度的特征，以得到交换特征图；

01026，合并交换特征图与第一特征图，以得到第四特征图；

01027，将第四特征图放大预定倍数以得到第五特征图；及

01028，将第五特征图作为待修复图像并循环执行上述步骤，直至得到的第五特征图为目标放大倍数，则具有目标放大倍数的第五特征图为目标图像。

请结合图21和图22，在某些实施方式中，处理单元1102可包括第二获取子单元11021、第三获取子单元11022、第四获取子单元11023、第五获取子单元11024、第六获取子单元11025、合并子单元11026、放大子单元11027及处理子单元11028，其中，步骤01021可由第二获取子单元11021执行；步骤01022可由第三获取子单元11022执行；步骤01023可由第四获取子单元11023执行；步骤01024可由第五获取子单元11024执行；步骤01025可由第六获取子单元11025执行；步骤01026可由合并子单元11026执行；步骤01027可由放大子单元11027执行；步骤01028可由处理子单元11028执行。也即是说，第二获取子单元11021可用于获取待修复图像经上采样后的第一特征图；第三获取子单元11022可用于获取参考图像经过上采样和下采样后的第二特征图；第四获取子单元11023可用于获取参考图像未经过上采样和下采样的第三特征图；第五获取子单元11024可用于获取第二特征图中与第一特征图相似度超过第二预设相似度的特征以作为参考特征；第六获取子单元11025可用于获取第三特征图中与参考特征相似度超过第三预设相似度的特征，以得到交换特征图；合并子单元11026可用于合并交换特征图与第一特征图，以得到第四特征图；放大子单元11027可用于将第四特征图放大预定倍数以得到第五特征图；处理子单元11028可用于将第五特征图作为待修复图像并循环执行上述步骤，直至得到的第五特征图为目标放大倍数，则具有目标放大倍数的第五特征图为目标图像。

请结合图3和图21，在某些实施方式中，步骤01021、步骤01022、步骤01023、步骤01024、步骤01025、步骤01026、步骤01027及步骤01028均可由处理器230实现，也即是说，处理器230可用于：获取待修复图像经上采样后的第一特征图；获取参考图像经过上采样和下采样后的第二特征图；获取参考图像未经过上采样和下采样的第三特征图；获取第二特征图中与第一特征图相似度超过第二预设相似度的特征以作为参考特征；获取第三特征图中与参考特征相似度超过第三预设相似度的特征，以得到交换特征图；合并交换特征图与第一特征图，以得到第四特征图；将第四特征图放大预定倍数以得到第五特征图；及将第五特征图作为待修复图像并循环执行上述步骤，直至得到的第五特征图为目标放大倍数，则具有目标放大倍数的第五特征图为修复图像。

具体地，上采样可理解为对待修复图像或者参考图像进行放大处理，下采样可理解为对参考图像进行缩小处理。

更具体地，请参阅图23，步骤01021可包括：

010211，对待修复图像进行上采样；

010212，将上采样后的待修复图像输入到卷积神经网络进行特征提取，得到第一特征图；

步骤01022可包括：

010221，对参考图像进行下采样；

010222，对下采样后的参考图像进行上采样；

010223，将上采样后的参考图像输入到卷积神经网络进行特征提取，得到第二特征图；

步骤01023可包括：

010231，将参考图像输入到卷积神经网络进行特征提取，得到第三特征图。

通过对待修复图像进行上采样(放大)处理，在将上采样后的待修复图像输入到卷积神经网络中进行特征提取得到第一特征图，第一特征图可理解为待修复图像中的人像区域进行放大后的图像，第一特征图中包括人像中的各个特征，例如五官、肤质、头发、轮廓等等。由于第一特征图为直接对待修复图像进行放大导致第一特征图的清晰度较低，而参考图像的清晰度是比较高的，因此需要对参考图像先进行下采样(缩小)，在对下采样后的图像进行上采样，以实现参考图像的模糊化处理，提升第二特征图与第一特征图的相似度。第二特征图中也可包括例如五官、肤质、头发、轮廓等特征。直接将参考图像输入到卷积神经网络进行特征提取，得到第三特征图，需要说明的是，卷积神经网络为一个已经过深度学习后的网络，能对输入的图像进行高准确率的特征提取。

更具体地，将第二特征图和第一特征图中的特征进行对比，判断两者的相似度，并将相似度与一个第二预设相似度进行比较，若相似度大于或等于第二预设相似度，说明第二特征图的该特征与第一特征图的对应特征很像，所以可将第二特征图上的该特征作为参考特征。再将第三特征图与参考特征进行对比，判断两者的相似度，并将相似度超过第三预设相似度进行比较，若相似度大于或等于第三预设相似度，则得到对应的交换特征图。再对交换特征图与第一特征图进行合并，得到第四特征图，再对第四特征图进行放大预定倍数得到第五特征图。对第五特征图的放大倍数进行判断，若放大倍数等于目标放大倍数时，就将该第五特征图作为修复图像。需要说明的是，第二预设相似度和第三预设相似度可与上文中第一预设相似度相同，在此不再赘述。

需要说明的是，在云端服务器300(图3所示)对待修复图像的处理方式可与上文的在终端200对待修复图像的处理方式相同，在此不再赘述。

请一并参阅图1、图3和图24，本申请实施方式还提供一种计算机可读存储介质2000，其上存储有计算机程序2100，程序被处理器230执行的情况下，实现上述任意一种实施方式的图像处理方法的步骤。

例如，程序被处理器230执行的情况下，实现以下图像处理方法的步骤：

01，从终端的相册中获取原始图像；

02，对原始图像进行人脸检测；

03，在原始图像存在人脸时，获取原始图像的清晰度；

04，判断清晰度是否小于或等于第一阈值；

05，将清晰度小于或等于第一阈值的原始图像确定为待修复图像；

06，获取终端的当前网络状态；

07，判断当前网络状态是否为预设网络状态；

08，在当前网络状态为预设网络状态时，将待修复图像发送至云端服务器300；

09，接收云端服务器300返回的修复后的目标图像。

计算机可读存储介质2000可设置在图像处理装置100或者终端200内，也可设置在云端服务器300内，此时，图像处理装置100或者终端200能够与云端服务器300进行通讯来获取到相应的计算机程序2100。

可以理解，计算机程序2100包括计算机程序代码。计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、以及软件分发介质等。

处理器230可以是指驱动板。驱动板可以是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器230、数字信号处理器230(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (13)

1.一种图像处理方法，其特征在于，包括：

从终端的相册中获取原始图像；

在所述原始图像存在人脸时，获取所述原始图像的清晰度；

判断所述清晰度是否小于或等于第一阈值；

将所述清晰度小于第一阈值的所述原始图像确定为待修复图像；

获取拍摄所述原始图像时摄像头的感光度；

所述将所述清晰度小于第一阈值的所述原始图像确定为待修复图像，包括：

将所述感光度大于预设感光度且所述清晰度小于所述第一阈值的所述原始图像确定为所述待修复图像；

获取所述终端的当前网络状态；

判断所述当前网络状态是否为预设网络状态；

在所述当前网络状态为所述预设网络状态时，将所述待修复图像发送至云端服务器；

所述云端服务器对所述待修复图像进行处理，以得到目标图像；及

将所述目标图像发送至所述终端；

在当前网络状态不为预设网络状态时，所述终端对所述待修复图像进行处理，以得到所述目标图像。

2.一种图像处理方法，其特征在于，包括：

从终端的相册中获取原始图像；

在所述原始图像存在人脸时，获取所述原始图像的清晰度；

判断所述清晰度是否小于或等于第一阈值；

将所述清晰度小于第一阈值的所述原始图像确定为待修复图像；

获取拍摄所述原始图像时摄像头的感光度；

所述将所述清晰度小于第一阈值的所述原始图像确定为待修复图像，包括：

将所述感光度大于预设感光度且所述清晰度小于所述第一阈值的所述原始图像确定为所述待修复图像；

获取所述终端的当前网络状态；

判断所述当前网络状态是否为预设网络状态；

在所述当前网络状态为所述预设网络状态时，将所述待修复图像发送至云端服务器；

接收所述云端服务器返回的修复后的目标图像；

在当前网络状态不为预设网络状态时，所述终端对所述待修复图像进行处理，以得到所述目标图像。

3.根据权利要求1或2所述的图像处理方法，其特征在于，所述处理方法还包括：

保存所述目标图像至所述终端的相册中。

4.根据权利要求1或2所述的图像处理方法，其特征在于，还包括：

获取所述终端的当前状态；

在所述终端的当前状态处于预设状态时，执行从终端的相册中获取原始图像的步骤。

5.根据权利要求4所述的图像处理方法，其特征在于，所述从终端的相册中获取原始图像，包括：

从终端的相册中获取预设时段内保存的所述原始图像。

6.根据权利要求1或2所述的图像处理方法，其特征在于，所述获取所述原始图像的清晰度，包括：

对存在人脸的所述原始图像执行整形低通滤波以获取滤波图像；

根据所述原始图像与所述滤波图像获取所述原始图像中的高频信息，其中，所述高频信息为离散余弦变换系数中远离零频的部分，该部分用于描述所述原始图像的细节信息；及

根据所述高频信息的像素数量与所述原始图像的所有像素数量获取所述原始图像的清晰度。

7.根据权利要求1或2所述的图像处理方法，其特征在于，对所述待修复图像进行处理，以得到目标图像，包括：

获取参考图像，所述参考图像的清晰度高于第二阈值，所述第二阈值大于所述第一阈值；及

根据所述参考图像对所述待修复图像进行超分算法处理，以得到目标图像。

8.根据权利要求7所述的图像处理方法，其特征在于，所述获取参考图像，包括：

对所述待修复图像的人像区域和预设用户人像进行人脸检测；

在所述待修复图像的人脸与所述预设用户的人脸的相似度大于第一预设相似度时，将预设用户人像作为参考图像；

在所述待修复图像的人脸与所述预设用户的人脸的相似度小于第一预设相似度时，获取预设标准人像作为参考图像。

9.根据权利要求7所述的图像处理方法，其特征在于，所述根据所述参考图像对所述待修复图像进行超分算法处理，以得到目标图像，包括：

获取所述待修复图像经上采样后的第一特征图；

获取所述参考图像经上采样和下采样后的第二特征图；

获取所述参考图像的第三特征图；

获取所述第二特征图中与所述第一特征图超过第二预设相似度的特征以作为参考特征；

获取第三特征图中与所述参考特征相似度超过第三预设相似度的特征，以得到交换特征图；

合并所述交换特征图与所述第一特征图，以得到第四特征图；

将所述第四特征图放大预定倍数以得到第五特征图；

将所述第五特征图作为待修复图像并循环执行上述步骤，直至得到的第五特征图为目标放大倍数，则具有目标放大倍数的所述第五特征图为所述目标图像。

10.一种图像处理装置，其特征在于，包括：

第一获取模块，所述第一获取模块用于从终端的相册中获取原始图像；

第二获取模块，所述第二获取模块用于在所述原始图像存在人脸时，获取所述原始图像的清晰度；

第一判断模块，所述第一判断模块用于判断所述清晰度是否小于或等于第一阈值；

确定模块，所述确定模块用于将所述清晰度小于第一阈值的所述原始图像确定为待修复图像；

第五获取模块，所述第五获取模块用于获取拍摄所述原始图像时摄像的感光度；

第六获取模块，所述第六获取模块用于判断感光度是否大于或等于预设感光度；

确定单元，所述确定单元用于将感光度大于或等于预设感光度且清晰度小于或等于第一阈值的原始图像确定为待修复图像；

第三获取模块，所述第三获取模块用于获取所述终端的当前网络状态；

第二判断模块，所述第二判断模块用于判断所述当前网络状态是否为预设网络状态；

通信模块，所述通信模块用于在当前网络状态为预设网络状态时，将所述待修复图像发送至云端服务器，并接收所述云端服务器返回的修复后的目标图像。

11.一种终端，其特征在于，所述终端包括壳体和处理器，所述处理器安装在所述壳体上，所述处理器用于实现权利要求1-9中任一项所述图像处理方法。

12.一种图像处理系统，其特征在于，所述图像处理系统包括权利要求11所述的终端和云端服务器，所述终端包括壳体和处理器，所述处理器安装在所述壳体上，所述处理器用于：从所述终端的相册中获取原始图像；在所述原始图像存在人脸时，获取所述原始图像的清晰度；将所述清晰度小于第一阈值的所述原始图像确定为所述待修复图像；在当前网络状态为预设网络状态时，将所述待修复图像发送至所述云端服务器；所述云端服务器对所述待修复图像进行处理，以得到目标图像，并将所述目标图像发送至所述终端。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-9中任一项所述的图像处理方法。

Images