CN116917930A - 在电子设备中基于图像压缩质量校正图像的方法和设备 - Google Patents

Abstract

本公开的各种实施例提供了一种用于通过对压缩图像的压缩质量进行分类并基于被训练成对应于压缩质量的噪声消除模型消除压缩图像的压缩伪像而在电子设备中执行图像校正处理的方法和设备。根据各种实施例的电子设备可以包括显示模块、存储器和处理器，其中处理器：通过显示模块显示包括至少一个图像的屏幕；确定至少一个图像的压缩质量；选择被训练成对应于所确定的压缩质量的噪声消除模型；基于所选择的噪声消除模型来处理图像校正；以及通过显示模块显示经校正的图像。各种实施例是可能的。

Description

在电子设备中基于图像压缩质量校正图像的方法和设备

技术领域

本公开的实施例提供了一种用于在电子设备中校正图像的方法和设备。

背景技术

随着功能的多样化，电子设备被实施为具有复杂功能的多媒体播放器，例如，拍摄照片或视频、回放音乐或视频文件、玩游戏、接收广播或打电话。这种电子设备可以配备有显示器，从而基于显示器显示与功能相关的屏幕。

电子设备可以在显示器上显示存储在电子设备中的图像或者从外部设备(例如，服务器和/或另一电子设备)获取的图像。近来，随着电子设备的分辨率和/或物理尺寸(例如，显示器的屏幕尺寸)的增加，在电子设备中也需要高质量图像，相应地，已经提出了对图像质量改善的需求。例如，由电子设备或外部设备提供的图像的图像质量的重要性也在增加。

由外部设备提供的图像可以被压缩和传输。例如，可以在以某种压缩质量(或压缩率)进行压缩之后提供图像，以便节省云环境中的存储并最小化图像传输中的延迟。在这种情况下，原始图像的压缩方法信息(例如，分辨率信息)和压缩质量信息(例如，压缩比特率信息)丢失，因此图像显示设备难以确定与原始图像的压缩方法信息和压缩质量信息相关的图像质量。相应地，难以设置适合于原始图像的图像质量，具体地，难以在图像显示设备中实施图像质量算法的最大性能。

发明内容

技术问题

例如，在图像压缩中，可能在图像上发生压缩伪像。例如，在图像压缩中可能发生至少一种伪像(例如，振铃伪像(或蚊式伪像)、方块伪像、模糊伪像、色彩失真和/或纹理偏差)。一般来说，对于较高的图像压缩质量(或压缩率)，可能发生更多的压缩伪像。因此，在外部设备(例如，诸如内容服务器或另一外部设备的服务提供商)中，当图像被提供给电子设备时，可能出现在确保伪像对用户来说最小可见的同时尽可能多地压缩图像尺寸的问题。此外，近来，随着电子设备支持大屏幕显示，针对小屏幕优化且具有隐藏伪像的图像被放大并提供在大屏幕上，使得隐藏伪像可以容易地暴露给用户。例如，在小屏幕上未被识别的伪像可以在大屏幕上被放大以至于被用户识别，这可能被用户感知为图像质量的恶化。

在各种实施例中，公开了一种能够在电子设备中快速分析图像的伪像并精确改善图像的伪像的方法和设备。

在各种实施例中，公开了一种能够在电子设备中执行适合于给定图像的压缩质量的图像处理的方法和设备。

在各种实施例中，公开了一种能够在电子设备中经由适合于压缩图像的压缩质量的图像校正来为给定图像提供最优图像(例如，原始质量图像)的方法和设备。

在各种实施例中，公开了一种能够在电子设备中针对图像的每种压缩质量训练去噪模型并且当给定图像时基于被训练成对应于给定图像的压缩质量的去噪模型来校正图像的方法和设备。

在各种实施例中，公开了一种当电子设备提供图像时能够从给定图像中消除由于有损压缩而导致的伪像的方法和设备，以便进行重构并提供原始质量图像，从而向用户提供最优质量图像。

在各种实施例中，公开了一种能够在电子设备中基于图像的压缩质量的图像校正期间执行反映用户意图的图像校正的方法和设备。

在各种实施例中，公开了一种能够在电子设备中基于图像的压缩质量的图像校正期间通过复杂地考虑各种上下文来执行图像校正的方法和设备。

问题的解决方案

一种根据本公开实施例的电子设备可以包括：显示模块、存储器和可操作地连接到显示模块和存储器的处理器，其中，处理器被配置为：经由显示模块显示包括至少一个图像的屏幕；确定至少一个图像的压缩质量；选择被训练成对应于所确定的压缩质量的去噪模型；基于所选择的去噪模型来处理图像校正；以及经由显示模块显示经校正的图像。

一种根据本公开实施例的电子设备的操作方法可以包括：经由显示模块显示包括至少一个图像的屏幕；确定至少一个图像的压缩质量；选择被训练成对应于所确定的压缩质量的去噪模型；基于所选择的去噪模型来处理图像校正；以及经由显示模块显示经校正的图像。

为了解决上述任务，本公开的各种实施例可以包括计算机可读记录介质，其中记录了用于在处理器中执行方法的程序。

根据以下详细描述，本公开的进一步适用范围将变得显而易见。然而，本领域的技术人员可以清楚地理解在本公开的精神和范围内的各种变化和修改，因此，应该理解的是，详细描述和具体实施例(诸如本公开的优选实施例)仅作为示例给出。

发明的有益效果

按照根据本公开实施例的电子设备及其操作方法，当电子设备提供图像时，可以使用深度神经网络(deep neural network，DNN)来精确地处理图像的原始图像质量计算。根据各种实施例，电子设备可以基于被训练成对应于给定图像的压缩质量的去噪模型来消除该图像的压缩伪像，并且提供接近原始质量图像，从而改善压缩图像的质量。

根据各种实施例，电子设备可以基于压缩图像而从外部快速接收图像，并且将接收到的图像提供给用户，同时向用户提供作为没有伪像的压缩图像的清晰图像。

根据各种实施例，电子设备可以通过响应于用户的意图(例如，喜好)而支持对图像伪像消除的强度(例如，校正强度)的调整，来为用户提高图像校正的便利性和效率。

根据各种实施例，服务提供商可以增加压缩率，以便在提供高质量图像的同时更快地传输图像。根据各种实施例，可以改善和提供经由网络从服务提供商(例如，门户站点或消息应用)传输的低质量图像。

此外，可以提供经由文档直接或间接识别的各种效果。

附图说明

关于附图的描述，相同或相似的附图标记可以用于相同或相似的元件。

图1是示出根据各种实施例的网络环境中的电子设备的框图。

图2是示意性地示出根据实施例的电子设备的元件的图；

图3是示出根据实施例的电子设备的操作方法的流程图；

图4是示出根据实施例的电子设备中的图像校正的示例的图；

图5是示出根据实施例的电子设备中的用于图像校正的学习、分类和消除操作的示例的流程图；

图6是根据实施例的描述图像的压缩质量的一般性的图；

图7是示出根据实施例的电子设备的操作方法的流程图；

图8是示出根据实施例的用于在电子设备中基于与用户的交互来提供后处理校正的用户界面及其操作方法的示例的图；

图9是示出根据实施例的用于在电子设备中基于与用户的交互来提供后处理校正的用户界面及其操作方法的示例的图；

图10是示出根据实施例的用于在电子设备中基于与用户的交互来提供后处理校正的用户界面及其操作方法的示例的图；

图11是示出根据实施例的在电子设备中处理图像校正的操作的示例的图；

图12a和图12b是示出根据实施例的在电子设备中处理图像校正的操作示例的图；

图13是示出根据实施例的用于在电子设备中基于用户的意图进行图像处理的用户界面及其操作的示例的图；

图14是示出根据实施例的电子设备中的训练的操作示例的图；

图15是示出根据实施例的在电子设备中对压缩质量进行分类的操作方法的流程图；

图16是示出根据实施例的在电子设备中消除伪像的操作方法的流程图；以及

图17是示出根据实施例的在电子设备中校正压缩质量的操作方法的流程图。

具体实施方式

图1是示出根据各种实施例的网络环境100中的电子设备101的框图。

参照图1，网络环境100中的电子设备101可以经由第一网络198(例如，短距离无线通信网络)与电子设备102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子设备104或服务器108中的至少一个进行通信。根据实施例，电子设备101可以经由服务器108与电子设备104进行通信。根据实施例，电子设备101可以包括处理器120、存储器130、输入模块150、声音输出模块155、显示模块160、音频模块170、传感器模块176、接口177、连接端178、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、订户识别模块(subscriber identification module，SIM)196或天线模块197。在一些实施例中，可以从电子设备101中省略上述组件中的至少一个(例如，连接端178)，或者可以将一个或更多个其他组件添加到电子设备101中。在一些实施例中，可以将上述组件中的一些组件(例如，传感器模块176、相机模块180或天线模块197)实施为单个集成组件(例如，显示模块160)。

处理器120可以运行例如软件(例如，程序140)来控制电子设备101的与处理器120连接的至少一个其他组件(例如，硬件组件或软件组件)，并可以执行各种数据处理或计算。根据实施例，作为所述数据处理或计算的至少部分，处理器120可以将从另一组件(例如，传感器模块176或通信模块190)接收到的命令或数据存储到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可以包括主处理器121(例如，中央处理器(central processingunit，CPU)或应用处理器(application processor，AP))或者与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(graphics processing unit，GPU)、神经处理单元(neural processing unit，NPU)、图像信号处理器(image signalprocessor，ISP)、传感器中枢处理器或通信处理器(communication processor，CP))。例如，当电子设备101包括主处理器121和辅助处理器123时，辅助处理器123可以被适配为比主处理器121耗电更少，或者被适配为专用于特定的功能。可以将辅助处理器123实施为与主处理器121分离，或者实施为主处理器121的部分。

在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123(而非主处理器121)可以控制与电子设备101的组件之中的至少一个组件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可以与主处理器121一起来控制与电子设备101的组件之中的至少一个组件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可以将辅助处理器123(例如，图像信号处理器或通信处理器)实施为在功能上与辅助处理器123相关的另一组件(例如，相机模块180或通信模块190)的部分。根据实施例，辅助处理器123(例如，神经处理单元)可以包括专用于人工智能模型处理的硬件结构。可以通过机器学习来生成人工智能模型。例如，可以通过人工智能被执行之处的电子设备101或经由单独的服务器(例如，服务器108)来执行这样的学习。学习算法可以包括但不限于例如监督学习、无监督学习、半监督学习或强化学习。人工智能模型可以包括多个人工神经网络层。人工神经网络可以是深度神经网络(DNN)、卷积神经网络(convolutional neural network，CNN)、循环神经网络(recurrent neural network，RNN)、受限玻尔兹曼机(restricted Boltzmann machine，RBM)、深度置信网络(deepbelief network，DBN)、双向循环深度神经网络(bidirectional recurrent deep neuralnetwork，BRDNN)或深度Q网络或其两个或更多个的组合，但不限于此。另外地或可选地，人工智能模型可以包括除了硬件结构以外的软件结构。

存储器130可以存储由电子设备101的至少一个组件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可以包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可以包括易失性存储器132或非易失性存储器134。

可以将程序140作为软件存储在存储器130中，并且程序140可以包括例如操作系统(operating system，OS)142、中间件144或应用146。

输入模块150可以从电子设备101的外部(例如，用户)接收将由电子设备101的其他组件(例如，处理器120)使用的命令或数据。输入模块150可以包括例如麦克风、鼠标、键盘、键(例如，按钮)或数字笔(例如，手写笔)。

声音输出模块155可以将声音信号输出到电子设备101的外部。声音输出模块155可以包括例如扬声器或接收器。扬声器可以用于诸如播放多媒体或播放唱片的通用目的。接收器可以用于接收呼入呼叫。根据实施例，可以将接收器实施为与扬声器分离，或实施为扬声器的部分。

显示模块160可以向电子设备101的外部(例如，用户)视觉地提供信息。显示模块160可以包括例如显示器、全息设备或投影仪以及用于控制显示器、全息设备和投影仪中的相应一个的控制电路。根据实施例，显示模块160可以包括被适配为检测触摸的触摸传感器或被适配为测量由触摸引起的力的强度的压力传感器。

音频模块170可以将声音转换为电信号，反之亦可。根据实施例，音频模块170可以经由输入模块150获得声音，或者经由声音输出模块155或与电子设备101直接(例如，有线地)连接或无线连接的外部电子设备(例如，电子设备102)的耳机输出声音。

传感器模块176可以检测电子设备101的操作状态(例如，功率或温度)或电子设备101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可以包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(infrared，IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。

接口177可以支持将用来使电子设备101与外部电子设备(例如，电子设备102)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口177可以包括例如高清晰度多媒体接口(high definition multimedia interface，HDMI)、通用串行总线(universal serial bus，USB)接口、安全数字(secure digital，SD)卡接口或音频接口。

连接端178可以包括连接器，其中，电子设备101可以经由所述连接器与外部电子设备(例如，电子设备102)物理连接。根据实施例，连接端178可以包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。

触觉模块179可以将电信号转换为可以被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可以包括例如电机、压电元件或电刺激器。

相机模块180可以捕获静止图像或运动图像。根据实施例，相机模块180可以包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。

电力管理模块188可以管理对电子设备101的供电。根据实施例，可以将电力管理模块188实施为例如电力管理集成电路(power management integrated circuit，PMIC)的至少部分。

电池189可以对电子设备101的至少一个组件供电。根据实施例，电池189可以包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。

通信模块190可以支持在电子设备101与外部电子设备(例如，电子设备102、电子设备104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可以包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可以包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(global navigation satellite system，GNSS)通信模块)或有线通信模块194(例如，局域网(local area network，LAN)通信模块或电力线通信(power linecommunication，PLC)模块)。这些通信模块中的相应一个可以经由第一网络198(例如，短距离通信网络，诸如蓝牙^TM、无线保真(Wi-Fi)直连或红外数据协会(infrared dataassociation，IrDA))或第二网络199(例如，长距离通信网络，诸如传统蜂窝网络、5G网络、下一代通信网络、互联网或计算机网络(例如，LAN或广域网(wide area network，WAN)))与外部电子设备进行通信。可以将这些各种类型的通信模块实施为单个组件(例如，单个芯片)，或可以将这些各种类型的通信模块实施为彼此分离的多个组件(例如，多个芯片)。无线通信模块192可以使用存储在用户识别模块196中的用户信息(例如，国际移动订户识别码(international mobile subscriber identity，IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子设备101。

无线通信模块192可以支持在4G网络之后的5G网络以及下一代通信技术(例如新无线电(new radio，NR)接入技术)。NR接入技术可以支持增强型移动宽带(enhancedmobile broadband，eMBB)、大规模机器类型通信(massive machine type communication，mMTC)或超可靠低时延通信(ultra-reliable and low-latency communication，URLLC)。无线通信模块192可以支持高频带(例如，毫米波带)以实施例如高数据传输速率。无线通信模块192可以支持用于确保高频带上的性能的各种技术，诸如例如波束成形、大规模多输入多输出(大规模MIMO)、全维MIMO(full dimensional MIMO，FD-MIMO)、阵列天线、模拟波束成形或大规模天线。无线通信模块192可以支持在电子设备101、外部电子设备(例如，电子设备104)或网络系统(例如，第二网络199)中指定的各种要求。根据实施例，无线通信模块192可以支持用于实施eMBB的峰值数据速率(例如，20Gbps或更大)、用于实施mMTC的丢失覆盖(例如，164dB或更小)或者用于实施URLLC的U平面时延(例如，对于下行链路(downlink，DL)和上行链路(uplink，UL)中的每一个为0.5ms或更小，或者1ms或更小的往返)。

天线模块197可以将信号或电力发送到电子设备101的外部(例如，外部电子设备)或者从电子设备101的外部(例如，外部电子设备)接收信号或电力。根据实施例，天线模块197可以包括包含辐射元件的天线，所述辐射元件由形成在基底(例如，印刷电路板(printed circuit board，PCB))中或形成在基底上的导电材料或导电图案构成。根据实施例，天线模块197可以包括多个天线(例如，阵列天线)。在这种情况下，可以由例如通信模块190(例如，无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可以经由所选择的至少一个天线在通信模块190和外部电子设备之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另外的组件(例如，射频集成电路(radio frequency integrated circuit，RFIC))可以附加地形成为天线模块197的一部分。

根据各种实施例，天线模块197可以形成毫米波天线模块。根据实施例，毫米波天线模块可以包括印刷电路板、射频集成电路(RFIC)和多个天线(例如，阵列天线)，其中，RFIC设置在印刷电路板的第一表面(例如，底表面)上，或与第一表面相邻并且能够支持指定的高频带(例如，毫米波带)，多个天线设置在印刷电路板的第二表面(例如，顶表面或侧表面)上，或与第二表面相邻并且能够发送或接收指定的高频带的信号。

上述组件中的至少一些可以经由外设间通信方案(例如，总线、通用输入输出(general purpose input and output，GPIO)、串行外设接口(serial peripheralinterface，SPI)或移动工业处理器接口(mobile industry processor interface，MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。

根据实施例，可以经由与第二网络199连接的服务器108在电子设备101和外部电子设备104之间发送或接收命令或数据。电子设备102或电子设备104中的每一个可以是与电子设备101相同类型的设备，或者是与电子设备101不同类型的设备。根据实施例，将在电子设备101运行的全部操作或一些操作可以在外部电子设备102、外部电子设备104或服务器108中的一个或更多个运行。例如，如果电子设备101应该自动执行功能或服务或者应该响应于来自用户或另一设备的请求执行功能或服务，则电子设备101可以请求所述一个或更多个外部电子设备执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子设备101除了运行所述功能或服务以外，还可以请求所述一个或更多个外部电子设备执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子设备可以执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子设备101。电子设备101可以在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可以使用例如云计算技术、分布式计算技术、移动边缘计算(mobile edge computing，MEC)技术或客户机-服务器计算技术。电子设备101可以使用例如分布式计算或移动边缘计算来提供超低时延服务。在另一实施例中，外部电子设备104可以包括物联网(Internat of Things，IoT)设备。服务器108可以是使用机器学习和/或神经网络的智能服务器。根据实施例，外部电子设备104或服务器108可以被包括在第二网络199中。电子设备101可以应用于基于5G通信技术或IoT相关技术的智能服务(例如，智能家居、智能城市、智能汽车或医疗保健)。

根据各种实施例的电子设备可以是各种类型的电子设备之一。电子设备可以包括例如便携式通信设备(例如，智能电话)、计算机设备、便携式多媒体设备、便携式医疗设备、相机、可穿戴设备或家用电器。根据本公开的实施例，电子设备不限于以上所述的那些电子设备。

应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在本文中阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的附图标记可以用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可以包括一个或更多个事物，除非相关上下文另有明确指示。如本文所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可以包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如本文所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可以用于将相应组件与另一组件进行简单区分，并且不在其他方面(例如，重要性或次序)限制所述组件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可以与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。

如与本公开的各种实施例关联使用的，术语“模块”可以包括以硬件、软件或固件实施的单元，并可以与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成组件或者是该单个集成组件的最小单元或部分。例如，根据实施例，可以以专用集成电路(application-specificintegrated circuit，ASIC)的形式来实施模块。

可以将在本文中阐述的各种实施例实施为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可以由机器(例如，电子设备101)读取的一个或更多个指令的软件(例如，程序140)。例如，在处理器的控制下，所述机器(例如，电子设备101)的处理器(例如，处理器120)可以在使用或无需使用一个或更多个其他组件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可以包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形设备，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。

根据实施例，可以在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可以作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(compact disc read only memory，CD-ROM))的形式来发布计算机程序产品，或者可以经由应用商店(例如，Play Store^TM)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户设备(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可以将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。

根据各种实施例，上述组件中的每个组件(例如，模块或程序)可以包括单个实体或多个实体，并且多个实体中的一些实体可分离地设置在不同的组件中。根据各种实施例，可以省略上述组件中的一个或更多个组件，或者可以添加一个或更多个其他组件。替代地或者另外地，可以将多个组件(例如，模块或程序)集成为单个组件。在这种情况下，根据各种实施例，该集成组件可以仍旧按照与所述多个组件中的相应一个组件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个组件中的每一个组件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一组件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可以按照不同的次序来运行或被省略，或者可以添加一个或更多个其他操作。

图2是示意性地示出根据实施例的电子设备的元件的图。

参照图2，根据实施例，电子设备101可以包括通信模块190、显示模块160、处理器120和存储器130。

根据实施例，通信模块190可以支持传统网络(例如，3G网络和/或4G网络)、5G网络、带外(out-of-band，OOB)和/或下一代通信技术(例如，新无线电(new radio，NR)技术)。根据实施例，通信模块190可以对应于如图1所示的无线通信模块192。根据实施例，电子设备101可以通过使用通信模块190经由网络与外部设备(例如，图1的服务器201和/或另一电子设备102或104)进行通信。根据实施例，电子设备101可以经由通信模块190从外部设备接收图像和/或包括图像的内容(例如，网页)。

根据实施例，显示模块160可以向电子设备101的外部(例如，用户)可视地提供各种信息。根据实施例，显示模块160可以包括触摸感测电路(或触摸传感器)(未示出)、能够测量触摸强度的压力传感器、和/或用于检测磁场类型的触控笔的触摸面板(例如，数字化仪)。根据实施例，显示模块160可以基于触摸感测电路、压力传感器和/或触摸面板来测量针对显示模块160的特定位置的信号(例如，电压、光量、电阻、电磁信号和/或电荷量)的变化，以便感测触摸输入和/或悬停输入(或接近输入)。根据实施例，显示模块160可以包括液晶显示器(liquid crystal display，LCD)、有机发光二极管(organic light emitteddiode，OLED)和有源矩阵有机发光二极管(active matrix organic light emitteddiode，AMOLED)。根据一些实施例，显示模块160可以被配置为柔性显示器。

根据实施例，显示模块160可以在处理器120的控制下可视地提供图像和/或包括图像的内容。根据实施例，显示模块160可以显示关于与至少一个显示的图像相对应的图像处理(例如，图像校正)相关的各种信息(例如，用户界面)。

根据实施例，存储器130可以对应于上面参照图1描述的存储器130。根据实施例，存储器130可以存储电子设备101所使用的各种数据。数据可以包括例如应用(例如，图1的程序140)和针对与其相关的命令的输入数据或输出数据。根据实施例，存储器130可以存储当被执行时使得处理器120进行操作的指令。例如，应用可以作为软件(例如，图1的程序140)被存储在存储器130中，并且可以由处理器120执行。根据实施例，应用可以是能够在电子设备101中使用图像校正的应用。

根据实施例，存储器130可以存储与针对每种压缩质量处理图像校正的功能(或操作)相关的至少一个模块，该功能(或操作)可以由处理器120执行。例如，存储器130可以包括软件形式(或指令形式)的图像处理模块210、性能识别模块220、去噪模块230、模型选择模块240、压缩质量分类模块250、样本图块提取模块260和/或用户输入处理模块270中的至少一些。

根据实施例，处理器120可以控制用于在电子设备101中处理图像校正的相关操作。根据实施例，处理器120可以识别与存储在存储器130中的图像和/或从外部设备接收的图像相关的压缩质量，并且基于压缩质量控制与处理图像校正相关的操作。根据实施例，处理器120可以控制显示模块160，使得包括至少一个图像的屏幕经由显示模块160显示。

根据实施例，当图像被显示时或者当图像正被显示时，处理器120可以确定(或分类)给定图像的压缩质量(例如，压缩率)。根据实施例，处理器120可以从根据存储在存储器130中的各种压缩质量训练(或建模)的各种去噪模型230(或去噪模型、去噪器或伪像消除器(减少器))当中选择被训练成对应于给定图像的压缩质量的去噪模型。根据实施例，处理器120可以基于所选择的去噪模型230来处理图像校正(例如，通过从压缩图像中消除压缩伪像来重构原始质量图像)，并且经由显示模块160来显示经校正的图像。

根据实施例，处理器120可以包括用于针对每种压缩质量处理图像校正的至少一个模块。例如，处理器120可以针对每种压缩质量训练去噪模型230，并且基于训练结果针对每种压缩质量更新和管理去噪模型230。根据实施例，处理器120可以对来自给定图像的压缩质量进行分类，并且使用与压缩质量相对应的去噪模型230来处理图像校正。

除了上述功能之外，根据各种实施例的处理器120可以控制与电子设备101的正常功能相关的各种操作。例如，当执行特定应用时，处理器120可以控制该应用的操作和屏幕显示。作为另一示例，处理器120可以接收与由基于触摸或基于接近的输入接口支持的各种触摸事件或接近事件输入相对应的输入信号，并且相应地控制功能操作。

根据实施例，图像处理模块210、性能识别模块220、去噪模块230、模型选择模块240、压缩质量分类模块250、样本图块提取模块260和/或用户输入处理模块270中的至少一些可以作为硬件模块(例如，电路)被包括在处理器120中，和/或可以被实施为包括可由处理器120执行的一个或多个指令的软件。例如，由处理器120执行的操作可以被存储在存储器130中，并且可以由指令来执行，当指令被执行时，使得处理器120进行操作。

根据实施例，图像处理模块210可以包括图像编码器和图像解码器。根据实施例，图像处理模块210可以经由图像编码器处理图像的编码。例如，图像处理模块210可以经由使用图像编码器进行图像编码将图像压缩成具有指定压缩率(或压缩级别)和指定格式(例如，mpeg、jpeg、gif和/或png)的文件。根据实施例，图像处理模块210可以经由图像解码器处理利用指定编码压缩的图像的解码。例如，图像处理模块210可以使用图像解码器通过对由编码压缩的图像文件进行解压缩来重构(或恢复)图像。

根据实施例，当训练电子设备101中的去噪模型230时，性能识别模块220可以识别去噪模型230(或去噪器或伪像减少器)的性能。根据实施例，性能识别模块220可以将原始图像与经校正(或改善)的图像进行比较，以识别去噪模型230的性能。例如，性能识别模块220可以比较原始图像与经校正的图像之间的峰值信噪比(peak signal-to-noise ratio，PSNR)，以便评估图像压缩中的图像质量损失信息。例如，当损失较小时，性能识别模块220可以确定去噪模型230的性能是良好的。

根据实施例，去噪模型230可以包括去噪模型、去噪器或伪像减少器。根据实施例，去噪模型230可以表示例如要用作图像处理模块210(例如，图像解码器)的后处理滤波器的模型。根据实施例，对于与图像相关的相应的各种压缩质量(或压缩率或压缩级别)，可以有多个去噪模型230(例如，n个，其中n是大于或等于2的自然数)。根据实施例，对于去噪模型230，通过使用在电子设备101中利用各种压缩质量压缩的图像，学习了与相应的各种压缩质量相对应的多个去噪模型230并将其存储在存储器130中。

根据实施例，模型选择模块240可以基于至少一个指定标准来选择要应用于给定图像的图像校正(例如，基于压缩质量消除压缩伪像)的最优去噪模型230。根据实施例，当选择去噪模型230时，模型选择模块240可以在考虑压缩质量、用户的意图(或偏好或喜好)、提供图像的服务或应用的类型和/或其上显示有实际图像的显示模块160的物理尺寸(例如，显示模块160的屏幕尺寸)中的至少一个的情况下选择去噪模型230以应用(或配置)不同的校正强度。根据实施例，将参照以下附图描述去噪模型230的模型选择。

根据实施例，压缩质量分类模块250可以表示用于将压缩质量分类为n个级别(例如，13个级别、16个级别、50个级别或100级个级别)的模块。例如，压缩质量分类模块250可以对与关于图像的n种压缩质量(或压缩率或压缩级别)相对应的n种压缩质量进行分类。根据实施例，压缩质量分类模块250能够基于服务或应用来配置各种级别(例如，13个级别、16个级别、50个级别或100个级别)。例如，压缩质量分类模块250可以为第一应用(例如，图像编辑应用)配置X个级别(例如，16个级别)，并且为第二应用(例如，图库应用)配置Y个级别(例如，100个级别)。

根据实施例，压缩质量分类模块250的输入可以是例如具有16×16图块尺寸的图像。根据实施例，图块可以指能够理解图像的压缩质量的最小图像单元。例如，如果用于压缩图像的压缩方法包括将图像划分成8×8块的单元以压缩图像，则图块可以被配置为8×8块以及可包括8×8块的相邻关系的更大区域的10×10块。在本公开中，例如，通过添加大约4个像素的相邻块以使得可以包括直到8×8块的相邻块的中心，可以将16×16尺寸的区域定义为图块尺寸。根据实施例，将参照稍后描述的附图来描述压缩质量分类模块250的压缩质量分类。

根据实施例，样本图块提取模块260(例如，样本图块提取器)可以表示提取m个图块(例如，16×16图块)以便对图像的压缩质量进行分类的模块。根据实施例，样本图块提取模块260可以从给定图像中提取例如大约256个16×16图块，并且通过对所提取的256个16×16图块中的每一个执行分类和整合来预测图像的最终质量(Q)。根据实施例，当提取图块时，样本图块提取模块260可以(例如，均等地或随机地)根据指定方案均等地或随机地提取多个图块。根据实施例，样本图块提取模块260可以通过分析给定图像中的部分区域而不是整个区域来提高分类速度。

根据实施例，样本图块提取模块260可以从给定图像中以图块为单位提取(例如，均等地提取或随机地提取)多个区域，并且通过分析所提取的区域的边缘分量来预测图像的最终质量(Q)。例如，样本图块提取模块260可以基于各种边缘检测方案来分析所提取的区域的边缘分量(例如，图像亮度从较低值变化到较高值以及从较高值变化到较低值所在的部分或轮廓)。基于分析的结果，如果边缘分量具有等于或小于指定阈值的值，则样本图块提取模块260可以通过从平均值或中值的计算中排除相对应的区域来实现更高的压缩分类。

在实施例中，边缘检测方案可以使用各种边缘提取算法，例如，Sobel边缘提取、Prewitt边缘提取、Roberts边缘提取、Compass边缘提取、二阶导数和拉普拉斯边缘提取、Canny边缘提取和/或线边缘提取。例如，对于压缩伪像(或噪声)的模式，通过边缘检测进行分类可以在边缘分量周围表现得更突出，并且可以有利于防止由于没有模式而导致的错误分类(例如，没有模式的纯色图块)。

根据实施例，将参照稍后描述的附图来描述由样本图块提取模块260从图像中提取样本图块并对其进行分类和整合。

根据实施例，用户输入处理模块270可以表示处理用户输入以识别用户的意图(或偏好或喜好)的模块。根据实施例，用户输入处理模块270可以接收针对经由显示模块160显示的去噪(例如，消除了压缩伪像)图像的用户输入，以便识别用户的偏好，并且向模型选择模块240提供关于图像的校正强度的信息，该信息是根据接收的用户输入来选择的。根据实施例，将参照稍后描述的附图来描述用户输入处理模块270对用户的意图的反映。

本公开中描述的各种实施例可以通过使用软件、硬件或其组合在计算机或类似设备可读的记录介质内实施。根据硬件实施方式，在各种实施例中描述的操作可以使用专用集成电路(application-specific integrated circuits，ASIC)、数字信号处理器(digital signal processor，DSP)、数字信号处理器件(digital signal processingdevice，DSPD)、可编程逻辑器件(programmable logic device，PLD)、现场可编程门阵列(field programmable gate array，FPGA)、处理器、控制器、微控制器、微处理器和/或用于执行功能的其他电子单元中的至少一个来实施。

在各种实施例中，记录介质可以包括其中记录有用于执行操作的程序的计算机可读记录介质，其中，该操作包括：经由显示模块160显示包括至少一个图像的屏幕，确定至少一个图像的压缩质量，选择被训练成对应于所确定的压缩质量的去噪模型，基于所选择的去噪模型来处理图像校正，以及经由显示模块160显示经校正的图像。

根据本公开实施例的电子设备101可以包括显示模块160、存储器130以及可操作地连接到显示模块160和存储器130的处理器120，其中，处理器120被配置为经由显示模块160显示包括至少一个图像的屏幕，确定至少一个图像的压缩质量，选择被训练成对应于所确定的压缩质量的去噪模型230，基于所选择的去噪模型来处理图像校正，以及经由显示模块160显示经校正的图像。

根据实施例，至少一个图像可以是通过利用指定的压缩质量进行压缩而获得的压缩图像。

根据实施例，处理器120可以以至少一个图像的图块为单位对压缩质量进行分类。

根据实施例，处理器120可以以图块为单位从图像中均等地提取多个区域，并且基于所提取的区域的压缩质量的平均值或中值对图像的压缩质量进行分类。

根据实施例，处理器120可以基于所提取的区域来分析边缘分量，并且从平均值或中值的计算中排除其中边缘分量具有等于或小于指定阈值的值的区域。

根据实施例，处理器120可以基于提供至少一个图像的应用或服务的类型对压缩质量进行分类。

根据实施例，处理器120可以识别提供图像的应用或服务的类型，基于应用或服务的类型来识别相对应的指定的压缩质量，并且基于指定的压缩质量对图像的压缩质量进行分类。

根据实施例，处理器120可以在存储器130中存储先前针对各种压缩质量中的每种压缩质量训练的多个去噪模型230，并且从多个去噪模型230当中选择被训练成对应于图像的压缩质量的分类的去噪模型。

根据实施例，处理器120可以通过另外考虑用户的个性化、提供图像的服务或应用的类型和/或显示模块的屏幕尺寸中的至少一个来选择去噪模型。

根据实施例，处理器120可以根据与所选择的去噪模型相对应的校正强度而从图像中消除压缩伪像，并且将图像重构为压缩之前的原始图像。

根据实施例，处理器120可以在图像校正期间提供能够与用户交互的用户界面，以便识别关于图像校正和用户的意图的信息。

根据实施例，处理器120可以基于用户界面接收用户输入，并且基于用户输入执行经校正的图像的后处理。

根据实施例，当显示屏幕时，处理器120可以基于内容执行从与图像相对应的外部设备临时下载图像，并且提供通过从临时下载的图像中消除压缩伪像而获得的经校正的图像，消除是基于根据分类的压缩质量而训练的去噪模型来执行的。

根据实施例，处理器120可以基于包括至少一个图像的内容执行来显示相对应的屏幕，基于用户在屏幕上选择的图像而以某种比例放大用户选择的图像并提供该图像，并且当显示所选择的图像时，对所选择的图像的压缩质量进行分类并经由弹出消息提供其结果。

在下文中，将详细描述根据各种实施例的电子设备101的操作方法。将在下面描述的由电子设备101执行的操作可以由包括电子设备101的至少一个处理电路的处理器(例如，图1或图2的处理器120)来执行。根据实施例，由电子设备101执行的操作可以被存储在存储器130中，并且可以由指令来执行，当指令被执行时，使得处理器120进行操作。

图3是示出根据实施例的电子设备的操作方法的流程图。

参照图3，在操作301中，电子设备101的处理器120可以显示包括图像的屏幕。根据实施例，处理器120可以经由显示模块160可视地提供图像和/或包括图像的内容。根据实施例，处理器120可以基于用户输入来控制显示模块160显示包括存储在电子设备101的存储器130中的图像和/或从外部设备接收的图像的屏幕。根据实施例，图像可以表示利用指定的压缩质量(或压缩率或压缩级别)压缩的压缩图像。

在操作303中，处理器120可以确定与图像相关的压缩质量。根据实施例，处理器120可以对至少一个给定图像中的每个给定图像的压缩质量(例如，压缩率)进行分类。

根据实施例，当对压缩质量进行分类时，处理器120可以以压缩图块(例如，8×8像素、16×16像素或64×64像素)为单位提取并分析指定的m个(例如，大约256个)图块，而不是以给定图像的整个区域为单位。基于此，处理器120可以照原样识别用于以图块为单位压缩给定图像的编解码器的特性，并且可以随机均匀地识别整个图像。根据实施例，当对压缩质量进行分类时，处理器120可以从给定图像中提取多个(例如，指定的m个)图块，并且分析所提取的图块的边缘分量。例如，处理器120可以基于各种边缘检测方案来分析所提取的图块的边缘分量，并且通过从平均值或中值的计算中排除其中边缘分量具有等于或小于指定阈值的值的图块对压缩质量进行分类。

根据实施例，处理器120可以经由以图块为单位(例如，8×8图块单元、16×16图块单元或64×64图块单元)的给定图像的分类学习和预测来确定压缩质量。例如，可以以图块为单位执行图像压缩，因此分类可能以最大8×8图块单元、16×16图块单元或64×64图块单元(例如，HEVC)进行。基于此，处理器120可以通过集中在作为压缩发生的单元的相对应的图块上来防止由于总体图像特性而导致的计算误差。此外，因为用于确定压缩质量的计算的输入图像的尺寸较小，所以处理器120可以使用现有的池化层来避免可能不必要地加宽感受野并降低精度的操作。

根据实施例，因为不能清楚地反映压缩率的区域(例如，对于图像的黑色部分为具有与压缩无关的相似特性的区域)可能由于图像的特性而发生，所以处理器120可以提取图像的各个区域(例如，提取大约256个图块)，并且使用所提取的区域的相应压缩质量(或分数)的平均值或中值来执行分类。

根据实施例，当计算所提取的区域的相应压缩质量(或分数)的平均值或中值时，处理器120可以分析所提取的区域的边缘分量，以便从平均值或中值的计算中排除其中边缘分量具有等于或小于指定阈值的值的区域。例如，对于压缩伪像(或噪声)的模式，通过边缘检测进行分类可以在边缘分量周围显得更突出，并且可以有利于防止由于没有模式而导致的错误分类(例如，没有模式的纯色图块)。

根据实施例，当对压缩质量进行分类时，处理器120可以基于提供给定图像的服务(或应用)的类型对压缩质量进行分类。例如，每个服务(例如，信使服务或门户服务)(或应用)可以向电子设备101提供具有其自己的(或指定的)压缩质量的图像，以便节省云环境中的存储并最小化图像传输中的延迟。例如，下面的<表1>可以指示由相应服务(或应用)提供的JPEG压缩质量的示例。在<表1>中，压缩质量的值越高，指示质量越好。根据实施例，处理器120可以识别在电子设备101中提供(或执行)给定图像的服务(或应用)的类型，并且基于服务的类型对相对应的压缩质量进行分类。

[表1]

在操作305中，处理器120可以选择被训练成对应于压缩质量的模型(例如，噪声消除模型或去噪模型)。例如，处理器120可以预先识别在提供图像的服务(或应用)中使用的压缩质量，并且当电子设备101使用服务(或应用)时，可以使用利用压缩质量训练的去噪模型。

根据实施例，处理器120可以从存储器130中先前针对各种压缩质量中的每种压缩质量进行训练的多个去噪模型230当中选择被训练成对应于图像的压缩质量的去噪模型。根据实施例，对于给定图像，当利用第一压缩质量执行分类时，处理器120可以选择与第一压缩质量的分类相对应的第一去噪模型。对于给定图像，当利用第二压缩质量执行分类时，处理器120可以选择与第二压缩质量的分类相对应的第二去噪模型。对于给定图像，当利用第三压缩质量执行分类时，处理器120可以选择与第三压缩质量的分类相对应的第三去噪模型。

根据实施例，当选择被训练成对应于压缩质量的去噪模型时，处理器120可以通过进一步考虑用户的意图(或偏好或喜好)、提供图像的服务或应用的类型和/或其上要显示实际图像的显示模块160的物理尺寸(例如，显示模块160的屏幕尺寸)中的至少一个来选择去噪模型。

在操作307中，处理器120可以基于所选择的模型执行图像处理。根据实施例，处理器120可以使用基于图像的压缩质量从多个去噪模型230当中选择的去噪模型来处理图像校正。根据实施例，处理器120可以根据与所选择的去噪模型相对应的校正强度而从给定图像中消除压缩伪像(或噪声)，并且将给定图像(例如，压缩图像)重构为压缩之前的原始图像。

在操作309中，处理器120可以显示经校正的图像。根据实施例，处理器120可以基于与至少一个给定图像相对应的去噪模型来控制显示模块160显示经校正的状态。根据实施例，在操作309中显示经校正的图像可以包括发送或存储经校正的图像，或者可以被替换为发送或存储经校正的图像。

图4是示出根据各种实施例的电子设备中的图像校正的示例的图。

如图4所示，示例屏幕<401>可以表示提供根据压缩质量的图像校正之前的压缩图像410(例如，给定图像)的示例，并且示例屏幕<403>可以表示提供根据压缩质量的图像校正之后的经校正的图像420(例如，重构图像)的示例。

根据实施例，在图4的示例中，示例屏幕<401>可以示出给定图像(例如，通过利用指定的压缩质量进行压缩而获得的压缩图像410)的压缩质量例如是JPEG质量级别(例如，大约80)。根据实施例，在图4的示例中，示例屏幕<403>示出了电子设备101分类(或预测)出图像410是JPEG质量级别(例如，大约80)的示例，并且应用(例如，图像校正)被训练成对应于分类的压缩质量(例如，质量级别：大约80)的改善算法(例如，去噪模型)。

根据实施例，提供给电子设备101的图像主要是利用某种压缩质量(或压缩率)进行压缩、然后进行传输，并且电子设备101可以从外部设备(或网络)接收压缩图像。如示例屏幕<401>中所示，这样的压缩图像可以生成取决于压缩质量的独特伪像(例如，示例屏幕<401>中的元素430部分)。例如，诸如各种采样(例如，色度子采样)、块尺寸和/或量化(例如，离散余弦变换(discrete cosine transform，DCT)系数量化)的各种方法可以用于降低压缩质量(例如，比特率)，并且可以利用更多各种压缩质量控制方法(例如，比特率控制方法)来进一步压缩图像。

根据实施例，电子设备101可以在包括各种压缩质量的学习数据(例如，具有不同压缩质量的图像)中学习以相对应的压缩质量出现的独特伪像(或噪声)的模式，并且经由深度神经网络训练用于消除伪像的多个模型(例如，去噪模型)。在实施例中，深度神经网络可以表示包括输入层与输出层之间的多个隐藏层的人工神经网络(artificial neuralnetwork，ANN)。

根据实施例，深度神经网络可以学习包括多个隐藏层的各种非线性关系，并且被用作用于深度学习的核心模型。根据实施例，深度神经网络可以根据算法包括基于无监督学习方法的深度信念网络(DBN)和深度自动编码器、用于处理二维数据(诸如图像)的卷积神经网络(CNN)和/或用于处理时间序列数据的递归神经网络(RNN)。

相应地，在各种实施例中，可以匹配针对每种压缩质量优化的去噪模型，并且可以通过应用与压缩质量相对应的去噪模型来消除伪像(或噪声)(例如，元素430)。根据实施例，电子设备101可以经由学习数据根据压缩质量对伪像进行分类，并且自动地分析伪像的模式，以便甚至消除与压缩质量相对应的独特伪像。

根据实施例，电子设备101可以识别给定图像(例如，示例屏幕<401>的压缩图像410)的压缩质量，并且应用针对压缩质量的伪像(或噪声)训练的去噪模型，以便向用户提供伪像已从中消除的图像(例如，示例屏幕<403>的重构图像420)。

图5是示出根据实施例的电子设备中的用于图像校正的学习、分类和消除操作的示例的流程图。

参照图5，在操作501中，电子设备101的处理器120可以生成包括多个等级的压缩质量的数据集。根据实施例，处理器120可以生成包括n个等级的压缩质量的数据集。例如，可能需要图像数据集以在电子设备101中生成机器学习模型。在实施例中，可以使用例如图2的图像处理模块210(例如，图像编码器)来准备图像数据集。例如，处理器120可以通过为图像编码器不同地配置n个等级的质量选项来准备n种质量的压缩图像。例如，用于实施JPEG格式编码的库应用可以提供例如从1到100的100个压缩级别的编码质量，并且图像编辑应用可以提供例如从1到13的13个压缩级别的编码质量。

根据实施例，处理器120可以基于数据集训练例如图2的压缩质量分类模块250(例如，压缩质量分类器)。根据实施例，处理器120可以将利用各种质量压缩的图像配置为“输入X”，并且将生成相应压缩图像时使用的质量配置为“基本事实输出Y”(例如，标签或标记)。

根据实施例，处理器120可以训练例如图2的去噪模型230(例如，伪像减少器)。根据实施例，处理器120可以将利用各种质量压缩的图像配置为“输入X”，并且将原始图像配置为“基本事实输出Y”。根据实施例，与压缩质量分类模块250不同，去噪模型230可以指示具有非整数的标签的图像。

在操作503中，处理器120可以对压缩质量等级进行分类。根据实施例，处理器120可以执行训练(学习)以对压缩质量等级进行分类。根据实施例，处理器120可以使用各种机器学习方法作为用于对压缩质量等级进行分类的方法，例如，压缩质量分类模块250可以利用卷积神经网络(CNN)来实施。例如，处理器120可以利用通过由图像处理模块210(例如，图像解码器)对在操作501中生成的数据集解码各种压缩图像质量而获得的数据来训练CNN模型，使得当在电子设备101中给定随机图像时，处理器120可以预测图像的压缩质量。

根据实施例的机器学习方法不限于CNN模型，并且可以使用可用于分类和提高压缩质量的各种机器学习方法。例如，作为机器学习方法，可以包括各种机器学习方法，住如深度信念神经网络(DBN)、深度自动编码器、卷积神经网络(CNN)和/或递归神经网络(RNN)。

根据实施例，处理器120可以推断图像的压缩质量。根据实施例，当电子设备101对压缩质量等级进行分类时，处理器120可以不检查图像的所有图块，可以通过使用例如图2的样本图块提取模块260(例如，样本图块提取器)来提取例如大约256个16×16图块，并且可以通过对相应的256个提取的图块进行分类和整合来预测图像的最终质量Q。根据实施例，当基于所提取的区域预测最终质量Q时，处理器120可以分析所提取的区域的边缘分量，并且从平均值或中值的计算中排除其中边缘分量具有等于或小于指定阈值的值的区域，从而预测最终质量Q。根据各种实施例，处理器120可以通过分析图像的一部分而不是整个图像来快速提高分类速度。

在操作505中，处理器120可以基于被训练成对应于压缩质量的去噪模型的应用来消除伪像。根据实施例，对于给定图像，处理器120可以通过应用被训练成对应于相对应的压缩质量的改善强度(去噪强度)来消除伪像。

根据实施例，处理器120可以执行学习以确定与压缩质量相对应的去噪模型。根据实施例，处理器120可以生成例如n个去噪模型230，如压缩质量分类的数量。根据实施例，为了减少去噪模型230的数量，处理器120可以通过例如利用例如少于n个数量执行量化来生成去噪模型230。作为示例，处理器120可以利用例如大约100种压缩质量当中的大约8种质量(例如，压缩质量20、30、40、50、60、70、80和90)来执行量化。

根据实施例，处理器120可以生成训练模型，使得经由量化生成的压缩图像可以以8×8图块为单位被校正为原始图像。根据实施例，处理器120可以将输入尺寸配置为尺寸为16×16像素的图块，使得也考虑了相邻块的至少一些区域。例如，处理器120可以防止特定块相对于相邻块的纹理和/或颜色的突然变化。

根据实施例，处理器120可以基于经由压缩质量分类模块250预测的质量(例如，最终质量Q)来确定适当的去噪模型230，并且通过将所确定的去噪模型230应用于图像校正来消除由于有损图像压缩而导致的压缩伪像。

图6是根据实施例的描述图像的压缩质量的一般性的图。

根据实施例，如上所述，对于压缩质量的数值，例如从1到100，实际压缩率(或量化步长和/或子采样的数量)可以取决于图像编码器、应用和/或服务而变化。然而，尽管表示压缩质量的数值根据取决于图像编码器类型而不同，但是如果在一个图像编码器中均等地学习了最高压缩率与最优压缩率之间的质量，则如图6所示，结果是可能存在压缩质量类似于另一图像编码器的压缩质量的点，并且图像质量可能相应地得到改善。

根据实施例，图6可以示出提供不同压缩质量级别的第一应用(例如，图库应用)和第二应用(例如，图像编辑应用)的示例。根据实施例，作为提供不同压缩质量级别的方法，可以包括改变DCT系数的量化步长的方法和/或改变色度区域的子采样的方法。图6的示例可以示出通过将在第一图像编码器(例如，应用于第一应用(例如，图库应用)的编码器)中训练的压缩质量分类模块250应用于由第二图像编码器(例如，应用于第二应用(例如，图像编辑应用)的编码器)生成的图像来比较数值的结果，其中，第一图像编码器提供从1到100的100个JPEG质量级别，并且第二图像编码器提供从0到12的13个质量级别。

根据实施例，基于该比较，可以识别在由第一图像编码器生成的第一图像(例如，从1到100的质量)与由第二图像编码器生成的第二图像(例如，从0到12的质量)之间是否存在相关性。例如，当在第一图像与第二图像之间存在相关性时，可以通过仅在一个图像编码器(例如，JPEG编码器)中测量质量来生成相对应的去噪模型230。

根据实施例，参照图6，图6中的纵轴(例如，Y轴)可以表示从1到100的第一图像编码器的100个级别的质量，并且横轴(例如，X轴)可以表示从0到12的第二图像编码器的13个级别的质量。根据实施例，在图6中，元素610的曲线图可以指示峰值信噪比(PSNR)变化，并且元素620的曲线图可以指示质量变化。

参照图6，根据比较结果，如经由曲线图620所示，可以识别出当第二图像编码器的质量从0增加到12时，在第一图像编码器中训练的压缩质量分类模块250的测量值也成比例地从大约17增加到大约99。例如，在两个不同编码器的不同质量级别之间可能存在相关性。如经由图6的实验所识别的，即使在一个编码器(例如，JPEG编码器)中执行训练，也可以看到各种其他编码器也是可支持的。

如上所述，在从电子设备101和/或外部设备(例如，服务器或另一电子设备)提供的图像中，可以取决于压缩质量而生成独特的伪像(或噪声)。例如，对于图像，可以使用各种采样(例如，色度子采样)、块尺寸和/或量化(例如，DCT系数量化)方法来降低压缩质量信息(例如，比特率信息)，并且可以取决于压缩编解码器而另外使用更多各种压缩质量控制方法(例如，比特率控制方法)。

在各种实施例中，可以学习在包括各种压缩质量的学习数据(例如，具有不同压缩质量的图像)中以相对应的压缩质量出现的独特伪像(或噪声)的模式，并且可以经由深度神经网络训练用以消除伪像的多个去噪模型。相应地，与例如基于传统模糊滤波器强度的噪声改善相比，电子设备101能够执行针对相对应的压缩质量更优化的伪像消除。根据各种实施例，电子设备101可以经由学习数据根据压缩质量对伪像进行分类，并且分析伪像的模式以便消除甚至与压缩质量相对应的独特伪像。根据实施例，电子设备101可以使用经训练的压缩质量分类模块250从多个经预训练的去噪模型当中选择最适合于给定图像的压缩质量的一个去噪模型。

根据实施例，电子设备101可以通过使用多个(例如，n个)去噪模型来提出新校正强度。根据实施例，电子设备101可以应用针对每种压缩质量训练的去噪模型。根据实施例，电子设备101可以根据深度神经网络的优化问题和/或上下文来应用去噪模型。例如，根据各种实施例的电子设备101可以通过使用在最相似的压缩质量等级上训练的量化去噪模型来提出可以立刻覆盖各种压缩质量中的每种压缩质量的伪像的新校正强度。例如，新校正强度的数值可以是利用各种压缩质量训练的去噪模型的索引(index)。根据各种实施例的电子设备101可以利用基于去噪模型的索引的一个值来配置新校正强度。

根据实施例，电子设备101可以通过将具有不同压缩质量的图像命名为特定压缩质量等级来生成学习数据。根据各种实施例，电子设备101可以使用各种去噪模型不仅学习对相对应的压缩质量的压缩级别(或等级)进行分类的方法，还学习消除学习数据中相对应的伪像的方法。基于此，当给定特定图像时，电子设备101可以应用适合于相对应的压缩质量的解压缩方法。此外，电子设备101可以使用各种解压缩方法的等级或索引来量化利用复参数表达的噪声校正强度，以便表达该噪声校正强度。

根据实施例，电子设备101可以解决可能仅出现在学习数据的每个压缩级别中的独特伪像，学习数据是在降低压缩级别(例如，压缩质量(例如，比特率))时获取的。例如，电子设备101可以具体地学习相对应的压缩级别，识别可能出现在该压缩级别中的压缩伪像，并且反向校正该压缩伪像。

根据实施例，电子设备101可以提供通过将深度神经网络应用于不同校正强度的图像而获得的美观效果和/或边缘保持平滑(例如，在维持强边缘的同时消去瑕疵)效果，在深度神经网络中已经以低校正强度(例如，压缩级别)执行了校正学习。根据实施例，电子设备101可以通过将用于根据每个不同的压缩校正强度对原始质量执行校正的模型应用于另一强度来增加增强处理强度。根据各种实施例，电子设备101可以通过学习多个深度神经网络来调整校正强度，以将在降低压缩级别的同时获取的学习数据重构到原始质量。此外，根据各种实施例，在图像校正期间，电子设备101可以支持根据用户或各种上下文来重新调整校正强度。

根据实施例，可以使用针对各种压缩质量(例如，噪声级别)中的每种压缩质量精确训练的去噪模型来提供更优化的图像校正。根据各种实施例，如上所述，除了新的校正强度之外，可以通过以复杂的方式考虑各种上下文来确定伪像消除级别。在各种实施例中，在考虑用户特性(例如，用户的个性化)、显示图像的电子设备101的特性(例如，显示模块160的屏幕尺寸)和/或显示图像的上下文(例如，应用(或服务)特性)的情况下，可以确定更优化的去噪模型，并且可以消除伪像。

根据实施例，取决于用户的喜好、电子设备101的上下文和/或服务的目的，由于应用由电子设备101确定的去噪模型而已从其中消除了伪像的图像(例如，经校正(或增强)的图像)对于用户来说可能不是视觉上最优的。例如，与照原样暴露用户面部的原始图像相比，用户可能希望能够使用户面部的瑕疵消失的更强校正。再例如，尽管图像具有相同的压缩质量，但是当图像被显示在具有大屏幕的电子设备上时和当图像被显示在具有小屏幕的电子设备上时，可能需要校正强度是不同的。

在实施例中，可以提供适当的校正强度(或改善因子)以经由适合于用户喜好的后处理应用方法、电子设备101的显示模块160的屏幕尺寸(例如，当在大屏幕的显示模块160上显示图像时，可能需要更强的后处理)和/或提供的服务(例如，应用)来选择。在各种实施例中，不是仅基于图像来提供固定的后处理增强强度，而是可以另外配置(调整)增强强度，以便根据各种条件来提供。

根据各种实施例，对于上述由电子设备101初步校正的图像，电子设备101可以通过根据用户的个性化、电子设备101的屏幕尺寸和/或应用(或服务)的特性综合地应用后处理滤波器来适应性地执行操作，而不固定后处理增强强度。根据实施例，用户偏好的图像可能不是接近现实的图像。例如，用户偏好的图像可以是对用户的眼睛有益的图像，即使该图像不同于原始图像。相应地，在各种实施例中，可以提供压缩噪声校正强度，使得可以根据用户的喜好(或意图)、用于提供图像的服务的特性和/或要在其上显示实际图像的显示模块160的物理尺寸来应用(或配置)不同的校正强度。

在下文中，将提供对于自然地向用户提供关于图像状态和改善方法的指导、同时能够经由适合于用户喜好的后处理应用方法来选择适当的改善因子(或强度)的操作场景的描述。例如，电子设备101可以基于用户的意图来处理附加的图像校正。

图7是示出根据实施例的电子设备的操作方法的流程图。

参照图7，在操作701中，电子设备101的处理器120可以基于去噪模型来处理图像。根据实施例，处理器120可以通过从给定图像(例如，压缩图像)中消除压缩伪像(或噪声)对原始图像执行重构。

在操作703中，处理器120可以显示第一经校正的图像。根据实施例，处理器120可以显示已经基于去噪模型的应用从中消除了压缩伪像的原始图像(或重构图像)。

在操作705中，处理器120可以提供与后处理校正相关的用户界面。根据实施例，当显示第一经校正的图像时，处理器120可以控制显示模块160通过与第一经校正的图像重叠或者经由弹出窗口来显示用于用户图像的后处理校正的用户界面。

在操作707中，处理器120可以接收用户输入。根据实施例，处理器120可以基于用户界面来检测用于选择要应用于后处理校正的选项的用户输入。

在操作709中，处理器120可以基于用户输入来校正图像。根据实施例，处理器120可以基于与用户输入相对应的选项来校正图像。

在操作711中，处理器120可以显示第二经校正的图像。根据实施例，经由根据与用户输入相对应的选项对第一经校正的图像进行后处理校正，处理器120可以控制显示模块160显示从第一经校正的图像变换的第二经校正的图像。

图8、图9和图10是示出根据实施例的电子设备中的用于根据用户的意图处理图像校正的用户界面及其操作的示例的图。

参照图8，图8可以示出启用根据用户的意图对电子设备101的整个系统应用后处理校正的配置的示例。根据实施例，如图8所示，电子设备101可以在显示图像的屏幕810上提供启用针对压缩伪像的配置(例如，执行)的选择菜单820。根据实施例，当经由选择菜单820启用压缩伪像配置时，电子设备101可以将从图像中消除相对应的伪像的强度调整为相对不同于原始级别。根据实施例，电子设备101还可以在显示图像的屏幕810上提供与根据校正强度的实际图像校正相关的信息830(或校正强度)(例如，强度：+20)。

参照图9，图9可以示出在电子设备101中对于已经进行了初步校正(例如，预处理校正)的图像(例如，已经从通过根据指定的压缩质量进行压缩而获得的压缩图像变换为通过消除由于压缩质量而导致的压缩伪像而得到的原始图像的图像)能够根据用户的意图(或喜好)进行被应用于图像上的二次校正(例如，后处理校正)的配置的示例。根据实施例，如图9所示，电子设备101可以提供指定的调整菜单920，以供用户经由显示图像的屏幕910的指定区域(例如，屏幕的右上区域、屏幕的中心区域、屏幕的下中心区域或屏幕的左上区域)进行图像校正。根据实施例，电子设备101可以基于使用调整菜单920的用户输入来处理与调整菜单920相关的指定的图像校正。

根据实施例，当提供经初步校正的图像时，电子设备101可以提供调整菜单920和关于针对经初步校正的图像的校正结果的信息(例如，指导消息，诸如“图像的压缩质量为60。您想要进一步校正吗？”)。根据实施例，电子设备101可以经由调整菜单920指导用户调整校正强度。

参照图10，图10可以示出基于经初步校正(例如，预处理)的图像来显示经二次处理(例如，后处理)的多个样本图像，然后使用户能够在电子设备101中选择意图的图像的配置的示例。

根据实施例，当显示用于校正的屏幕时，为了向用户清楚地示出压缩质量的改善程度，电子设备101可以在改善正在进行时提供面部部分、人体(例如，整个身体)部分、显著部分和/或改善前后PSNR差异最大的部分。

根据实施例，如图10所示，电子设备101可以显示指示图像1010的压缩质量很差的弹出消息(未示出)以及利用各种强度改善的图像1020、1030和1040，并且可以使用户能够选择所显示的图像1020、1030和1040之一。根据实施例，当提供经初步校正的图像1010(例如，压缩质量：65)时，电子设备101可以显示关于针对经初步校正的图像1010的校正结果的信息(例如，指导消息，诸如“图像的压缩质量为60。您想要进一步校正吗？”)。根据实施例，在显示关于校正信息的信息之后，如图10所示，电子设备101可以响应于用户输入而向用户提供(例如，显示)已经预先应用了不同校正强度的图像1020、1030和1040，并且使用户能够选择校正强度。

根据实施例，诸如第一样本图像1020(例如，压缩质量：-30)、第二样本图像1030(例如，压缩质量：60)和第三样本图像1040(例如，压缩质量：+30)，电子设备101可以基于经初步校正的图像1010向用户提供已经应用了与经初步校正的图像1010的校正强度不同的校正强度的多个图像(例如，经二次校正的图像)。

根据实施例，如图8、图9和/或图10所示，作为默认配置，电子设备101可以应用和管理根据基于用户输入的用户的意图而选择(或配置)的校正级别。例如，电子设备101可以管理根据用户的意图而选择的校正级别，使得通过在后续学习和/或后续校正中另外考虑反映用户的意图的校正级别来处理图像校正。例如，当根据压缩质量确定去噪模型时，电子设备101可以通过参照根据用户对压缩质量的意图(或个性化)而配置的历史来调整校正强度。

根据实施例，电子设备101还可以在考虑除了图8、图9和/或图10所示的上下文之外的各种上下文(例如，应用类型、另一用户的偏好和/或显示模块160的屏幕尺寸)的情况下不同地配置校正强度。

根据实施例，电子设备101可以为每个应用(或服务)配置不同的校正强度。根据实施例，提供图像的每个应用(或服务)可以提供不同压缩质量的图像。例如，在特定应用(例如，摄影应用)中，可能有必要应用密集的校正强度来给出美丽的效果。再例如，在另一特定应用(例如，新闻应用)中，应用密集的校正效果可能是不必要的。相应地，在各种实施例中，可以为每个应用(或服务)执行具有不同压缩质量(或压缩级别)的校正。

根据实施例，对于给定的图像，电子设备101可以通过使用其他用户的配置值来为该图像配置不同的校正强度。例如，与公众人物(例如，名人)相关的图像可以跨多个站点散布到各种电子设备，并且可能存在各种电子设备的不同用户已经通过对图像应用校正强度而配置的各种样本。根据实施例，如果给定的图像是可以由许多其他用户共同共享的图像(诸如名人的图像)，则当消除图像的压缩伪像时，电子设备101可以通过从外部源(例如，服务器或另一电子设备)获取由其他用户预先配置的最优校正级别来执行校正。

根据实施例，电子设备101可以根据显示图像的显示模块160的屏幕尺寸来有区别地配置不同的校正强度。根据实施例，对于利用相同压缩质量压缩的图像，电子设备101可以在具有小屏幕尺寸的电子设备和具有大屏幕尺寸的电子设备中利用不同的校正强度执行校正。例如，电子设备101可以通过根据显示模块160的屏幕尺寸应用不同的去噪模型来利用不同的校正强度执行校正。根据实施例，当在大屏幕的显示模块160上显示图像时，电子设备101可以配置更密集的校正强度。

根据实施例，当给定图像是视频时，电子设备101可以以视频的连续图像的帧为单位来配置校正强度，而不是将校正强度应用于单个图像。例如，对于视频，可以通过例如每K帧(例如，3帧、4帧或5帧)测量一次压缩质量而不是测量每帧的压缩质量来减少分类操作的总数。根据实施例，电子设备101可以通过识别视频中图像质量改变的区段(section)并测量图像质量改变的区段中的压缩质量来减少总分类操作的数量。

图11是示出根据实施例的在电子设备中处理图像校正的操作的示例的图。

根据实施例，图11可以示出当执行(例如，显示)图像或包括图像的内容(例如，应用(例如，网页)执行屏幕)时电子设备101可以预先对给定图像(例如，显示的图像)集体执行校正、然后经由显示模块160将其提供给用户的示例。

参照图11，电子设备101可以响应于用户的请求而经由显示模块160显示包括多个图像1110和1120的内容(例如，应用(例如，网页)执行屏幕)。根据实施例，当显示内容时，电子设备101可以识别(例如，提取)内容中包括的所有图像1110和1120。根据实施例，电子设备101可以预先对所识别的图像1110和1120集体执行校正。根据实施例，电子设备101可以经由显示模块160显示先前校正的图像1110和1120。

根据实施例，基于内容执行，图11所示的图像1110和1120可以从相对应的外部设备(例如，内容服务器)临时下载(例如，存储在存储器130的高速缓存中)到电子设备101，并且可以显示通过基于根据分类的压缩质量而训练的去噪模型从临时下载的图像1110和1120中消除压缩伪像而获得的经校正的图像。

图12a和图12b是示出根据实施例的在电子设备中处理图像校正的操作示例的图。

根据实施例，图12a和图12b可以示出在执行(例如，显示)图像或包括图像的内容(例如，网页应用)的同时电子设备101校正给定图像(例如，基于用户选择的图像)、然后将其提供给用户的示例。例如，图12a和图12b可以示出在用户识别图像期间提供与用户选择的图像的压缩质量相关的信息(例如，图像质量通知)并基于用户输入利用相对应的压缩质量校正图像的示例。

参照图12a和图12b，示例屏幕<1201>可以示出电子设备101经由显示模块160显示包括多个图像1210的内容(例如，应用(例如，网页)执行屏幕)的示例。

示例屏幕<1203>可以示出用户在所显示的图像1210当中选择一个图像1220的示例。

示例屏幕<1205>可以示出放大屏幕1230的示例，放大屏幕1230是通过以某种比例放大用户选择的图像1210(例如，给定图像)以便基于用户对图像1210的选择来提供而获得的。

示例屏幕<1207>可以示出当电子设备101显示给定图像1210时对给定图像1210的压缩质量进行分类并经由弹出消息1240提供其结果的示例。根据实施例，电子设备101可以基于用户对图像1210的选择来确定相对应的图像的压缩质量。根据实施例，电子设备101可以基于与所确定的压缩质量相关的去噪模型来识别图像1210的压缩伪像。根据实施例，电子设备101可以基于识别的结果经由放大屏幕1230上的弹出消息1240来提供与压缩伪像相关的信息(例如，诸如“压缩伪像在30是严重的”、“您想要消除它吗？”的消息)。例如，如果图像1210的压缩质量等于或小于特定阈值，则电子设备101可以将其通知给用户并请求图像校正。根据实施例，用户可以基于弹出消息1240来确定是否校正用户选择的图像120。

示例屏幕<1209>可以示出基于弹出消息1240从用户请求图像校正的情况的屏幕示例，例如，经由弹出消息1240从用户接收到用于请求消除压缩伪像的批准输入的情况。根据实施例，如示例屏幕<1207>中所示，电子设备101可以经由屏幕1230的指定区域提供用于消除图像1220中的伪像的选项菜单1250。根据实施例，指定区域可以是不覆盖图像1220的边缘接近区域，诸如屏幕的右下、屏幕的右上、屏幕的左下或屏幕的左上。根据实施例，选项菜单1250可以包括被提供来使用户能够选择压缩质量的多个选项对象(例如，压缩质量：-30、压缩质量：60和/或压缩质量：+30)，以及能够基于所选择的选项执行伪像消除的执行对象(例如，“消除伪像”)。

示例屏幕<1211>可以示出用户从选项菜单1250中选择与伪像消除相关的一个选项对象、然后选择1260(例如，触摸)用于执行伪像消除的执行对象的示例。根据实施例，电子设备101可以根据基于用户输入的用户选择的选项(例如，压缩质量)通过应用相对应的去噪模型来消除伪像。根据实施例，当经由选项菜单1250选择执行对象时，电子设备101可以向用户提供已经预先应用了与多个选项相对应的不同校正强度的多个图像(例如，样本图像)，从多个图像中选择要应用的一个图像，并且基于所选择的图像的压缩质量来消除伪像。在图13中示出其示例。

图13是示出根据实施例的电子设备中的用于基于用户的意图的图像处理的用户界面及其操作的示例的图。

根据实施例，例如，图13可以基于图12b中的用户输入来示出已经基于去噪模型从中消除了压缩伪像的相应样本图像的各种示例，该去噪模型被训练成对应于针对用户选择的图像1220分类的相应压缩质量。

如图13所示，电子设备101可以向用户显示已经应用了不同校正强度的图像1310、1320和1330，并且使用户能够选择这些图像。根据实施例，示例屏幕<1301>可以示出应用了第一校正强度(例如，压缩质量：-30)的第一样本图像1310。根据实施例，示例屏幕<1303>可以示出应用了第二校正强度(例如，压缩质量：60)的第二样本图像1320。根据实施例，示例屏幕<1305>可以示出应用了第三校正强度(例如，压缩质量：+30)的第三样本图像1330。例如，电子设备101可以向用户提供通过对给定图像1220分别应用不同的校正强度而获得的多个图像1310、1320和1330。

根据实施例，当提供已经应用了校正强度的图像1310、1320和1330时，例如，当显示用于校正的屏幕时，为了向用户清楚地示出压缩质量的改善程度，电子设备101可以提供面部部分、人体(例如，整个身体)部分、显著部分和/或改善前后PSNR差异最大的部分。例如，如图13所示，电子设备101可以基于相对应的特征部分来执行放大，并且将其放置和显示在屏幕的中心，以便在校正期间详细地识别改善程度。尽管未示出，但是本领域技术人员将容易理解，电子设备101可以显示具有现有尺寸的图像，而无需改变。

图14是示出根据实施例的电子设备中的训练的操作示例的图。

根据实施例，图14可以示出由电子设备101执行的预训练的示例。根据实施例，由如图14所示的电子设备101执行的预训练可以例如在另一环境(例如，开发者工作站和/或云环境)中执行，并且可以被下载到电子设备101中。

参照图14，在框1410中，电子设备101的处理器120可以生成包括n种质量的数据集。根据实施例，为了生成包括多个(例如，n个)等级的压缩质量的数据集，处理器120可以在N个级别中执行图像通道的系数量化、变换和/或子采样。

在框1420中，处理器120可以基于压缩图像来训练模型。根据实施例，处理器120可以执行与压缩图像相关的第一训练(例如，框1430)和第二训练(例如，框1440)。根据实施例，第一训练1430可以指示允许目标去噪模型分析变换图块的伪像以便确定压缩质量的训练。根据实施例，第二训练1440可以指示用以对压缩图像执行滤波以获取n个滤波器权重集、使得压缩图像变得与原始图像相似的训练。根据实施例，处理器120可以并行、顺序或启发式地执行第一训练1430和第二训练1440。

根据实施例，在第一训练1430方法中，处理器120可以执行训练(框1431)，以根据伪像的特性(例如，基于压缩图像的伪像分析)输出质量信息(例如，数字)。根据实施例，处理器120可以根据训练(框1431)生成(框1433)一个分类模型。根据实施例，处理器120可以使用基于第一训练1430而生成的分类模型来对图15中的压缩质量进行分类，这将在后面描述。

根据实施例，处理器120能够在第二训练1440方法中学习(框1441)例如N个滤波器权重集。例如，处理器120可以对压缩图像执行滤波，并且能够学习N个滤波器权重集，使得压缩图像变得与原始图像相似。根据实施例，处理器120可以根据第二训练1441生成(框1443)n个翻译模型(例如，1、2、…、i、…、n)。根据实施例，根据基于第二训练1440而生成的n个翻译模型，处理器120可以在稍后描述的压缩伪像消除期间选择一个翻译模型。

图15是示出根据实施例的在电子设备中对压缩质量进行分类的操作方法的流程图。

根据实施例，图15可以示出由电子设备101执行的压缩质量分类的示例。

参照图15，在操作1501中，电子设备101的处理器120可以输入图像。根据实施例，处理器120可以输入要提高压缩质量的图像，作为训练目标的图像。

在操作1503中，处理器120可以从图像中以均匀的间隔提取大约M个图块。根据实施例，处理器120可以均等地从输入图像中提取例如大约256个16×16图块。

在操作1505中，处理器120可以通过利用分类模型分析伪像而分类成(或区分出)N个级别(例如，基于伪像的特性的质量信息(例如，数字))当中的一种压缩质量。根据实施例，处理器120可以根据基于图14中的第一训练(框1430)而生成的分类模型来分析相对应的伪像，并且执行分类成N个级别的压缩质量当中的一种压缩质量的分类。

在操作1507中，处理器120可以通过对从M个图块输出的结果求平均来预测(或推导)图像的代表性质量(或最终质量(Q))。根据实施例，处理器120可以使用预测的图像的代表性质量，作为稍后将描述的压缩伪像消除期间的图像的压缩质量的输入。

图16是示出根据实施例的在电子设备中消除伪像的操作方法的流程图。

根据实施例，图16可以示出在电子设备101中消除伪像以对应于分类的压缩质量的示例。

参照图16，在操作1601中，电子设备101的处理器120可以输入图像。根据实施例，处理器120可以输入要改善压缩质量的图像(例如，图15中的训练目标的图像)，作为用于压缩伪像消除的目标图像。

在操作1603中，处理器120可以输入预测的代表性质量。根据实施例，处理器120可以输入图15中预测的代表性质量，作为用于压缩伪像消除的目标图像的压缩质量。

在操作1605中，处理器120可以基于代表性质量来选择N个翻译模型之一。根据实施例，处理器120可以从根据图14中的第二训练(框1440)而生成的n个翻译模型中选择与代表性质量相对应的翻译模型(例如，翻译模型i)。

在操作1607中，处理器120可以通过对所选择的翻译模型(例如，翻译模型i)进行滤波将压缩图像重构为原始质量图像(例如，原始图像)。

图17是示出根据实施例的在电子设备中校正压缩质量的操作方法的流程图。

根据实施例，图17可以示出基于用户的输入在电子设备101中对具有经初步校正的压缩质量的图像进行二次附加校正的示例。

参照图17，在操作1701中，电子设备101的处理器120可以显示经校正的图像。根据实施例，处理器120可以经由显示模块160显示通过基于被训练成对应于给定图像(例如，压缩图像)的压缩质量的去噪模型进行校正而获得的经校正的图像。根据实施例，当提供经校正的图像时，处理器120还可以提供能够与用户交互的用户界面，以便识别用户的意图。

在操作1703中，处理器120可以接收用户输入。根据实施例，处理器120可以接收关于用户是否对经校正的图像满意的用户输入。例如，用户可以基于指定的用户界面选择批准或拒绝经校正的图像，并且处理器120可以接收用于批准或拒绝的用户输入。

在操作1705中，处理器120可以基于用户输入确定是否批准校正。根据实施例，处理器120可以确定用户输入是批准经校正的图像还是拒绝经校正的图像。

在操作1705中，如果校正被批准(例如，操作1705中的“是”)，则在操作1715中，处理器120可以存储配置的质量(例如，压缩补偿级别)。根据实施例，处理器120可以存储关于图像的压缩质量和提供(或运行)图像的应用(或服务)的信息，作为压缩质量的配置的质量。

在操作1705中，如果校正未被批准(例如，操作1705中的“否”)，则在操作1707中，处理器120可以将其他用户的配置的质量应用于相同图像。根据实施例，处理器120可以从外部获取(例如，接收)由另一用户为给定图像预先配置的配置的质量，并且可以基于所获取的配置的质量来处理(例如，图像校正)给定图像，以便经由显示模块160显示该给定图像。根据实施例，当提供经校正的图像时，处理器120还可以提供能够接收用户的输入的用户界面，以便识别用户意图。

在操作1709中，处理器120可以接收用户输入。根据实施例，处理器120可以接收关于用户是否对已经应用了另一用户的配置的质量的经校正的图像满意的用户输入。例如，用户可以基于指定的用户界面选择批准或拒绝经校正的图像，并且处理器120可以接收用于批准或拒绝的用户输入。

在操作1711中，处理器120可以基于用户输入确定是否批准校正。根据实施例，处理器120可以确定用户输入是批准经校正的图像还是拒绝经校正的图像。

在操作1711中，如果校正被批准(例如，操作1711中的“是”)，则在操作1715中，处理器120可以存储配置的质量。根据实施例，处理器120可以存储关于图像的压缩质量、附加应用的配置的质量以及被提供图像的应用(或服务)的信息，作为压缩质量的配置的质量。例如，处理器120可以接收另一用户的压缩校正级别，以便为图像配置压缩校正级别。

在操作1711中，如果校正未被批准(例如，操作1711中的“否”)，则在操作1713中，处理器120可以基于用户的显式选择来选择配置的质量。根据实施例，如果校正批准被拒绝，则处理器120可以提供使用户能够直接选择图像的校正强度的用户界面(例如，图8和/或图9)。根据实施例，处理器120可以选择图像的校正强度作为配置的质量，该校正强度由用户经由指定的用户界面输入。

在操作1715中，处理器120可以存储配置的质量。根据实施例，处理器120可以存储关于图像的压缩质量、根据用户输入而指定的配置的质量以及被提供图像的应用(或服务)的信息，作为压缩质量的配置的质量。

根据各种实施例，电子设备101可以通过使用利用各种等级的压缩质量压缩的图像(例如，压缩图像)来训练适合于压缩质量的压缩质量分类模块250和去噪模型230，以便在没有图像处理模块210(例如，压缩编码器)的显式指示的情况下执行分类，并且可以基于经训练的去噪模型230通过针对每种压缩质量确定压缩伪像(例如，压缩伪像消除方法)来对给定图像执行图像处理。

根据实施例，在应用去噪模型230时，电子设备101可以在综合考虑用户的个性化、电子设备101的屏幕尺寸和/或应用(或服务)的特性的情况下选择最终的去噪模型。

根据本公开实施例的电子设备101的操作方法可以包括：经由显示模块160显示包括至少一个图像的屏幕；确定至少一个图像的压缩质量；选择被训练成对应于所确定的压缩质量的去噪模型；基于所选择的去噪模型来处理图像校正；以及经由显示模块显示经校正的图像。

根据实施例，压缩质量的确定可以包括以至少一个图像的图块为单位对压缩质量进行分类，其中，至少一个图像是利用指定的压缩质量压缩的压缩图像。

根据实施例，压缩质量的分类可以包括：以图块为单位从图像中均等地提取多个区域，以及基于所提取的区域的压缩质量的平均值或中值对图像的压缩质量进行分类。

根据实施例，压缩质量的分类可以包括：基于所提取的区域分析边缘分量，以及从平均值或中值的计算中排除其中边缘分量具有等于或小于指定阈值的值的区域。

根据实施例，压缩质量的分类可以包括：识别提供至少一个图像的应用或服务的类型，基于应用或服务的类型来识别相对应的指定的压缩质量，以及基于指定的压缩质量对图像的压缩质量进行分类。

根据实施例，去噪模型的选择可以包括：在存储器中存储针对各种压缩质量中的每种压缩质量预训练的多个去噪模型，以及从多个去噪模型当中选择被训练成对应于图像的压缩质量的分类的去噪模型，其中，通过另外考虑用户个性化、提供图像的服务或应用的类型和/或显示模块的屏幕尺寸中的至少一个来选择去噪模型。

根据实施例，图像校正的处理可以包括：根据与所选择的去噪模型相对应的校正强度从图像中消除压缩伪像，以及将图像重构为压缩之前的原始图像。

根据实施例，图像校正的处理可以包括：在图像校正期间，提供能够与用户交互的用户界面，以便识别关于图像校正和用户的意图的信息，基于用户界面接收用户输入，以及基于用户输入执行经校正的图像的后处理。

说明书和附图中公开的本公开的各种实施例仅仅是具体的示例，以容易地解释本公开的技术内容并帮助理解本公开，并且不旨在限制本公开的范围。因此，除了在本文中公开的实施例之外，本公开的范围应该被解释为包括基于本公开的技术精神而推导出的所有修改或修改形式。

Claims (15)

1.一种电子设备，包括：

显示模块；

存储器；以及

处理器，可操作地连接到所述显示模块和所述存储器，

其中，所述处理器被配置为：

经由所述显示模块显示包括至少一个图像的屏幕；

确定所述至少一个图像的压缩质量；

选择被训练成对应于所确定的压缩质量的去噪模型；

基于所选择的去噪模型，处理图像校正；以及

经由所述显示模块显示经校正的图像。

2.根据权利要求1所述的电子设备，其中，所述处理器被配置为以所述至少一个图像的图块为单位对所述压缩质量进行分类，并且

其中，所述至少一个图像是通过利用指定的压缩质量进行压缩而获得的压缩图像。

3.根据权利要求2所述的电子设备，其中，所述处理器被配置为：

从所述图像中以图块为单位提取多个区域；以及

基于所提取的区域的压缩质量的平均值或中值对所述图像的压缩质量进行分类。

4.根据权利要求3所述的电子设备，其中，所述处理器被配置为：

基于所提取的区域，分析边缘分量；以及

从所述平均值或中值的计算中排除其中边缘分量具有等于或小于指定阈值的值的区域。

5.根据权利要求2所述的电子设备，其中，所述处理器被配置为：

识别提供所述图像的应用或服务的类型；

基于所述应用或服务的类型，识别相对应的指定的压缩质量；以及

基于所述指定的压缩质量对所述图像的压缩质量进行分类。

6.根据权利要求2所述的电子设备，其中，所述处理器被配置为：

在所述存储器中存储先前针对各种压缩质量中的每种压缩质量训练的多个去噪模型；

从所述多个去噪模型当中选择被训练成对应于所述图像的压缩质量的分类的去噪模型；以及

在所述去噪模型的选择期间，通过另外考虑用户的个性化、提供图像的服务或应用的类型和/或所述显示模块的屏幕尺寸中的至少一个，选择所述去噪模型。

7.根据权利要求2所述的电子设备，其中，所述处理器被配置为：

根据与所选择的去噪模型相对应的校正强度，从所述图像中消除压缩伪像；以及

将所述图像重构为压缩之前的原始图像。

8.根据权利要求2所述的电子设备，其中，所述处理器被配置为：

在所述图像校正期间，提供能够与用户交互的用户界面以便识别关于图像校正和用户的意图的信息；

基于所述用户界面接收用户输入；以及

基于所述用户输入对经校正的图像执行后处理。

9.根据权利要求2所述的电子设备，其中，所述处理器被配置为：

在所述屏幕的显示期间，基于内容执行从与所述图像相对应的外部设备临时下载所述图像；以及

提供通过从临时下载的图像中消除压缩伪像获得的经校正的图像，所述消除是基于根据所分类的压缩质量训练的去噪模型执行的。

10.根据权利要求2所述的电子设备，其中，所述处理器被配置为：

基于包括至少一个图像的内容执行显示相对应的屏幕，

基于用户在所述屏幕上的图像选择，以某种比例放大用户选择的图像并且提供放大的用户选择的图像；以及

在所选择的图像的显示期间，对所选择的图像的压缩质量进行分类，并且经由弹出消息提供其结果。

11.一种电子设备的操作方法，所述方法包括：

经由显示模块显示包括至少一个图像的屏幕；

确定所述至少一个图像的压缩质量；

选择被训练成对应于所确定的压缩质量的去噪模型；

基于所选择的去噪模型，处理图像校正；以及

经由所述显示模块显示经校正的图像。

12.根据权利要求11所述的方法，其中，所述压缩质量的确定包括以所述至少一个图像的图块为单位对所述压缩质量进行分类，并且

其中，所述至少一个图像是通过利用指定的压缩质量进行压缩而获得的压缩图像。

13.根据权利要求12所述的方法，其中，所述压缩质量的分类包括：

从所述图像中以图块为单位提取多个区域；以及

基于所提取的区域的压缩质量的平均值或中值对所述图像的压缩质量进行分类。

14.根据权利要求13所述的方法，其中，所述压缩质量的分类包括：

基于所提取的区域，分析边缘分量；以及

从所述平均值或中值的计算中排除其中边缘分量具有等于或小于指定阈值的值的区域。

15.根据权利要求12所述的方法，其中，所述压缩质量的分类包括：

识别提供所述至少一个图像的应用或服务的类型；

基于所述应用或服务的类型，识别相对应的指定的压缩质量；以及

基于所述指定的压缩质量对所述图像的压缩质量进行分类。