CN111095350B

CN111095350B - 图像处理设备、用于处理图像的方法和计算机可读记录介质

Info

Publication number: CN111095350B
Application number: CN201880056861.8A
Authority: CN
Inventors: 安一埈; 赵基钦; 朴镕燮; 朴在演; 吴烯硕; 李泰美; 千岷洙
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2017-09-01
Filing date: 2018-08-30
Publication date: 2023-12-19
Anticipated expiration: 2038-08-30
Also published as: US10922798B2; WO2019045499A1; EP3649612A1; CN111095350A; US20190073757A1; KR102442449B1; KR20190025385A; EP3649612A4

Abstract

提供了一种图像处理设备。根据示例性实施例的图像处理设备包括：通信器，被配置为接收图像；以及处理器，被配置为生成通过经由使用图像处理参数对接收到的图像进行图像处理而获得的第一图像，生成通过按照预定比率缩小第一图像而获得的第二图像，并从第一图像和第二图像提取各自的视觉特征，其中，处理器还被配置为调整参数以使第一图像的视觉特征与第二图像的视觉特征之间的差在预定范围内。

Description

图像处理设备、用于处理图像的方法和计算机可读记录介质

技术领域

与本文公开的内容一致的装置和方法涉及一种图像处理设备、用于处理图像的方法和计算机可读记录介质，并且更具体地，涉及一种用于生成高质量图像的图像处理设备、用于处理图像的方法和计算机可读记录介质。

背景技术

已经进行了许多努力以在定量图像质量评估中常用的峰值信噪比(PSNR)和结构相似性(SSIM)方面提高图像质量。然而，由于图像质量受到诸如人类敏感性、信号等各种因素的影响，因此通过使用迄今为止开发的技术，从认知角度提高图像质量存在局限性。

近年来，随着人工智能(AI)技术的发展，已经出现了越来越多的将人工智能(AI)技术应用于图像质量提高的情况。然而，纹理从诸如草、织物等的认知角度被表达，但是在具有大量高频成分的纹理区域中的性能仍然很差。特别地，由于在图像质量提高处理期间大量的电池消耗，因此难以将AI应用于电视或移动终端。为了解决这个问题，需要用于在使计算复杂度最小化的同时提高与高质量原始图像的相似性的图像质量提高技术。

发明内容

技术问题

示例性实施例的一方面涉及提供一种用于通过使用机器学习对图像进行自变换来生成高质量图像的图像处理设备、图像处理方法和计算机可读记录介质。

解决问题的方案

根据示例性实施例，提供了一种图像处理设备，所述图像处理设备包括：通信器，被配置为接收图像；以及处理器，被配置为生成通过经由使用图像处理参数对接收到的图像进行图像处理而获得的第一图像，生成通过按照预定比率缩小第一图像而获得的第二图像，并从第一图像和第二图像提取各自的视觉特征，其中，处理器还被配置为调整参数以使第一图像的视觉特征与第二图像的视觉特征之间的差在预定范围内。

处理器可被配置为通过使用机器学习方法来调整所述参数。

处理器还可被配置为重复执行以下操作：生成第一图像、生成第二图像、提取第一图像和第二图像的视觉特征、调整参数，以使第一图像的视觉特征与第二图像的视觉特征之间的差在预定范围内。

处理器还可被配置为调整所述参数以使第二图像的视觉特征在第一图像的视觉特征的预定范围内。

处理器还可被配置为按照多个不同的比率缩小第一图像，在多个缩小图像中选择具有与从比所述接收到的图像更高质量的图像提取的视觉特征最相似的视觉特征的缩小图像，并将与选择的缩小图像对应的比率用作所述预定比率。

通信器还可被配置为接收比所述接收到的图像更高质量的第三图像，并且其中，处理器还被配置为提取第一图像和第三图像的各自的结构特征，并通过使用机器学习方法来调整所述参数以使第一图像的结构特征与第三图像的结构特征之间的差在预定范围内。

通信器还可被配置为接收比所述接收到的图像更高质量的第三图像，并且其中，处理器还被配置为提取第一图像和第三图像的各自的结构特征，并通过使用机器学习方法来调整所述参数以使以下项之和在预定范围内：第一图像的视觉特征与第二图像的视觉特征之间的差、以及第一图像的结构特征与第三图像的结构特征之间的差。

处理器还可被配置为通过使用调整后的参数对接收到的图像执行图像处理。

图像处理设备还可包括：显示器，被配置为显示经过图像处理后的图像。

处理器还可被配置为控制通信器将经过图像处理后的图像发送到外部设备。

根据示例性实施例，提供了一种用于图像处理的方法，所述方法包括：接收图像，并且调整用于对接收到的图像进行图像处理的参数，其中，调整步骤包括：生成通过经由使用预定参数对所述接收到的图像进行图像处理而获得的第一图像，生成通过按照预定比例缩小第一图像而获得的第二图像，提取第一图像和第二图像的各自的视觉特征，并且修改所述参数以使第一图像的视觉特征与第二图像的视觉特征之间的差在预定范围内。

调整步骤可包括：通过使用机器学习方法来重复地调整所述参数。

修改步骤可包括：修改所述参数以使第二图像的视觉特征在第一图像的视觉特征的预定范围内。

生成第二图像的步骤可包括：通过按照多个不同的比例缩小第一图像来生成多个缩小图像，在多个缩小图像中选择具有与从比所述接收到的图像更高质量的图像提取的视觉特征最相似的视觉特征的缩小图像，并按照与选择的缩小图像对应的比率缩小第一图像。

所述方法还可包括：接收比所述接收到的图像更高质量的第三图像，其中，调整步骤包括：提取第一图像和第三图像的各自的结构特征，并且修改所述参数以使第一图像的结构特征与第三图像的结构特征之间的差在预定范围内。

所述方法还可包括：接收比所述接收到的图像更高质量的第三图像，其中，调整步骤包括：提取第一图像和第三图像的各自的结构特征，并且修改所述参数以使以下项之和在预定范围内：第一图像的视觉特征与第二图像的视觉特征之间的差、以及第一图像的结构特征与第三图像的结构特征之间的差。

所述方法还可包括：通过使用调整后的参数对所述接收到的图像执行图像处理。

所述方法还可包括：显示经过图像处理后的图像。

所述方法还可包括：将经过图像处理后的图像发送到外部设备。

根据示例性实施例，提供了一种具有用于执行图像处理方法的程序的计算机可读记录介质，所述图像处理方法包括：接收图像，并且调整用于对接收到的图像进行图像处理的参数，其中，调整步骤包括：生成通过经由使用预定参数对所述接收到的图像进行图像处理而获得的第一图像，生成通过按照预定比例缩小第一图像而获得的第二图像，提取第一图像和第二图像的各自的视觉特征，并且修改所述参数以使第一图像的视觉特征与第二图像的视觉特征之间的差在预定范围内。

附图说明

图1是说明根据本公开的实施例的图像处理设备的配置的示意性框图；

图2是说明根据本公开的实施例的图像处理设备的配置的详细框图；

图3是说明根据本公开的实施例的图像处理方法的示意性流程图；

图4是说明根据本公开的实施例的图3中所示的图像处理方法的使用视觉特征的参数修改处理的流程图；

图5是示出根据本公开的实施例的缩小比确定方法的流程图；以及

图6是说明根据本公开的实施例的用于提取视觉特征的方法的示图。

具体实施方式

将简要描述本说明书中使用的术语，并且将详细描述本公开。

本说明书中使用的包括技术术语和科学术语的所有术语具有与相关领域技术人员通常所理解的含义相同的含义。然而，这些术语可依据本领域技术人员的意图、法律或技术解释以及新技术的出现而变化。另外，一些术语是由申请人任意选择的。这些术语可以以本文定义的含义来解释，并且除非另有说明，否则可基于本说明书的全部内容和本领域的公知技术知识来解释。

本发明不限于下面公开的实施例并可以以各种形式实现，并且本发明的范围不限于以下实施例。另外，从权利要求及其等同物的含义和范围推导出的所有改变或修改应被解释为包括在本公开的范围内。在以下描述中，可省略公知但与本公开的要旨无关的配置。

诸如“第一”、“第二”等的术语可用于描述各种元件，但是这些元件不应受到这些术语的限制。这些术语仅用于将一个元件与其他元件区分开。

只要单数表达在上下文中没有不同地意指，单数表达就也包括复数含义。在本说明书中，诸如“包括”和“具有”之类的术语应被解释为指定说明书中存在这样的特征、数字、操作、元件、组件或其组合，而不排除存在一个或更多个其他特征、数字、操作、元件、组件或其组合或者添加一个或更多个其他特征、数字、操作、元件、组件或其组合的可能性。

在示例性实施例中，“模块”、“单元”或“部件”执行至少一个功能或操作，并且可被实现为诸如处理器或集成电路的硬件、由处理器执行的软件或其组合。另外，多个“模块”、多个“单元”或多个“部件”可被集成到至少一个模块或芯片中，并且除了应该以特定硬件实现的“模块”、“单元”或“部件”之外，可被实现为至少一个处理器。

在下文中，将参照附图详细描述本公开的实施例，使得本领域技术人员可以容易地实施本发明。然而，本公开可以以许多不同的形式来实施，并且不限于这里描述的实施例。为了在附图中清楚地示出本公开，为了清楚起见省略了对于完全理解本公开不是必需的一些元件，并且在整个说明书中，相同的附图标号指代相同的元件。

在下文中，将参照附图更详细地描述本公开。

图1是说明根据本公开的实施例的图像处理设备的配置的示意性框图。

参照图1，图像处理设备100可包括通信器110和处理器120。图像处理设备100可被实施为处理输入图像并将处理后的图像发送到另外的显示设备的机顶盒、服务器等。然而，本公开不限于此，而是可被实施为其中具有显示器的诸如TV、PC、移动装置等的显示设备。

通信器110可被配置为根据各种类型的通信方法与各种类型的外部设备执行通信。具体地，通信器110可从外部设备接收低质量图像，并且将由处理器120生成的高质量图像发送到诸如另外的显示设备的外部设备。通信器110可接收与低质量图像对应的高质量原始图像。

通信器110可使用例如天线、电缆或端口以有线方式接收图像，或者可经由例如Wi-Fi、蓝牙等以无线方式接收图像。按照实现方式，图像处理设备100可接收由用户在设置在图像处理设备100中的存储器(未示出)中存储的多个图像中选择的图像，并对该图像进行处理。

当图像处理器设备100以无线方式执行通信时，通信器110可包括Wi-Fi芯片、蓝牙芯片、无线通信芯片和NFC芯片。具体地，Wi-Fi芯片和蓝牙芯片可分别使用WiFi方法和蓝牙方法来执行通信。当使用Wi-Fi芯片或蓝牙芯片时，可收发诸如SSID和会话密钥的各种连接信息，可基于连接信息建立通信连接，并且可收发各种信息。通信芯片可指根据各种通信标准(诸如IEEE、ZigBee、第三代(3G)、第三代合作伙伴计划(3GPP)、长期演进(LTE)等)执行通信的芯片。NFC芯片可指以使用各种RF-ID频带(诸如135kHz、13.56MHz、433MHz、860至960MHz和2.45GHz)中的13.56MHz频带的近场通信(NFC)方法操作的芯片。

处理器120可通过使用用于图像处理的参数来对通过通信器110输入的图像执行图像处理。图像处理指图像质量提高处理，并且处理器120可生成通过经由使用预先存储的用于图像处理的参数将输入图像放大而获得的高质量图像。

放大是指对为了从低质量的图像实现高质量的图像的目的而增加的大量像素进行修正，当屏幕尺寸相同时，可获得比原始屏幕的图像更清晰、更生动的图像，并且即使屏幕尺寸增大，也可获得与原始屏幕相比图像质量没有劣化的图像。

处理器120可通过使用生成的高质量图像来调整预先存储的参数。处理器120可从生成的高质量图像和通过按照预定比率缩小高质量图像而获得的图像提取各自的视觉特征，并通过使用提取的视觉特征来调整预先存储的参数。

视觉特征可以是当用户用眼睛观看图像时可被用户感知的特征。视觉特征不仅可包括图像的属性(诸如，亮度、颜色、对比度、饱和度等)，而且可包括指示从图像中的每个区域的视频信号的频率形式感受到的纹理的纹理特征、图像中包括的边缘的形状和密度、颜色的布局等。

预定比率可以是与按照多个不同比率缩小生成的高质量图像而得到的多个缩小图像之中的具有与从高质量原始图像提取的视觉特征最相似的视觉特征的缩小图像对应的缩小比率。缩小比率的范围可从0到1。缩小比率可由处理器120确定，或者可从外部设备通过机器学习预先确定。将参照图5详细描述用于使用相似性确定缩小比率的方法。

处理器120可根据输入图像的劣化程度来确定缩小比率。图像处理设备100可存储关于分别与图像的多个劣化程度对应的多个缩小比率的信息。关于多个缩小比率的信息可以以查找表的形式被存储。处理器120可根据生成的高质量图像的劣化程度来确定缩小比率。

处理器120可对分别从通过按照预定比率缩小生成的高质量图像而获得的图像提取的视觉特征进行比较，并且修改参数，使得视觉特征的差可以在预定范围内。期望地，处理器120可调整参数以使视觉特征的差最小化。

视觉特征在预定范围内的意思是从生成的高质量图像提取的视觉特征在基于从生成的高质量图像提取的视觉特征从缩小图像提取的视觉特征的预定范围内。然而，本公开不限于此，而是可基于各种标准来确定参数调整范围。

处理器120可提取通过预先存储的参数生成的高质量图像和通过通信器110输入的高质量原始图像的各自的结构特征，并通过使用提取的结构特征来调整预先存储的参数。处理器120可修改参数，使得提取的结构特征的差可以在预定范围内。期望地，处理器120可调整参数，使得结构特征的差可被最小化。

结构特征可以是在分析图像时可客观地获得的特征。结构特征不仅可包括图像的属性(诸如，亮度、颜色、对比度、饱和度等)，而且可包括图像帧的特征(诸如，整个一帧图像中包括的轮廓、边缘位置、粗细度、锐度、边缘周围的亮度、颜色、对比度和饱和度)。

处理器120可通过基于图像信号变化通过图像帧的边缘的位置检测轮廓并检测边缘的宽度、清晰度等，来提取图像帧的结构特征。

处理器120可修改参数，使得分别从生成的高质量图像和通过按照预定比率缩小生成的高质量图像而获得的图像提取的视觉特征的差与分别从生成的高质量图像和输入的高质量原始图像提取的结构特征的差之和可以在预定范围内。期望地，处理器120可调整参数以使视觉特征的差与结构特征的差之和最小。

处理器120可通过使用机器学习方法来调整参数。机器学习方法可被用于获得新信息并有效地使用获得的信息，并且它是针对大数据技术取得的技术进步，其中，大数据技术处理各种数据生成量、生成周期、生成格式等来分析和预测数据。另外，机器学习可包括通过重复执行任务来获得结果的技术的改进处理。

处理器120可通过使用机器学习方法来重复地调整参数，使得从生成的高质量图像和通过缩小生成的高质量图像而获得的图像提取的视觉特征之间的差可以在预定范围内。处理器120可通过重复执行高质量图像生成操作、生成的高质量图像缩小操作、从高质量图像和缩小图像提取各自的视觉特征的操作、以及通过使用提取的视觉特征修改参数的操作，来调整参数。

处理器120可通过使用机器学习方法来重复地调整参数，使得从生成的高质量图像提取的结构特征与从输入的高质量原始图像提取的结构特征之间的差可以在预定范围内。处理器120可重复地调整参数，使得分别从生成的高质量图像和通过按照预定比率缩小生成的高质量图像而获得的图像提取的视觉特征的差与分别从生成的高质量图像和输入的高质量原始图像提取的结构特征的差之和可以在预定范围内。

基于低质量图像被输入，处理器120可通过使用调整后的参数对输入的低质量图像执行图像处理。

根据本公开的各种实施例，即使在输入图像中混合了纹理区域和非纹理区域的情况下，也可生成比现有技术更高图像质量的图像。另外，通过使用经由使用预先存储的参数生成的高质量图像，本公开具有以下效果：与仅使用高质量原始图像的现有技术相比，可在更广范围内进行参数调整。

图2是说明根据本公开的实施例的图像处理设备的配置的详细框图。

参照图2，图像处理设备100可包括通信器110、处理器120、存储器130、显示器140、按钮150、视频处理器160、音频处理器170、麦克风180、捕获单元185、以及音频输出单元190。由于已经在图1中描述了通信器110和处理器120，因此将省略重复内容。

存储器130可存储图像处理设备100的操作所需的各种程序和数据。具体地，存储器130可存储用于对输入图像进行图像处理的参数。可基于先前输入的低质量图像和与其对应的高质量图像通过机器学习来获得存储的参数。

存储器130可存储将用于缩小输入图像的缩小比率。将被存储的缩小比率可由制造商通过机器学习来计算，并被预先存储在工厂中，或者通过定期固件升级来更新。存储器130可存储用于获得缩小比率的算法。

存储器130可存储将被放大成高质量图像的多个低质量图像。处理器120可用存储的多个低质量图像中的由用户选择的低质量图像生成高质量图像。

存储器130可存储关于与图像的劣化程度对应的缩小比率的信息。可以以查找表的形式存储根据劣化程度的缩小比率。

存储器130可存储用于放大低质量图像的程序、数据等。处理器120可通过使用存储在存储器130中的程序和数据，基于输入的低质量图像来生成高质量图像。在某些情况下，可确定在参数更新处理或放大处理中使用的缩小比率。

显示器140可显示通过使用调整后的参数对输入图像执行图像处理而获得的图像。显示器140显示的经过图像处理后的图像可以是通过使用调整后的参数对输入图像执行图像质量提高处理而生成的图像。显示器140可用诸如液晶显示器(LCD)、有机发光二极管(OLED)或等离子体显示面板(PDP)等的各种类型的显示器来实现。显示器140可包括以a-si TFT、低温多晶硅(LTPS)TFT、有机TFT(OTFT)等的形式实施的驱动电路、背光单元等。显示器140可被实施为柔性显示器。

显示器140可包括用于检测用户的触摸手势的触摸传感器。触摸传感器可被实施为各种类型(诸如静电型、压敏型、压电型等)的传感器。静电型的传感器可通过检测当用户的身体的一部分触摸到显示器140的表面时被激发到人体的微小电流来计算触摸坐标。压敏型的传感器可通过检测当用户触摸屏幕时由于显示器140的上下电极板彼此接触而流动的电流来计算触摸坐标。当图像处理设备100支持笔输入功能时，显示器140可使用诸如笔的输入工具以及用户的手指来检测用户手势。当输入工具是其中包括线圈的触控笔时，图像处理设备100可包括能够感测通过触控笔中的线圈改变的磁场的磁场传感器。因此，显示器140可检测接近手势(即，悬停)以及触摸手势。

已经描述了显示功能和手势检测功能在相同的配置中被执行，但是可在不同的配置中被执行。另外，根据各种实施例，可不在显示器140中设置图像处理设备100。

处理器120可包括RAM 121、ROM 122、CPU 123、图形处理单元(GPU)124和总线125。RAM 121、ROM 122、CPU 123、图形处理单元(GPU)124等可经由总线125彼此连接。

CPU 123可通过使用存储在存储器130中的操作系统(O/S)来访问存储器130并执行启动。CPU 123可通过使用存储在存储器130中的各种程序、内容、数据等来执行各种操作。

用于系统启动的命令集等可被存储在ROM 122中。当打开命令被输入并且电力被供应时，CPU 123可根据存储在ROM 122中的命令将存储器130中存储的O/S复制到RAM 121，运行O/S并执行系统启动。当系统启动完成时，CPU 123可将存储在存储器130中的各种程序复制到RAM 121，运行被复制到RAM 121的程序并执行各种操作。

当图像处理设备100的启动完成时，GPU 124可在显示器140上显示UI。具体地，GPU124可通过使用计算单元(未示出)和渲染单元(未示出)来生成包括诸如图标、图像、文本等的各种对象的屏幕。计算单元可根据屏幕的布局来计算诸如对象的坐标值、形状、大小、颜色等的属性值。渲染单元可基于由计算单元计算出的属性值来生成包括对象的各种布局的屏幕。渲染单元生成的屏幕(或用户界面窗口)可被提供给显示器140，并被显示在主显示区域和子显示区域中。

按钮150可以是形成在图像处理设备100的主体的任意区域(诸如前表面部分、侧表面部分和后表面部分等)中的诸如机器按钮、触摸板、滚轮等的各种类型的按钮。

视频处理器160可被配置为处理通过通信器110接收的内容、或者存储在存储器130中的内容中包括的视频数据。视频处理器160可执行对视频数据的诸如解码、缩放、噪声滤波、帧率转换、分辨率转换等的各种图像处理。

音频处理器170可被配置为处理包括在通过通信器110接收的内容中或存储在存储器130中的内容中的音频数据。音频处理器170可执行对音频数据的诸如解码、放大、滤波等的各种处理。

当执行针对多媒体内容的再现应用时，处理器120可驱动视频处理器160和音频处理器170。显示器140可在主显示区域和子显示区域中的至少一个区域中显示由视频处理器160生成的图像帧。

音频输出单元190可输出由音频处理器170生成的音频数据。

麦克风180可接收用户语音或其他声音，并将用户语音或其他声音转换为数据。处理器120可使用在通话期间通过麦克风180输入的用户语音，或者将用户语音转换为音频数据并将音频数据存储在存储器130中。麦克风180可由在多个位置接收声音的立体声麦克风限定。

捕获单元185可被配置为在用户的控制下捕获静止图像或视频图像。捕获单元185可由诸如前表面照相机、后表面照相机等的多个捕获单元限定。如上所述，在用于追踪用户注视的实施例中，捕获单元185可被用作用于获得用户图像的工具。

当捕获单元185和麦克风180被提供时，处理器120可根据通过麦克风180输入的用户语音或通过捕获单元185识别出的用户动作来执行控制操作。换句话说，图像处理设备100可在动作控制模式或语音控制模式下操作。在动作控制模式下，处理器120可通过激活捕获单元185来捕获用户，追踪用户的动作变化，并执行与其对应的控制操作。在语音控制模式下，处理器120可分析通过麦克风180输入的用户语音，并且在语音识别模式下操作以根据分析的用户语音来执行控制操作。

在支持动作控制模式或语音控制模式的图像处理设备100中，可在各种实施例中使用语音识别技术或动作识别技术。例如，当用户进行犹如用户选择显示在主屏幕上的对象的动作时，或者说出与对象对应的语音命令时，图像处理设备100可确定对象被选择，并且执行与对象匹配的控制操作。

尽管在图2中未示出，但是根据实施例，还可包括用于与各种外部端子连接的诸如USB端口(其中，USB连接器可通过该USB端口连接在图像处理设备100中)、耳机、鼠标、LAN等的各种外部输入端口、用于接收和处理数字多媒体广播(DMB)信号的DMB芯片以及各种传感器。

图3是说明根据本公开的实施例的图像处理方法的示意性流程图。

参照图3，图像处理设备可接收低质量图像31。图像处理设备可接收比低质量图像31更高质量的原始高质量图像33。低质量图像31可以是原始高质量图像33的图像质量被劣化后的图像。另外，在步骤S310，图像处理设备可利用预先存储的参数对接收到的低质量图像31执行图像处理。预先存储的参数可以是用于图像处理的参数，并且它可被预先进行机器学习。

在步骤S320，图像处理设备可提取通过图像处理生成的高质量图像32和输入的原始高质量图像33的各自的结构特征，并且分析提取的结构特征。

在步骤S330，图像处理设备可调整参数，使得生成的高质量图像32的结构特征和原始高质量图像33的结构特征可以在预定范围内。结构特征在预定范围内的意思是生成的高质量图像32的结构特征在原始高质量图像33的结构特征的预定范围内。

图像处理设备可通过使用图像的视觉特征来调整参数。具体地，图像处理设备可按照预定比率缩小通过使用输入的原始高质量图像33而生成的高质量图像32。预定比率可以是与按照多个不同的缩小比率缩小产生的高质量图像32而得到的多个缩小图像之中的提取的视觉特征与从原始高质量图像33提取的视觉特征相似的图像对应的缩小比率。

在步骤S350，图像处理设备可从生成的高质量图像32和通过按照预定比率缩小生成的高质量图像32而生成的缩小图像34提取各自的视觉特征，并且分析提取的视觉特征。

在步骤S360，图像处理设备可调整参数，使得缩小的图像34的视觉特征与生成的高质量图像32的视觉特征之间的差可以在预定范围内。视觉特征的差在预定范围内的意思是生成的高质量图像32的基于缩小图像的视觉特征在缩小图像34的视觉特征的预定范围内。将参照图4详细描述用于提取视觉特征并根据提取的视觉特征修改参数的方法。

为了便于解释，已经示出并描述了在执行根据结构特征分析的参数调整之后执行根据视觉特征分析的参数调整。然而，顺序不是固定的，而是可同时执行参数调整。另外，如上所述，可根据特征分析独立地执行参数调整。在实现过程中，可考虑视觉特征分析和结构特征分析两者来调整参数。具体地，图像处理设备可调整参数，使得视觉特征的差与结构特征的差之和最小。

根据本公开的各种实施例，即使当在输入图像中混合了纹理区域和非纹理区域时，也可生成与现有技术相比更高质量的图像。另外，通过使用经由使用预先存储的参数生成的高质量图像，本公开具有以下效果：与仅使用高质量原始图像的现有技术相比，可在更广范围内进行参数调整。

图4是说明根据本公开的实施例的图3中所示的图像处理方法的使用视觉特征的参数修改处理的流程图。

参照图4，在步骤410，图像处理设备可接收图像。具体地，图像处理设备可从外部设备接收图像，并且接收到的图像可以是低质量图像。图像处理设备可接收与低质量图像对应的高质量原始图像，并且低质量图像可以是高质量原始图像的劣化图像。图像处理设备可接收存储在存储器中的多个图像中的任何一个。

在步骤S420，图像处理设备可生成经过了通过使用预定参数的图像处理的第一图像。预定参数可以是预先存储在存储器中的参数，或者是用于提高图像的图像质量的参数。预定参数可通过提高多个接收到的图像的图像质量被机器学习。经过了通过使用预定参数的图像处理的第一图像可以是具有比输入图像更高的图像质量的高质量图像。

在步骤S430，图像处理设备可生成通过按照预定比率缩小生成的第一图像而获得的第二图像。具体地，预定比率可以是与通过按照多个不同的缩小比率缩小第一图像而获得的多个缩小图像之中的具有与输入的高质量原始图像的视觉特征最相似的视觉特征的缩小图像对应的比率。然而，本公开不限于此，而是可根据输入的低质量图像或第一图像的图像质量劣化程度从多个缩小比率选择预定比率。

在步骤S440，图像处理设备可提取第一图像和第二图像的各自的视觉特征。具体地，图像处理设备可通过使用多层方法来提取第一图像和第二图像的各自的视觉特征，并且计算针对提取的多个视觉特征中的每个的各种尺寸的特征图。可在多个第二图像的布置与第一图像的特征图的尺寸对应以与第一图像的特征图的尺寸一致的情况下计算作为缩小图像的第二图像的特征图。例如，当第二图像是通过将第一图像缩小0.5倍而生成的时，图像处理设备可按照2×2的布置方式来布置第二图像，并计算按照该布置方式的图像的视觉特征的特征图。

层可与图像的尺寸有关，并且随着层索引增大，可减小整个图像的尺寸。例如，当层索引较小时，可计算针对图像中较小部分的特征图，而当层索引较大时，可计算针对较大部分的特征图。将参照图6描述用于各种层的示例实施例。

可基于计算出的特征图来计算用于测量每一层上的特征图之间的相关性的gram矩阵。

为了使从第一图像(其是通过预先存储的参数生成的高质量图像)提取的视觉特征与通过缩小第一图像而获得的第二图像的视觉特征相似，从各个层获得的gram矩阵应相似，图像处理设备可获得第一图像的视觉特征与第二图像的视觉特征之间的gram矩阵的差。

可通过使用从每一层获得的图像的视觉特征()，来如下计算gram矩阵()。

其中z是输入图像，l是层索引，i和j是视觉特征的索引器，k是视觉特征的像素的索引。可通过对每一层赋予权重来如下计算gram矩阵的差()。

其中，x是第一图像，s是第二图像。

图像处理设备可计算分别与第一图像和第二图像的视觉特征对应的像素值之间的差()。

在步骤S450，图像处理设备可修改预先存储的参数，以使第一图像的视觉特征与第二图像的视觉特征之间的差可在预定范围内。

在实施例中，可通过重复执行以上处理的机器学习来获得最适合于生成与原始图像最相似的高质量图像的参数。

可按照与使用结构特征修改参数的处理相同的顺序来应用提取视觉特征和修改参数的处理。图像处理设备可计算分别与提取生成的高质量图像的结构特征的特征图和提取原始高质量图像的结构特征的特征图对应的像素值之间的差，使得该差可在预定范围内。

应当理解，可通过使用视觉特征和结构特征两者来修改参数。图像处理设备可计算分别与第一图像的视觉特征和第二图像的视觉特征对应的gram矩阵的差与分别与生成的高质量图像的结构特征的特征图和原始高质量图像的结构特征的特征图对应的像素值的差之和，并且修改参数使得差之和C可在预定范围内。

根据本公开的各种实施例，即使在输入图像中混合了纹理区域和非纹理区域的情况下，也可生成比现有技术更高图像质量的图像。另外，通过使用经由使用预先存储的参数生成的高质量图像，与仅使用高质量原始图像的现有技术相比，可在更广的范围内调整参数。

图5是示出根据本公开的实施例的缩小比率确定方法的流程图。

参照图5，在步骤S510，图像处理设备可按照多个不同的比率缩小生成的高质量图像。例如，图像处理设备可生成通过使用诸如0.1、0.3、0.5、0.7和0.9的5(五)种缩小比率缩小生成的高质量图像而获得的5(五)种缩小图像。

在步骤S520，图像处理设备可提取并比较多个缩小图像的视觉特征和比输入图像的质量更高的图像的视觉特征。比输入图像的质量更高的图像可以是与低质量输入图像对应的高质量原始图像。

图像处理设备可将按照各个缩小比率缩小得到的多个缩小图像布置为与输入图像的尺寸对应，并且从按照该布置方式的每个图像提取视觉特征。例如，图像处理设备可将按照0.1的比例因子缩小得到的多个缩小图像布置为与输入图像对应的尺寸，并且从按照该布置方式的图像提取视觉特征。以类似的方式，图像处理设备可针对0.3、0.5、0.7和0.9的比例因子提取各自的视觉特征。另外，在实施例中，比例因子不限于以上示例中描述的值，并且比例因子的数量可小于或等于4(四)，或者大于或等于6(六)。

图像处理设备可将分别从多个缩小图像提取的多个视觉特征与高质量原始图像的视觉特征进行比较。具体地，图像处理设备可通过使用多层方法来计算针对高质量原始图像的视觉特征和分别从多个缩小图像提取的多个视觉特征的各种尺寸的特征图。层可与图像的尺寸有关，并且随着层索引增大，可减小整个图像的尺寸。例如，当层索引较小时，可计算针对图像中较小部分的特征图，而当层索引较大时，可计算针对较大部分的特征图。

为了使从缩小图像提取的视觉特征与高质量原始图像的视觉特征相似，从各个层获得的gram矩阵应相似，图像处理设备可计算每层上的高质量原始图像的视觉特征与从缩小图像提取的视觉特征的gram矩阵之间的差。

图像处理设备可计算高质量原始图像的视觉特征与从缩小图像提取的视觉特征的gram矩阵之间的差的平均值。

在步骤S530，图像处理设备可选择具有在分别从多个缩小图像提取的多个视觉特征中的与高质量原始图像的视觉特征最相似的视觉特征的缩小图像。视觉特征具有最高相似性的意思是gram矩阵的差的平均值被最小化。换句话说，图像处理设备可在按照多个缩小比率缩小得到的多个缩小图像中选择具有高质量原始图像的视觉特征且gram矩阵的差的平均值被最小化的视觉特征的缩小图像。

在步骤S540，图像处理设备可将与选择的缩小图像对应的比率用作预定比率。

如上所述，通过使用特征图来确定与具有与高质量原始图像最相似的视觉特征的缩小图像对应的缩小比率，但是在实现过程中，可根据输入的低质量图像的劣化程度来确定缩小比率。

具体地，可基于生成的比输入的低质量图像更高质量的高质量图像的图像质量提高率来确定输入图像的图像质量的劣化程度，并且根据图像质量的劣化程度，可确定与其对应的缩小比率。在这种情况下，图像质量的劣化程度和缩小比率可以以查找表的形式被预先存储。

如上所述，与在外部设备等中使用预定的缩小比率的现有技术相比，本公开确定针对每个输入图像的缩小比率，并且将图像处理为与原始图像更相似。

图6是说明通过使用多层方法来提取输入图像的视觉特征的方法的示图。具体地，图6是说明用于通过使用多层方法来提取输入图像的典型特征的方法的示图。

参照图6，当图6的(a)中所示的图像被输入到图像处理设备时，图像处理设备可计算不同级别的特征图。具体地，如图6的(b)至图6的(d)中所示，图像处理设备可从高级别到低级别计算特征图。为了便于解释，已经示出了从高级别到低级别的特征图，但是在实现过程中，可从低级别到高级别计算特征图。

级别的降低表示整个图像的尺寸增大。例如，在低级别下，可计算针对图像中较小部分的特征图，而在高级别下，可计算针对图像中较大部分的特征图。换句话说，从高级别到低级别，可使在输入图像中提取视觉特征的范围变窄，但是可通过扩大较小范围来提取视觉特征，使得可提取详细特征。

图6的(b)示出高级别的特征图。参照图6的(b)，可计算针对整个面部的特征图，其中，整个面部是图6的(b)至图6的(d)的输入图像中的最大部分。

图6的(c)示出低级别的特征图。参照图6的(c)，在输入图像中计算出的特征图可以是针对面部的眼睛、鼻子和嘴巴的(其中，所述特征图与针对图6的(b)的整个面部的特征图相比在更小的范围中)，并且包括图6的(c)的特征图的整个图像的尺寸可大于图6的(b)的整个图像的尺寸。

图6的(d)示出最低级别的特征图。参照图6的(d)，在输入图像中计算出的特征图可以是眼睛、鼻子和嘴巴的部分(其中，所述特征图与每个部分的特征图相比在更小的范围中)，并且包括图6的(d)的特征图的整个图像的尺寸在图6的(b)至图6的(d)的整个图像的尺寸中可以是最大的。

根据如上所述的各种实施例，即使在输入区域中混合了纹理区域和非纹理区域的情况下，本公开也可生成比现有技术更高图像质量的图像。另外，通过使用经由使用预先存储的参数生成的高质量图像，与使用原始高质量图像的相关技术相比，可在更广范围中调整参数。

以上描述的各种实施例也可被实施在由计算机或类似装置使用软件、硬件或其组合可读取的记录介质中。根据硬件实现方式，可使用以下项中的至少一项来实现本公开中描述的实施例：专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器和用于执行其他功能的电气单元。在某些情况下，本文描述的实施例可由处理器120自身实现。在通过软件的实现方式中，诸如本文所述的程序和功能的实施例可在单独的软件模块中被实现。每个软件模块可执行本文描述的功能和操作中的一个或更多个。

另外，根据本公开的各种实施例的图像处理方法可被存储在非暂时性可读介质中。这样的非暂时性可读介质可在各种装置中被使用。

非暂时性计算机可读介质是指半永久地存储数据而不是在非常短的时间内存储数据的诸如寄存器、高速缓存器和存储器的介质，并且可由设备读取。具体地，上述各种应用或程序可被存储在诸如光盘(CD)、数字通用盘(DVD)、硬盘、蓝光光盘、通用串行总线(USB)、记忆棒、存储卡和只读存储器(ROM)的非暂时性计算机可读介质中，并且可被提供。

尽管已经示出并描述了示例性实施例，但是本领域技术人员将理解，可在不脱离本公开的原理和精神的情况下对这些示例性实施例进行改变。因此，本发明的范围不被解释为限于所描述的示例性实施例，而是由所附权利要求及其等同物来限定。

Claims

1.一种图像处理设备，包括：

通信器，被配置为接收比原始图像质量低的低质量图像以及所述原始图像；以及

处理器，被配置为：

生成通过使用图像处理的参数对接收到的所述低质量图像执行图像处理而获得的比所述低质量图像质量高的第一图像，

按照多个不同比率缩小第一图像来生成多个缩小图像，

从所述原始图像和所述多个缩小图像提取各自的视觉特征，

选择第二图像，其中，第二图像是所述多个缩小图像之中的具有与从所述原始图像提取的视觉特征最相似的视觉特征的缩小图像，

其中，处理器还被配置为调整所述参数以使第一图像的视觉特征与第二图像的视觉特征之间的差在第一预定范围内。

2.如权利要求1所述的图像处理设备，其中，处理器被配置为通过使用机器学习方法来调整所述参数。

3.如权利要求1所述的图像处理设备，其中，处理器还被配置为重复执行以下操作：生成第一图像；生成第二图像；提取所述原始图像和第二图像的视觉特征；以及调整所述参数，以使第一图像的视觉特征与第二图像的视觉特征之间的差在所述第一预定范围内。

4.如权利要求1所述的图像处理设备，其中，处理器还被配置为调整所述参数以使第二图像的视觉特征在第一图像的视觉特征的所述第一预定范围内。

5.如权利要求1所述的图像处理设备，

其中，处理器还被配置为提取第一图像和所述原始图像的各自的结构特征，并通过使用机器学习方法来调整所述参数以使第一图像的结构特征与所述原始图像的结构特征之间的差在第二预定范围内。

6.如权利要求1所述的图像处理设备，其中，处理器还被配置为提取第一图像和所述原始图像的各自的结构特征，并通过使用机器学习方法来调整所述参数以使以下项之和在第三预定范围内：第一图像的视觉特征与第二图像的视觉特征之间的差、以及第一图像的结构特征与所述原始图像的结构特征之间的差。

7.如权利要求1所述的图像处理设备，其中，处理器还被配置为通过使用调整后的参数对接收到的图像执行图像处理。

8.如权利要求7所述的图像处理设备，还包括：

显示器，被配置为显示经过图像处理后的图像。

9.如权利要求7所述的图像处理设备，其中，处理器还被配置为控制通信器将经过图像处理后的图像发送到外部设备。

10.一种用于图像处理的方法，所述方法包括：

接收比原始图像质量低的低质量图像以及所述原始图像；并且

调整用于对接收到的图像执行图像处理的参数，

其中，调整步骤包括：

生成通过经由使用预定参数对接收到的所述低质量图像进行图像处理而获得的比所述低质量图像质量高的第一图像；

按照多个不同比率缩小第一图像来生成多个缩小图像；

从所述原始图像和所述多个缩小图像提取各自的视觉特征；

选择第二图像，其中，第二图像是所述多个缩小图像之中的具有与从所述原始图像提取的视觉特征最相似的视觉特征的缩小图像；并且

修改所述参数以使第一图像的视觉特征与第二图像的视觉特征之间的差在第一预定范围内。

11.如权利要求10所述的方法，其中，调整步骤包括：通过使用机器学习方法来重复地调整所述参数。

12.如权利要求10所述的方法，其中，修改步骤包括：修改所述参数以使第二图像的视觉特征在第一图像的视觉特征的所述第一预定范围内。

13.如权利要求10所述的方法，

其中，调整步骤包括：

提取第一图像和所述原始图像的各自的结构特征；并且

修改所述参数以使第一图像的结构特征与所述原始图像的结构特征之间的差在第二预定范围内。