CN111986069A - 图像处理装置及其图像处理方法 - Google Patents

图像处理装置及其图像处理方法 Download PDF

Info

Publication number
CN111986069A
CN111986069A CN202010080412.6A CN202010080412A CN111986069A CN 111986069 A CN111986069 A CN 111986069A CN 202010080412 A CN202010080412 A CN 202010080412A CN 111986069 A CN111986069 A CN 111986069A
Authority
CN
China
Prior art keywords
image
learning network
network model
input
texture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010080412.6A
Other languages
English (en)
Inventor
李天�
金东炫
朴熔燮
朴在演
安一埈
李炫承
安泰庆
文永秀
李泰美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190080346A external-priority patent/KR102410907B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111986069A publication Critical patent/CN111986069A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/403—Edge-driven scaling; Edge-based scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

图像处理装置将图像施加于第一学习网络模型以优化图像的边缘，将图像施加于第二学习网络模型以优化图像的纹理，并且基于关于图像的边缘区域和纹理区域的信息，将第一权重应用于第一图像并将第二权重应用于第二图像，以获取输出图像。

Description

图像处理装置及其图像处理方法
技术领域
本公开涉及一种图像处理装置及其图像处理方法，更具体地，涉及一种通过使用学习网络模型来增强图像特征的图像处理装置及其图像处理方法。
背景技术
受电子技术发展的激励，已经开发并发布了各种类型的电子装置。特别地，图像处理装置已经被部署在诸如住宅、办公室和公共场所之类的各种地方，并且近年来正在不断发展。
最近，诸如4K UHD TV的高分辨率显示面板已面世，并且已经广泛分布。然而，用于在这种高分辨率显示面板上再现的高分辨率内容的可用性在一定程度上受到限制。因此，正在开发用于从低分辨率内容生成高分辨率内容的各种技术。特别地，对在有限的处理资源内生成高分辨率内容所必需的大量操作的有效处理的需求正在增加。
此外，近来，模仿人类水平智能的人工智能系统已经在各个领域中使用。与常规的基于规则的智能系统不同，人工智能系统是指机器自己学习、确定和执行处理的系统。随着系统迭代地操作，人工智能系统显示出更加改进的识别率，并且例如变得能够更正确地理解用户偏好。因此，常规的基于规则的智能系统越来越多地被基于深度学习的人工智能系统取代。
人工智能技术由机器学习(例如，深度学习)和利用机器学习的元素技术组成。
机器学习是指一种自己对输入数据的特征进行分类/学习的算法技术。同时，元素技术是指通过使用诸如深度学习之类的机器学习算法来模拟诸如认知和确定之类的人脑功能的技术，并且包括诸如语言理解、视觉理解、推理/预测、知识表示和操作控制之类的技术领域。
已经尝试在常规的图像处理装置上通过使用人工智能技术来增强图像的特征。然而，存在的问题是，对于常规图像处理装置的性能，生成高分辨率图像所需的操作的处理量受到限制，并且花费大量时间。因此，需要一种使图像处理装置能够通过仅执行少量操作来生成高分辨率图像并提供图像的技术。
发明内容
本公开解决了上述需要，并且提供了通过使用多个学习网络模型来获取具有改善的图像特征的高分辨率的图像处理装置、及其图像处理方法。
根据用于实现上述目的的本公开的实施例的图像处理装置包括：存储器，存储计算机可读指令；以及处理器，被配置为执行该计算机可读指令以便：将输入图像作为第一输入施加于第一学习网络模型，从第一学习网络模型获取包括基于输入图像的边缘而被优化的增强边缘在内的第一图像，以及将输入图像作为第二输入施加于第二学习网络模型，并且从第二学习网络模型获取包括基于输入图像的纹理而被优化的增强纹理在内的第二图像。处理器识别图像中所包括的边缘区域和纹理区域，基于关于边缘区域和纹理区域的信息来将第一权重应用于第一图像并将第二权重应用于第二图像，并且获取输出图像，该输出图像基于应用于第一图像的第一权重和应用于第二图像的第二权重而从输入图像被优化。
此外，第一学习网络模型的第一类型不同于第二学习网络模型的第二类型。
此外，第一学习网络模型可以是以下模型中的一种：用于通过使用多个层来优化输入图像的边缘的深度学习模型、或被训练为通过使用多个预先学习的滤波器来优化输入图像的边缘的机器学习模型。
此外，第二学习网络模型可以是以下模型中的一种：用于通过使用多个层来优化输入图像的纹理的深度学习模型、或通过使用多个预先学习的滤波器来优化输入图像的纹理的机器学习模型。
同时，处理器可以基于边缘区域和纹理区域的比例信息，获取与边缘区域相对应的第一权重和与纹理区域相对应的第二权重。
此外，处理器可以对输入图像进行降频(downscale)以获取分辨率小于输入图像的分辨率的降频图像。此外，第一学习网络模型可以从对降频图像进行升频(upscale)的第一学习网络模型获取具有增强边缘的第一图像，并且第二学习网络模型可以从对降频图像进行升频的第二学习网络模型获取具有增强纹理的第二图像。
此外，处理器可以获取已经基于降频图像识别出边缘区域和纹理区域的区域检测信息，并且将区域检测信息和图像分别提供给第一和第二学习网络模型。
此外，第一学习网络模型可以通过对边缘区域进行升频来获取第一图像，并且第二学习网络模型可以通过对纹理区域进行升频来获取第二图像。
另外，第一图像和第二图像可以分别是第一残差图像和第二残差图像。此外，处理器可以基于边缘区域将第一权重应用于第一残差图像，并且基于纹理区域将第二权重应用于第二残差图像，然后将第一残差图像、第二残差图像和输入图像进行混合，以获取输出图像。
同时，第二学习网络模型可以是以下模型，该模型存储与多个图像模式中的每一个相对应的多个滤波器，将图像中包括的每个图像块分类为多个图像模式之一，并且将多个滤波器之中与分类的图像模式相对应的至少一个滤波器应用于图像块，并提供第二图像。
这里，处理器可以对与分类的每个图像块相对应的图像模式的索引信息进行累加，基于索引信息将图像识别为自然图像或图形图像中的一个，并且基于将输入图像识别为自然图像或图形图像之一的结果来调整第一权重和第二权重。
这里，处理器可以基于输入图像被识别为自然图像，增加第一权重或第二权重中的至少一个，并且基于输入图像被识别为图形图像，减小第一权重或第二权重中的至少一个。
同时，根据本公开的实施例的图像处理装置的图像处理方法可以包括以下步骤：将输入图像作为第一输入施加于第一学习网络模型，从第一学习网络模型获取包括基于输入图像的边缘而被优化的增强边缘在内的第一图像，将输入图像作为第二输入施加于第二学习网络模型，从第二学习网络模型获取包括基于输入图像的纹理而被优化的增强纹理在内的第二图像，识别输入图像中所包括的边缘的边缘区域，识别输入图像中所包括的纹理的纹理区域，基于边缘区域将第一权重应用于第一图像，基于纹理区域将第二权重应用于第二图像，以及基于应用于第一图像的第一权重和应用于第二图像的第二权重，获取从输入图像优化的输出图像。
这里，第一学习网络模型和第二学习网络模型可以是彼此不同类型的学习网络模型。
此外，第一学习网络模型可以是以下模型中的一种：用于通过使用多个层来优化输入图像的边缘的深度学习模型、或被训练为通过使用多个预先学习的滤波器来优化输入图像的边缘的机器学习模型。
此外，第二学习网络模型可以是以下模型中的一种：用于通过使用多个层来优化输入图像的纹理的深度学习模型、或被训练为通过使用多个预先学习的滤波器来优化输入图像的纹理的机器学习模型。
此外，图像处理方法可以包括以下步骤：基于输入图像中的边缘区域和输入图像中的纹理区域的比例信息来获取第一权重和第二权重。
此外，图像处理方法可以包括以下步骤：对输入图像进行降频以获取分辨率小于输入图像的分辨率的降频图像。同时，第一学习网络模型可以通过对降频图像进行升频来获取第一图像，并且第二学习网络模型可以通过对降频图像进行升频来获取第二图像。
这里，图像处理方法可以包括以下步骤：获取识别输入图像的边缘区域的第一区域检测信息和识别输入图像的纹理区域的第二区域检测信息，并且将区域检测信息和图像分别提供给第一和第二学习网络模型。
同时，第一学习网络模型可以通过对边缘区域进行升频来获取第一图像，并且第二学习网络模型可以通过对纹理区域进行升频来获取第二图像。
另外，第一图像和第二图像可以分别是第一残差图像和第二残差图像。
根据上述本公开的各种实施例，通过将彼此不同的学习网络模型应用于图像来生成高分辨率图像，减少了生成高分辨率图像所需的操作的量，从而可以在图像处理装置的有限资源内生成高分辨率图像，并且可以将图像提供给用户。
附图说明
图1是示出根据本公开的实施例的图像处理装置的实施方式示例的示图；
图2是示出根据本公开的实施例的图像处理装置的配置的框图；
图3是示出根据本公开的实施例的第一和第二学习网络模型的示图；
图4是示出根据本公开的实施例的降频的示图；
图5是示出根据本公开的实施例的深度学习模型和机器学习模型的示图；
图6是示出根据本公开的另一实施例的第一和第二学习网络模型的示图；
图7是示出根据本公开的另一实施例的第一和第二学习网络模型的示图；
图8是示意性地示出根据本公开的实施例的第二学习网络模型的操作的示图；
图9是示出根据本公开的实施例的索引信息的示图；
图10是示出根据本公开的实施例的获取最终输出图像的方法的示图；
图11是示出图2中所示的图像处理装置的详细配置的框图；
图12是示出根据本公开的实施例的用于学习和使用学习网络模型的图像处理装置的配置的框图；以及
图13是示出根据本公开的实施例的图像处理方法的流程图。
具体实施方式
以下，将参考附图详细地描述本公开。
作为本公开的实施例中使用的术语，考虑到本公开中描述的功能，尽可能地选择常规上广泛使用的通用术语。然而，这些术语可以根据在相关领域的技术人员的意图、或新技术的涌现而变化。另外，在特定情况下，可以指定术语，并且在这种情况下，将在本公开的相关描述中详细描述术语的含义。因此，应该基于术语的含义和本公开的整体内容而不是仅基于术语的名称来定义本公开中所使用的术语。
在本说明书中，诸如“具有”、“可能具有”、“包括”和“可能包括”之类的表述应该被解释为表示存在这样的特征(例如：诸如数值、函数、操作和组件之类的元素)，并且这些术语无意排除附加特征的存在。
另外，表述“A和/或B中的至少一个”应该理解为意指“A”或“B”或“A和B”中的任何一个。
另外，在本说明书中使用的表述“第一”、“第二”等可以用来描述各种元件，而不管任何顺序和/或重要性的程度。另外，这样的表述仅用于将一个元件与另一元件区分开，并且不旨在限制这些元件。
同时，对本公开中的一个元件(例如：第一元件)“(操作性地或者通信地)耦接到”或者“连接到”另一元件(例如：第二元件)的描述，应理解为意指所述一个元件可以直接地耦接到所述另一元件，或者所述一个元件通过又一元件(例如：第三元件)耦接到所述另一元件。
除非上下文中明显不同地定义，否则单数表述包括复数表述。此外，在本公开中，诸如“包括”和“具有”之类的术语应被解释为表明存在在说明书中描述的这种特征、数目、步骤、操作、元件、组件或其组合，但不排除预先添加其他特征、数目、步骤、操作、元件、组件中的一个或多个、或其组合的存在或可能性。
另外，在本公开中，“模块”或“单元”可以执行至少一个功能或操作，并且可以被实现为硬件或软件、或者被实现为硬件与软件的组合。此外，除需要实现为特定硬件的“模块”或者“单元”以外，多个“模块”或多个“单元”可以集成到至少一个模块中并且实现为至少一个处理器。
此外，在本说明书中，术语“用户”可以指操作电子装置的人或者装置(例如：人工智能电子装置)。
在下文中，将参考附图更详细地描述本公开的实施例。
图1是示出根据本公开的实施例的图像处理装置的实施方式示例的示图。
图像处理装置100可以被实现为如图1所示的电视(TV)。然而，图像处理装置100不限于此，图像处理装置100可以不受限制地被实现为配备有图像处理功能和/或显示功能的任何装置，例如智能电话、平板PC、膝上型PC、头戴式显示器(HMD)、近眼显示器(NED)、大幅面显示器(LFD)、数字标牌、数字信息显示器(DID)、视频墙、投影仪显示器、相机、便携式摄像机、打印机等。
图像处理装置100可以接收各种分辨率的图像或各种压缩图像。例如，图像处理装置100可以接收根据标准清晰度(SD)、高清晰度(HD)、全HD和超HD图像中的任何一个而被格式化的图像10。此外，图像处理装置100可以接收以诸如MPEG(例如，MP2、MP4、MP7等)、AVC、H.264、HEVC等的编码格式或压缩格式的图像10。
即使根据本公开的实施例将图像处理装置100实现为UHD TV，由于UHD内容的有限可用性，存在许多仅诸如标准清晰度(SD)、高清晰度(HD)和全HD图像(在下文中，称为低分辨率图像)之类的图像可用的情况。在这种情况下，可以提供一种将低分辨率的输入图像升频为UHD图像(以下称为高分辨率图像)并提供所得到的图像的方法。作为示例，可以将低分辨率图像作为输入施加于学习网络模型，使得可以低分辨率图像可以被扩大，并且由此可以获取高分辨率图像作为输出以显示在图像处理装置100上。
然而，为了将低分辨率图像升频为高分辨率图像，通常需要大量复杂的处理操作来变换图像数据。因此，需要具有高性能和高复杂度的图像处理装置100来执行这种变换。作为示例，为了将分辨率为820×480的SD水平的60P图像升频为高分辨率图像，图像处理装置100应该每秒针对820×480×60个像素执行操作。因此，需要具有高性能的处理单元，例如中央处理单元(CPU)或图形处理单元(GPU)或其组合。作为另一示例，图像处理装置100应该每秒针对3840×2160×60个像素执行操作，以将分辨率为4K的UHD水平的60P图像升频至分辨率为8K的图像。因此，需要一种处理单元，该处理单元能够处理与对SD水平的图像进行升频的情况相比至少24倍的大量操作。
因此，在下文中，将描述各种实施例，其提供了一种图像处理装置100，该图像处理装置100减少了将较低分辨率图像升频为较高分辨率图像所需的操作量，从而最大化图像处理装置100的有限资源。
另外，将描述图像处理装置100在加强或增强输入图像的各种特征中的至少一个图像特征的同时获取输出图像的各种实施例。
图2是示出根据本公开的实施例的图像处理装置的配置的框图。
根据图2，图像处理装置100包括存储器110和处理器120。
存储器110与处理器120电连接，并且可以存储用于执行本公开的各种实施例所需要的数据。例如，存储器110可以被实现为包括在处理器120中的诸如ROM(例如，电可擦除可编程只读存储器(EEPROM))、RAM等的内部存储器，或者被实现为与处理器120分离的存储器。
根据存储的数据的使用，存储器110可以被实现为嵌入在图像处理装置100中的存储器的形式，或者可以被实现为附接到图像处理装置100上或从图像处理装置100拆卸的存储器的形式。例如，在数据用于操作图像处理装置100的情况下，该数据可以存储在嵌入在图像处理装置100中的存储器中，并且在数据用于图像处理装置100的扩展功能的情况下，该数据可以存储在可以附接到图像处理装置100上或从图像处理装置100拆卸的存储器中。在被实现为嵌入在图像处理装置100中的存储器的情况下，存储器110可以是以下项中的至少一个：易失性存储器(例如：动态RAM(DRAM)、静态RAM(SRAM)或同步动态RAM(SDRAM)等)或非易失性存储器(例如：一次性可编程ROM(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM、闪存ROM、闪速存储器(例如：NAND闪存或NOR闪存等)、硬盘驱动器或固态驱动器(SSD))。
同时，在被实现为可以附接到图像处理装置100或从图像处理装置100拆卸的存储器的情况下，存储器110可以是存储卡(例如，紧凑型闪存(CF)、安全数字(SD)、微安全数字(Micro-SD)、迷你安全数字(Mini-SD)、极限数字(xD)、多媒体卡(MMC)等)、可以连接到USB端口的外部存储器(例如，USB存储器)的内存)等。
根据本公开的实施例，存储器110可以存储用于使处理器120执行指令的至少一个程序。这里，指令可以是用于处理器120通过将图像10施加于学习网络来获取输出图像的指令。
根据本公开的另一实施例，存储器110可以存储根据本公开的各种实施例的学习网络模型。
根据本公开的实施例的学习网络模型是基于人工智能算法基于多个图像而训练的确定模型，并且学习网络可以是基于神经网络的模型。训练的确定模型可以被设计为在计算机上模拟人类智能和决策，并且可以包括具有权重的多个网络节点，该网络节点模拟人类神经网络的神经元。多个网络节点中的每个可以形成连接关系，以模拟通过突触发送和接收信号的神经元的突触活动。另外，训练的确定模型可以包括例如机器学习模型、神经网络模型或从神经网络模型开发的深度学习模型。在深度学习模型中，多个网络节点可以彼此位于不同的深度(或层)，并且可以根据卷积连接关系发送和接收数据。
作为示例，学习网络模型可以是基于图像所训练的卷积神经网络(CNN)模型。CNN是具有针对语音处理、图像处理等而设计的特殊连接结构的多层神经网络。同时，学习网络模型不限于CNN。例如，学习网络模型可以被实现为递归神经网络(RNN)模型、长短期记忆网络(LSTM)模型、门控递归单元(GRU)模型、或生成对抗网络(GAN)模型之中的至少一个深度神经网络(DNN)模型。
例如，学习网络模型可以基于超分辨率GAN(SRGAN)将低分辨率图像恢复或转换为高分辨率图像。同时，根据本公开的实施例的存储器110可以存储相同种类或不同种类的多个学习网络模型。学习网络模型的数目和类型不受限制。然而，根据本公开的另一实施例，可以将根据本公开的各种实施例的至少一个学习网络模型存储在外部装置或外部服务器中的至少一个中。
处理器120与存储器110电连接，并且控制图像处理装置100的总体操作。
根据本公开的实施例，处理器120可以被实现为处理数字信号的数字信号处理器(DSP)、微处理器、人工智能(A1)处理器和定时控制器(T-CON)。然而，处理器120不限于此，并且处理器120可以包括中央处理单元(CPU)、微控制器单元(MCU)、微处理单元(MPU)、控制器、应用处理器(AP)或通信处理器(CP)以及ARM处理器中的一个或多个，或者可以由术语定义。另外，处理器120可以被实现为具有存储了处理算法的片上系统(SoC)或大规模集成(LSI)，或以现场可编程门阵列(FPGA)的形式来实现。
处理器120可以将图像10作为输入施加于学习网络模型，并获取具有改善、加强、优化或增强的图像特征的图像。这里，图像10的特征可以指根据图像10中包括的多个像素的边缘方向、边缘强度、纹理、灰度值、亮度、对比度或伽玛值中的至少一项。例如，处理器120可以将图像施加于学习网络模型并且获取边缘和纹理已经被加强的图像。这里，图像的边缘可以指在空间上相邻的像素的值急剧改变的区域。例如，边缘可以是图像的亮度从低值到高值或从高值到低值急剧改变的区域。图像的纹理可以是在图像中被视为相同特征的区域的独特模式或形状。同时，图像的纹理也可以由精细边缘组成，并且因此处理器120可以获取等于或大于第一阈值强度(或阈值厚度)的边缘分量并且小于第二阈值强度(或阈值厚度)的边缘分量已被改善的图像。这里，根据本公开的实施例，第一阈值强度可以是用于划分边缘分量的值，并且根据本公开的实施例，第二阈值强度可以是用于划分纹理分量的值，并且它们可以是预定值或根据图像特征设置的值。然而，在下文中，为了便于说明，将如上所述的特征称为边缘和纹理。
同时，根据本公开的实施例的图像处理装置100可以包括多个学习网络模型。多个学习网络模型中的每一个可以增强图像10的不同特征。将参考图3对该方面进行详细说明。
图3是用于示出根据本公开的实施例的第一和第二学习网络模型的示图。
参考图3，根据本公开的实施例的处理器120可以将图像10作为输入施加于第一学习网络模型，并且获取图像10的边缘在操作S310处被改善的第一图像作为输出。图像10还可以作为输入被提供给第二学习网络模型，并且获取图像10的纹理在操作S320处被改善的第二图像作为输出。
同时，根据本公开的实施例的图像处理装置100可以并行地使用基于彼此不同的人工智能算法的第一学习网络模型和第二学习网络模型。备选地，可以通过第一学习网络模型和第二学习网络模式来串行地处理图像10。这里，第一学习网络模型可以是通过使用除了训练第二学习网络模型所使用的那些资源以外的更大资源来训练的模型。这里，资源可以是用于训练和/或处理学习网络模型所必需的各种数据，并且可以包括例如是否执行实时学习、学习数据的量、包括在学习网络模型中的卷积层的数目、参数的数目、在学习网络模型中使用的存储器的容量、学习网络使用GPU的程度等。
例如，设置在图像处理装置100中的GPU可以包括纹理单元、特殊功能单元(SFU)、算术逻辑装置等。这里，纹理单元是用于向图像10添加材料或纹理的资源，并且特殊功能单元是用于处理复杂运算(例如平方根、倒数和代数函数)的资源。同时，整数算术逻辑单元(ALU)是处理浮点、整数运算、比较和数据移动的资源。几何单元是计算对象的位置或视点、光源方向等的资源。栅格单元是在二维屏幕上投影三维数据的资源。在这种情况下，深度学习模型可以比机器学习模型更多地使用包括在GPU中的各种资源以进行学习和操作。同时，图像处理装置100的资源不限于GPU的资源，并且资源可以是包括在图像处理装置100中的各种组件的资源，诸如存储器110的存储区域、功率等。
根据本公开的实施例的第一学习网络模型和第二学习网络模型可以是不同类型的学习网络模型。
作为示例，第一学习网络模型可以是以下模型中的一种：基于多个图像进行学习以改善图像10的边缘的基于深度学习的模型、或被训练为通过使用多个预先学习的滤波器来改善图像的边缘的机器学习模型。第二学习网络模型可以是通过使用多个层进行学习以改善图像的纹理的深度学习模型、或被训练为通过使用基于多个图像的多个预先学习的滤波器和预先学习的数据库(DB)来改善图像的纹理的基于机器学习的模型。这里，预先学习的DB可以是与多个图像模式中的每一个相对应的多个滤波器，并且第二学习网络模型可以识别与包括在图像10中的图像块相对应的图像模式，并且通过使用在多个滤波器之中的与所识别的模式相对应的滤波器来对图像10的纹理进行优化。根据本公开的实施例，第一学习网络模型可以是深度学习模型，并且第二学习网络模型可以是机器学习模型。
机器学习模型包括基于各种信息和数据输入方法(诸如监督学习、非监督学习和半监督学习)而预先学习的多个预先学习的滤波器，并且识别在多个滤波器之中的要应用于图像10的滤波器。
深度学习模型是基于大量数据而执行学习的模型，并且包括在输入层和输出层之间的多个隐藏层。因此，深度学习模型可能需要图像处理装置100的比机器学习模型用于执行学习和操作所需要的资源更多的附加资源。
作为另一个示例，第一学习网络模型和第二学习网络模型可以是基于相同人工智能算法但具有不同大小或配置的模型。例如，第二学习网络模型可以是大小小于第一学习网络模型的大小的低复杂度模型。这里，学习网络模型的大小和复杂度可以与卷积层的数目和构成模型的参数的数目成比例。另外，根据本公开的实施例，第二学习网络模型可以是深度学习模型，并且第一学习网络模型可以是使用比第二学习网络模型更少的卷积层的深度学习模型。
作为又一示例，第一和第二学习网络模型中的每一个可以是机器学习模型。例如，第二学习网络模型可以是大小小于第一学习网络模型的大小的低复杂度机器学习模型。
同时，已基于以下假设说明本公开的各种实施例：第一学习网络模型是通过使用比第二学习网络模型更多的资源来训练的模型，但是这仅是示例，并且本公开不限于此。例如，第一学习网络模型和第二学习网络模型可以是具有相同或类似复杂度的模型，并且第二学习网络模型可以是通过使用比第一学习网络模型更多的资源来训练的模型。
根据本公开的实施例的处理器120可以在操作S330处识别包括在图像10中的边缘区域和纹理区域。然后，在操作S340处，处理器120可基于关于边缘区域和纹理区域的信息，将第一权重应用于第一图像并且将第二权重应用于第二图像。作为示例，处理器120可以基于关于包括在图像10中的边缘区域和纹理区域的比例的信息，获取与边缘区域相对应的第一权重和与纹理区域相对应的第二权重。例如，如果根据比例，边缘区域比纹理区域多，则处理器120可以向边缘区域已被改善的第一图像应用与纹理已被改善的第二图像相比更大的权重。作为另一示例，如果根据比例，纹理区域比边缘区域多，则处理器120可以向纹理已被改善的第二图像应用与边缘已被改善的第一图像相比更大的权重。然后，处理器120可以基于已经应用了第一权重的第一图像和已经应用了第二权重的第二图像来获取输出图像10。
作为又一示例，从第一和第二学习网络模型获取的第一和第二图像可以是残差图像。这里，残差图像可以是仅包括残差信息而不是原始图像的图像。作为示例，第一学习网络模型可以识别图像10中的边缘区域，并且优化所识别的边缘区域并获取第一图像。第二学习网络模型可以识别图像10中的纹理区域，并且优化所识别的纹理区域并获取第二图像。
然后，处理器120可以将图像10与第一图像和第二图像混合并且获取输出图像20。这里，混合可以是将第一图像和第二图像中的每一个的对应像素值添加到包括在图像10中的每个像素的值中的处理。在这种情况下，由于第一图像和第二图像，输出图像20可以是具有已经被增强的边缘和纹理的图像。
根据本公开的实施例的处理器120可以将第一权重和第二权重分别应用于第一图像和第二图像，然后将该图像与图像10混合，从而获取输出图像20。
作为另一示例，处理器120可以将图像10划分为多个区域。然后，处理器120可以识别多个区域中的每个区域的边缘区域和纹理区域的比例。对于在多个区域之中边缘区域的比例高的第一区域，处理器120可以将第一权重设置为大于第二权重的值。此外，对于在多个区域之中纹理区域的比例高的第二区域，处理器120可以将第二权重设置为大于第一权重的值。
然后，在操作S340处，处理器120可以将已经应用了权重的第一图像和第二图像与图像10混合，并且获取输出图像。图像10和与图像10相对应的输出图像20可以如下面的等式1所示。
【等式1】
Yres＝Yimg+a*Network_Model1(Yimg)+b*Network_Model2(Yimg)
这里，Y_img表示图像10，Network_Model1(Y_img)表示第一图像，Network_Model2(Y_img)表示第二图像，‘a’表示与第一图像相对应的第一权重，并且‘b’表示与第二图像相对应的第二权重。
同时，作为又一示例，处理器120可以将图像10作为输入施加于第三学习网络模型，并且获取用于应用于第一图像的第一权重和用于应用于第二图像的第二权重。例如，可以训练第三学习网络模型以识别包括在图像10中的边缘区域和纹理区域，并且基于所识别的边缘区域和纹理区域的比例、图像10的特征等来输出加强边缘区域的第一权重和加强纹理区域的第二权重。
图4是示出根据本公开的实施例的降频的示图。
参考图4，在操作S410处，处理器120可以识别输入图像10’中的边缘区域和纹理区域，并且获取与边缘区域相对应的第一权重和与纹理区域相对应的第二权重。作为示例，处理器120可以将引导滤波器应用于输入图像10′，并且识别边缘区域和纹理区域。引导滤波器可以是用于将图像10划分为基础层和细节层的滤波器。处理器120可以基于基础层识别边缘区域，并且基于细节层识别纹理区域。
然后，在操作S420处，处理器120可以对输入图像10′进行降频并获取分辨率小于输入图像10′的分辨率图像10。作为示例，处理器120可以将下采样应用于输入图像10′，并且将输入图像10′的分辨率降频到目标分辨率。这里，目标分辨率可以是低于输入图像10’的分辨率的低分辨率。例如，目标分辨率可以是与输入图像10’相对应的原始图像的分辨率。这里，可以通过分辨率估计程序来估计原始图像的分辨率，或者基于与输入图像10’一起接收到的附加信息来识别原始图像的分辨率，但是分辨率及其识别不限于此。同时，处理器120可以应用除下采样以外的各种已知的降频方法，从而获取与输入图像10′相对应的图像10。
例如，如果输入图像10′是分辨率为4K的UHD图像，则为了将输入图像10′作为输入施加于第一和第二学习网络模型并获取输出图像20，需要与将分辨率为820×480的SD图像施加于第一和第二学习网络模型的情况相比至少5.33倍(3840/820)的行缓冲存储器。另外，存在以下问题：用于存储包括在第一学习网络模型中的多个隐藏层中的每一个的中间操作结果的存储器110的空间成指数增加，并且根据使第一学习网络模型获取第一图像所需的操作量的增加而需要的CPU/GPU性能成指数增加。
因此，根据本公开的实施例的处理器120可以将降频的输入图像10施加于第一和第二学习网络模型，以减少第一和第二学习网络模型中所需的操作量、存储器110的存储空间等。
当输入降频的图像10时，在操作S430处，根据本公开的实施例的第一学习网络模型可以执行增强与包括在输入图像10中的边缘相对应的高频分量的升频操作，并且获取高分辨率的第一图像。同时，在操作S440处，第二学习网络模型可以执行增强与包括在图像10中的纹理相对应的高频分量的升频操作，并且获取高分辨率的第二图像。这里，第一图像和第二图像的分辨率可以与输入图像10’的分辨率相同。例如，如果输入图像10是4K高分辨率图像，并且降频的图像10是2K分辨率的图像，则第一和第二学习网络模型可以对图像10执行升频并从其获取4K分辨率的图像作为输出。
根据本公开的实施例的处理器120在操作S450处可以将升频的第一图像和第二图像与输入图像10′混合，并且获取输入图像10′中的边缘和纹理已被增强的高分辨率的输出图像20。根据图4所示的实施例，获取输入图像10’和与输入图像10’相对应的输出图像20的过程可以如下面的等式2所示。
【等式2】
Yres＝Yorg+a*Network_Model1(DownScaling(Yorg))+b*Network_Model2(DownScaling(Yorg))
这里，Y_org表示输入图像10’，DownScaling(Y_org)表示图像10，Network_Modell(DownScaling(Y_org))表示第一图像，Network_Model2(DownScaling(Y_org))表示第二图像，‘a’表示与第一图像相对应的第一权重，并且‘b’表示与第二图像相对应的第二权重。
图5是示出根据本公开的实施例的深度学习模型和机器学习模型的示图。
参考图5，如上所述，第一学习网络模型可以是通过使用多个层进行学习以加强图像10的边缘的深度学习模型，并且第二学习网络模型可以是被训练为通过使用多个预先学习的滤波器来加强图像10的纹理的机器学习模型。
根据本公开的实施例，可以以重复两个卷积层和一个汇聚层的配置用总共包括十层或更多层的深度结构来对深度学习模型进行建模。另外，深度学习模型可以通过使用各种类型的激活函数(例如，Identity函数、逻辑Sigmoid函数、双曲正切(tanh)函数、ReLU函数、LeakyReLU函数等)来执行操作。此外，深度学习模型可以在执行卷积的过程中通过执行填充、步幅等来不同地调整大小。这里，填充是指在所接收的输入值周围全部填充与预定大小一样多的特定值(例如，像素值)。步幅是指在执行卷积时加权矩阵的移位间隔。例如，如果步幅＝3，则学习网络模型可以在将加权矩阵一次移位多达三个空间的同时对输入值执行卷积。
根据本公开的实施例，深度学习模型可以学习以优化图像10的各种特征之中用户敏感度高的一个特征，并且机器学习模型可以通过使用多个预先学习的滤波器来优化图像10的其余特征中的至少一个。例如，可以假设在边缘区域的清晰度(例如，边缘方向、边缘强度)与用户关于图像10所感觉的清晰度之间存在紧密关系的情况。图像处理装置100可以通过使用深度学习模型来增强图像10的边缘，并且作为其余特征的示例，图像处理装置100可以通过使用机器学习模型来增强纹理。由于深度学习模型基于比机器学习模型大的大量数据进行学习，并且执行迭代操作，因此，假设深度学习模型的处理结果优于机器学习模型的处理结果。然而，本公开不必限于此，并且第一和第二学习网络模型两者都可以被实现为基于深度学习的模型或基于机器学习的模型。作为另一示例，第一学习网络模型可以被实现为基于机器学习的模型，而第二学习网络模型可以被实现为基于深度学习的模型。
另外，虽然基于第一学习网络模型增强边缘并且第二学习网络模型增强纹理的假设来解释本公开的各种实施例，但是学习网络模型的具体操作不限于此。例如，可以假设在处理图像10的噪声的程度与用户关于图像10所感觉的清晰度之间存在最紧密的关系的情况。在这种情况下，图像处理装置100可以通过使用深度学习模型来对图像10的噪声执行图像处理，并且作为其余图像特征的示例，图像处理装置100可以通过使用机器学习模型来加强纹理。作为另一示例，如果在处理图像10的亮度的程度与用户关于图像10所感觉的清晰度之间存在最紧密的关系，则图像处理装置100可以通过使用深度学习模型对图像10的亮度执行图像处理，并且作为其余图像特征的示例，图像处理装置100可以通过使用机器学习模型来过滤噪声。
图6是示出根据本公开的实施例的第一和第二学习网络模型的示图。
根据本公开的实施例的处理器120在操作S610处可以对输入图像10′进行降频并且获取分辨率相对较低的图像10，并且在操作S620处基于降频的图像10’获取已识别出边缘区域和纹理区域的区域检测信息。根据图5所示的实施例，处理器120可以识别包括在原始图像的分辨率的输入图像10’中的边缘区域和纹理区域。参考图6，处理器120可以识别包括在图像10中的边缘区域和纹理区域，在图像10中输入图像10’的分辨率已经被降频到目标分辨率。
然后，根据本公开的实施例的处理器120可以将区域检测信息和图像10分别提供给第一和第二学习网络模型。
在操作S630处，根据本公开的实施例的第一学习网络模型可以基于区域检测信息来执行仅加强图像10的边缘区域的升频操作。在操作S640处，第二学习网络模型可以基于区域检测信息来执行仅加强图像10的纹理区域的升频操作。
作为另一示例，处理器120可以基于区域检测信息将仅包括图像10中所包括的一些像素信息的图像提供给学习网络模型。由于处理器120仅将包括在图像10中的一些信息而不是图像10提供给学习网络模型，因此由学习网络模型操作的量可以减少。例如，处理器120可以基于区域检测信息，将仅包括与边缘区域相对应的像素信息在内的图像提供给第一学习网络模型，并且将仅包括与纹理区域相对应的像素信息在内的图像提供给第二学习网络模型。
然后，第一学习网络模型可以对边缘区域进行升频并获取第一图像，并且第二学习网络模型可以对纹理区域进行升频并获取第二图像。
接下来，在操作S650，处理器120可以将第一图像和第二图像添加到输入图像10’，并且获取输出图像20。
图7是示出根据本公开的另一实施例的第一和第二学习网络模型的示图。
参考图7，在操作S710处，根据本公开的实施例的处理器120可以将输入图像10’作为输入施加于第一学习网络模型，并获取第一图像。作为示例，在操作S710处，当第一学习网络模型执行加强与包括在输入图像10’中的边缘相对应的高频分量的升频操作时，处理器120可以获取高分辨率的第一图像。这里，第一图像可以是残差图像。残差图像可以是仅包括残差信息的图像，而不是原始图像。残差信息可以指示原始图像与高分辨率图像的每个像素或像素组之间的差。
另外，根据本公开的实施例的处理器120在操作S720处可以将输入图像10’作为输入施加于第二学习网络模型，并获取第二图像。作为示例，当第二学习网络模型执行加强与包括在输入图像10’中的纹理相对应的高频分量的升频操作时，处理器120可以获取高分辨率的第二图像。这里，第二图像可以是残差图像。残差信息可以指示原始图像与高分辨率图像的每个像素或像素组之间的差。
根据本公开的实施例，第一和第二学习网络模型分别执行加强输入图像10’的特征之中的至少一个特征的升频操作，并且因此与输入图像10’相比，第一和第二图像具有高分辨率。例如，如果输入图像10’的分辨率为2K，则第一图像和第二图像的分辨率可以为4K，并且如果输入图像10’的分辨率为4K，则第一图像和第二图像的分辨率可以为8K。
根据本公开的实施例的处理器120在操作S730处可以对输入图像10’进行升频并获取第三图像。根据本公开的实施例，图像处理装置100可以包括对输入图像10’进行升频的单独的处理器，并且处理器120可以对输入图像10’进行升频并获取高分辨率的第三图像。例如，处理器120可以通过使用双线性内插、双三次内插、三次样条内插、Lanczos内插、边缘有向内插(EDI)等对输入图像10’执行升频。同时，这仅是示例，并且处理器120可以基于各种升频(或超分辨率)方法来对输入图像10’进行升频。
作为另一示例，处理器120可以将输入图像10’作为输入施加于第三学习网络模型，并且获取与输入图像10’相对应的高分辨率的第三图像。这里，第三学习网络模型可以是基于深度学习的模型或基于机器学习的模型。根据本公开的实施例，如果输入图像10’的分辨率是4K，则第三图像的分辨率可以是8K。另外，根据本公开的实施例，第一图像至第三图像的分辨率可以相同。
然后，在操作S740处，处理器120可以混合第一至第三图像并获取输出图像20。
根据本公开的实施例的处理器120可以混合第一残差图像、第二残差图像和第三残差图像，并获取输出图像，其中第一残差图像是通过加强输入图像10’中的边缘来对输入图像10’进行升频而得到的，第二残差图像是通过加强输入图像10’中的纹理来对输入图像10’进行升频而得到的，第三残差图像是对输入图像10’进行升频而得到的。这里，处理器120可以识别输入图像10’中的边缘区域并将所识别的边缘区域施加于第一学习网络模型，并且加强边缘区域，从而获取升频的第一残差图像。此外，处理器120可以识别输入图像10’中的纹理区域并将所识别的纹理区域施加于第二学习网络模型，并且加强纹理区域，从而获取升频的第二残差图像。同时，这仅是示例，并且配置和操作不限于此。例如，处理器120可以将输入图像10’施加于第一和第二学习网络模型。然后，第一学习网络模型可以基于输入图像10’的各种图像特征之中的边缘特征来识别边缘区域，并且加强所识别的边缘区域，从而获取高分辨率的升频的第一残差图像。第二学习网络模型可以基于输入图像10’的各种图像特征之中的纹理特征来识别纹理区域，并且加强所识别的纹理区域，从而获取高分辨率的升频的第二残差图像。
另外，根据本公开的实施例的处理器120可以对输入图像10’进行升频并获取高分辨率的第三图像。这里，第三图像可以是通过对原始图像(而不是残差图像)进行升频而获取的图像。
根据本公开的实施例，处理器120可以混合第一至第三图像，并且获取分辨率大于输入图像10’的输出图像20。这里，输出图像20可以是边缘区域和纹理区域已经被加强的升频图像，而不是仅分辨率被升频的图像。同时，这仅是示例，处理器120可以获取输入图像10’的各种图像特征被加强的多个残差图像，将通过对输入图像10’进行升频而得到的第三图像与多个残差图像进行混合，并且基于混合图像的结果来获取输出图像20。
图8是示意性地示出根据本公开的实施例的第二学习网络模型的操作的示图。
根据本公开的实施例的处理器120可以将图像10作为输入施加于第二学习网络模型，并且获取纹理被增强的第二图像。
根据本公开的实施例的第二学习网络模型可以存储与多个图像模式中的每一个相对应的多个滤波器。这里，可以根据图像块的特征对多个图像模式进行分类。例如，第一图像模式可以是在水平方向上具有大量线的图像模式，并且第二图像模式可以是在旋转方向上具有大量线的图像模式。多个滤波器可以是通过人工智能算法预先学习的滤波器。
另外，根据本公开的实施例的第二学习网络模型可以从图像10读取预定大小的图像块。这里，图像块可以是由包括在图像10中的多个像素构成的组，该多个像素包括对象像素和多个周围像素。作为示例，第二学习网络模型可以读取图像10的左上端上的3×3像素大小的第一图像块，并且对第一图像块执行图像处理。然后，第二学习网络模型可以从图像10的左上端向右扫描多达单位像素，读取3×3像素大小的第二图像块，并且对第二图像块执行图像处理。通过跨像素块进行扫描，第二学习网络模型可以对图像10执行图像处理。同时，第二学习网络模型可以自己从图像10中读取第一至第n个图像块，并且处理器120可以顺序地将第一至第n个图像块作为输入施加于第二学习网络模型并对图像10执行图像处理。
为了检测图像块中的高频分量，第二学习网络模型可以将预定大小的滤波器应用于图像块。作为示例，第二学习网络模型可以将与图像块的大小相对应的3×3大小的拉普拉斯(Laplacian)滤波器810应用于图像块，从而消除图像10中的低频分量并检测高频分量。作为另一个示例，第二学习网络模型可以通过将诸如Sobel、Prewitt、Robert、Canny等的各种类型的滤波器应用于图像块来获取图像10的高频分量。
然后，第二学习网络模型可以基于从图像块获取的高频分量来计算梯度向量820。特别地，第二学习网络模型可以计算水平梯度和竖直梯度，并且基于水平梯度和竖直梯度来计算梯度向量。这里，梯度矢量可以基于每个像素表示关于位于预定方向上的像素的改变量。另外，第二学习网络模型可以基于梯度向量的方向性将图像块分类为多个图像模式之一。
接下来，第二学习网络模型可以通过使用索引矩阵850来搜索要应用于从图像10检测到的高频分量的滤波器(执行滤波器搜索)830。具体地，第二学习网络模型可以基于索引矩阵来识别指示图像块的模式的索引信息，并且搜索830与索引信息相对应的滤波器。例如，如果与图像块相对应的索引信息被识别为指示图像块的模式的索引信息1至32之中的32，则第二学习网络模型可以从多个滤波器之中获取映射到索引信息32的滤波器。同时，上面的特定索引值仅是示例，并且索引信息可以根据滤波器的数目而减少或增加。另外，索引信息可以用除整数以外的各种方式表示。
之后，第二学习网络模型可以基于搜索结果来获取包括在滤波器数据库(DB)860中的多个滤波器之中的至少一个滤波器，并且将该至少一个滤波器应用于840图像块，从而获取第二图像。作为示例，第二学习网络模型可以基于搜索结果在多个滤波器之中识别与图像块的模式相对应的滤波器，并且将所识别的滤波器应用于图像块，从而获取纹理区域被升频的第二图像。
这里，可以根据通过人工智能算法学习低分辨率的图像块与高分辨率的图像块之间的关系的结果来获取包括在滤波器数据库860中的滤波器。例如，第二学习网络模型可以学习低分辨率的第一图像块与高分辨率的第二图像块之间的关系(其中第一图像块的纹理区域已经通过人工智能算法进行了升频)，识别要被应用于第一图像块的滤波器，并且将所识别的滤波器存储在滤波器数据库860中。然而，这仅是示例，并且本公开不限于此。例如，第二学习网络模型可以通过使用人工智能算法的学习结果来识别加强图像块的各种特征中的至少一个的滤波器，并且将所识别的滤波器存储在滤波器数据库860中。
图9是示出根据本公开的实施例的索引信息的示图。
根据本公开的实施例的处理器120可以对与分类的每个图像块相对应的图像模式的索引信息进行累加，并且获取累加结果。参考图9，处理器120可以在指示图像模式的索引信息之中获取与图像块的图像模式相对应的索引信息。然后，处理器120可以对包括在图像10中的多个图像块中的每一个的索引信息进行累加，从而获取累加结果，如图9所示。
处理器120可以分析累加结果并且将图像10识别为自然图像或图形图像之一。例如，如果基于累加结果，在图像10中包括的图像块之中不包括模式(或不显示方向性)的图像块的数目等于或大于阈值，则处理器120可以将图像10识别为图形图像。作为另一示例，如果基于累加结果，在图像10中包括的图像块之中不包括模式的图像块的数目小于阈值，则处理器120可以将图像10识别为自然图像。作为又一示例，如果基于累加结果，具有竖直方向上的模式或水平方向上的模式的图像块的数目等于或大于阈值，则处理器120可以将图像10识别为自然图像。同时，图像的识别和分类仅是示例性的，并且可以根据制造商的目的、用户的设置等来指定阈值。
作为另一示例，处理器120可以基于累加结果计算特定索引信息的数目和比例，并且基于累加结果将图像10的类型识别为自然图像或图形图像。例如，处理器120可以基于累加结果计算至少三种特征。
如果索引信息之中的特定索引信息是指示模式未被识别出(或未示出方向性)的图像块的信息，则处理器120可以根据累加结果计算索引信息的比例。在下文中，模式未被识别出的图像块通常被称为包括平坦区域的图像块。可以基于下面的等式3来计算包括平坦区域的图像块在全部图像块之中的比例。
【等式3】
Figure BDA0002379876900000231
这里，Histogram[i]表示基于累加结果所识别的具有索引信息“i”的图像块的数目。另外，基于指示包括平坦区域的图像块的索引信息为32的假设，Histogram[32]表示具有索引信息32的图像块的数目，并且P1表示包括平坦区域的图像块在全部图像块之中的比例。
如果图像块包括模式，则处理器120可以基于索引信息来识别该模式是否位于图像块内部的中心区域中。作为示例，与索引信息为1至12和17至31的图像块相比，索引信息为13至16的图像块的模式可以位于块内部的中心区域中。在下文中，图像模式位于图像块内部的中心区域中的图像块通常被称为中心分布图像块。然后，处理器120可以基于累加结果并基于下面的等式4来计算中心分布图像块的比例。
【等式4】
Figure BDA0002379876900000232
这里，处理器120可以计算具有索引信息1到31
Figure BDA0002379876900000241
的图像块的数目以识别包括模式的图像块的数目(排除包括平坦区域的图像块)。此外，处理器120可以计算中心分布图像块的数目
Figure BDA0002379876900000242
同时，具有索引信息13至15的图像块仅是模式位于图像块内部的中心区域中的情况的示例，并且本公开不必限于此。作为另一示例，可以基于索引信息11至17的数目来计算P2。
然后，处理器120可以基于包括在图像10中的多个图像块中的每一个的索引信息来获取图像10的平均索引信息。根据本公开的实施例，处理器120可以基于下面的等式5来计算平均索引信息。
【等式5】
Figure BDA0002379876900000243
这里，“i”表示索引信息，Histogram[i]表示与索引信息i相对应的图像块的数目，并且P3表示平均索引信息。
根据本公开的实施例的处理器120可以基于下面的等式6来计算“Y”值。
【等式6】
Y＝W1*P1+W2*P2+W3*P3+Bias
这里，P1表示包括平坦区域的图像块的比例，P2表示中心分布的图像块的比例，并且P3表示平均索引信息。此外，W1、W2、W3和Bias表示通过使用人工智能算法模型预先学习的参数。
如果Y值超过0，则根据本公开的实施例的处理器120可以将图像10识别为图形图像，并且如果‘Y’值等于或小于0，则处理器120可以将图像10识别为自然图像。
然后，处理器120可以基于识别结果来调整分别与第一图像和第二图像相对应的第一权重和第二权重。作为示例，如果图像10被识别为自然图像，则处理器120可以增加与第一图像相对应的第一权重或与第二图像相对应的第二权重中的至少一个。此外，处理器120可以增加等式1和等式2中的参数‘a’或‘b’中的至少一个。同时，如果图像10是自然图像，则由于边缘已被改善的第一图像或者纹理已被改善的第二图像被添加到图像10或输入图像10’，处理器120可以获取清晰度已被改善的高分辨率图像，并且因此处理器120可以增加第一权重或第二权重中的至少一个。
作为另一示例，如果图像10被识别为图形图像，则处理器120可以减小与第一图像相对应的第一权重或与第二图像相对应的第二权重中的至少一个。此外，处理器120可以减小等式1和等式2中的参数‘a’或‘b’中的至少一个。同时，如果图像10是图形图像，则处理器120可以获取发生了失真的图像，因为边缘已被增强的第一图像或者纹理已被增强的第二图像被添加到图像10或输入图像1’中，并且因此处理器120可以减小第一权重或第二权重中的至少一个，从而使失真的发生最小化。
这里，图形图像可以是操纵现实世界的图像的图像或通过使用计算机、成像装置等新创建的图像。例如，图形图像可以包括图示的图像、计算机图形(CG)图像、使用已知软件生成的动画图像等。自然图像可以是除图形图像以外的其余图像。例如，自然图像可以包括由拍摄装置拍摄的现实世界的图像、风景图像、肖像图像等。
图10是示出根据本公开的实施例的获取最终输出图像的方法的示图。
根据本公开的实施例，在最终输出图像30’(即，显示的图像)是分辨率大于输出图像30的分辨率的图像的情况下，处理器120在操作S350处可以对输出图像30进行升频并获取最终输出图像30’。例如，如果输出图像30是4K的UHD图像，并且最终输出图像是8K的图像，则处理器120可以将输出图像30升频到8K的UHD图像，并且获取最终输出图像30’。同时，根据本公开的另一实施例，可以在图像处理装置100中提供执行对输出图像30进行升频的单独处理器。例如，图像处理装置100可以包括第一处理器和第二处理器，并且通过使用第一处理器来获取边缘和纹理已被增强的输出图像30，并且通过使用第二处理器来获取扩大了输出图像30的分辨率的高分辨率的最终输出图像30’。
同时，根据本公开的各种实施例的第一和第二学习网络模型中的每一个可以是设备上机器学习模型，其中图像处理装置100自己执行学习，而不依赖于外部装置。同时，这仅是示例，并且可以以基于设备上的操作的形式来实现一些学习网络模型，并且可以以基于外部服务器的操作的形式来实现其他学习网络模型。
图11是示出在图2中所示的图像处理装置的详细配置的框图。
根据图11，图像处理装置100包括存储器110、处理器120、输入器130、显示器140、输出器150和用户接口160。同时，在说明图11所示的组件时，将省略与图2所示的组件类似的组件的冗余说明。
根据本公开的实施例，存储器110可以被实现为存储根据本公开的各种操作所生成的数据的单个存储器。
存储器110可以被实现为包括第一至第三存储器。
第一存储器可以存储通过输入器130输入的图像的至少一部分。特别地，第一存储器可以存储输入图像帧的至少一些区域。在该配置中，根据本公开的实施例，至少一些区域可以是执行图像处理所必需的区域。同时，根据本公开的实施例，第一存储器可以被实现为N行存储器。例如，N行存储器可以是在水平方向上具有多达17行容量的存储器，但是不限于此。例如，在输入1080p的全HD图像(1920像素的分辨率)的情况下，仅全HD图像中的17行的图像区域被存储在第一存储器中。如上所述的第一存储器被实现为N行存储器并且仅存储输入图像帧的一些区域以用于图像处理的原因是，第一存储器的存储容量根据硬件方面的限制而受到约束。同时，第二存储器可以是在存储器110的整个区域之中分配给学习网络模型的存储器区域。
第三存储器是存储第一和第二图像以及输出图像的存储器，并且根据本公开的各种实施例，第三存储器可以被实现为各种大小的存储器。根据本公开的实施例，处理器120将通过对输入图像10’进行降频而得到的图像10施加于第一和第二学习网络模型，并且因此存储从第一和第二学习网络模型获取的第一和第二图像的第三存储器的大小可以被实现为与第一存储器的大小相同或类似。
输入器130可以是接收各种类型的内容(例如，来自图像源的图像信号)的通信接口，例如有线以太网接口或无线通信接口。例如，输入器130可以通过各种通信方法，经由如互联网之类的一个或多个网络从外部装置(例如源装置)、外部存储介质(例如USB)、外部服务器(例如Webhard)等通过流传输或下载方法接收图像信号，所述通信方法例如是基于AP的Wi-Fi(无线LAN网络)、蓝牙、Zigbee、有线/无线局域网(LAN)、WAN、以太网、LTE、第五代(5G)、IEEE1394、高清多媒体接口(HDMI)、移动高清链路(MHL)、通用串行总线(USB)、显示端口(DP)、Thunderbolt、视频图形阵列(VGA)端口、RGB端口、D超微型(D-SUB)、数字视频接口(DVI)等。特别地，5G通信系统是使用超高频(mmWave)段(例如，诸如26、28、38和60GHz频段的毫米波频段)的通信，并且图像处理装置100可以在流环境中发送或接收4K和8K的UHD图像。
这里，图像信号可以是数字信号，但是图像信号不限于此。
显示器140可以以各种形式实现，诸如液晶显示器(LCD)、有机发光二极管(OLED)、发光二极管(ED)、微型LED、量子点发光二极管(QLED)、硅上液晶(LCoS)、数字光处理(DLP)和量子点(QD)显示面板。特别地，根据本公开的实施例的处理器120可以控制显示器140显示输出图像30或最终输出图像30’。这里，最终输出图像30’可以包括4K或8K的实时UHD图像、流式图像等。
输出器150输出声信号。
例如，输出器150可以将在处理器120处处理的数字声信号转换成模拟声信号并放大信号，并且输出信号。例如，输出器150可以包括可以输出至少一个声道的至少一个扬声器单元、D/A转换器、音频放大器等。根据本公开的实施例，输出器150可以被实现为输出各种多通道声信号。在这种情况下，处理器120可以控制输出器150对输入的声信号执行增强处理以对应于输入图像的增强处理，并且输出信号。例如，处理器120可以将输入的两通道声信号转换成虚拟通道(例如5.1通道)声信号，或者识别图像处理装置100被放置在房间或建筑物的环境内的位置并将信号处理为针对空间优化的立体声信号，或提供根据输入图像的类型(例如，内容的流派)优化的声信号。同时，用户接口160可以被实现为诸如按钮、触摸板、鼠标和键盘之类的装置，或者被实现为能够接收用户输入以执行上述显示功能和操纵输入功能的触摸屏、遥控接收器等。遥控收发器可以通过红外通信、蓝牙通信或Wi-Fi通信之中的至少一种通信方法从外部遥控装置接收遥控信号或向外部遥控装置发送遥控信号。同时，尽管在图9中未示出，但是根据本公开的实施例，可以在图像处理之前应用移除输入图像的噪声的自由滤波。例如，可以通过应用平滑滤波器(例如高斯滤波器)、通过将输入图像与预定引导进行比较以对输入图像进行滤波的引导滤波器来移除显著噪声。
图12是示出根据本公开的实施例的用于学习和使用学习网络模型的图像处理装置的配置的框图。
参考图12，处理器1200可以包括学习部1210或识别部1220中的至少一个。图12中的处理器1200可以与图2中的图像处理装置100的处理器120或数据学习服务器的处理器相对应。
用于学习和使用第一和第二学习网络模型的图像处理装置100的处理器1200可以包括学习部1210或识别部1220中的至少一个。
根据本公开的实施例的学习部1210可以获取图像10的图像特征已被加强的图像，并且基于图像10和图像10的图像特征已被增强的图像来获取输出图像。然后，学习部1210可以生成或训练具有用于最小化图像10的失真并获取与图像10相对应的高分辨率的升频图像的标准的识别模型。此外，学习部1210可以通过使用收集的学习数据来生成具有确定标准的识别模型。
作为示例，学习部1210可以生成、训练或更新学习网络模型，使得输出图像30的边缘区域或纹理区域中的至少一个比输入图像10’的边缘区域或纹理区域增强更多。
识别部1220可以使用预定数据(例如，输入图像)作为训练的识别模型的输入数据，从而估计用于识别的对象或包括在预定数据中的情况。
学习部1210的至少一部分和识别部1220的至少一部分可以被实现为软件模块或被制造为至少一个硬件芯片的形式，并且被安装在图像处理装置上。例如，学习部1210或识别部1220中的至少一个可以被制造为用于人工智能(AI)的专用硬件芯片的形式或作为常规通用处理器(例如：CPU或应用处理器)或图形专用处理器(例如：GPU)的一部分，并且被安装在上述各种类型的图像处理装置或对象识别装置上。这里，用于人工智能的专用硬件芯片是专用于概率操作的专用处理器，并且在并行处理中具有比常规通用处理器更高的性能，并且能够在诸如机器学习的人工智能领域中快速处理操作。在学习部1210和识别部1220被实现为一个或多个软件模块(或者包括指令的程序模块)的情况下，软件模块可以存储在非暂时性计算机可读介质中。在这种情况下，软件模块可以由操作系统(OS)或特定应用提供。备选地，软件模块的一部分可以由操作系统(OS)提供，并且其他部分可以由特定应用提供。
在这种情况下，学习部1210和识别部1220可以被安装在一个图像处理装置中，或可以被分别安装在单独的图像处理装置中。例如，学习部1210和识别部1220中的一个可以被包括在图像处理装置中，而另一个可以被包括在外部服务器中。此外，学习部1210和识别部1220可以通过有线或无线方式连接，或者可以是较大软件模块或应用的单独的软件模块。由学习部1210构造的模型信息可以被提供给识别部1220，并且输入到识别部1220的数据可以作为附加学习数据被提供给学习部1210。
图13是示出根据本公开的实施例的图像处理方法的流程图。
根据图13所示的图像处理方法，首先，在操作S1310处将图像施加于第一学习网络模型，并且获取图像的边缘被增强的第一图像。
然后，在操作S1320处将图像施加于第二学习网络模型，并且获取图像的纹理被增强的第二图像。
接下来，在操作S1330处，识别包括在图像中的边缘区域和纹理区域，基于关于边缘区域和纹理区域的信息将第一权重应用于第一图像并将第二权重应用于第二图像，并且获取输出图像。
这里，第一学习网络模型和第二学习网络模型可以是彼此不同类型的学习网络模型。
根据本公开的实施例的第一学习网络模型可以是以下模型中的一种：通过使用多个层来学习以增强图像的边缘的深度学习模型、或被训练为通过使用多个预先学习的滤波器来增强图像的边缘的机器学习模型。
根据本公开的实施例的第一学习网络模型可以是以下模型中的一种：通过使用多个层来学习以优化图像的纹理的深度学习模型、或被训练为通过使用多个预先学习的滤波器来优化图像的纹理的机器学习模型。
此外，获取输出图像的操作S1330可以包括以下步骤：基于边缘区域和纹理区域的比例信息，获取与边缘区域相对应的第一权重和与纹理区域相对应的第二权重。
另外，根据本公开的实施例的图像处理方法可以包括以下步骤：对输入图像进行降频并且获取分辨率小于输入图像的分辨率的图像。同时，第一学习网络模型可以通过执行加强图像的边缘的升频操作来获取第一图像，并且第二学习网络模型可以通过执行加强图像的纹理的升频操作来获取第二图像。
此外，根据本公开的实施例的图像处理方法可以包括以下步骤：获取已经基于降频的图像识别出边缘区域和纹理区域的区域检测信息，并且将区域检测信息和图像分别提供给第一和第二学习网络模型。
这里，将区域检测信息和图像分别提供给第一和第二学习网络模型的步骤可以包括以下步骤：基于区域检测将仅包括与边缘区域相对应的像素信息在内的图像提供给第一学习网络模型，并且将仅包括与纹理区域相对应的像素信息在内的图像提供给第二学习网络模型。同时，第一学习网络模型可以通过对边缘区域进行升频来获取第一图像，并且第二学习网络模型可以通过对纹理区域进行升频来获取第二图像。
另外，根据本公开的实施例的第一图像和第二图像可以分别是第一残差图像和第二残差图像。此外，在获取输出图像的操作S1330中，可以将第一权重应用于第一残差图像，并且可以将第二权重应用于第二残差图像，然后可以将残差图像与图像混合以获取输出图像。
此外，第二学习网络模型可以是以下模型，该模型存储与多个图像模式中的每一个相对应的多个滤波器，将图像中包括的每个图像块分类为多个图像模式之一，并且将多个滤波器之中与分类的图像模式相对应的至少一个滤波器应用于图像块，并提供第二图像。
另外，根据本公开的实施例的获取输出图像的操作S1330可以包括以下步骤：对与分类的每个图像块相对应的图像模式的索引信息进行累加，基于累加结果将图像的类型识别为例如自然图像或图形图像之一，并且基于识别结果调整权重。
这里，调整权重的步骤可以包括以下步骤：基于图像被识别为自然图像，增加与第一图像相对应的第一权重或与第二图像相对应的第二权重中的至少一个，并且基于图像被识别为图形图像，减小第一权重或第二权重中的至少一个。
输出图像可以是4K的超高清(UHD)图像，并且根据本公开的实施例的图像处理方法可以包括将输出图像升频到8K的UHD图像的步骤。
同时，本公开的各种实施例可以应用于能够执行图像处理的所有电子装置(诸如机顶盒之类的图像接收装置和图像处理装置等)，以及图像处理装置。
此外，到目前为止所描述的各种实施例可以实现在可以由计算机或类似于计算机的装置通过使用软件、硬件或其组合读取的记录介质中。在一些情况下，本说明书中描述的实施例可以被实现为处理器120自身。根据通过软件的实施方式，诸如本说明书中描述的处理和功能的实施例可以被实现为独立软件模块。每个软件模块可以执行本说明书中描述的一个或多个功能和操作。
同时，可以将根据本公开的上述各种实施例的用于执行图像处理装置100的处理操作的计算机指令存储在非暂时性计算机可读介质中。当由特定装置的处理器执行存储在这样的非暂时性计算机可读介质中的计算机可读指令时，由上述特定装置执行根据前述各种实施例的图像处理装置100处的处理操作。
非暂时性计算机可读介质是指半永久性地存储数据并且可由机器读取的介质，而不是指短暂存储数据的介质(例如寄存器、高速缓存和内存)。作为非暂时性计算机可读介质的特定示例，可以存在CD、DVD、硬盘、蓝光盘、USB、存储卡、ROM等。
尽管已经图示说明和描述了本公开的实施例，但是本公开不限于前述的特定实施例，并且显而易见的是，在不背离如所附权利要求所要求保护的本公开的主旨的情况下，本公开所属的技术领域的普通技术人员可以做出各种修改。此外，意图是这样的修改不应被解释为独立于本公开的技术思想或前景。

Claims (15)

1.一种图像处理装置，包括：
存储器，存储计算机可读指令；以及
处理器，被配置为执行所述计算机可读指令以便：
将输入图像作为第一输入施加于第一学习网络模型，
从所述第一学习网络模型获取包括基于所述输入图像的边缘而被优化的增强边缘在内的第一图像，
将所述输入图像作为第二输入施加于第二学习网络模型，
从所述第二学习网络模型获取包括基于所述输入图像的纹理而被优化的增强纹理在内的第二图像，
识别所述输入图像中所包括的边缘的边缘区域，
识别所述输入图像中所包括的纹理的纹理区域，
基于所述边缘区域将第一权重应用于所述第一图像，
基于所述纹理区域将第二权重应用于所述第二图像，
基于应用于所述第一图像的第一权重和应用于所述第二图像的第二权重，获取从所述输入图像优化的输出图像。
2.根据权利要求1所述的图像处理装置，其中，所述第一学习网络模型的第一类型不同于所述第二学习网络模型的第二类型。
3.根据权利要求1所述的图像处理装置，其中，所述第一学习网络模型是以下模型中的一种：用于通过使用多个层来优化所述输入图像的边缘的深度学习模型、或被训练为通过使用多个预先学习的滤波器来优化所述输入图像的边缘的机器学习模型。
4.根据权利要求1所述的图像处理装置，其中，所述第二学习网络模型是以下模型中的一种：用于通过使用多个层来优化所述输入图像的纹理的深度学习模型、或通过使用多个预先学习的滤波器来优化所述输入图像的纹理的机器学习模型。
5.根据权利要求1所述的图像处理装置，其中，执行所述计算机可读指令的处理器还被配置为：
基于所述输入图像中的边缘区域和所述输入图像中的纹理区域的比例信息来获取所述第一权重和所述第二权重。
6.根据权利要求1所述的图像处理装置，其中，执行所述计算机可读指令的处理器还被配置为：
对所述输入图像进行降频以获取分辨率小于所述输入图像的分辨率的降频图像，
将所述降频图像作为所述第一输入施加于所述第一学习网络模型，
从所述第一学习网络模型获取具有增强边缘的第一图像，所述第一学习网络模型将所述降频图像进行升频，
将所述降频图像作为所述第二输入施加于所述第二学习网络模型，以及
从所述第二学习网络模型获取具有增强纹理的第二图像，所述第二学习网络模型将所述降频图像进行升频。
7.根据权利要求1所述的图像处理装置，其中，执行所述计算机可读指令的处理器还被配置为：
获取识别所述输入图像的边缘区域的第一区域检测信息和识别所述输入图像的纹理区域的第二区域检测信息，
将所述输入图像和所述第一区域检测信息作为所述第一输入施加于所述第一学习网络模型，以及
将所述输入图像和所述第二区域检测信息作为所述第二输入施加于所述第二学习网络模型。
8.根据权利要求7所述的图像处理装置，其中，所述第一学习网络模型通过对所述边缘区域进行升频来获取所述第一图像，并且
所述第二学习网络模型通过对所述纹理区域进行升频来获取所述第二图像。
9.根据权利要求1所述的图像处理装置，其中，所述第二学习网络模型是如下模型，所述模型存储与多个图像模式相对应的多个滤波器，将所述输入图像中包括的图像块中的每个图像块分类为所述多个图像模式中的图像模式，并且将所述多个滤波器之中与图像模式相对应的至少一个滤波器应用于图像块。
10.根据权利要求1所述的图像处理装置，其中，所述第一图像是第一残差图像，并且所述第二图像是第二残差图像，以及
其中，执行所述计算机可读指令的处理器还被配置为：
基于所述边缘区域将所述第一权重应用于所述第一残差图像，
基于所述纹理区域将所述第二权重应用于所述第二残差图像，以及
将所述第一残差图像、所述第二残差图像和所述输入图像进行混合以获取所述输出图像。
11.根据权利要求10所述的图像处理装置，其中，执行所述计算机可读指令的处理器还被配置为：
对与所述输入图像的每个图像块相对应的图像模式的索引信息进行累加，
基于所述索引信息将所述输入图像识别为自然图像或图形图像之一，以及
基于将所述输入图像识别为所述自然图像或所述图形图像之一的结果，调整所述第一权重和所述第二权重。
12.根据权利要求11所述的图像处理装置，其中，执行所述计算机可读指令的处理器还被配置为：
基于所述输入图像被识别为所述自然图像，增加所述第一权重或所述第二权重中的至少一个，以及
基于所述输入图像被识别为所述图形图像，减小所述第一权重或所述第二权重中的至少一个。
13.一种图像处理装置的图像处理方法，包括：
将输入图像作为第一输入施加于第一学习网络模型；
从所述第一学习网络模型获取包括基于所述输入图像的边缘而被优化的增强边缘在内的第一图像；
将所述输入图像作为第二输入施加于第二学习网络模型；
从所述第二学习网络模型获取包括基于所述输入图像的纹理而被优化的增强纹理在内的第二图像；
识别所述输入图像中所包括的边缘的边缘区域；
识别所述输入图像中所包括的纹理的纹理区域；
基于所述边缘区域将第一权重应用于所述第一图像；
基于所述纹理区域将第二权重应用于所述第二图像；以及
基于应用于所述第一图像的第一权重和应用于所述第二图像的第二权重，获取从所述输入图像优化的输出图像。
14.根据权利要求13所述的图像处理方法，其中，所述第一学习网络模型是以下模型中的一种：用于通过使用多个层来优化所述输入图像的边缘的深度学习模型、或被训练为通过使用多个预先学习的滤波器来优化所述输入图像的边缘的机器学习模型。
15.根据权利要求13所述的图像处理方法，其中，所述第二学习网络模型是以下模型中的一种：用于通过使用多个层来优化所述输入图像的纹理的深度学习模型、或被训练为通过使用多个预先学习的滤波器来优化所述输入图像的纹理的机器学习模型。
CN202010080412.6A 2019-05-22 2020-02-04 图像处理装置及其图像处理方法 Pending CN111986069A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2019-0060240 2019-05-22
KR20190060240 2019-05-22
KR1020190080346A KR102410907B1 (ko) 2019-05-22 2019-07-03 영상 처리 장치 및 그 영상 처리 방법
KR10-2019-0080346 2019-07-03

Publications (1)

Publication Number Publication Date
CN111986069A true CN111986069A (zh) 2020-11-24

Family

ID=70049927

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010080412.6A Pending CN111986069A (zh) 2019-05-22 2020-02-04 图像处理装置及其图像处理方法

Country Status (5)

Country Link
US (3) US11295412B2 (zh)
EP (1) EP3742390A1 (zh)
KR (1) KR102616700B1 (zh)
CN (1) CN111986069A (zh)
WO (1) WO2020235860A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113096014A (zh) * 2021-03-31 2021-07-09 咪咕视讯科技有限公司 视频超分处理方法、电子设备及存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI692939B (zh) * 2018-08-14 2020-05-01 鈺創科技股份有限公司 過濾訊號的數位濾波器
US11126895B2 (en) * 2019-05-22 2021-09-21 Lawrence Livermore National Security, Llc Mimicking of corruption in images
CN110727633A (zh) * 2019-09-17 2020-01-24 广东高云半导体科技股份有限公司 基于SoC FPGA的边缘人工智能计算系统构架
JP2021168436A (ja) * 2020-04-09 2021-10-21 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
US11354781B2 (en) * 2020-07-20 2022-06-07 Samsung Electronics Co., Ltd. Single-image detail and contrast enhancement
CN116228777B (zh) * 2023-05-10 2023-07-21 鱼台汇金新型建材有限公司 一种混凝土搅拌均匀度检测方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3184092B2 (ja) * 1996-05-27 2001-07-09 シャープ株式会社 画像処理方法
CA2462598A1 (en) * 2001-10-01 2003-04-10 Bioimage A/S A method of detecting intracellular protein-protein interactions using three heterologous conjugates
US7187811B2 (en) * 2003-03-18 2007-03-06 Advanced & Wise Technology Corp. Method for image resolution enhancement
JP4046079B2 (ja) 2003-12-10 2008-02-13 ソニー株式会社 画像処理装置
JP4676513B2 (ja) 2008-06-05 2011-04-27 日本電信電話株式会社 符号化ピクチャタイプ決定方法，装置，そのプログラムおよびその記録媒体
CN102750695B (zh) 2012-06-04 2015-04-15 清华大学 一种基于机器学习的立体图像质量客观评价方法
US9280804B2 (en) 2012-11-16 2016-03-08 Google Inc. Rotation of an image based on image content to correct image orientation
CN105530423B (zh) 2014-09-30 2018-09-04 北京智谷技术服务有限公司 超分辨率图像的获取方法和获取装置
CN105931179B (zh) 2016-04-08 2018-10-26 武汉大学 一种联合稀疏表示与深度学习的图像超分辨率方法及系统
KR101795271B1 (ko) 2016-06-10 2017-11-07 현대자동차주식회사 영상의 선명화를 위한 전처리를 수행하는 영상 처리 장치 및 방법
WO2018042388A1 (en) * 2016-09-02 2018-03-08 Artomatix Ltd. Systems and methods for providing convolutional neural network based image synthesis using stable and controllable parametric models, a multiscale synthesis framework and novel network architectures
US11024009B2 (en) 2016-09-15 2021-06-01 Twitter, Inc. Super resolution using a generative adversarial network
WO2018102700A1 (en) * 2016-12-01 2018-06-07 Pinscreen, Inc. Photorealistic facial texture inference using deep neural networks
KR20180097342A (ko) 2017-02-23 2018-08-31 한국전자통신연구원 영상 아티팩트를 최소화하는 초해상도 영상 선명화 방법 및 장치
US10489887B2 (en) 2017-04-10 2019-11-26 Samsung Electronics Co., Ltd. System and method for deep learning image super resolution
US10929749B2 (en) 2017-04-24 2021-02-23 Intel Corporation Neural network optimization mechanism
KR102394832B1 (ko) 2017-07-11 2022-05-06 현대자동차주식회사 커넥티비티 통합관리 방법 및 커넥티드 카
KR101882704B1 (ko) 2017-12-18 2018-07-27 삼성전자주식회사 전자 장치 및 그 제어 방법
CN108596841B (zh) 2018-04-08 2021-01-19 西安交通大学 一种并行实现图像超分辨率及去模糊的方法
US10885608B2 (en) * 2018-06-06 2021-01-05 Adobe Inc. Super-resolution with reference images
CN109345485B (zh) * 2018-10-22 2021-04-16 北京达佳互联信息技术有限公司 一种图像增强方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113096014A (zh) * 2021-03-31 2021-07-09 咪咕视讯科技有限公司 视频超分处理方法、电子设备及存储介质
CN113096014B (zh) * 2021-03-31 2023-12-08 咪咕视讯科技有限公司 视频超分处理方法、电子设备及存储介质

Also Published As

Publication number Publication date
KR102616700B1 (ko) 2023-12-27
US11295412B2 (en) 2022-04-05
KR20220088397A (ko) 2022-06-27
US20240078631A1 (en) 2024-03-07
EP3742390A1 (en) 2020-11-25
US20200372608A1 (en) 2020-11-26
WO2020235860A1 (en) 2020-11-26
US20220076375A1 (en) 2022-03-10
US11836890B2 (en) 2023-12-05

Similar Documents

Publication Publication Date Title
TWI768323B (zh) 影像處理裝置以及其影像處理方法
US11295412B2 (en) Image processing apparatus and image processing method thereof
KR20200079697A (ko) 영상 처리 장치 및 그 영상 처리 방법
US11861809B2 (en) Electronic apparatus and image processing method thereof
CN109934792B (zh) 电子装置及其控制方法
US11315222B2 (en) Image processing apparatus and image processing method thereof
JP6978542B2 (ja) 電子装置及びその制御方法
CN112887728A (zh) 电子装置、电子装置的控制方法以及系统
KR102661879B1 (ko) 영상 처리 장치 및 그 영상 처리 방법
US11074671B2 (en) Electronic apparatus and control method thereof
KR20210066653A (ko) 전자 장치 및 그 제어 방법
KR102246110B1 (ko) 영상 처리 장치 및 그 영상 처리 방법
CN114444650A (zh) 改进量化的多级对象检测网络的准确度的方法
US11436442B2 (en) Electronic apparatus and control method thereof
CN111814818B (zh) 显示设备及其图像处理方法
KR20210108027A (ko) 전자 장치 및 그 제어 방법
US11778240B2 (en) Banding artifact detection in images and videos
WO2024110799A1 (ko) 전자 장치 및 그 제어 방법
KR20240077363A (ko) 전자 장치 및 그 제어 방법
KR20230164980A (ko) 전자 장치 및 그 영상 처리 방법
CN117788967A (zh) 特征表示模型的训练方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination