CN111742558B - 电子设备、图像处理方法和计算机可读记录介质 - Google Patents

电子设备、图像处理方法和计算机可读记录介质 Download PDF

Info

Publication number
CN111742558B
CN111742558B CN201980014360.8A CN201980014360A CN111742558B CN 111742558 B CN111742558 B CN 111742558B CN 201980014360 A CN201980014360 A CN 201980014360A CN 111742558 B CN111742558 B CN 111742558B
Authority
CN
China
Prior art keywords
pixel
pixels
original
image
gaussian function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980014360.8A
Other languages
English (en)
Other versions
CN111742558A (zh
Inventor
朴在演
安一埈
朴镕燮
李泰美
千岷洙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111742558A publication Critical patent/CN111742558A/zh
Application granted granted Critical
Publication of CN111742558B publication Critical patent/CN111742558B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

公开了一种电子设备。该电子设备包括：存储器，其中存储经学习的人工智能模型；以及处理器，用于将输入图像输入到人工智能模型并输出具有增加的分辨率的放大图像，其中，经学习的人工智能模型包括放大模块，用于根据相对于放大图像中的原始像素具有非线性减小的对称形式的函数来获取周围的内插像素的像素值，原始像素对应于输入图像的像素。

Description

电子设备、图像处理方法和计算机可读记录介质
技术领域
本公开涉及电子设备、图像处理方法和计算机可读记录介质，并且更具体地，涉及用于生成高质量图像(或高清晰度图像)的电子设备、图像处理方法和计算机可读记录介质。
背景技术
机器学习是人工智能的一个领域，它是学习和构建一个系统的技术以及用于该技术的算法，该系统收集和分析大规模的大数据，以预测未来并提高其自身的性能。
近来，由于硬件技术的发展，可以收集和存储大数据，并且随着用于分析大数据的计算能力和技术已经变得复杂和快速，已经积极地进行了对机器学习的研究，机器学习是能够识别对象和理解诸如人类的信息的算法。特别地，在机器学习技术领域中，使用神经网络的自学习型深度学习已经被积极地研究。
神经网络是基于主动模拟人脑的功能的意图通过将活动函数与通过将多个输入乘以权重而获得的和的特定边界值进行比较来确定最终输出的算法，神经网络包括多个层。其典型的例子包括通常用于图像识别的卷积神经网络(CNN)和通常用于语音识别的递归神经网络(RNN)。
已经积极地进行了使用这种深度学习网络来提高图像质量以提高分辨率的研究。然而，现有的图像质量改善方法存在的问题是，当分辨率增加时，几行以马赛克格式出现或在边缘处出现的伪像。
因此，出现了对提高图像分辨率同时减少伪像的技术的需求。
发明内容
技术问题
本公开提供了一种电子设备、一种图像处理方法和一种计算机可读的记录介质，用于使用双边对称且非线性减小的函数形式的放大滤波器来生成高质量图像。
技术方案
根据本公开的实施例，一种电子设备包括：存储器，存储经学习的人工智能模型；和处理器，被配置为将输入图像输入到人工智能模型并且输出具有增加的分辨率的放大图像，其中，经学习的人工智能模型包括放大模块，放大模块被配置为基于形式为相对于原始像素双向对称且非线性减小的函数来获取放大图像中的、与输入图像的像素相对应的原始像素附近的内插像素的像素值。
在这种情况下，放大模块可以基于多个原始像素值中的每一个的比率获取多个原始像素附近的内插像素的像素值，其中，多个原始像素值中的每一个的比率是根据多个原始像素与内插像素之间的、在基于多个原始像素中的每一者的多个函数上的距离识别出的。
在这种情况下，放大图像中的多个原始像素可以对应于输入图像的一个像素、基于所述一个像素的与所述一个像素相邻的多个像素中的至少一个像素、以及对应于与所述一个像素间隔开但与所述多个像素相邻的多个像素中的至少一个像素。
在这种情况下，函数的方差可以是基于用于放大因子的双线性内插的线性函数而获得的。
在这种情况下，函数的方差σd可以通过获得，其中s是放大因子，d是接触点的x坐标，并且t(s)是通过在函数的x截点之间的距离上加1而获得的值。
在这种情况下，函数(f(x)；s))可以是并且σd(s)-s*0.1≤σ(s)≤σd(s)+s*0.1。
同时，放大模块还可以包括卷积滤波器，卷积滤波器被配置为获取输入图像的特征，其中，处理器可以使用通过卷积滤波器获取的输入图像的特征来获取放大图像。
根据本公开的另一实施例，一种图像处理方法包括：接收输入图像；和将输入图像输入到经学习的人工智能模型中，并输出分辨率提高的放大图像；其中，经学习的人工智能模型包括放大模块，放大模块被配置为基于形式为相对于放大图像中的、与输入图像的像素相对应的原始像素双向对称且非线性减小的函数来获取原始像素附近的内插像素的像素值。
在这种情况下，放大模块可以基于多个原始像素值中的每一个的比率获取多个原始像素附近的内插像素的像素值，其中，多个原始像素值中的每一个的比率是根据多个原始像素与内插像素之间的、在基于多个原始像素中的每一者的多个函数上的距离识别出的。
在这种情况下，放大图像中的多个原始像素可以对应于输入图像的一个像素、基于所述一个像素的与所述一个像素相邻的多个像素中的至少一个像素、以及对应于与所述一个像素间隔开但与所述多个像素相邻的多个像素中的至少一个像素。
在这种情况下，函数的方差可以是基于用于放大因子的双线性内插的线性函数而获得的。
在这种情况下，函数的方差σd可以通过获得，其中s是放大因子，d是接触点的x坐标，并且t(s)是通过在函数的x截点之间的距离上加1而获得的值。
在这种情况下，函数(f(x)；s))可以是并且σd(s)-s*0.1≤σ(s)≤σd(s)+s*0.1。
同时，放大模块还可以包括卷积滤波器，卷积滤波器被配置为获取输入图像的特征，其中，处理器可以使用通过卷积滤波器获取的输入图像的特征来获取放大图像。
根据本公开的另一实施例，一种包括用于执行图像处理方法的程序的计算机可读的记录介质，其中图像处理方法包括：接收输入图像；和将输入图像输入到经学习的人工智能模型中，并输出分辨率提高的放大图像；其中，经学习的人工智能模型包括放大模块，放大模块被配置为基于形式为相对于放大图像中的、与输入图像的像素相对应的原始像素双向对称且非线性减小的函数来获取原始像素附近的内插像素的像素值。
附图说明
图1是示意性地示出根据本公开的实施例的电子设备的图像处理过程的视图；
图2是示出根据本公开的实施例的电子设备的简单配置的框图；
图3是示出图2中所公开的电子设备的具体配置的框图；
图4是示出用于提高图像分辨率的图像处理方法的图；
图5是说明现有技术的图像处理方法中的内插方法的视图；
图6是示出根据本公开的实施例的图像处理方法中的内插方法的视图；
图7是示出高斯函数的变化范围的视图；
图8和9是说明现有技术与本公开内容之间的差异的视图；
图10是示出根据本公开的实施例的使用输入图像的多个像素的内插方法的视图；
图11是在3D域中示出的图6的内插方法的图；
图12是在3D域中示出的图10的内插方法的图；
图13是示意性地示出根据本公开的实施例的图像处理方法的流程图；和
图14是对根据现有技术和根据本公开实施例的图像处理方法获得的放大图像进行比较的视图。
具体实施方式
在本公开的各种示例性实施例的描述中使用的术语被简要地描述，然后将更详细地描述本公开的各种示例性实施例。
在本公开的示例性实施例中使用的术语是现在广泛使用并且考虑本公开的功能而选择的一般术语。然而，这些术语可以根据本领域技术人员的意图、先例或新技术的出现而变化。此外，在特定情况下，可以任意选择该术语。在这种情况下，将在相应的描述中解释该术语的含义。因此，本公开中使用的术语可以基于术语的含义和本公开中描述的内容定义，而不是简单地基于术语的名称来定义。
参考附图描述本公开的各种实施例。然而，应当了解，本公开不限于特定实施例，且其所有修改、等同和/或替代方案也属于本公开的范围。为了避免使本公开的主题模糊，可以省略对在此并入的公知的功能和结构的描述。
在本公开中，包括诸如“第一”、“第二”等序数词的术语可用于描述各种组件，但不应将这些组件解释为限于所述术语。这些术语仅用于将一个组件与其它组件区分开。
如本文所用，单数形式旨在也包括复数形式，除非上下文另外清楚地指示。应当理解，术语“包括”、“包含”、“具有”及其变体表示所述特征、数字、步骤、操作、元件、组件和/或其组合的存在，但不排除一个或多个其它特征、数字、步骤、操作、元件、组件和/或其组合的存在或添加。
在说明书中，词语“模块”或“单元”是指能够执行至少一个功能或操作的软件组件、硬件组件或其组合。多个模块或单元可以集成到至少一个模块中，并且除了需要在特定硬件中实现的那些模块或单元之外的模块或单元可使用至少一个处理器来实现。
在下文中，将参考附图详细描述实施例，使得本领域的技术人员可以容易地实践这些实施例。如本领域的技术人员将认识到的，在不脱离本公开的精神或范围的情况下，可以以各种不同的方式修改所描述的实施例。在附图中，为了清楚起见，将省略与本公开的描述无关的部分。相同的附图标记始终表示相同的元件。
在下文中，将参考附图更详细地描述本公开。
图1是示意性地示出根据本公开的实施例的电子设备的图像处理过程的视图。
参照图1，当输入图像10被输入到电子设备100时，电子设备100可以顺序地执行一系列图像处理过程并输出放大的图像20。在这种情况下，被输入的输入图像10可以是通过处理原始图像获得的低分辨率图像。
这里，电子设备100可以是能够执行人工智能学习的设备。例如，电子设备100可以是台式PC、笔记本计算机、智能电话、平板PC、服务器等。或者，电子设备100可以指其中构建了云计算环境的系统。然而，本公开不限于此，并且电子设备100可以是能够执行人工智能学习的任何设备。
具体地，电子设备100可以包括提取输入图像10的特征的多个层101，以及使用所提取的特征对输入图像10进行放大的放大模块103。
这里，多个层101可以使用由神经网络训练的多个滤波器来提取输入图像10的特征。也就是说，多个层101可以在放大之前执行预处理。
这里，滤波器是具有权重的掩膜，并且被定义为权重矩阵。滤波器也被称为窗口或内核。构成滤波器中的矩阵的权重可以包括0(零值)或可以近似为0的零元素和具有0和1之间的某一值的非零元素，并且可以根据其函数具有各种模式。
例如，当神经网络被实现为用于识别图像的卷积神经网络(CNN)时，电子设备100可以将具有权重的滤波器放置在输入图像10上，并且将通过将图像乘以滤波器的每个权重而获得的值的和(卷积操作)确定为输出图像的像素值，以提取特征图。可以通过多个滤波器将输入图像提取为多个输入图像以提取鲁棒特征，并且可以根据滤波器的数量来提取多个特征图。这种卷积图像可以由多个层重复。这里，要训练的滤波器根据CNN的学习目标而变化，并且所选滤波器的模式变化。换句话说，经训练的过滤器和所选择的过滤器根据CNN的学习目标是猫、狗、猪、牛等而变化。
以此方式，电子设备100可通过组合可从中提取不同特征的多个层101并将多个层的组合应用到CNN来确定输入的原始数据具有何种类型的特征。
电子设备100可以通过将从多个层101提取的输入图像10的特征图输入到放大模块103来输出放大图像。
同时，放大模块103可以可选地进一步包括前面和后面的卷积层102-1和102-2。在这种情况下，放大模块103可以包括卷积层102-1和102-2。在这种情况下，卷积层102-1和102-2可以是卷积层、或卷积层和ReLu层的组合。
此外，电子设备100可以通过将输出的放大图像20和原始图像进行比较来学习多个层101或卷积层102-1和102-2的参数。
同时，放大模块103可以使用函数形式的滤波器来增加图像的分辨率，所述函数是双向对称的并且非线性地减小。例如，放大模块103可以是高斯函数的形式。为了便于下面的描述，本公开中的放大模块被描述为高斯函数，但不限于此。将参考附图描述放大模块103的细节。
图2是说明根据本公开实施例的电子装置的简化配置的框图。
参照图2，电子设备100包括存储器110和处理器120。
存储器110可以实现为各种格式的存储器，例如硬盘驱动器(HDD)、固态驱动器(SSD)、DRAM存储器、SRAM存储器、FRAM存储器或闪存。
具体而言，人工智能模型可以存储在存储器110中。这里，人工智能模型可以经学习而得到。此外，人工智能模型可以包括用于增加输入图像的分辨率的放大模块。
具体地，放大模块是用于获取放大图像中的、与输入图像的像素相对应的原始像素的像素值以及原始像素附近的内插像素的像素值的模块。这里，放大模块可以在处理器120的控制下根据呈双边对称并相对于原始像素非线性减小的形式的函数来获取原始像素附近的内插像素的像素值。例如，放大模块可以是基于原始像素的高斯函数的形式。
处理器120通常控制电子设备100的操作。
根据一个实施例，处理器120可以实现为数字信号处理器(DSP)、微处理器或时间控制器(TCON)。然而，不限于此，处理器120可以包括中央处理单元(CPU)、微控制器单元(MCU)、微处理单元(MPU)、控制器、应用处理器(AP)、通信处理器(CP)或ARM处理器中的至少一个，或者可以由相应的术语来定义。此外，处理器120可以实现为具有内置处理算法的片上系统(SoC)或大规模集成(LSI)，或者可以以现场可编程门阵列(FPGA)的形式实现。
处理器120可以使用存储在存储器110中的人工智能模型中包括的放大模块来输出输入图像的放大图像。具体而言，处理器120可根据双边对称且相对于与存储在存储器110中的输入图像的像素相对应的原始像素非线性减小的函数来获取原始像素附近的内插像素的像素值，并基于所获取的像素值来输出经放大的图像。例如，放大模块可以是基于原始像素的高斯函数的形式。下面将参考图4描述原始像素和内插像素的细节。
具体而言，处理器120所使用的放大模块可基于多个原始像素值的每个像素值的比率来获取多个原始像素附近的内插像素的像素值。也就是说，处理器120使用放大模块来获取一个内插像素的像素值，并且为此，处理器120可以使用内插像素周围的多个原始像素的像素值。同时，处理器120可使用分别对应于输入图像中的多个原始像素的多个像素值，来获取内插像素的像素值。
具体地，处理器120可以根据内插像素和内插像素周围的多个原始像素之间的距离来识别原始像素的像素值的反映比。在这种情况下，多个原始像素可以是放大图像中的、与输入图像的第一像素、第二像素和第三像素相对应的像素，其中第二像素是基于第一像素的与第一像素相邻的多个像素中的至少一个，第三像素是与第一像素隔开但与第二像素相邻的多个像素中的至少一个。
具体地，处理器120可以根据内插像素到原始像素的距离，针对原始像素来识别原始像素的像素值反映到高斯函数上的比率。这里，高斯函数的方差可以基于放大因子来获得。具体地，高斯函数的方差可以基于用于放大因子的双线性内插的线性函数的斜率来获得。下面将参考图6和7详细描述获取高斯函数的方差的过程。
同时，可以根据内插像素和与内插像素相邻的原始像素之外的另一原始像素之间的距离，针对该另一原始像素在高斯函数上识别该另一原始像素的像素值的反映比。
如上所述的像素值反映比也可以应用在原始像素之间。具体地，放大图像中的第一原始像素的像素值将影响相邻的第二原始像素的像素值，并且因此，当获取第二原始像素的像素值时，处理器120可以根据第一原始像素和第二原始像素之间的距离，基于第一原始像素来识别第一原始像素的像素值反映在高斯函数上的比率，并且使用所识别的比率来获取第二原始像素的像素值。
下面将参考图6和9详细描述如上所述的获取放大图像的像素值的方法。
图3是说明图2中所揭示的电子装置的特定配置的框图。
参照图3，电子设备100可以包括存储器110、处理器120、通信单元130、显示器140、按钮150、视频处理器160、音频处理器170、麦克风180、成像单元185和音频输出单元190。
这里，存储器110和处理器120与图1所示的相同，并且省略了冗余描述。
存储器110可以存储电子设备100的操作所需的各种程序和数据。具体地，用于处理输入图像的参数可以存储在存储器110中。这里，可以基于先前输入的低质量图像和与其对应的高质量图像来机器学习所存储的参数。
此外，存储器110可以存储用于缩小输入图像的缩小率。这里，由制造商通过机器学习计算的所存储的缩小率可以在工厂中预先存储，或者可以通过周期性的固件升级来更新。同时，存储器110可以存储用于导出缩小率的算法。
此外，存储器110可以存储要被放大为高质量图像的多个低质量图像。处理器120可以为用户从多个存储的低质量图像中选择的低质量图像生成高质量图像。
此外，存储器110可以存储与图像的劣化程度相对应的缩小率有关的信息。这里，基于劣化程度的缩小率可以以查找表的形式存储。
此外，存储器110可以存储用于放大低质量图像的程序和数据。因此，处理器120可以使用存储在存储器110中的程序和数据从输入的低质量图像生成高质量图像，并且在一些情况下，处理器120可以确定在参数更新处理或放大处理中使用的缩小率。
通信单元130是用于根据各种类型的通信方法执行与各种类型的外部设备的通信的组件。具体地，通信单元130可以从外部设备接收低质量图像，并将由处理器120生成的高质量图像发送到外部设备，例如单独的显示设备。此外，通信单元130还可以接收原始图像，该原始图像是对应于低质量图像的高质量图像。
具体地，通信单元130可以通过诸如天线、电缆或端口的有线方法从外部设备接收图像，或者可以通过诸如Wi-Fi和蓝牙的无线方法接收图像。同时，在实际实现中，电子设备100可以接收用户从存储在电子设备100中提供的存储单元(未示出)中的多个图像中选择的图像，并处理该图像。
当电子设备100能够执行无线通信时，通信单元130可以包括Wi-Fi芯片、蓝牙芯片、无线通信芯片和NFC芯片。具体而言，Wi-Fi芯片和蓝牙芯片分别以Wi-Fi方法和蓝牙方法进行通信。在使用Wi-Fi芯片或蓝牙芯片的情况下，可以首先发送和接收诸如SSID和会话密钥的各种连接信息，并且可以发送和接收各种类型的信息，可以使用各种连接信息建立连接，并且然后可以发送和接收各种信息。无线通信芯片是指根据诸如IEEE、Zigbee、第三代(3G)、第三代合作伙伴计划(3GPP)和长期演进(LTE)等各种通信标准执行通信的芯片。NFC芯片是指在诸如135kHz、13.56MHz、433MHz、860到960MHz、和2.45GHz的各种RF-ID频带中使用13.56MHz频带的近场通信(NFC)方法中操作的芯片。
显示器140可以显示通过使用调整的参数处理输入图像而获得的图像。这里，由显示器140显示的经处理的图像可以是通过用经调整的参数改善输入图像的图像质量而产生的图像。显示器140可以实现为各种类型的显示器，例如液晶显示器(LCD)、有机发光二极管(OLED)显示器和等离子体显示面板(PDP)。显示器140可以包括驱动电路、背光单元等，其可以以a-si TFT、低温多晶硅(LTPS)TFT、有机TFT(OTFT)等的形式实现。此外，显示器140可以实现为柔性显示器。
此外，显示器140可以包括用于检测用户的触摸手势的触摸传感器。触摸传感器可以实现为各种类型的传感器，例如电容传感器、电阻传感器和压电传感器。电容型是在用户身体的一部分使用涂覆在显示器表面上的电介质触摸显示器140的表面时通过感测激励到用户身体的微电来计算触摸坐标的方法。电阻型包括嵌入在显示器140中的两个电极板，是在用户触摸屏幕时，通过在触摸点处的上板和下板彼此接触时感测电流来计算触摸坐标的方法。此外，如果电子设备100支持笔输入功能，则除了用户的手指之外，显示器140还可使用诸如笔的输入单元来检测用户的手势。如果输入单元是其中包括线圈的手写笔，则电子设备100可以包括能够检测由手写笔内的线圈改变的磁场的磁场检测传感器。因此，显示器140甚至可以检测接近手势，即悬停，以及触摸手势。
同时，已经描述了在同一部件中执行显示功能和手势检测功能，但是也可以在不同部件中执行显示功能和手势检测功能。此外，根据各种实施例，可以在电子设备100中不提供显示器140。
处理器120可包括RAM 121、ROM 122、CPU 123、图形处理单元(GPU)124和总线125。RAM 121、ROM 122、CPU 123、GPU 124等可以通过总线125彼此连接。
CPU 123访问存储器110并使用存储在存储器110中的操作系统(O/S)执行启动。此外，CPU 123使用存储在存储器110中的各种程序、内容、数据等来执行各种操作。
ROM 122存储用于系统启动的指令集。当输入了开启命令并供电时，CPU 123根据存储在ROM 122中的命令将存储在存储器110中的O/S复制到RAM 121，并执行O/S以启动系统。当启动完成时，CPU 123将存储在存储器110中的各种程序复制到RAM 121，并执行复制到RAM 121的程序以执行各种操作。
当电子设备100的启动完成时，GPU 124在显示器140上显示用户界面(UI)。具体地，GPU 124可以使用计算单元(未示出)和渲染单元(未示出)来生成包括诸如图标、图像、文本等的各种对象的屏幕。计算单元根据屏幕的布局来计算诸如要显示的每个对象的坐标值、每个对象的形状、大小、颜色等的属性值。渲染单元基于由计算单元计算出的属性值生成包括对象的各种布局的屏幕。由渲染单元生成的屏幕(或UI窗口)被提供给显示器140，并被显示在主显示区域和子显示区域中的每一个中。
按钮150可以是形成在特定区域中的各种类型的按钮，例如机械按钮、触摸板、滚轮等，所述特定区域例如是电子设备100的主体的外部的前部、侧部或后部。
视频处理器160是用于对通过通信单元130接收的内容或包括在存储在存储器110中的内容中的视频数据进行处理的组件。视频处理器160可对视频数据执行各种图像处理，例如解码、缩放、噪声滤波、帧率转换、分辨率转换等。
音频处理器170是用于对通过通信单元130接收的内容或包括在存储在存储器110中的内容中的音频数据进行处理的组件。音频处理器170可以对音频数据执行各种处理，例如解码、放大、噪声滤波等。
当执行多媒体内容的回放应用时，处理器120可以驱动视频处理器160和音频处理器170以播放相应的内容。这里，显示器140可以在主显示区域或子显示区域中的至少一个上显示由视频处理器160生成的图像帧。
音频输出单元190输出由音频处理器170生成的音频数据。
麦克风180是用于接收用户的语音或其它声音并将所接收的用户的语音或声音转换为音频数据的部件。处理器120可以在呼叫过程中使用通过麦克风180输入的用户语音，或者将用户语音转换为音频数据，并将转换后的音频数据存储在存储器110中。同时，麦克风180可以被配置为接收在多个位置输入的声音的立体声麦克风。
成像单元185是用于根据用户的控制来捕获静止图像或视频的组件。成像单元185可以被提供为多个，诸如前摄像机和后摄像机如上所述，在用于跟踪用户凝视的实施例中，成像单元185可以用作用于获取用户图像的单元。
当提供成像单元185和麦克风180时，处理器120可以根据通过麦克风180输入的用户语音或者由成像单元185识别的用户运动来执行控制操作。即，电子设备100可以在运动控制模式或语音控制模式下操作。当在运动控制模式下操作时，处理器120激活成像单元185以捕获用户的图像，跟踪用户运动的变化，并执行相应的控制操作。当在语音控制模式下操作时，处理器120可以在语音识别模式下操作，以分析通过麦克风180输入的用户的语音，并根据所分析的用户的语音执行控制操作。
在支持运动控制模式或语音控制模式的电子设备100中，语音识别技术或运动识别技术可以用在上述各种实施例中。例如，当用户做出了如同选择显示在主屏幕上的对象一样的运动或者说出与该对象相对应的语音命令时，确定选择了该对象并且可以执行与该对象相匹配的控制操作。
此外，尽管在图3中未示出，但是根据实施例，电子设备100还可以包括USB连接器可以连接到的USB端口、连接到诸如耳机、鼠标、LAN等的外部输入端口、接收和处理DMB信号的数字多媒体广播(DMB)芯片、各种传感器，等等。
图4是示出提高图像分辨率的图像处理方法的视图。具体而言，在图4中，作为示例，假设将3乘3的输入图像410输入到缩放因子为3的放大模块，并且获得9乘9的放大图像420。
参照图4，输入图像410的像素(1,1)被称为第一像素411-1，而像素(1,2)被称为第二像素411-2。
这里，如果将放大图像420的多个像素中的、与输入图像410的像素相对应的像素称为原始像素，则放大图像420中的像素(2,2)可以是第一像素411-1所对应的第一原始像素421-1。此外，与输入图像410的第一像素411-1相邻的第二像素411-2相对应的、放大图像420的第二原始像素421-2可以是像素(2,5)。
同时，除了放大图像420中包括的多个像素中的、与输入图像410的像素相对应的原始像素之外，可以将原始像素附近的像素称为内插像素。具体地，在放大图像420中的、与输入图像410的像素相对应的第一原始像素421-1和第二原始像素421-2之间的像素中，与第一原始像素421-1相邻的内插像素可以被称为第一内插像素422-1，并且与第一内插像素422-1相邻的内插像素可以被称为第二内插像素422-2。这里，第二内插像素422-2可以与第二原始像素421-2相邻。
在图4中，包括在其中输入图像410的一个像素被放大的区域中的多个像素中的中心像素被示为原始像素，但是放大区域中的中心像素之外的另一个像素也可以被设置为原始像素。
同时，电子设备100可以通过使用输入图像410的像素的像素值获得放大图像420的原始像素和内插像素的像素值。具体地，电子设备100可以根据基于放大图像420中的原始像素的高斯函数来获取原始像素、原始像素附近的内插像素和另一原始像素的像素值。具体地，电子设备100可以通过根据到高斯函数上的原始像素的距离来识别原始像素的像素值的反映比来获取每个像素的像素值。
下面将参考图6和9详细描述获取构成放大图像420的多个像素的像素值的具体方法。
图5是示出现有技术的图像处理方法中的内插方法的视图。
具体而言，图5中的(a)示出最近邻方法的滤波器，而图5中的(b)示出双线性内插方法的滤波器。在这两种方法中，假设缩放因子是3。
参照图5中的(a)，最近邻方法是将与原始像素相邻的内插像素的像素值获取为等于原始像素的像素值的方法。具体地，根据最近邻方法，可以将与第一原始像素421-1相邻的第一内插像素422-1的像素值获取为第一原始像素421-1的像素值。此外，可以将与第二原始像素421-2相邻的第二内插像素422-2的像素值获取为第二原始像素421-2的像素值。
换句话说，根据最近邻方法，在获取第一内插像素422-1的像素值时不考虑不相邻的第二原始像素421-2的像素值。此外，存在的问题是，由于基于第一内插像素422-1的像素值和第二内插像素422-2的像素值之间的差而在第一内插像素422-1和第二内插像素422-2之间产生的边界，可能在放大图像中形成马赛克形状的检查板伪像。
此外，参考图5中的(b)，双线性内插方法是一种使用内插像素周围的多个原始像素的值来获取内插像素的像素值并根据线性函数来确定多个原始像素的像素值的反映比的方法。这里，线性函数的y截距可以是1(这意味着可以反映原始像素的所有像素值)，并且斜率可以是缩放因子的倒数。因此，基于第一原始像素，右边区域的线性函数的斜率可以是-1/3，并且左边区域的线性函数的斜率可以是1/3。因为线性函数的斜率由缩放因子来标识，所以如果缩放因子不同，则线性函数的斜率也可以变化。
具体地，根据双线性内插方法，可以将与第一原始像素421-1相邻的第一内插像素422-1的像素值获取为第一原始像素421-1的像素值和第二原始像素421-2的像素值。具体地，可以基于第一原始像素421-1和第二原始像素421-2之间的距离，基于第一原始像素421-1的像素值和第二原始像素421-2的像素值的反映比来获取第一内插像素422-1的像素值。
例如，参考图5中的(b)，第一内插像素422-1和第一原始像素421-1之间的距离是一个像素。因此，电子设备可以根据基于图5中的(b)所示的第一原始像素421-1的线性函数通过反映第一原始像素421-1的像素值的2/3来获取第一内插像素422-1的像素值。
尽管未示出，但是电子设备可以以相同的方式获得将第二原始像素421-2的像素值反映在第一内插像素422-1的像素值上的比率。具体地，第一内插像素422-1和第二原始像素421-2之间的距离是两个像素。因此，电子设备可以根据基于第二原始像素421-2的线性函数通过反映第二原始像素421-2的像素值的1/3来获取第一内插像素422-1的像素值。
总之，电子设备可以使用第一原始像素421-1的像素值的2/3和第二原始像素421-2的像素值的1/3来获取第一内插像素422-1的像素值。
电子设备可以以相同的方式使用第一原始像素421-1的像素值的1/3和第二原始像素421-2的像素值的2/3来获取第二内插像素422-2的像素值。
换句话说，根据双线性内插方法，在获取第一内插像素422-1的像素值时，考虑两个最接近的原始像素421-1和421-2的像素值，但是不考虑更远的原始像素的像素值。此外，在双线性内插方法的情况下，存在的问题在于，在具有高频的区域出现振铃伪像，并且其中像素值快速变化的边缘区域是不清楚的。
图6是说明根据本公开实施例的图像处理方法中的内插方法的视图。具体地，图6示出了放大模块中包括的多个高斯函数中的、基于放大图像中的第一原始像素421-1的高斯函数。这里，假设放大因子是3。
参照图6，基于第一原始像素421-1的高斯函数620定义了根据到第一原始像素421-1的距离定义第一原始像素421-1的像素值的比率。换句话说，高斯函数620的x轴是指放大图像中的一个像素与作为参考像素的第一原始像素421-1之间的距离，并且y轴表示根据距离第一原始像素421-1的像素值被反映的比率。这里，因为高斯函数620是二维的，所以在高斯函数620中表示的像素可以在同一行或同一列中。这里，高斯函数620相对于第一原始像素421-1是双边对称的，并且可以具有远离第一原始像素421-1非线性减小的形状。
同时，根据本公开的高斯函数620的方差可以基于放大因子来获得。具体地，根据本公开的高斯函数620的方差可以基于用于相同放大因子的双线性内插的线性函数610来获得。具体地，根据本公开的高斯函数620的方差可以获取为形成与用于双线性内插的线性函数610的接触点。这里，线性函数610的斜率的绝对值可以是放大因子的倒数(1/3或-1/3)。
因此，根据本公开的高斯函数620的方差可以基于如下的等式1来获得。
[方程式1]
这里，σd是高斯函数620的方差，s是放大因子，d是线性函数610和高斯函数620的接触点的x坐标，并且t(s)可以是通过将高斯函数的x个截距之间的距离加1而获得的值。
这里，t(s)可以指高斯函数620的大小，并且可以基于下面的等式2来获取。
[方程式2]
t(s)＝s*4+1
这里，s表示放大因子，并且等式2可以基于用户的设置。换句话说，高斯函数620的大小不限于上述等式2，并且可以根据用户的设置来调整。
如上所述，根据本公开，通过根据高斯函数识别参考像素的像素值反映比，即使在获取在大于现有技术的距离处的像素的像素值时，也可以反映参考像素的像素值。也就是说，与其中通过仅反映相邻像素的像素值而生成放大图像的现有技术相比，反映包括分离的像素的较宽范围内的像素的像素值，从而生成更改进的放大图像。
图7是示出高斯函数的方差范围的视图。具体地，图7是示出基于如图6所示的用于双线性内插的线性函数610获得的高斯函数620的方差的可变范围的视图。
参照图7，可以将高斯函数620获取为与用于双线性内插的线性函数610具有接触点。在下文中，为了便于描述，与线性函数610具有接触点的高斯函数将被称为第一高斯函数620。这里，第一高斯函数620的方差σd可以基于上述等式1来获得。
同时，电子设备可以基于第一高斯函数620的方差σd来改变高斯函数的方差。具体地，电子设备可以设置方差范围，使得高斯函数的半高全宽(FWHM)与用于双线性内插的线性函数610的FWHM相比不显著偏离。这里，表示函数宽度的项FWHM可以指函数值变为函数最大值的一半的两个方差之间的差。
具体地，高斯函数可以由下面的等式3获得。
[方程式3]
这里，方差的范围可以是σd(s)-s*0.1≤σ(s)≤σd(s)+s*0.1。
基于上述方差的范围，具有最小方差值的高斯函数可以是第二高斯函数630的形式，并且具有最大方差值的高斯函数可以是第三高斯函数640的形式。
同时，如下面的图9所示，上述方差的范围可以是一个范围集合，使得在频域的高频区域中不会出现伪像。
图8和9是示出了现有技术与本公开之间的差异的视图。具体地，图8示出了现有技术和本公开之间的图像域中的差异，而图9示出了现有技术和本公开之间的频域中的差异。这里，假设在现有技术和本公开中的缩放因子都是3。此外，为了便于解释，将仅描述在x为0的参考像素的右边区域。由于滤波器是双边对称的，因此参考像素的左边区域的描述与参考像素的右边区域的描述相同。
在图8的图像域中，示出了最近邻方法的滤波器810、双线性内插方法的滤波器820以及本公开的高斯函数形式的滤波器830。
在最近邻方法中，获得相邻原始像素的像素值作为内插像素的值。参照图8，最近邻方法的滤波器810可以是基于x为0的原始像素的滤波器，并且可以获取x为0的原始像素的像素值作为x为1的内插像素的像素值，该原始像素是与x为1的像素相邻的像素。
换句话说，最近邻方法的滤波器810仅使用x为0的参考像素的像素值来获得x为1的相邻像素的像素值。基于此，最近邻方法的滤波器810的大小可以是3(包括x为0的参考像素，x为1的内插像素和x为-1的内插像素)。
同时，双线性内插方法的滤波器基于内插像素与原始像素之间的距离，根据线性函数获取原始像素的像素值的反映比，并基于获取的反映比获取内插像素的像素值。参照图8，双线性内插方法的滤波器820是基于x为0的原始像素的滤波器，并且反映原始像素的像素值的比率根据内插的像素和x为0的原始像素之间的距离线性地减小。因此，可以使用x为0的原始像素的像素值的2/3来获取x为1的内插像素的像素值，并且可以使用x为0的原始像素的像素值的1/3来获取x为2的内插像素的像素值。同时，这是基于对基于像素中点的距离的测量，并且确切地说，因为距离在像素内是变化的，所以可以使用在一个像素内变化的反映比的平均值。在x为1的像素和x为2的像素的情况下，基于距离的比率线性地减小，因此即使使用对应于像素中点的反映比也没有问题。然而，在x为3的像素的情况下，反映比从起始点到中间点线性降低，但是在中间点为0，因此，根据x为3的像素相对于x为0的像素从起始点到中间点的距离的反映比的平均值可以用作x为3的像素的反映比。
也就是说，双线性内插方法的滤波器820的大小可以是7(包括x为0的参考像素，x为1、2和3的内插像素，以及x为-1、-2和-3的内插像素)。
同时，可以基于缩放因子来获取本公开的高斯函数形式的滤波器830。具体地，高斯函数型滤波器830可以具有基于具有相同缩放因子的双线性内插型滤波器820获得的方差。这里，由于滤波器的形状特性，高斯函数型滤波器830可以使用x为0的参考像素的像素值，直到x为6的像素。因此，高斯函数型滤波器830的大小可以是13(包括x为0的参考像素，x为1、2、3、4、5和6的内插像素，以及x为-1、-2、-3、-4、-5和-6的内插像素)。
如上所述，当使用本公开的高斯函数型滤波器时，可以使用较宽范围内的原始像素的像素值来获取内插像素的像素值。此外，参考像素的像素值的反映比随着到相邻像素的距离而逐渐减小，与双线性内插型滤波器相比，更多地使用更接近的像素的像素值，更少地使用远离的像素的像素值。因此，根据本公开，可以生成更改进的高质量图像。
同时，图9示出了使用最近邻类型滤波器910、双线性内插类型滤波器920和本公开的高斯函数类型滤波器930获取的放大图像的频域分析结果。
参照图9，可以看出，当使用最近邻类型滤波器910和双线性内插类型滤波器920时，在高频区域中发生上升。因此，在放大图像中会出现伪像。
与此不同，在使用高斯函数型滤波器930的情况下，即使在高频区域中也不会发生上升，因此可以看出，减小了放大图像中的伪像。
图10是说明根据本公开的实施例使用输入图像的多个像素的内插方法的视图。
参照图10，可以使用多个原始像素421-1、421-2和421-3的像素值来获取放大图像中的多个像素的像素值。具体地，可以根据基于第一原始像素421-1的第一高斯函数1010-1、基于第二原始像素421-2的第二高斯函数1010-2、以及基于第三原始像素421-3的第三高斯函数1010-3上的到各个原始像素的距离来识别原始像素的像素值的反映比。
即，通过叠加根据到第一高斯函数1010-1上的第一原始像素421-1的距离识别出的第一原始像素421-1的像素值的反映比、根据到第二高斯函数1010-2上的第二原始像素421-2的距离识别出的第二原始像素421-2的像素值的反映比、以及根据到第三高斯函数1010-3上的第三原始像素421-3的距离识别出的第三原始像素421-3的像素值的反映比，可以获得构成放大图像的原始像素或内插像素。
同时，在图10中，为了便于解释，未示出对应于除第一到第三原始像素421-1到421-3之外的原始像素的高斯函数，但是在实际实现中，可以基于分别对应于输入图像的所有原始像素的高斯函数来获取放大图像的原始像素和内插像素的像素值。
图11是在3D域中说明图6的内插方法的视图。具体地，图6示出了参考原始像素421-1的像素值仅用于左、右内插像素和原始像素的像素值，但是实际上，如图11所示，参考原始像素421-1的像素值也可以用于上、下内插像素和原始像素的像素值以及对角内插像素和原始像素的像素值。
参照图11，高斯函数1110-1可以是基于参考原始像素421-1的3D高斯函数的形式。通过以根据到参考原始像素421-1的距离所识别的比率反映参考原始像素421-1的像素值，可以获得围绕参考原始像素421-1和其它原始像素的内插像素的像素值。
同时，在图11中，为了便于解释，放大图像的像素被示为7×7，但是使用参考原始像素421-1的像素值的像素范围可以是相对于图6中所示的参考原始像素421-1为13×13。
图12是在3D域中说明图10的内插方法的视图。具体而言，在图10中，示出了使用包括在同一行或同一列中的多个原始像素的像素值来获取放大图像的原始像素或内插像素的像素值，但是实际上，也可以使用包括在不同行或不同列中的多个原始像素的像素值。这里，基于每个原始像素的高斯函数都可以具有3D形式。
具体而言，通过叠加根据在第一高斯函数1110-1上到第一原始像素421-1的距离识别的第一原始像素421-1的像素值的反映比、根据在第二高斯函数1110-2上到第二原始像素421-2的距离识别的第二原始像素421-2的像素值的反映比、根据在第四高斯函数1110-4上到第四原始像素421-4的距离识别的第四原始像素421-4的像素值的反映比、以及根据在第五高斯函数1110-5上到第五原始像素421-5的距离识别的第五原始像素421-5的像素值的反映比，可以获得构成放大图像的原始像素或内插像素。
图13是示意性地示出根据本公开的实施例的图像处理方法的流程图。
首先，电子设备可以接收图像(S1310)。具体地，电子设备可以从外部设备接收图像，或者可以接收存储在电子设备的存储器中的图像。
接下来，电子设备可以将输入图像输入到经学习的人工智能模型，并输出具有增加的分辨率的放大图像(S1320)。具体而言，人工智能模型包括放大模块，并且放大模块可以根据基于与输入图像的像素所对应的原始像素的高斯函数获取原始像素附近的内插像素的像素值。
这里，放大模块可以根据原始像素和内插像素之间在基于原始像素的高斯函数上的距离来识别原始像素的像素值的反映比。此外，放大模块可使用所识别的反映比来获取内插像素的像素值。
图14是根据现有技术获取的放大图像和根据本公开实施例的图像处理方法获得的放大图像的比较视图。
图14示出了从放大图像的边界到x方向上的黑线(图像中心)的图像的频率分析结果，如图14的a部分所示。
具体地，图14中的(a)至(c)示出了根据现有技术获得的放大图像及其分析结果，而图14中的(d)示出了根据本公开获得的放大图像及其分析结果。这里，图14中的(a)示出了通过去卷积方法获取的放大图像，图14中的(b)示出了通过最近邻方法获取的放大图像，以及图14中的(c)示出了通过双线性内插方法获取的放大图像。
参照图14中的(a)，可以看到，放大图像的频率以某个周期形成波形，并且出现马赛克形状的伪像。参照图14中的(b)和14中的(c)，可以看出，频率在灰色表面和黑线之间的边缘区域中波动，从而在边缘区域中出现振铃伪像。
同时，参考图14中的(d)，可以看到，频率在灰色区域中是均匀的，并且在灰色表面和黑线之间的边缘区域中没有频率波动，因此放大图像中的边缘是清晰的。换句话说，可以看出，与现有技术相比，获得了改进的高质量图像。
根据上述各种实施例，当使用高斯函数型滤波器时，可以使用较宽范围的原始像素的像素值来获取内插像素的像素值。此外，参考像素的像素值的反映比随着到相邻像素的距离而逐渐减小，与双线性内插型滤波器相比，更接近的像素的像素值使用频率更高，远离的像素的像素值使用频率更低。因此，根据本公开，可以生成改进的高质量图像。
同时，上述各种实施例可以使用软件、硬件或其组合实现在计算机或类似设备可读的记录介质中。在通过硬件实现的情况下，可使用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器或执行其它功能的电子单元中的至少一者来实现本公开中所描述的实施例。在一些情况下，本公开中描述的实施例可以由处理器120本身来实现。在软件实现的情况下，诸如在本公开中描述的过程和功能的实施例可以实现为单独的软件模块。每个软件模块可执行本公开中所描述的一个或一个以上功能和操作。
同时，根据上述各种实施例的图像处理方法可以存储在非暂时性可读介质中。这种非暂时性可读介质可以在各种设备中安装和使用。
这种非暂时性可读介质不是用于在短时间内存储数据的介质，例如寄存器、高速缓存或内存，而是指半永久性地存储数据并且可以由设备读取的介质。具体地，用于执行上述各种方法的程序可以被存储和提供在非暂时性可读介质中，该非暂时性可读介质可以包括CD、DVD、硬盘、蓝光盘、USB、存储卡、ROM等中。
根据实施例，根据本文档中公开的各种实施例的方法可以被包括和提供在计算机程序产品中。计算机程序产品可以作为商品在卖方和买方之间交易。计算机程序产品可以作为设备可读的存储介质(例如，光盘只读存储器(CD-ROM))分发或者通过应用商店(例如，play storeTM)在线分发。在在线分发的情况下，计算机程序产品的至少一部分可以被临时存储或临时创建在诸如制造商的服务器、应用商店的服务器或中继服务器的存储器之类的存储介质中。
在上文中，已经描述了本公开的实施例，但是本公开不限于特定实施例，而是可以由本公开所属领域的技术人员在不脱离如所附权利要求书中所要求保护的本公开的范围的情况下进行各种修改，并且这些修改不应在脱离本公开的技术概念或前景的情况下单独理解。

Claims (13)

1.一种电子设备，包括：
存储器，存储经学习的人工智能模型；和
处理器，被配置为将输入图像输入到所述人工智能模型并且输出具有增加的分辨率的放大图像，
其中，所述经学习的人工智能模型包括放大模块，所述放大模块被配置为基于形式为相对于原始像素双向对称且非线性减小的高斯函数来计算所述放大图像中的、与所述输入图像的像素相对应的原始像素附近的内插像素的像素值，其中，所述放大模块基于多个原始像素值反映在所述内插像素的像素值中的比率来计算所述多个原始像素附近的内插像素的像素值，所述比率针对所述多个原始像素与所述内插像素之间的距离，通过高斯函数的函数值而识别出。
2.如权利要求1所述的电子设备，其中，所述放大图像中的所述多个原始像素对应于所述输入图像的一个像素、基于所述一个像素的与所述一个像素相邻的多个像素中的至少一个像素、以及对应于与所述一个像素间隔开但与所述多个像素相邻的多个像素中的至少一个像素。
3.如权利要求2所述的电子设备，其中，所述高斯函数的方差是基于用于放大因子的双线性内插的线性函数而计算的，其中，所述放大因子对应于所述放大图像相比于所述输入图像的放大，
其中，所述线性函数的y截距是1，所述线性函数的斜率是所述放大因子的倒数。
4.如权利要求3所述的电子设备，其中，所述高斯函数的方差σd通过下式计算，
其中s是所述放大因子，d是所述线性函数与所述高斯函数的接触点的x坐标，并且t(s)是通过在所述高斯函数的x截点之间的距离上加1而计算的值。
5.如权利要求4所述的电子设备，其中，
所述高斯函数是
并且σd(s)-s*0.1≤σ(s)≤σd(s)+s*0.1。
6.如权利要求1所述的电子设备，其中，所述放大模块还包括卷积滤波器，所述卷积滤波器被配置为计算所述输入图像的特征。
7.一种图像处理方法，包括：
接收输入图像；和
将输入图像输入到经学习的人工智能模型中，并输出分辨率提高的放大图像；
其中，所述经学习的人工智能模型包括放大模块，所述放大模块被配置为基于形式为相对于所述放大图像中的、与所述输入图像的像素相对应的原始像素双向对称且非线性减小的高斯函数来计算所述原始像素附近的内插像素的像素值，
其中，所述放大模块基于所述多个原始像素值反映在所述内插像素的像素值中的比率来计算所述多个原始像素附近的内插像素的像素值，所述比率针对所述多个原始像素与所述内插像素之间的距离，通过高斯函数的函数值而识别出。
8.如权利要求7所述的图像处理方法，其中，所述放大图像中的所述多个原始像素对应于所述输入图像的一个像素、基于所述一个像素的与所述一个像素相邻的多个像素中的至少一个像素、以及对应于与所述一个像素间隔开但与所述多个像素相邻的多个像素中的至少一个像素。
9.如权利要求8所述的图像处理方法，其中，所述高斯函数的方差是基于用于放大因子的双线性内插的线性函数而计算的，其中，所述放大因子对应于所述放大图像相比于所述输入图像的放大，
其中，所述线性函数的y截距是1，所述线性函数的斜率是所述放大因子的倒数。
10.如权利要求9所述的图像处理方法，其中，所述高斯函数的方差σd通过下式计算，
其中s是所述放大因子，d是所述线性函数与所述高斯函数的接触点的x坐标，并且t(s)是通过在所述高斯函数的x截点之间的距离上加1而计算的值。
11.如权利要求10所述的图像处理方法，其中，
所述高斯函数是
并且σd(s)-s*0.1≤σ(s)≤σd(s)+s*0.1。
12.如权利要求7所述的图像处理方法，其中，所述放大模块还包括卷积滤波器，所述卷积滤波器被配置为计算所述输入图像的特征。
13.一种计算机可读的记录介质，存储有计算机可读的程序，所述程序在被所述计算机的处理器执行时，所述处理器执行图像处理方法，
其中所述图像处理方法包括：
接收输入图像；和
将输入图像输入到经学习的人工智能模型中，并输出分辨率提高的放大图像；
其中，所述经学习的人工智能模型包括放大模块，所述放大模块被配置为基于形式为相对于所述放大图像中的、与所述输入图像的像素相对应的原始像素双向对称且非线性减小的高斯函数来计算所述原始像素附近的内插像素的像素值，
其中，所述放大模块基于所述多个原始像素值反映在所述内插像素的像素值中的比率来计算所述多个原始像素附近的内插像素的像素值，所述比率针对所述多个原始像素与所述内插像素之间的距离，通过高斯函数的函数值而识别出。
CN201980014360.8A 2018-02-20 2019-02-20 电子设备、图像处理方法和计算机可读记录介质 Active CN111742558B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2018-0019849 2018-02-20
KR1020180019849A KR102452653B1 (ko) 2018-02-20 2018-02-20 전자 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
PCT/KR2019/002032 WO2019164239A1 (ko) 2018-02-20 2019-02-20 전자 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체

Publications (2)

Publication Number Publication Date
CN111742558A CN111742558A (zh) 2020-10-02
CN111742558B true CN111742558B (zh) 2023-09-12

Family

ID=67687804

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980014360.8A Active CN111742558B (zh) 2018-02-20 2019-02-20 电子设备、图像处理方法和计算机可读记录介质

Country Status (5)

Country Link
US (1) US11861808B2 (zh)
EP (1) EP3742744A4 (zh)
KR (1) KR102452653B1 (zh)
CN (1) CN111742558B (zh)
WO (1) WO2019164239A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102525578B1 (ko) 2018-10-19 2023-04-26 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
KR102436512B1 (ko) * 2019-10-29 2022-08-25 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
KR102676093B1 (ko) * 2019-11-28 2024-06-19 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20210067783A (ko) 2019-11-29 2021-06-08 삼성전자주식회사 전자 장치, 그 제어 방법 및 시스템
CN113284050A (zh) * 2021-06-25 2021-08-20 江苏新通达电子科技股份有限公司 图像像素值模型、高分辨率显示方法、系统及汽车仪表
WO2024144222A1 (ko) * 2022-12-26 2024-07-04 서울대학교산학협력단 이중선형 업샘플링 연산 장치 및 방법
CN117198233B (zh) * 2023-09-23 2024-08-16 深圳市大我云读写科技有限公司 彩色电子墨水屏一体机画面显示方法及相关设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017106998A1 (en) * 2015-12-21 2017-06-29 Sensetime Group Limited A method and a system for image processing

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4662099B2 (ja) 2001-04-02 2011-03-30 ソニー株式会社 情報信号処理装置およびそれにおける調整パラメータの設定方法
US6903749B2 (en) * 2001-11-05 2005-06-07 Chrontel, Inc. System and method for image scaling interpolation
JP4193871B2 (ja) * 2006-05-18 2008-12-10 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP4814840B2 (ja) * 2007-05-23 2011-11-16 オリンパス株式会社 画像処理装置又は画像処理プログラム
JP2009192949A (ja) * 2008-02-15 2009-08-27 Sony Corp 画像処理装置と画像処理方法および画像処理システム
KR101629454B1 (ko) * 2009-10-27 2016-06-10 삼성전자주식회사 깊이 영상 확대 장치 및 방법
KR20110065997A (ko) 2009-12-10 2011-06-16 삼성전자주식회사 영상처리장치 및 영상처리방법
KR101027323B1 (ko) * 2010-01-20 2011-04-06 고려대학교 산학협력단 비대칭 가우시안 필터를 이용한 영상 보간 장치 및 방법
JP5366855B2 (ja) 2010-02-16 2013-12-11 富士フイルム株式会社 画像処理方法及び装置並びにプログラム
GB2481857B (en) * 2010-07-09 2017-02-08 Snell Ltd Methods and apparatus for resampling a spatially sampled attribute of an image
JP2012249038A (ja) 2011-05-27 2012-12-13 Hitachi Consumer Electronics Co Ltd 画像信号処理装置、画像信号処理方法
KR101262164B1 (ko) * 2011-10-04 2013-05-14 강원대학교산학협력단 저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 방법 및 이를 기록한 기록매체
JP6187932B2 (ja) 2013-08-07 2017-08-30 Ｔｉａｎｍａ Ｊａｐａｎ株式会社 映像信号処理回路，映像表示装置，映像信号処理方法，及びそのプログラム
TWI492187B (zh) 2014-02-17 2015-07-11 Delta Electronics Inc 超解析度影像處理方法及其裝置
KR101723738B1 (ko) 2015-08-21 2017-04-18 인하대학교 산학협력단 딕셔너리 학습 기반 해상도 향상 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017106998A1 (en) * 2015-12-21 2017-06-29 Sensetime Group Limited A method and a system for image processing

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Linear Methods for Image Interpolation";Pascal Getreuer;《IPOL Journal · Image Processing On Line》;20110927;全文 *

Also Published As

Publication number Publication date
WO2019164239A1 (ko) 2019-08-29
KR102452653B1 (ko) 2022-10-11
US11861808B2 (en) 2024-01-02
CN111742558A (zh) 2020-10-02
EP3742744A1 (en) 2020-11-25
US20200394755A1 (en) 2020-12-17
EP3742744A4 (en) 2021-03-24
KR20190099853A (ko) 2019-08-28

Similar Documents

Publication Publication Date Title
CN111742558B (zh) 电子设备、图像处理方法和计算机可读记录介质
US11195261B2 (en) Image processing apparatus and image processing method
US11379955B2 (en) Electronic device, image processing method thereof, and computer-readable recording medium
KR102476239B1 (ko) 전자 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
CN111095350B (zh) 图像处理设备、用于处理图像的方法和计算机可读记录介质
US9478040B2 (en) Method and apparatus for segmenting object in image
US20130215045A1 (en) Stroke display method of handwriting input and electronic device
TW202117506A (zh) 電子裝置及其利用觸控資料的物件資訊辨識方法
TW201642115A (zh) 圖示調整方法、圖示調整系統與電子裝置
US11006108B2 (en) Image processing apparatus, method for processing image and computer-readable recording medium
US12100118B2 (en) Electronic apparatus and controlling method thereof
US11257186B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
US20150074597A1 (en) Separate smoothing filter for pinch-zooming touchscreen gesture response
KR102604016B1 (ko) 전자 장치 및 이의 제어방법
KR102484386B1 (ko) 영상을 스케일링하는 전자 장치 및 그 동작 방법
US11237671B1 (en) Temporal filter touch detection
US20240243943A1 (en) Method of controlling plurality of electronic devices based on context of user, and computing device for performing the same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant