CN110088799B - 图像处理设备和图像处理方法 - Google Patents

图像处理设备和图像处理方法 Download PDF

Info

Publication number
CN110088799B
CN110088799B CN201780079267.6A CN201780079267A CN110088799B CN 110088799 B CN110088799 B CN 110088799B CN 201780079267 A CN201780079267 A CN 201780079267A CN 110088799 B CN110088799 B CN 110088799B
Authority
CN
China
Prior art keywords
image
visual features
processing apparatus
image quality
received
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780079267.6A
Other languages
English (en)
Other versions
CN110088799A (zh
Inventor
南佑铉
安一埈
李泰美
赵基钦
朴镕燮
千岷洙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110088799A publication Critical patent/CN110088799A/zh
Application granted granted Critical
Publication of CN110088799B publication Critical patent/CN110088799B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

公开了一种图像处理设备。该图像处理设备包括：输入单元，用于输入图像；处理器，用于将输入的图像缩小到预定比率，从缩小的图像提取视觉特征，执行在输入的图像中反映提取的视觉特征的图像质量增强处理，对已经经历了所述图像质量增强处理的图像重复地执行预定次数的所述缩小、所述提取和所述图像质量增强处理。本公开涉及一种通过使用诸如深度学习等的机器学习算法来模拟人脑的诸如识别、判断等的功能的人工智能(AI)系统及其应用。

Description

图像处理设备和图像处理方法
技术领域
本公开涉及一种图像处理设备、图像处理方法和计算机可读记录介质，更具体地讲，涉及一种图像处理设备和用于产生高清晰度图像的图像处理方法。
背景技术
人工智能系统是一种实现拟人化智能的计算机系统，并且是一种机器自行执行学习、做判断并且变得智能的不同于现有基于规则的智能系统的系统。随着人工智能系统被越来越多地使用，提高了识别率并且可更准确地理解用户的品味，使得现有基于规则的智能系统已经逐渐地被基于深度学习的人工智能系统取代。
人工智能技术是由机器学习(深度学习)和使用机器学习的元素技术构成的。
机器学习是一种自行对输入数据的特征进行分类/学习的算法技术，而元素技术是一种使用机器学习算法(诸如，深度学习等)模拟人脑的功能(诸如识别、判断等)的技术，并且元素技术由诸如语言理解、视觉理解、推理/预测、知识表示、运动控制等的技术领域构成。
应用人工智能技术的各种领域如下。语言理解是一种识别和应用/处理人类语言的技术，并且包括自然语言处理、机器翻译、会话系统、提问与回答、语音识别/合成等。视觉理解是一种识别和处理比如人类视觉的事物的技术，并且包括对象识别、对象跟踪、图像搜索、人类识别、场景理解、空间理解、图像改进等。推理/预测是一种做决定以及逻辑地推理和预测信息的技术，并且包括基于知识/概率的推理、最优化预测、基于偏好的计划、推荐等。知识表示是一种自动化以及将人类经验信息处理为知识数据的技术，并且包括知识构造(数据创建/分类)、知识管理(数据使用)等。运动控制是一种控制车辆的自动驾驶和机器人的运动的技术，并且包括运动控制(导航、碰撞、驾驶)、操纵控制(行为控制)等。
另外，已经在定量图像质量评估中通常使用的峰值信噪比(PSNR)、结构相似度(SSIM)等方面进行了许多关于图像质量增强的研究。然而，因为图像质量受诸如人类的敏感性或品味的各种因素的影响，所以通过使用现有技术在认知角度中增强图像质量上存在限制。
近来用于增强图像质量的技术可主要被分为不使用外部数据库的方法和使用外部数据库的方法。作为不使用外部数据库的方法，已经开发了使用极深度卷积网络的超分辨率(VDSR)。然而，在具有规则性的图案区域和具有许多高频成分的纹理区域(诸如，草地或织物)与所述图案区域被混合的区域的情况下，这种技术不是足够有效的。尽管使用外部数据库的技术甚至在所述图案区域和所述纹理区域与所述图案区域被混合的区域的情况下在一定程度上也可以增强图像质量，但使用200MB的存储器，因此难以将使用外部数据库的技术应用于电视机或运动终端。
因此，存在对于一种能够在不使用外部数据库的情况下增强包括图案区域的低清晰度图像的图像质量的方法的需求。
发明内容
技术问题
本公开提供了一种能够在不使用外部数据库的情况下通过使用接收的低清晰度图像来产生高清晰度图像的图像处理设备和图像处理方法。
解决方案
根据本公开的实施例，一种图像处理设备包括：输入单元，被配置为接收图像；以及处理器，被配置为：将接收的图像缩小到预定比率，从缩小的图像提取视觉特征，执行在接收的图像中反映提取的视觉特征的图像质量增强处理，并且对经过所述图像质量增强处理的图像重复地执行预定次数的所述缩小、所述提取和所述图像质量增强处理。
所述处理器可通过以下操作来执行所述图像质量增强处理：将接收的图像划分成每个区域具有与缩小的图像的尺寸相应的尺寸的多个区域，在划分出的所述多个区域中的每个区域中反映提取的视觉特征，并且将反映了提取的视觉特征的所述多个区域彼此重叠。
所述处理器可基于在接收的图像中的多个参考点中的每个参考点缩小接收的图像并从多个缩小的图像中的每一个缩小的图像提取视觉特征。
所述多个参考点可与所述多个区域分别相应，并且所述处理器在划分出的所述多个区域中分别反映视觉特征，其中，视觉特征是从基于与所述多个区域相应的参考点缩小的图像提取的。
提取的视觉特征可以是亮度、颜色、暗度、饱和度、对比度、边缘的形状和密度以及颜色布置中的至少一个。
所述预定比率可以是在从0.9至0.99的范围中的值。
所述处理器可确定接收的图像的劣化状态，并且根据确定的劣化状态确定重复地执行所述缩小、所述提取和所述图像质量增强处理的所述预定次数。
所述处理器可执行用于增强接收的图像的图像质量的预处理，并且通过反映预处理的图像被缩小到所述预定比率的缩小的图像提取的视觉特征来对预处理的图像执行所述图像质量增强处理。
所述处理器可确定具有预定频率范围的图案区域是否被包括在接收的图像中，在所述图案区域被包括在接收的图像中的情况下对所述图案区域重复地执行所述缩小、所述提取和所述图像质量增强处理，并且对除了所述图案区域之外的区域仅执行一次所述缩小、所述提取和所述图像质量增强处理。
所述图像处理设备还可包括：显示器，被配置为显示重复地经过所述预定次数的所述图像质量增强处理的图像。
所述图像处理设备还可包括：通信器，被配置为向显示装置发送重复地经过所述预定次数的所述图像质量增强处理的图像。
根据本公开的另一实施例，一种图像处理方法包括：接收图像；将接收的图像缩小到预定比率；从缩小的图像提取视觉特征；执行在接收的图像中反映提取的视觉特征的图像质量增强处理；以及对经过所述图像质量增强处理的图像重复地执行预定次数的所述缩小、所述提取和所述图像质量增强处理。
执行图像质量增强处理可包括：将接收的图像划分成每个区域具有与缩小的图像的尺寸相应的尺寸的多个区域，在划分出的所述多个区域中的每个区域中反映提取的视觉特征，以及将反映了提取的视觉特征的所述多个区域彼此重叠。
在所述缩小中，基于多个参考点中的每个参考点缩小接收的图像，并且在所述提取中，从多个缩小的图像中的每一个缩小的图像提取视觉特征。
所述多个参考点可与所述多个区域分别相应，并且在所述反映中，在划分出的所述多个区域中分别反映视觉特征，其中，视觉特征是从基于与所述多个区域相应的参考点缩小的图像提取的。
所述图像处理方法还可包括：确定接收的图像的劣化状态，并且根据确定的劣化状态确定重复地执行所述缩小、所述提取和所述图像质量增强处理的所述预定次数。
所述图像处理方法还可包括：执行用于增强接收的图像的图像质量的预处理，并且通过反映从预处理的图像被缩小到所述预定比率的缩小的图像提取的视觉特征来对预处理的图像执行所述图像质量增强处理。
所述图像处理方法还包括确定具有预定的频率范围的图案区域是否被包括在接收的图像中，并且，在重复地执行所述预定次数的图像质量增强处理的步骤中，在所述图案区域被包括在接收的图像中的情况下对所述图案区域重复地执行所述缩小、所述提取和所述图像质量增强处理，并且对除了所述图案区域之外的区域仅执行一次所述缩小、所述提取和所述图像质量增强处理。
所述图像处理方法还可包括：显示重复地经过所述预定次数的所述图像质量增强处理的图像。
所述图像处理方法还可包括：向显示装置发送重复地经过所述预定次数的所述图像质量增强处理的图像。
附图说明
图1是用于描述根据本公开的实施例的图像处理设备的示意性配置的框图；
图2是用于描述根据本公开的实施例的图像处理设备的详细配置的框图；
图3是示意性地示出根据本公开的实施例的图像处理方法的流程图；
图4是示意性地示出根据本公开的实施例的应用在图像处理方法中提取的视觉特征的方法的流程图；
图5是示出根据本公开的实施例的确定缩放因子的方法的流程图；
图6是示出根据本公开的另一实施例的确定缩放因子的方法的流程图；
图7是用于描述根据本公开的实施例的具有划分出的区域的图像的示图；
图8是用于描述对于图7中示出的图像的图像处理方法的流程图。
具体实施方式
在对本说明书中使用的术语进行简要的描述之后，将对本公开进行详细的描述。
考虑到在本公开中的功能，当前广泛使用的一般术语被选为本公开的实施例中使用的术语，但是可根据本领域的技术人员的意图或司法判例、新技术的出现等被改变。此外，在特定情况下，可存在由申请人任意选择的术语。在这种情况下，将会在本公开的相应的描述部分对这样的术语的含义进行详细的叙述。因此，本公开的实施例中使用的术语应基于贯穿本公开的术语的含义和内容而不是基于简单的术语名称被定义。
因为本公开可被各种修改并且具有若干实施例，因此将在附图中示出本公开的特定实施例并在详细的描述中对本公开的特定实施例进行详细的描述。然而，将理解的是，本公开不限于特定实施例，而是在不脱离本公开的范围和精神的情况下可包括各种修改、等同物及替代物。在确定对于涉及本公开的已知技术的详细描述可能模糊本公开的主旨的情况下，将省略详细的描述。
术语“第一”、“第二”等可被用于描述各种组件，但所述组件不应被理解为受这些术语限制。术语仅被用于将一个组件与另一组件区分开。
除非上下文另有清楚地指示，否则单数形式意在包括复数形式。还将理解的是，在本说明书中使用的术语“包括”或“由…形成”指明本公开中提及的特征、数字、步骤、操作、组件、部件或特征、数字、步骤、操作、组件和部件的组合的存在，但是不排除一个或更多个其它特征、数字、步骤、操作、组件、部件或特征、数字、步骤、操作、组件和部件的组合的存在或添加。
在实施例中，“模块”或“-器”可执行至少一个功能或操作，并且可通过硬件或软件实现或者通过硬件和软件的组合实现。此外，多个“模块”或多个“-器”可被集成到至少一个模块中，并且可通过除了需要由特定硬件实现的“模块”或“-器”之外的至少一个处理器实现。
在下文中，将参照附图对本公开的实施例进行详细描述，使得本公开所属领域的技术人员可容易实施本公开。然而，本公开可以以各种不同的形式被修改，并且不限于在此描述的实施例。此外，在附图中，为了明显地描述本公开将省略与描述无关的部分，并且在整个说明书中，相似的参考标号将被用于描述相似的部分。
在下文中，将参照附图对本公开进行更详细的描述。
图1是用于描述根据本公开的实施例的图像处理设备的示意性配置的框图。
参照图1，图像处理设备100包括输入单元110和处理器120。这里，图像处理设备100可以以处理输入图像并且向单独的显示装置发送图像的机顶盒或服务器的形式来实现。然而，图像处理设备100不限于此，并且可以是包括本身可显示图像的显示器的显示装置，诸如电视机(TV)、个人计算机(PC)、移动装置等。
输入单元110可接收低清晰度图像。详细地讲，输入单元110可以以有线的或无线的方式从外部接收图像，或者可接收根据用户在多个存储的图像之中的选择而将被处理的图像。例如，输入单元110可通过天线或线缆接收图像，或者从存储器(未示出)接收由用户选择的图像。
处理器120可产生通过对经由输入单元110输入的图像进行提升(upscaling)而获得的高清晰度图像。详细地讲，处理器120可通过缩小接收的低清晰度图像、提取缩小的图像的视觉特征并在接收的低清晰度图像中反映提取的视觉特征来产生高清晰度图像。在这种情况下，处理器120可通过将接收的图像划分成每个区域具有与缩小的图像的尺寸相应的尺寸的多个区域，并在每个划分出的区域中应用提取的视觉特征，来产生高清晰度图像。
这里，提升指校正低清晰度图像中的拉伸像素以获得高清晰度图像。在使用具有与原始屏幕的尺寸相同的尺寸的屏幕的情况下，与在原始屏幕上的图像相比可获得更清楚和更锐利的图像，而在使用具有比原始屏幕的尺寸更大的尺寸的屏幕的情况下，可获得具有图像质量未劣化的图像。
此外，视觉特征是当用户用裸眼查看图像时可被用户识别的特征，并且除了缩小的图像的图像属性(诸如，亮度、颜色、暗度、饱和度、对比度等)之外，视觉特征还可包括指示可从图像中的每个区域的图像信号的频率形式感知到的纹理的纹理特征、图像中包括的边缘的形状和密度、颜色布置等。
这里，处理器120可将接收的低清晰度图像缩小到预定比率，从缩小的图像提取视觉特征，并且对接收的图像执行在接收的图像中反映提取的视觉特征的图像质量增强处理。这里，预定比率可以是当执行图像质量增强处理时可在视觉上确认图像质量增强的最小缩小比率，并且可被称为单位缩放因子。此时，预定比率可由用户确认并且可以是在从0.9至0.99的范围中的值。优选地，预定比率可以是0.95。
另外，处理器120可对经过一次图像质量增强处理的图像重复地执行相同的图像质量增强处理。详细地讲，通过将经过一次图像质量增强处理的图像缩小到预定比率、从缩小的图像提取视觉特征并且在经过一次图像质量增强处理的图像中反映提取的视觉特征，可获得与经过一次图像质量增强处理的图像的图像质量相比具有进一步增强的图像质量的图像。像这样，通过重复地执行预定次数的图像质量增强处理可产生具有期望的图像质量的高清晰度图像。此时，通过将优化缩放因子与单位缩放因子彼此进行比较可确定所述预定次数。详细地讲，通过将以下的缩小比率与最小缩小比率彼此进行比较可确定所述预定次数，其中，通过按照该缩小比率执行一次图像质量增强处理可产生高清晰度图像。稍后将参照图3对该处理进行更详细的描述。
像这样，根据本公开，通过在没有外部数据库的情况下缩小低清晰度图像并使用从缩小的低清晰度图像提取的视觉特征可产生高清晰度图像，从而减少存储器占用。此外，通过使用增强图像质量所依据的最小缩小比率重复地执行图像质量增强处理，从而在图像中没有失真区域的情况下产生高清晰度图像。
另外，处理器120可将接收的图像划分为多个区域，其中，所述多个区域中的每个区域具有与缩小的图像的尺寸相应的尺寸。这里，所述多个区域可彼此部分地重叠。此时，处理器120可通过在划分出的所述多个区域中的每个区域中反映从缩小的图像提取的视觉特征并且将反映了视觉特征的所述多个区域彼此重叠来执行图像质量增强处理。
这里，在接收的图像中反映的视觉特征可以是从基于在接收的图像中的多个参考点中的每个点而缩小的图像中提取的。另外，所述多个参考点可与所述多个区域分别相应。处理器120可通过在划分出的所述多个区域中反映从基于与所述多个区域相应的参考点而缩小的图像提取的视觉特征来执行图像质量增强处理。另外，稍后将参照图4对通过反映提取的视觉特征执行图像质量增强处理的方法进行详细的描述。
如上所述，通过执行将接收的图像划分为所述多个区域、在所述多个区域中的每个区域中反映提取的视觉特征并且将所述多个区域彼此重叠的图像质量增强处理，可预期减少在重复的图像质量增强处理中发生的图像失真的效果。
另外，处理器120可通过对接收的图像反复地执行预定次数的图像质量增强处理来产生高清晰度图像。此时，通过将用于基于低清晰度图像产生高清晰度图像的优化缩放因子与单位缩放因子彼此进行比较可确定所述预定次数。
这里，缩放因子是用于确定接收的图像的缩小程度的因子，并且可以是0和1之间的值。在这种情况下，优化缩放因子可以是通过机器学习预先确定的值。例如，在存在高清晰度的原始图像的情况下，处理器120可确定缩放因子使得通过处理原始图像的低清晰度图像而获得的图像与原始图像尽可能地相似。在这种情况下，处理器120可对多个原始图像执行相同的操作以确定用于处理低清晰度图像的缩放因子，使得通过处理低清晰度图像而获得的图像与原始图像尽可能地相似。稍后将参照图5对通过使用相似度确定优化缩放因子的方法进行详细的描述。
另外，处理器120可根据低清晰度图像的劣化程度确定优化缩放因子。详细地讲，图像处理设备100可预先存储与图像的多个劣化程度分别相应的多条缩放因子信息，并且在这种情况下，可以以查找表的形式存储所述多条缩放因子信息。另外，稍后将参照图6对根据图像的劣化程度确定优化缩放因子的方法进行详细的描述。
另外，处理器120可在缩小接收的图像之前增强接收的图像的图像质量。详细地讲，处理器120可首先根据通常用于图像质量增强的算法增强图像的图像质量，然后根据本公开的实施例执行用于图像质量增强的图像处理。
另外，处理器120可从缩小的图像本身提取视觉特征，但本公开不限于此。处理器120也可在除了缩小的图像在接收的图像中被布置的区域之外的区域中按照原样布置接收的图像的状态下提取视觉特征。在这种情况下，图像处理设备可将缩小的图像在接收的图像中被布置的区域识别为具有低失真可能性的可信区域，并将剩余的区域识别为具有高失真可能性的不可信区域。
另外，处理器120可通过仅在接收的图像中的一些区域中反映提取的视觉特征来产生高清晰度图像。稍后将参照图7和图8对此进行详细的描述。
图2是用于描述根据本公开的实施例的图像处理设备的详细配置的框图。
参照图2，图像处理设备100可包括输入单元110、处理器120、存储器130、显示器140、通信器150、视频处理器160、音频处理器170、按钮126、麦克风180、图像捕捉器185和音频输出单元190。这里，输入单元110和处理器120与图1中示出的输入单元110和处理器120相同，由此将省略重复的描述。
存储器130可存储图像处理设备100的操作需要的各种程序和数据。详细地讲，将被用于缩小接收的图像的优化缩放因子、单位缩放因子或图像质量增强处理将被执行的相应次数可被存储在存储器130中。此时，被存储的优化缩放因子或图像质量增强处理将被执行的次数可由制造商通过机器学习来计算，并且可在发布时被预存储或者可通过定期的固件更新被更新。另外，存储器130也可存储用于得到优化缩放因子或图像质量增强处理将被执行的次数的算法。
此外，存储器130可存储将被提升到高清晰度图像的多个低清晰度图像。处理器120可基于存储的所述多个低清晰度图像之中的由用户选择的低清晰度图像来产生高清晰度图像。
此外，存储器130可存储关于与图像的劣化程度相应的优化缩放因子的信息。这里，可以以查找表的形式存储与劣化程度分别相应的优化缩放因子。
此外，存储器130可存储用于对低清晰度图像进行提升的程序、数据等。通过这样做，处理器120可通过使用存储在存储器130中的程序和数据，基于接收的低清晰度图像来产生高清晰度图像，并且在一些情况下，可确定在提升处理中使用的优化缩放因子或图像质量增强处理被执行的次数。
另外，存储器130可存储或临时地存储在提升处理中产生的中间图像。详细地讲，存储器130可临时存储通过将接收的图像划分为多个区域并在划分出的所述多个区域中反映视觉特征而获取的图像，从而使通过稍后将所述多个区域重叠来执行图像质量增强处理变得可能。然后，存储器130可存储或临时地存储多个参考点和分别从基于所述多个参考点缩小的图像提取的多个视觉特征。
显示器140可显示经过预定次数的图像质量增强处理的图像。显示器140可通过诸如液晶显示器(LCD)、有机发光二极管(OLED)显示器、等离子体显示面板(PDP)等的各种类型的显示器来实现。在显示器140中可包括可以以诸如非晶硅(a-si)薄膜晶体管(TFT)、低温多晶硅(LTPS)TFT、有机TFT(OTFT)等的形式实现的驱动电路、背光单元等。此外，显示器140可以是柔性显示器。
此外，显示器140可包括用于感测用户的触摸手势的触摸传感器。触摸传感器可通过诸如电容型传感器、电阻型传感器、压电型传感器等的各种类型的传感器来实现。电容型触摸传感器使用如下方案：通过使用涂覆在显示器140的表面上的介电材料，感测在用户的身体的一部分触摸显示器140的表面时激发到用户的身体的微电流来计算触摸坐标。电阻型传感器使用如下方案：通过感测在用户触摸屏幕的情况下由于在触摸点处在显示器140中嵌入的两个电极板之间的垂直接触而导致的电流流动来计算触摸坐标。此外，在图像处理设备100支持笔输入功能的情况下，除了用户的手指之外，显示器140还可感测使用诸如笔的输入装置的用户手势。在输入装置是包括有线圈的触控笔的情况下，图像处理设备100可包括能够感测由于触控笔中的线圈而改变的磁场的磁场传感器。结果，除了触摸手势之外，显示器140也可以感测接近手势，即悬停。
尽管以上已经描述了通过相同的组件执行显示功能和手势感测功能两者，但可通过不同的组件分别执行这些功能。此外，根据各种实施例，图像处理设备100可以不包括显示器140。
通信器150是以各种类型的通信方式与各种类型的外部装置执行通信的组件。通信器150包括无线保真(WiFi)芯片151、蓝牙芯片152、无线通信芯片153和近场通信(NFC)芯片154。处理器120可使用通信器150与各种外部装置执行通信。
详细地讲，通信器150可从外部装置接收低清晰度图像并将经过由处理器120执行预定次数的图像质量增强处理的图像发送给外部装置(诸如单独的显示装置)。
WiFi芯片151和蓝牙芯片152分别以WiFi方式和蓝牙方式执行通信。在使用WiFi芯片151或蓝牙芯片152的情况下，首先发送和接收诸如服务集标识符(SSID)、会话密钥等的各种连接信息，使用所述连接信息连接通信，然后可发送和接收各种信息。无线通信芯片153指根据诸如电气与电子工程师协会(IEEE)、Zigbee、第三代(3G)、第三代合作伙伴项目(3GPP)、长期演进(LTE)等的各种通信协议执行通信的芯片。NFC芯片154指以NFC方式使用诸如135kHz、13.56MHz、433MHz、860Mhz至960MHz、2.45GHz等的各种射频识别(RFID)频带之中的13.65Mhz频带操作的芯片。
处理器120可包括随机存取存储器(RAM)121、只读存储器(ROM)122、中央处理单元(CPU)123、图像处理单元(GPU)124和总线125。RAM 121、ROM 122、CPU 123、GPU 124等可通过总线125彼此连接。
CPU 123访问存储器130以使用存储在存储器130中的操作系统(O/S)执行启动。此外，CPU 123使用存储在存储器130中的各种程序、内容、数据等执行各种操作。
用于启动系统等的指令集被存储在ROM 122中。当输入开启命令以供应电力时，CPU 123可根据存储在ROM 122中的指令将存储在存储器130中的O/S复制到RAM 121，并且运行所述O/S以启动系统。当完成启动时，CPU 123将存储在存储器130中的各种程序复制到RAM 121，并运行被复制到RAM 121的程序以执行各种操作。
当完成图像处理设备100的启动时，GPU 124在显示器140上显示用户界面(UI)。详细地讲，GPU 124可使用计算器(未示出)和渲染器(未示出)渲染包括诸如图标、图像、文本等的各种对象的屏幕。计算器根据屏幕的布局计算各个对象的属性值，诸如将显示各个对象的坐标值、形式、尺寸、颜色等。渲染器基于在计算器中计算的属性值渲染包括对象的具有各种布局的屏幕。在渲染器中渲染的屏幕(或用户界面窗口)被提供给显示器140并且在主显示区域和子显示区域上分别显示。
视频处理器160是用于处理包括在通过通信器150接收的内容或存储在存储器130中的内容中的视频数据的组件。在视频处理器160中，可执行用于视频数据的各种图像处理，诸如解码、缩放、噪声过滤、帧率转换、分辨率转换等。
音频处理器170是用于处理包括在通过通信器150接收的内容或存储在存储器130中的内容中的音频数据的组件。在音频处理器170中，可执行用于音频数据的各种处理，诸如解码、放大、噪声过滤等。
当运行用于多媒体内容的再现应用时，处理器120可驱动视频处理器160和音频处理器170以再现多媒体内容。在这种情况下，显示器140可在主显示区域和子显示区域中的至少一个显示区域中显示通过图像处理器160创建的图像帧。
音频输出单元190输出通过音频处理器170创建的音频数据。
按钮126可以是在图像处理设备100的主体外观的任何区域(诸如前表面部分、侧表面部分、后表面部分等)中的各种类型的按钮，诸如机械按钮、触摸板、滚轮等。
麦克风180是用于接收用户的语音或其他声音并将用户的语音或其他声音转换成音频数据的组件。处理器120可在呼叫过程中使用通过麦克风180输入的用户的语音，或者将用户的语音转换成音频数据并且将音频数据存储在存储器130中。另外，可通过从多个位置接收声音的立体声麦克风来实现麦克风180。
图像捕捉器185是用于根据用户的控制捕捉静态图像或视频的组件。可通过诸如前置相机和后置相机的多个相机来实现图像捕捉器185。如上所述，在用于跟踪用户的注视的实施例中，图像捕捉器185可被用作用于获得用户的图像的装置。
在提供了图像捕捉器185和麦克风180的情况下，处理器120可根据通过麦克风180输入的用户的语音或者通过图像捕捉器185识别的用户的运动来执行控制操作。也就是说，可在运动控制模式或语音控制模式下对图像处理设备100进行操作。在运动控制模式下对图像处理设备100进行操作的情况下，处理器120可激活图像捕捉器185以捕捉用户的图像，跟踪用户运动的变化并执行与跟踪的变化相应的控制操作。在语音控制模式下对图像处理设备100进行操作的情况下，处理器120可对通过麦克风180输入的用户的语音进行分析，并且可在根据分析的用户的语音执行控制操作的语音识别模式下操作。
在支持运动控制模式或语音控制模式的图像处理设备100中，语音识别技术或运动识别技术可被用在如上所述的各种实施例中。例如，在用户进行如同他/她选择在主屏幕上显示的对象或者发出与对象相应的语音指令的运动的情况下，图像处理设备100可确定相应的对象被选择，并执行与对象匹配的控制操作。
尽管图2中未示出，但在某些实施例中，在图像处理设备100中还可包括通用串行总线(USB)连接器可被连接到的USB端口、用于连接到各种外部终端(诸如耳机、鼠标、局域网(LAN)等)的各种外部输入端口、接收并处理DMB信号的数字多媒体广播(DMB)芯片、各种传感器等。
图3是示意性地示出根据本公开的实施例的图像处理方法的流程图。
参照图3，首先，图像可被接收到图像处理单元(S310)。详细地讲，接收的图像可以是从外部装置接收的图像或者存储在图像处理设备中的多个图像之中的由用户选择的图像。
然后，尽管未示出，但图像处理设备可执行用于增强接收的图像的图像质量的预处理。详细地讲，图像处理设备可通过使用常规的图像提升方法对接收的图像执行预处理。例如，图像处理设备可通过基于图像的信号变化检测边缘并减小检测到的区域的宽度或增加强度来对图像进行处理使得图像包括更清晰的边缘。这仅是实施例，并且图像处理设备可通过使用各种方法执行用于增强接收的图像的图像质量的预处理。
然后，尽管未示出，但图像处理设备可确定图案区域是否存在于接收的图像中。详细地讲，图像处理设备可通过使用接收的图像中的检测到的边缘等来确定图案区域是否存在于接收的图像中。在本公开中，图案区域指包括在图像中可在视觉上被区分的形状、图案等的区域，并且可以是但不限于特定形状被规律地布置的区域。详细地讲，在接收的图像信号处于预定频率范围中的情况下，图像处理设备可确定存在图案区域。在这种情况下，所述预定频率范围可低于被确定为纹理区域的高频区域的频率范围。
此外，图像处理设备也可通过使用可提取边缘的滤波器来确定图案区域是否存在于接收的图像中。另外，本公开不限于此，图像处理设备也可使用可确定是否存在图案区域或者提取图案区域的常规算法。
另外，在使用常规的提升方法的情况下，在图像中的信号具有高频的纹理区域中的提升可能是不足的。然后，在通过经由使用优化缩放因子执行一次提升处理产生高清晰度图像的情况下，在图案区域中可发生失真现象。就此而言，以下将进行描述的根据本公开的图像处理可在图案区域中没有失真的情况下增强图案区域和纹理区域的图像质量。
然后，图像处理设备可缩小接收的图像(S320)。这里，图像处理设备可识别对接收的图像执行第一次(n＝1)图像质量增强处理。详细地讲，图像处理设备可将接收的图像缩小到预定比率，并且所述预定比率可被称为单位缩放因子，其中，所述预定比率是在执行图像质量增强处理的情况下可期望增强图像质量的效果的最小缩小比率。此时，所述预定比率可由用户确定或者可以是从0.9至0.99的范围中的值，优选地是0.95。
另外，在执行用于增强接收的图像的图像质量的预处理的情况下，图像处理设备可通过使用单位缩放因子缩小预处理的图像。
然后，图像处理设备可从缩小的图像提取视觉特征(S330)。详细地讲，除了缩小的图像的图像属性(诸如亮度、颜色、暗度、饱和度、对比度等)之外，图像处理设备还可以从图像中的每个区域的图像信号的频率形式提取指示纹理的纹理特征和图案特征、图像中包括的边缘的形状和密度、颜色布置等。
另外，图像处理设备可从缩小的图像本身提取视觉特征，但是本公开不限于此。图像处理设备也可在除了缩小的图像在接收的图像中被布置的区域之外的区域中按照原样布置接收的图像的状态下提取视觉特征。
另外，在执行用于增强接收的图像的图像质量的预处理的情况下，缩小的图像是预处理的图像，并且图像处理设备可从在被预处理之后缩小的图像提取视觉特征。
然后，图像处理设备可通过反映提取的视觉特征执行图像质量增强处理(S340)。详细地讲，图像处理设备可通过将接收的图像划分成每个区域具有与缩小的图像的尺寸相应的尺寸的多个区域、在划分出的所述多个区域中的每个区域中反映提取的视觉特征并将反映了视觉特征的所述多个区域彼此重叠来执行图像质量增强处理。这里，所述多个区域可彼此部分地重叠。
另外，图像处理设备可通过在除了缩小的图像在接收的图像中被布置的区域之外的区域中按照原样布置接收的图像的状态下反映提取的视觉特征来执行图像质量增强处理。另外，稍后将参照图4对通过反映提取的视觉特征执行图像质量增强处理的方法进行详细描述。
另外，在执行用于增强接收的图像的图像质量的预处理的情况下，图像处理设备可通过反映经由缩小预处理的图像而提取的视觉特征来对预处理的图像执行图像质量增强处理。
然后，图像处理设备可确定图像质量增强处理是否被执行了预定次数(S350)。详细地讲，图像处理设备可确定执行图像质量增强处理的次数是否达到所述预定次数。
详细地讲，通过将优化缩放因子与单位缩放因子彼此进行比较可确定所述预定次数。换言之，通过将以下的缩小比率与最小缩小比率彼此进行比较可确定所述预定次数，其中，通过按照该缩小比率执行一次图像质量增强处理可产生高清晰度图像。图像处理设备通过使用以下表达式(1)可确定将通过使用单位缩放因子执行图像质量增强处理的次数N，以便于获得与通过经由使用优化缩放因子执行图像质量增强处理可获得的效果相同的效果。
S ＝ (U)N (1)
这里，S可表示优化缩放因子并且U可表示单位缩放因子。
例如，在将优化缩放因子确定为0.65并且用户选择单位缩放因子0.95的情况下，N接近8.4，从而图像处理设备可将图像质量增强处理将被执行的次数N确定为8。
在这种情况下，优化缩放因子可以是预定值或者可以是根据接收的图像确定的值。另外，稍后将参照图5对在优化缩放因子是预定值的情况下得到优化缩放因子的方法进行详细描述。另外，稍后将参照图6对在优化缩放因子是根据接收的图像确定的值的情况下得到优化缩放因子的方法进行详细描述。
另外，在执行用于增强接收的图像的图像质量的预处理的情况下，图像处理设备可通过使用缩放因子缩小预处理的图像。
另外，在执行图像质量增强处理的次数n达到预定次数N的情况下(S350中为是)，图像处理设备可停止图像质量增强处理并输出最终处理的图像。
相反地，在执行图像质量增强处理的次数未达到预定次数的情况下(S350中为否)，图像处理设备将执行图像质量增强处理的次数增加1(n←n+1)，并且再次从缩小图像的处理(S320)开始执行图像质量增强处理。
另外，尽管未示出，但是当即使在图像质量增强处理未被执行预定次数的情况下获得了期望的图像质量时，图像处理设备也可结束图像处理，并且在期望的图像质量未被满足的情况下，图像处理设备可执行更多次图像质量增强处理。
详细地讲，图像处理设备不执行确定执行图像质量增强处理的次数是否达到预定次数的处理(S350)，而直接地确定处理的图像的图像质量。在获得期望的图像质量的情况下，图像处理设备结束图像处理，并且在未获得期望的图像质量的情况下，图像质量增强处理被执行的次数增加1(n←n+1)，并且图像处理设备再次从缩小图像的处理(S320)开始执行图像质量增强处理。这里，可通过使用可评估接收的图像本身的图像质量的诸如盲/无参考图像空间质量评估器(BRISQUE)等的已知技术来确定处理后的图像的图像质量。
另外，在确定执行图像质量增强处理的次数是否达到预定次数的处理(S350)之前，图像处理设备可确定处理的图像的图像质量，并且在获得期望的图像质量的情况下，图像处理设备可结束图像处理，并且在未获得期望的图像质量的情况下，图像处理设备可执行确定图像质量增强处理是否被执行预定次数的处理(S350)。
另外，甚至在执行图像质量增强处理的次数达到预定次数的情况下，图像处理设备也可确定处理的图像的图像质量，并且在获得期望的图像质量的情况下，图像处理设备可结束图像处理，并且在未获得期望的图像质量的情况下，图像质量增强处理被执行的次数可增加1(n←n+1)，并且图像处理设备可再次从缩小图像的处理(S320)开始执行图像质量增强处理。
像这样，根据本公开，可在没有外部数据库的情况下通过缩小低清晰度图像并使用从缩小的低清晰度图像提取的视觉特征来产生高清晰度图像，从而减少存储器占用。此外，通过使用增强图像质量所依据的最小缩小比率重复地执行图像质量增强处理，从而在图像中没有失真区域的情况下产生高清晰度图像。
图4是示意性地示出根据本公开的应用在图像处理方法中提取的视觉特征的方法的流程图。
首先，图像可被接收到图像处理设备(S410)。详细地讲，接收的图像可以是从外部装置接收的图像或者由用户在存储在图像处理设备中的多个图像之中选择的图像。
然后，尽管未示出，但是图像处理设备可执行用于增强接收的图像的图像质量的预处理。然后，尽管未示出，但是图像处理设备可确定在接收的图像中是否存在图案区域。预处理的处理和确定是否存在图案区域的处理与参照图3描述的处理相同，从而将省略重复的描述。
然后，图像处理设备可缩小接收的图像(S420)。详细地讲，图像处理设备可将接收的图像缩小到预定比率，并且所述预定比率可被称为单位缩放因子，其中，所述预定比率是在执行图像质量增强处理的情况下可期望增强图像质量的效果的最小压缩比。
此时，图像处理设备可基于在接收的图像中的所述多个参考点中的每个参考点缩小接收的图像。例如，在所述多个参考点是接收的图像中的四个顶点的情况下，图像处理设备可获得四个缩小的图像，所述四个缩小的图像包括：通过基于左上顶点将接收的图像缩小到所述预定比率而获得的图像、通过基于右上顶点将接收的图像缩小到所述预定比率而获得的图像、通过基于左下顶点将接收的图像缩小到所述预定比率而获得的图像、以及通过基于右下顶点将接收的图像缩小到所述预定比率而获得的图像。
另外，所述多个参考点不限于以上描述，并且参考点的数量可以是4或更少或者6或更多，并且参考点的位置可以是在接收的图像中的任何位置，诸如接收的图像的中心。
另外，在执行用于增强接收的图像的图像质量的预处理的情况下，图像处理设备可通过使用单位缩放因子缩小预处理的图像。
然后，尽管未示出，但是图像处理设备可通过从缩小的图像提取视觉特征并在接收的图像中反映提取的视觉特征来执行图像质量增强处理(S430)。详细地讲，图像处理设备可将接收的图像40划分成多个区域41至44，并且在这种情况下，所述多个区域可彼此部分地重叠。此时，图像处理设备可在划分出的所述多个区域41至44中的每一个区域中反映从缩小的图像提取的视觉特征。
另外，本公开不限于仅在如附图中所示的所述多个区域41至44中反映从缩小的图像本身提取的视觉特征的情况。在除了缩小的图像在接收的图像中被布置的区域之外的区域中按照原样布置接收的图像的状态下提取视觉特征的情况下，在接收的图像40中的各个相应的像素中可反映从缩小的图像与接收的图像被一起布置的图像提取的视觉特征。
另外，在基于所述多个参考点缩小接收的图像并且提取多个视觉特征的情况下，在所述多个区域中可分别反映从基于与所述多个区域相应的参考点缩小的图像提取的视觉特征。例如，在基于左上顶点缩小接收的图像并且提取视觉特征的情况下，可在接收的图像中共享参考点的左上区域中反映提取的视觉特征。
像这样，在通过在所述多个各个相应的区域中分别反映从基于所述多个参考点缩小的图像提取的所述多个视觉特征的情况下，可预期更好的效果。
另外，在图4中示出了在划分出的所述多个区域中同时反映提取的视觉特征的情况。然而，实际上，在所述多个区域中顺序地反映提取的视觉特征。详细地讲，图像处理设备可在左上区域41中反映从缩小的图像提取的视觉特征并临时地存储反映了视觉特征的左上区域41的图像，在右上区域42中反映从缩小的图像提取的视觉特征并临时地存储反映了视觉特征的右上区域的图像，在右下区域43中反映从缩小的图像提取的视觉特征并临时地存储反映了视觉特征的右下区域43的图像，并且在左下区域44中反映从缩小的图像提取的视觉特征并临时地存储反映了视觉特征的左下区域44的图像。
然后，图像处理设备可将反映了提取的视觉特征的多个图像重叠(S440)。像这样，图像处理设备可通过将具有低的图像失真可能性的所述多个区域彼此重叠来执行图像质量增强处理，从而可以降低当重复地执行图像质量增强处理时发生失真的可能性。
图5是示出根据本公开的实施例的确定缩放因子的方法的流程图。
这里，尽管在图5中未示出，但是还可包括首先接收或存储原始图像和原始图像的低清晰度图像的处理。
参照图5，图像处理设备可从通过使用多个缩放因子缩小的图像提取多个视觉特征(S510)。详细地讲，图像处理设备可通过使用所述多个缩放因子中的每个缩放因子来缩小接收的低清晰度图像，并从各个缩小的图像提取视觉特征。
例如，图像处理设备可从通过使用包括0.1、0.3、0.5、0.7和0.9的5个缩放因子缩小的多个缩小的图像提取视觉特征。然后，图像处理设备可通过将每个提取的视觉特征反映在接收的图像中来产生五个图像。
此时，图像处理设备可对通过使用各个缩放因子缩小的所述多个图像进行布置以便与接收的图像的尺寸相应，并从各个布置后的图像提取视觉特征。例如，图像处理设备可对通过使用缩放因子0.1缩小的多个图像进行布置以便与接收的图像的尺寸相应，并且从各个布置后的图像提取视觉特征。类似地，图像处理设备可在使用包括0.3、0.5、0.7和0.9的各个缩放因子的情况下反映视觉特征。另外，实际上，缩放因子不限于以上描述的值并且缩放因子的数量可以是4或更少或者6或更多。
然后，图像处理设备可分别将提取的多个视觉特征与原始图像的视觉特彼此进行比较(S520)。详细地讲，图像处理设备可通过使用多层方法针对原始图像的视觉特征和提取的多个视觉特征分别计算具有各种尺寸的特征图。这里，层与图像的尺寸有关，并且随着层的索引增大，图像的整体尺寸减小。例如，在层的索引小的情况下，针对图像中的窄范围的特征图被计算，并且在层索引大的情况下，针对图像中的更宽范围的特征图被计算。
此外，可基于计算的特征图对每层计算如等式(1)中所示的用于计算特征图之间的关系的格拉姆矩阵
这里，l指层的索引，i和j指特征图的索引，k指像素索引。
为了使从缩小的图像提取的视觉特征与原始图像的视觉特征相似，在各个层上获得的格拉姆矩阵需要彼此相似。因此，图像处理设备获得如等式(2)所示的每个层L上的原始图像的视觉特征的格拉姆矩阵与提取的视觉特征的格拉姆矩阵之间的差值(EL)。
这里，GL和分别指第L层上的原始图像的视觉特征的格拉姆矩阵和提取的视觉特征的格拉姆矩阵。
接下来，图像处理设备可计算原始图像的视觉特征的相应像素的格拉姆矩阵与提取的视觉特征的相应像素的格拉姆矩阵之间的差值的均值
这里，和/>分别指原始图像的视觉特征的像素位置和提取的视觉特征的像素位置。
然后，图像处理设备可确定与所述多个提取的视觉特征之中的与原始图像的视觉特征具有最高相似度的视觉特征相应的缩放因子(S530)。这里，最高相似度指格拉姆矩阵之间的差值的均值最小。也就是说，图像处理设备可将在多个缩放因子之中的与以下视觉特征相应的缩放因子确定为稍后将用于缩小接收的图像的优化缩放因子：所述视觉特征与原始图像的视觉特征的格拉姆矩阵差值的均值为最小。
另外，实际上，可通过重复地执行上述处理的机器学习来确定最适用于产生与原始图像相似的高清晰度图像的缩放因子。
然后，图像处理设备可存储确定的优化缩放因子(S540)。另外，在一些情况下，可省略存储优化缩放因子的处理。
另外，已经对在图像处理设备中获得用于缩小接收的低清晰度图像的优化缩放因子的情况进行了描述。然而，实际上，上述处理可在诸如服务器的外部装置中执行，并且图像处理设备也可接收并使用在外部装置中确定的优化缩放因子。
如上所述，通过重复地执行与原始图像进行比较的机器学习来确定可产生与原始图像最相似的高清晰度图像的优化缩放因子，使得当稍后输入低清晰度图像时，可在不使用外部数据库的情况下产生具有良好渲染纹理的高清晰度图像。
图6是示出根据本公开的另一实施例的确定优化缩放因子的方法的流程图。
这里，尽管在图6中未示出，但是还可包括首先以查找表的形式存储与图像的劣化程度相应的缩放因子的处理。
参照图6，图像处理设备可对接收的图像执行用于增强图像质量的预处理(S610)。详细地讲，图像处理设备可通过使用常规的图像提升方法对接收的图像执行预处理。例如，图像处理设备可通过基于图像的信号变化检测边缘并减小检测的区域的宽度或者增加强度来对图像进行处理使得图像包括更清晰的边缘。这仅是实施例，并且图像处理设备可通过使用各种方法执行用于增强接收的图像的图像质量的预处理。
然后，图像处理设备可测量与接收的图像进行比较的预处理图像的图像质量增强率(S620)。详细地讲，图像处理设备可通过将接收的图像的图像质量与预处理的图像的图像质量进行比较来测量预处理的图像的图像质量增强率。
然后，图像处理设备可确定接收的图像的图像质量劣化的程度(S630)。详细地讲，图像处理设备可通过使用测量的预处理的图像的图像质量增强率来确定接收的图像的图像质量劣化的程度。例如，图像处理设备可确定预处理的图像的图像质量增强率越高，则接收的图像的图像质量劣化的程度越高。
然后，图像处理设备可确定与确定的图像质量劣化的程度相应的缩放因子(S640)。详细地讲，图像处理设备可将存储的查找表中的与确定的图像质量劣化的程度相应的缩放因子确定为将用于缩小接收的图像的优化缩放因子。
另外，以上已经对通过使用通过将接收的图像的图像质量与预处理的图像的图像质量进行比较而得到的图像质量劣化的程度来确定优化缩放因子的情况进行了描述。然而，实际上，也可通过从接收的图像本身的图像质量或预处理的图像本身的图像质量得到图像质量劣化的程度来确定优化缩放因子。
如上所述，根据各种接收的图像的图像质量劣化的各种程度确定优化缩放因子，从而可以在不使用外部数据库的情况下产生具有良好渲染纹理的高清晰度图像。
图7是用于描述根据本公开的实施例的具有划分的区域的图像的示图。
参照图7，接收的图像70的示例包括站在草地71上的斑马72。详细地讲，接收的图像70可包括因为存在许多难以区分的边缘所以图像信号具有高频的草地71区域和因为边缘相对地清楚所以图像信号具有低频的斑马72区域。
在这种情况下，图像处理设备可通过仅对接收的图像70的部分重复地执行图像质量增强处理来产生高清晰度图像。详细地讲，图像处理设备可将图像划分成图像信号具有高频的区域作为纹理区域、以及图像信号具有相对低频的区域作为图案区域，并且对各个区域执行不同的图像处理。在这种情况下，图像处理设备可确定具有预定频率范围的图案区域是否被包括在接收的图像中，在所述图案区域被包括在接收的图像中的情况下对所述图案区域重复地执行缩小操作、提取操作和图像质量增强处理，并且对除了所述图案区域之外的区域仅执行一次缩小操作、提取操作和图像质量增强处理。以下将参照图8进行详细的描述。
图8是用于描述用于图7中示出的图像的图像处理方法的流程图。
参照图8，首先，图像处理设备可基于图像信号的频率将接收的图像划分成多个区域。详细地讲，图像处理设备可确定接收的图像的图像信号的频率是否等于或大于预定值(S701)。
在确定在图像信号中的区域中图像信号的频率等于或大于所述预定值的情况下(S701中为是)，图像处理设备可缩小接收的图像(S702)。此时，图像信号的频率等于或大于所述预定值的区域可以是纹理区域。另外，图像处理设备可通过使用预定的优化缩放因子或根据接收的图像的劣化程度确定的优化缩放因子来缩小接收的图像。
另外，尽管未示出，但是图像处理设备可执行用于增强接收的图像的图像质量的预处理并然后缩小预处理的图像。
然后，图像处理设备可从缩小的图像提取视觉特征(S703)。此时，图像处理设备也可在提取视觉特征之前布置多个缩小的图像以便与接收的图像的尺寸相应，并且从各个布置后的图像提取视觉特征。
然后，图像处理设备可通过在接收的图像中反映提取的视觉特征来产生高清晰度图像(S704)。详细地讲，图像处理设备可通过将接收的图像划分成每个区域具有与缩小的图像的尺寸相应的尺寸的多个区域并且在每个划分出的区域中应用从缩小的图像提取的视觉特征来产生高清晰度图像。另外，在从布置多个缩小的图像的图像提取视觉特征的情况下，图像处理设备可通过在接收的图像中将视觉特征分别应用在与布置的图像相应的位置来产生高清晰度图像。然后，图像处理设备也可通过在接收的图像中重复地应用提取的视觉特征来产生高清晰度图像。
另外，在确定在区域中图像信号的频率小于所述预定值的情况下(S701中为否)，图像处理设备可将接收的图像缩小到预定比率(S705)。此时，图像信号的频率小于所述预定值的区域可以是图案区域。
然后，图像处理设备可从缩小的图像提取视觉特征(S706)。另外，尽管未示出，但是图像处理设备可执行用于增强接收的图像的图像质量的预处理并且然后缩小预处理的图像。
然后，图像处理设备可通过在接收的图像中反映提取的视觉特征来执行图像质量增强处理(S707)。
然后，图像处理设备可确定经过图像质量增强处理的图像的图像质量是否满足图像质量条件(S708)。此时，图像处理设备可根据图像质量增强处理是否被执行了通过使用优化缩放因子和单位缩放因子而得到的预定次数来确定是否满足预定的图像质量条件。可选地，也可通过确定经过图像质量增强处理本身的图像的图像质量来确定是否满足预定的图像质量条件。
在确定经过图像质量增强处理的图像的图像质量满足图像质量条件的情况下(S708中为是)，图像处理设备可将纹理区域的高清晰度图像与经过图像质量增强处理的图案区域的图像组合。
另外，在确定经过图像质量增强处理的图像的图像质量不满足图像质量条件的情况下(S708中为否)，可再次从将经过图像质量增强处理的图像缩小到预定比率的处理(S705)开始执行图像质量增强处理。已经参照图1、图3和图4提供了其详细的描述，由此可省略重复的描述。
另外，尽管以上已经分别描述了将接收的图像划分成两个区域并且通过使用不同的缩放因子对所述两个区域执行不同次数的图像质量增强处理的情况，但接收的图像可被划分成三个或更多个区域并被处理。
此外，不同的缩放因子也可被应用于每个帧。
如上所述，根据图像的特征应用各种缩放因子，使得即使在输入了纹理被渲染的纹理区域和非纹理区域被混合的低清晰度图像的情况下也可产生总体更高清晰度的图像。
根据以上描述的各种实施例，在没有外部数据库的情况下通过缩小低清晰度图像并且使用提取的视觉特征可产生高清晰度图像，从而减少存储器占用和提升所需的时间。此外，通过使用增强图像质量所依据的最小缩小比率来重复地执行图像质量增强处理，从而在图像中没有失真区域的情况下产生高清晰度图像。
另外，上述的本公开的多种实施例可以使用软件、硬件或软件和硬件的组合被实现在计算机或计算机可读记录介质中。作为示例，根据硬件实现方案，可使用用于执行其它功能的专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器和电子单元中的至少一个来实现本公开中描述的实施例。在一些情况下，本公开中描述的实施例可通过处理器120本身实现。根据软件实现方案，在本公开中描述的诸如过程和功能的实施例可通过单独的软件模块来实现。软件模块中的每个模块可执行在本公开中描述的一个或更多个功能和操作。
另外，可将根据上述的本公开的各种实施例的用于控制显示设备的方法存储在非暂时性可读介质中。可在各种设备中安装并使用非暂时性可读介质。
非暂时性计算机可读介质不是在其中暂时存储数据的介质，诸如寄存器、高速缓存器、存储器等，而是指在其中半永久地存储数据并且能够由设备读取的介质。详细地讲，可在非暂时性可读介质(诸如压缩盘(CD)、数字多功能盘(DVD)、硬盘、蓝光盘、通用串行总线(USB)、存储卡、只读存储器(ROM)等中存储并提供用于执行上述的各种方法的程序。
尽管上面已经示出并描述了本公开的实施例，但本公开不限于上述特定实施例，并且可由本公开所属领域的技术人员在不脱离如所附权利要求公开的本公开的要旨的情况下进行各种修改。这些修改也应该被理解为落入本公开的范围和精神中。

Claims (13)

1.一种图像处理设备，包括：
输入单元，被配置为接收图像；以及
处理器，被配置为：将接收的图像缩小到预定比率，从缩小的图像提取视觉特征，
通过以下操作来执行在接收的图像中反映提取的视觉特征的图像质量增强处理：将接收的图像划分成具有与缩小的图像的尺寸相应的尺寸的多个区域，在划分出的所述多个区域中反映提取的视觉特征，并将反映了提取的视觉特征的所述多个区域重叠，
并且对经过所述图像质量增强处理的图像重复地执行预定次数的所述缩小、所述提取和所述图像质量增强处理。
2.如权利要求1所述的图像处理设备，其中，所述处理器基于接收的图像中的多个参考点缩小接收的图像并从多个缩小的图像提取视觉特征。
3.如权利要求2所述的图像处理设备，其中，所述多个参考点与所述多个区域分别相应，并且
所述处理器在划分出的所述多个区域中分别反映视觉特征，其中，视觉特征是从基于与所述多个区域相应的参考点缩小的图像提取的。
4.如权利要求1所述的图像处理设备，其中，提取的视觉特征是亮度、颜色、暗度、饱和度、对比度、边缘的形状和密度以及颜色布置中的至少一个。
5.如权利要求1所述的图像处理设备，其中，所述预定比率是在从0.9至0.99的范围中的值。
6.如权利要求1所述的图像处理设备，其中，所述处理器确定接收的图像的劣化状态，并且根据确定的劣化状态确定重复地执行所述缩小、所述提取和所述图像质量增强处理的所述预定次数。
7.如权利要求1所述的图像处理设备，其中，所述处理器执行用于增强接收的图像的图像质量的预处理，并且通过反映从预处理的图像被缩小到所述预定比率的缩小的图像提取的视觉特征来对预处理的图像执行所述图像质量增强处理。
8.如权利要求1所述的图像处理设备，其中，所述处理器确定具有预定频率范围的图案区域是否被包括在接收的图像中，在所述图案区域被包括在接收的图像中的情况下对所述图案区域重复地执行所述缩小、所述提取和所述图像质量增强处理，并且对除了所述图案区域之外的区域仅执行一次所述缩小、所述提取和所述图像质量增强处理。
9.如权利要求1所述的图像处理设备，还包括：显示器，被配置为显示重复地经过所述预定次数的所述图像质量增强处理的图像。
10.如权利要求1所述的图像处理设备，还包括：通信器，被配置为向显示装置发送重复地经过所述预定次数的所述图像质量增强处理的图像。
11.一种图像处理方法，包括：
接收图像；
将接收的图像缩小到预定比率；
从缩小的图像提取视觉特征；
通过以下步骤来执行在接收的图像中反映提取的视觉特征的图像质量增强处理：将接收的图像划分成具有与缩小的图像的尺寸相应的尺寸的多个区域，在划分出的所述多个区域中反映提取的视觉特征，并将反映了提取的视觉特征的所述多个区域重叠；以及
对经过所述图像质量增强处理的图像重复地执行预定次数的所述缩小、所述提取和所述图像质量增强处理。
12.如权利要求11所述的图像处理方法，其中，在所述缩小中，基于在接收的图像中的多个参考点缩小接收的图像，并且
在所述提取中，从多个缩小的图像提取视觉特征。
13.如权利要求12所述的图像处理方法，其中，所述多个参考点与所述多个区域分别相应，并且
在所述反映中，在划分出的所述多个区域中分别反映视觉特征，其中，视觉特征是从基于与所述多个区域相应的参考点缩小的图像提取的。
CN201780079267.6A 2016-11-09 2017-11-08 图像处理设备和图像处理方法 Active CN110088799B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020160148510A KR102271285B1 (ko) 2016-11-09 2016-11-09 영상처리장치 및 영상처리방법
KR10-2016-0148510 2016-11-09
PCT/KR2017/012627 WO2018088806A1 (ko) 2016-11-09 2017-11-08 영상처리장치 및 영상처리방법

Publications (2)

Publication Number Publication Date
CN110088799A CN110088799A (zh) 2019-08-02
CN110088799B true CN110088799B (zh) 2023-10-27

Family

ID=62109777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780079267.6A Active CN110088799B (zh) 2016-11-09 2017-11-08 图像处理设备和图像处理方法

Country Status (5)

Country Link
US (1) US11195261B2 (zh)
EP (1) EP3525164A4 (zh)
KR (1) KR102271285B1 (zh)
CN (1) CN110088799B (zh)
WO (1) WO2018088806A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102384234B1 (ko) * 2016-10-26 2022-04-07 삼성전자주식회사 영상처리장치, 영상처리방법 및 컴퓨터 판독가능 기록 매체
KR102166841B1 (ko) * 2018-11-26 2020-10-16 한국전자기술연구원 영상 화질 개선 시스템 및 그 방법
CN111343484A (zh) * 2018-12-19 2020-06-26 飞思达技术（北京）有限公司 基于人工智能的iptv/ott智能质量告警方法
CN111368932B (zh) * 2020-03-16 2021-05-28 赢技科技发展(杭州)有限公司 一种图像比对的方法及系统
CN111415311B (zh) * 2020-03-27 2023-03-14 北京航空航天大学杭州创新研究院 资源节约型图像质量增强模型
CN112085679B (zh) * 2020-09-08 2022-03-22 眸芯科技（上海）有限公司 宽度调节的边缘增强处理方法及应用
CN116940960A (zh) 2021-05-24 2023-10-24 三星电子株式会社 电子装置及其图像处理方法
KR20220158525A (ko) * 2021-05-24 2022-12-01 삼성전자주식회사 전자 장치 및 그 영상 처리 방법
CN113298055A (zh) * 2021-07-27 2021-08-24 深兰盛视科技（苏州）有限公司 静脉识别方法、装置、设备及计算机可读存储介质
KR102619814B1 (ko) * 2021-10-13 2024-01-03 (주)나임기술 프레임 그래버의 리사이즈 영상 획득을 이용한 로봇팔 제어시스템 및 그 방법
CN114255226A (zh) * 2021-12-22 2022-03-29 北京安德医智科技有限公司 多普勒全流程定量分析方法及装置、电子设备和存储介质
KR20240062472A (ko) * 2022-11-01 2024-05-09 삼성전자주식회사 에지 영상을 이용하여 출력 영상을 획득하는 디스플레이 장치 및 그 제어 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1957371A (zh) * 2004-05-31 2007-05-02 诺基亚公司 用于查看与增强图像的方法和系统
CN102113306A (zh) * 2008-03-20 2011-06-29 惠普开发有限公司 基于缩略图的图像质量检查
CN103096106A (zh) * 2011-11-01 2013-05-08 三星电子株式会社 图像处理设备和方法
CN103226810A (zh) * 2012-01-26 2013-07-31 索尼公司 图像处理设备和图像处理方法
JP2013168779A (ja) * 2012-02-15 2013-08-29 Hitachi-Ge Nuclear Energy Ltd 検査方法および検査装置
WO2015113826A1 (en) * 2014-01-30 2015-08-06 Thomson Licensing Method and device for enhancing quality of an image

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100707268B1 (ko) 2005-10-08 2007-04-16 삼성전자주식회사 영상보간장치 및 영상보간방법
JP5706177B2 (ja) 2010-02-09 2015-04-22 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 超解像処理装置及び超解像処理方法
JP2013021635A (ja) * 2011-07-14 2013-01-31 Sony Corp 画像処理装置、画像処理方法、プログラム、及び記録媒体
US8483516B2 (en) 2011-08-16 2013-07-09 National Taiwan University Super resolution system and method with database-free texture synthesis
KR101332030B1 (ko) * 2012-02-10 2013-11-22 한양대학교 에리카산학협력단 영상 확대방법 및 이를 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
US9652830B2 (en) * 2012-03-05 2017-05-16 Thomson Licensing Dtv Method and apparatus for performing hierarchical super-resolution of an input image
JP2014068273A (ja) * 2012-09-26 2014-04-17 Olympus Imaging Corp 画像編集装置、画像編集方法、およびプログラム
US9123138B2 (en) * 2013-06-18 2015-09-01 Adobe Systems Incorporated Adaptive patch-based image upscaling
US9984440B2 (en) * 2013-06-18 2018-05-29 Adobe Systems Incorporated Iterative patch-based image upscaling
KR102091136B1 (ko) * 2013-07-02 2020-03-19 삼성전자주식회사 영상 화질 개선 방법, 장치 및 기록 매체
CN105453132B (zh) * 2013-08-15 2019-04-05 日本电气株式会社 实施图像处理的信息处理设备和图像处理方法
US9691133B1 (en) * 2013-12-16 2017-06-27 Pixelworks, Inc. Noise reduction with multi-frame super resolution
US11024009B2 (en) * 2016-09-15 2021-06-01 Twitter, Inc. Super resolution using a generative adversarial network

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1957371A (zh) * 2004-05-31 2007-05-02 诺基亚公司 用于查看与增强图像的方法和系统
CN102113306A (zh) * 2008-03-20 2011-06-29 惠普开发有限公司 基于缩略图的图像质量检查
CN103096106A (zh) * 2011-11-01 2013-05-08 三星电子株式会社 图像处理设备和方法
CN103226810A (zh) * 2012-01-26 2013-07-31 索尼公司 图像处理设备和图像处理方法
JP2013168779A (ja) * 2012-02-15 2013-08-29 Hitachi-Ge Nuclear Energy Ltd 検査方法および検査装置
WO2015113826A1 (en) * 2014-01-30 2015-08-06 Thomson Licensing Method and device for enhancing quality of an image

Also Published As

Publication number Publication date
KR20180051772A (ko) 2018-05-17
EP3525164A1 (en) 2019-08-14
US11195261B2 (en) 2021-12-07
CN110088799A (zh) 2019-08-02
KR102271285B1 (ko) 2021-07-01
US20200058113A1 (en) 2020-02-20
WO2018088806A1 (ko) 2018-05-17
EP3525164A4 (en) 2019-08-21

Similar Documents

Publication Publication Date Title
CN110088799B (zh) 图像处理设备和图像处理方法
US11825033B2 (en) Apparatus and method with artificial intelligence for scaling image data
EP3742388B1 (en) Electronic device, image processing method thereof, and computer-readable recording medium
CN111095350B (zh) 图像处理设备、用于处理图像的方法和计算机可读记录介质
KR102476239B1 (ko) 전자 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
CN109891459B (zh) 图像处理装置及图像处理方法
CN111989917B (zh) 电子设备及其控制方法
US10997947B2 (en) Electronic device and control method thereof
US11006108B2 (en) Image processing apparatus, method for processing image and computer-readable recording medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant