CN111492402B - 用于处理图像的方法和装置及其计算机程序产品 - Google Patents
用于处理图像的方法和装置及其计算机程序产品 Download PDFInfo
- Publication number
- CN111492402B CN111492402B CN201880081966.9A CN201880081966A CN111492402B CN 111492402 B CN111492402 B CN 111492402B CN 201880081966 A CN201880081966 A CN 201880081966A CN 111492402 B CN111492402 B CN 111492402B
- Authority
- CN
- China
- Prior art keywords
- image
- region
- contour
- pixels included
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 181
- 238000000034 method Methods 0.000 title claims description 52
- 238000004590 computer program Methods 0.000 title claims description 10
- 238000003672 processing method Methods 0.000 claims abstract description 25
- 230000015654 memory Effects 0.000 claims description 55
- 230000008569 process Effects 0.000 claims description 37
- 230000001965 increasing effect Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 41
- 239000003623 enhancer Substances 0.000 description 40
- 230000015572 biosynthetic process Effects 0.000 description 16
- 230000008859 change Effects 0.000 description 16
- 238000003786 synthesis reaction Methods 0.000 description 16
- 230000002093 peripheral effect Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 244000025254 Cannabis sativa Species 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000001186 cumulative effect Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000035807 sensation Effects 0.000 description 4
- 230000004308 accommodation Effects 0.000 description 3
- 230000036461 convulsion Effects 0.000 description 3
- 230000002542 deteriorative effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 241001125929 Trisopterus luscus Species 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Analysis (AREA)
Abstract
提供了一图像处理方法,包括:基于图像中包括的像素的值的对比度来确定边缘区域;根据边缘区域中包括的像素的值的分布特性来识别边缘区域中的轮廓区域;以及当轮廓区域被识别到时,执行模糊处理以降低轮廓区域的至少一部分中包括的像素的值的对比度。
Description
技术领域
本公开涉及处理图像的方法、用于处理图像的装置以及计算机程序产品,该计算机程序产品包括其上记录有执行处理图像的方法的计算机程序的计算机可读记录介质。
背景技术
近年来,具有各种功能和高图像质量的图像媒体得到了迅速发展。随着消费者对观看这种图像媒体的需求增加,对超高图像质量的需要也增加了。在这些情形下,超2K广播的超高分辨率TV等的技术发展正在积极进行。
通常,用于显示超高分辨率图像的图像显示设备通过对输入图像数据执行增强处理等来显示图像。当由图像显示设备执行增强处理时,在不考虑图像的特性的情况下,在整个区域上同时执行相同的增强处理,因此图像的三维感(impression)可能恶化。因此,期望一种用于在不恶化图像的三维感的情况下处理图像的技术。
发明内容
技术问题
通常,用于显示超高分辨率图像的图像显示设备通过对输入图像数据执行增强处理等来显示图像。当由图像显示设备执行增强处理时,在不考虑图像的特性的情况下,在整个区域上同时执行相同的增强处理,因此图像的三维感可能恶化。因此,期望一种用于在不恶化图像的三维感的情况下处理图像的技术。
技术方案
提供了一种图像处理方法,包括:基于图像中包括的像素的值的对比度来确定边缘区域;根据边缘区域中包括的像素的值的分布特性来识别边缘区域中的轮廓区域;以及当轮廓区域被识别到时,执行模糊处理以降低轮廓区域的至少一部分中包括的像素的值的对比度。
附图说明
从下面结合附图的描述中,本公开的某些实施例的上述和其他方面、特征、和优点将变得更加明显,附图中:
图1是用于描述根据实施例的图像处理方法的概念图;
图2是根据实施例的执行模糊处理的方法的流程图;
图3是示出根据实施例的图像处理装置的框图;
图4是用于描述根据实施例的图像处理方法的流程图;
图5是示出根据实施例的图像处理装置的框图;
图6是示出根据实施例的轮廓提取器的框图;
图7是示出根据实施例的轮廓提取器的框图;
图8是示出根据实施例的用于进行模糊的FIR滤波器的图;
图9是示出根据实施例的用于边缘特征量提取的索贝尔(Sobel)滤波器的图;
图10是根据实施例的提取轮廓区域的方法的流程图;
图11是示出根据实施例的轮廓模糊器的框图;
图12是示出根据实施例的图像增强器的框图;
图13是示出输入图像的示例的图;
图14是示出图13中所示的输入图像中包括的边缘区域的图;
图15是示出图13中所示的输入图像中包括的轮廓区域的图;
图16是示出图13中所示的输入图像中包括的纹理区域的图;
图17是示出从先前的图像处理装置输出的图像的图;
图18是示出从根据实施例的图像处理装置输出的图像的图;
图19是根据实施例的图像处理方法的流程图;
图20是示出根据实施例的图像处理装置的框图;
图21是用于描述根据实施例的图像处理方法的流程图;
图22是示出根据实施例的图像处理装置的框图;
图23是根据实施例的模糊度检测器的框图;
图24是示出根据实施例的模糊度检测器的框图;
图25是示出根据实施例的模糊度检测器的框图;
图26是描述图23的模糊度检测器的操作的流程图;
图27是描述图25的模糊度检测器的操作的流程图;
图28和29是示出沿着输入图像的水平线并排排列的像素的像素值的曲线图;
图30是示出沿着输入图像的特定水平线并排排列的像素的像素值的曲线图;以及
图31是示出根据实施例的图像处理装置的框图。
具体实施方式
提供了用于处理图像的方法和装置,该方法和装置能够通过根据图像中区域的特性执行模糊处理和增强处理来在不恶化图像的立体感或距离感的情况下提高质量。
额外的方面将部分地在下面的描述中阐述,并且部分地将从描述中明显,或者可以通过所呈现的实施例的实践来了解。
根据本公开的一个方面,提供了一种图像处理方法,其包括基于图像中包括的像素的值的对比度来确定图像中的边缘区域;根据边缘区域中包括的像素的值的特性分布来识别边缘区域中的轮廓区域;以及执行模糊处理以降低轮廓区域中包括的像素的值的对比度。
根据本公开的一个方面,提供了一种图像处理装置,其包括:存储器,被配置为存储计算机可读指令;显示器;以及处理器,被配置为执行存储器中存储的计算机可读指令,该指令当被执行时,处理器被配置为控制图像处理装置执行图像处理方法,该图像处理方法包括:基于图像中包括的像素的值的对比度来确定图像中的边缘区域,根据边缘区域中包括的像素的值的特性分布来识别边缘区域中的轮廓区域,以及执行模糊处理以降低轮廓区域中包括的像素的值的对比度。
根据本公开的一个方面,提供了一种计算机程序产品,该计算机程序产品包括其上记录有计算机程序的计算机可读记录介质,该计算机程序被配置为执行:基于图像中包括的像素的值的对比度来确定图像中的边缘区域;根据边缘区域中包括的像素的值的特性分布来识别边缘区域中的轮廓区域;以及执行模糊处理以降低轮廓区域中包括的像素的值的对比度。
现在将详细参考实施例,其示例在附图中示出,其中相同的附图标记始终指代相同的元件。在这点上,实施例可以具有不同的形式,并且不应该被解释为限于这里阐述的描述。因此,下面仅通过参考附图来描述实施例,以解释各方面。如本文所使用的,术语“和/或”包括相关联的列出的项目中的一个或多个的任意和全部组合。诸如“至少一个”的表达当在元素列表之前时,修饰整个元素列表,而不修饰列表的单个元素,使得“至少一个a、b和c”的表达或类似的表达包括仅a,仅b,仅c,仅a和b,仅a和c,仅b和c,以及所有a、b和c。
将简要描述本说明书中使用的术语,并且将详细描述本公开。
关于本公开的各种实施例中的术语,考虑到本公开的各种实施例中的结构元件的功能,选择当前广泛使用的通用术语。然而,术语的含义可以根据意图、司法先例、新技术的出现等而改变。此外,在某些情况下,可以选择不常用的术语。在这种情况下,将在本公开的描述中的相应部分详细描述该术语的含义。因此,在本公开的各种实施例中使用的术语应该基于这里提供的术语的含义和描述来定义。
包括序数的术语(诸如第一、第二等)可以用来描述各种元素,但是这些元素不受术语的限制。上述术语仅用于将一个元件与另一个元件区分开。例如,在不脱离本公开的范围的情况下,第一元件可以被称为第二元件,并且类似地,第二元件也可以被称为第一元件。术语“和/或”包括多个相关项目的任意组合或多个相关项目的任意一个。
此外,除非有相反的明确描述,否则词语“包括”和诸如“包含”或“包含”的变体将被理解为传达对所陈述的元素的包括,但是不排除任何其他元素。此外,说明书中使用的术语“单元”或“模块”是指软件组件或硬件组件(如FPGA或ASIC)以及执行特定的角色的“单元”。然而,术语“单元”或“模块”不意在限于软件或硬件。“单元”或“模块”可以被配置为在可寻址存储介质上,并且可以被配置为回放一个或多个处理器。因此,例如,“单元”和“模块”可以包括组件,诸如软件组件、面向对象的软件组件、类组件和任务组件、进程、函数、属性、过程、子程序、程序代码段、驱动器、固件、微代码、电路、数据、数据库、数据结构、表、数组和变量。在“单元”或“模块”中提供的组件和功能可以被组合成更少数量的组件和“单元”或“模块”,或者可以被进一步划分为更多数量的组件和“单元”或“模块”
在下文中,将参考附图详细描述本公开的实施例。然而,本公开中的操作可以以许多不同的形式体现,并且不应该被解释为限于这里阐述的实施例。为了清楚地说明本公开,省略了与描述不相关的部分,并且在整个说明书中相同的部分由相同的附图标记表示。
图1是用于描述根据实施例的图像处理方法的概念图。
参考图1,根据实施例的图像处理装置可以确定包括多个像素的图像100中的边缘区域110。边缘区域是指其中具有像素的值(例如,亮度)的大对比度的区域。换句话说,其中多个像素的值突然改变的区域可以被定义为边缘区域。例如,图像处理装置可以比较多个像素的值,以识别与等于或大于预设值的值的差相对应的区域,并且将识别到的区域确定为边缘区域。
此外,根据实施例的图像处理装置可以识别边缘区域110内的轮廓区域112。本公开中的轮廓区域112的特征如下。
特征1:轮廓区域中包括的像素的对比度大。
特征2:轮廓区域中边缘特征量的方差小。
在上述特征2中,边缘特征量可以通过使用类哈尔(Harr-like)特征量、像素差特征量、定向梯度直方图(histograms of oriented gradients,HOG)特征量、定向边缘直方图(edge of orientation histogram,EOH)特征量和边缘特征量中的一个或者两个或更多个的组合来确定。
图像处理装置可以对轮廓区域112中包括的像素中的至少一些像素执行模糊处理。例如,图像处理装置可以对轮廓区域112中包括的所有像素执行模糊处理。在另一示例中,图像处理装置可以对轮廓区域112中包括的像素中其对比度超过临界值的像素执行模糊处理。图像处理装置可以对轮廓区域112中包括的至少一些像素执行模糊处理,从而提供具有三维感或深度感的图像100。
当轮廓区域112被识别到时,根据另一实施例的图像处理装置可以对图像100的除了轮廓区域112之外的区域中的至少一些区域执行增强处理。例如,图像处理装置可以对图像100的除了轮廓区域112的区域中包括的像素、或者图像100的除了边缘区域110的区域中包括的像素执行增强处理。图像处理装置可以对图像100的除了轮廓区域112之外的区域中的至少一些区域执行增强处理,从而防止图像由于图像100的立体感或距离感的丢失而被显示为非自然(unnatural)图像。
当轮廓区域112被识别到时,根据另一实施例的图像处理装置可以对轮廓区域112的至少一部分执行模糊处理,并且对除了轮廓区域112之外的区域中的至少一些区域执行模糊处理。
在下文中,将更具体地描述一种方法,通过该方法,图像处理装置根据图像中包括的像素的特性来识别图像中的区域,并且对识别到的区域执行模糊或增强处理。
图2是根据实施例的执行模糊处理的方法的流程图。
在操作S210中,图像处理装置可以确定图像中的边缘区域,其中该边缘区域中包括的像素的值的对比度等于或大于预设值。这里,像素的值可以是例如亮度值。然而,亮度值仅仅是一个示例,并且像素的值不限于上述示例。
在操作S220中,图像处理装置可以根据边缘区域中包括的像素的值的分布特性来识别边缘区域内的轮廓区域。根据实施例的图像处理装置可以将边缘区域中具有像素值之间的大对比度、和边缘特征量的低方差的区域识别为轮廓区域。另一方面,根据实施例,图像处理装置可以获得关于图像中的轮廓区域的信息。关于轮廓区域的信息是关于图像中包括的像素当中被包括在轮廓区域中的像素的信息,并且可以包括相应像素的坐标和像素值。
在操作S230中,当轮廓区域被识别到时,图像处理装置可以执行模糊处理,该模糊处理降低到轮廓区域的至少一部分的像素的值对比度。图像处理装置可以输出其中轮廓区域的至少一部分被模糊的图像。
另一方面,根据另一实施例,在执行模糊处理之后,图像处理装置可以附加地对除了轮廓区域之外的区域中的至少一些区域执行增强处理。
图3是示出根据第一实施例的图像处理装置300的框图。
如图3中所示,根据第一实施例的图像处理装置300可以包括轮廓提取器310、模糊器320、图像增强器330和图像合成器340。
根据一实施例的轮廓提取器310、模糊器320、图像增强器330和图像合成器340可以对包括包含特定像素和该特定像素周围的外围像素的x个垂直像素和x个水平像素(x是正整数)的每个区域或图像的每个帧执行处理。
该图像处理装置还可以包括至少一个处理器,如中央处理单元(centralprocessing unit,CPU)和存储器。当CPU执行存储器中存储的程序时,可以执行轮廓提取器310、模糊器320、图像增强器330和图像合成器340的所有处理。
轮廓提取器310可以从输入到图像处理装置300的图像数据中包括的边缘区域数据中提取轮廓区域数据。边缘区域数据是关于图像的边缘区域中包括的像素的数据,并且可以包括边缘区域中包括的像素的坐标和像素值(例如,亮度)。此外,轮廓区域数据是关于图像的轮廓区域中包括的像素的数据,并且可以包括轮廓区域中包括的像素的坐标和像素值(例如,亮度)。此外,输入到图像处理装置300的图像数据可以包括纹理区域数据、平坦区域数据等。纹理区域数据和平坦区域数据可以包括图像数据中的纹理区域和平坦区域中包括的像素的坐标和像素值(例如,亮度)。
轮廓提取器310可以向模糊器320和图像增强器330输出包括关于轮廓区域数据中包括的像素的坐标的信息的轮廓信号。
模糊器320可以对轮廓区域数据执行模糊处理。此外,模糊器320可以将作为模糊处理的结果获得的模糊图像数据输出到图像合成器340。
图像增强器330可以对除了图像中包括的轮廓区域之外的区域中包括的像素执行增强处理。此外,图像增强器330可以将作为增强处理的结果获得的增强图像数据输出到图像合成器340。
图像合成器340可以将从模糊器320输入的模糊图像数据与从图像增强器330输入的增强图像数据进行组合。此外,图像合成器340可以将作为合成结果生成的图像数据输出到显示设备。
同时,根据另一实施例,模糊图像数据可以从模糊器320输入到图像增强器330,并且模糊图像数据和增强图像数据可以在图像增强器330中合成。同样,增强图像数据可以从图像增强器330输入到模糊器320,并且模糊图像数据和增强图像数据可以在模糊器320中合成。在这种情况下,图像处理装置300可以不包括图像合成器340。
图4是用于描述根据第一实施例的图像处理方法的流程图。
在操作S410中,轮廓提取器310可以从图像中提取轮廓。例如,轮廓提取器310可以从输入图像数据中包括的边缘区域数据中提取轮廓区域数据。轮廓提取器310可以向模糊器320和图像增强器330输出包括轮廓区域中包括的像素的坐标的轮廓信号。
在操作S420中,模糊器320可以对轮廓区域执行模糊处理。此外,模糊器320可以将作为模糊处理的结果获得的模糊图像数据输出到图像合成器340。
在操作S430中,图像增强器330可以对图像中除了轮廓区域之外的区域执行增强处理。此外,图像增强器330可以将作为增强处理的结果获得的增强图像数据输出到图像合成器440。
在操作S440中,图像合成器340可以将模糊图像数据与增强图像数据合成。此外,图像合成器340可以将作为合成结果生成的图像数据输出到显示设备,并终止图像处理。
另一方面,操作S420和S430的处理可以如上所述或以相反的顺序执行。
在根据第一实施例的图像处理方法中,仅对图像中的边缘区域中包括的轮廓区域执行模糊,因此可以增加轮廓区域的亮度等级。因此,图像处理装置可以在不损害显示图像的立体感或距离感的情况下执行图像处理。
图5是示出根据实施例的图像处理装置500的框图。
参考图5,根据实施例的图像处理装置500可以包括行存储器容纳单元510、轮廓提取器520、轮廓模糊器530、图像增强器540、输出像素切换器550和控制器560。
控制器560可以包括CPU和存储器。当CPU执行存储器中存储的程序时,可以执行控制器560的所有处理。
此外,控制器560的存储器中存储的程序可以包括用于实现上述处理的计算机可读指令。此外,存储器可以包括能够存储例如用于控制器560的处理的程序或各种信息的任何存储设备。
控制器560可以控制图像处理装置500中包括的组件中的每个组件的操作。具体地,控制器560中包括的CPU可以执行存储器中存储的程序,从而执行行存储器容纳单元510、轮廓提取器520、轮廓模糊器530、图像增强器540和输出像素切换器550的操作。
行存储器容纳单元510可以包括多个行存储器L1、L2、L3、...、和Ln,其中的每一个都包括静态随机存取存储器(static random access memory,SRAM)等。行存储器容纳单元510可以在多个行存储器L1、L2、L3、...、和Ln中顺序地存储输入到图像处理装置500的图像数据。具体地,当输入到图像处理装置500的图像数据是全高清(HD)图像数据(即,图像数据的分辨率是2K)时,一个行存储器L可以存储1920个水平排列的像素的数据(例如,每个像素8比特的数据)。此外,行存储器容纳单元510可以对多个行存储器L1、L2、L3、...、和Ln中存储的数据执行行延迟处理。
轮廓提取器520、轮廓模糊器530和图像增强器540可以从行存储器容纳单元510的多个行存储器L1、L2、L3、...、和Ln加载在轮廓提取器520、轮廓模糊器530和图像增强器540处处理所需的像素的数据。
轮廓提取器520可以从输入到图像处理装置500的图像数据中包括的边缘区域数据中提取轮廓区域数据,并且输出包括轮廓区域中的像素的坐标的轮廓信号。这里,轮廓信号可以包括图像数据中包括的像素的坐标和指示该像素是否被包括在轮廓区域中的轮廓级别(level)。根据另一示例,轮廓级别包括指示像素被包括在轮廓区域中的概率。可以根据像素的边缘特征量来计算轮廓级别。轮廓提取器520可以通过计算每个像素的轮廓级别来确定该像素是否被包括在轮廓区域中。因此,轮廓提取器520可以从输入图像数据中识别轮廓区域。
图6是示出根据实施例的轮廓提取器的框图。
参考图6,轮廓提取器520可以包括第一低通滤波器(low-pass filter,LPF)610、边缘特征量提取器620、低级别轮廓边缘特征量去除器630和第二LPF 640。
第一LPF 610可以通过从自行存储器容纳单元510的多个行存储器L1、L2、L3、...、和Ln获得的图像数据中去除高频分量来执行模糊。第一LPF610是轮廓提取过程中的预处理滤波器,并且可以通过从行存储器容纳单元510读出的数据中去除高频分量(如噪声、孤立点和纹理分量)来模糊图像数据。
作为第一LPF 610,例如,可以使用其核大小为NxN的有限脉冲响应(finiteimpulse response,FIR)滤波器(N是正整数)。作为第一LPF 610的示例,图8示出了根据一个实施例的用于模糊的FIR滤波器。参考图8,FIR滤波器是其核大小为7x7的数字滤波器,用于处理一个目标像素P1和目标像素P1周围的其他外围像素P2。
然而,这仅是一个示例,线性FIR滤波器或如双边滤波器的非线性FIR滤波器可以用作第一LPF 610。
边缘特征量提取器620可以从通过第一LPF 610模糊的图像数据中提取边缘特征量。此时,可以使用索贝尔(Sobel)滤波器来提取边缘特征量。图9示出了根据一个实施例的用于边缘特征量提取的索贝尔滤波器。参见图9,索贝尔滤波器是其核大小为3x3的数字滤波器。图9左侧所示的滤波器指示用于在水平方向上提取边缘特征量的索贝尔滤波器,并且图9右侧所示的滤波器指示用于在垂直方向上提取边缘特征量的索贝尔滤波器。另一方面,索贝尔滤波器仅是用于提取边缘特征量的滤波器的示例,并且可以通过使用另一数字滤波器来提取边缘特征量。
此外,边缘特征量提取器620可以将边缘特征量输出到低级别轮廓边缘特征量去除器630。边缘特征量可以通过使用类哈尔(Harr-like)特征量、像素差特征量、定向梯度直方图(HOG)特征量、定向直方图边缘(edge of orientation histogram,EOH)特征量和边缘特征量中的至少一个或者两个或更多个的组合来确定。
低级别轮廓边缘特征量去除器630可以确定由边缘特征量提取器620提取的边缘特征量是否等于或大于阈值。低级别轮廓边缘特征量去除器630可以将其边缘特征量小于临界值的区域确定为不太可能是轮廓区域的区域,并且从轮廓区域的候选中去除相应的区域。具体地,低级别轮廓边缘特征量去除器630可以改变其边缘特征量小于临界值并且大于一小于特定值的值的区域的边缘特征量的值。例如,低级别轮廓边缘特征量去除器630可以将其边缘特征量小于临界值的区域的边缘特征量的值改变为零。此外,低级别轮廓边缘特征量去除器630可以将被改变为一小于特定值的值的边缘特征量输出到第二LPF 640。
低级别轮廓边缘特征量去除器630可以确定具有等于或大于临界值的边缘特征量的边缘区域中包括的像素的数量是否等于或大于预设值。当具有等于或大于临界值的边缘特征量的边缘区域中包括的像素的数量小于该预设值时,低级别轮廓边缘特征量去除器630可以确定该区域不太可能是轮廓区域,并且从轮廓区域的候选中去除相应区域。具体地,低级别轮廓边缘特征量去除器630可以将对应区域的边缘特征量的值改变为小于特定值(例如,零)的值。例如,边缘特征量的值可以设置为零。此外,低级别轮廓边缘特征量去除器630可以将被改变的特征量输出到第二LPF 640。
当具有等于或大于临界值的边缘特征量的边缘区域中包括的像素的数量等于或大于该预设值时,低级别轮廓边缘特征量去除器630可以将相应区域确定为可能是轮廓区域的区域,并将相应区域的边缘特征量输出到第二LPF 640。
第二LPF 640是轮廓提取过程中的后处理滤波器,并且可以模糊从低级别轮廓边缘特征量去除器630输入的被改变为小于特定值的值的特征量、和从低级别轮廓边缘特征量去除器630输入的边缘特征量。
结果,当包括与轮廓不相关的像素的区域的边缘特征量的值减小时,在下面描述的增强图像数据和模糊图像数据的合成期间,如增强像素和模糊像素之间的空间不连续性和时间不连续性的副作用可以减小。这里,通过第二LPF 640,模糊像素的特征量(包括边缘特征量)可以用作轮廓级别。第二LPF 640可以向输出像素切换器550输出包括像素坐标和对应像素的轮廓级别的轮廓信号。例如,可以使用如图8中所示的其核大小为NxN的FIR滤波器作为第二LPF 640。
图7是示出根据另一实施例的轮廓提取器的框图。
参考图7,轮廓提取器520可以包括第一LPF 710、边缘特征量提取器720和第二LPF730。图7的第一LPF 710、边缘特征量提取器720和第二LPF 730的操作可以对应于上面参考图6描述的第一LPF 610、边缘特征量提取器620和第二LPF 640的操作。换句话说,图7中所示的轮廓提取器520可以不执行用于从轮廓区域的候选中去除不太可能是轮廓区域的边缘区域的操作。
图10是根据实施例的提取轮廓区域的方法的流程图。
在操作S1010中,图像处理装置可以将第一LPF应用于图像数据。具体地,图像处理装置可以通过从从行存储器容纳单元的多个行存储器L1、L2、L3、...、和Ln获得的数据中去除高频分量来执行模糊。线性FIR滤波器或如双边滤波器的非线性FIR滤波器可以用作第一LPF。
在操作S1020中,图像处理装置可以从通过第一LPF模糊的图像数据中提取边缘特征量。例如,对于边缘特征量的提取,可以使用索贝尔滤波器。
在操作S1030中,图像处理装置可以确定提取的边缘特征量是否等于或大于临界值。
在操作S1040中,当边缘特征量小于临界值时,图像处理装置可以确定具有相应边缘特征量的边缘区域不太可能是轮廓区域,并且从轮廓区域的候选中去除相应边缘区域。具体地,图像处理装置可以将边缘特征量的值改变为小于特定值的值(例如,零)。
在操作S1050中,当边缘特征量等于或大于临界值时,图像处理装置可以确定边缘区域中包括的具有等于或大于临界值的边缘特征量的像素的数量是否等于或大于预设值。
在操作S1060中,当具有等于或大于临界值的边缘特征量的边缘区域中包括的像素的数量小于预设值时,图像处理装置可以确定该区域不太可能是轮廓区域,并且从轮廓区域的候选中去除相应的边缘区域。具体地,图像处理装置可以将边缘特征量的值改变为小于特定值的边缘特征量(例如,零)。
在操作S1070中,图像处理装置可以模糊边缘区域的边缘特征量和改变的边缘特征量,该边缘区域具有等于或大于临界值的边缘特征量并且在操作S1060中被确定为包括等于或大于预设值的像素的数量的边缘区域。结果,当包括与轮廓不相关的像素的区域的边缘特征量的值变得更小时,在下面描述的增强图像数据和模糊图像数据的图像合成期间,如增强像素和模糊像素之间的空间不连续性和时间不连续性的副作用可以减少。
此外,通过上述操作S1030至S1060的处理,可以确定当边缘特征量的方差高时,具有相应边缘特征量的边缘区域不太可能是轮廓区域。从操作S1030到S1060的处理是用于提取满足上述轮廓区域的特征2的边缘区域的数据作为轮廓区域数据的处理。
返回参考图5,轮廓模糊器530可以对从行存储器容纳单元510的多个行存储器L1、L2、L3、...和Ln加载的数据执行模糊处理。图11是示出根据实施例的轮廓模糊器530的框图。如图11中所示,轮廓模糊器530可以包括第三LPF 1110。
第三LPF 1110可以通过从自行存储器容纳单元510加载的数据中去除高频分量来执行模糊。例如,如上述的第一LPF 610和第二LPF 640,其核大小为NxN的FIR滤波器可以被用作第三LPF 1110。此外,第三LPF 1110可以向输出像素切换器550输出模糊图像数据。另一方面,用作第一LPF610、第二LPF 640和第三LPF 1110的数字滤波器可以彼此不同。
返回参考图5,图像增强器540可以从行存储器容纳单元510的多个行存储器L1、L2、L3、...和Ln加载的数据执行图像增强处理。具体地,图像增强器540可以对关于边缘区域数据的数据和关于除了边缘区域以外的区域的数据执行不同的图像增强处理。图12是示出根据实施例的图像增强器540的框图。
参考图12,图像增强器540可以包括纹理+边缘增强器1210、边缘检测器1220和像素切换器1230。
纹理+边缘增强器1210可以对从行存储器容纳单元510的多个行存储器L1、L2,L3,...和Ln加载的数据执行图像增强处理。具体地,纹理+边缘增强器1210可以通过使用其核大小为NxN的FN滤波器来执行图像增强处理。由纹理+边缘增强器1210执行的图像增强处理可以是例如反锐化掩模(unsharp masking)处理。纹理+边缘增强器1210可以将经过图像增强处理的图像数据输出到像素切换器1230。
边缘检测器1220可以通过使用例如索贝尔滤波器根据从行存储器容纳单元510的多个行存储器L1、L2、L3、...、和Ln加载的数据来计算边缘特征量。接下来,像素的坐标和相应像素的边缘特征量可以被输出到像素切换器1230。边缘检测器1220可以将边缘特征量输出到像素切换器1230,并且因此像素切换器1230可以根据相应的边缘特征量的值来切换用于合成增强图像数据的数据。因此,像素切换器1230可以对图像数据中包括的边缘区域、纹理区域和平坦区域执行不同的图像增强处理。
像素切换器1230可以基于从边缘检测器1220输入的像素的坐标和边缘特征量,从边缘区域、纹理区域和平坦区域中的每一个切换输出到输出像素切换器550的图像数据。具体地,像素切换器1230可以归一化从边缘检测器1220输入的像素的特征量。例如,当图像数据包括每个像素8位数据时,像素切换器1230可以将特征量归一化为从大约0.0到大约1.0的值。这里,归一化特征量的值将由增益(Gain)表示。
此外,从纹理+边缘增强器1210输入到像素切换器1230的图像增强图像数据将被表示为Penh。此外,由图像增强器540从行存储器容纳单元510的多个行存储器L1、L2、L3、...、和Ln加载的数据将被表示为Pin。此时,像素切换器1230可以通过根据下面的等式1计算每个像素的Pout执行图像合成来生成图像增强图像数据。
[等式1]
Pout=Gain*Penh+(1.0-Gain)*Pin
因此,像素切换器1230可以针对具有相对大的特征量的边缘区域和纹理区域,使用从纹理+边缘增强器1210输入的相对大量的经图像增强的图像数据来执行图像合成,并且通过使用从行存储器容纳单元510的多个行存储器L1、L2、L3、...、和Ln加载的相对大量的数据(未经过图像增强处理的数据)来执行图像合成。换句话说,图像增强器540可以对关于边缘区域数据的数据和关于除了边缘区域之外的区域的数据执行不同的图像增强处理。
此外,像素切换器1230可以将经图像合成的图像数据作为增强图像数据输出到输出像素切换器550。此外,像素切换器1230可以使用按原样没有归一化的特征数量作为等式1的增益。例如,当特征量的值从大约0到大约255时,像素切换器1230可以将整个等式1除以256。
输出像素切换器550可以基于从轮廓提取器520输入的轮廓信号,将关于从轮廓区域和除了轮廓区域之外的包括边缘区域、纹理区域和平坦区域的区域输出的像素的数据切换到显示设备。具体地,输出像素切换器550可以基于从轮廓提取器520输入的轮廓信号中包括的像素的轮廓级别来切换用于图像合成的数据。更具体地,输出像素切换器550可以首先将从轮廓提取器520输入的像素的轮廓级别归一化为从大约0.0到大约1.0的值。这里,被归一化的轮廓级别的值将由α表示。
此外,从轮廓模糊器530输入到输出像素切换器550的模糊图像数据将由A表示,从图像增强器540输入到输出像素切换器550的增强图像数据将由B表示。此时,输出像素切换器550可以通过经由根据下面的等式2针对每个像素计算执行图像合成,来生成输出图像数据。
[等式2]
C=α*A+(1.0-α)*B
因此,输出像素切换器550可以针对具有高轮廓级别的轮廓区域使用从轮廓模糊器530输入的相对大量的模糊图像数据来执行图像合成,并且通过针对除了轮廓区域之外的区域使用从图像增强器540输入的相对大量的经图像增强的图像数据来执行图像合成。此外,输出像素切换器550可以将合成图像数据作为输出图像数据输出到显示设备。此外,输出像素切换器550可以使用按原样没有进行归一化的轮廓级别作为等式2的α的值。当不执行归一化时(例如,当轮廓级别的值从大约0到大约255时),整个等式2可以除以256并用于图像合成。
在下文中,将参考图13至图18将应用根据实施例的图像处理的图像与应用先前的图像处理的图像进行比较。
图13是示出输入图像的示例的图。在图13中所示的输入图像中,显示了天空1310、草地1320、人1330和盒子1340。
图14是示出图13中所示的输入图像中包括的边缘区域的图。图15是示出图13中所示的输入图像中包括的轮廓区域的图。在本实施例中,轮廓区域可以是与天空1310、草地1320、人1330和盒子1340的边界相对应的区域。图16是示出图13中所示的输入图像中包括的纹理区域的图。
图17是示出从先前的图像处理装置输出的图像的图。在先前的图像处理装置中,图14中所示的边缘区域和图15中所示的轮廓区域不可区分,并且轮廓区域也以与其他边缘区域相同的方式被增强。因此,天空1310、草地1320、人1330和盒子1340之间的边界被非自然地增强,如图17中所示。具体地,由于在由先前的图像处理装置输出的图像中,天空1310、草地1320、人1330和盒子1340的边界的对比度太强,因此该图像表现为彼此重叠的天空1310、草地1320、人1330和盒子1340的2D图像,并且因此三维感或深度感丢失。
图18是示出根据实施例的从图像处理装置输出的图像的图。在根据示例性实施例的图像处理装置中,可以使用相对大量的模糊图像数据来对具有高轮廓级别的轮廓区域执行图像合成,并且可以通过使用从图像增强器540输入的相对大量的经图像增强的图像数据来对除了轮廓区域之外的区域执行图像合成。因此,如图18中所示,天空1310、草地1320、人1330和盒子1340的边界可以被模糊,并且边界的亮度等级(gradation)可以增加。因此,根据实施例的图像处理装置可以将立体感和距离感赋予天空1310、草地1320、人1330和盒子1340的边界。
如上所述,根据实施例的图像处理装置可以从输入图像数据的边缘区域提取轮廓区域,并且通过使用轮廓区域的模糊图像数据来合成图像。因此,轮廓区域可以被模糊,因此轮廓区域的亮度等级可以增加。换句话说,根据实施例的图像处理装置可以将立体感和距离感赋予轮廓区域。
此外,由于图像处理装置针对图像数据的除了轮廓区域之外的区域使用经图像增强的图像数据来合成图像,所以可以对除了轮廓区域之外的区域适当地执行图像增强处理。此外,图像处理装置可以对关于边缘区域数据的数据和关于除了边缘区域之外的区域的数据执行不同的图像增强处理。因此,对于除了输入图像数据的轮廓区域之外的区域,通过使用通过至少对边缘区域和除了边缘区域之外的区域执行不同的图像增强处理而生成的经图像增强的图像数据来合成图像,并且因此可以对除了轮廓区域之外的区域执行适用于边缘区域和除了边缘区域之外的区域的图像增强处理。
图19是根据第二实施例的图像处理方法的流程图。
在操作S1910中,图像处理装置可以确定图像中的边缘区域,其中该边缘区域中包括的像素的值的对比度等于或大于预设值。
同时,操作S1910可以对应于上面参考图2描述的操作S210。
在操作S1920中,图像处理装置可以根据边缘区域中包括的像素的值的分布特性来识别边缘区域内的轮廓区域。
同时,操作S1920可以对应于上面参考图2描述的操作S220。
在操作S1930中,当轮廓区域被识别到时,图像处理装置可以执行模糊处理,该模糊处理增加像素的值与除了轮廓区域之外的区域中的至少一些区域的对比度。在这种情况下,图像处理装置可以对除了轮廓区域之外的所有区域执行相同的增强处理,或者可以取决于各个区域的特性执行不同的增强处理。例如,图像处理装置可以对不被包括在轮廓区域中的边缘区域执行第一增强处理,并且对不被包括在边缘区域中的区域执行第二增强处理。
图20是示出根据第二实施例的图像处理装置2000的框图。
参考图20,图像处理装置2000可以包括轮廓提取器2010、模糊度检测器2020、模糊器2030、图像增强器2040和图像合成器2050。轮廓提取器2010、图像增强器2040和图像合成器2050可以分别对应于上面参考图3描述的轮廓提取器310、图像增强器330和图像合成器340。因此,将省略对轮廓提取器2010、图像增强器2040和图像合成器2050的描述。
此外,图像处理装置2000可以包括CPU和存储器。当CPU执行存储在存储器中的程序时,可以执行轮廓提取器2010、模糊度检测器2020、模糊器2030、图像增强器2040和图像合成器2050的所有处理。
轮廓提取器2010可以检测数据的模糊度。此外,轮廓提取器2010可以向模糊器2030输出指示轮廓区域的模糊度是否高于特定值的模糊度信号。这里,模糊度可以基于例如输入到图像处理装置2000的图像数据中包括的像素的值的差异统计来确定。
模糊器2030可以对其模糊度小于或等于特定值的轮廓区域数据执行模糊处理。此外,模糊器2030可以不对其模糊度高于特定值的轮廓区域数据执行模糊处理。此外,模糊器2030可以向图像合成器2050输出模糊数据和未模糊的数据。
接下来,将参考图21描述根据第二实施例的图像处理方法。
在操作S2110中,图像处理装置可以从输入图像数据中包括的边缘区域数据中提取轮廓区域数据。
在操作S2120中,图像处理装置可以检测轮廓区域数据的模糊度。图像处理装置可以确定轮廓区域的模糊度是否高于特定值。
在操作S2130中,图像处理装置可以对其模糊度等于或小于特定值的轮廓区域数据执行模糊处理。图像处理装置可以通过合成模糊数据和未模糊的数据来获得模糊度切换图像数据。
在操作S2140中,图像处理装置可以对关于图像数据中包括的除了轮廓区域之外的区域的数据执行图像增强处理,从而获得增强图像数据。
在操作S2150中,图像处理装置可以将经模糊度切换的图像数据与增强图像数据组合。此外,图像处理装置可以将作为合成结果生成的输出图像数据提供给显示设备。
另一方面,可以在操作S2120之前执行操作S2140,并且可以同时执行操作S2140的处理、操作S2120的处理和操作S2130的处理。
在上述根据第二实施例的图像处理装置2000和图像处理方法中,不仅可以获得与根据第二实施例的图像处理方法相同的效果,而且可以对输入图像数据中除了轮廓区域之外的边缘区域中包括的区域执行图像增强处理。换句话说,可以不对轮廓区域执行图像增强处理。因此,根据第二实施例的图像处理方法可以防止图像由于对轮廓区域执行图像增强处理而导致的立体感或距离感的损失而被显示为非自然图像。
此外,在根据第二实施例的图像处理方法中,可以对输入图像数据中具有低模糊度的轮廓区域执行模糊处理。因此,可以增加具有低模糊度并且没有立体感和距离感的轮廓区域中的亮度等级,并且可以向其赋予立体感和距离感。另一方面,在输入图像数据中,具有足够模糊度的轮廓区域未被模糊,从而防止轮廓区域不必要地模糊。
在下文中,参考图22至图30,将更详细地描述根据第二实施例的图像处理方法。
图22是示出根据第二实施例的图像处理装置2000的框图。
图像处理装置2200包括行存储器容纳单元2210、轮廓提取器2220、轮廓模糊器2230、图像增强器2240、输出像素切换器2250、模糊度检测器2260、模糊像素切换器2270和控制器2280。这里,行存储器容纳单元2210、轮廓提取器2220、轮廓模糊器2230、图像增强器2240和输出像素切换器2250可以分别对应于行存储器容纳单元510、轮廓提取器520、轮廓模糊器530、图像增强器540和输出像素切换器550。
模糊度检测器2260可以检测输入到图像处理装置2200的图像数据的模糊度。详细地,模糊度检测器2260可以计算从行存储器容纳单元2210的多个行存储器L1、L2、L3、...、和Ln加载的数据中包括的像素值的导数。模糊度检测器2260可以向模糊像素切换器2270输出模糊度信号,该模糊度信号基于导数的统计来指示输入图像中包括的每个区域的模糊度是否高于特定值。
图23是根据实施例的模糊度检测器的框图。
参考图23,模糊度检测器可以包括导数检测器2310、方差检测器2320和临界值处理器2330。下面将参考图26描述导数检测器2310、方差检测器2320和临界值处理器2330的操作。
图26是用于描述上面参考图23描述的模糊度检测器的操作的流程图。
在操作S2610中,导数检测器2310可以计算从行存储器容纳单元加载的数据中包括的像素的像素值的导数。这里,导数可以通过每个像素的像素值的一阶导数或二阶导数来计算。
在操作S2620中,导数检测器2310可以收集像素附近的M个像素导数(M是正整数),并将M个像素导数输出到方差检测器2320。换句话说,对于输入图像的每个特定区域,导数检测器2310可以将该特定区域中包括的像素的导数输出到方差检测器2320。
在操作S2630中,方差检测器2320可以计算从导数检测器2310输入的特定区域中包括的像素的导数的方差。方差检测器2320可以向临界值处理器2330输出计算值作为方差。
在操作S2640中,临界值处理器2330可以确定从方差检测器2320输入的方差是否小于或等于临界值。
在操作S2650中,当输入方差小于或等于临界值时,临界值处理器2330可以向平坦化(planarized)像素切换器2270输出指示该特定区域的模糊度高的模糊度信号。
在操作S2660中,临界值处理器2330可以向平坦化像素切换器2270输出指示该特定区域的模糊度低的模糊度信号。
这里,将参考图28和图29描述临界值处理器2330所使用的临界值。图28和29是示出沿着输入图像的水平线并排排列的像素的像素值的曲线图。在该曲线图中,纵轴代表像素值,并且横轴代表像素位置。此外,例如,在图28和图29中假设输入图像的分辨率是8K。
参考图28,沿着水平线并排排列的像素的像素值在目标像素的曲线PP1周围的四个外围像素的曲线PP2上逐渐变化。换句话说,像素值变化的分辨率是2K。像素值的2K分辨率变化是8K分辨率输入图像中的模糊变化。换句话说,该区域可以被确定为是高度模糊的。
参考图29,沿着水平线并排排列的像素的像素值在目标像素的曲线PP1周围的外围像素的曲线PP2上突然改变。换句话说,像素值变化的分辨率是8K。像素值的8K分辨率变化不是8K分辨率输入图像中的模糊变化。换句话说,该区域可以被确定为具有低模糊度的区域。如上面参考图28和图29所述的,临界值处理器2330使用的临界值可以基于输入图像的分辨率等来确定。例如,当包括彼此相邻的M个像素的特定区域具有等于输入图像的分辨率的分辨率的像素值变化时,可以确定临界值,使得临界值处理器2330向模糊像素切换器2270输出指示特定区域的模糊度低的模糊度信号。
图24是示出根据另一实施例的模糊度检测器的框图。
参考图24,模糊度检测器可以包括导数检测器2410、直方图生成器2420和临界值处理器2430。因为导数检测器2410对应于上面参考图23描述的导数检测器2310,所以将省略其描述。
直方图生成器2420可以生成包括在从导数检测器2410输入的特定区域中的像素值的导数的直方图,并将生成的直方图输出到临界值处理器2430。这里,直方图的横轴表示像素值的导数,并且纵轴表示导数的频率。
临界值处理器2430可以基于从直方图生成器2420输入的直方图来确定特定区域的模糊度。例如,当小于特定临界值的区间(bin)BIN的累积频率大于比该特定临界值大的区间BIN的累积频率时,临界值处理器2430可以向模糊像素切换器2270输出指示该特定区域的模糊度高的模糊度信号。例如,当大于特定临界值的区间BIN的累积频率大于比特定临界值小的区间BIN的累积频率时,临界值处理器2430可以向模糊像素切换器2270输出指示该特定区域的模糊度低的模糊度信号。
图25是示出根据另一实施例的模糊度检测器的框图。
参考图25,模糊度检测器可以包括导数检测器2510、反转计数累加器2520和临界值处理器2530。在下文中,将参考图27描述图25中所示模糊度检测器的模糊度检测处理。
图27是用于描述上面参考图25描述的模糊度检测器的操作的流程图。
在操作S2710中,导数检测器2310可以计算包括在从行存储器容纳单元加载的数据中的像素的像素值的导数。这里,导数可以通过每个像素的像素值的一阶导数来计算。
在操作S2720中,导数检测器2510可以收集像素附近的M个像素导数(M是正整数),并将M个像素导数输出到反转计数累加器2520。换句话说,对于输入图像的每个特定区域,导数检测器2510可以将该特定区域中包括的像素的导数输出到反转计数累加器2520。
在操作S2730中,反转计数累加器2520可以比较从导数检测器2510输入的、该特定区域中包括的相邻像素的导数符号,并确定像素的导数符号是否被反转。另一方面,当相邻像素的导数符号没有被反转时,反转计数累加器2520可以确定在该特定区域中没有像素值的急变(shoot),并且模糊度检测过程可以进行到操作S2750。
在操作S2740中,反转计数累加器2520可以确定相邻像素中的急变数是否小于或等于临界值。当相邻像素的导数符号被反转时,反转计数累加器2520可以确定在特定区域中存在像素值的急变,并且确定急变数是否小于或等于临界值。具体地,反转计数累加器2520可以累加相邻像素反转的次数,并将累加的次数输出到临界值处理器2530。
在操作S2750中,当该特定区域中的像素值的急变数大于临界值时,临界值处理器2530可以向平坦化像素切换器2270输出指示该特定区域的模糊度高的模糊度信号。可替换地,在操作S2760中,当该特定区域中的像素值的急变数小于临界值时,临界值处理器2530可以向平坦化像素切换器2270输出指示该特定区域的模糊度低的模糊度信号。这里,将参考图30描述临界值处理器2530使用的临界值。
图30是示出沿着输入图像的特定水平线并排排列的像素的像素值的曲线图。在该曲线图中,纵轴代表像素值,并且横轴代表像素位置。此外,例如,在图30中假设输入图像的分辨率是8K。
参考图30,沿着水平线并排排列的像素的像素值在目标像素的曲线PP1周围的四个外围像素的曲线PP2上逐渐变化。换句话说,像素值变化的分辨率是2K。然而,在四个外围像素的曲线PP2的左侧存在过冲(overshoot),而在四个外围像素的曲线PP2的右侧存在下冲(undershoot)。因此,具有急变的像素值的变化不是模糊的变化。换句话说,沿着水平线并排排列的像素区域的模糊度低。
如参考图30所描述的,当在包括目标像素的曲线PP1和外围像素的曲线PP2的特定区域中包括的像素值中包括急变时,可以基于该特定区域的模糊度是否低来确定图25中所示的临界值处理器2530所使用的临界值。
返回参考图22,模糊像素切换器2270可以基于从模糊度检测器2260输入的模糊度信号,切换要输出到输出像素切换器2250的具有低模糊度的区域、具有高模糊度的区域或具有中高模糊度的区域的像素数据。具体地,模糊像素切换器2270可以使用从轮廓模糊器2230输入的模糊图像数据对具有低模糊度的区域执行图像合成,并且使用从行存储器容纳单元2210的多个行存储器读出的数据对具有高模糊度的区域或具有中高模糊度的区域执行图像合成。模糊像素切换器2270可以将合成图像数据作为模糊切换图像数据输出到输出像素切换器2250。
输出像素切换器2250可以基于从轮廓提取器2220输入的轮廓信号,将关于从轮廓区域和除了轮廓区域之外的包括边缘区域、纹理区域和平坦区域的区域输出的像素的数据切换到显示设备。具体地,输出像素切换器2250可以基于从轮廓提取器2220输入的轮廓信号中包括的像素的轮廓级别来切换用于图像合成的数据。更具体地,输出像素切换器2250可以使用从模糊像素切换器2270输入的相对大量的模糊切换图像数据来对具有高轮廓级别的轮廓区域执行图像合成,并且通过使用从图像增强器2240输入的相对大量的经图像增强的图像数据来对除了轮廓区域之外的区域执行图像合成。输出像素切换器1150可以将合成图像数据作为输出图像数据输出到显示设备。
图31是示出根据实施例的图像处理装置3100的框图。
参考图31,根据实施例的图像处理装置3100可以包括处理器3110和存储器3120。然而,图像处理装置3100可以配置有比上述组件更少的组件,或者除了上述配置之外的其他组件可以另外包括在图像处理装置3100中。
处理器3110可以执行上面参考图1至图30描述的图像处理装置的操作。具体地,根据实施例的处理器3110可以确定边缘区域,其图像中包括的像素的值的对比度等于或大于预设值。此外,图像处理装置3100可以根据边缘区域中包括的像素值的分布特性来识别边缘区域内的轮廓区域。当轮廓区域被识别到时,图像处理装置3100可以执行模糊处理,该模糊处理降低轮廓区域的至少一部分中包括的像素的值的对比度。
处理器3110可以将边缘区域中包括具有等于或大于临界值的边缘特征量的像素的区域识别为轮廓区域。此外,处理器3110可以将其中边缘区域中具有等于或大于临界值的边缘特征量的像素的数量等于或大于特定值的区域识别为轮廓区域。
根据实施例的处理器3110可以执行增强处理,用于增加除了轮廓区域之外的区域中的至少一些区域上的像素的值的对比度。此外,处理器3110可以对图像的除了轮廓区域之外的区域当中的包括在边缘区域中的第一区域和不包括在边缘区域中的第二区域执行不同的增强处理。根据另一示例,处理器3110可以对图像的除了边缘区域之外的区域执行增强处理。
此外,处理器3110可以将经过模糊处理的图像与经过增强处理的图像进行组合。
同时,当轮廓区域被识别到时,根据另一实施例的处理器3110可以执行增强处理以用于增加除轮廓区域之外的至少一些区域上的像素的值的对比度,而不对轮廓区域执行模糊处理。
本公开的实施例可以被编写为计算机程序,并且可以在使用计算机可读记录介质执行程序的通用数字计算机中实现。
计算机可读记录介质的示例包括磁存储介质(例如,ROM)、软盘、硬盘等)、光学记录介质(例如,CD-ROM或DVD)等。
根据实施例的装置可以包括处理器、用于存储和执行程序数据的存储器、如盘驱动的永久存储装置、用于与外部设备通信的通信端口、以及如触摸面板、按键、按钮等的用户接口。实现为软件模块或算法的方法可以作为可在处理器上执行的计算机可读代码或程序指令存储在计算机可读记录介质上。这里,计算机可读记录介质的示例包括磁存储介质(例如,只读存储器(ROM)、随机存取存储器(random-access memory,RAM)、软盘、硬盘等)和光学读取介质(例如,CD-ROM、数字多功能盘(DVD)等)。计算机可读记录介质可以分布在联网的计算机系统上,从而计算机可读代码可以以分布式方式存储和执行。计算机可读记录介质可以由计算机读取,存储在存储器中,并由处理器执行。
尽管在附图中所示的实施例中使用了特定的附图标记,并且使用了特定的术语来描述实施例,但是本公开不限于特定的术语。实施例可以包括本领域普通技术人员可以想到的所有组件。
一些实施例可以按照功能块组件和各种处理步骤来描述。这种功能块可以由被配置为执行指定功能的任意数量的硬件和/或软件组件来实现。例如,实施例可以采用直接电路组件(如存储器、处理、逻辑、查找表等),该直接电路组件可以在一个或多个微处理器或其他控制设备的控制下执行各种功能。此外,实施例可以采用相同类型或不同类型的核以及不同类型的CPU。类似于本公开的组件可以用软件编程或软件组件来实现,实施例可以包括以数据结构、过程、例程或其他编程结构(诸如C、C++、Java(Java)、汇编器等)的组合来实现的各种算法。功能块可以在一个或多个处理器上执行的算法中实现。此外,本公开可以采用任何数量的用于电子配置、信号处理和/或数据处理的传统技术。词语“机构”、“组件”、“装置”和“配置”被广泛使用,并且不限于机械或物理实施例。术语可以包括结合处理器等的一系列软件例程的含义。
作为示例,实施例中描述的特定执行并不旨在以任何方式限制实施例的范围。为了描述的简洁,可以省略对传统电子配置、控制系统、软件以及这些系统的其他功能方面的描述。此外,附图中所示的组件之间的线路连接或连接构件示意了功能连接和/或物理或电路连接,其可以由各种功能连接、物理连接或电路连接来替代或附加提供。此外,除非另外声明为“必要”或“重要”,否则它其可能不是应用本公开的必要组件。
在实施例的描述(特别是在权利要求中)中使用的术语“所述”和类似的指示词可以指单数和复数两者。此外,在实施例中,当描述范围时,其包括应用属于上述范围的各个值的发明(如果没有相反的描述),并且认为在详细描述中描述了构成上述范围的每个个体值。最后,构成根据实施例的方法的操作可以以适当的顺序执行,除非有明确陈述的操作顺序或任何相反的描述。实施例不必限于描述操作的顺序。所有示例或示例性术语(例如,等)的使用是为了详细描述实施例,并且实施例的范围不受示例或示例性术语的限制,除非受到权利要求的限制。本领域普通技术人员还将理解,在所附权利要求或其等同物的范围内,可以取决于设计标准和因素进行各种修改、组合和变更。
应该理解,这里描述的实施例应该仅被认为是描述性的,而不是出于限制的目的。对每个实施例内的特征或方面的描述通常应被认为可用于其他实施例中的其他类似特征或方面。
虽然已经参考附图描述了一个或多个实施例,但是本领域普通技术人员将理解,在不脱离由所附权利要求限定的精神和范围的情况下,可以在形式和细节上进行各种改变。
Claims (11)
1.一种图像处理方法,包括:
基于图像中包括的像素的值的对比度与对象中包括的像素的值的对比度来识别所述图像中的对象的边缘区域中包括的像素;
根据所述边缘区域中包括的像素的值的特性分布来识别所述边缘区域中的轮廓区域中包括的像素;以及
通过仅对轮廓区域中包括的像素执行模糊处理以用于降低所述轮廓区域中包括的像素的值的对比度,来获得模糊图像,其中,轮廓区域的模糊度等于或小于特定值;
通过对除了轮廓区域之外的至少一些区域中包括的像素执行增强处理以用于增加像素的值的对比度,来获得增强图像;以及
组合模糊图像和增强图像。
2.根据权利要求1所述的图像处理方法,其中,对所述轮廓区域中包括的像素的识别包括:
将所述边缘区域中包括的具有等于或大于临界值的边缘特征量的像素识别为所述轮廓区域中包括的像素。
3.根据权利要求1所述的图像处理方法,其中,对所述轮廓区域中包括的像素的识别包括:
将其中所述边缘区域中包括的具有等于或大于临界值的边缘特征量的像素的数量大于或等于特定值的区域中的像素识别为所述轮廓区域中包括的像素。
4.根据权利要求1所述的图像处理方法,其中,所述增强处理包括:
在所述图像的除了轮廓区域之外的区域当中对包括在所述边缘区域中的第一区域中包括的像素执行的第一增强处理和对不包括在所述边缘区域中的第二区域中包括的像素执行的第二增强处理,其中,第一增强处理与第二增强处理不同。
5.根据权利要求1所述的图像处理方法,其中,所述增强处理包括:
对所述图像的除了所述边缘区域之外的区域中包括的像素的增强处理。
6.一种图像处理装置,包括:
存储器,被配置为存储一个或多个指令;
显示器;和
至少一个处理器,被配置为执行存储在所述存储器中的所述一个或多个指令,
其中,所述至少一个处理器被配置为执行所述一个或多个指令以:
基于图像中包括的像素的值的对比度与对象中包括的像素的值的对比度来识别所述图像中的对象的边缘区域中包括的像素;
根据所述边缘区域中包括的像素的值的特性分布来识别所述边缘区域中的轮廓区域中包括的像素;以及
通过仅对轮廓区域中包括的像素执行模糊处理以用于降低所述轮廓区域中包括的像素的值的对比度,来获得模糊图像,其中,轮廓区域的模糊度等于或小于特定值;
通过对除了轮廓区域之外的至少一些区域中包括的像素执行增强处理以用于增加像素的值的对比度,来获得增强图像;以及
组合模糊图像和增强图像。
7.根据权利要求6所述的图像处理装置,其中,所述至少一个处理器执行所述一个或多个指令以:
将所述边缘区域中包括的具有等于或大于临界值的边缘特征量的像素识别为所述轮廓区域中包括的像素。
8.根据权利要求6所述的图像处理装置,其中,所述至少一个处理器执行所述一个或多个指令以:
将其中所述边缘区域中包括的具有等于或大于临界值的边缘特征量的像素的数量大于或等于特定值的区域中包括的像素识别为所述轮廓区域中包括的像素。
9.根据权利要求6所述的图像处理装置,其中,所述至少一个处理器执行所述一个或多个指令以:
在所述图像的除了所述轮廓区域之外的区域当中对包括在所述边缘区域中的第一区域中包括的像素执行第一增强处理,和对不包括在所述边缘区域中的第二区域中包括的像素执行第二增强处理,其中,所述第一增强处理与第二增强处理不同。
10.根据权利要求6所述的图像处理装置,其中,所述至少一个处理器执行所述一个或多个指令以:
对所述图像的除了所述边缘区域之外的区域中包括的像素执行所述增强处理。
11.一种其上记录有计算机程序的计算机可读记录介质,所述计算机程序被配置为执行根据权利要求1至5中的任一项所述的图像处理方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017254144A JP7265316B2 (ja) | 2017-12-28 | 2017-12-28 | 画像処理装置及び画像処理方法 |
JP2017-254144 | 2017-12-28 | ||
KR10-2018-0153009 | 2018-11-30 | ||
KR1020180153009A KR102567490B1 (ko) | 2017-12-28 | 2018-11-30 | 영상을 처리하는 방법, 장치 및 컴퓨터 프로그램 제품 |
PCT/KR2018/016778 WO2019132548A1 (en) | 2017-12-28 | 2018-12-27 | Method and apparatus for processing image and computer program product thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111492402A CN111492402A (zh) | 2020-08-04 |
CN111492402B true CN111492402B (zh) | 2023-08-18 |
Family
ID=67256848
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880081966.9A Active CN111492402B (zh) | 2017-12-28 | 2018-12-27 | 用于处理图像的方法和装置及其计算机程序产品 |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP3665646B1 (zh) |
JP (1) | JP7265316B2 (zh) |
KR (1) | KR102567490B1 (zh) |
CN (1) | CN111492402B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112669244B (zh) * | 2020-12-29 | 2024-06-11 | 中国平安人寿保险股份有限公司 | 人脸图像增强方法、装置、计算机设备以及可读存储介质 |
US11978412B2 (en) | 2021-02-26 | 2024-05-07 | E Ink Holdings Inc. | Display device and image processing method |
KR20230061747A (ko) * | 2021-10-29 | 2023-05-09 | 주식회사 펫나우 | 반려 동물의 비문 학습 또는 인식을 위한 이미지의 적합성을 검사하기 위한 방법 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000253255A (ja) * | 1999-03-02 | 2000-09-14 | Hitachi Ltd | 信号処理装置および信号処理システム |
CA2481059A1 (fr) * | 2002-10-03 | 2004-10-01 | Societe A Responsabilite Limitee De La Ballina Freres | Procede et installation pour le controle de qualite en boulangerie |
JP2007295321A (ja) * | 2006-04-26 | 2007-11-08 | Matsushita Electric Ind Co Ltd | 輪郭補正装置 |
CN101071549A (zh) * | 2006-05-09 | 2007-11-14 | 索尼株式会社 | 图像显示装置、信号处理装置、图像处理方法、计算机程序产品 |
JP2009251839A (ja) * | 2008-04-04 | 2009-10-29 | Hitachi Ltd | 画像信号処理回路、画像表示装置、および画像信号処理方法 |
CN103455994A (zh) * | 2012-05-28 | 2013-12-18 | 佳能株式会社 | 图像模糊度的确定方法和设备 |
WO2015033695A1 (ja) * | 2013-09-06 | 2015-03-12 | シャープ株式会社 | 画像処理装置 |
WO2016104477A1 (ja) * | 2014-12-26 | 2016-06-30 | 株式会社Screenホールディングス | 画像処理方法、制御プログラムおよび画像処理装置 |
CN106663311A (zh) * | 2014-08-06 | 2017-05-10 | 谷歌公司 | 用于增加图像的位深的系统和方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4534594B2 (ja) * | 2004-05-19 | 2010-09-01 | ソニー株式会社 | 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 |
JP4240324B2 (ja) * | 2006-01-16 | 2009-03-18 | ソニー株式会社 | 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 |
KR101499548B1 (ko) * | 2008-08-01 | 2015-03-06 | 삼성전자주식회사 | 이미지 처리장치, 이미지 처리방법 및 처리방법을실행시키기 위한 프로그램을 저장한 기록매체 |
JP2010154448A (ja) * | 2008-12-26 | 2010-07-08 | Hitachi Ltd | 映像処理装置 |
JP5398365B2 (ja) * | 2009-06-09 | 2014-01-29 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
KR101631953B1 (ko) * | 2014-12-09 | 2016-06-20 | 삼성전자주식회사 | 블러 영역 검출을 위한 영상 처리 방법 및 이를 수행하기 위한 영상 처리 장치 |
-
2017
- 2017-12-28 JP JP2017254144A patent/JP7265316B2/ja active Active
-
2018
- 2018-11-30 KR KR1020180153009A patent/KR102567490B1/ko active IP Right Grant
- 2018-12-27 CN CN201880081966.9A patent/CN111492402B/zh active Active
- 2018-12-27 EP EP18895085.1A patent/EP3665646B1/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000253255A (ja) * | 1999-03-02 | 2000-09-14 | Hitachi Ltd | 信号処理装置および信号処理システム |
CA2481059A1 (fr) * | 2002-10-03 | 2004-10-01 | Societe A Responsabilite Limitee De La Ballina Freres | Procede et installation pour le controle de qualite en boulangerie |
JP2007295321A (ja) * | 2006-04-26 | 2007-11-08 | Matsushita Electric Ind Co Ltd | 輪郭補正装置 |
CN101071549A (zh) * | 2006-05-09 | 2007-11-14 | 索尼株式会社 | 图像显示装置、信号处理装置、图像处理方法、计算机程序产品 |
JP2009251839A (ja) * | 2008-04-04 | 2009-10-29 | Hitachi Ltd | 画像信号処理回路、画像表示装置、および画像信号処理方法 |
CN103455994A (zh) * | 2012-05-28 | 2013-12-18 | 佳能株式会社 | 图像模糊度的确定方法和设备 |
WO2015033695A1 (ja) * | 2013-09-06 | 2015-03-12 | シャープ株式会社 | 画像処理装置 |
CN106663311A (zh) * | 2014-08-06 | 2017-05-10 | 谷歌公司 | 用于增加图像的位深的系统和方法 |
WO2016104477A1 (ja) * | 2014-12-26 | 2016-06-30 | 株式会社Screenホールディングス | 画像処理方法、制御プログラムおよび画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7265316B2 (ja) | 2023-04-26 |
EP3665646B1 (en) | 2021-08-25 |
EP3665646A1 (en) | 2020-06-17 |
KR20190080737A (ko) | 2019-07-08 |
KR102567490B1 (ko) | 2023-08-17 |
EP3665646A4 (en) | 2020-10-21 |
CN111492402A (zh) | 2020-08-04 |
JP2019121053A (ja) | 2019-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Voigtlaender et al. | Online adaptation of convolutional neural networks for the 2017 davis challenge on video object segmentation | |
CN111492402B (zh) | 用于处理图像的方法和装置及其计算机程序产品 | |
CN110765860B (zh) | 摔倒判定方法、装置、计算机设备及存储介质 | |
Ahn et al. | A novel depth-based virtual view synthesis method for free viewpoint video | |
US8682109B2 (en) | Method and system of reconstructing super-resolution image | |
US11089261B2 (en) | Image component detection | |
US20040090523A1 (en) | Image processing apparatus and method and image pickup apparatus | |
US9262811B2 (en) | System and method for spatio temporal video image enhancement | |
WO2018136373A1 (en) | Image fusion and hdr imaging | |
US9235879B2 (en) | Apparatus, system, and method for temporal domain hole filling based on background modeling for view synthesis | |
US20050259870A1 (en) | Image processing apparatus and method, and image pickup apparatus | |
CN103369209A (zh) | 视频降噪装置及方法 | |
KR20160004379A (ko) | 이미지 안정화를 위한 이미지 융합 방법 | |
US11024033B2 (en) | Method and apparatus for processing image and computer program product thereof | |
CN108229346B (zh) | 使用有符号的前景提取与融合的视频摘要 | |
JP6914734B2 (ja) | シルエット抽出装置、方法およびプログラム | |
EP2034436A1 (en) | Method for non-photorealistic rendering | |
CN109636730B (zh) | 用于过滤深度图中的伪像素的方法 | |
Celebi et al. | Fuzzy fusion based high dynamic range imaging using adaptive histogram separation | |
US20030174899A1 (en) | Image processing apparatus | |
CN111161299A (zh) | 影像分割方法、计算机程序、存储介质及电子装置 | |
CN111768426B (zh) | 一种运动目标的检测方法、装置、设备及存储介质 | |
US20110279447A1 (en) | Rendering Transparent Geometry | |
JP2006237716A (ja) | 画像処理装置 | |
Hao et al. | A VLSI-implementation-friendly ego-motion detection algorithm based on edge-histogram matching |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |