CN106161875A - 图像处理装置与方法 - Google Patents
图像处理装置与方法 Download PDFInfo
- Publication number
- CN106161875A CN106161875A CN201510133092.5A CN201510133092A CN106161875A CN 106161875 A CN106161875 A CN 106161875A CN 201510133092 A CN201510133092 A CN 201510133092A CN 106161875 A CN106161875 A CN 106161875A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- input
- high frequency
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000006243 chemical reaction Methods 0.000 claims abstract description 34
- 238000013519 translation Methods 0.000 claims abstract description 27
- 239000000284 extract Substances 0.000 claims abstract description 20
- 238000001678 elastic recoil detection analysis Methods 0.000 claims description 26
- 238000006073 displacement reaction Methods 0.000 claims description 18
- 238000003672 processing method Methods 0.000 claims description 17
- 238000003384 imaging method Methods 0.000 claims description 15
- 238000000926 separation method Methods 0.000 claims description 10
- 230000002093 peripheral effect Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 238000013461 design Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- VEMKTZHHVJILDY-UHFFFAOYSA-N resmethrin Chemical compound CC1(C)C(C=C(C)C)C1C(=O)OCC1=COC(CC=2C=CC=CC=2)=C1 VEMKTZHHVJILDY-UHFFFAOYSA-N 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4061—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by injecting details from different spectral ranges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Image Processing (AREA)
Abstract
本发明实施例公开了一种图像处理装置与方法，其中，图像处理装置包含高频平移元件、高频提取元件、细节增益产生元件以及图像输出元件。高频平移元件用以提取并平移输入图像中的第一高频部分以产生一第一图像；高频提取元件用以提取输入图像中的第二高频部分以产生第二图像；细节增益产生元件用以储存转换表，并根据输入图像中输入像素的像素值与转换表，产生输入像素分别对应的细节增益；图像输出元件用以迭加第一图像与第二图像，并根据细节增益与比例迭加结果产生输出图像的高频成分。
Description
技术领域
本发明公开内容与一种图像处理装置与方法有关，特别是与一种提升图像锐利度(sharpness)的图像处理装置与方法有关。
背景技术
一般图像数据在传送与储存时，因受限于传输速率或储存空间等，往往需采用低解析度的图像格式，为了符合高解析度显示装置的图像规格，再利用图像插补(interpolation)技术提升解析度，使低解析度的图像可显示于高解析度规格的显示装置，然而，图像插补技术虽可加入新像素，但产生的图像往往有模糊或图像品质不佳等问题。而超解析度技术(super resolution,SR)乃是在模糊的图像中增加细节的方法，习知的超解析度技术中有以下数种做法。
第一种乃是使用多帧低解析度图像组成单帧高解析度图像，由于多帧时间轴上相近的低解析度图像所包含的场景相同，因此会包含该场景的不同细节，因此，此做法自多帧时间相近的低解析度图像中分别取出单帧高解析度图像的部分细节而形成高解析度图像。但此做法须耗费大量存储器来储存多帧低解析度图像的资讯。
另一种做法则是以学习基础生成高解析度图像，此做法乃是以低解析度图像中的区块特征搜寻高解析度图像数据库，以高解析度图像数据库中相合的图像区块取代低解析度图像中的区块，但此做法不只须耗费大量存储器来储存高解析度图像数据库，在以区块特征搜寻图像数据库时也须耗费大量计算资源。
发明内容
因此，亟须一种低硬件成本与计算资源需求的图像处理装置与方法来以提升图像锐利度与增加图像细节。
本发明公开内容的一态样为一种图像处理装置，包含高频平移元件、高频提取元件、细节增益产生元件以及图像输出元件。高频平移元件用以提取并平移输入图像中的第一高频部分以产生一第一图像；高频提取元件用以提取输入图像中的第二高频部分以产生第二图像；细节增益产生元件用以储存转换表，并根据输入图像中输入像素的像素值与转换表，产生输入像素分别对应的细节增益；图像输出元件用以比例迭加第一图像与第二图像，并根据细节增益与比例迭加结果产生一输出图像的高频成分。
于一实施例中，图像输出元件将输出图像的高频成分混合至输入图像，以产生输出图像。
于一实施例中，细节增益产生元件用以自输入像素中取出与一第一输入像素间隔一个像素以上的多个邻近像素，并根据第一输入像素与邻近像素的像素值总和查询转换表，以产生细节增益中对应至第一输入像素者，且第一输入像素为输入像素中之一。
于一实施例中，细节增益产生元件用以自第一输入像素的上下左右四个方向，分别取出与第一输入像素间隔一个像素的像素，作为邻近像素。
于一实施例中，细节增益产生元件所储存的转换表对应至一周期性连续函数。
于一实施例中，细节增益在0～N倍之间，其中N为自然数。
于一实施例中，图像高频平移元件包含至少两个过冲高通滤波器，用以对输入图像进行滤波处理并产生多个高频平移图像，高频平移图像中分别包含第一高频成分，自高频平移图像中选取像素值的绝对值最高者作为第一图像。
于一实施例中，过冲高通滤波器分别对应至不同的多个遮罩(mask)，遮罩于中心和外围的系数为正数，且其余系数为负数。
于一实施例中，高频提取元件包含至少两个高通滤波器，分别对应至不同的遮罩，并且用以对输入图像进行滤波处理产生多个高频图像，高频图像中分别包含第二高频成分，自高频图像中选取像素值的绝对值最高者作为第二图像。
本发明公开内容的另一态样为一种图像处理方法，包含下述步骤：提取并平移输入图像中的多个第一高频部分以产生第一图像；提取输入图像中的多个第二高频部分以产生第二图像；根据输入图像中多个输入像素的像素值与一转换表，产生输入像素分别对应的细节增益；比例迭加第一图像与第二图像，并根据细节增益与比例迭加结果产生一输出图像的高频成分。
于一实施例中，将输出图像的高频成分混合至输入图像，以产生输出图像。
于一实施例中，产生细节增益的步骤包含：自输入像素中，取出与第一输入像素间隔一个像素以上的多个邻近像素，并根据第一输入像素与邻近像素的像素值总和查询转换表，以产生细节增益中对应至第一输入像素者，且第一输入像素为输入像素之一。
于一实施例中，产生细节增益的步骤包含：自第一输入像素的上下左右四个方向，分别取出与第一输入像素间隔一个像素的像素，作为邻近像素。
于一实施例中，转换表对应至的周期性连续函数。
于一实施例中，细节增益在0～N倍之间，其中N为自然数。
于一实施例中，产生第一图像的步骤包含：以至少两个过冲高通滤波器对输入图像进行滤波处理，并产生多个分别包含第一高频成分的高频平移图像，自高频平移图像中选取像素值的绝对值最高者作为第一图像。
于一实施例中，过冲高通滤波器分别对应至不同的遮罩，遮罩于中心和外围的系数为正数，其余系数为负数。
于一实施例中，产生第二图像的步骤包含：以至少两个高通滤波器对输入图像进行滤波处理，高通滤波器分别对应至不同的遮罩，滤波处理后产生多个分别包含第二高频成分的高频图像，自高频图像中选取像素值的绝对值最高者作为第二图像。
本发明公开内容的图像处理装置与方法以低硬件成本和低计算资源要求，以单张低解析度图像产生高解析度图像，提升图像的锐利度与细节。
附图说明
图1是依照本发明公开内容实施例示出一种图像处理装置的方块示意图；
图2A是依照本发明公开内容一实施例示出的邻近像素示意图；
图2B是依照本发明公开内容实施例示出的转换表对应函数图；
图3A～3E是为数位图像滤波器对应的遮罩示意图；
图4是依照本发明公开内容实施例示出的高频平移元件示意图；
图5A是依照本发明公开内容实施例示出的高频提取元件示意图；
图5B～5E是依照本发明公开内容实施例示出的高通滤波器对应的遮罩示意图；以及
图6依照本发明公开内容实施例示出的一种图像处理方法的流程图；
其中，附图标记说明如下：
100 图像处理装置
110 高频平移元件
112A 过冲高通滤波器
112B 过冲高通滤波器
120 高频提取元件
122A 高通滤波器
122B 高通滤波器
130 细节增益产生元件
140 图像输出元件
150 输入图像
151 输出图像
210 第一输入像素
220 像素
220A～220D 邻近像素
310～350 遮罩
360A～360B 过冲高通滤波器遮罩
370A～370F 高通滤波器遮罩
600 图像处理方法
S610～S640 步骤。
具体实施方式
为了使本发明公开内容的叙述更加详尽与完备，可参照所附的图式及以下所述各种实施例，图式中相同的号码代表相同或相似的元件。另一方面，众所周知的元件与步骤并未描述于实施例中，以避免对本发明公开内容造成不必要的限制。此外，图式仅以说明为目的，并未依照原尺寸作图。
人眼观察数位图像时，对比度(contrast)是影响感知图像品质(perceptualimage quality)的重要因素，由于人类视觉系统(human visual system，HVS)的特性，高对比度的图像能使人眼观察到更多图像中的细节，另外，由于心理物理效应(psychophysical effect)，高对比度(特别是高对比图像中的高频部分)往往也让观察者认为图像有较高的锐利度，进而提高感知图像品质。根据实验结果，图像中加入适量的高频随机无用信息可提升人眼所观察到的感知图像品质，然而，完全随机或过量的无用信息反而会造成感知图像品质下降。
因此，本发明公开内容发明公开一种图像处理装置100，用以处理输入图像150以产生输出图像151，其硬件元件如图1所示。图1是依照本发明公开内容实施例示出一种图像处理装置100的方块示意图，其中，平行四边形方块代表输入或输出数据，长方形方块代表硬件元件。输入图像150为低解析度图像经一般图像插补(interpolation)技术增加像素后所得的高解析度图像，但一般图像插补技术仅可产生平滑的输入图像150，并无法增加输入图像150的细节，因此，输入图像150仍有细节不足造成的图像模糊问题。本发明公开内容的图像处理装置100用以处理输入图像150，以增加图像细节，并提升输出图像151的图像品质。以下将分别介绍各元件的操作细节。
应注意到，当输入图像150为彩色图像时，像素值可以红绿蓝(RGB)三原色的强度值表示，或是以色调、饱和度和亮度(HSV)的强度值表示，另外尚有其他像素值表示方式，并不限于上述所举示例。当输入图像150为灰阶图像时，像素值则以灰阶强度表示。为便于说明，以下将以像素值为灰阶强度值为例说明，本领域具通常知识者在阅读本发明公开内容后，可将所发明公开内容应用至使用不同像素值表示方式的彩色图像，即本发明公开内容不以灰阶图像为限。
图像处理装置100包含高频平移元件110、高频提取元件120、细节增益产生元件130以及图像输出元件140。高频平移元件110用以提取并平移输入图像150中的第一高频部分以产生第一图像。高频提取元件120用以提取输入图像150中的第二高频部分以产生第二图像；细节增益产生元件130用以储存转换表，转换表记录一输入值与一输出值的对应关系，细节增益产生元件130根据输入图像150中输入像素的像素值与转换表产生输入像素分别对应的细节增益；图像输出元件140用以比例迭加第一图像与第二图像，并根据细节增益与比例迭加结果产生输出图像151的高频成分。
细节增益产生元件130根据输入图像150中像素的像素值，并通过转换表加入随机成分以产生细节增益，而图像输出元件140则计算输入图像150中经平移的第一高频部分与未经平移的第二高频部分的比例迭加结果(或称加权迭加结果)，以产生输出图像151的高频成分。在一些实施例中，图像输出元件140直接将所产生输出图像151的高频成分将混和至输入图像150中，进而产生对比度较输入图像150高且图像细节更加丰富的输出图像151。具体而言，混合高频平移元件110所产生的第一图像将增加输出图像151中包含的图像细节，而根据包含随机成分的细节增益来混合第一图像与第二图像使得输出图像151的最高频率大于输入图像150，以下将对细节增益产生元件130做进一步的说明。
图2A是依照本发明公开内容一实施例示出的邻近像素示意图，于本实施例中，第一输入像素210为输入图像150的输入像素其中一者，细节增益产生元件130用以自输入像素中取出与第一输入像素210间隔一个像素以上的多个邻近像素(如像素220)，与像素220用相同方式标示的像素即为符合条件的像素，而细节增益产生元件130自其中选取多个作为邻近像素，并且以第一输入像素210与邻近像素的像素值总和作为输入值查询转换表，以所对应输出值作为对应至第一输入像素210的细节增益。
细节增益产生元件130于取出第一输入像素210的邻近像素时，选择与第一输入像素210相隔一个像素以上的输入像素，即与像素220标示相同的像素，如此一来，第一输入像素210与其相邻的输入像素所取得的邻近像素不会重复，相邻的输入像素对应的像素值总和有较大差异，因此查询转换表所产生的细节增益也更有机会不同，使得相邻的输入像素将会对应至差别较大的细节增益，进一步放大输出图像151中相邻像素的像素值的差别，达到提高图像对比度的目的。另外，由于细节增益用于混合输入图像150中的第一高频部分与第二高频部分，因此输出图像151仍与输入图像150相关，输出图像151所加入的细节，也即经细节增益加权过后的第一图像与第二图像，也将与输入图像150一致，进而产生自然的输出图像151。
于一实施例中，细节增益产生元件130用以自第一输入像素210的上下左右四个方向，分别取出与第一输入像素210间隔一个像素的像素作为邻近像素220A～220D。于其他实施例中，细节增益产生元件130自上下左右以及对角方向，分别取出与第一输入像素210间隔一个像素的像素作为8个邻近像素，并以此8个邻近像素与第一输入像素210的像素值和产生细节增益。本领域具通常知识者可根据应用选取邻近像素，并不限于所举示例。
于另一实施例中，细节增益产生元件130所储存的转换表对应至如图2B所示的周期性连续函数，周期性连续函数的周期性使输入图像150中亮部(高像素值)和暗部(低像素值)的输入像素均有机会对应至高细节增益或低细节增益，让产生的细节增益中包含随机性。另外，当图像处理装置100用以处理图像串流或连续性的影音档案时，两张时间连续的输入图像150中拍摄到同一场景或物体的图像区域的像素值不会完全相同，会因无用信息影响有细微的差异，而周期性连续函数的连续性使连续两张输入图像150中受无用信息干扰的部分，对应至相近的细节增益，使连续两张输出图像151中拍摄到相同场景或物体的区域有稳定且不跳动的图像品质。于图2B中，周期性连续函数为重复的三角形函数，于其他实施例中，周期性连续函数可为重复的半圆形函数，本领域具通常知识者可思及其他周期性连续函数，并不限于所举示例。
于另一实施例中，转换表中输入值所对应的细节增益的值范围在0～N倍之间。于一些实施例中，细节增益的范围可为0～N之间的任意小数。于其他实施例中，转换表中输入值所对应的细节增益的值的范围为0～127之间的任意整数，以方便对像素值进行数位运算。本领域具通常知识者在阅读本发明公开内容后，可依需要设计N的大小与细节增益的数值型态，不限于上述所举示例。
在说明高频平移元件110与高频提取元件120的细节前，先参照图3A～3E以简介数位图像滤波器。图3A～3E是为数位图像滤波器对应的遮罩示意图，数位图像滤波器用以对数位图像进行空间频率(Spatial frequency)的滤波处理，根据不同的应用场景，可调整数位图像滤波器所对应遮罩的方向、宽度和系数。第3A～3D图所示为宽度为5个像素的5-tap滤波器，且第3A～3B图示出对应至对角方向5-tap滤波器的遮罩310～320，第3C图示出对应至垂直方向5-tap滤波器的遮罩330，第3D图示出对应至水平方向5-tap滤波器的遮罩340，于一些应用中，如第3E图所示，数位图像滤波器对应至二维的遮罩350。另外，数位图像滤波器的遮罩系数根据不同的用途而设计，遮罩310～350的中心系数为正，而其他系数为负，表示遮罩310～350对应至一高通滤波器，若遮罩310～350的系数皆为正且系数总合为1，遮罩310～350对应至一低通滤波器。于不同的应用中，遮罩的宽度可根据应用需求设计，并不限于上述所举示例。
数位图像经高通滤波器处理后，可得数位图像中所包含的高频部分，即数位图像中像素值改变较大或频繁改变的部分，如图像的边缘或者图像中具有纹理的区域(textured area)。图像处理装置100中的高频平移元件110和高频提取元件120，便是针对输入图像150中包含的高频部分进行处理。
于一实施例中，高频平移元件110中包含互相并联耦接的二过冲高通滤波器112A～112B，用以对输入图像150进行滤波处理并产生多个高频平移图像，高频平移图像中分别包含第一高频成分，而高频平移元件110自高频平移图像中选取像素值的绝对值最高者作为第一图像。在某些实施例中，过冲高通滤波器也可称为过冲滤波器(overshoot filter)。
举例而言，如图4所示，高频平移元件110所包含的过冲高通滤波器112A/112B分别对应至不同的过冲高通滤波器遮罩360A以及过冲高通滤波器遮罩360B，过冲高通滤波器遮罩360A～360B于中心和外围的系数为正数，且其余系数为负数，与一般高通滤波器所对应的遮罩不同，因此，过冲高通滤波器112A～112B处理输入图像150所提取的第一高频部分会受过冲效应(overshooting)影响产生平移，也就是说，过冲高通滤波器112A～112B处理输入图像150所产生的高频平移图像中，像素值高的区域对应至输入图像150经平移过的边缘以及具细腻纹理的区域，高频平移元件110自高频平移图像中取出第一图像后，图像输出元件140将第一图像混合入输出图像151中，使输出图像151包含丰富的图像细节。在本实施例中，过冲高通滤波器遮罩360A中外围的系数左右边各一者为正数，而在其他实施例中，为正数的外围系数并不仅限于左右边各一者，可为至少两者以上。
于本实施例中，过冲高通滤波器遮罩360A～360B分别为水平方向与垂直方向，过冲高通滤波器112A～112B分别用以提取且平移输入图像150中水平和垂直方向的第一高频部分，作为高频平移图像，高频平移元件110则自水平和垂直方向的高频平移图像中，取得像素值的绝对值最高者(即对应至变化最大的像素)作为第一图像，使第一图像中包含输入图像150对应至不同方向的第一高频部分。
于其他实施例中，高频平移元件110包含三个以上的过冲高通滤波器，分别对应至不同方向、不同宽度以及不同系数的遮罩，遮罩于中心和外围的系数为正数，且其余系数为负数，本领域具通常知识者可依应用需求，调整过冲高通滤波器的数量以及所对应的遮罩，并不限于本发明公开内容所举示例。
于一实施例中，如图5A所示，高频提取元件120包含互相并联耦接的至少两个高通滤波器122A～122B，分别对应至多个不同的遮罩370A～370B，高通滤波器122A～122B用以对输入图像150进行滤波处理产生多个高频图像，高频图像中分别包含第二高频成分，高频提取元件120自高频图像中选取像素值的绝对值最高者作为第二图像。
于其他实施例中，高频提取元件120包含4个高通滤波器，分别对应至图5B～5E所示的高通滤波器遮罩370C～370F，每一遮罩于遮罩中心的系数为正数，其余系数为0或负数。以上所述高频提取元件120所包含高通滤波器的数目，以及每一高通滤波器所对应的遮罩方向、宽度与系数仅为示例，本领域具通常知识者可视应用需求自行设计，上述示例并非用以限定本发明公开内容。
于一实施例中，图像输出元件140包含加权加法器与乘法器，加权加法器用以比例迭加第一图像和第二图像，所述比例迭加结果也可称为第一图像与第二图像的加权和(weighted sum)，图像输出元件140中乘法器用以将第一图像和第二图像的比例迭加结果乘上细节增益，并以乘法器所得结果作为输出图像151的高频成分。在某些实施例中，加法器可由加法器所替代，表示第一图像和第二图像迭加的比例为1:1，加法器用以迭加第一图像和第二图像以得到一迭加结果，以迭加结果乘上细节增益作为输出图像151的高频成分。于一些实施例中，图像输出元件140还以另一加法器将输出图像151的高频成分与输入图像150相加，以产生输出图像151。本领域据通常知识者可使用其他类型硬件元件实作图像输出元件140，上述示例并非用以限定本发明公开内容。
图像处理装置100具备低硬件成本和低计算资源要求，并根据单张低解析度的输入图像150产生高解析度输出图像151，藉以提升输入图像150的图像锐利度并产生丰富的图像细节，且图像处理装置100对于输入图像150纹理较密的区域特别具有效果。
图6依照本发明公开内容实施例示出的一种图像处理方法的流程图。应了解到，虽然流程图中对于图像处理方法600是以特定顺序的步骤来做描述，然此并不限制本发明所提及步骤的前后顺序，另外在实作中可增加或减少所述步骤。另外，为了方便及清楚说明，以图1所示的图像处理装置100执行图像处理方法600为例来进行阐述，但本发明公开内容并不以此为限。
于图像处理方法600的操作流程中，图像处理装置100提取并平移输入图像中的第一高频部分以产生一第一图像(步骤S610)。第一图像中包含输入图像中经平移的第一高频部分，用以增加输出图像的细节。于一实施例中，图像处理装置100以至少两个过冲高通滤波器对输入图像进行滤波处理，并产生多个高频平移图像，高频平移图像中像素值的绝对值最高者分别对应至输入图像150中的第一高频成分，也即，输入图像150中边缘以及像素值改变频繁的区域，图像处理装置100并自高频平移图像中选取像素值最的绝对值最高者作为第一图像。过冲高通滤波器分别对应至不同的遮罩，遮罩于中心和外围的系数为正数，其余系数为负数。过冲高通滤波器及其对应的遮罩的细节如前所述，于此不再赘述。
图像处理装置100提取输入图像中的第二高频部分以产生一第二图像(步骤S620)，第二图像中包含输入图像中的第二高频部分，用以加强输出图像的锐利度。于一实施例中，图像处理装置100以至少两个高通滤波器对输入图像进行滤波处理，高通滤波器分别对应至不同的遮罩，滤波处理后产生多个分别包含第二高频成分的高频图像，自高频图像中选取像素值的绝对值最高者作为第二图像。高通滤波器及其对应的遮罩的细节如前所述，于此不再赘述。
图像处理装置100根据输入图像中输入像素的像素值与一转换表产生输入像素分别对应的细节增益(步骤S630)，转换表包含输入值与输出值的对应关系，图像处理装置100根据输入像素的像素值决定输入值，并查询转换表以所对应的输出值作为细节增益。
于一实施例中，输入图像的输入像素中有一第一输入像素，图像处理装置100自输入像素中取出与第一输入像素间隔一个像素以上的多个邻近像素，以第一输入像素与邻近像素的像素值总和查询转换表，以产生对应至第一输入像素的细节增益。于另一实施例中，图像处理装置100自第一输入像素的上下左右四个方向，分别取出与第一输入像素间隔一个像素的像素作为邻近像素。取出邻近像素的细节如前所述，于此不再赘述。
转换表用以将邻近像素的像素值和对应至一细节增益倍率，于一实施例中，转换表对应至的一周期性连续函数。于再一实施例中，转换表储存的细节增益在0～N倍之间。转换表的设计细节如前所述，于此不再赘述。
图像处理装置100比例迭加第一图像与第二图像，并根据细节增益与比例迭加结果产生输出图像的高频部分(步骤S640)，在某些实施例的步骤S640中，图像处理装置100用以比例迭加第一图像和第二图像以得到另一迭加结果，并根据细节增益将另一迭加结果混合至输入图像，以产生一输出图像，其中，所述另一迭加结果也可称为第一图像与第二图像的加权和(weightedsum)。在某些实施例中，图像处理装置100以1:1的比例迭加第一图像和第二图像，第一图像和第二图像迭加的比例可根据不同应用自行订定，本发明公开内容不以此为限。
由于输出图像包含输入图像、输入图像第一高频部分经平移后产生的第一图像以及提取输入图像第二高频部分产生的第二图像，故输出图像较输入图像包含更多细节，图像对比度也有所提升。另外，产生细节增益使输出图像中包含新的高频成分，而新的高频成分的空间频率较输入图像所包含的最高频率还要更高，提升输出图像的最高频率也使输出图像有更佳的感知图像品质。
综上所述，本发明公开内容所提供的图像处理装置100以及图像处理方法600不需高昂的硬件成本与计算资源消耗，并使用单张输入图像，得出包含丰富图像细节的输出图像，提高输出图像的视觉解析度与感知图像品质。当输入图像为多张时间上连续的图像数据时，也可使连续的输出图像稳定不跳动，提升观众的视觉享受。
虽然本发明公开内容已以实施方式公开如上，然其并非用以限定本发明公开内容，任何本领域技术人员，在不脱离本发明公开内容的精神和范围内，当可做各种的更动与润饰，因此本发明公开内容的保护范围当视权利要求范围所界定者为准。
Claims (18)
1.一种图像处理装置，其特征在于，包含：
一高频平移元件，用以提取并平移一输入图像中的多个第一高频部分以产生一第一图像；
一高频提取元件，用以提取该输入图像中的多个第二高频部分以产生一第二图像；
一细节增益产生元件，用以储存一转换表，并根据该输入图像中多个输入像素的像素值与该转换表产生所述多个输入像素分别对应的多个细节增益；以及
一图像输出元件，用以比例迭加该第一图像与该第二图像，并根据所述多个细节增益与比例迭加结果产生一输出图像的高频成份。
2.如权利要求1所述的图像处理装置，其特征在于，其中该图像输出元件将该输出图像的高频成分混合至该输入图像，以产生该输出图像。
3.如权利要求1所述的图像处理装置，其特征在于，其中该细节增益产生元件用以自所述多个输入像素中取出与一第一输入像素间隔一个像素以上的多个邻近像素，并根据该第一输入像素与所述多个邻近像素的像素值总和查询该转换表，以产生所述多个细节增益中对应至该第一输入像素者，其中该第一输入像素为所述多个输入像素中之一者。
4.如权利要求3所述的图像处理装置，其特征在于，其中该细节增益产生元件用以自该第一输入像素的上下左右四个方向，分别取出与该第一输入像素间隔一个像素的像素，作为所述多个邻近像素。
5.如权利要求1所述的图像处理装置，其特征在于，其中该细节增益产生元件所储存的该转换表对应至一周期性连续函数。
6.如权利要求1所述的图像处理装置，其特征在于，其中所述多个细节增益的值范围在0～N倍之间，其中N为自然数。
7.如权利要求1所述的图像处理装置，其特征在于，其中该高频平移元件包含至少两个过冲高通滤波器，用以对该输入图像进行滤波处理并产生多个高频平移图像，自所述多个高频平移图像中选取像素值的绝对值最高者作为该第一图像，所述多个高频平移图像中分别包含所述多个第一高频成分。
8.如权利要求7所述的图像处理装置，其特征在于，其中所述多个过冲 高通滤波器分别对应至不同的多个遮罩，所述多个遮罩于中心和外围的系数为正数，且其余系数为负数。
9.如权利要求1所述的图像处理装置，其特征在于，其中该高频提取元件包含至少两个高通滤波器，用以对该输入图像进行滤波处理产生多个高频图像，自所述多个高频图像中选取像素值的绝对值最高者作为该第二图像，所述多个高频图像中分别包含所述多个第二高频成分。
10.一种图像处理方法，其特征在于，包含：
提取并平移一输入图像中的多个第一高频部分以产生一第一图像；
提取该输入图像中的多个第二高频部分以产生一第二图像；
根据该输入图像中多个输入像素的像素值与一转换表，产生所述多个输入像素分别对应的多个细节增益；以及
比例迭加该第一图像与该第二图像，并根据所述多个细节增益与比例迭加结果产生一输出图像的高频成份。
11.如第10项所述的图像处理方法，其特征在于，还包含：
将该输出图像的高频成分混合至该输入图像，以产生输出图像。
12.如第10项所述的图像处理方法，其特征在于，其中产生所述多个细节增益的步骤包含：
自所述多个输入像素中，取出与一第一输入像素间隔一个像素以上的多个邻近像素，并根据该第一输入像素与所述多个邻近像素的像素值总和查询该转换表，以产生所述多个细节增益中对应至该第一输入像素者，其中该第一输入像素为所述多个输入像素之一者。
13.如第12项所述的图像处理方法，其特征在于，其中产生所述多个细节增益的步骤包含：
自该第一输入像素的上下左右四个方向，分别取出与该第一输入像素间隔一个像素的像素，作为所述多个邻近像素。
14.如第10项所述的图像处理方法，其特征在于，其中该转换表对应至一周期性连续函数。
15.如第10项所述的图像处理方法，其特征在于，其中所述多个细节增益的值范围在0～N倍之间，其中N为自然数。
16.如第10项所述的图像处理方法，其特征在于，其中产生该第一图像 的步骤包含：
以至少两个过冲高通滤波器对该输入图像进行滤波处理，并产生多个高频平移图像，自所述多个高频平移图像中选取像素值的绝对值最高者作为该第一图像，其中所述多个高频平移图像中分别包含所述多个第一高频成分。
17.如第16项所述的图像处理方法，其特征在于，其中所述多个过冲高通滤波器分别对应至不同的多个遮罩，所述多个遮罩于中心和外围的系数为正数，其余系数为负数。
18.如第10项所述的图像处理方法，其特征在于，其中产生该第二图像的步骤包含：
以至少两个高通滤波器对该输入图像进行滤波处理，产生多个高频图像，自所述多个高频图像中选取像素值的绝对值最高者作为该第二图像，其中所述多个高频图像中分别包含所述多个第二高频成分。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510133092.5A CN106161875B (zh) | 2015-03-25 | 2015-03-25 | 图像处理装置与方法 |
| TW104118515A TWI561068B (en) | 2015-03-25 | 2015-06-08 | Image processing apparatus and method |
| US14/840,032 US9619864B2 (en) | 2015-03-25 | 2015-08-30 | Image processing apparatus and method for increasing sharpness of images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510133092.5A CN106161875B (zh) | 2015-03-25 | 2015-03-25 | 图像处理装置与方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106161875A true CN106161875A (zh) | 2016-11-23 |
| CN106161875B CN106161875B (zh) | 2019-02-15 |
Family
ID=56975693
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510133092.5A Active CN106161875B (zh) | 2015-03-25 | 2015-03-25 | 图像处理装置与方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9619864B2 (zh) |
| CN (1) | CN106161875B (zh) |
| TW (1) | TWI561068B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114666518A (zh) * | 2020-12-22 | 2022-06-24 | 宏正自动科技股份有限公司 | 图像输出装置、图像接收装置及图像传输方法 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020065143A (ja) * | 2018-10-16 | 2020-04-23 | セイコーエプソン株式会社 | 画像処理装置、画像処理装置の制御方法、及び表示装置 |
| JP7437921B2 (ja) * | 2019-11-22 | 2024-02-26 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020067862A1 (en) * | 2001-12-12 | 2002-06-06 | Samsung Electronics Co., Ltd. | Method for enhancing a digital image while suppressing undershoots and overshoots |
| CN2838175Y (zh) * | 2005-10-19 | 2006-11-15 | 上海广电（集团）有限公司中央研究院 | 一种去除视频孤立噪声点的装置 |
| CN101123679A (zh) * | 2006-08-10 | 2008-02-13 | 富士通株式会社 | 图像处理装置、图像处理方法和计算机产品 |
| US20090232401A1 (en) * | 2005-10-12 | 2009-09-17 | Haruo Yamashita | Visual processing apparatus, display apparatus, visual processing method, program, and integrated circuit |
| US20110141368A1 (en) * | 2009-12-16 | 2011-06-16 | Vixs Systems, Inc. | Adaptive edge enhancement using directional components from non-linear filtering |
| CN104221360A (zh) * | 2012-04-05 | 2014-12-17 | 夏普株式会社 | 图像处理装置、图像显示装置、图像处理方法、计算机程序以及记录介质 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6285798B1 (en) * | 1998-07-06 | 2001-09-04 | Eastman Kodak Company | Automatic tone adjustment by contrast gain-control on edges |
| JP4356134B2 (ja) * | 1999-04-16 | 2009-11-04 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
| US6611627B1 (en) * | 2000-04-24 | 2003-08-26 | Eastman Kodak Company | Digital image processing method for edge shaping |
| US6735330B1 (en) * | 2000-10-17 | 2004-05-11 | Eastman Kodak Company | Automatic digital radiographic bright light |
| US6714688B1 (en) * | 2000-11-10 | 2004-03-30 | Eastman Kodak Company | Method and apparatus for enhancing the edge contrast of an interpolated digital image |
| JP2002344746A (ja) * | 2001-05-22 | 2002-11-29 | Sanyo Electric Co Ltd | 輪郭補正回路および輪郭補正方法 |
| CN100417191C (zh) * | 2006-09-01 | 2008-09-03 | 上海大学 | 一种图像组合降噪方法 |
| TW201001334A (en) * | 2008-06-20 | 2010-01-01 | Altek Corp | Adjustment method of color tone for digital image and electronic apparatus thereof |
| US9123140B1 (en) * | 2013-09-25 | 2015-09-01 | Pixelworks, Inc. | Recovering details in single frame super resolution images |
-
2015
- 2015-03-25 CN CN201510133092.5A patent/CN106161875B/zh active Active
- 2015-06-08 TW TW104118515A patent/TWI561068B/zh active
- 2015-08-30 US US14/840,032 patent/US9619864B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020067862A1 (en) * | 2001-12-12 | 2002-06-06 | Samsung Electronics Co., Ltd. | Method for enhancing a digital image while suppressing undershoots and overshoots |
| US20090232401A1 (en) * | 2005-10-12 | 2009-09-17 | Haruo Yamashita | Visual processing apparatus, display apparatus, visual processing method, program, and integrated circuit |
| CN2838175Y (zh) * | 2005-10-19 | 2006-11-15 | 上海广电（集团）有限公司中央研究院 | 一种去除视频孤立噪声点的装置 |
| CN101123679A (zh) * | 2006-08-10 | 2008-02-13 | 富士通株式会社 | 图像处理装置、图像处理方法和计算机产品 |
| US20110141368A1 (en) * | 2009-12-16 | 2011-06-16 | Vixs Systems, Inc. | Adaptive edge enhancement using directional components from non-linear filtering |
| CN104221360A (zh) * | 2012-04-05 | 2014-12-17 | 夏普株式会社 | 图像处理装置、图像显示装置、图像处理方法、计算机程序以及记录介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114666518A (zh) * | 2020-12-22 | 2022-06-24 | 宏正自动科技股份有限公司 | 图像输出装置、图像接收装置及图像传输方法 |
| CN114666518B (zh) * | 2020-12-22 | 2024-03-26 | 宏正自动科技股份有限公司 | 图像输出装置、图像接收装置及图像传输方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106161875B (zh) | 2019-02-15 |
| US9619864B2 (en) | 2017-04-11 |
| TW201635796A (zh) | 2016-10-01 |
| US20160284056A1 (en) | 2016-09-29 |
| TWI561068B (en) | 2016-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| He et al. | Conditional sequential modulation for efficient global image retouching | |
| US7715656B2 (en) | Magnification and pinching of two-dimensional images | |
| CN105138317B (zh) | 用于终端设备的窗口显示处理方法及装置 | |
| JP4950315B2 (ja) | データ生成装置、データ生成方法、及びデータ生成プログラム | |
| CN101360250B (zh) | 沉浸产生方法和系统及因素控制、内容分析及参数预测法 | |
| Vu et al. | On the quality assessment of enhanced images: A database, analysis, and strategies for augmenting existing methods | |
| CN112991165B (zh) | 一种图像的处理方法及装置 | |
| JP2007202218A (ja) | 原デジタル画像を強調する方法および装置 | |
| CN109416831A (zh) | 用于扩展图像的色彩的低成本色彩扩展模块 | |
| Pardo et al. | Visualization of high dynamic range images | |
| CN102063712A (zh) | 基于子带结构的多曝光图像融合方法 | |
| CN109191377A (zh) | 一种基于插值的图像放大方法 | |
| CN106161875A (zh) | 图像处理装置与方法 | |
| CN114708157A (zh) | 图像压缩方法、电子设备和计算机可读存储介质 | |
| CN107767357A (zh) | 一种基于多方向字典的深度图像超分辨率方法 | |
| JP5622971B2 (ja) | 錯視の分析装置、原画像のとおり知覚させるように錯視を加味した錯視加味画像生成装置、錯視の分析方法、原画像のとおり知覚させるように錯視を加味した錯視加味画像生成方法、および、プログラム | |
| US9092889B2 (en) | Image processing apparatus, image processing method, and program storage medium | |
| CN116934583A (zh) | 基于深浅特征融合网络的遥感图像超分辨率算法 | |
| CN110769210B (zh) | 一种生成hdr图像的方法及装置 | |
| CN116703777A (zh) | 一种图像处理方法、系统、存储介质及电子设备 | |
| CN105654017B (zh) | 二维码传输方法和系统 | |
| Barai et al. | Human visual system inspired saliency guided edge preserving tone-mapping for high dynamic range imaging | |
| US20050083355A1 (en) | Apparatus and method for image-processing, and display apparatus | |
| CN113689333A (zh) | 一种图像增强的方法及装置 | |
| CN113658064A (zh) | 纹理图像的生成方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |