CN111429381B - 图像边缘增强方法及装置、存储介质、计算机设备 - Google Patents
图像边缘增强方法及装置、存储介质、计算机设备 Download PDFInfo
- Publication number
- CN111429381B CN111429381B CN202010280909.2A CN202010280909A CN111429381B CN 111429381 B CN111429381 B CN 111429381B CN 202010280909 A CN202010280909 A CN 202010280909A CN 111429381 B CN111429381 B CN 111429381B
- Authority
- CN
- China
- Prior art keywords
- detail information
- input signal
- preset
- frequency
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000003860 storage Methods 0.000 title claims abstract description 10
- 230000004927 fusion Effects 0.000 claims abstract description 82
- 238000001914 filtration Methods 0.000 claims abstract description 18
- 230000008859 change Effects 0.000 claims abstract description 5
- 238000004590 computer program Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000002708 enhancing effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 125000001475 halogen functional group Chemical group 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 239000000443 aerosol Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
一种图像边缘增强方法及装置、存储介质、计算机设备，其中，所述方法包括：获取目标图像的输入信号；将所述输入信号经过滤波器进行滤波，得到所述输入信号在不同频段的细节信息，所述输入信号在不同频段的细节信息对应一个或多个预设方向，所述滤波器的系数根据所述输入信号空间域变化快慢设置；对所述输入信号在不同频段的细节信息进行融合，得到融合细节信息；将所述融合细节信息叠加到所述输入信号，得到输出图像。通过该方法，能够解决图像边界处产生的黑白边现象，同时准确地提升低清晰度图像的细节，以提高图像整体质量。
Description
技术领域
本发明涉及图像处理领域，具体地涉及一种图像边缘增强方法及装置、存储介质、计算机设备。
背景技术
在消费类数字相机领域，图像的清晰度是衡量一副图像的重要指标，它决定了一副图像能够呈现的细节范围。系统级别的图像清晰度主要受如下因素影响：镜头，可包括设计和制造工艺、与像平面位置、光圈大小与焦距；传感器，可包括像素个数与抗混叠滤波器性能；图像处理过程，特别是边缘增强与去噪模块。在实际使用过程中，图像清晰度又受以下因素影响：数码设备的抖动、对焦的准确性和大气扰动，包括热效应与气溶胶等。
现有技术中，为了提升的图像清晰度，可聚焦于图像处理过程中的边缘增强模块。当输入图像的整体细节较低时，已有的边缘增强模块就很难对图像细节增强；另外已有的边缘增强模块，容易在图像边界处产生黑白边(halos)现象和平坦区域显现出噪声，极大地影响了图像整体质量。
发明内容
本发明解决的技术问题是准确地提升低清晰度图像的细节，抑制图像平坦区域的噪声和边界处的halos现象，以提高图像整体质量。
为解决上述技术问题，本发明实施例提供一种图像边缘增强方法，所述方法包括：获取目标图像的输入信号；将所述输入信号经过滤波器进行滤波，得到所述输入信号在不同频段的细节信息，所述输入信号在不同频段的细节信息对应一个或多个预设方向，所述滤波器的系数根据所述输入信号空间域变化快慢设置；对所述输入信号在不同频段的细节信息进行融合，得到融合细节信息；将所述融合细节信息叠加到所述输入信号，得到输出图像。
可选的，所述滤波器包括低、中、高三个频段的滤波器，各个滤波器的截止频率不同；所述将所述输入信号经过滤波器进行滤波，得到所述输入信号在不同频段的细节信息，包括：将所述输入信号分别经过低、中、高三个频段滤波器，得到所述输入信号在低频、中频和高频下的细节信息。
可选的，所述预设方向的数量为多个，所述对所述输入信号在不同频段的细节信息进行融合，得到融合细节信息，包括：对于每个预设方向，将所述输入信号在该预设方向的低频、中频和高频的细节信息进行融合，得到该预设方向的方向细节信息；将多个预设方向的方向细节信息进行融合，得到融合细节信息。
可选的，所述对于每个预设方向，将所述输入信号在该预设方向的低频、中频和高频的细节信息进行融合，得到该预设方向的方向细节信息，包括：对于每一预设方向，计算所述输入信号在低频、中频和高频的细节信息的方差作为第一方差；获取该预设方向对应的融合阈值，并判断所述第一方差是否大于所述融合阈值；当所述第一方差大于所述融合阈值时，选择绝对值最大的频段的细节信息作为该预设方向的方向细节信息。
可选的，所述判断所述第一方差是否大于所述融合阈值之后，还包括：当所述第一方差小于或等于所述融合阈值时，获取各个频段的预设融合系数；分别计算每一频段的细节信息与该频段的预设融合系数的乘积，并对得到的乘积求和，得到各个预设方向的方向细节信息。
可选的，所述将多个预设方向的方向细节信息进行融合，得到融合细节信息，包括：判断多个预设方向的方向预设信息中是否有一个方向细节信息的绝对值大于其他方向细节信息的绝对值、且该方向细节信息的绝对值与其他方向细节信息的绝对值之间的差值大于预设值；若判断结果为是，则获取绝对值最大的方向细节信息作为所述融合细节信息。
可选的，所述方法还包括：若判断结果为否，则计算多个方向细节信息的方差作为第二方差；获取预设的方向方差阈值；当所述第二方差小于方向方差阈值时，获取各个预设方向的强度阈值；分别计算各个方向细节信息与该预设方向的强度阈值的乘积，并对得到的乘积求和，得到所述融合细节信息。
可选的，所述方法还包括：当所述第二方差大于等于方向方差阈值时，获取多个方向细节信息的绝对值中最大的若干个方向细节信息进行融合，得到所述融合细节信息。
可选的，所述预设方向选自水平方向、垂直方向、45度方向和135度方向。
可选的，当所述预设方向为4个时，所述获取多个方向细节信息的绝对值中最大的若干个方向细节信息进行融合，包括：获取4个方向细节信息中绝对值最大的2个方向细节信息进行融合。
可选的，当所述目标图像以RGB颜色空间表示时，所述获取目标图像的输入信号之前，还包括：将所述目标图像由RGB颜色空间转换为YUV空间；所述得到输出图像之后，还包括：将所述输出图像由YUV空间转换为RGB颜色空间。
本发明实施例还提供一种图像边缘增强装置，所述装置包括：输入信号获取模块，用于获取目标图像的输入信号；滤波模块，用于将所述输入信号经过滤波器进行滤波，得到所述输入信号在不同频段的细节信息，所述输入信号在不同频段的细节信息对应一个或多个预设方向，所述滤波器的系数根据所述输入信号空间域变化快慢设置；融合模块，用于对所述输入信号在不同频段的细节信息进行融合，得到融合细节信息；输出图像获取模块，用于将所述融合细节信息叠加到所述输入信号，得到输出图像。
本发明实施例还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述数据传输方法的步骤。
本发明实施例还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述数据传输方法的步骤。
与现有技术相比，本发明实施例的技术方案具有以下有益效果：
本发明实施例提供一种图像边缘增强方法，所述方法包括：获取目标图像的输入信号；将所述输入信号经过滤波器进行滤波，得到所述输入信号在不同频段的细节信息，所述输入信号在不同频段的细节信息对应一个或多个预设方向，所述滤波器的系数根据所述输入信号空间域变化快慢设置；对所述输入信号在不同频段的细节信息进行融合，得到融合细节信息；将所述融合细节信息叠加到所述输入信号，得到输出图像。较之现有技术，本发明方案中，设计了一个可以自由配置的FIR滤波器机制用于边缘增强，通过设置不同的滤波器系数来匹配输入信号的频率成份，达到准确地边缘增强的目的，能够解决图像边界处产生的黑白边现象，同时准确地提升低清晰度图像的细节，以提高图像整体质量。
进一步地，通过设置FIR滤波器在低、中、高频时的截止频率，对输入信号进行不同的滤波处理，以得到输入信号在三个频段的细节信息，能够准确地对输入信号进行边缘增强。
进一步地，提供了对一个预设方向上多个频段的细节信息的融合，以多个频段的方差作为融合参考，当一个频段上的细节特征较为突出，也即该方差大于融合阈值时，即选定其中绝对值最大的细节信息表示此预设方向的方向细节信息。否则，则采用插值准则进行融合，得到方向细节信息。
进一步地，在获取各个预设方向的方向细节信息后，再对这些方向细节等信息进行第二次融合，得到多个预设方向融合后的融合细节信息，在提升低对比度图像的细节同时可以很好地抑制平坦区域的噪声。
进一步地，对于RGB颜色空间中的目标图像，可将其转换到YUV空间中，执行上述图像边缘增强的方法，并在完成边缘增强后，再将其转换回RGB颜色空间中，从而能够兼容对RGB图像进行边缘增强。
进一步地，本发明实施例中提供图像边缘增强方法，算法复杂度较低，易于硬件实现，执行时所占资源较少并且运行速度较快。
附图说明
图1为本发明实施例的一种图像边缘增强方法的流程示意图；
图2为本发明实施例的三种不同频率信号的示意图；
图3为本发明实施例的一种FIR滤波器的结构示意图；
图4为本发明实施例的一种图像边缘增强方法的部分流程示意图；
图5是本发明实施例的另一种图像边缘增强方法的部分流程示意图；
图6为本发明实施例的一种图像边缘增强装置的结构示意图。
具体实施方式
如背景技术所言，现有技术中容易在图像边界处产生黑白边(halos)现象和平坦区域显现出噪声，极大地影响了图像整体质量。
现有技术中图像边缘增强绝大部分工作都将重心放在如何获取当前点的高频信息(或称为细节信息)上，然后将该高频信息叠加于原始信号上来达到图像边缘增强的目的。现有技术具体提供了下述三种方案以实现图像边缘增强的目的：
方案1：首先根据每个像素点所属邻域像素内的分布情况，获得每个像素点的细节信息；依据每个像素点的细节信息和预设细节阈值，得到每一个像素点的低、中、高细节隶属度；对所有低细节隶属度为1的像素点进行降噪处理，对所有低细节隶属度小于1的像素点进行边缘增强，产生最终的目标图像。
方案2：通过计算待处理像素的边缘方向和边缘方向置信度，并依据待处理像素的边缘方向置信度高低，采取不同的边缘增强方法。如果待处理像素的边缘方向置信度较高时，依据边缘方向，选择与边缘方向的垂直方向最接近的两个方向进行增强；两个方向的增强强度由边缘方向的垂直方向与该两个方向的夹角来决定，将两个方向的增强强度进行加权平均，作为该像素点的边缘增强像素值。如果待处理的像素点的边缘方向置信度较低时，那么采用水平方向和垂直方向进行细节信息提取，选择细节信息值大的那个结果作为最终边缘增强图像。
方案3：提出了一种基于金字塔局部细节增强的方法。利用金字塔算法对图像进行金字塔分解，得到多尺度的高斯金字塔和拉普拉斯金字塔；根据高斯金字塔和拉普拉斯金字塔计算得到局部细节金字塔，并对局部细节金字塔进行增强处理，得到增强后的局部细节金字塔；利用增强后的局部细节金字塔对高斯金字塔进行增强处理，并利用增强后的高斯金字塔对拉普拉斯金字塔进行增强处理，得到增强后的拉普拉斯金字塔；利用增强后的高斯金字塔和拉普拉斯金字塔进行金字塔重构，得到边缘增强图像。
然而，发明人经过研究发现，方案1和方案2在计算边缘强度的时候并没有考虑到输入信号在空间域变化快慢的特性，同时在固定的高频算子提取下仅仅依靠边缘的强度值来划分输入信号的低、中和细节信息显然是不妥当的，因此依靠上述方法在低对比度场景下就无法提取出有效的边缘细节信息，此时加大边缘增强强度又势必会在平坦区域引入噪声。方案3中基于金字塔方法进行细节信息提取，虽然考虑到空间域信号变化快慢特性，然而由于金字塔分解方法的固定，导致了提取的高频细节的频率成分不能自由配置，另外基于金字塔分解的方法不利于硬件的实现，硬件资源开销较大而且运行效率较低。
为解决现有技术中存在的上述问题，本发明实施例提供一种图像边缘增强方法，所述方法包括：获取目标图像的输入信号；将所述输入信号经过滤波器进行滤波，得到所述输入信号在不同频段的细节信息，所述输入信号在不同频段的细节信息对应一个或多个预设方向，所述滤波器的系数根据所述输入信号空间域变化快慢设置；对所述输入信号在不同频段的细节信息进行融合，得到融合细节信息；将所述融合细节信息叠加到所述输入信号，得到输出图像。
通过该方案，设计了可以自由配置的FIR滤波器机制用于边缘增强，通过设置不同的滤波器系数来匹配输入信号的频率成份，达到准确地边缘增强的目的。
为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
为解决上述技术问题，本发明实施例提供一种图像边缘增强方法，请参见图1，该方法包括以下步骤：
步骤S101，获取目标图像的输入信号；
目标图像为待处理的图像，由于人眼对亮度细节较为敏感，因此本发明实施例在亮度通道对细节进行增强，目标图像采用有亮度的空间表示，如YUV空间或HSV空间等。其中，YUV，分为三个分量，“Y”表示明亮度(Luminance或Luma)，也就是灰度值；而“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。YUV空间是指以明亮度和色度对图像进行表示的空间。HSV空间是以色调(H)，饱和度(S)，明度(V)进行像素表示的空间。
将目标图像中的各个像素点作为输入信号，根据下述步骤S102至S104对输入信号进行处理，以实现对目标图像进行边缘增强。
步骤S102，将所述输入信号经过滤波器进行滤波，得到所述输入信号在不同频段的细节信息，所述输入信号在不同频段的细节信息对应一个或多个预设方向，所述滤波器的系数根据所述输入信号空间域变化快慢设置；
进一步而言，可依据输入信号的空间域变化快慢，来配置不同频段的滤波器系数。可选的，可采用三种频段的滤波器系数进行输入信号的细节信息进行提取。
关于输入信号的空间域变化快慢，其指的是输入信号在空间域内的变化次数的高低，以一维二值信号为例，在单位长度内白色信号出现的次数越多表示该信号的频率就越高。请参见图2，图2提供了三种不同频率信号的示意图，其中最左侧信号频率最高，最右侧的信号频率最低。
可选的，采用有限长单位冲激响应(Finite Impulse Response，简称FIR)滤波器对输入信号进行细节信息提取。将输入信号与FIR滤波器系数进行逐一相乘，然后将每个相乘结果进行相加，完成基于FIR滤波器的信号高频信息提取过程。各个滤波器对输入信号的处理计算如下公式(1)所示，
其中，h为滤波器的系数，N为滤波器的阶数，X为输入信号，Y(n)为输入信号的第n个像素点输出的细节信息，∑为求和计算，i为变量，该变量的取值为0至N-1。
请参见图3，图3为一种FIR滤波器的结构示意图。将输入信号X(n)输入该滤波器后，按照滤波器的不同的系数(h(0)、h(1)、h(2)…h(N-1))进行滤波，再对滤波得到的信号进行求和，得到输出信号Y(n)，其中，图3中标识为Z-1的模块是滤波器的一次延时单元。
针对输入信号中每一个像素点，按如下准则提取一个或多个预设方向的不同频段的细节信息，以增加输入信号的细节信息。
步骤S103，对所述输入信号在不同频段的细节信息进行融合，得到融合细节信息；
在获取输入信号在一个或多个预设方向的不同频段的细节信息后，对这些细节信息按照预设的规则进行信息融合，以得到这些细节信息对应的增强信息，也即融合细节信息。
步骤S104，将所述融合细节信息叠加到所述输入信号，得到输出图像。
将得到的融合细节信息叠加到输入信号上，得到由叠加后的输入信号组成的输出图像。由于融合细节信息能够很好地体现目标图像的边缘特征，故得到的输出图像是对目标图像进行边缘增强后的图像。
本实施例提供的图像边缘增强方法，设计了一个可以自由配置的FIR滤波器机制用于边缘增强，通过设置不同的滤波器系数来匹配输入信号的频率成份，达到准确地边缘增强的目的，能够解决图像边界处产生的黑白边现象，同时准确地提升低清晰度图像的细节，以提高图像整体质量。
在一个实施例中，所述滤波器包括低、中、高三个频段的滤波器，各个滤波器的截止频率不同；图1的步骤S102所述将所述输入信号经过滤波器进行滤波，得到所述输入信号在不同频段的细节信息，包括：将所述输入信号分别经过低、中、高三个频段滤波器，得到所述输入信号在低频、中频和高频下的细节信息。
其中，可选择高通类型作为FIR滤波器的响应曲线，其次采用Kaiser窗作为设计方法，然后配置所需滤波器的阶数，最后设置滤波器的截止频率。可通过设置不同的截止频率来达到提取不同频段输入信号的高频信息的目的。例如，假设信号的采样率为48KHz，我们将截止频率分别设置为5.8KHz、10.8KHz和15.8KHz，模拟生成低、中和高三个频段的滤波器。
针对输入信号中的每一个像素点，按如下准则提取每个预设方向各个频段的细节信息。
以水平方向为例，得到的三个频段的细节信息分别为像素点n在低频的细节信息text_low(n)、像素点n在中频的细节信息text_middle(n)和像素点n在高频的细节信息text_high(n)，具体可以表示为下述公式(2)、公式(3)和公式(4)：
其中，i为变量，该变量的取值为0至N-1，∑为求和计算，h_filter_low为低频滤波器系数、h_filter_middle为中频滤波器系数，h_filter_high为高频滤波器系数。
本实施例中，通过配置FIR滤波器系数，改变滤波器的截止频率来匹配输入图像信号的特定频段达到精准提取细节信息的目的。
在一个实施例中，所述预设方向的数量为多个，所述对所述输入信号在不同频段的细节信息进行融合，得到融合细节信息，包括：对于每个预设方向，将所述输入信号在该预设方向的低频、中频和高频的细节信息进行融合，得到该预设方向的方向细节信息；将多个预设方向的方向细节信息进行融合，得到融合细节信息。
当滤波器得到多个预设方向在不同频段的细节信息时，对于这些细节信息的融合包括两个步骤：多个频段细节信息的融合以及多个方向细节信息的融合。
在一个实施例中，请参见图4，所述对于每个预设方向，将所述输入信号在该预设方向的低频、中频和高频的细节信息进行融合，得到该预设方向的方向细节信息，包括：
该实施例执行对输入信号中每个像素点的三个频段的高频信息进行融合处理，具体融合方式如下：
步骤S401，对于每一预设方向，计算所述输入信号在低频、中频和高频的细节信息的方差作为第一方差；
可根据公式(5)和公式(6)计算第一方差：
text_avg_abs＝(abs(text_low)+abs(text_middle)+abs(text_high))/3 (5)
其中，text_high、text_middle、text_low为各个像素点高、中、低频的细节信息，abs()为计算()内数值的绝对值，text_avg_abs为三个频段细节信息的平均值。
text_std＝((abs(text_low)-text_avg_abs)^2+(abs(text_middle)-text_avg_abs)^2+(abs(text_high)-text_avg_abs)^2)/3 (6)
其中，text_std为第一方差。
步骤S402，获取该预设方向对应的融合阈值，并判断所述第一方差是否大于所述融合阈值；
步骤S403，当所述第一方差大于所述融合阈值时，选择绝对值最大的频段的细节信息作为该预设方向的方向细节信息。
对于每一预设方向，可根据经验或实验设定一个融合阈值(例如，融合阈值设置为th_merge_std)，对每一预设方向，当第一方差大于融合阈值时，选择绝对值最大的那个频段的细节信息作为该方向融合后的方向细节信息。
在一个实施例中，图4还可以包括：
步骤S404，当所述第一方差小于或等于所述融合阈值时，获取各个频段的预设融合系数；
步骤S405，分别计算每一频段的细节信息与该频段的预设融合系数的乘积，并对得到的乘积求和，得到各个预设方向的方向细节信息。
对于某一预设方向，当第一方差小于融合阈值时，按如下公式(7)进行计算，得到该方向融合后的方向细节信息。
text＝(text_low×abs(text_low)×ratio_0+text_middle×abs(text_middle)×ratio_1+text_high×abs(text_high)×ratio_2)/(abs(text_low)×ratio_0+abs(text_middle)×ratio_1+abs(text_high)×ratio_2) (7)
其中，text为该方向的方向细节信息，其中ratio_0、ratio_1和ratio_2为三个频段融合权重的预设系数。
为了更有效地控制各个频段的融合强度，引入了ratio_0、ratio_1和ratio_2，这些系数可以通过text_low、text_middle和text_high强度分别查找公式(8)、公式(9)和公式(10)三条预设曲线得到。
ratio_0＝curve_low(abs(text_low)) (8)
ratio_1＝curve_middle(abs(text_middle)) (9)
ratio_2＝curve_high(abs(text_high)) (10)
本实施例中，提供了对一个预设方向上多个频段的细节信息的融合，以多个频段的方差作为融合参考，当一个频段上的细节特征较为突出，也即该方差大于融合阈值时，即选定其中绝对值最大的细节信息表示此预设方向的方向细节信息。否则，则采用插值准则进行融合，得到方向细节信息。
在一个实施例中，请参见图5，所述将多个预设方向的方向细节信息进行融合，得到融合细节信息。
可选的，所述预设方向选自水平方向、垂直方向、45度方向和135度方向。
在获取各个预设方向的方向细节信息后，再对这些方向细节等信息进行第二次融合，得到融合细节信息，具体步骤如下：
步骤S501，判断多个预设方向的方向预设信息中是否有一个方向细节信息的绝对值大于其他方向细节信息的绝对值、且该方向细节信息的绝对值与其他方向细节信息的绝对值之间的差值大于预设值；
步骤S502，若判断结果为是，则获取绝对值最大的方向细节信息作为所述融合细节信息。
判断多个预设方向是否有一个方向的方向细节信息的绝对值远大于其他预设方向，若是，将绝对值最大项作为融合细节信息。其中，预设值可根据需要设定。
可选的，步骤S501之后还可以包括：
步骤S503，若判断结果为否，则计算多个方向细节信息的方差作为第二方差；
其中，预设方向为水平方向、垂直方向、45度方向和135度方向4个方向时，第二方差(text_dir_std)可表示为：
text_dir_std＝STD(text_h,text_v,text_d_45,text_d_135)
其中，STD()即对括号中的内容求方差，text_h表示水平方向的方向细节信息，text_v表示垂直方向的方向细节信息，text_d_45表示45度方向的方向细节信息，text_d_135表示135度方向的方向细节信息。
步骤S504，获取预设的方向方差阈值，并判断第二方差是否小于方向方差阈值；
步骤S505，当所述第二方差小于方向方差阈值时，获取各个预设方向的强度阈值；
步骤S506，分别计算各个方向细节信息与该预设方向的强度阈值的乘积，并对得到的乘积求和，得到所述融合细节信息。
当第二方差text_dir_std小于方向方差阈值thr_dir_std时，则采用公式(11)计算得到融合高频信息。
text_final＝text_h×ratio_dir_0+text_v×ratio_dir_1+text_d_45×ratio_dir_2+text_d_135×ratio_dir_3(11)
其中，text_final为融合高频信息，ratio_dir_x为各个方向上的强度阈值，其具体数值可根据需要设定，x取值为0，1，2或3。
可选的，上述步骤S504之后，还可以包括：
步骤S507，当所述第二方差大于等于方向方差阈值时，获取多个方向细节信息的绝对值中最大的若干个方向细节信息进行融合，得到所述融合细节信息。
方向方差阈值为设定的常数值，当第二方差大于等于方向方差阈值时，则可从多个预设方向的方向细节信息中选取特征较为突出的若干个进行融合，得到融合细节信息。
可选的，当所述预设方向为4个时，所述获取多个方向细节信息的绝对值中最大的若干个方向细节信息进行融合，包括：获取4个方向细节信息中绝对值最大的2个方向细节信息进行融合。
可选的，继续以预设方向为水平方向、垂直方向、45度方向和135度方向4个方向为例，将这4个方向的方向细节信息的绝对值按从大到小排列，然后取出两个绝对值最大项对应的方向细节信息，再对这两个最大值进行融合处理，得到融合细节信息。
假设取出两个绝对值最大项对应的方向细节信息为text_big_0和text_big_1,假设text_h和text_v为绝对值最大的两项：
text_big_0＝text_h
text_big_1＝text_v
那么融合细节信息text_final表示为：
text_final＝text_big_0+text_big_1
本实施例中，在获取各个预设方向的方向细节信息后，再对这些方向细节等信息进行第二次融合，得到多个预设方向融合后的融合细节信息，在提升低对比度图像的细节同时可以很好地抑制平坦区域的噪声。
在一个实施例中，当所述目标图像以RGB颜色空间表示时，请继续参见图1，步骤S101所述获取目标图像的输入信号之前，还可以包括：将所述目标图像由RGB颜色空间转换为YUV空间；步骤S104所述得到输出图像之后，还可以包括：将所述输出图像由YUV空间转换为RGB颜色空间。
RGB颜色空间是以R(Red:红)、G(Green:绿)、B(Blue:蓝)三种基本色为基础对图像进行表示的颜色空间。
可选的，对于目标图像的每一像素，可根据下述公式组将其由RGB颜色空间转换为YUV空间：
Y_ori＝0.299R+0.587G+0.114B
U_ori＝-0.1678R-0.3313G+0.5B
V_ori＝0.5R-0.4187G-0.0813B
其中，Y_ori，U_ori和V_ori分别为目标图像的各个像素的在YUV空间的Y、U、V坐标，R、G和B分别为该像素的在RGB颜色空间的坐标。
根据本发明实施例中提供的图像边缘增强方法得到融合细节信息，由于人眼对亮度通道的细节敏感，本发明优先考虑在亮度Y通道上叠加细节信息，将获得的融合细节信息text_final叠加到原始亮度信号上，以得到加强后的亮度信号Y_ee，叠加公式如下：()
Y_ee＝Y_ori+text_final
可选的，在得到输出图像之后，可通过下述公式组将每个像素点处理后的YUV值转换到RGB空间。
R_new＝Y_ee+1.402V_ori
G_new＝Y_ee-0.34414U_ori-0.71414V_ori
B_new＝Y_ee+1.772U_ori
其中，R_new、G_new和B_new分别为输出图像的每一像素的在RGB颜色空间的坐标。
本实施例中，对于RGB颜色空间中的目标图像，可将其转换到YUV空间中，执行上述图像边缘增强的方法，并在完成边缘增强后，再将其转换回RGB颜色空间中，从而能够兼容对RGB图像进行边缘增强。
本发明实施例中提供图像边缘增强方法，算法复杂度较低，易于硬件实现，执行时所占资源较少并且运行速度较快。
请参见图6，本发明实施例还提供一种图像边缘增强装置，所述装置包括：
输入信号获取模块601，用于获取目标图像的输入信号；
滤波模块602，用于将所述输入信号经过滤波器进行滤波，得到所述输入信号在不同频段的细节信息，所述输入信号在不同频段的细节信息对应一个或多个预设方向，所述滤波器的系数根据所述输入信号空间域变化快慢设置；
融合模块603，用于对所述输入信号在不同频段的细节信息进行融合，得到融合细节信息；
输出图像获取模块604，用于将所述融合细节信息叠加到所述输入信号，得到输出图像。
关于图像边缘增强装置的工作原理、工作方式的更多内容，可以参照上述图1至图5中图像边缘增强方法的相关描述，这里不再赘述。
进一步地，本发明实施例还公开一种存储介质，其上存储有计算机指令，计算机指令运行时执行上述图1至图5所示实施例中的图像边缘增强方法技术方案。优选地，存储介质可以包括诸如非挥发性(non-volatile)存储器或者非瞬态(non-transitory)存储器等计算机可读存储介质。存储介质可以包括ROM、RAM、磁盘或光盘等。
进一步地，本发明实施例还公开一种终端，包括存储器和处理器，存储器上存储有能够在处理器上运行的计算机指令，处理器运行计算机指令时执行上述图1至图5所示实施例中的图像边缘增强方法技术方案。该终端可指手机、平板电脑、智能手表等具备找网注册的终端。
应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，表示前后关联对象是一种“或”的关系。
本申请实施例中出现的“多个”是指两个或两个以上。
本申请实施例中出现的第一、第二等描述，仅作示意与区分描述对象之用，没有次序之分，也不表示本申请实施例中对设备个数的特别限定，不能构成对本申请实施例的任何限制。
本申请实施例中出现的“连接”是指直接连接或者间接连接等各种连接方式，以实现设备间的通信，本申请实施例对此不做任何限定。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。
Claims (12)
1.一种图像边缘增强方法，其特征在于，所述方法包括：
获取目标图像的输入信号；
将所述输入信号经过滤波器进行滤波，得到所述输入信号在不同频段的细节信息，所述输入信号在不同频段的细节信息对应一个或多个预设方向，所述滤波器的系数根据所述输入信号空间域变化快慢设置；
对所述输入信号在不同频段的细节信息进行融合，得到融合细节信息；
将所述融合细节信息叠加到所述输入信号，得到输出图像；
其中，所述滤波器包括低、中、高三个频段的滤波器，各个滤波器的截止频率不同；所述将所述输入信号经过滤波器进行滤波，得到所述输入信号在不同频段的细节信息，包括：将所述输入信号分别经过低、中、高三个频段滤波器，得到所述输入信号在低频、中频和高频下的细节信息；
所述预设方向的数量为多个，所述对所述输入信号在不同频段的细节信息进行融合，得到融合细节信息，包括：对于每个预设方向，将所述输入信号在该预设方向的低频、中频和高频的细节信息进行融合，得到该预设方向的方向细节信息；将多个预设方向的方向细节信息进行融合，得到融合细节信息。
2.根据权利要求1所述的方法，其特征在于，所述对于每个预设方向，将所述输入信号在该预设方向的低频、中频和高频的细节信息进行融合，得到该预设方向的方向细节信息，包括：
对于每一预设方向，计算所述输入信号在低频、中频和高频的细节信息的方差作为第一方差；
获取该预设方向对应的融合阈值，并判断所述第一方差是否大于所述融合阈值；
当所述第一方差大于所述融合阈值时，选择绝对值最大的频段的细节信息作为该预设方向的方向细节信息。
3.根据权利要求2所述的方法，其特征在于，所述判断所述第一方差是否大于所述融合阈值之后，还包括：
当所述第一方差小于或等于所述融合阈值时，获取各个频段的预设融合系数；
分别计算每一频段的细节信息与该频段的预设融合系数的乘积，并对得到的乘积求和，得到各个预设方向的方向细节信息。
4.根据权利要求1所述的方法，其特征在于，所述将多个预设方向的方向细节信息进行融合，得到融合细节信息，包括：
判断多个预设方向的方向预设信息中是否有一个方向细节信息的绝对值大于其他方向细节信息的绝对值、且该方向细节信息的绝对值与其他方向细节信息的绝对值之间的差值大于预设值；
若判断结果为是，则获取绝对值最大的方向细节信息作为所述融合细节信息。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
若判断结果为否，则计算多个方向细节信息的方差作为第二方差；
获取预设的方向方差阈值；
当所述第二方差小于方向方差阈值时，获取各个预设方向的强度阈值；
分别计算各个方向细节信息与该预设方向的强度阈值的乘积，并对得到的乘积求和，得到所述融合细节信息。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
当所述第二方差大于等于方向方差阈值时，获取多个方向细节信息的绝对值中最大的若干个方向细节信息进行融合，得到所述融合细节信息。
7.根据权利要求1所述的方法，其特征在于，所述预设方向选自水平方向、垂直方向、45度方向和135度方向。
8.根据权利要求6所述的方法，其特征在于，当所述预设方向为4个时，所述获取多个方向细节信息的绝对值中最大的若干个方向细节信息进行融合，包括：
获取4个方向细节信息中绝对值最大的2个方向细节信息进行融合。
9.根据权利要求1所述的方法，其特征在于，当所述目标图像以RGB颜色空间表示时，所述获取目标图像的输入信号之前，还包括：
将所述目标图像由RGB颜色空间转换为YUV空间；
所述得到输出图像之后，还包括：
将所述输出图像由YUV空间转换为RGB颜色空间。
10.一种图像边缘增强装置，其特征在于，所述装置包括：
输入信号获取模块，用于获取目标图像的输入信号；
滤波模块，用于将所述输入信号经过滤波器进行滤波，得到所述输入信号在不同频段的细节信息，所述输入信号在不同频段的细节信息对应一个或多个预设方向，所述滤波器的系数根据所述输入信号空间域变化快慢设置；融合模块，用于对所述输入信号在不同频段的细节信息进行融合，得到融合细节信息；
输出图像获取模块，用于将所述融合细节信息叠加到所述输入信号，得到输出图像；
其中，所述滤波器包括低、中、高三个频段的滤波器，各个滤波器的截止频率不同；所述滤波模块，还用于将所述输入信号分别经过低、中、高三个频段滤波器，得到所述输入信号在低频、中频和高频下的细节信息；
所述预设方向的数量为多个，所述融合模块还用于执行以下步骤：对于每个预设方向，将所述输入信号在该预设方向的低频、中频和高频的细节信息进行融合，得到该预设方向的方向细节信息；将多个预设方向的方向细节信息进行融合，得到融合细节信息。
11.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9任一项所述方法的步骤。
12.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010280909.2A CN111429381B (zh) | 2020-04-10 | 2020-04-10 | 图像边缘增强方法及装置、存储介质、计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010280909.2A CN111429381B (zh) | 2020-04-10 | 2020-04-10 | 图像边缘增强方法及装置、存储介质、计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111429381A CN111429381A (zh) | 2020-07-17 |
| CN111429381B true CN111429381B (zh) | 2023-02-17 |
Family
ID=71552540
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010280909.2A Active CN111429381B (zh) | 2020-04-10 | 2020-04-10 | 图像边缘增强方法及装置、存储介质、计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111429381B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115937013B (zh) * | 2022-10-08 | 2023-08-11 | 上海为旌科技有限公司 | 一种基于空域的亮度去噪方法和装置 |
| CN115631116B (zh) * | 2022-12-21 | 2023-03-10 | 南昌航空大学 | 基于双目视觉的飞行器电力巡检系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040189874A1 (en) * | 2003-03-27 | 2004-09-30 | Samsung Electronics Co., Ltd. | Image detail enhancement system |
| CN109146814A (zh) * | 2018-08-20 | 2019-01-04 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN109903262A (zh) * | 2019-02-26 | 2019-06-18 | 东北师范大学人文学院 | 一种图像融合的方法、系统及相关装置 |
| CN110415202A (zh) * | 2019-07-31 | 2019-11-05 | 浙江大华技术股份有限公司 | 一种图像融合方法、装置、电子设备及存储介质 |
-
2020
- 2020-04-10 CN CN202010280909.2A patent/CN111429381B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040189874A1 (en) * | 2003-03-27 | 2004-09-30 | Samsung Electronics Co., Ltd. | Image detail enhancement system |
| CN109146814A (zh) * | 2018-08-20 | 2019-01-04 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN109903262A (zh) * | 2019-02-26 | 2019-06-18 | 东北师范大学人文学院 | 一种图像融合的方法、系统及相关装置 |
| CN110415202A (zh) * | 2019-07-31 | 2019-11-05 | 浙江大华技术股份有限公司 | 一种图像融合方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111429381A (zh) | 2020-07-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109389560B (zh) | 一种自适应加权滤波图像降噪方法、装置及图像处理设备 | |
| EP2852152B1 (en) | Image processing method, apparatus and shooting terminal | |
| US10565742B1 (en) | Image processing method and apparatus | |
| CN111915535B (zh) | 一种图像去噪的方法及装置 | |
| CN106846276B (zh) | 一种图像增强方法及装置 | |
| CN111429381B (zh) | 图像边缘增强方法及装置、存储介质、计算机设备 | |
| KR102084343B1 (ko) | 배경 제거 | |
| CN109191406A (zh) | 图像处理方法、装置及设备 | |
| CN107767356B (zh) | 一种图像处理方法和装置 | |
| CN111383181B (zh) | 图像增强方法及装置、存储介质、终端 | |
| CN110517206B (zh) | 彩色摩尔纹消除方法及装置 | |
| CN110570384A (zh) | 一种对场景图像进行光照均衡处理的方法、装置、计算机设备以及计算机存储介质 | |
| CN114627030B (zh) | 一种自适应的图像锐化方法及系统 | |
| Kano et al. | Performance improvement of face image super-resolution processing by high-precision skin color detection | |
| CN112446830A (zh) | 一种图像色边的处理方法、装置、存储介质及电子设备 | |
| CN114037641A (zh) | 一种低照度图像增强方法、装置、设备及介质 | |
| CN110545414B (zh) | 一种图像锐化方法 | |
| CN110136085B (zh) | 一种图像的降噪方法及装置 | |
| CN110298812B (zh) | 一种图像融合处理的方法及装置 | |
| US8305499B2 (en) | Image processing circuit and method for image processing | |
| JP2015211325A (ja) | パープルフリンジ除去処理方法及びその処理を遂行するパープルフリンジ除去処理装置 | |
| CN106780402A (zh) | 基于Bayer格式的图像动态范围扩展方法及装置 | |
| Sethi et al. | Local enhancement of SLIC segmented underwater images using gray world based algorithm | |
| CN111028181A (zh) | 一种图像增强处理方法、装置、设备及存储介质 | |
| CN110728647A (zh) | 水下图像的增强方法及装置、存储介质、终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |