CN112819736B - 一种基于多曝光的工件字符图像局部细节增强融合方法 - Google Patents
一种基于多曝光的工件字符图像局部细节增强融合方法 Download PDFInfo
- Publication number
- CN112819736B CN112819736B CN202110040755.4A CN202110040755A CN112819736B CN 112819736 B CN112819736 B CN 112819736B CN 202110040755 A CN202110040755 A CN 202110040755A CN 112819736 B CN112819736 B CN 112819736B
- Authority
- CN
- China
- Prior art keywords
- image
- exposure
- fusion
- pyramid
- weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 20
- 230000004927 fusion Effects 0.000 claims abstract description 62
- 238000007670 refining Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 31
- 238000001914 filtration Methods 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 23
- 238000010586 diagram Methods 0.000 claims description 12
- 238000000354 decomposition reaction Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 230000016776 visual perception Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 238000002156 mixing Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 230000003416 augmentation Effects 0.000 claims 1
- 239000000284 extract Substances 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 239000003915 liquefied petroleum gas Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于多曝光的工件字符图像局部细节增强融合方法，其包括以下步骤：(1)构建源图像权重项；(2)细化初始权重图；(3)进行拉普拉斯重构融合；(4)提取曝光图像细节特征；(5)进行局部细节增强融合。本发明能较好地解决工件字符图像曝光过度或曝光不足、局部对比度偏低、色彩失真严重、局部细节信息大量不可见等不乐观情形问题，融合得到高质量的局部细节增强融合图像以帮助从工件字符图像中有效地识别提取信息。
Description
【技术领域】
本发明涉及一种图像融合方法，具体涉及一种基于多曝光的工件字符图像局部细节增强融合方法，属于数字图像处理技术领域。
【背景技术】
随着科学技术的持续发展，智能设备在生活和生产中的使用越来越普及。图像凭借包含丰富信息量且生动直观的优势，逐渐成为记录和传递信息的重要载体。光学字符识别(OCR)，是一种将手写或印刷的文本的图像通过机械或电子方式转换机器编码的文本，作为一种数据录入形式，在实际应用中十分广泛，常用的场景有证件识别、发票识别、名片识别、车牌识别等；在生产中常用于液化石油气钢瓶编码识别、机器的铭牌识别、轴承和轴承座编码识别等。
然而，在现实的生活和生产自然场景中，并不是所有采集到的图像都能有效地表达和显示信息。在工业生产场景中，常见的字符主要有压印字符、浮雕字符、喷码字符等凹凸不平的工件表面字符，这些字符处于复杂的背景下，如工件表面存在光照不均、与字符颜色基本一致、划痕、侵蚀等问题。生产环境不良的光照条件和工件本身复杂的表面，对在所采集到的图像中识别提取信息有很大的影响。光照强度不足或过亮都会影响采集到的图像的视觉效果，具体表现为曝光过度或曝光不足、局部对比度偏低、色彩失真严重、局部细节信息大量不可见等不乐观情形。
为了更好地利用这些质量严重下降的图像，从中识别获取有效的信息，人们就不得不去研究图像增强技术。图像增强技术就是有目的性的重现图像中的重要信息，对于图像中包含的有效信息进行增强，与此同时对影响有效信息的噪声进行去除。图像增强技术可以让处理后的图像更加的符合人们的主观视觉感受，而且增强技术作为图像处理学科中的一门预处理技术，它可以让计算机视觉等设备便于分析处理。
图像融合技术是一种常用的图像增强技术，图像融合技术一般可分为像素级、特征级和决策级。决策级方法直接融合图像的相关描述。特征级方法基于图像的多种特征(区域或边缘)进行融合，在纠错标定和降噪方面具有强大的鲁棒性。而像素级方法通过直接操作图像的像素值，能有效地保留图像的信息特征，获得高质量的融合结果，因此得到了广泛的应用。
因此，为解决上述技术问题，确有必要提供一种创新的基于多曝光的工件字符图像局部细节增强融合方法，以克服现有技术中的所述缺陷。
【发明内容】
为解决从生产自然场景的工件字符图像中准确识别提取有效信息的技术问题，本发明提供一种基于多曝光的工件字符图像局部细节增强融合方法，其采用像素级融合方法，通过直接操作图像的像素值，有效地保留图像的信息特征，对一组多曝光的工件字符图像序列进行融合成为一幅高质量的图像以增强图像局部细节的方法。
为实现上述目的，本发明采取的技术方案为：一种基于多曝光的工件字符图像局部细节增强融合方法，其特征在于：包括如下工艺步骤：
1)，构建源图像权重项：通过结合像素级对比度、亮度和饱和度三个质量指标来计算每一幅源图像的权重项，提取图像局部细节，构建源图像序列的初始权重图；
2)，细化初始权重图：采用具有实时边缘保持特性的递归滤波来有效地过滤噪声得到细化的权重图，并对细化的权重图进行归一化操作，以保证每个像素所在位置的总和为1；
3)，进行拉普拉斯重构融合：采用拉普拉斯金字塔和高斯金字塔将多曝光源图像序列和递归滤波细化后的权重图进行分解；然后在每一层进行输入图像的拉普拉斯和细化权重图的高斯金字塔混合，最后对融合后的拉普拉斯金字塔图像反变换进行多分辨率重构融合；
4)，提取曝光图像细节特征：采用引导滤波对每一幅曝光图像进行细节特征提取，将每一幅曝光图像的细节特征进行融合，进一步增强图像的局部细节；
5)，进行局部细节增强融合：将拉普拉斯金字塔多分辨率重构融合得到的图像和引导滤波提取细节特征融合得到的图像两者进行融合，得到最终的局部细节增强融合结果图。
本发明的基于多曝光的工件字符图像局部细节增强融合方法进一步为：所示步骤1)具体构建方法如下：令Ii，i＝1，2，...，N表示彩色源图像，将彩色源图像转换为灰度源图像转换公式如下：
其中分别表示红(R)、绿(G)、蓝(B)通道；
1-1)，构建局部对比度权重项:针对图像过度曝光区域的字符边缘纹理细节不明显，算法引入非标准化的稠密SIFT描述符DSIFT来衡量每一幅曝光源图像对应像素点的活动水平，采用“加权平均”的权重分配策略来计算局部对比度的权重项计算公式如下：
其中,Ci(x，y)为局部对比度权重项指标，为曝光图像序列的灰度图，DSIFT(.)表示用于计算未归一化稠密SIFT源图像映射的运算符，通过计算每个2*2的单元格中八个方向的直方图来生成描述符，||.||1表示向量的L1范数；
1-2),构建亮度权重项：针对工件字符图像过度曝光的区域亮度非常明显，而曝光不足的区域比较暗淡的情况，通常采用亮度的灰度值高低来描述字符区域的过曝光或者欠曝光现象，计算公式如下：
其中，Bi(x，y)表示曝光字符图像序列的亮度权重项，T表示设定的阈值，取值为10-30；
1-3),构建饱和度权重项：通过计算曝光序列图像的饱和度来保证合成工件字符图像的视觉感受，公式如下：
其中，Si(x，y)表示曝光图像序列的饱和度权重项，分别表示第i张图像在R、G、B三通道的分量，μ表示对应R、G、B三通道在像素(x，y)处的平均值；
1-4),对每一幅曝光源图像，采用局部对比度，亮度，饱和度三个权重项的联合乘积来计算初始权重图Wi(x，y)，计算公式如下：
本发明的基于多曝光的工件字符图像局部细节增强融合方法进一步为：所述步骤2)具体为：采用具有实时边缘保持特性的递归滤波来有效地过滤噪，得到精确平滑的权值图Wi r(x，y)，并对对平滑细化过后的权重图进行归一化操作，以保证每个像素所在位置的总和为1，计算公式如下：
Wi r(x，y)＝RF(Wi(x，y)，Ii(x，y))
其中，RF(.，.)表示递归滤波器操作，表示曝光文本字符图像序列的归一化的细化权重图，N表示采集的源曝光字符图像序列的数量，ε取值为10-12。
本发明的基于多曝光的工件字符图像局部细节增强融合方法进一步为：所述步骤3)具体为：采用基于拉普拉斯的图像金字塔重构方法对多张曝光图像进行融合，即采用高斯金字塔对源图像进行多尺度分解，对图像进行高斯滤波和下采样操作得到第一层高斯金字塔图像G1，重复上述操作，依次可以构造出第k层高斯金字塔Gk，公式如下：
其中，pyrDown(.)表示图像的下采样操作，即删除图像所有的偶数行偶数列或者奇数行奇数列，g5×5表示5×5的高斯内核，表示卷积操作；
然后，利用相邻层级的高斯金字塔图像进行差值计算得到对应层级的拉普拉斯金字塔图像，先将第k层的高斯金字塔图像Gk进行一次图像上采样和高斯滤波，再将第k-1层的高斯金字塔Gk-1减去上一步操作之后的第k层高斯金字塔图像Gk，得到第l-1层拉普拉斯金字塔图像Ll-1，计算公式如下：
其中，pyrUp(.)表示图像的上采样操作，即图像新增的偶数行、偶数列或者奇数行、奇数列用0填充；
最后，利用生成的l-1层拉普拉斯金字塔对源图像进行重构还原，其包含了图像下采样操作过程中丢失的细节信息和不同尺度分解层的特征信息，并将其与高斯金字塔顶层图像Gk由上到下依次进行图像上采样融合，得到拉普拉斯图像金字塔重构融合结果图取k＝5，计算公式如下：
其中，表示最底层拉普拉斯重构图，即令最顶层的高斯金字塔图像作为拉普拉斯重构的第一层图像；
对采集的多幅不同曝光文本字符图像序列进行基于多尺度图像金字塔的多曝光图像融合，通过步骤2计算出各幅源图像的归一化权重图构造出对应归一化权重图的高斯金字塔，再利用得到的权重高斯金字塔作为加权平均系数，与构造出的各幅字符图像的多层拉普拉斯金字塔进行融合，将每一幅字符图像中同一层级对应的联合乘积求和，得到其中一层的融合拉普拉斯系数，根据同层级的加权求和，得到融合拉普拉斯金字塔，公式如下：
其中，F(x，y)表示拉普拉斯重构的融合结果图，l表示图像金字塔多尺度分解的层数，N表示采集的曝光文本字符图像数量；
然后，根据上式的拉普拉斯重构方法，对融合的拉普拉斯金字塔进行图像重构，得到重构融合结果图F(x，y)。
本发明的基于多曝光的工件字符图像局部细节增强融合方法进一步为：所述步骤4)具体为：采用引导滤波(GF)对每一幅曝光图像灰度图进行细节特征提取，然后根据曝光工件字符图像序列的亮度权重项对每幅图像提取出的字符细节进行细节融合，计算公式如下：
其中Di(x，y)表示细节特征图，表示细节特征融合图，GF(.)表示引导滤波操作，N表示采集的曝光文本字符图像数量。
本发明的基于多曝光的工件字符图像局部细节增强融合方法还可为：所述步骤5)具体为：将步骤4得到的细节特征融合图与步骤3得到的重构融合结果图F(x，y)进行融合得到最终细节增强的曝光融合结果图，计算公式如下：
其中，表示细节增强的曝光融合结果图，X表示常量值，取1。
与现有技术相比，本发明具有如下有益效果：本发明的基于多曝光的工件字符图像局部细节增强融合方法能很好地解决工件字符图像曝光过度或曝光不足、局部对比度偏低、色彩失真严重、局部细节信息大量不可见等不乐观情形问题，融合得到高质量的局部细节增强融合图像以帮助从工件字符图像中有效地识别提取信息。
【附图说明】
图1是本发明的基于多曝光的工件字符图像局部细节增强融合方法的流程图。
【具体实施方式】
请参阅说明书附图1所示，本发明为一种基于多曝光的工件字符图像局部细节增强融合方法，其包括如下工艺步骤：
1)，构建源图像权重项：本算法通过结合像素级对比度、亮度和饱和度三个质量指标来计算每一幅源图像的权重项，提取图像局部细节，构建源图像序列的初始权重图。
通过构建源图像局部对比度、亮度和饱和度的三个权重项，提取图像局部细节，以解决源图像因曝光不足，曝光过度的情况导致局部细节不明显的问题。具体的说，令Ii，i＝1，2，...，N表示彩色源图像，将彩色源图像转换为灰度源图像转换公式如下：
其中分别表示红(R)、绿(G)、蓝(B)通道。
1-1)，构建局部对比度权重项：针对图像过度曝光区域的字符边缘纹理细节不明显，算法引入非标准化的稠密SIFT描述符DSIFT来衡量每一幅曝光源图像对应像素点的活动水平，采用“加权平均”的权重分配策略来计算局部对比度的权重项计算公式如下：
其中,Ci(x，y)为局部对比度权重项指标，为曝光图像序列的灰度图，DSIFT(.)表示用于计算未归一化稠密SIFT源图像映射的运算符，通过计算每个2*2的单元格中八个方向的直方图来生成描述符，||.||1表示向量的L1范数。
1-2)，构建亮度权重项：针对工件字符图像过度曝光的区域亮度非常明显，而曝光不足的区域比较暗淡的情况，通常采用亮度的灰度值高低来描述字符区域的过曝光或者欠曝光现象，计算公式如下：
其中，Bi(x，y)表示曝光字符图像序列的亮度权重项，T表示设定的阈值，不少相关研究建议取值为10-30，以消除曝光不均的影响，本算法在实验中实际取值为25。
1-3)，构建饱和度权重项：为了更好的还原多曝光融合图像的色彩信息，通过计算曝光序列图像的饱和度来保证合成工件字符图像的视觉感受，公式如下：
其中，Si(x，y)表示曝光图像序列的饱和度权重项，分别表示第i张图像在R、G、B三通道的分量，μ表示对应R、G、B三通道在像素(x，y)处的平均值。
最后，对每一幅曝光源图像，采用局部对比度，亮度，饱和度三个权重项的联合乘积来计算初始权重图Wi(x，y)，计算公式如下：
2)，细化初始权重图：初始权重图通常会在图像处理过程中引入硬噪声和不连续等问题，采用具有实时边缘保持特性的递归滤波来有效地过滤噪声得到细化的权重图，并对细化的权重图进行归一化操作，以保证每个像素所在位置的总和为1。
由于初始权重图通常会在图像处理过程中引入硬噪声及不连续等问题，采用具有实时边缘保持特性的递归滤波来有效地过滤噪声，得到精确平滑的权值图Wi r(x，y)，并对对平滑细化过后的权重图进行归一化操作，以保证每个像素所在位置的总和为1，计算公式如下：
Wi r(x，y)＝RF(Wi(x，y)，Ii(x，y))
其中，RF(.，.)表示递归滤波器操作，表示曝光文本字符图像序列的归一化的细化权重图，N表示采集的源曝光字符图像序列的数量，ε表示一个非常小的正数，取值为10-12。
3)，进行拉普拉斯重构融合：采用拉普拉斯金字塔和高斯金字塔将多曝光源图像序列和递归滤波细化后的权重图进行分解。然后在每一层进行输入图像的拉普拉斯和细化权重图的高斯金字塔混合，最后对融合后的拉普拉斯金字塔图像反变换进行多分辨率重构融合。
为了解决图像融合的接缝问题，采用基于拉普拉斯的图像金字塔重构方法对多张曝光图像进行融合。采用高斯金字塔对源图像进行多尺度分解，对图像进行高斯滤波和下采样操作得到第一层高斯金字塔图像G1，重复上述操作，依次可以构造出第k层高斯金字塔Gk，公式如下：
其中，pyrDown(.)表示图像的下采样操作，即删除图像所有的偶数行偶数列或者奇数行奇数列，g5×5表示5×5的高斯内核，表示卷积操作。
然后，利用相邻层级的高斯金字塔图像进行差值计算得到对应层级的拉普拉斯金字塔图像，先将第k层的高斯金字塔图像Gk进行一次图像上采样和高斯滤波，再将第k-1层的高斯金字塔Gk-1减去上一步操作之后的第k层高斯金字塔图像Gk，得到第l-1层拉普拉斯金字塔图像Ll-1，计算公式如下：
其中，pyrUp(.)表示图像的上采样操作，即图像新增的偶数行、偶数列或者奇数行、奇数列用0填充。
最后利用生成的l-1层拉普拉斯金字塔对源图像进行重构还原，其包含了图像下采样操作过程中丢失的细节信息和不同尺度分解层的特征信息，并将其与高斯金字塔顶层图像Gk由上到下依次进行图像上采样融合，得到拉普拉斯图像金字塔重构融合结果图在本方法中，取k＝5，计算公式如下：
其中，表示最底层拉普拉斯重构图，即令最顶层的高斯金字塔图像作为拉普拉斯重构的第一层图像。
本方法对采集的多幅不同曝光文本字符图像序列进行基于多尺度图像金字塔的多曝光图像融合，通过步骤2计算出各幅源图像的归一化权重图构造出对应归一化权重图的高斯金字塔，再利用得到的权重高斯金字塔作为加权平均系数，与构造出的各幅字符图像的多层拉普拉斯金字塔进行融合，将每一幅字符图像中同一层级对应的联合乘积求和，得到其中一层的融合拉普拉斯系数，根据同层级的加权求和，得到融合拉普拉斯金字塔，公式如下：
其中，F(x，y)表示拉普拉斯重构的融合结果图，l表示图像金字塔多尺度分解的层数，
N表示采集的曝光文本字符图像数量。
然后，根据上式的拉普拉斯重构方法，对融合的拉普拉斯金字塔进行图像重构，得到重构融合结果图F(x，y)。
4)，提取曝光图像细节特征：采用引导滤波对每一幅曝光图像进行细节特征提取，将每一幅曝光图像的细节特征进行融合，进一步增强图像的局部细节。
具体的说，采用引导滤波(GF)对每一幅曝光图像灰度图进行细节特征提取，然后根据曝光工件字符图像序列的亮度权重项对每幅图像提取出的字符细节进行细节融合，计算公式如下：
其中Di(x，y)表示细节特征图，表示细节特征融合图，GF(.)表示引导滤波操作，N表示采集的曝光文本字符图像数量。
5)，进行局部细节增强融合：将拉普拉斯金字塔多分辨率重构融合得到的图像和引导滤波提取细节特征融合得到的图像两者进行融合，得到最终的局部细节增强融合结果图。
具体的说，将步骤4得到的细节特征融合图与步骤3得到的重构融合结果图F(x，y)进行融合得到最终细节增强的曝光融合结果图，计算公式如下：
其中，表示细节增强的曝光融合结果图，X表示常量值，取1。
以上的具体实施方式仅为本创作的较佳实施例，并不用以限制本创作，凡在本创作的精神及原则之内所做的任何修改、等同替换、改进等，均应包含在本创作的保护范围之内。
Claims (5)
1.一种基于多曝光的工件字符图像局部细节增强融合方法，其特征在于：包括如下工艺步骤：
1)，构建多曝光源图像权重项：通过结合像素级对比度、亮度和饱和度三个质量指标来计算每一幅多曝光源图像的权重项，提取图像局部细节，构建多曝光源图像序列的初始权重图；
2)，细化初始权重图：采用具有实时边缘保持特性的递归滤波来有效地过滤噪声得到细化的权重图，并对细化的权重图进行归一化操作，以保证每个像素所在位置的总和为1；
3)，进行拉普拉斯金字塔重构融合：即采用拉普拉斯金字塔对输入的多曝光源图像序列进行分解；采用高斯金字塔对步骤2)获得的递归滤波细化后的权重图进行分解；然后在每一层进行输入图像的拉普拉斯金字塔和细化权重图的高斯金字塔混合，最后对融合后的拉普拉斯金字塔图像反变换进行多分辨率重构融合；
4)，提取多曝光源图像细节特征：采用引导滤波对每一幅多曝光源图像进行细节特征提取，再将每一幅多曝光源图像的细节特征进行融合，进一步增强图像的局部细节；
具体的说，采用引导滤波对每一幅多曝光源图像的灰度图进行细节特征提取，然后根据曝光文本字符图像序列的亮度权重项对每幅图像提取出的字符细节进行细节融合，计算公式如下：
其中Di(x,y)表示细节特征图，表示细节特征融合图，GF(.)表示引导滤波操作，N表示采集的曝光文本字符图像数量；
5)，进行局部细节增强融合：将拉普拉斯金字塔多分辨率重构融合得到的图像和引导滤波提取细节特征融合得到的图像两者进行融合，得到最终的局部细节增强融合结果图。
2.如权利要求1所述的基于多曝光的工件字符图像局部细节增强融合方法，其特征在于：所示步骤1)具体构建方法如下：令Ii，i＝1,2,…,N表示彩色源图像，将彩色源图像转换为灰度源图像转换公式如下：
其中分别表示红(R)、绿(G)、蓝(B)通道；
1-1)，构建局部对比度权重项:针对图像过度曝光区域的字符边缘纹理细节不明显，算法引入非标准化的稠密SIFT描述符DSIFT来衡量每一幅多曝光源图像对应像素点的活动水平，采用“加权平均”的权重分配策略来计算局部对比度的权重项计算公式如下：
其中,Ci(x,y)为局部对比度权重项指标，为多曝光源图像序列的灰度图，
(.)表示用于计算未归一化稠密SIFT源图像映射的运算符，通过计算每个2*2的单元格中八个方向的直方图来生成描述符，||.||1表示向量的L1范数；
1-2),构建亮度权重项：针对多曝光源图像过度曝光的区域亮度非常明显，而曝光不足的区域比较暗淡的情况，采用亮度的灰度值高低来描述字符区域的过曝光或者欠曝光现象，计算公式如下：
其中，Bi(x,y)表示曝光文本字符图像序列的亮度权重项，T表示设定的阈值，取值为10-30；
1-3),构建饱和度权重项：通过计算曝光文本字符图像序列的饱和度来保证合成曝光文本字符图像的视觉感受，公式如下：
其中，Si(x,y)表示曝光文本字符图像序列的饱和度权重项，分别表示第i张图像在R、G、B三通道的分量，表示对应R、G、B三通道在像素(x,y)处的平均值；
1-4),对每一幅多曝光源图像，采用局部对比度，亮度，饱和度三个权重项的联合乘积来计算初始权重图Wi(x,y)，计算公式如下：
3.如权利要求2所述的基于多曝光的工件字符图像局部细节增强融合方法，其特征在于：所述步骤2)具体为：采用具有实时边缘保持特性的递归滤波来有效地过滤噪，得到精确平滑的权值图Wi r(x,y)，并对对平滑细化过后的权重图进行归一化操作，以保证每个像素所在位置的总和为1，计算公式如下：
Wi r(x，y)＝RF(Wi(x，y)，Ii(x，y))
其中，RF(.,.)表示递归滤波器操作，表示曝光文本字符图像序列的归一化的细化权重图，表示采集的曝光文本字符图像序列的数量，ε取值为10-12。
4.如权利要求3所述的基于多曝光的工件字符图像局部细节增强融合方法，其特征在于：所述步骤3)具体为：采用基于拉普拉斯的图像金字塔重构方法对多张多曝光源图像进行融合，即采用高斯金字塔对多曝光源图像进行多尺度分解，对图像进行高斯滤波和下采样操作得到第一层高斯金字塔图像G1，重复上述操作，依次可以构造出第k层高斯金字塔Gk，公式如下：
其中，pyrDown(.)表示图像的下采样操作，即删除图像所有的偶数行偶数列或者奇数行奇数列，g5×5表示5×5的高斯内核，表示卷积操作；
然后，利用相邻层级的高斯金字塔图像进行差值计算得到对应层级的拉普拉斯金字塔图像，先将第k层的高斯金字塔图像Gk进行一次图像上采样和高斯滤波，再将第k-1层的高斯金字塔Gk-1减去上一步操作之后的第k层高斯金字塔图像Gk，得到第l-1层拉普拉斯金字塔图像Ll-1，计算公式如下：
其中，pyrUp(.)表示图像的上采样操作，即图像新增的偶数行、偶数列或者奇数行、奇数列用0填充；
最后，利用生成的l-1层拉普拉斯金字塔对多曝光源图像进行重构还原，其包含了图像下采样操作过程中丢失的细节信息和不同尺度分解层的特征信息，并将其与高斯金字塔顶层图像Gk由上到下依次进行图像上采样融合，得到拉普拉斯图像金字塔重构融合结果图取k＝5，计算公式如下：
其中，表示最底层拉普拉斯重构图，即令最顶层的高斯金字塔图像作为拉普拉斯重构的第一层图像；
对采集的多幅不同曝光文本字符图像序列进行基于多尺度图像金字塔的多曝光源图像融合，通过步骤2)计算出各幅多曝光源图像的归一化权重图构造出对应归一化权重图的高斯金字塔，再利用得到的权重高斯金字塔作为加权平均系数，与构造出的各幅曝光文本字符图像的多层拉普拉斯金字塔进行融合，将每一幅字符图像中同一层级对应的联合乘积求和，得到其中一层的融合拉普拉斯系数，根据同层级的加权求和，得到融合拉普拉斯金字塔，公式如下：
其中，F(x,y)表示拉普拉斯重构的融合结果图，l表示图像金字塔多尺度分解的层数，N表示采集的曝光文本字符图像数量；
然后，根据上式的拉普拉斯重构方法，对融合的拉普拉斯金字塔进行图像重构，得到重构融合结果图F(x,y)。
5.如权利要求4所述的基于多曝光的工件字符图像局部细节增强融合方法，其特征在于：所述步骤5)具体为：将步骤4得到的细节特征融合图与步骤3得到的重构融合结果图F(x,y)进行融合得到最终细节增强的曝光融合结果图，计算公式如下：
其中，表示细节增强的曝光融合结果图，X表示常量值，取1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110040755.4A CN112819736B (zh) | 2021-01-13 | 2021-01-13 | 一种基于多曝光的工件字符图像局部细节增强融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110040755.4A CN112819736B (zh) | 2021-01-13 | 2021-01-13 | 一种基于多曝光的工件字符图像局部细节增强融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112819736A CN112819736A (zh) | 2021-05-18 |
| CN112819736B true CN112819736B (zh) | 2023-08-29 |
Family
ID=75869063
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110040755.4A Active CN112819736B (zh) | 2021-01-13 | 2021-01-13 | 一种基于多曝光的工件字符图像局部细节增强融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112819736B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113362264B (zh) * | 2021-06-23 | 2022-03-18 | 中国科学院长春光学精密机械与物理研究所 | 一种灰度图像融合方法 |
| CN113538309A (zh) * | 2021-07-09 | 2021-10-22 | 北京理工大学 | 水下散射图像多尺度融合复原方法和装置 |
| CN113822830B (zh) * | 2021-08-30 | 2023-06-06 | 天津大学 | 基于深度感知增强的多曝光图像融合方法 |
| CN115063331B (zh) * | 2022-06-14 | 2024-04-12 | 安徽大学 | 基于多尺度块lbp算子无鬼影多曝光图像融合方法 |
| CN116630218B (zh) * | 2023-07-02 | 2023-11-07 | 中国人民解放军战略支援部队航天工程大学 | 一种基于边缘保持平滑金字塔的多曝光图像融合方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102834844A (zh) * | 2010-04-05 | 2012-12-19 | 微软公司 | 多分辨率图像金字塔的生成 |
| CN104616273A (zh) * | 2015-01-26 | 2015-05-13 | 电子科技大学 | 一种基于拉普拉斯金字塔分解的多曝光图像融合方法 |
| CN106339998A (zh) * | 2016-08-18 | 2017-01-18 | 南京理工大学 | 基于对比度金字塔变换的多聚焦图像融合方法 |
| CN108702496A (zh) * | 2015-09-02 | 2018-10-23 | 艾里斯泰克软件股份有限公司 | 用于实时色调映射的系统和方法 |
| CN110189281A (zh) * | 2019-04-10 | 2019-08-30 | 西安电子科技大学 | 一种多曝光红外图像融合方法 |
| CN110223265A (zh) * | 2019-05-05 | 2019-09-10 | 中国地质大学（武汉） | 基于多尺度变换分解的目标显著的图像融合方法及系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2481239B (en) * | 2010-06-17 | 2014-04-02 | Canon Kk | Method and device for enhancing a digital image |
| US9478004B2 (en) * | 2013-04-11 | 2016-10-25 | John Balestrieri | Method and system for analog/digital image simplification and stylization |
| US9053558B2 (en) * | 2013-07-26 | 2015-06-09 | Rui Shen | Method and system for fusing multiple images |
| WO2017219962A1 (en) * | 2016-06-21 | 2017-12-28 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for image processing |
-
2021
- 2021-01-13 CN CN202110040755.4A patent/CN112819736B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102834844A (zh) * | 2010-04-05 | 2012-12-19 | 微软公司 | 多分辨率图像金字塔的生成 |
| CN104616273A (zh) * | 2015-01-26 | 2015-05-13 | 电子科技大学 | 一种基于拉普拉斯金字塔分解的多曝光图像融合方法 |
| CN108702496A (zh) * | 2015-09-02 | 2018-10-23 | 艾里斯泰克软件股份有限公司 | 用于实时色调映射的系统和方法 |
| CN106339998A (zh) * | 2016-08-18 | 2017-01-18 | 南京理工大学 | 基于对比度金字塔变换的多聚焦图像融合方法 |
| CN110189281A (zh) * | 2019-04-10 | 2019-08-30 | 西安电子科技大学 | 一种多曝光红外图像融合方法 |
| CN110223265A (zh) * | 2019-05-05 | 2019-09-10 | 中国地质大学（武汉） | 基于多尺度变换分解的目标显著的图像融合方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 一种拉普拉斯金字塔结构的团网络超分辨率图像重建算法;贾婷婷等;《小微型计算机系统》;第第40卷卷(第第8期期);1760-1766 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112819736A (zh) | 2021-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112819736B (zh) | 一种基于多曝光的工件字符图像局部细节增强融合方法 | |
| Wang et al. | An experiment-based review of low-light image enhancement methods | |
| Wang et al. | Adaptive image enhancement method for correcting low-illumination images | |
| CN107527332A (zh) | 基于改进Retinex的低照度图像色彩保持增强方法 | |
| CN114066747B (zh) | 一种基于光照和反射互补性的低照度图像增强方法 | |
| Gai et al. | Multi-focus image fusion method based on two stage of convolutional neural network | |
| Liu et al. | Survey of natural image enhancement techniques: Classification, evaluation, challenges, and perspectives | |
| CN116797488A (zh) | 一种基于特征融合与注意力嵌入的低照度图像增强方法 | |
| CN113673590A (zh) | 基于多尺度沙漏密集连接网络的去雨方法、系统和介质 | |
| CN110335221B (zh) | 一种基于无监督学习的多曝光图像融合方法 | |
| CN113724164B (zh) | 一种基于融合重构制导滤波的可见光图像噪声去除方法 | |
| Kim | Low-light image enhancement: A comparative review and prospects | |
| CN109064419A (zh) | 一种基于wls滤波和多尺度稀疏表达的单幅图像去雨方法 | |
| Yang et al. | Low‐light image enhancement based on Retinex decomposition and adaptive gamma correction | |
| Zhu et al. | Underwater image enhancement based on colour correction and fusion | |
| Liu et al. | Low-light image enhancement network based on recursive network | |
| CN101889295A (zh) | 生成多尺度对比度增强的图像的方法 | |
| Yang et al. | Pansharpening based on variational fractional-order geometry model and optimized injection gains | |
| Li et al. | AMBCR: Low‐light image enhancement via attention guided multi‐branch construction and Retinex theory | |
| CN116563133A (zh) | 基于模拟曝光和多尺度融合的低照度彩色图像增强方法 | |
| Cui et al. | Attention-guided multi-scale feature fusion network for low-light image enhancement | |
| Yu et al. | Haze removal using deep convolutional neural network for Korea Multi-Purpose Satellite-3A (KOMPSAT-3A) multispectral remote sensing imagery | |
| Singh et al. | Frn: fusion and recalibration network for low-light image enhancement | |
| Xu et al. | Attention‐based multi‐channel feature fusion enhancement network to process low‐light images | |
| CN115908176A (zh) | 基于事件流和彩色图像融合的不均匀照明图像增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |