CN112819736A - 一种基于多曝光的工件字符图像局部细节增强融合方法 - Google Patents

一种基于多曝光的工件字符图像局部细节增强融合方法 Download PDF

Info

Publication number
CN112819736A
CN112819736A CN202110040755.4A CN202110040755A CN112819736A CN 112819736 A CN112819736 A CN 112819736A CN 202110040755 A CN202110040755 A CN 202110040755A CN 112819736 A CN112819736 A CN 112819736A
Authority
CN
China
Prior art keywords
image
exposure
pyramid
fusion
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110040755.4A
Other languages
English (en)
Other versions
CN112819736B (zh
Inventor
向忠
吴华雄
周鼎
钱淼
胡旭东
马淼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202110040755.4A priority Critical patent/CN112819736B/zh
Publication of CN112819736A publication Critical patent/CN112819736A/zh
Application granted granted Critical
Publication of CN112819736B publication Critical patent/CN112819736B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于多曝光的工件字符图像局部细节增强融合方法,其包括以下步骤:(1)构建源图像权重项;(2)细化初始权重图;(3)进行拉普拉斯重构融合;(4)提取曝光图像细节特征;(5)进行局部细节增强融合。本发明能较好地解决工件字符图像曝光过度或曝光不足、局部对比度偏低、色彩失真严重、局部细节信息大量不可见等不乐观情形问题,融合得到高质量的局部细节增强融合图像以帮助从工件字符图像中有效地识别提取信息。

Description

一种基于多曝光的工件字符图像局部细节增强融合方法
【技术领域】
本发明涉及一种图像融合方法,具体涉及一种基于多曝光的工件字符图像局部细节增强融合方法,属于数字图像处理技术领域。
【背景技术】
随着科学技术的持续发展,智能设备在生活和生产中的使用越来越普及。图像凭借包含丰富信息量且生动直观的优势,逐渐成为记录和传递信息的重要载体。光学字符识别(OCR),是一种将手写或印刷的文本的图像通过机械或电子方式转换机器编码的文本,作为一种数据录入形式,在实际应用中十分广泛,常用的场景有证件识别、发票识别、名片识别、车牌识别等;在生产中常用于液化石油气钢瓶编码识别、机器的铭牌识别、轴承和轴承座编码识别等。
然而,在现实的生活和生产自然场景中,并不是所有采集到的图像都能有效地表达和显示信息。在工业生产场景中,常见的字符主要有压印字符、浮雕字符、喷码字符等凹凸不平的工件表面字符,这些字符处于复杂的背景下,如工件表面存在光照不均、与字符颜色基本一致、划痕、侵蚀等问题。生产环境不良的光照条件和工件本身复杂的表面,对在所采集到的图像中识别提取信息有很大的影响。光照强度不足或过亮都会影响采集到的图像的视觉效果,具体表现为曝光过度或曝光不足、局部对比度偏低、色彩失真严重、局部细节信息大量不可见等不乐观情形。
为了更好地利用这些质量严重下降的图像,从中识别获取有效的信息,人们就不得不去研究图像增强技术。图像增强技术就是有目的性的重现图像中的重要信息,对于图像中包含的有效信息进行增强,与此同时对影响有效信息的噪声进行去除。图像增强技术可以让处理后的图像更加的符合人们的主观视觉感受,而且增强技术作为图像处理学科中的一门预处理技术,它可以让计算机视觉等设备便于分析处理。
图像融合技术是一种常用的图像增强技术,图像融合技术一般可分为像素级、特征级和决策级。决策级方法直接融合图像的相关描述。特征级方法基于图像的多种特征(区域或边缘)进行融合,在纠错标定和降噪方面具有强大的鲁棒性。而像素级方法通过直接操作图像的像素值,能有效地保留图像的信息特征,获得高质量的融合结果,因此得到了广泛的应用。
因此,为解决上述技术问题,确有必要提供一种创新的基于多曝光的工件字符图像局部细节增强融合方法,以克服现有技术中的所述缺陷。
【发明内容】
为解决从生产自然场景的工件字符图像中准确识别提取有效信息的技术问题,本发明提供一种基于多曝光的工件字符图像局部细节增强融合方法,其采用像素级融合方法,通过直接操作图像的像素值,有效地保留图像的信息特征,对一组多曝光的工件字符图像序列进行融合成为一幅高质量的图像以增强图像局部细节的方法。
为实现上述目的,本发明采取的技术方案为:一种基于多曝光的工件字符图像局部细节增强融合方法,其特征在于:包括如下工艺步骤:
1),构建源图像权重项:通过结合像素级对比度、亮度和饱和度三个质量指标来计算每一幅源图像的权重项,提取图像局部细节,构建源图像序列的初始权重图;
2),细化初始权重图:采用具有实时边缘保持特性的递归滤波来有效地过滤噪声得到细化的权重图,并对细化的权重图进行归一化操作,以保证每个像素所在位置的总和为1;
3),进行拉普拉斯重构融合:采用拉普拉斯金字塔和高斯金字塔将多曝光源图像序列和递归滤波细化后的权重图进行分解;然后在每一层进行输入图像的拉普拉斯和细化权重图的高斯金字塔混合,最后对融合后的拉普拉斯金字塔图像反变换进行多分辨率重构融合;
4),提取曝光图像细节特征:采用引导滤波对每一幅曝光图像进行细节特征提取,将每一幅曝光图像的细节特征进行融合,进一步增强图像的局部细节;
5),进行局部细节增强融合:将拉普拉斯金字塔多分辨率重构融合得到的图像和引导滤波提取细节特征融合得到的图像两者进行融合,得到最终的局部细节增强融合结果图。
本发明的基于多曝光的工件字符图像局部细节增强融合方法进一步为:所示步骤1)具体构建方法如下:令Ii,i=1,2,...,N表示彩色源图像,将彩色源图像转换为灰度源图像
Figure BDA0002895253830000021
转换公式如下:
Figure BDA0002895253830000022
其中
Figure BDA0002895253830000031
分别表示红(R)、绿(G)、蓝(B)通道;
1-1),构建局部对比度权重项:针对图像过度曝光区域的字符边缘纹理细节不明显,算法引入非标准化的稠密SIFT描述符DSIFT来衡量每一幅曝光源图像对应像素点的活动水平,采用“加权平均”的权重分配策略来计算局部对比度的权重项
Figure BDA0002895253830000032
计算公式如下:
Figure BDA0002895253830000033
Figure BDA0002895253830000034
其中,Ci(x,y)为局部对比度权重项指标,
Figure BDA0002895253830000035
为曝光图像序列的灰度图,DSIFT(.)表示用于计算未归一化稠密SIFT源图像映射的运算符,通过计算每个2*2的单元格中八个方向的直方图来生成描述符,||.||1表示向量的L1范数;
1-2),构建亮度权重项:针对工件字符图像过度曝光的区域亮度非常明显,而曝光不足的区域比较暗淡的情况,通常采用亮度的灰度值高低来描述字符区域的过曝光或者欠曝光现象,计算公式如下:
Figure BDA0002895253830000036
其中,Bi(x,y)表示曝光字符图像序列的亮度权重项,T表示设定的阈值,取值为10-30;
1-3),构建饱和度权重项:通过计算曝光序列图像的饱和度来保证合成工件字符图像的视觉感受,公式如下:
Figure BDA0002895253830000037
Figure BDA0002895253830000038
其中,Si(x,y)表示曝光图像序列的饱和度权重项,
Figure BDA0002895253830000039
分别表示第i张图像在R、G、B三通道的分量,μ表示对应R、G、B三通道在像素(x,y)处的平均值;
1-4),对每一幅曝光源图像,采用局部对比度,亮度,饱和度三个权重项的联合乘积来计算初始权重图Wi(x,y),计算公式如下:
Figure BDA0002895253830000041
本发明的基于多曝光的工件字符图像局部细节增强融合方法进一步为:所述步骤2)具体为:采用具有实时边缘保持特性的递归滤波来有效地过滤噪,得到精确平滑的权值图Wi r(x,y),并对对平滑细化过后的权重图进行归一化操作,以保证每个像素所在位置的总和为1,计算公式如下:
Wi r(x,y)=RF(Wi(x,y),Ii(x,y))
Figure BDA0002895253830000042
其中,RF(.,.)表示递归滤波器操作,
Figure BDA0002895253830000043
表示曝光文本字符图像序列的归一化的细化权重图,N表示采集的源曝光字符图像序列的数量,ε取值为10-12
本发明的基于多曝光的工件字符图像局部细节增强融合方法进一步为:所述步骤3)具体为:采用基于拉普拉斯的图像金字塔重构方法对多张曝光图像进行融合,即采用高斯金字塔对源图像进行多尺度分解,对图像进行高斯滤波和下采样操作得到第一层高斯金字塔图像G1,重复上述操作,依次可以构造出第k层高斯金字塔Gk,公式如下:
Figure BDA0002895253830000044
其中,pyrDown(.)表示图像的下采样操作,即删除图像所有的偶数行偶数列或者奇数行奇数列,g5×5表示5×5的高斯内核,
Figure BDA0002895253830000045
表示卷积操作;
然后,利用相邻层级的高斯金字塔图像进行差值计算得到对应层级的拉普拉斯金字塔图像,先将第k层的高斯金字塔图像Gk进行一次图像上采样和高斯滤波,再将第k-1层的高斯金字塔Gk-1减去上一步操作之后的第k层高斯金字塔图像Gk,得到第l-1层拉普拉斯金字塔图像Ll-1,计算公式如下:
Figure BDA0002895253830000046
其中,pyrUp(.)表示图像的上采样操作,即图像新增的偶数行、偶数列或者奇数行、奇数列用0填充;
最后,利用生成的l-1层拉普拉斯金字塔对源图像进行重构还原,其包含了图像下采样操作过程中丢失的细节信息和不同尺度分解层的特征信息,并将其与高斯金字塔顶层图像Gk由上到下依次进行图像上采样融合,得到拉普拉斯图像金字塔重构融合结果图
Figure BDA0002895253830000051
取k=5,计算公式如下:
Figure BDA0002895253830000052
其中,
Figure BDA0002895253830000053
表示最底层拉普拉斯重构图,即令最顶层的高斯金字塔图像作为拉普拉斯重构的第一层图像;
对采集的多幅不同曝光文本字符图像序列进行基于多尺度图像金字塔的多曝光图像融合,通过步骤2计算出各幅源图像的归一化权重图
Figure BDA0002895253830000054
构造出对应归一化权重图的高斯金字塔,再利用得到的权重高斯金字塔作为加权平均系数,与构造出的各幅字符图像的多层拉普拉斯金字塔进行融合,将每一幅字符图像中同一层级对应的联合乘积求和,得到其中一层的融合拉普拉斯系数,根据同层级的加权求和,得到融合拉普拉斯金字塔,公式如下:
Figure BDA0002895253830000055
其中,F(x,y)表示拉普拉斯重构的融合结果图,l表示图像金字塔多尺度分解的层数,N表示采集的曝光文本字符图像数量;
然后,根据上式的拉普拉斯重构方法,对融合的拉普拉斯金字塔进行图像重构,得到重构融合结果图F(x,y)。
本发明的基于多曝光的工件字符图像局部细节增强融合方法进一步为:所述步骤4)具体为:采用引导滤波(GF)对每一幅曝光图像灰度图进行细节特征提取,然后根据曝光工件字符图像序列的亮度权重项对每幅图像提取出的字符细节进行细节融合,计算公式如下:
Figure BDA0002895253830000056
Figure BDA0002895253830000057
其中Di(x,y)表示细节特征图,
Figure BDA0002895253830000058
表示细节特征融合图,GF(.)表示引导滤波操作,N表示采集的曝光文本字符图像数量。
本发明的基于多曝光的工件字符图像局部细节增强融合方法还可为:所述步骤5)具体为:将步骤4得到的细节特征融合图
Figure BDA0002895253830000061
与步骤3得到的重构融合结果图F(x,y)进行融合得到最终细节增强的曝光融合结果图,计算公式如下:
Figure BDA0002895253830000062
其中,
Figure BDA0002895253830000063
表示细节增强的曝光融合结果图,X表示常量值,取1。
与现有技术相比,本发明具有如下有益效果:本发明的基于多曝光的工件字符图像局部细节增强融合方法能很好地解决工件字符图像曝光过度或曝光不足、局部对比度偏低、色彩失真严重、局部细节信息大量不可见等不乐观情形问题,融合得到高质量的局部细节增强融合图像以帮助从工件字符图像中有效地识别提取信息。
【附图说明】
图1是本发明的基于多曝光的工件字符图像局部细节增强融合方法的流程图。
【具体实施方式】
请参阅说明书附图1所示,本发明为一种基于多曝光的工件字符图像局部细节增强融合方法,其包括如下工艺步骤:
1),构建源图像权重项:本算法通过结合像素级对比度、亮度和饱和度三个质量指标来计算每一幅源图像的权重项,提取图像局部细节,构建源图像序列的初始权重图。
通过构建源图像局部对比度、亮度和饱和度的三个权重项,提取图像局部细节,以解决源图像因曝光不足,曝光过度的情况导致局部细节不明显的问题。具体的说,令Ii,i=1,2,...,N表示彩色源图像,将彩色源图像转换为灰度源图像
Figure BDA0002895253830000064
转换公式如下:
Figure BDA0002895253830000065
其中
Figure BDA0002895253830000066
分别表示红(R)、绿(G)、蓝(B)通道。
1-1),构建局部对比度权重项:针对图像过度曝光区域的字符边缘纹理细节不明显,算法引入非标准化的稠密SIFT描述符DSIFT来衡量每一幅曝光源图像对应像素点的活动水平,采用“加权平均”的权重分配策略来计算局部对比度的权重项
Figure BDA0002895253830000071
计算公式如下:
Figure BDA0002895253830000072
Figure BDA0002895253830000073
其中,Ci(x,y)为局部对比度权重项指标,
Figure BDA0002895253830000074
为曝光图像序列的灰度图,DSIFT(.)表示用于计算未归一化稠密SIFT源图像映射的运算符,通过计算每个2*2的单元格中八个方向的直方图来生成描述符,||.||1表示向量的L1范数。
1-2),构建亮度权重项:针对工件字符图像过度曝光的区域亮度非常明显,而曝光不足的区域比较暗淡的情况,通常采用亮度的灰度值高低来描述字符区域的过曝光或者欠曝光现象,计算公式如下:
Figure BDA0002895253830000075
其中,Bi(x,y)表示曝光字符图像序列的亮度权重项,T表示设定的阈值,不少相关研究建议取值为10-30,以消除曝光不均的影响,本算法在实验中实际取值为25。
1-3),构建饱和度权重项:为了更好的还原多曝光融合图像的色彩信息,通过计算曝光序列图像的饱和度来保证合成工件字符图像的视觉感受,公式如下:
Figure BDA0002895253830000076
Figure BDA0002895253830000077
其中,Si(x,y)表示曝光图像序列的饱和度权重项,
Figure BDA0002895253830000078
分别表示第i张图像在R、G、B三通道的分量,μ表示对应R、G、B三通道在像素(x,y)处的平均值。
最后,对每一幅曝光源图像,采用局部对比度,亮度,饱和度三个权重项的联合乘积来计算初始权重图Wi(x,y),计算公式如下:
Figure BDA0002895253830000079
2),细化初始权重图:初始权重图通常会在图像处理过程中引入硬噪声和不连续等问题,采用具有实时边缘保持特性的递归滤波来有效地过滤噪声得到细化的权重图,并对细化的权重图进行归一化操作,以保证每个像素所在位置的总和为1。
由于初始权重图通常会在图像处理过程中引入硬噪声及不连续等问题,采用具有实时边缘保持特性的递归滤波来有效地过滤噪声,得到精确平滑的权值图Wi r(x,y),并对对平滑细化过后的权重图进行归一化操作,以保证每个像素所在位置的总和为1,计算公式如下:
Wi r(x,y)=RF(Wi(x,y),Ii(x,y))
Figure BDA0002895253830000081
其中,RF(.,.)表示递归滤波器操作,
Figure BDA0002895253830000082
表示曝光文本字符图像序列的归一化的细化权重图,N表示采集的源曝光字符图像序列的数量,ε表示一个非常小的正数,取值为10-12
3),进行拉普拉斯重构融合:采用拉普拉斯金字塔和高斯金字塔将多曝光源图像序列和递归滤波细化后的权重图进行分解。然后在每一层进行输入图像的拉普拉斯和细化权重图的高斯金字塔混合,最后对融合后的拉普拉斯金字塔图像反变换进行多分辨率重构融合。
为了解决图像融合的接缝问题,采用基于拉普拉斯的图像金字塔重构方法对多张曝光图像进行融合。采用高斯金字塔对源图像进行多尺度分解,对图像进行高斯滤波和下采样操作得到第一层高斯金字塔图像G1,重复上述操作,依次可以构造出第k层高斯金字塔Gk,公式如下:
Figure BDA0002895253830000083
其中,pyrDown(.)表示图像的下采样操作,即删除图像所有的偶数行偶数列或者奇数行奇数列,g5×5表示5×5的高斯内核,
Figure BDA0002895253830000084
表示卷积操作。
然后,利用相邻层级的高斯金字塔图像进行差值计算得到对应层级的拉普拉斯金字塔图像,先将第k层的高斯金字塔图像Gk进行一次图像上采样和高斯滤波,再将第k-1层的高斯金字塔Gk-1减去上一步操作之后的第k层高斯金字塔图像Gk,得到第l-1层拉普拉斯金字塔图像Ll-1,计算公式如下:
Figure BDA0002895253830000091
其中,pyrUp(.)表示图像的上采样操作,即图像新增的偶数行、偶数列或者奇数行、奇数列用0填充。
最后利用生成的l-1层拉普拉斯金字塔对源图像进行重构还原,其包含了图像下采样操作过程中丢失的细节信息和不同尺度分解层的特征信息,并将其与高斯金字塔顶层图像Gk由上到下依次进行图像上采样融合,得到拉普拉斯图像金字塔重构融合结果图
Figure BDA0002895253830000092
在本方法中,取k=5,计算公式如下:
Figure BDA0002895253830000093
其中,
Figure BDA0002895253830000094
表示最底层拉普拉斯重构图,即令最顶层的高斯金字塔图像作为拉普拉斯重构的第一层图像。
本方法对采集的多幅不同曝光文本字符图像序列进行基于多尺度图像金字塔的多曝光图像融合,通过步骤2计算出各幅源图像的归一化权重图
Figure BDA0002895253830000095
构造出对应归一化权重图的高斯金字塔,再利用得到的权重高斯金字塔作为加权平均系数,与构造出的各幅字符图像的多层拉普拉斯金字塔进行融合,将每一幅字符图像中同一层级对应的联合乘积求和,得到其中一层的融合拉普拉斯系数,根据同层级的加权求和,得到融合拉普拉斯金字塔,公式如下:
Figure BDA0002895253830000096
其中,F(x,y)表示拉普拉斯重构的融合结果图,l表示图像金字塔多尺度分解的层数,
N表示采集的曝光文本字符图像数量。
然后,根据上式的拉普拉斯重构方法,对融合的拉普拉斯金字塔进行图像重构,得到重构融合结果图F(x,y)。
4),提取曝光图像细节特征:采用引导滤波对每一幅曝光图像进行细节特征提取,将每一幅曝光图像的细节特征进行融合,进一步增强图像的局部细节。
具体的说,采用引导滤波(GF)对每一幅曝光图像灰度图进行细节特征提取,然后根据曝光工件字符图像序列的亮度权重项对每幅图像提取出的字符细节进行细节融合,计算公式如下:
Figure BDA0002895253830000101
Figure BDA0002895253830000102
其中Di(x,y)表示细节特征图,
Figure BDA0002895253830000103
表示细节特征融合图,GF(.)表示引导滤波操作,N表示采集的曝光文本字符图像数量。
5),进行局部细节增强融合:将拉普拉斯金字塔多分辨率重构融合得到的图像和引导滤波提取细节特征融合得到的图像两者进行融合,得到最终的局部细节增强融合结果图。
具体的说,将步骤4得到的细节特征融合图
Figure BDA0002895253830000104
与步骤3得到的重构融合结果图F(x,y)进行融合得到最终细节增强的曝光融合结果图,计算公式如下:
Figure BDA0002895253830000105
其中,
Figure BDA0002895253830000106
表示细节增强的曝光融合结果图,X表示常量值,取1。
以上的具体实施方式仅为本创作的较佳实施例,并不用以限制本创作,凡在本创作的精神及原则之内所做的任何修改、等同替换、改进等,均应包含在本创作的保护范围之内。

Claims (6)

1.一种基于多曝光的工件字符图像局部细节增强融合方法,其特征在于:包括如下工艺步骤:
1),构建源图像权重项:通过结合像素级对比度、亮度和饱和度三个质量指标来计算每一幅源图像的权重项,提取图像局部细节,构建源图像序列的初始权重图;
2),细化初始权重图:采用具有实时边缘保持特性的递归滤波来有效地过滤噪声得到细化的权重图,并对细化的权重图进行归一化操作,以保证每个像素所在位置的总和为1;
3),进行拉普拉斯重构融合:采用拉普拉斯金字塔和高斯金字塔将多曝光源图像序列和递归滤波细化后的权重图进行分解;然后在每一层进行输入图像的拉普拉斯和细化权重图的高斯金字塔混合,最后对融合后的拉普拉斯金字塔图像反变换进行多分辨率重构融合;
4),提取曝光图像细节特征:采用引导滤波对每一幅曝光图像进行细节特征提取,将每一幅曝光图像的细节特征进行融合,进一步增强图像的局部细节;
5),进行局部细节增强融合:将拉普拉斯金字塔多分辨率重构融合得到的图像和引导滤波提取细节特征融合得到的图像两者进行融合,得到最终的局部细节增强融合结果图。
2.如权利要求1所述的基于多曝光的工件字符图像局部细节增强融合方法,其特征在于:所示步骤1)具体构建方法如下:令Ii,i=1,2,...,N表示彩色源图像,将彩色源图像转换为灰度源图像
Figure FDA0002895253820000011
转换公式如下:
Figure FDA0002895253820000012
其中
Figure FDA0002895253820000013
分别表示红(R)、绿(G)、蓝(B)通道;
1-1),构建局部对比度权重项:针对图像过度曝光区域的字符边缘纹理细节不明显,算法引入非标准化的稠密SIFT描述符DSIFT来衡量每一幅曝光源图像对应像素点的活动水平,采用“加权平均”的权重分配策略来计算局部对比度的权重项
Figure FDA0002895253820000014
计算公式如下:
Figure FDA0002895253820000021
Figure FDA0002895253820000022
其中,Ci(x,y)为局部对比度权重项指标,
Figure FDA0002895253820000023
为曝光图像序列的灰度图,DSIFT(.)表示用于计算未归一化稠密SIFT源图像映射的运算符,通过计算每个2*2的单元格中八个方向的直方图来生成描述符,||.||1表示向量的L1范数;
1-2),构建亮度权重项:针对工件字符图像过度曝光的区域亮度非常明显,而曝光不足的区域比较暗淡的情况,通常采用亮度的灰度值高低来描述字符区域的过曝光或者欠曝光现象,计算公式如下:
Figure FDA0002895253820000024
其中,Bi(x,y)表示曝光字符图像序列的亮度权重项,T表示设定的阈值,取值为10-30;
1-3),构建饱和度权重项:通过计算曝光序列图像的饱和度来保证合成工件字符图像的视觉感受,公式如下:
Figure FDA0002895253820000025
Figure FDA0002895253820000026
其中,Si(x,y)表示曝光图像序列的饱和度权重项,
Figure FDA0002895253820000027
分别表示第i张图像在R、G、B三通道的分量,μ表示对应R、G、B三通道在像素(x,y)处的平均值;
1-4),对每一幅曝光源图像,采用局部对比度,亮度,饱和度三个权重项的联合乘积来计算初始权重图Wi(x,y),计算公式如下:
Figure FDA0002895253820000028
3.如权利要求1所述的基于多曝光的工件字符图像局部细节增强融合方法,其特征在于:所述步骤2)具体为:采用具有实时边缘保持特性的递归滤波来有效地过滤噪,得到精确平滑的权值图Wi r(x,y),并对对平滑细化过后的权重图进行归一化操作,以保证每个像素所在位置的总和为1,计算公式如下:
Wi r(x,y)=RF(Wi(x,y),Ii(x,y))
Figure FDA0002895253820000031
其中,RF(.,.)表示递归滤波器操作,
Figure FDA0002895253820000032
表示曝光文本字符图像序列的归一化的细化权重图,N表示采集的源曝光字符图像序列的数量,ε取值为10-12
4.如权利要求1所述的基于多曝光的工件字符图像局部细节增强融合方法,其特征在于:所述步骤3)具体为:采用基于拉普拉斯的图像金字塔重构方法对多张曝光图像进行融合,即采用高斯金字塔对源图像进行多尺度分解,对图像进行高斯滤波和下采样操作得到第一层高斯金字塔图像G1,重复上述操作,依次可以构造出第k层高斯金字塔Gk,公式如下:
Figure FDA0002895253820000033
其中,pyrDown(.)表示图像的下采样操作,即删除图像所有的偶数行偶数列或者奇数行奇数列,g5×5表示5×5的高斯内核,
Figure FDA0002895253820000034
表示卷积操作;
然后,利用相邻层级的高斯金字塔图像进行差值计算得到对应层级的拉普拉斯金字塔图像,先将第k层的高斯金字塔图像Gk进行一次图像上采样和高斯滤波,再将第k-1层的高斯金字塔Gk-1减去上一步操作之后的第k层高斯金字塔图像Gk,得到第l-1层拉普拉斯金字塔图像Ll-1,计算公式如下:
Figure FDA0002895253820000035
其中,pyrUp(.)表示图像的上采样操作,即图像新增的偶数行、偶数列或者奇数行、奇数列用0填充;
最后,利用生成的l-1层拉普拉斯金字塔对源图像进行重构还原,其包含了图像下采样操作过程中丢失的细节信息和不同尺度分解层的特征信息,并将其与高斯金字塔顶层图像Gk由上到下依次进行图像上采样融合,得到拉普拉斯图像金字塔重构融合结果图
Figure FDA0002895253820000048
取k=5,计算公式如下:
Figure FDA0002895253820000041
其中,
Figure FDA0002895253820000042
表示最底层拉普拉斯重构图,即令最顶层的高斯金字塔图像作为拉普拉斯重构的第一层图像;
对采集的多幅不同曝光文本字符图像序列进行基于多尺度图像金字塔的多曝光图像融合,通过步骤2计算出各幅源图像的归一化权重图
Figure FDA0002895253820000043
构造出对应归一化权重图的高斯金字塔,再利用得到的权重高斯金字塔作为加权平均系数,与构造出的各幅字符图像的多层拉普拉斯金字塔进行融合,将每一幅字符图像中同一层级对应的联合乘积求和,得到其中一层的融合拉普拉斯系数,根据同层级的加权求和,得到融合拉普拉斯金字塔,公式如下:
Figure FDA0002895253820000044
其中,F(x,y)表示拉普拉斯重构的融合结果图,l表示图像金字塔多尺度分解的层数,N表示采集的曝光文本字符图像数量;
然后,根据上式的拉普拉斯重构方法,对融合的拉普拉斯金字塔进行图像重构,得到重构融合结果图F(x,y)。
5.如权利要求1所述的基于多曝光的工件字符图像局部细节增强融合方法,其特征在于:所述步骤4)具体为:采用引导滤波(GF)对每一幅曝光图像灰度图进行细节特征提取,然后根据曝光工件字符图像序列的亮度权重项对每幅图像提取出的字符细节进行细节融合,计算公式如下:
Figure FDA0002895253820000045
Figure FDA0002895253820000046
其中Di(x,y)表示细节特征图,
Figure FDA0002895253820000047
表示细节特征融合图,GF(.)表示引导滤波操作,N表示采集的曝光文本字符图像数量。
6.如权利要求1所述的基于多曝光的工件字符图像局部细节增强融合方法,其特征在于:所述步骤5)具体为:将步骤4得到的细节特征融合图
Figure FDA0002895253820000051
与步骤3得到的重构融合结果图F(x,y)进行融合得到最终细节增强的曝光融合结果图,计算公式如下:
Figure FDA0002895253820000052
其中,
Figure FDA0002895253820000053
表示细节增强的曝光融合结果图,X表示常量值,取1。
CN202110040755.4A 2021-01-13 2021-01-13 一种基于多曝光的工件字符图像局部细节增强融合方法 Active CN112819736B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110040755.4A CN112819736B (zh) 2021-01-13 2021-01-13 一种基于多曝光的工件字符图像局部细节增强融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110040755.4A CN112819736B (zh) 2021-01-13 2021-01-13 一种基于多曝光的工件字符图像局部细节增强融合方法

Publications (2)

Publication Number Publication Date
CN112819736A true CN112819736A (zh) 2021-05-18
CN112819736B CN112819736B (zh) 2023-08-29

Family

ID=75869063

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110040755.4A Active CN112819736B (zh) 2021-01-13 2021-01-13 一种基于多曝光的工件字符图像局部细节增强融合方法

Country Status (1)

Country Link
CN (1) CN112819736B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113362264A (zh) * 2021-06-23 2021-09-07 中国科学院长春光学精密机械与物理研究所 一种灰度图像融合方法
CN113538309A (zh) * 2021-07-09 2021-10-22 北京理工大学 水下散射图像多尺度融合复原方法和装置
CN113822830A (zh) * 2021-08-30 2021-12-21 天津大学 基于深度感知增强的多曝光图像融合方法
CN114549386A (zh) * 2022-03-03 2022-05-27 重庆邮电大学 一种基于自适应光照一致性的多曝光图像融合方法
CN115063331A (zh) * 2022-06-14 2022-09-16 安徽大学 基于多尺度块lbp算子无鬼影多曝光图像融合算法
CN116630218A (zh) * 2023-07-02 2023-08-22 中国人民解放军战略支援部队航天工程大学 一种基于边缘保持平滑金字塔的多曝光图像融合方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110311154A1 (en) * 2010-06-17 2011-12-22 Canon Kabushiki Kaisha Method and device for enhancing a digital image
CN102834844A (zh) * 2010-04-05 2012-12-19 微软公司 多分辨率图像金字塔的生成
US20140307978A1 (en) * 2013-04-11 2014-10-16 John Balestrieri Method and System for Analog/Digital Image Simplification and Stylization
US20150030242A1 (en) * 2013-07-26 2015-01-29 Rui Shen Method and system for fusing multiple images
CN104616273A (zh) * 2015-01-26 2015-05-13 电子科技大学 一种基于拉普拉斯金字塔分解的多曝光图像融合方法
CN106339998A (zh) * 2016-08-18 2017-01-18 南京理工大学 基于对比度金字塔变换的多聚焦图像融合方法
CN108702496A (zh) * 2015-09-02 2018-10-23 艾里斯泰克软件股份有限公司 用于实时色调映射的系统和方法
US20190164263A1 (en) * 2016-06-21 2019-05-30 Zhejiang Dahua Technology Co., Ltd. Systems and methods for image processing
CN110189281A (zh) * 2019-04-10 2019-08-30 西安电子科技大学 一种多曝光红外图像融合方法
CN110223265A (zh) * 2019-05-05 2019-09-10 中国地质大学(武汉) 基于多尺度变换分解的目标显著的图像融合方法及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102834844A (zh) * 2010-04-05 2012-12-19 微软公司 多分辨率图像金字塔的生成
US20110311154A1 (en) * 2010-06-17 2011-12-22 Canon Kabushiki Kaisha Method and device for enhancing a digital image
US20140307978A1 (en) * 2013-04-11 2014-10-16 John Balestrieri Method and System for Analog/Digital Image Simplification and Stylization
US20170251144A1 (en) * 2013-04-11 2017-08-31 John Balestrieri Method and System for Analog/Digital Image Simplification and Stylization
US20150030242A1 (en) * 2013-07-26 2015-01-29 Rui Shen Method and system for fusing multiple images
CN104616273A (zh) * 2015-01-26 2015-05-13 电子科技大学 一种基于拉普拉斯金字塔分解的多曝光图像融合方法
CN108702496A (zh) * 2015-09-02 2018-10-23 艾里斯泰克软件股份有限公司 用于实时色调映射的系统和方法
US20190164263A1 (en) * 2016-06-21 2019-05-30 Zhejiang Dahua Technology Co., Ltd. Systems and methods for image processing
CN106339998A (zh) * 2016-08-18 2017-01-18 南京理工大学 基于对比度金字塔变换的多聚焦图像融合方法
CN110189281A (zh) * 2019-04-10 2019-08-30 西安电子科技大学 一种多曝光红外图像融合方法
CN110223265A (zh) * 2019-05-05 2019-09-10 中国地质大学(武汉) 基于多尺度变换分解的目标显著的图像融合方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CODRUTA O. ANCUTI 等: "Single-Scale Fusion: An Effective Approach to Merging Images", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》, pages 1 - 14 *
贾婷婷等: "一种拉普拉斯金字塔结构的团网络超分辨率图像重建算法", 《小微型计算机系统》, vol. 40, no. 8, pages 1760 - 1766 *
马永强等: "基于高斯金字塔和拉普拉斯金字塔融合的图像对比度增强算法研究", 《信息与电脑》, no. 4, pages 38 - 40 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113362264A (zh) * 2021-06-23 2021-09-07 中国科学院长春光学精密机械与物理研究所 一种灰度图像融合方法
CN113362264B (zh) * 2021-06-23 2022-03-18 中国科学院长春光学精密机械与物理研究所 一种灰度图像融合方法
CN113538309A (zh) * 2021-07-09 2021-10-22 北京理工大学 水下散射图像多尺度融合复原方法和装置
CN113822830A (zh) * 2021-08-30 2021-12-21 天津大学 基于深度感知增强的多曝光图像融合方法
CN113822830B (zh) * 2021-08-30 2023-06-06 天津大学 基于深度感知增强的多曝光图像融合方法
CN114549386A (zh) * 2022-03-03 2022-05-27 重庆邮电大学 一种基于自适应光照一致性的多曝光图像融合方法
CN115063331A (zh) * 2022-06-14 2022-09-16 安徽大学 基于多尺度块lbp算子无鬼影多曝光图像融合算法
CN115063331B (zh) * 2022-06-14 2024-04-12 安徽大学 基于多尺度块lbp算子无鬼影多曝光图像融合方法
CN116630218A (zh) * 2023-07-02 2023-08-22 中国人民解放军战略支援部队航天工程大学 一种基于边缘保持平滑金字塔的多曝光图像融合方法
CN116630218B (zh) * 2023-07-02 2023-11-07 中国人民解放军战略支援部队航天工程大学 一种基于边缘保持平滑金字塔的多曝光图像融合方法

Also Published As

Publication number Publication date
CN112819736B (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
CN112819736A (zh) 一种基于多曝光的工件字符图像局部细节增强融合方法
Wang et al. An experiment-based review of low-light image enhancement methods
Engin et al. Cycle-dehaze: Enhanced cyclegan for single image dehazing
Wong et al. Histogram equalization and optimal profile compression based approach for colour image enhancement
CN110032989B (zh) 一种基于框线特征和像素分布的表格文档图像分类方法
RU2659745C1 (ru) Реконструкция документа из серии изображений документа
CN111915704A (zh) 一种基于深度学习的苹果分级识别方法
CN114066747B (zh) 一种基于光照和反射互补性的低照度图像增强方法
Kim et al. Low-light image enhancement based on maximal diffusion values
Gai et al. Multi-focus image fusion method based on two stage of convolutional neural network
Kim Low-light image enhancement: A comparative review and prospects
CN116797488A (zh) 一种基于特征融合与注意力嵌入的低照度图像增强方法
US20220076459A1 (en) Image optimization method, apparatus, device and storage medium
CN115063331A (zh) 基于多尺度块lbp算子无鬼影多曝光图像融合算法
CN117152182B (zh) 一种超低照度网络相机图像处理方法、装置及电子设备
CN117689550A (zh) 基于渐进式生成对抗网络的低光图像增强方法及装置
CN110349129B (zh) 一种高密度柔性ic基板外观缺陷检测方法
Xu et al. Hyperspectral Image Super-Resolution With ConvLSTM Skip-Connections
Kim et al. Low-light image enhancement using volume-based subspace analysis
CN116563133A (zh) 基于模拟曝光和多尺度融合的低照度彩色图像增强方法
Singh et al. Frn: fusion and recalibration network for low-light image enhancement
CN108492264A (zh) 一种基于sigmoid变换的单帧图像快速超分辨方法
CN118334026B (zh) 基于图像的印刷覆膜工艺质量检测方法及系统
Gao et al. [Retracted] Application of Multimedia Semantic Extraction Method in Fast Image Enhancement Control
CN114757892B (zh) 基于人工智能的透视材料缺陷检测方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant