CN111798389B - 自适应图像增强方法及装置 - Google Patents
自适应图像增强方法及装置 Download PDFInfo
- Publication number
- CN111798389B CN111798389B CN202010607904.6A CN202010607904A CN111798389B CN 111798389 B CN111798389 B CN 111798389B CN 202010607904 A CN202010607904 A CN 202010607904A CN 111798389 B CN111798389 B CN 111798389B
- Authority
- CN
- China
- Prior art keywords
- picture
- element value
- feature map
- gray
- normalized feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000003044 adaptive effect Effects 0.000 title claims description 18
- 238000012545 processing Methods 0.000 claims abstract description 116
- 238000010606 normalization Methods 0.000 claims abstract description 75
- 238000005286 illumination Methods 0.000 claims abstract description 53
- 238000009826 distribution Methods 0.000 claims abstract description 44
- 238000010586 diagram Methods 0.000 claims abstract description 31
- 230000009466 transformation Effects 0.000 claims abstract description 13
- 238000004590 computer program Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 12
- 238000010276 construction Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000000694 effects Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 5
- 238000012015 optical character recognition Methods 0.000 description 5
- 239000000872 buffer Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000003706 image smoothing Methods 0.000 description 2
- 238000004801 process automation Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G06T5/90—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明提供了一种自适应图像增强方法及装置。所述方法包括:获取输入图片的通道数信息及像素尺寸信息,根据像素尺寸信息构造高斯滤波核;利用高斯滤波核,对输入图片进行高斯滤波变换,得到光照分布特征图;对输入图片及光照分布特征图进行按位除法处理,得到归一化特征图;根据通道数信息,对归一化特征图进行灰度模式规范化处理或RGB模式规范化处理,得到目标图片。本发明利用图片像素尺寸信息自适应设置高斯滤波核,并通过对光照分布特征图进行归一化处理及规范化处理,得到清晰的目标图片,由此实现了在无须人工调参情况下对手机拍摄纸张财报图片的各种光照干扰情况进行自适应修复处理,处理简单,使用方便,具有较好的泛用性、鲁棒性。
Description
技术领域
本发明涉及图像处理技术领域,尤指一种自适应图像增强方法及装置。
背景技术
企业财务报表作为商业银行对公信贷业务开展的重要凭证和材料依据,其录入及审核是银行信贷业务办理中必不可少的环节。长期以来,银行信贷业务办理流程中,对于企业财报传统上采用人工方式录入系统,方便事中管理和事后监管、核对。随着业务规模不断发展,银行在其信贷经营过程中要耗费大量人力去完成财报录入工作。近年来,机器人流程自动化(Robotic ProcessAutomation,RPA)应运而生,正是借助人工智能尤其OCR(OpticalCharacter Recognition)技术,使得银行将大量人力资源从繁杂的电子影像录入工作解脱出来成为可能。
就OCR技术而言,图像质量乃是除算法外,影响识别准确率的最大因素。图像质量一般从三个方面来衡量:(1)清晰度;(2)扭曲度;(3)倾斜度。对于拍摄图片,其清晰度又主要受摄像头分辨率,拍摄时的对焦状态及光照干扰因素影响。这其中,光照干扰又最为复杂,不同光线背景及拍摄方式(如:拍摄场所背景光线较暗/较亮、拍摄加开闪光致使局部过曝、拍摄光源遮挡导致局部阴影等等),拍出来图片会有非常迥异的光照分布特征。针对拍摄图片光照干扰,目前业界通常采用的主流图像增强算法包括:直方图均衡法及其衍生改进算法,伽马校正法及其衍生改进算法,以及对数变换法及其衍生改进算法等。这些算法局限性在于,它们都需要基于一定光照分布特征,人工设置合适参数。而且,不同光照分布特征对应的参数设置之间差异较大。但在银行信贷财报OCR识别场景中,实际拍摄过程中因不同用户、拍摄方式和光线背景,拍出来财报图片的光照干扰情况千差万别,存在整图过暗、整图过亮、局部过曝、局部阴影等各种情况,且没有固定模式或分布特征。此外,不同企业其财报底色也存在较大差异,有些企业财报底色较深,与前景文字或线条颜色极为接近。这些干扰实际都会影响后续表格OCR识别准确率。因此,目前现有的针对光线干扰图像增强算法,在泛用性、鲁棒性等方面均存在不足。
发明内容
本发明实施例的主要目的在于提供一种自适应图像增强方法及装置,对企业财务报表的拍摄图片进行具有良好泛用性及鲁棒性的自适应增强处理,便捷高效的得到清晰的目标图片。
为了实现上述目的,本发明实施例提供一种自适应图像增强方法,所述方法包括:
获取输入图片的通道数信息及像素尺寸信息,根据所述像素尺寸信息构造高斯滤波核;
利用所述高斯滤波核,对所述输入图片进行高斯滤波变换,得到光照分布特征图;
对所述输入图片及所述光照分布特征图进行按位除法处理,得到归一化特征图;
根据所述通道数信息,对归一化特征图进行灰度模式规范化处理或RGB模式规范化处理,得到目标图片。
可选的,在本发明一实施例中,所述像素尺寸信息包括图片的宽及图片的高;所述根据所述像素尺寸信息构造高斯滤波核进一步包括:根据图片的宽、图片的高及缩小因子,确定高斯滤波核的尺寸。
可选的,在本发明一实施例中,所述缩小因子的取值范围为15到25。
可选的,在本发明一实施例中,所述根据所述通道数信息,对归一化特征图进行灰度模式规范化处理或RGB模式规范化处理包括:当通道数为1时,对归一化特征图进行灰度模式规范化处理;当通道数为3时,对归一化特征图进行RGB模式规范化处理。
可选的,在本发明一实施例中,所述对归一化特征图进行灰度模式规范化处理包括:按位将归一化特征图中的元素值与分水岭阈值进行对比;当归一化特征图中的元素值大于所述分水岭阈值时,则归一化特征图中的元素值乘以第一扩充系数,得到第一灰度模式元素值;当归一化特征图中的元素值不大于所述分水岭阈值时,则归一化特征图中的元素值乘以第二扩充系数,得到第二灰度模式元素值;判断第一灰度模式元素值及第二灰度模式元素值是否大于第一扩充系数,若是,则将其设置为第一扩充系数。
可选的,在本发明一实施例中,所述对归一化特征图进行RGB模式规范化处理,得到目标图片包括:将归一化特征图拆解出三个通道矩阵,将每一通道矩阵作为一个灰度图片;对各灰度图片进行灰度模式规范化处理:按位将各灰度图片中的元素值与分水岭阈值进行对比;当灰度图片中的元素值大于所述分水岭阈值时,则灰度图片中的元素值乘以第一扩充系数,得到第一RGB模式元素值;当灰度图片中的元素值不大于所述分水岭阈值时,则灰度图片中的元素值乘以第二扩充系数,得到第二RGB模式元素值;判断第一RGB模式元素值及第二RGB模式元素值是否大于第一扩充系数,若是,则将其设置为第一扩充系数;将灰度模式规范化处理后的灰度图片叠加,得到目标图片。
可选的,在本发明一实施例中,所述分水岭阈值的取值范围为0.95到0.98。
本发明实施例还提供一种自适应图像增强装置,所述装置包括:
滤波核构造模块,用于获取输入图片的通道数信息及像素尺寸信息,根据所述像素尺寸信息构造高斯滤波核;
光照分布特征图模块,用于利用所述高斯滤波核,对所述输入图片进行高斯滤波变换,得到光照分布特征图;
归一化处理模块,用于对所述输入图片及所述光照分布特征图进行按位除法处理,得到归一化特征图;
规范化处理模块,用于根据所述通道数信息,对归一化特征图进行灰度模式规范化处理或RGB模式规范化处理,得到目标图片。
可选的,在本发明一实施例中,所述像素尺寸信息包括图片的宽及图片的高;所述滤波核构造模块包括:滤波核构造单元,用于根据图片的宽、图片的高及缩小因子,确定高斯滤波核的尺寸。
可选的,在本发明一实施例中,所述缩小因子的取值范围为15到25。
可选的,在本发明一实施例中,所述规范化处理模块包括:处理模式选择单元,用于当通道数为1时,对归一化特征图进行灰度模式规范化处理;当通道数为3时,对归一化特征图进行RGB模式规范化处理。
可选的,在本发明一实施例中,所述规范化处理模块还包括:灰度模式处理单元,用于按位将归一化特征图中的元素值与分水岭阈值进行对比;当归一化特征图中的元素值大于所述分水岭阈值时,则归一化特征图中的元素值乘以第一扩充系数,得到第一灰度模式元素值;当归一化特征图中的元素值不大于所述分水岭阈值时,则归一化特征图中的元素值乘以第二扩充系数,得到第二灰度模式元素值;判断第一灰度模式元素值及第二灰度模式元素值是否大于第一扩充系数,若是,则将其设置为第一扩充系数。
可选的,在本发明一实施例中,所述规范化处理模块还包括:RGB模式处理单元,用于将归一化特征图拆解出三个通道矩阵,将每一通道矩阵作为一个灰度图片;对各灰度图片进行灰度模式规范化处理:按位将各灰度图片中的元素值与分水岭阈值进行对比;当灰度图片中的元素值大于所述分水岭阈值时,则灰度图片中的元素值乘以第一扩充系数,得到第一RGB模式元素值;当灰度图片中的元素值不大于所述分水岭阈值时,则灰度图片中的元素值乘以第二扩充系数,得到第二RGB模式元素值;判断第一RGB模式元素值及第二RGB模式元素值是否大于第一扩充系数,若是,则将其设置为第一扩充系数;将灰度模式规范化处理后的灰度图片叠加,得到目标图片。
可选的,在本发明一实施例中,所述分水岭阈值的取值范围为0.95到0.98。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述方法。
本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储有执行上述方法的计算机程序。
本发明利用图片像素尺寸信息自适应设置高斯滤波核,借助高斯滤波核对图片进行高斯变换,以捕获图片的光照分布,并通过对光照分布特征图进行归一化处理及规范化处理,得到清晰的目标图片,由此实现了在无须人工调参情况下对手机拍摄纸张财报图片的各种光照干扰情况进行自适应修复处理,处理简单,使用方便,具有较好的泛用性、鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例一种自适应图像增强方法的流程图;
图2为本发明实施例中灰度模式规范化处理流程图;
图3为本发明实施例中RGB模式规范化处理流程图;
图4为本发明一具体实施例中自适应图像增强方法的流程图;
图5A-图5B为本发明一实施例中图片处理效果示意图;
图6A-图6B为本发明另一实施例中图片处理效果示意图;
图7A-图7B为本发明另一实施例中图片处理效果示意图;
图8A-图8B为本发明另一实施例中图片处理效果示意图;
图9为本发明实施例一种自适应图像增强装置的结构示意图;
图10为本发明一实施例所提供的电子设备的结构示意图。
具体实施方式
本发明实施例提供一种自适应图像增强方法及装置。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示为本发明实施例一种自适应图像增强方法的流程图,图中所示方法包括:
步骤S1,获取输入图片的通道数信息及像素尺寸信息,根据像素尺寸信息构造高斯滤波核(高斯滤波处理的卷积核矩阵)。其中,加载需要处理的输入图片,输入图片可以是手机拍摄纸质财报的图片。图片的加载、通道数信息及像素尺寸信息的获取均可以通过图片处理工具实现,具体的,可以使用OpenCV。通道数信息包括输入图片的通道数,像素尺寸信息包括图片的宽和高。
其中,高斯滤波作为一种低通滤波技术可用于捕获图像低频分量,在传统图像处理方法中常被用作图像平滑处理,即通过小尺寸高斯滤波核(典型尺寸如:3×3、5×5或7×7)对图像进行平滑处理以实现图像模糊化的效果。本发明将图像的光照分布视作较大区块邻域内低频变化分量,借助大尺寸高斯滤波核来自动捕获图像各自的光照分布,便于后续作光照归一化处理,其中,大尺寸高斯滤波核可以为100×100或以上的尺寸。同时通过基于输入图像尺寸自适应地设置高斯滤波核尺寸,从而使得算法能够有效应对各种图片尺寸,具有较好的泛用性、鲁棒性。
具体的,高斯滤波核尺寸基于输入图像尺寸作自适应设置,以增加适用性和鲁棒性。对于输入图像,其宽、高分别记为W和H,则高斯滤波核尺寸为min{W,H}/F×min{W,H}/F。其中,F为缩小因子,经实验验证,缩小因子F取值设在15~25范围内较为理想,较佳的,F可设置为20。以示图5A为例,原图的宽和高340×455,F设置为20,则高斯滤波核尺寸为17×17。
步骤S2,利用高斯滤波核,对所述输入图片进行高斯滤波变换,得到光照分布特征图。通过构造的尺寸为min{W,H}/F×min{W,H}/F的自适应高斯滤波核,对原始输入图像作高斯滤波变换,得到光照分布特征图,即捕获图像光照分布信息的特征图。
步骤S3,对输入图片及所述光照分布特征图进行按位除法处理,得到归一化特征图。将原始输入图像与光照分布特征图做按位除法,从而等效于实现了图像光照分布的自适应归一化处理,得到归一化特征图。
步骤S4,根据通道数信息,对归一化特征图进行灰度模式规范化处理或RGB模式规范化处理,得到目标图片。归一化特征图中元素均为按位除法结果,无法直接按图片灰度格式进行处理,故还需对归一化特征图作像素值规范化处理,即将元素值变回0~255取值范围得到目标图片。考虑到归一化特征图中光照已做归一化,因此,其中各元素值差异仅体现前景文字和背景底纹之间的深浅差异。借鉴图片二值化思想,通过预设合适的分水岭阈值作为图片前景文字和背景底纹的分水岭。根据预设好的分水岭阈值对归一化特征图进行分段规范化处理,即对位于分水岭两端的元素值乘以不同的扩充因子,以增加前景文字和背景底纹间的对比度。经实验验证,分水岭阈值取值设在0.95~0.98范围内较为理想,较佳的,分水岭阈值可设置为0.97。
作为本发明的一个实施例,像素尺寸信息包括图片的宽及图片的高。根据像素尺寸信息构造高斯滤波核进一步包括:根据图片的宽、图片的高及缩小因子,确定高斯滤波核的尺寸。输入图片的宽、高分别记为W和H,则高斯滤波核尺寸为min{W,H}/F×min{W,H}/F。
在本实施例中,F为缩小因子,缩小因子的取值范围为15到25,较佳的,F可设置为20。
作为本发明的一个实施例,根据通道数信息,对归一化特征图进行灰度模式规范化处理或RGB模式规范化处理包括:当通道数为1时,对归一化特征图进行灰度模式规范化处理;当通道数为3时,对归一化特征图进行RGB模式规范化处理。
在本实施例中,如图2所示,对归一化特征图进行灰度模式规范化处理包括:
步骤S21,按位将归一化特征图中的元素值与分水岭阈值进行对比。
步骤S22,当归一化特征图中的元素值大于所述分水岭阈值时,则归一化特征图中的元素值乘以第一扩充系数,得到第一灰度模式元素值;当归一化特征图中的元素值不大于所述分水岭阈值时,则归一化特征图中的元素值乘以第二扩充系数,得到第二灰度模式元素值。
其中,第一扩充系数为255,第二扩充系数为50。若归一化特征图中的元素值大于分水岭阈值,则乘以扩充系数255,从而将相应位置的元素规范化处理成背景底纹像素;若不大于分水岭阈值,则乘以扩充系数50,从而将相应位置的元素规范化处理成前景文字像素。
步骤S23,判断第一灰度模式元素值及第二灰度模式元素值是否大于第一扩充系数,若是,则将其设置为第一扩充系数。具体的,将经过步骤S22处理后的归一化特征图中大于255的元素值置为255,以保证目标图片元素值均在0~255范围内。
在本实施例中,如图3所示,对归一化特征图进行RGB模式规范化处理,得到目标图片包括:
步骤S31,将归一化特征图拆解出三个通道矩阵,将每一通道矩阵作为一个灰度图片。
步骤S32,对各灰度图片进行灰度模式规范化处理:按位将各灰度图片中的元素值与分水岭阈值进行对比;当灰度图片中的元素值大于所述分水岭阈值时,则灰度图片中的元素值乘以第一扩充系数,得到第一RGB模式元素值;当灰度图片中的元素值不大于所述分水岭阈值时,则灰度图片中的元素值乘以第二扩充系数,得到第二RGB模式元素值;判断第一RGB模式元素值及第二RGB模式元素值是否大于第一扩充系数,若是,则将其设置为第一扩充系数。
具体的,第一扩充系数为255,第二扩充系数为50。若灰度图片中的元素值大于分水岭阈值,则乘以扩充系数255,从而将相应位置的元素规范化处理成背景底纹像素;若不大于分水岭阈值,则乘以扩充系数50,从而将相应位置的元素规范化处理成前景文字像素。将经过扩充处理后的灰度图片中大于255的元素值置为255,以保证目标图片元素值均在0~255范围内。
步骤S33,将灰度模式规范化处理后的灰度图片叠加,得到目标图片。
其中,在灰度模式规范化处理及RGB模式规范化处理中,分水岭阈值的取值范围为0.95到0.98,较佳的,分水岭阈值可设置为0.97。
在本发明一具体实施例中,如图4所示的图像增强过程具体包括:
步骤1,加载输入图片I_img,并获取其的通道数信息(包括通道数C_img)及像素尺寸信息,其中,可通过opencv图像库接口加载输入图片。
步骤2,基于I_img的像素尺寸信息,即宽W和高H,构造高斯滤波核K,滤波核尺寸为min{W,H}/F×min{W,H}/F,本效果示例中,F设置为20。
步骤3,通过构造好的高斯滤波核K,可通过opencv接口对输入图片I_img作高斯滤波变换,得到代表图像光照分布特征的特征图G_img。
步骤4,将原始输入图像I_img与光照分布特征图G_img作按位除法处理,得到等效于图像光照分布归一化的特征图O’_img=I_img/G_img。
步骤5,根据原始输入图片通道数C_img,判断按灰度模式还是RGB模式作像素值规范化处理。
步骤6,若C_img为1(不等于3),按灰度模式作像素分段规范化:按位将O’_img中各元素值与分水岭阈值norm_threshold进行对比,若大于分水岭norm_threshold则乘以扩充系数255,从而将相应位置的元素规范化处理成背景底纹像素;若小于分水岭norm_threshold则乘以扩充系数50,从而将相应位置的元素规范化处理成前景文字像素。最后,对元素值大于255置为255,以保证目标图片O_img元素值均在0~255范围内。
步骤7,若C_img为3,将O’_img拆解出3个通道矩阵R’_img、G’_img、B’_img。
步骤8,将R’_img、G’_img、B’_img各通道矩阵当成一个灰度图片,分别按步骤6规范化方式作处理,得到R_img、G_img、B_img。最后将R_img、G_img、B_img作为3个通道进行叠加,得到目标图片O_img。
本发明可采用opencv图像库作为底层,提供了封装良好的调用方式。具体实施及使用过程中,传入手机拍摄纸张财报图片文件存放路径,并设置高斯滤波核缩小因子F和分水岭阈值norm_threshold这两个超参即可,相关超参设定后无需根据不同光照分布特征人工调整。经试验验证发现,对于机拍纸质图片,通过将滤波核缩小因子F超参设置在15~25范围内,分水岭阈值超参设置在0.95~0.98范围内,可获得较为理想的效果。其中,缩小因子F设置为20,分水岭阈值设置为0.97,处理效果可参考图5A-图5B、图6A-图6B、图7A-图7B及图8A-图8B。其中,图5A(原图)及图5B(增强处理后)所示为带局部阴影的处理效果示意图;图6A(原图)及图6B(增强处理后)所示为背景底色与前景文字线条颜色接近的处理效果示意图;图7A(原图)及图7B(增强处理后)所示为整体光线过暗的处理效果示意图;图8A(原图)及图8B(增强处理后)所示为整体光线偏暗但局部过曝光的处理效果示意图。
本发明利用图片像素尺寸信息自适应设置高斯滤波核,借助高斯滤波核对图片进行高斯变换,以捕获图片的光照分布,并通过对光照分布特征图进行归一化处理及规范化处理,得到清晰的目标图片,由此实现了在无须人工调参情况下对手机拍摄纸张财报图片的各种光照干扰情况进行自适应修复处理,并且能够自动兼容灰度格式和RGB格式的输入图片,处理简单,使用方便,具有较好的泛用性、鲁棒性。
如图9所示为本发明实施例一种自适应图像增强装置的结构示意图,图中所示装置包括:
滤波核构造模块10,用于获取输入图片的通道数信息及像素尺寸信息,根据所述像素尺寸信息构造高斯滤波核。其中,加载需要处理的输入图片,输入图片可以是手机拍摄纸质财报的图片。图片的加载、通道数信息及像素尺寸信息的获取均可以通过图片处理工具实现,具体的,可以使用OpenCV。通道数信息包括输入图片的通道数,像素尺寸信息包括图片的宽和高。
其中,高斯滤波作为一种低通滤波技术可用于捕获图像低频分量,在传统图像处理方法中常被用作图像平滑处理,即通过小尺寸高斯滤波核(典型尺寸如:3×3、5×5或7×7)对图像进行平滑处理以实现图像模糊化的效果。本发明将图像的光照分布视作较大区块邻域内低频变化分量,借助大尺寸高斯滤波核来自动捕获图像各自的光照分布,便于后续作光照归一化处理,其中,大尺寸高斯滤波核可以为100×100或以上的尺寸。同时通过基于输入图像尺寸自适应地设置高斯滤波核尺寸,从而使得算法能够有效应对各种图片尺寸,具有较好的泛用性、鲁棒性。
具体的,高斯滤波核尺寸基于输入图像尺寸作自适应设置,以增加适用性和鲁棒性。对于输入图像,其宽、高分别记为W和H,则高斯滤波核尺寸为min{W,H}/F×min{W,H}/F。其中,F为缩小因子,经实验验证,缩小因子F取值设在15~25范围内较为理想,较佳的,F可设置为20。
光照分布特征图模块20,用于利用所述高斯滤波核,对所述输入图片进行高斯滤波变换,得到光照分布特征图。通过构造的尺寸为min{W,H}/F×min{W,H}/F的自适应高斯滤波核,对原始输入图像作高斯滤波变换,得到得到光照分布特征图,即捕获图像光照分布信息的特征图。
归一化处理模块30,用于对所述输入图片及所述光照分布特征图进行按位除法处理,得到归一化特征图。将原始输入图像与光照分布特征图做按位除法,从而等效于实现了图像光照分布的自适应归一化处理,得到归一化特征图。
规范化处理模块40,用于根据所述通道数信息,对归一化特征图进行灰度模式规范化处理或RGB模式规范化处理,得到目标图片。归一化特征图中元素均为按位除法结果,无法直接按图片灰度格式进行处理,故还需对归一化特征图作像素值规范化处理,即将元素值变回0~255取值范围得到目标图片。考虑到归一化特征图中光照已做归一化,因此,其中各元素值差异仅体现前景文字和背景底纹之间的深浅差异。借鉴图片二值化思想,通过预设合适的分水岭阈值作为图片前景文字和背景底纹的分水岭。根据预设好的分水岭阈值对归一化特征图进行分段规范化处理,即对位于分水岭两端的元素值乘以不同的扩充因子,以增加前景文字和背景底纹间的对比度。经实验验证,分水岭阈值取值设在0.95~0.98范围内较为理想,较佳的,分水岭阈值可设置为0.97。
作为本发明的一个实施例,像素尺寸信息包括图片的宽及图片的高;滤波核构造模块包括:滤波核构造单元,用于根据图片的宽、图片的高及缩小因子,确定高斯滤波核的尺寸。
在本实施例中,缩小因子的取值范围为15到25。
作为本发明的一个实施例,规范化处理模块包括:处理模式选择单元,用于当通道数为1时,对归一化特征图进行灰度模式规范化处理;当通道数为3时,对归一化特征图进行RGB模式规范化处理。
在本实施例中,规范化处理模块还包括:灰度模式处理单元,用于按位将归一化特征图中的元素值与分水岭阈值进行对比;当归一化特征图中的元素值大于所述分水岭阈值时,则归一化特征图中的元素值乘以第一扩充系数,得到第一灰度模式元素值;当归一化特征图中的元素值不大于所述分水岭阈值时,则归一化特征图中的元素值乘以第二扩充系数,得到第二灰度模式元素值;判断第一灰度模式元素值及第二灰度模式元素值是否大于第一扩充系数,若是,则将其设置为第一扩充系数。
在本实施例中,规范化处理模块还包括:RGB模式处理单元,用于将归一化特征图拆解出三个通道矩阵,将每一通道矩阵作为一个灰度图片;对各灰度图片进行灰度模式规范化处理:按位将各灰度图片中的元素值与分水岭阈值进行对比;当灰度图片中的元素值大于所述分水岭阈值时,则灰度图片中的元素值乘以第一扩充系数,得到第一RGB模式元素值;当灰度图片中的元素值不大于所述分水岭阈值时,则灰度图片中的元素值乘以第二扩充系数,得到第二RGB模式元素值;判断第一RGB模式元素值及第二RGB模式元素值是否大于第一扩充系数,若是,则将其设置为第一扩充系数;将灰度模式规范化处理后的灰度图片叠加,得到目标图片。
在本实施例中,分水岭阈值的取值范围为0.95到0.98。
基于与上述一种自适应图像增强方法相同的申请构思,本发明还提供了上述一种自适应图像增强装置。由于该一种自适应图像增强装置解决问题的原理与一种自适应图像增强方法相似,因此该一种自适应图像增强装置的实施可以参见一种自适应图像增强方法的实施,重复之处不再赘述。
本发明利用图片像素尺寸信息自适应设置高斯滤波核,借助高斯滤波核对图片进行高斯变换,以捕获图片的光照分布,并通过对光照分布特征图进行归一化处理及规范化处理,得到清晰的目标图片,由此实现了在无须人工调参情况下对手机拍摄纸张财报图片的各种光照干扰情况进行自适应修复处理,并且能够自动兼容灰度格式和RGB格式的输入图片,处理简单,使用方便,具有较好的泛用性、鲁棒性。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述方法。
本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储有执行上述方法的计算机程序。
如图10所示,该电子设备600还可以包括:通信模块110、输入单元120、音频处理器130、显示器160、电源170。值得注意的是,电子设备600也并不是必须要包括图10中所示的所有部件;此外,电子设备600还可以包括图10中没有示出的部件,可以参考现有技术。
如图10所示,中央处理器100有时也称为控制器或操作控件,可以包括微处理器或其他处理器装置和/或逻辑装置,该中央处理器100接收输入并控制电子设备600的各个部件的操作。
其中,存储器140,例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息,此外还可存储执行有关信息的程序。并且中央处理器100可执行该存储器140存储的该程序,以实现信息存储或处理等。
输入单元120向中央处理器100提供输入。该输入单元120例如为按键或触摸输入装置。电源170用于向电子设备600提供电力。显示器160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器,但并不限于此。
该存储器140可以是固态存储器,例如,只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器,其即使在断电时也保存信息,可被选择性地擦除且设有更多数据,该存储器的示例有时被称为EPROM等。存储器140还可以是某种其它类型的装置。存储器140包括缓冲存储器141(有时被称为缓冲器)。存储器140可以包括应用/功能存储部142,该应用/功能存储部142用于存储应用程序和功能程序或用于通过中央处理器100执行电子设备600的操作的流程。
存储器140还可以包括数据存储部143,该数据存储部143用于存储数据,例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器140的驱动程序存储部144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块110即为经由天线111发送和接收信号的发送机/接收机110。通信模块(发送机/接收机)110耦合到中央处理器100,以提供输入信号和接收输出信号,这可以和常规移动通信终端的情况相同。
基于不同的通信技术,在同一电子设备中,可以设置有多个通信模块110,如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)110还经由音频处理器130耦合到扬声器131和麦克风132,以经由扬声器131提供音频输出,并接收来自麦克风132的音频输入,从而实现通常的电信功能。音频处理器130可以包括任何合适的缓冲器、解码器、放大器等。另外,音频处理器130还耦合到中央处理器100,从而使得可以通过麦克风132能够在本机上录音,且使得可以通过扬声器131来播放本机上存储的声音。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (4)
1.一种自适应图像增强方法,其特征在于,所述方法包括:
获取输入图片的通道数信息及像素尺寸信息,根据所述像素尺寸信息构造高斯滤波核;
利用所述高斯滤波核,对所述输入图片进行高斯滤波变换,得到光照分布特征图;对所述输入图片及所述光照分布特征图进行按位除法处理,得到归一化特征图;根据所述通道数信息,对归一化特征图进行灰度模式规范化处理或RGB模式规范化处理,得到目标图片;
其中,所述像素尺寸信息包括图片的宽及图片的高;
所述根据所述像素尺寸信息构造高斯滤波核进一步包括:根据图片的宽、图片的高及缩小因子,确定高斯滤波核的尺寸;其中,高斯滤波核尺寸为min{W,H}/F×min{W,H}/F,W和H分别为输入图片的宽和高,F为缩小因子;
其中,所述缩小因子的取值范围为15到25;
其中,所述根据所述通道数信息,对归一化特征图进行灰度模式规范化处理或RGB模式规范化处理包括:当通道数为1时,对归一化特征图进行灰度模式规范化处理;当通道数为3时,对归一化特征图进行RGB模式规范化处理;
其中,所述对归一化特征图进行灰度模式规范化处理包括:
按位将归一化特征图中的元素值与分水岭阈值进行对比;
当归一化特征图中的元素值大于所述分水岭阈值时,则归一化特征图中的元素值乘以第一扩充系数,得到第一灰度模式元素值;当归一化特征图中的元素值不大于所述分水岭阈值时,则归一化特征图中的元素值乘以第二扩充系数,得到第二灰度模式元素值;
判断第一灰度模式元素值及第二灰度模式元素值是否大于第一扩充系数,若是,则将其设置为第一扩充系数;
其中,所述对归一化特征图进行RGB模式规范化处理,得到目标图片包括:
将归一化特征图拆解出三个通道矩阵,将每一通道矩阵作为一个灰度图片;
对各灰度图片进行灰度模式规范化处理:按位将各灰度图片中的元素值与分水岭阈值进行对比;当灰度图片中的元素值大于所述分水岭阈值时,则灰度图片中的元素值乘以第一扩充系数,得到第一RGB模式元素值;当灰度图片中的元素值不大于所述分水岭阈值时,则灰度图片中的元素值乘以第二扩充系数,得到第二RGB模式元素值;判断第一RGB模式元素值及第二RGB模式元素值是否大于第一扩充系数,若是,则将其设置为第一扩充系数;
将灰度模式规范化处理后的灰度图片叠加,得到目标图片;
其中,所述分水岭阈值的取值范围为0.95到0.98。
2.一种自适应图像增强装置,其特征在于,所述装置包括:
滤波核构造模块,用于获取输入图片的通道数信息及像素尺寸信息,根据所述像素尺寸信息构造高斯滤波核;
光照分布特征图模块,用于利用所述高斯滤波核,对所述输入图片进行高斯滤波变换,得到光照分布特征图;
归一化处理模块,用于对所述输入图片及所述光照分布特征图进行按位除法处理,得到归一化特征图;
规范化处理模块,用于根据所述通道数信息,对归一化特征图进行灰度模式规范化处理或RGB模式规范化处理,得到目标图片;
其中,所述像素尺寸信息包括图片的宽及图片的高;
所述滤波核构造模块包括:滤波核构造单元,用于根据图片的宽、图片的高及缩小因子,确定高斯滤波核的尺寸;其中,高斯滤波核尺寸为min{W,H}/F×min{W,H}/F,W和H分别为输入图片的宽和高,F为缩小因子;
其中,所述缩小因子的取值范围为15到25;
其中,所述规范化处理模块包括:处理模式选择单元,用于当通道数为1时,对归一化特征图进行灰度模式规范化处理;当通道数为3时,对归一化特征图进行RGB模式规范化处理;
其中,所述规范化处理模块还包括:灰度模式处理单元,用于按位将归一化特征图中的元素值与分水岭阈值进行对比;当归一化特征图中的元素值大于所述分水岭阈值时,则归一化特征图中的元素值乘以第一扩充系数,得到第一灰度模式元素值;当归一化特征图中的元素值不大于所述分水岭阈值时,则归一化特征图中的元素值乘以第二扩充系数,得到第二灰度模式元素值;判断第一灰度模式元素值及第二灰度模式元素值是否大于第一扩充系数,若是,则将其设置为第一扩充系数;
其中,所述规范化处理模块还包括:RGB模式处理单元,用于将归一化特征图拆解出三个通道矩阵,将每一通道矩阵作为一个灰度图片;对各灰度图片进行灰度模式规范化处理:按位将各灰度图片中的元素值与分水岭阈值进行对比;当灰度图片中的元素值大于所述分水岭阈值时,则灰度图片中的元素值乘以第一扩充系数,得到第一RGB模式元素值;当灰度图片中的元素值不大于所述分水岭阈值时,则灰度图片中的元素值乘以第二扩充系数,得到第二RGB模式元素值;判断第一RGB模式元素值及第二RGB模式元素值是否大于第一扩充系数,若是,则将其设置为第一扩充系数;将灰度模式规范化处理后的灰度图片叠加,得到目标图片;
其中,所述分水岭阈值的取值范围为0.95到0.98。
3.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1所述方法。
4.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有执行权利要求1所述方法的计算机程序。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010607904.6A CN111798389B (zh) | 2020-06-30 | 2020-06-30 | 自适应图像增强方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010607904.6A CN111798389B (zh) | 2020-06-30 | 2020-06-30 | 自适应图像增强方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111798389A CN111798389A (zh) | 2020-10-20 |
CN111798389B true CN111798389B (zh) | 2023-08-15 |
Family
ID=72809592
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010607904.6A Active CN111798389B (zh) | 2020-06-30 | 2020-06-30 | 自适应图像增强方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111798389B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117094912B (zh) * | 2023-10-16 | 2024-01-16 | 南洋电气集团有限公司 | 一种低压配电柜焊接图像增强方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102013092A (zh) * | 2010-11-26 | 2011-04-13 | 重庆大学 | 一种基于光照校正的图像复原方法 |
CN107392866A (zh) * | 2017-07-07 | 2017-11-24 | 武汉科技大学 | 一种光照鲁棒的人脸图像局部纹理增强方法 |
CN109214996A (zh) * | 2018-08-29 | 2019-01-15 | 深圳市元征科技股份有限公司 | 一种图像处理方法及装置 |
WO2020001197A1 (zh) * | 2018-06-29 | 2020-01-02 | Oppo广东移动通信有限公司 | 图像处理方法、电子设备、计算机可读存储介质 |
-
2020
- 2020-06-30 CN CN202010607904.6A patent/CN111798389B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102013092A (zh) * | 2010-11-26 | 2011-04-13 | 重庆大学 | 一种基于光照校正的图像复原方法 |
CN107392866A (zh) * | 2017-07-07 | 2017-11-24 | 武汉科技大学 | 一种光照鲁棒的人脸图像局部纹理增强方法 |
WO2020001197A1 (zh) * | 2018-06-29 | 2020-01-02 | Oppo广东移动通信有限公司 | 图像处理方法、电子设备、计算机可读存储介质 |
CN109214996A (zh) * | 2018-08-29 | 2019-01-15 | 深圳市元征科技股份有限公司 | 一种图像处理方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111798389A (zh) | 2020-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9626745B2 (en) | Temporal multi-band noise reduction | |
US9275445B2 (en) | High dynamic range and tone mapping imaging techniques | |
EP2368226B1 (en) | High dynamic range image combining | |
US10410327B2 (en) | Shallow depth of field rendering | |
CN105432069B (zh) | 图像处理装置、摄像装置、图像处理方法及程序 | |
CN103067661A (zh) | 图像处理方法、装置和拍摄终端 | |
US10992845B1 (en) | Highlight recovery techniques for shallow depth of field rendering | |
CN110766639A (zh) | 图像增强方法、装置、移动设备及计算机可读存储介质 | |
CN111489322B (zh) | 给静态图片加天空滤镜的方法及装置 | |
Jaroensri et al. | Generating training data for denoising real rgb images via camera pipeline simulation | |
CN111292269B (zh) | 图像色调映射方法、计算机装置及计算机可读存储介质 | |
CN112950837B (zh) | 基于深度学习的纸币破损情况识别方法及装置 | |
US8594446B2 (en) | Method for enhancing a digitized document | |
CN108629738B (zh) | 一种图像处理方法及装置 | |
CN111601048A (zh) | 图像处理方法及装置 | |
CN111798389B (zh) | 自适应图像增强方法及装置 | |
CN110838088B (zh) | 一种基于深度学习的多帧降噪方法、装置及终端设备 | |
Ma et al. | Joint over and under exposures correction by aggregated retinex propagation for image enhancement | |
WO2021109680A1 (zh) | 一种人脸图像处理方法、装置、计算机设备及介质 | |
US20090034872A1 (en) | Method and apparatus for increasing brightness of image captured in low light | |
KR102164998B1 (ko) | 디지털 영상 선예도 강화 방법 | |
US20230222639A1 (en) | Data processing method, system, and apparatus | |
CN111953888B (zh) | 暗光成像方法、装置、计算机可读存储介质及终端设备 | |
US9569857B2 (en) | Conversion of digital images into digital line drawings | |
CN105827890A (zh) | 一种二维码扫描方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |