CN113902628A - 一种适用于集装箱自动化智能升级的图像预处理算法 - Google Patents
一种适用于集装箱自动化智能升级的图像预处理算法 Download PDFInfo
- Publication number
- CN113902628A CN113902628A CN202110981424.0A CN202110981424A CN113902628A CN 113902628 A CN113902628 A CN 113902628A CN 202110981424 A CN202110981424 A CN 202110981424A CN 113902628 A CN113902628 A CN 113902628A
- Authority
- CN
- China
- Prior art keywords
- image
- channel
- color
- formula
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 54
- 238000007781 pre-processing Methods 0.000 title claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 51
- 238000012546 transfer Methods 0.000 claims abstract description 26
- 238000001914 filtration Methods 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000012937 correction Methods 0.000 claims abstract description 17
- 238000007499 fusion processing Methods 0.000 claims abstract description 7
- 238000004364 calculation method Methods 0.000 claims description 41
- 230000015556 catabolic process Effects 0.000 claims description 34
- 238000006731 degradation reaction Methods 0.000 claims description 34
- 230000004927 fusion Effects 0.000 claims description 28
- 238000013507 mapping Methods 0.000 claims description 25
- 238000010606 normalization Methods 0.000 claims description 8
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 22
- 238000005516 engineering process Methods 0.000 abstract description 16
- 230000000007 visual effect Effects 0.000 abstract description 16
- 238000003708 edge detection Methods 0.000 abstract description 9
- 238000001514 detection method Methods 0.000 abstract description 2
- 239000013074 reference sample Substances 0.000 abstract description 2
- 238000011156 evaluation Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000002411 adverse Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 2
- 238000011158 quantitative evaluation Methods 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Of Color Television Signals (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种适用于集装箱自动化接卸转运智能升级的图像预处理算法,其主要分为四个步骤:对输入图像分别进行自适应人工多曝光融合处理及自适应参数调整的颜色通道补偿校正处理,获得对比度增强及颜色校正版本图像;采用引导滤波算法提出的方案,将图像的对比度增强版本转变为细节层及基础层图像;以图像的颜色校正版本作为参考样本,采用颜色通道转移技术对得到的基础层进行处理;将处理后的基础层与细节层进行叠加,获得最终预处理后的图像。本发明可有效提升目标图像的视觉质量,在基于传统的梯度边缘检测技术方面以及在边缘信息检测准确度上提升效果明显,为后续智能化的图像识别算法的应用奠定良好基础。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种适用于集装箱自动化智能升级的图像预处理算法。
背景技术
本发明依托国家重点研发计划项目:多式联运智能集成技术与装备开发子课题4:自动化转运接驳装备及支撑技术,项目编号为2019YFBl600400。此课题提出:研发多技术融合的混杂目标智能辨识技术,实现吊具-运载单元-载运工具的姿态识别的功能。根据课题要求,项目组人员提出采用对视觉识别方法的研发提供技术支持。由于图像的视觉质量是图像识别技术成功与否的重要保障,因此提出一种新颖且针对性较强的图像预处理算法将有效提升所获取图像的视觉质量,从而完成基于图像识别技术的相关功能实现。根据码头公司提供的不利条件下例如雨雪、大雾、低光照等环境下获取的相关图像可知,在集装箱码头公司作业区内所摄取的图像会由于外部环境因素引起对比度降低、细节信息丢失、颜色出现偏差从而造成图像视觉质量的下降,严重影响后续基于视觉技术的图像识别效果。本发明涉及算法主要针对提升对比度、恢复细节信息且校正颜色偏差三个目的进行设计。具体如下:
在校正颜色信息方面:
结合相关各类算法的不足,Ancuti等人于2020年提出著名的全局颜色通道补偿算法[1]通过使用绿色通道对红色通道的全局补偿后,采用gray-world白平衡技术得到最终效果,其英文表述为Color Channel Compensation,英文缩写为3C。但3C技术由于是对图像全局的颜色通道补偿操作,容易引起进一步降低图像对比度的不利影响。
在提升对比度与恢复细节信息方面:
有研究人员发现[2],图像某一给定区域Ω的对比度可定量由以下公式进行表达:
其中,代表图像某一给定区域Ω中像素强度最大的点即视觉效果最暗的点,而则通常表示该区域中像素强度最小的点即视觉效果最亮的点。换而言之,有效提升图像各区域对比度不仅可以提升图像整体对比度,还可以有效恢复图像不同亮度区域退化的细节信息。因此研究人员们根据此项发现也提出了诸多算法。最近,比较著名的有Galdran等人于2018年[3]提出的人工欠曝光融合算法与Zhu等人于2021年[4]提出的快速多幅欠曝光融合算法。其中,人工欠曝光融合的英文表述为artificial multi-underexposure fusion,英文缩写为AMEF,快速多幅欠曝光融合的英文表述为fast multi-underexposure fusion,英文缩写为FMEF。以上两种算法均为通过校正gamma值对原图像进行人工多幅欠曝光的生成,再利用相关融合算法生成最终图像。虽然以上两种算法在恢复退化细节信息上表现尚可,但处理后的图像仍然保持原对比度较低的缺陷;且上述两种算法人工生成的欠曝光版本均为对特定某幅图片的观察下预设的gamma值,对输入图像的种类不予以考虑,易引起处理后的图像效果不佳。
发明内容
本发明针对上述问题,提供一种可有效校正颜色偏差信息,提升对比度且恢复退化细节的图像预处理算法。
为了达到上述目的,本发明提供了一种适用于集装箱自动化智能升级的图像预处理算法,其步骤包括:
S1:获取待校正图像并进行自适应人工多曝光融合处理;改变所述待校正图像的gamma值并获得不同曝光度版本的图像,所述调整gamma值的公式(1)为:
Iγ(x,y)=I(x,y)γ (1)式中,Iγ(x,y)为gamma值为γ的版本图像,I(x,y)为待校正图像;
S2:计算所述不同曝光度版本的图像熵值Entropy,所述图像熵值Entropy的计算公式(2)为:
Entropy=∑Pi(Ii)log2(Ii) (2)
式中,Ii为输入图像的灰度形式,Pi为图像中灰度等级为i的出现频率,i∈[0,255];
S3:选择所述不同曝光度版本中熵值最大的版本图像作为输入图像,以对比度与曝光度作为权重对所述输入图像进行权重相乘并进行归一化处理,所述权重相乘的计算公式(3)为:
S4:将所述归一化处理后的像素权重与输入图像带入图像多尺度融合策略公式并得到对比度增强版本图像,所述图像多尺度融合策略公式(4)为:
式中,Jl(x,y)为第l层融合结果,Gl{g}为第l层γ=k曝光度版本时的高斯变换,Ll{g}为第l层γ=k曝光度版本时的拉普拉斯变换;为(3)得到的γ=k曝光度版本的融合权重Wk(x,y)经归一化处理的结果,Ek(x,y)为γ=k时(x,y)位置像素的强度;
S5:对所述待校正图像进行自适应参数调整的颜色通道补偿校正处理;通过退化映射图公式计算所述待校正图像RGB颜色空间中c通道退化映射值,所述退化映射图公式(5)为:
Ac(x,y)=1-Ic(x,y) (5)
式中,Ac(x,y)为c颜色通道的退化映射值,Ic(x,y)为c颜色通道中(x,y)位置像素的强度值,c=[R,G,B]即RGB颜色空间中的红色通道、绿色通道以及蓝色通道;
S6:对所述c通道退化映射值进行均值化计算,并得到红色通道退化映射均值mean[AR(x,y)]、绿色通道退化映射均值mean[AG(x,y)]以及蓝色通道退化映射均值mean[AB(x,y)];
S7:比较mean[AR(x,y)]、mean[AG(x,y)]与mean[AB(x,y)]数值大小,退化映射均值较小的颜色通道为主导颜色通道,其余两条颜色通道为待补偿的退化颜色通道;
式中,αΩ(x,y)为在一个特定的滑动窗口Ω内退化通道(x,y)位置的局域补偿参数,为主导颜色通道的强度均值,为退化颜色通道的强度均值,ID(x,y)为主导颜色通道中(x,y)位置像素的强度值,Id(x,y)为待补偿的退化颜色通道中(x,y)位置像素的强度值;
S9:对所述公式(6)进行引导滤波公式推导并得到局域补偿参数αΩ(x,y)的计算公式(7)为:
S10:根据滑动窗口Ω的轨迹、大小以及αΩ(x,y)计算(x,y)位置的补偿参数α(x,y),所述α(x,y)的计算公式(8)为:
根据|n|=2,则滑动窗口Ω的大小为n2=4即滑动窗口每次覆盖4个像素大小的区域;滑动窗口Ω采用“自左向右,自上向下”的方式逐行逐列覆盖滑动,则覆盖同一像素位置将被αΩ=1,αΩ=2,αΩ=3,αΩ=4滑动窗口四次覆盖,每次覆盖的αΩ(x,y)值由式(7)得到;
S12:对所述补偿后的图像进行gray-world白平衡处理并得到颜色校正图像;
S13:对所述对比度增强版本图像进行引导滤波处理并得到对比度增强版本图像的基础层图像,所述引导滤波处理的计算公式(10)为:
B(x,y)=Gr,ε{Im(x,y),Im(x,y)} (10)
式中,Gr,ε{g}为引导滤波处理过程,r为给定区域ω内的滤波半径,ε为可控制滤波模糊度,Im(x,y)为对比度增强版本图像,B(x,y)为基础层图像;
S14:对比度增强版本图像Im(x,y)减去基础层图像B(x,y)得到对比度版本图像的细节层图像D(x,y),其计算公式(11)为:
D(x,y)=Im(x,y)-B(x,y) (11)
S15:以颜色校正图像为参考图像,对所述基础层图像进行颜色通道转移处理,所述颜色通道转移处理的计算公式(12)为:
式中,为颜色通道转移处理后基础层图像的Lab色彩空间的L颜色通道,为颜色通道转移处理后基础层图像的Lab色彩空间的a颜色通道,为颜色通道转移处理后基础层图像的Lab色彩空间的b颜色通道,IL(x,y)为基础层图像的Lab色彩空间的L颜色通道,Ia(x,y)为基础层图像的Lab色彩空间的a颜色通道,Ib(x,y)为基础层图像的Lab色彩空间的b颜色通道,为基础层图像的Lab色彩空间的L颜色通道均值,σL为基础层图像的Lab色彩空间的L颜色通道标准差,为基础层图像的Lab色彩空间的a颜色通道均值,σa为基础层图像的Lab色彩空间的a颜色通道标准差,为基础层图像的Lab色彩空间的b颜色通道均值,σb为基础层图像的Lab色彩空间的b颜色通道标准差,为颜色校正图像的Lab色彩空间的L颜色通道均值,为颜色校正图像的Lab色彩空间的L颜色通道标准差,为颜色校正图像的Lab色彩空间的a颜色通道均值,为颜色校正图像的Lab色彩空间的a颜色通道标准差,为颜色校正图像的Lab色彩空间的b颜色通道均值,为颜色校正图像的Lab色彩空间的b颜色通道标准差;
S16:将所述颜色通道转移处理后的基础层图像与对比度版本图像的细节层图像D(x,y)进行叠加处理,获得最终的预处理图像,所述叠加处理的计算公式(13)为:
Ip(x,y)=Bp(x,y)+D(x,y) (13)
式中,Ip(x,y)为预处理图像,Bp(x,y)为颜色通道转移处理后的基础层图像。
优选方式下,所述gray-world白平衡的计算公式(16)为:
式中,R(x,y)为白平衡前的红色通道在(x,y)位置像素的强度值,CR(x,y)为白平衡后的红色通道在(x,y)位置像素的强度值,kr为红色通道的平衡参数,G(x,y)为白平衡前的绿色通道在像素位置(x,y)的强度值,CG(x,y)为白平衡后的绿色通道在(x,y)位置像素的强度值,kg为绿色通道的平衡参数,B(x,y)为白平衡前的蓝色通道在像素位置(x,y)的强度值,CB(x,y)为白平衡后的蓝色通道在(x,y)位置像素的强度值,kb为蓝色通道的平衡参数;
所述kr、kg、kb的计算公式(17)为:
式中,Ravg为白平衡前红色通道像素强度平均值,Gavg为白平衡前绿色通道像素强度平均值,Bavg为白平衡前蓝色通道像素强度平均值。
本发明的有益效果为:与现有先进的图像预处理算法相比,本发明涉及算法在提升目标图像视觉质量方面效果更强,有效提升目标图像的对比度、恢复退化细节信息并校正偏差颜色,为集装箱自动化智能升级后续识别技术的应用奠定良好基础。且该算法仅通过输入图像自身所提供的信息即可进行相应优化操作,无需参考额外的光学模型与先验知识,操作简便、易于理解。
附图说明
图1为本发明适用于集装箱自动化智能升级的图像预处理算法流程图;
图2为本发明算法与其他现有先进的先进图像预处理算法的效果对比图;
图3为本发明算法应用于集装箱码头实际场景中拍摄的退化图像的预处理效果图及基于传统梯度的边缘检测割技术效果对比图。
具体实施方式
具体实施例:
根据码头公司提供的不利条件下例如雨雪、大雾、低光照等等环境下的获取的相关图像可知,在集装箱码头公司作业区内所摄取的图像会由于外部环境因素引起对比度降低、细节信息丢失、颜色出现偏差从而造成图像视觉质量的下降,严重影响后续基于视觉技术的图像识别效果。因此,有效提升对比度、恢复细节信息并校正颜色偏差是对图像预处理的关键所在。如图1所示,针对以上目的我们设计了此发明公开的算法,本发明算法主要分为四个步骤:第一步,我们对输入图像分别进行本发明设计的自适应人工多曝光融合处理及自适应参数调整的颜色通道补偿的颜色校正处理,通过以上操作我们获得了图像对比度增强及颜色校正版本。第二步,我们采用引导滤波算法提出的方案,将图像的对比度增强版本转变为包含细节信息的细节层detail-layer及除去特定细节信息的基础层base-layer。第三步,我们利用图像的颜色校正版本作为参考样本,利用颜色通道转移技术CCT对得到的基础层进行处理。第四步,我们将处理后的基础层与分割的细节层进行简单的相加,获得最终预处理后的图像。通过将处理后的图像与现有先进的图像去雾算法进行主观与客观的评价,本发明所提出的预处理方法表现更优。不止于此,我们将本算法应用于集装箱码头实际作业场景,通过使用传统的梯度边缘检测技术发现:经本发明预处理后的图像可有效提升目标图像的视觉质量,在基于传统的梯度边缘检测技术方面,在边缘信息检测准确度上提升效果明显,充分说明本算法于集装箱码头自动化智能升级中作用有效,为后续智能化的图像识别算法的应用奠定良好基础。
本发明一种适用于集装箱自动化智能升级的图像预处理算法,其步骤包括:
S1:获取待校正图像并进行自适应人工多曝光融合处理;改变所述待校正图像的gamma值并获得不同曝光度版本的图像,所述调整gamma值的公式(1)为:
Iγ(x,y)=I(x,y)γ (1)式中,Iγ(x,y)为gamma值为γ的版本图像,I(x,y)为待校正图像;
S2:计算所述不同曝光度版本的图像熵值Entropy,所述图像熵值Entropy的计算公式(2)为:
Entropy=∑Pi(Ii)log2(Ii) (2)
式中,Ii为输入图像的灰度形式,Pi为图像中灰度等级为i的出现频率,i∈[0,255];
S3:选择所述不同曝光度版本中熵值最大的版本图像作为输入图像,以对比度与曝光度作为权重对所述输入图像进行权重相乘并进行归一化处理,所述权重相乘的计算公式(3)为:
S4:将所述归一化处理后的像素权重与输入图像带入图像多尺度融合策略公式并得到对比度增强版本图像,所述图像多尺度融合策略公式(4)为:
式中,Jl(x,y)为第l层融合结果,Gl{g}为第l层γ=k曝光度版本时的高斯变换,Ll{g}为第l层γ=k曝光度版本时的拉普拉斯变换;为(3)得到的γ=k曝光度版本的融合权重Wk(x,y)经归一化处理的结果,标准化处理的目的是防止所得的综合权重取值过大,Ek(x,y)为γ=k时(x,y)位置像素的强度;最终结果J(x,y)可通过代入式(4)Jl(x,y)的取值后,从低到高重建拉普拉斯金字塔而获得;
S5:对所述待校正图像进行自适应参数调整的颜色通道补偿校正处理;通过退化映射图公式计算所述待校正图像RGB颜色空间中c通道退化映射值,所述退化映射图公式(5)为:
Ac(x,y)=1-Ic(x,y) (5)
式中,Ac(x,y)为c颜色通道的退化映射值,Ic(x,y)为c颜色通道中(x,y)位置像素的强度值,c=[R,G,B]即RGB颜色空间中的红色通道、绿色通道以及蓝色通道;
S6:对所述c通道退化映射值进行均值化计算,并得到红色通道退化映射均值mean[AR(x,y)]、绿色通道退化映射均值mean[AG(x,y)]以及蓝色通道退化映射均值mean[AB(x,y)];
S7:比较mean[AR(x,y)]、mean[AG(x,y)]与mean[AB(x,y)]数值大小,退化映射均值较小的颜色通道为主导颜色通道,其余两条颜色通道为待补偿的退化颜色通道;
式中,αΩ(x,y)为在一个特定的滑动窗口Ω内退化通道(x,y)位置的局域补偿参数,为主导颜色通道的强度均值,为退化颜色通道的强度均值,ID(x,y)为主导颜色通道中(x,y)位置像素的强度值,Ed(x,y)为待补偿的退化颜色通道中(x,y)位置像素的强度值;
S9:对所述公式(6)进行引导滤波公式推导并得到局域补偿参数αΩ(x,y)的计算公式(7)为:
S10:根据滑动窗口Ω的轨迹、大小以及αΩ(x,y)计算(x,y)位置的补偿参数α(x,y),所述α(x,y)的计算公式(8)为:
根据|n|=2,则滑动窗口Ω的大小为n2=4即滑动窗口每次覆盖4个像素大小的区域;滑动窗口Ω采用“自左向右,自上向下”的方式逐行逐列覆盖滑动,则覆盖同一像素位置将被αΩ=1,αΩ=2,αΩ=3,αΩ=4滑动窗口四次覆盖,每次覆盖的αΩ(x,y)值由式(7)得到;
S12:对所述补偿后的图像进行gray-world白平衡处理并得到颜色校正图像;
S13:对所述对比度增强版本图像进行引导滤波处理并得到对比度增强版本图像的基础层图像,所述引导滤波处理的计算公式(10)为:
B(x,y)=Gr,ε{Im(x,y),Im(x,y)} (10)
式中,Gr,ε{g}为引导滤波处理过程,r为给定区域ω内的滤波半径,ε为可控制滤波模糊度,Im(x,y)为对比度增强版本图像,B(x,y)为基础层图像;
S14:对比度增强版本图像Im(x,y)减去基础层图像B(x,y)得到对比度版本图像的细节层图像D(x,y),其计算公式(11)为:
D(x,y)=Im(x,y)-B(x,y) (11)
S15:以颜色校正图像为参考图像,对所述基础层图像进行颜色通道转移处理,所述颜色通道转移处理的计算公式(12)为:
式中,为颜色通道转移处理后基础层图像的Lab色彩空间的L颜色通道,为颜色通道转移处理后基础层图像的Lab色彩空间的a颜色通道,为颜色通道转移处理后基础层图像的Lab色彩空间的b颜色通道,IL(x,y)为基础层图像的Lab色彩空间的L颜色通道,Ia(x,y)为基础层图像的Lab色彩空间的a颜色通道,Ib(x,y)为基础层图像的Lab色彩空间的b颜色通道,为基础层图像的Lab色彩空间的L颜色通道均值,σL为基础层图像的Lab色彩空间的L颜色通道标准差,为基础层图像的Lab色彩空间的a颜色通道均值,σa为基础层图像的Lab色彩空间的a颜色通道标准差,为基础层图像的Lab色彩空间的b颜色通道均值,σb为基础层图像的Lab色彩空间的b颜色通道标准差,为颜色校正图像的Lab色彩空间的L颜色通道均值,为颜色校正图像的Lab色彩空间的L颜色通道标准差,为颜色校正图像的Lab色彩空间的a颜色通道均值,为颜色校正图像的Lab色彩空间的a颜色通道标准差,为颜色校正图像的Lab色彩空间的b颜色通道均值,为颜色校正图像的Lab色彩空间的b颜色通道标准差;
S16:将所述颜色通道转移处理后的基础层图像与对比度版本图像的细节层图像D(x,y)进行叠加处理,获得最终的预处理图像,所述叠加处理的计算公式(13)为:
Ip(x,y)=Bp(x,y)+D(x,y) (13)
式中,Ip(x,y)为预处理图像,Bp(x,y)为颜色通道转移处理后的基础层图像。
所述gray-world白平衡的计算公式(16)为:
式中,R(x,y)为白平衡前的红色通道在(x,y)位置像素的强度值,CR(x,y)为白平衡后的红色通道在(x,y)位置像素的强度值,kr为红色通道的平衡参数,G(x,y)为白平衡前的绿色通道在像素位置(x,y)的强度值,CG(x,y)为白平衡后的绿色通道在(x,y)位置像素的强度值,kg为绿色通道的平衡参数,B(x,y)为白平衡前的蓝色通道在像素位置(x,y)的强度值,CB(x,y)为白平衡后的蓝色通道在(x,y)位置像素的强度值,kb为蓝色通道的平衡参数;
所述kr、kg、kb的计算公式(17)为:
式中,Ravg为白平衡前红色通道像素强度平均值,Gavg为白平衡前绿色通道像素强度平均值,Bavg为白平衡前蓝色通道像素强度平均值。
更具体地,在具体实施时,采用的具体技术如下:
S1:通过公式(1)-(2)确定本发明所涉及的自适应人工多曝光融合算法的不同曝光版本图像输入;
S2:获得原始图像的对比度增强版本;
S3:通过公式(5)获取原始输入图像RGB颜色空间中各颜色通道的退化映射图及相应平均值,从而确定目标图像的主导颜色通道与其余两条退化颜色通道;
S4:通过公式(6)-(7)获取各退化颜色通道像素点(x,y)位置处的局域补偿参数α(x,y);
S6:通过公式(16)-(17)对颜色补偿后的图像进行gray-world白平衡处理得到输入图像的颜色校正版本;
S7:通过公式(10)-(11)获得对比度增强版本的基础层图像B(x,y)与细节层图像D(x,y);
S8:通过公式(12)及预先设定的输入图像的颜色校正版本对基础层图像B(x,y)进行CCT操作,得到颜色矫正后的基础层图像Bp(x,y);
S9:通过公式(13)将颜色矫正后的基础层图像Bp(x,y)与细节层图像D(x,y)进行简单相加,获得本发明所涉及预处理后的最终图像Ip(x,y)。
其中,自适应人工多曝光融合处理的英文名称为adaptive artificial multi-exposure fusion,英文缩写为A-AMEF,本发明设计的自适应人工多曝光融合处理(A-AMEF)中,首先提出一种基于目标图像gamma变换后熵值最大化的人工多曝光版本生成策略。图像的熵是一种反应图像中平均信息量多少的衡量指标,图像的熵值越高代表图像所蕴含的信息量越大,其计算公式如(2)所示。结合常用的对目标图像进行gamma调整来获得不同曝光度的版本。根据观察发现,一般的图像当γ>6时,图像整体变得太暗使得细节信息很难被认出。因此,我们预设图像的gamma值分别为(0,0.5]、(0.5,1]、(1,2]、(2,3]、(3,4]、(4,5]与(5,6]共7个区间。利用一个Δγ=1的增量结合式(2)分别在这7个区间中进行处理,共将获得35个不同γ的图像版本。我们利用式(1)分别计算这35个版本图像的熵值,并在上述7个取值区间中选取其中熵值最大的版本,作为输入图像组准备进行后续的曝光融合处理。图像多尺度融合策略公式源自参考文献[5]。像素曝光度权重的计算公式常数系数σm根据相关研究人员大量实验验证建议取0.2。
其中,自适应参数调整的颜色通道补偿校正处理的英文名称为adaptiveparameter-adjusted color channel compensation,英文简称为A-PCC。根据公式(6)通过引导滤波公式推导并得到局域补偿参数αΩ(x,y)的计算公式(7)具体过程如下:
从公式(7)可得,由于对于待校正图像为一确定值,因此在后续计算过程中可暂时忽略并用Λ予以表示。另外我们引入一个新的函数:bΩ(x,y)=-αΩ(x,y)Id(x,y)ID(x,y),因此公式(6)可以转换为如下公式(18):
其中,αΩ(x,y)与bΩ(x,y)是两个在滑动窗口Ω内的可变动参数;换而言之,求得各Ω内αΩ(x,y)与bΩ(x,y)即可完成对待校正图像的退化颜色通道进行定量的补偿操作。在这里我们引入He等人提出的引导滤波计算思路[6]。我们发现,解决式(18)的计算就是解决引导滤波公式的问题。因此,我们可以暂设ID(x,y)为引导图像、Id(x,y)与ΔId(x,y)/Λ可分别暂设为输入通道与输出通道。于是,根据引导滤波文献计算过程:αΩ(x,y)与bΩ(x,y)可以通过Id(x,y)与ΔId(x,y)/Λ的价值函数最小化进行求得,即可表示为下式:
其中,||·||F代表了弗罗贝尼乌斯范数,经比较ε可设置为0.1以防止αΩ(x,y)的数值变得巨大。因此,公式(9)的线性回归即可表示为如下公式(20):
其中,由于我们的目的是确定如何定量地局域补偿退化颜色通道,因此我们尽量小的设定滑动窗口Ω的范围,设置为2×2,则|n|=2。同时,由于滑动窗口根据其滑动轨迹将覆盖同一位置像素点|n|2次,详见附图1,于是最终确定的局域补偿参数α(x,y)根据滑动窗口的轨迹及大小,可由公式(8)求解。
其中,在获得输入图像的对比度增强版本与颜色校正版本后,我们首先对对比度增强版本进行处理。通过深入了解引导滤波相关作用:引导滤波器有效获取不包含细节信息的目标图像平滑层即基础层。引滤波器可以生成作为导引图像线性变换的滤波。如果我们假设导航图像是输入,然后通过公式(10)以下步骤实现基础层。Im(x,y)代表引导滤波的输入图像即对比度增强版本,B(x,y)代表输出图像即不包含细节信息的基础层。通过观察可知,r与ε的值越大,所获得的基础层将包含越少的细节信息,而更多的细节信息将被保留至细节层。因此,考虑实际计算效果与效率用时,此处我们设置r=4,ε=0.2。
其中,为尽可能在最终处理图像中保留更多的细节信息,不进行过分处理,我们对获得的原始图像对比度增强版本的基础层进行颜色通道转移处理[7],其英文名称为colorchannel transfer,英文缩写为CCT。
如图2所示,为了对算法的定量评价中可以引用全参考图像标准,图2所展示图像均来自非均匀朦胧和无雾图像数据集[8]。该数据集同时提供无退化状态下的真实图像以供算法研究者们进行参考。其中图2(a)为原始输入图像;图2(b)为A.Gldran等人提出的AMEF算法处理的图像[9];图2(c)为Zhu等人提出的FMEF算法处理的图像[10];图2(d)为Zhao等人提出的多尺度最佳融合模式算法处理图像[11];图2(e)为Qin等人提出的特征融合网络算法处理的图像[12]图2(f)为本发明算法处理图像;图2(g)为NH-HAZE提供的无退化参考图像;经观察,本发明涉及图像预处理算法效果明显优于其他比较算法。上述非均匀朦胧和无雾图像数据集的英文名称为non-homogeneous hazy and haze-free image dataset,英文缩写为NH-HAZE;多尺度最佳融合模式算法的英文名称为multi-scale optimal fusionmodel,英文缩写为MOFD;特征融合网络算法处理的图像的英文名称为feature fusionattention network,英文缩写为FFA-Net。
图3为本发明算法应用于集装箱码头实际场景中拍摄的退化图像的预处理效果图及基于传统梯度的边缘检测效果对比图。其中图3(a)为原始输入图像;图3(b)为基于原始输入图像的梯度边缘检测效果;图3(c)为本发明算法预处理后图像;图3(d)为基于本发明算法预处理后图像的梯度边缘检测效果。经观察,本发明涉及图像预处理方法在提升集装箱码头具体应用场景图像视觉质量方面效果明显,同时在基于传统的梯度边缘检测效果方面,边缘检测准确度与细节信息恢复方面提升效果明显,均充分说明本发明所涉及算法在集装箱码头自动化智能升级中的有效性,也可为后续图像识别技术的应用打下良好的基础。
表1展示了图2展示的相关图像及NH-HAZE提供的全部55对图像,基于自然图像无参考评价指标[13]、图像熵值无参考评价指标、图像基于结构相似度全参考评价指标[14]与图像峰值信噪比全参考评价指标[15]。经对比,本发明所涉及图像预处理算法在基于上述4中评价指标中基本较高水平;不止如此,在对展示的5幅图像与NH-HAZE数据集提供的55幅全部图像的平均值对比中,本发明所涉及预处理算法在4中评价指标中均处于领先位置,充分说明该算法的有效性及良好的鲁棒性。上述中自然图像无参考评价指标的英文名称为nature image quality evaluator,英文缩写为NIQE;图像基于结构相似度全参考评价指标的英文名称为structural similarity index,英文缩写为SSIM;图像峰值信噪比全参考评价指标的英文名称为peak signal-to-noise ratio,英文缩写为PSNR。
表1:基于NIQE,Entropy,SSIM与PSNR的相关图像定量评价结果比较
其中:
NIQE是基于对图像高对比度区域的视觉感知构建。采用多元高斯估计敏感区域的特征模型,多元高斯估计的英文名称为multivariate gaussian,英文简称为MVG。NIQE值越低,评价图像的视觉质量越好;
Entropy是基于对目标图像所蕴含信息量的度量,entropy值越高,评价图像所包含的信息量越多;
SSIM是两幅图像的亮度、对比度和结构对比的结合。它可以通过池化策略来计算。SSIM值越高,两幅图像的差异越小,目标图像的视觉质量越好;
PSNR顾名思义,PSNR表示信噪比。更高的PSNR意味着评估后的图像具有更少的额外噪声,目标图像的视觉质量越好。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
Claims (3)
1.一种适用于集装箱自动化智能升级的图像预处理算法,其特征在于,其步骤包括:
S1:获取待校正图像并进行自适应人工多曝光融合处理;改变所述待校正图像的gamma值并获得不同曝光度版本的图像,所述调整gamma值的公式(1)为:
Iγ(x,y)=I(x,y)γ (1)
式中,Iγ(x,y)为gamma值为γ的版本图像,I(x,y)为待校正图像;
S2:计算所述不同曝光度版本的图像熵值Entropy,所述图像熵值Entropy的计算公式(2)为:
Entropy=∑Pi(Ii)log2(Ii) (2)
式中,Ii为输入图像的灰度形式,Pi为图像中灰度等级为i的出现频率,i∈[0,255];
S3:选择所述不同曝光度版本中熵值最大的版本图像作为输入图像,以对比度与曝光度作为权重对所述输入图像进行权重相乘并进行归一化处理,所述权重相乘的计算公式(3)为:
S4:将所述归一化处理后的像素权重与输入图像带入图像多尺度融合策略公式并得到对比度增强版本图像,所述图像多尺度融合策略公式(4)为:
式中,Jl(x,y)为第l层融合结果,Gl{g}为第l层γ=k曝光度版本时的高斯变换,Ll{g}为第l层γ=k曝光度版本时的拉普拉斯变换;为(3)得到的γ=k曝光度版本的融合权重Wk(x,y)经归一化处理的结果,Ek(x,y)为γ=k时(x,y)位置像素的强度;
S5:对所述待校正图像进行自适应参数调整的颜色通道补偿校正处理;通过退化映射图公式计算所述待校正图像RGB颜色空间中c通道退化映射值,所述退化映射图公式(5)为:
Ac(x,y)=1-Ic(x,y) (5)
式中,Ac(x,y)为c颜色通道的退化映射值,Ic(x,y)为c颜色通道中(x,y)位置像素的强度值,c=[R,G,B]即RGB颜色空间中的红色通道、绿色通道以及蓝色通道;
S6:对所述c通道退化映射值进行均值化计算,并得到红色通道退化映射均值mean[AR(x,y)]、绿色通道退化映射均值mean[AG(x,y)]以及蓝色通道退化映射均值mean[AB(x,y)];
S7:比较mean[AR(x,y)]、mean[AG(x,y)]与mean[AB(x,y)]数值大小,退化映射均值较小的颜色通道为主导颜色通道,其余两条颜色通道为待补偿的退化颜色通道;
式中,αΩ(x,y)为在一个特定的滑动窗口Ω内退化通道(x,y)位置的局域补偿参数,为主导颜色通道的强度均值,为退化颜色通道的强度均值,ID(x,y)为主导颜色通道中(x,y)位置像素的强度值,Id(x,y)为待补偿的退化颜色通道中(x,y)位置像素的强度值;
S9:对所述公式(6)进行引导滤波公式推导并得到局域补偿参数αΩ(x,y)的计算公式(7)为:
S10:根据滑动窗口Ω的轨迹、大小以及αΩ(x,y)计算(x,y)位置的补偿参数α(x,y),所述α(x,y)的计算公式(8)为:
根据|n|=2,则滑动窗口Ω的大小为n2=4即滑动窗口每次覆盖4个像素大小的区域;滑动窗口Ω采用“自左向右,自上向下”的方式逐行逐列覆盖滑动,则覆盖同一像素位置将被αΩ=1,αΩ=2,αΩ=3,αΩ=4滑动窗口四次覆盖,每次覆盖的αΩ(x,y)值由式(7)得到;
S12:对所述补偿后的图像进行gray-world白平衡处理并得到颜色校正图像;
S13:对所述对比度增强版本图像进行引导滤波处理并得到对比度增强版本图像的基础层图像,所述引导滤波处理的计算公式(10)为:
B(x,y)=Gr,ε{Im(x,y),Im(x,y)} (10)
式中,Gr,ε{g}为引导滤波处理过程,r为给定区域ω内的滤波半径,ε为可控制滤波模糊度,Im(x,y)为对比度增强版本图像,B(x,y)为基础层图像;
S14:对比度增强版本图像Im(x,y)减去基础层图像B(x,y)得到对比度版本图像的细节层图像D(x,y),其计算公式(11)为:
D(x,y)=Im(x,y)-B(x,y) (11)
S15:以颜色校正图像为参考图像,对所述基础层图像进行颜色通道转移处理,所述颜色通道转移处理的计算公式(12)为:
式中,为颜色通道转移处理后基础层图像的Lab色彩空间的L颜色通道,为颜色通道转移处理后基础层图像的Lab色彩空间的a颜色通道,为颜色通道转移处理后基础层图像的Lab色彩空间的b颜色通道,IL(x,y)为基础层图像的Lab色彩空间的L颜色通道,Ia(x,y)为基础层图像的Lab色彩空间的a颜色通道,Ib(x,y)为基础层图像的Lab色彩空间的b颜色通道,为基础层图像的Lab色彩空间的L颜色通道均值,σL为基础层图像的Lab色彩空间的L颜色通道标准差,为基础层图像的Lab色彩空间的a颜色通道均值,σa为基础层图像的Lab色彩空间的a颜色通道标准差,为基础层图像的Lab色彩空间的b颜色通道均值,σb为基础层图像的Lab色彩空间的b颜色通道标准差,为颜色校正图像的Lab色彩空间的L颜色通道均值,为颜色校正图像的Lab色彩空间的L颜色通道标准差,为颜色校正图像的Lab色彩空间的a颜色通道均值,为颜色校正图像的Lab色彩空间的a颜色通道标准差,为颜色校正图像的Lab色彩空间的b颜色通道均值,为颜色校正图像的Lab色彩空间的b颜色通道标准差;
S16:将所述颜色通道转移处理后的基础层图像与对比度版本图像的细节层图像D(x,y)进行叠加处理,获得最终的预处理图像,所述叠加处理的计算公式(13)为:
Ip(x,y)=Bp(x,y)+D(x,y) (13)
式中,Ip(x,y)为预处理图像,Bp(x,y)为颜色通道转移处理后的基础层图像。
3.根据权利要求1所述适用于集装箱自动化智能升级的图像预处理算法,其特征在于,所述gray-world白平衡的计算公式(16)为:
式中,R(x,y)为白平衡前的红色通道在(x,y)位置像素的强度值,CR(x,y)为白平衡后的红色通道在(x,y)位置像素的强度值,kr为红色通道的平衡参数,G(x,y)为白平衡前的绿色通道在像素位置(x,y)的强度值,CG(x,y)为白平衡后的绿色通道在(x,y)位置像素的强度值,kg为绿色通道的平衡参数,B(x,y)为白平衡前的蓝色通道在像素位置(x,y)的强度值,CB(x,y)为白平衡后的蓝色通道在(x,y)位置像素的强度值,kb为蓝色通道的平衡参数;
所述kr、kg、kb的计算公式(17)为:
式中,Ravg为白平衡前红色通道像素强度平均值,Gavg为白平衡前绿色通道像素强度平均值,Bavg为白平衡前蓝色通道像素强度平均值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110981424.0A CN113902628B (zh) | 2021-08-25 | 2021-08-25 | 一种适用于集装箱自动化智能升级的图像预处理算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110981424.0A CN113902628B (zh) | 2021-08-25 | 2021-08-25 | 一种适用于集装箱自动化智能升级的图像预处理算法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113902628A true CN113902628A (zh) | 2022-01-07 |
CN113902628B CN113902628B (zh) | 2024-06-28 |
Family
ID=79187898
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110981424.0A Active CN113902628B (zh) | 2021-08-25 | 2021-08-25 | 一种适用于集装箱自动化智能升级的图像预处理算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113902628B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110889403A (zh) * | 2019-11-05 | 2020-03-17 | 浙江大华技术股份有限公司 | 文本检测方法以及相关装置 |
WO2021120406A1 (zh) * | 2019-12-17 | 2021-06-24 | 大连理工大学 | 一种基于显著图增强的红外和可见光融合方法 |
CN113160065A (zh) * | 2020-12-24 | 2021-07-23 | 辽宁港口集团有限公司 | 一种水下图像增强算法 |
-
2021
- 2021-08-25 CN CN202110981424.0A patent/CN113902628B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110889403A (zh) * | 2019-11-05 | 2020-03-17 | 浙江大华技术股份有限公司 | 文本检测方法以及相关装置 |
WO2021120406A1 (zh) * | 2019-12-17 | 2021-06-24 | 大连理工大学 | 一种基于显著图增强的红外和可见光融合方法 |
CN113160065A (zh) * | 2020-12-24 | 2021-07-23 | 辽宁港口集团有限公司 | 一种水下图像增强算法 |
Non-Patent Citations (3)
Title |
---|
A. GALDRAN,: "Image dehazing by artificial multiple-exposure image fusion", SIGNAL PROCESSING, 26 March 2018 (2018-03-26) * |
TAO YE等: "A Novel Two-Step Strategy Based on White-Balancing and Fusion for Underwater Image Enhancement", IEEE, 25 November 2020 (2020-11-25) * |
徐鲁强等: "图像增强技术在码头水下结构外观巡检中的应用", 水运工程, no. 6, 30 June 2021 (2021-06-30) * |
Also Published As
Publication number | Publication date |
---|---|
CN113902628B (zh) | 2024-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wang et al. | Adaptive image enhancement method for correcting low-illumination images | |
CN107527332B (zh) | 基于改进Retinex的低照度图像色彩保持增强方法 | |
CN104899845B (zh) | 一种基于lαβ空间场景迁移的多曝光图像融合方法 | |
CN103679173B (zh) | 图像显著区域检测方法 | |
CN110570360B (zh) | 一种基于Retinex的鲁棒和全面的低质量光照图像增强方法 | |
Liu et al. | Survey of natural image enhancement techniques: Classification, evaluation, challenges, and perspectives | |
Wang et al. | Variational single nighttime image haze removal with a gray haze-line prior | |
CN114118144A (zh) | 抗干扰的航空遥感图像阴影精准检测方法 | |
CN109345491A (zh) | 一种融合梯度和灰度信息的遥感图像增强方法 | |
CN115731146B (zh) | 基于色彩梯度直方图特征光流估计多曝光图像融合方法 | |
CN112419181A (zh) | 一种宽动态红外图像细节增强方法 | |
CN117115033A (zh) | 基于强光抑制的电力作业现场弱光图像增强方法 | |
CN112991222A (zh) | 图像雾霾去除处理方法、系统、计算机设备、终端及应用 | |
CN113313702A (zh) | 基于边界约束与颜色校正的航拍图像去雾方法 | |
CN116188339A (zh) | 一种基于Retinex及图像融合的暗视觉图像增强方法 | |
CN116681606A (zh) | 一种水下不均匀光照图像增强方法、系统、设备及介质 | |
CN117372307B (zh) | 一种多无人机协同探测分布式图像增强方法 | |
CN115797205A (zh) | 基于Retinex分数阶变分网络的无监督单张图像增强方法及系统 | |
CN116993616A (zh) | 一种单幅低照度场景图像增强方法及增强系统 | |
CN111640068A (zh) | 一种图像曝光度的无监督自动化校正方法 | |
CN115205713A (zh) | 一种无人机遥感图像阴影区景物颜色与纹理细节恢复方法 | |
CN114202491A (zh) | 一种增强光学图像的方法及系统 | |
CN117830134A (zh) | 基于混合滤波分解和图像融合的红外图像增强方法及系统 | |
CN112381724A (zh) | 一种基于多曝光融合框架的图像宽动态增强方法 | |
CN113902628B (zh) | 一种适用于集装箱自动化智能升级的图像预处理算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |