CN113989143B - 一种基于推扫式水下高光谱原始图像的高精度快速检焦方法 - Google Patents
一种基于推扫式水下高光谱原始图像的高精度快速检焦方法 Download PDFInfo
- Publication number
- CN113989143B CN113989143B CN202111244563.1A CN202111244563A CN113989143B CN 113989143 B CN113989143 B CN 113989143B CN 202111244563 A CN202111244563 A CN 202111244563A CN 113989143 B CN113989143 B CN 113989143B
- Authority
- CN
- China
- Prior art keywords
- image
- focusing
- formula
- push
- original image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 12
- 238000000034 method Methods 0.000 claims abstract description 69
- 230000001629 suppression Effects 0.000 claims abstract description 37
- 238000005070 sampling Methods 0.000 claims abstract description 23
- 238000011156 evaluation Methods 0.000 claims abstract description 20
- 230000009466 transformation Effects 0.000 claims abstract description 18
- 238000001914 filtration Methods 0.000 claims description 53
- 238000012545 processing Methods 0.000 claims description 22
- 238000000354 decomposition reaction Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000000903 blocking effect Effects 0.000 claims description 9
- 238000012886 linear function Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 6
- 238000004321 preservation Methods 0.000 claims description 6
- 244000007853 Sarothamnus scoparius Species 0.000 claims description 5
- 101150023756 HSPA13 gene Proteins 0.000 claims description 3
- 125000003275 alpha amino acid group Chemical group 0.000 claims description 3
- 238000010586 diagram Methods 0.000 claims description 3
- 230000014759 maintenance of location Effects 0.000 claims 1
- 230000035945 sensitivity Effects 0.000 abstract description 5
- 230000036039 immunity Effects 0.000 abstract description 2
- 230000007613 environmental effect Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 10
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 5
- 238000000701 chemical imaging Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000013441 quality evaluation Methods 0.000 description 3
- 238000010845 search algorithm Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 239000012736 aqueous medium Substances 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000005215 recombination Methods 0.000 description 2
- 230000006798 recombination Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000003345 natural gas Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于推扫式水下高光谱原始图像的高精度快速检焦方法,包括:采集推扫式水下高光谱原始图像;进行双线性插值下采样,得到采样图;对采样图进行噪声抑制;进行有重叠的Laplacian算子加权,计算每个图像子块的中心像素点灰度值;灰度值求和,辨识出最佳粗对焦位置;调焦步进电机,采集推扫式水下高光谱原始图像;进行边缘保持;采用频率域小波变换分解上述滤波图像,重组上述滤波图像;得到推扫式水下高光谱原始图像的细对焦评估值;完成对焦辨识。本发明得到的图像对焦评估值具有较好的实时性、单峰性、环境适用性和抗噪性,细对焦辨识算法较粗对焦辨识算法具有更好的函数灵敏性。
Description
技术领域
本发明属于水下高光谱探测技术领域,涉及推扫式高光谱相机的检焦方法。
背景技术
水下成像系统,可以对水下目标进行搜索、侦察和监视,可以为海底石油和天然气的探测开采提供地貌和地形图。在对海信息获取技术中,高光谱成像技术作为不仅能够在同一空间位置得到上百个连续波段的信息,还可以刻画目标颜色、纹理、获取目标时空分布等方面具有显著优势的技术,相对于其他成像技术的光谱分辨率更高,提供的信息量更大,不仅可以反映观测对象的理化特征,还可以构建观测对象的外形影像,在对海信息获取技术中具有显著的优越性。作为最为成熟和应用最为广泛的推扫式高光谱成像系统,且作为水下环境应用的成像系统,由于水介质对光的衰减、选择性吸收、光的散射导致水下成像的焦面位置比陆地更为敏感,水下成像精度的要求更高。因此,高精度的对焦技术对于获取精度更高的水下成像焦面位置显得非常关键。
传统的高光谱相机调焦是根据对焦人员的经验,通过手动调节相机工作距离,人眼判断当前高光谱图像的对焦质量,直到对焦人员认为当前距离是最佳距离,对焦方法受人经验与水平因素的影响,对难以肉眼区分的高精度高光谱图像很容易形成错判,对焦效率不高。
后来,高光谱相机调焦方法发展为光电自准直对焦法和基于图像处理对焦方法,其中光电自准直对焦方法的精确度受光源强度、气压、温度等因素影响,对焦效果不稳定。现有基于图像处理的应用较广泛的灰度共生矩阵-对比度(CON)建立的对焦方法,其基于每个中心像素点四个方向的灰度共生矩阵-对比度(CON)建立,尽管可以反映到图像中局部变化的多少,图像的清晰度和图像纹理的沟纹深浅,但是,该方法的实时性不足,不能满足实际的对焦需求;基于图像处理的爬山搜索算法,尽管使自动调焦搜索算法中广泛使用算法,但是其只能提供图像清晰的相对指标,图像清晰度评价很容易受噪音等因素干扰,调焦结果很容易出现局部峰值点,也不适合对焦精度要求较高的水下检焦使用。现有的基于多幅图像结合图像处理的对焦方法,也缺少对相机焦深、除噪声算法对图像的边缘信息以及结构信息的损失,以及水介质对光的衰减、选择性吸收、光的散射导致水下成像的焦面位置比陆地更为敏感,更为精细的考虑,使现有的调焦方面不能满足水下图像对焦的要求,对焦的准确性和对焦的精度有待提高。现有的基于推扫式高光谱相机结合图像处理的对焦方法:基于四元数小波变换构造的低频和高频的幅值和相位信息的对焦方法,也仅仅限于对黑白条纹标定板图像的辨识,对水下真实场景以及陆地复杂场景的对焦图像适用性不足,对焦效率比较低下。
发明内容
为了克服上述现有技术的不足,本发明提出了一种基于推扫式水下高光谱原始图像的高精度快速检焦方法,本发明实现水下高光谱原始图像的高精度检焦,包括粗对焦辨识部分和细对焦辨识部分,粗对焦辨识部分包括改进的基于峰值信噪比(PSNR)和结构相似性(SSIM)的双线性插值下采样方法、基于边缘保持指数(EPI)的自适用噪声抑制方法和空域中的锐度算法,细对焦辨识部分包括频域中的小波分解,改进的小波变量重组方法,边缘保持滤波器引导滤波和改进的空域锐度算法。通过实验验证,粗对焦辨识算法具有较好的实时性、普适性、单峰性和抗噪性,细对焦辨识算法较粗对焦辨识算法具有更好的函数灵敏性。
本发明的技术方案为:
一种基于推扫式水下高光谱原始图像的高精度快速检焦方法,包括以下步骤:
步骤S1:调焦步进电机,采集调焦步进电机旋转步数处的水下高光谱原始图像;
步骤S2:求取推扫式水下高光谱原始图像的采样图;
步骤S3:对推扫式水下高光谱原始图像的采样图进行噪声抑制,实现推扫式水下高光谱原始图像的采样图对比度的提升、暗区细节的增强以及假边缘信息的抑制,得到噪声抑制图像;
步骤S4:对噪声抑制图像进行有重叠的分块,通过计算每个噪声抑制图像子块的Laplacian算子加权之和,作为每个图像子块的中心像素点灰度值,得到空域锐度图像;
步骤S5:通过对步骤S4所述的空域锐度图像的所有灰度值求和,得到该对焦位置的推扫式水下高光谱原始图像的粗对焦值,通过比较不同对焦位置图像的粗对焦值,辨识出最佳对焦位置的原始图像序号,通过原始图像序号与步进电机的旋转步数的对应关系,得到最佳粗对焦电机旋转位置;
步骤S6:调焦步进电机旋转至最佳粗对焦位置以及最佳粗对焦位置左右各相同个数焦深对应的步数位置,采集推扫式水下高光谱原始图像;
步骤S7:对步骤S6采集的推扫式水下高光谱原始图像进行边缘保持,噪声消除且主要边缘的梯度变形问题得到克服的滤波处理,得到细对焦滤波图像;
步骤S8:采用频率域小波变换分解步骤S7得到的滤波图像,重组步骤S7得到的滤波图像,得到细对焦重组图像;
步骤S9:对步骤S8得到的细对焦重组图像进行有重叠的分块以及通过改进的Laplacian算子加权求和每个图像子块,作为每个图像子块的中心像素点灰度值,得到改进的细对焦空域锐度图像灰度值;
步骤S10:通过对步骤S9得到的改进的细对焦空域锐度图像灰度值进行求和,得到不同对焦位置的推扫式水下高光谱原始图像的细对焦值,比较不同对焦位置下的高光谱原始图像的对焦评价函数值,完成对焦辨识。
根据本发明优选的,步骤S1中,调焦步进电机,采集推扫式水下高光谱原始图像,旋转步数大于高光谱相机的一个焦深长度所需要旋转的步数。
根据本发明优选的,步骤S2中,对推扫式水下高光谱原始图像进行改进的基于峰值信噪比和结构相似性的双线性插值下采样,求取推扫式水下高光谱原始图像的采样图;改进的基于峰值信噪比和结构相似性的双线性插值下采样的方法具体如下:
a)步骤S1采集到的所有水下高光谱原始图像进行A×B倍的双线性插值下采样,双线性插值下采用如下方式:假设原始图像的高度和宽度分别为srcH、srcW,得到采样图像的高度和宽度分别为desH=stcH*A、desW=srcW*B,则插值点坐标(x,y)的灰度值f1(x,y)由向后空间映射法得到的原始图像上的坐标位置(x+u,y+v),与(x+u,y+v)相邻的四个坐标位置的灰度值f(i,j),f(i+1,j),f(i,j+1)和f(i+1,j+1)确定:
f1(x,y)=(1-t)*(1-u)*f(i,j)+(1-t)*u*f(i+1,j)+t*(1-u)*f(i,j+1)+t*u*f(i+1,j+1);
u,v分别表示插值点坐标(x,y)与坐标(x+u,y+v)在水平和垂直方向的浮点距离;u=(srcH-1)/(desH-1)*x;v=(srcW-1)/(desW-1)*y;其中,x,y为正整数,0<x<desH,0<y<desW;
b)对插值后的下采样图像f1(x,y),放大(1/A)×(1/B)倍,得到新灰度值f1′(x,y),计算f1′(x,y)与f(x,y)的结构相似性SSIM(X,Y)和峰值信噪比PSNR(X,Y):
SSIM(X,Y)的求取公式如式(Ⅰ)所示:
式(Ⅰ)中,X,Y表示图像f1′(x,y)、f(x,y)进行高斯滤波窗口加权计算的结果;con(X,Y)表示X与Y之间的协方差,C1,C2为常数,L为图像的灰度级,μX、μY分别为X和Y的均值,δX 2、δY 2分别为X和Y的标准差;
PSNR(X,Y)的求取公式如式(Ⅱ)、式(Ⅲ)所示:
式(Ⅱ)、式(Ⅲ)中,X,Y表示图像f1′(x,y)和f(x,y),MAX是图像的灰度级,srcH为图像高度,srcW为图像宽度。
c)统计SSIM(X,Y)小于0.8和SNR(X,Y)小于20dB出现的次数,对SSIM(X,Y)小于0.8的次数大于80%原始图像数量且PSNR(X,Y)小于20dB的次数大于80%原始图像数量的情况,采用如下方式重新获取下采样图像,否则,仅执行a)和b);具体方式如下:
首先,对水下高光谱原始图像分别进行A×B倍的双线性插值下采样和最近邻插值下采样;双线性插值下采样方式如步骤a)所示,得到插值点坐标(x,y)的灰度值g1(x,y)=f1(x,y),最近邻插值下采样得到插值点坐标(x,y)的灰度值g2(x,y),g2(x,y)由插值点坐标(x,y)向后空间映射得到原始图像上的坐标(x+u,y+v),与坐标(x+u,y+v)相邻的四个坐标位置(i,j),(i+1,j),(i,j+1)、(i+1,j+1)的欧式距离最短的一个坐标位置的灰度值确定,如式(Ⅳ)所示:
g2(x,y)=f(i′,j′) (Ⅳ)
式(Ⅳ)中,(i′,j′)为坐标(x,y)与坐标(i,j),(i+1,j),(i,j+1)、(i+1,j+1)欧式距离最短的一个坐标位置;u,t分别表示插值点坐标(x,y)与坐标(x+u,y+v)在水平和垂直方向的浮点距离,u=(srcH-1)/(desH-1)*x;v=(srcW-1)/(desW-1)*y;
其次,重新求取插值点坐标(x,y)的灰度值f1′(x,y),f1′(x,y)由g1(x,y)与g2(x,y)的加权融合获得,加权融合的权重系数由插值点周边的4个相邻点像素的灰度方差构造,求取公式如式(V)所示:
f1′(x,y)=W1*g1(x,y)+W2g2(x,y)(V)
式(V)中,W2=1-W1,δ为插值点周边的8个相邻点像素的灰度方差,x,y为正整数,0<x<desH,0<y<desW。
根据本发明优选的,对推扫式水下高光谱原始图像的采样图进行噪声抑制,实现推扫式水下高光谱原始图像的采样图对比度的提升、暗区细节的增强以及假边缘信息的抑制,得到噪声抑制图像;具体如下:
d)对推扫式水下高光谱原始图像的采样图进行中值滤波和同态滤波;
中值滤波采用N×N的选定区域,选定区域内的所有像素依据灰度值大小排序,序列的中间值作为选取的中心像素点的灰度值,得到(x,y)处的中值滤波灰度值f2(x,y),求取公式如式(Ⅵ)所示:
f2(x,y)=med{f(x±K,y±L) (Ⅵ)
式(Ⅵ)中,K、L、x,y为正整数,K≤(N-1)/2,L≤(N-1)/2,0<x<desH,0<y<desW。
同态滤波具体采用如下方式:
首先,假设(x,y)处的中值滤波灰度值f2(x,y),表示成照度分量i2(x,y)与反射分量r2(x,y)的乘积,如式(Ⅶ)所示:
f2(x,y)=i2(x,y)+r2(x,y) (Ⅶ)
对中值滤波灰度值f2(x,y)进行对数变换和傅里叶变换,如式(Ⅷ)所示:
DFT[In(f2(x,y))]=DFT[In(i2(x,y))]+DFT[In(r2(x,y))] (Ⅷ)
其次,使用频域滤波器H(u,v)进行处理灰度值的频域滤波,H(u,v)使用的公式如式(IX)所示:
式(IX)中,m,n为动态算子,rH代表高频增益,rL代表低频增益,常数c介于rH与rL之间,b0为截止频率,D(u,v)为点(u,v)到灰度值f2(x,y)取对数且Fourier变换后的中心点的距离;
最后,上述频域滤波结果通过逆傅里叶变换返回空域对数图像,通过指数变换获取空域滤波图像,得到(x,y)处的灰度值为f3(x,y),如式(Ⅹ)所示:
f3(x,y)=exp(IDFT((DFT(In(f2(x,y))))*H(u,v))) (Ⅹ)
式(Ⅹ)中,x,y都为整数,且0<x<desH,0<y<desW;
e)计算灰度值f1(x,y)与f3(x,y)的边缘保持指数EPI,EPI采用的公式如式(Ⅺ)所示:
式(Ⅺ)中,H=desH为下采样图像高度,W=desW为下采样图像宽度;f1(x,y)为下采样图像灰度值,f3(x,y)为采用中值和同态滤波进行噪声抑制得到的图像灰度值。
f)统计EPI小于0.8的噪声抑制图像出现的次数,对EPI值小于0.8的次数大于80%原始图像数量的情况,采用增大同态滤波处理中的高频增益rH和中值滤波处理中的选定区域的方式重新进行噪声抑制处理,否则,仅执行d)和e)的操作。
根据本发明优选的,步骤S4中,Laplacian算子采用八邻域的正掩膜中心系数模板H,H=[-1,-1,-1;-1,8,-1;-1,-1,-1],选用3×3的重叠噪声抑制图像子块,计算每个图像子块的Laplacian算子加权求和的中心像素点灰度值,具体假设(x,y)处的图像灰度值为f4(x,y),如式(Ⅻ)所示:
f4(x,y)=-f3(x+1,y)-f3(x-1,y)-f3(x+1,y+1)-f3(x-1,y+1)-f3(x,y+1)-f3(x,y-1)-f3(x-1,y-1)-f3(x+1,y-1)+8f3(x,y)(Ⅻ)
式(Ⅻ)中,x,y都为整数,且0<x<desH-2,0<y<desW-2。
根据本发明优选的,步骤S5中,通过对f4(x,y)的所有灰度值求和,得到不同对焦位置的推扫式水下高光谱原始图像的粗对焦值F,如式(XIII)所示:
通过比较不同对焦位置图像的粗对焦最值,辨识出最佳对焦位置的原始图像序号,通过原始图像序号与步进电机的旋转步数的对应,得到最佳粗对焦电机旋转位置;
根据本发明优选的,步骤S6中,假设采集到的推扫式水下高光谱原始图像为Q张,图像灰度值为F(x,y);其中,x,y都为整数,且0<x<srcH,0<y<srcW。
根据本发明优选的,步骤S7中,保持图像边缘,有效消除噪声且克服主要边缘的梯度变形问题的滤波方式选择引导滤波方式,具体采用如下方式:
首先,假设输出图像灰度值F1(x,y)与输入图像灰度值F(x,y)在一个二维窗口内满足线性关系,如式(XIV)所示:
式(XIV)中,i和k是像素索引,Wk是所有包含像素i的窗口,k是中心位置,a和b是当窗口中心位于k时线性函数的系数;
其次,通过最小二乘拟合,使输出灰度值F1(x,y)与输入灰度值F(x,y)的差距式 最小,如式(XV)、式(XVI)所示:
式(XV)、式(XVI)中,F(x,y)i是输入图像的灰度值,i和k是像素索引,μk是待滤波图像F(x,y)i在窗口Wk中的平均值,是F(x,y)i在窗口Wk中的方差,|W|是窗口Wk中的像素的数量,Wk是所有包含像素i的窗口,k是中心位置;
再次,某一点的输出值F1(x,y)i取所有包含该点的线性函数值平均,如式(XVII)所示:
式(XVII)中,Wk是所有包含像素i的窗口,k是中心位置。
根据本发明优选的,步骤S8中,采用的频率域小波变换,使用harr或者sym4函数作为小波基函数;对F1(x,y)进行3层小波分解,每进行一层小波分解,提取到的分解分量分别为:低频分量LL、水平分量LH、垂直分量HL以及高频分量HH;对1-3层的低频分量和垂直分量进行重新组合,得到重组图像灰度值为F2(x,y),如式(XVIII)所示:
式(XVIII)中,LLi、HLi分别指各层小波分解获得的低频分量和垂直分量,x,y都为整数,0<x<srcH/2,0<y<srcW/2。
根据本发明优选的,步骤S9中,改进的Laplacian算子加权的具体过程如下:
g)对S8得到的重组图像灰度值F2(x,y)进行有重叠的分块以及通过改进的Laplacian算子H1、H2、H3和H4分别加权求和每个图像子块,作为每个图像子块的中心像素点灰度值,得到改进的细对焦空域锐度图像灰度值F3H1(x,y)、F3H2(x,y)、F3H3(x,y)和F3H4(x,y),其中
H1=[-1,-1,-1;2,2,2;-1,-1,-1];
H2=[-1,-1,2;-1,2,-1;2,-1,-1];
H3=[-1,2,-1;-1,2,-1;-1,2,-1];
H2=[2,-1,-1;-1,2,-1;-1,-1,2];
F3H1(x,y)=-f2(x-1,y+1)-f2(x,y+1)-f2(x+1,y+1)+2f2(x-1,y)+2f2(x,y)+2f2(x+1,y)-f2(x-1,y-1)-f2(x,y-1)-f2(x+1,y+1);
F3H2(x,y)=-f2(x-1,y+1)-f2(x,y+1)+2f2(x+1,y+1)-f2(x-1,y)+2f2(x,y)-f2(x+1,y)+2f2(x-1,y-1)-f2(x,y-1)-f2(x+1,y+1);
F3H3(x,y)=-f2(x-1,y+1)+2f2(x,y+1)-f2(x+1,y+1)-f2(x-1,y)+2f2(x,y)-f2(x+1,y)-f2(x-1,y-1)+2f2(x,y-1)-f2(x+1,y+1);
F3H4(x,y)=2f2(x-1,y+1)-f2(x,y+1)-f2(x+1,y+1)-f2(x-1,y)+2f2(x,y)-f2(x+1,y)-f2(x-1,y-1)-f2(x,y-1)+2f2(x+1,y+1);
h)比较上述四种加权方式每个图像子块的中心像素点灰度值,分别取最大值作为模板中心像素点(x,y)处的图像像素灰度值记为F3(x,y),如式(XIX)所示:
F3(x,y)=max{F3H1(x,y),F3H2(x,y),F3H3(x,y),F3H4(x,y)}(XIX)
式(XIX)中,x,y都为整数,0<x<srcH/2,0<y<srcW/2;
i)通过对F3(x,y)的所有灰度值求和,得到该对焦位置处的推扫式水下高光谱原始图像的细对焦值T,如式(XX)所示:
本发明相对现有技术具有如下有益效果:
1、通过基于峰值信噪比(PSNR)和结构相似性(SSIM)的双线性插值下采样处理方式,一方面,不仅有利于节省图像对焦评估值的计算时间;另一方面,从量化角度上判断下采样处理后的图像质量,对PSNR和SSIM小于某一阈值的下采样图像,及时通过区分平滑区与边缘细节区的方式,改善下采样处理效果。
2、通过基于边缘保持指数(EPI)的自适用噪声抑制方法,不仅有利于消除设备高增益情况下可能出现的斑点噪声、脉冲噪声以及因信道特性变化引起的非加性噪声,提高对焦函数的抗噪性,增强暗区图像细节以及抑制假边缘信息;也有利于从量化角度评估噪声抑制处理引起的结构信息和边缘纹理等细节信息的损失情况;通过参数调整,满足降噪处理需求的同时保证了水下高光谱原始图像处理的精度,有利于确保对焦函数的准确性。
3、通过使用引导滤波方式,高光谱像素强度变化小的区域和变化大的区域得到了很好的一次性区分处理,不仅保护了细对焦辨识图像的边缘信息、高频分量信息、灰度对比度以及细节信息,对消除噪声且克服主要边缘的梯度变形问题也具有积极作用。
4、通过空域锐度算法提取粗对焦辨识图像的边缘纹理等细节信息,有利于克服处理不同对焦位置的粗对焦辨识图像影响处理速度的问题;通过对细对焦辨识图像的频域小波分解,以及分解图像的重组,有利于精细地辨识肉眼难以区分的图像,提高对焦辨识图像的辨识精度和辨识的灵敏性。
5、结合八邻域Laplacian算子H1(水平边缘信息提取)、H2(垂直边缘信息提取)、H3(倾斜450方向上的边缘信息提取)、H4(倾斜1350方向上的边缘信息提取)分别加权细对焦辨识图像,通过最值筛选确保水平、垂直和倾斜方向的边缘被有效检测。
6、通过实验验证,本方法不仅可以应用于水下高光谱原始图像的检焦,检焦效率高,还适应于陆地复杂场景的高光谱原始图像的检焦,方法普适性高。
附图说明
图1是本发明的基于推扫式水下高光谱原始图像的对焦方法流程示意图;
图2是本发明的基于推扫式水下高光谱原始图像的粗对焦评估函数的归一化曲线图;
图3是本发明的基于推扫式水下高光谱原始图像的细对焦评估函数的归一化曲线图;
图4是三种对焦方法计算单幅高光谱原始图像的时间效率曲线图;
图5是三种对焦方法基于陆上黑白条纹板的原始高光谱图像各不同对焦位置的归一化评价函数曲线图;
图6是三种对焦方法基于水下色板的原始高光谱图像各不同对焦位置的归一化评价函数曲线图;
图7是本发明基于水下色板高光谱原始图像辨识出的最佳对焦位置获取到的原始高光谱图像构建出的RGB图像示意图;
图8是本发明基于水下色板高光谱原始图像辨识出的最佳对焦位置T以及左右各一个相机焦深长度对应的旋转步数处获取到的RGB图像的水下彩色图像质量评价函数(UCIQE)曲线图。
具体实施方式
下面结合说明书附图和实施例对本发明作进一步限定,但不限于此。
实施例1
一种基于推扫式水下高光谱原始图像的高精度快速检焦方法,如图1所示,包括以下步骤:
步骤S1:调焦步进电机,按照一定的旋转步数,依次采集调焦步进电机旋转步数处的水下高光谱原始图像;
步骤S2:对推扫式水下高光谱原始图像进行基于峰值信噪比(PSNR)和结构相似性(SSIM)的双线性插值下采样,求取推扫式水下高光谱原始图像的采样图;
步骤S3:采用基于边缘保持指数(EPI)的自适用噪声抑制方法,对推扫式水下高光谱原始图像的采样图进行噪声抑制,实现推扫式水下高光谱原始图像的采样图对比度的提升、暗区细节的增强以及假边缘信息的抑制,得到噪声抑制图像;
步骤S4:对噪声抑制图像进行有重叠的分块,通过计算每个噪声抑制图像子块的Laplacian算子加权之和,作为每个图像子块的中心像素点灰度值,得到空域锐度图像;
步骤S5:通过对步骤S4所述的空域锐度图像的所有灰度值求和,得到该对焦位置的推扫式水下高光谱原始图像的粗对焦值,通过比较不同对焦位置图像的粗对焦值,辨识出最佳对焦位置的原始图像序号,通过原始图像序号与步进电机的旋转步数的对应关系,得到最佳粗对焦电机旋转位置;
步骤S6:调焦步进电机旋转至最佳粗对焦位置以及最佳粗对焦位置左右各相同个数焦深对应的步数位置,采集推扫式水下高光谱原始图像;
步骤S7:对步骤S6采集的推扫式水下高光谱原始图像进行边缘保持,噪声消除且主要边缘的梯度变形问题得到克服的滤波处理,得到细对焦滤波图像;
步骤S8:采用频率域小波变换分解步骤S7得到的滤波图像,重组步骤S7得到的滤波图像,得到细对焦重组图像;
步骤S9:对步骤S8得到的细对焦重组图像进行有重叠的分块以及通过改进的Laplacian算子加权求和每个图像子块,作为每个图像子块的中心像素点灰度值,得到改进的细对焦空域锐度图像灰度值;
步骤S10:通过对步骤S9得到的改进的细对焦空域锐度图像灰度值进行求和,得到不同对焦位置的推扫式水下高光谱原始图像的细对焦值,比较不同对焦位置下的高光谱原始图像的对焦评价函数值,完成对焦辨识。
实施例2
根据实施例1所述的一种基于推扫式水下高光谱原始图像的高精度快速检焦方法,其区别在于:
推扫式水下高光谱相机系统分前后步进电机和左右步进电机,前后步进电机控制调节物面沿光轴的位置,左右步进电机控制精密位移平台移动,实现水下场景以及陆地复杂场景的空间维成像。电机转速范围为10-50r/min,电机旋转步长范围为10000-80000步,电机旋转一周步长为12800步,电机旋转一周物面沿光轴的位置调节0.25mm。推扫式水下高光谱相机采用德国Allied Vision Technologies公司(德国AVT)的Prosilica GT系列的Prosilica GT2050摄像机,连接前端的镜头焦距为2.5,光谱仪光谱响应范围为400-1000nm,相机焦深N为6.875μm。
步骤S1中,调焦步进电机按照一定的旋转步数采集推扫式水下高光谱原始图像(色板);具体为推扫式水下高光谱相机系统的前后步进电机从26000步-50000步数范围内,每旋转2000步,采集一张高光谱原始图像发送给PC机端,采集到N1张原始高光谱图像(N1=13),原始高光谱图像宽度为2048像素、高度为2048像素,图像(x,y)处的灰度值为f(x,y)。
步骤S2中,对推扫式水下高光谱原始图像进行改进的基于峰值信噪比(PSNR)和结构相似性(SSIM)的双线性插值下采样,求取推扫式水下高光谱原始图像的采样图;改进的基于峰值信噪比和结构相似性的双线性插值下采样的方法具体如下:
a)步骤S1采集到的所有水下高光谱原始图像进行0.125×0.125倍的双线性插值下采样,双线性插值下采用如下方式:假设原始图像的高度和宽度分别为srcH、srcW,得到采样图像的高度和宽度分别为desH=stcH*A、desW=srcW*B,则插值点坐标(x,y)的灰度值f1(x,y)由向后空间映射法得到的原始图像上的坐标位置(x+u,y+v),与(x+u,y+v)相邻的四个坐标位置的灰度值f(i,j),f(i+1,j),f(i,j+1)和f(i+1,j+1)确定:
f1(x,y)=(1-t)*(1-u)*f(i,j)+(1-t)*u*f(i+1,j)+t*(1-u)*f(i,j+1)+t*u*f(i+1,j+1);
u,v分别表示插值点坐标(x,y)与坐标(x+u,y+v)在水平和垂直方向的浮点距离;u=(srcH-1)/(desH-1)*x;v=(srcW-1)/(desW-1)*y;其中,x,y为正整数,0<x<desH,0<y<desW;
b)对插值后的下采样图像f1(x,y),放大(1/0.125)×(1/0.125)倍,得到新灰度值f1′(x,y),计算f1′(x,y)与f(x,y)的结构相似性SSIM(X,Y)和峰值信噪比PSNR(X,Y):
SSIM(X,Y)的求取公式如式(Ⅰ)所示:
式(Ⅰ)中,X,Y表示图像f1′(x,y)、f(x,y)进行高斯滤波窗口加权计算的结果;con(X,Y)表示X与Y之间的协方差,C1,C2为常数,C1=6.5025,C2=58.5225,L为图像的灰度级,μX、μY分别为X和Y的均值,δX 2、δY 2分别为X和Y的标准差;
PSNR(X,Y)的求取公式如式(Ⅱ)、式(Ⅲ)所示:
式(Ⅱ)、式(Ⅲ)中,X,Y表示图像f1′(x,y)和f(x,y),MAX是图像的灰度级,srcH为图像高度,srcW为图像宽度。
c)统计AAIM(X,Y)小于0.8和SNR(X,Y)小于20dB出现的次数,对SSIM(X,Y)小于0.8的次数大于80%原始图像数量且PSNR(X,Y)小于20dB的次数大于80%原始图像数量的情况,采用如下方式重新获取下采样图像,否则,仅执行a)和b);具体方式如下:
首先,对水下高光谱原始图像分别进行0.125×0.125倍的双线性插值下采样和最近邻插值下采样;双线性插值下采样方式如步骤a)所示,得到插值点坐标(x,y)的灰度值g1(x,y)=f1(x,y),最近邻插值下采样得到插值点坐标(x,y)的灰度值g2(x,y),g2(x,y)由插值点坐标(x,y)向后空间映射得到原始图像上的坐标(x+u,y+v),与坐标(x+u,y+v)相邻的四个坐标位置(i,j),(i+
1,j),(i,j+1)、(i+1,j+1)的欧式距离最短的一个坐标位置的灰度值确定,如式(Ⅳ)所示:
g2(x,y)=f(i′,j′) (Ⅳ)
式(Ⅳ)中,(i′,j′)为坐标(x,y)与坐标(i,j),(i+1,j),(i,j+1)、(i+1,j+1)欧式距离最短的一个坐标位置;u,t分别表示插值点坐标(x,y)与坐标(x+u,y+v)在水平和垂直方向的浮点距离,u=(srcH-1)/(desH-1)*x;v=(srcW-1)/(desW-1)*y;
其次,重新求取插值点坐标(x,y)的灰度值f1′(x,y),f1′(x,y)由g1(x,y)与g2(x,y)的加权融合获得,加权融合的权重系数由插值点周边的4个相邻点像素的灰度方差构造,求取公式如式(V)所示:
f1′(x,y)=W1*g1(x,y)+W2g2(x,y)(V)
式(V)中,W2=1-W1,δ为插值点周边的8个相邻点像素的灰度方差,x,y为正整数,0<x<desH,0<y<desW。
采用基于边缘保持指数(EPI)的自适用噪声抑制方法,对推扫式水下高光谱原始图像的采样图进行噪声抑制,实现推扫式水下高光谱原始图像的采样图对比度的提升、暗区细节的增强以及假边缘信息的抑制,得到噪声抑制图像;基于边缘保持指数(EPI)的自适用噪声抑制方法具体如下:
d)对推扫式水下高光谱原始图像的采样图进行中值滤波和同态滤波;
中值滤波采用3×3的选定区域,选定区域内的所有像素依据灰度值大小排序,序列的中间值作为选取的中心像素点的灰度值,得到(x,y)处的中值滤波灰度值f2(x,y),求取公式如式(Ⅵ)所示:
f2(x,y)=med{f(x±K,y±L)(Ⅵ)
式(Ⅵ)中,K、L、x,y为正整数,K≤(N-1)/2,L≤(N-1)/2,0<x<desH,0<y<desW。
同态滤波具体采用如下方式:
首先,假设(x,y)处的中值滤波灰度值f2(x,y),表示成照度分量i2(x,y)(空间变化缓慢,对应傅里叶变换中的低频部分)与反射分量r2(x,y)(反映图像的细节,在不同物体的交界处急剧变化,对应傅里叶变换中的高频部分)的乘积,如式(Ⅶ)所示:
f2(x,y)=i2(x,y)+r2(x,y)(Ⅶ)
对中值滤波灰度值f2(x,y)进行对数变换和傅里叶变换,如式(Ⅷ)所示:
bFT[In(f2(x,y))]=bFT[In(i2(x,y))]+DFT[In(r2(x,y))](Ⅷ)
其次,使用频域滤波器H(u,v)进行处理灰度值的频域滤波,H(u,v)使用的公式如式(IX)所示:
式(IX)中,m,n为动态算子,rH代表高频增益,rp代表低频增益,常数c介于rH与rp之间,b0为截止频率,b(u,v)为点(u,v)到灰度值f2(x,y)取对数且Fourier变换后的中心点的距离;
最后,上述频域滤波结果通过逆傅里叶变换返回空域对数图像,通过指数变换获取空域滤波图像,得到(x,y)处的灰度值为f3(x,y),如式(Ⅹ)所示:
f3(x,y)=exp(IbFT((bFT(In(f2(x,y))))*H(u,v)))(Ⅹ)
式(Ⅹ)中,x,y都为整数,且0<x<desH,0<y<desW;
e)计算灰度值f1(x,y)与f3(x,y)的边缘保持指数EPI,EPI采用的公式如式(Ⅺ)所示:
式(Ⅺ)中,H=desH为下采样图像高度,W=desW为下采样图像宽度;f1(x,y)为下采样图像灰度值,f3(x,y)为采用中值和同态滤波进行噪声抑制得到的图像灰度值。
f)统计EPI小于0.8的噪声抑制图像出现的次数,对EPI值小于0.8的次数大于80%原始图像数量的情况,采用增大同态滤波处理中的高频增益rH和中值滤波处理中的选定区域的方式重新进行噪声抑制处理,否则,仅执行d)和e)的操作。
步骤S4中,Laplacian算子采用八邻域的正掩膜中心系数模板H,H=[-1,-1,-1;-1,8,-1;-1,-1,-1],选用3×3的重叠噪声抑制图像子块,计算每个图像子块的Laplacian算子加权求和的中心像素点灰度值,具体假设(x,y)处的图像灰度值为f4(x,y),如式(Ⅻ)所示:
f4(x,y)=-f3(x+1,y)-f3(x-1,y)-f3(x+1,y+1)-f3(x-1,y+1)-f3(x,y+1)-f3(x,y-1)-f3(x-1,y-1)-f3(x+1,y-1)+8f3(x,y)(Ⅻ)
式(Ⅻ)中,x,y都为整数,且0<x<desH-2,0<y<desW-2。
步骤S5中,通过对f4(x,y)的所有灰度值求和,得到不同对焦位置的推扫式水下高光谱原始图像的粗对焦值F,如式(XIII)所示:
通过比较不同对焦位置图像的粗对焦最值,辨识出最佳对焦位置的原始图像序号,如图2所示,是上述粗对焦方法结合采集到的推扫式水下色板的高光谱原始图像,得到的粗对焦评估函数的归一化曲线图,从曲线中看出图像序列为7时,粗对焦评估函数的值最大,进一步,通过图像序号与步进电机的旋转步数的对应关系,得到最佳粗对焦电机旋转位置。
步骤S6中,调焦步进电机旋转至最佳粗对焦电机旋转位置以及该位置左右各3个焦深长度对应的步数位置处,采集推扫式水下高光谱原始图像7张。图像灰度值为F(x,y);其中,x,y都为整数,且0<x<srcH,0<y<srcW。
步骤S7中,保持图像边缘,有效消除噪声且克服主要边缘的梯度变形问题的滤波方式选择引导滤波方式,具体采用如下方式:
首先,滤波输入灰度值F(x,y)与其邻近部分的灰度值成线性关系,一个复杂的函数就可以用很多局部的线性函数来表示,当需要求该函数上某一点的值时,只需计算所有包含该点的线性函数的值并取平均即可。因此,假设输出图像灰度值F1(x,y)与输入图像灰度值F(x,y)在一个二维窗口内满足线性关系,如式(XIV)所示:
式(XIV)中,i和k是像素索引,Wk是所有包含像素i的窗口,k是中心位置,a和b是当窗口中心位于k时线性函数的系数;
其次,通过最小二乘拟合,使输出灰度值F1(x,y)与输入灰度值F(x,y)的差距式 最小,如式(XV)、式(XVI)所示:
式(XV)、式(XVI)中,F(x,y)i是输入图像的灰度值,i和k是像素索引,μk是待滤波图像F(x,y)i在窗口wk中的平均值,是F(x,y)i在窗口wk中的方差,|w|是窗口wk中的像素的数量,wk是所有包含像素i的窗口,k是中心位置,窗口选择3×3的大小,k是中心位置,本实施例中,窗口半径取3;
再次,每个像素都由多个线性函数所描述。因此,某一点的输出值F1(x,y)i取所有包含该点的线性函数值平均,如式(XVII)所示:
式(XVII)中,Wk是所有包含像素i的窗口,k是中心位置。
步骤S8中,采用的频率域小波变换,使用harr或者sym4函数作为小波基函数;对F1(x,y)进行3层小波分解,每进行一层小波分解,提取到的分解分量分别为:低频分量LL、水平分量LH、垂直分量HL以及高频分量HH;对1-3层的低频分量和垂直分量进行重新组合,得到重组图像灰度值为F2(x,y),如式(XVIII)所示:
式(XVIII)中,LLi、HLi分别指各层小波分解获得的低频分量和垂直分量,x,y都为整数,0<x<1024,0<y<1024
步骤S9中,改进的Laplacian算子加权的具体过程如下:
g)对S8得到的重组图像灰度值F2(x,y)进行有重叠的分块以及通过改进的Laplacian算子H1、H2、H3和H4分别加权求和每个图像子块,作为每个图像子块的中心像素点灰度值,得到改进的细对焦空域锐度图像灰度值F3H1(x,y)、F3H2(x,y)、F3H3(x,y)和F3H4(x,y),其中
H1=[-1,-1,-1;2,2,2;-1,-1,-1];
H2=[-1,-1,2;-1,2,-1;2,-1,-1];
H3=[-1,2,-1;-1,2,-1;-1,2,-1];
H2=[2,-1,-1;-1,2,-1;-1,-1,2];
F3H1(x,y)=-f2(x-1,y+1)-f2(x,y+1)-f2(x+1,y+1)+2f2(x-1,y)+2f2(x,y)+2f2(x+1,y)-f2(x-1,y-1)-f2(x,y-1)-f2(x+1,y+1);
F3H2(x,y)=-f2(x-1,y+1)-f2(x,y+1)+2f2(x+1,y+1)-f2(x-1,y)+2f2(x,y)-f2(x+1,y)+2f2(x-1,y-1)-f2(x,y-1)-f2(x+1,y+1);
F3H3(x,y)=-f2(x-1,y+1)+2f2(x,y+1)-f2(x+1,y+1)-f2(x-1,y)+2f2(x,y)-f2(x+1,y)-f2(x-1,y-1)+2f2(x,y-1)-f2(x+1,y+1);
F3H4(x,y)=2f2(x-1,y+1)-f2(x,y+1)-f2(x+1,y+1)-f2(x-1,y)+2f2(x,y)-f2(x+1,y)-f2(x-1,y-1)-f2(x,y-1)+2f2(x+1,y+1);
h)比较上述四种加权方式每个图像子块的中心像素点灰度值,分别取最大值作为模板中心像素点(x,y)处的图像像素灰度值记为F3(x,y),如式(XIX)所示:
F3(x,y)=max{F3H1(x,y),F3H2(x,y),F3H3(x,y),F3H4(x,y)} (XIX)
式(XIX)中,x,y都为整数,0<x<srcH/2,0<y<srcW/2;
i)通过对F3(x,y)的所有灰度值求和,得到该对焦位置处的推扫式水下高光谱原始图像的细对焦值T,如式(XX)所示:
通过求和上述空域锐度图像的所有灰度值,得到不同对焦位置的推扫式水下高光谱原始图像的细对焦值,比较不同对焦位置下的高光谱原始图像的对焦评价函数值,如图3所示,是上述细对焦方法结合采集到的细对焦推扫式水下色板的高光谱原始图像,得到的细对焦评估函数的归一化曲线图,从曲线中看出图像序列为4时,细对焦评估函数的值最大,进一步,通过图像序号与步进电机的旋转步数的对应关系,得到最佳细对焦电机旋转位置;完成对焦辨识。
光谱成像技术作为不仅能够在同一空间位置得到上百个连续波段的信息,还可以刻画目标颜色、纹理、获取目标时空分布等方面具有显著优势的技术,相对于其他成像技术的光谱分辨率更高,提供的信息量更大,不仅可以反映观测对象的理化特征,还可以构建观测对象的外形影像。本发明结合高光谱应用的实际优势,以及水下图像质量评价指标(UCIQE),进一步论证对焦位置的辨识结果,对辨识的准确性具有很大的帮助。
对焦论证方法包括以下步骤:
步骤S1:推扫式水下高光谱相机系统软件控制左右步进电机控制精密位移平台移动,获取细对焦位置T处以及T左右两侧各一个相机焦深长度对应的电机旋转步数(M)位置T-M和T+M处的水下色板的高光谱空间维成像原始数据。
步骤S2:通过水下色板高光谱数据的剪切、拼接处理,获取水下色板的单波段图像信息,通过波段700nm、546nm和435nm的组合,分别获取3处不同对焦位置处水下色板的RGB图像信息。如图7所示,是本发明细对焦辨识出的最佳对焦位置T构建出的水下色板RGB图像,图像清晰,色板可辨。
步骤S3:通过水下彩色图像质量评价函数(UCIQE)评价对焦位置T、T-M和T+M处的原始高光谱图像构建的水下色板RGB图像质量,进一步,论证对焦位置T。如图8所示,是本发明基于水下色板高光谱原始图像辨识出的最佳对焦位置T以及左右各一个相机焦深长度对应的旋转步数处,推扫出的高光谱数据构建出的RGB图像的UCIQE归一化曲线图,从曲线图中看出,最佳对焦位置T对应的UCIQE值最高,进一步说明本发明提供的方法辨识出的最佳对焦位置具有很高的参考性。UCIQE的具体操作采用如下过程:
3个对焦位置处获取的推扫高光谱数据构建出的水下色板RGB图像,进行色彩空间转换,色彩模式转换为HSV模式,获得水下色板的HSV图像分别为f1,f2,f3,转换公式如下所示:
R′=R/255
G′=G/255
B′=B/255
Cmax=max(R′,G′,B′)
Cmin=min(R′,G′,B′)
Δ=Cmax-Cmin
V=Cmax
计算上述HSV图像f1,f2,f3的UCIQE,UCIQE的计算公式如下所示:
UCIQE=c1×σc+c2×conl+c3×μs
其中,c1、c2、c3为线性组合系数,σc为色标标准差,conl为亮度的对比度,μM为饱和度的平均值。c1=0.4680、c2=0.2745、c3=0.2576为本发明沿用。
S4:比较所述图像f1,f2,f3的UCIQE值,进一步论证对焦位置。
基于图像处理的应用较广泛的灰度共生矩阵-对比度(CON)建立的对焦方法,其基于每个中心像素点四个方向的灰度共生矩阵-对比度(CON)建立,可以反映到图像中局部变化的多少、图像的清晰度以及图像纹理的沟纹深浅;基于四元数小波变换构造的低频和高频的幅值和相位信息的对焦方法,是基于推扫式高光谱相机结合图像处理的对焦方法,可辨识水上黑白条纹标定板图像对焦位置。
本实施例中结合推扫式水下高光谱相机系统的对焦步进电机,分别按照一定的旋转步数采集推扫式水下色板和水上黑白条纹板的高光谱原始图像,将本方案中步骤S2-S4的粗对焦辨识部分分别替换为基于四元数小波变换(QWT)的对焦方法和基于灰度共生矩阵-对比度(CON)建立的对焦方法,从对焦方法的计算时间,对焦位置的灵敏度、对焦场景的普适性三个方面比较三种对焦方法。如图4、图5、图6所示,分别是三种对焦方法计算单幅高光谱原始图像的时间效率曲线图、基于水上黑白条纹板的原始高光谱图像各不同对焦位置的归一化评价函数曲线图以及基于水下色板的原始高光谱图像各不同对焦位置的归一化评价函数曲线图。从时间效率曲线图中看出,本发明提出的方法计算时间合适;从基于水上黑白条纹板的原始高光谱图像各不同对焦位置的归一化评价函数曲线图看出,本发明方法对对焦位置的灵敏度较好;从基于水下色板的原始高光谱图像各不同对焦位置的归一化评价函数曲线图看出,本发明方法可以直接应用于水上和水下图像的辨识,对对焦场景的普适性很高。
Claims (7)
1.一种基于推扫式水下高光谱原始图像的高精度快速检焦方法,其特征在于,包括以下步骤:
步骤S1:调焦步进电机,采集调焦步进电机旋转步数处的水下高光谱原始图像;
步骤S2:求取推扫式水下高光谱原始图像的采样图;
步骤S3:对推扫式水下高光谱原始图像的采样图进行噪声抑制,实现推扫式水下高光谱原始图像的采样图对比度的提升、暗区细节的增强以及假边缘信息的抑制,得到噪声抑制图像;
步骤S4:对噪声抑制图像进行有重叠的分块,通过计算每个噪声抑制图像子块的Laplacian算子加权之和,作为每个图像子块的中心像素点灰度值,得到空域锐度图像;
步骤S5:通过对步骤S4所述的空域锐度图像的所有灰度值求和,得到该对焦位置的推扫式水下高光谱原始图像的粗对焦值,通过比较不同对焦位置图像的粗对焦值,辨识出最佳对焦位置的原始图像序号,通过原始图像序号与步进电机的旋转步数的对应关系,得到最佳粗对焦电机旋转位置;
步骤S6:调焦步进电机旋转至最佳粗对焦位置以及最佳粗对焦位置左右各相同个数焦深对应的步数位置,采集推扫式水下高光谱原始图像;
步骤S7:对步骤S6采集的推扫式水下高光谱原始图像进行边缘保持,噪声消除且主要边缘的梯度变形问题得到克服的滤波处理,得到细对焦滤波图像;
步骤S8:采用频率域小波变换分解步骤S7得到的滤波图像,重组步骤S7得到的滤波图像,得到细对焦重组图像;
步骤S9:对步骤S8得到的细对焦重组图像进行有重叠的分块以及通过改进的Laplacian算子加权求和每个图像子块,作为每个图像子块的中心像素点灰度值,得到改进的细对焦空域锐度图像灰度值;
步骤S10:通过对步骤S9得到的改进的细对焦空域锐度图像灰度值进行求和,得到不同对焦位置的推扫式水下高光谱原始图像的细对焦值,比较不同对焦位置下的高光谱原始图像的对焦评价函数值,完成对焦辨识;
步骤S2中,对推扫式水下高光谱原始图像进行改进的基于峰值信噪比和结构相似性的双线性插值下采样,求取推扫式水下高光谱原始图像的采样图;改进的基于峰值信噪比和结构相似性的双线性插值下采样的方法具体如下:
a)步骤S1采集到的所有水下高光谱原始图像进行A×B倍的双线性插值下采样,双线性插值下采用如下方式:假设原始图像的高度和宽度分别为srcH、srcW,得到采样图像的高度和宽度分别为desH=stcH*A、desW=srcW*B,则插值点坐标(x,y)的灰度值f1(x,y)由向后空间映射法得到的原始图像上的坐标位置(x+u,y+v),与(x+u,y+v)相邻的四个坐标位置的灰度值f(i,j),f(i+1,j),f(i,j+1)和f(i+1,j+1)确定:
f1(x,y)=(1-t)*(1-u)*f(i,j)+(1-t)*u*f(i+1,j)+t*(1-u)*f(i,j+1)+t*u*f(i+1,j+1);
u,v分别表示插值点坐标(x,y)与坐标(x+u,y+v)在水平和垂直方向的浮点距离;u=(srcH-1)/(desH-1)*x;v=(srcW-1)/(desW-1)*y;其中,x,y为正整数,0<x<desH,0<y<desW;
b)对插值后的下采样图像f1(x,y),放大(1/A)×(1/B)倍,得到新灰度值f1′(x,y),计算f1′(x,y)与f(x,y)的结构相似性SSIM(X,Y)和峰值信噪比PSNR(X,Y):
SSIM(X,Y)的求取公式如式(I)所示:
式(I)中,X,Y表示图像f1′(x,y)、f(x,y)进行高斯滤波窗口加权计算的结果;con(X,Y)表示X与Y之间的协方差,C1,C2为常数,L为图像的灰度级,μX、μY分别为X和Y的均值,δX 2、δY 2分别为X和Y的标准差;
PSNR(X,Y)的求取公式如式(II)、式(III)所示:
式(II)、式(III)中,X,Y表示图像f1′(x,y)和f(x,y),srcH为图像高度,srcW为图像宽度;
c)统计SSIM(X,Y)小于0.8和SNR(X,Y)小于20dB出现的次数,对SSIM(X,Y)小于0.8的次数大于80%原始图像数量且PSNR(X,Y)小于20dB的次数大于80%原始图像数量的情况,采用如下方式重新获取下采样图像,否则,仅执行a)和b);具体方式如下:
首先,对水下高光谱原始图像分别进行A×B倍的双线性插值下采样和最近邻插值下采样;双线性插值下采样方式如步骤a)所示,得到插值点坐标(x,y)的灰度值g1(x,y)=f1(x,y),最近邻插值下采样得到插值点坐标(x,y)的灰度值g2(x,y),g2(x,y)由插值点坐标(x,y)向后空间映射得到原始图像上的坐标(x+u,y+v),与坐标(x+u,y+v)相邻的四个坐标位置(i,j),(i+1,j),(i,j+1)、(i+1,j+1)的欧式距离最短的一个坐标位置的灰度值确定,如式(IV)所示:
g2(x,y)=f(i′,j′) (IV)
式(IV)中,(i′,j′)为坐标(x,y)与坐标(i,j),(i+1,j),(i,j+1)、(i+1,j+1)欧式距离最短的一个坐标位置;u,t分别表示插值点坐标(x,y)与坐标(x+u,y+v)在水平和垂直方向的浮点距离,u=(srcH-1)/(desH-1)*x;v=(srcW-1)/(desW-1)*y;
其次,重新求取插值点坐标(x,y)的灰度值f1′(x,y),f1′(x,y)由g1(x,y)与g2(x,y)的加权融合获得,加权融合的权重系数由插值点周边的4个相邻点像素的灰度方差构造,求取公式如式(V)所示:
f1′(x,y)=w1*g1(x,y)+w2g2(x,y) (V)
式(V)中,w2=1-w1,δ为插值点周边的8个相邻点像素的灰度方差,x,y为正整数,0<x<desH,0<y<desW;
对推扫式水下高光谱原始图像的采样图进行噪声抑制,实现推扫式水下高光谱原始图像的采样图对比度的提升、暗区细节的增强以及假边缘信息的抑制,得到噪声抑制图像;具体如下:
d)对推扫式水下高光谱原始图像的采样图进行中值滤波和同态滤波;
中值滤波采用N×N的选定区域,选定区域内的所有像素依据灰度值大小排序,序列的中间值作为选取的中心像素点的灰度值,得到(x,y)处的中值滤波灰度值f2(x,y),求取公式如式(VI)所示:
f2(x,y)=med{f(x±K,y±L) (VI)
式(VI)中,K、L、x,y为正整数,K≤(N-1)/2,L≤(N-1)/2,0<x<desH,0<y<desW;
同态滤波具体采用如下方式:
首先,假设(x,y)处的中值滤波灰度值f2(x,y),表示成照度分量i2(x,y)与反射分量r2(x,y)的乘积,如式(VII)所示:
f2(x,y)=i2(x,y)+r2(x,y) (VII)
对中值滤波灰度值f2(x,y)进行对数变换和傅里叶变换,如式(VIII)所示:
DFT[In(f2(x,y))]=DFT[In(i2(x,y))]+DFT[In(r2(x,y))] (VIII)
其次,使用频域滤波器H(u,v)进行处理灰度值的频域滤波,H(u,v)使用的公式如式(IX)所示:
式(IX)中,m,n为动态算子,rH代表高频增益,rL代表低频增益,常数c介于rH与rL之间,D0为截止频率,D(u,v)为点(u,v)到灰度值f2(x,y)取对数且Fourier变换后的中心点的距离;
最后,上述频域滤波结果通过逆傅里叶变换返回空域对数图像,通过指数变换获取空域滤波图像,得到(x,y)处的灰度值为f3(x,y),如式(X)所示:
f3(x,y)=exp(IDFT((DFT(In(f2(x,y))))*H(u,v))) (X)
式(X)中,x,y都为整数,且0<x<desH,0<y<desW;
e)计算灰度值f1(x,y)与f3(x,y)的边缘保持指数EPI,EPI采用的公式如式(XI)所示:
式(XI)中,H=desH为下采样图像高度,W=desW为下采样图像宽度;f1(x,y)为下采样图像灰度值,f3(x,y)为采用中值和同态滤波进行噪声抑制得到的图像灰度值;
f)统计EPI小于0.8的噪声抑制图像出现的次数,对EPI值小于0.8的次数大于80%原始图像数量的情况,采用增大同态滤波处理中的高频增益rH和中值滤波处理中的选定区域的方式重新进行噪声抑制处理,否则,仅执行d)和e)的操作;
步骤S9中,改进的Laplacian算子加权的具体过程如下:
g)对S8得到的重组图像灰度值F2(x,y)进行有重叠的分块以及通过改进的Laplacian算子H1、H2、H3和H4分别加权求和每个图像子块,作为每个图像子块的中心像素点灰度值,得到改进的细对焦空域锐度图像灰度值F3H1(x,y)、F3H2(x,y)、F3H3(x,y)和F3H4(x,y),其中
H1=[-1,-1,-1;2,2,2;-1,-1,-1];
H2=[-1,-1,2;-1,2,-1;2,-1,-1];
H3=[-1,2,-1;-1,2,-1;-1,2,-1];
H2=[2,-1,-1;-1,2,-1;-1,-1,2];
F3H1(x,y)=-f2(x-1,y+1)-f2(x,y+1)-f2(x+1,y+1)+2f2(x-1,y)+2f2(x,y)+2f2(x+1,y)-f2(x-1,y-1)-f2(x,y-1)-f2(x+1,y+1);
F3H2(x,y)=-f2(x-1,y+1)-f2(x,y+1)+2f2(x+1,y+1)-f2(x-1,y)+2f2(x,y)-f2(x+1,y)+2f2(x-1,y-1)-f2(x,y-1)-f2(x+1,y+1);
F3H3(x,y)=-f2(x-1,y+1)+2f2(x,y+1)-f2(x+1,y+1)-f2(x-1,y)+2f2(x,y)-f2(x+1,y)-f2(x-1,y-1)+2f2(x,y-1)-f2(x+1,y+1);
F3H4(x,y)=2f2(x-1,y+1)-f2(x,y+1)-f2(x+1,y+1)-f2(x-1,y)+2f2(x,y)-f2(x+1,y)-f2(x-1,y-1)-f2(x,y-1)+2f2(x+1,y+1);
h)比较上述四种加权方式每个图像子块的中心像素点灰度值,分别取最大值作为模板中心像素点(x,y)处的图像像素灰度值记为F3(x,y),如式(XIX)所示:
F3(x,y)=max{F3H1(x,y),F3H2(x,y),F3H3(x,y),F3H4(x,y)} (XIX)
式(XIX)中,x,y都为整数,0<x<srcH/2,0<y<srcW/2;
i)通过对F3(x,y)的所有灰度值求和,得到该对焦位置处的推扫式水下高光谱原始图像的细对焦值T,如式(XX)所示:
2.根据权利要求1所述的一种基于推扫式水下高光谱原始图像的高精度快速检焦方法,其特征在于,步骤S4中,Laplacian算子采用八邻域的正掩膜中心系数模板H,H=[-1,-1,-1;-1,8,-1;-1,-1,-1],选用3×3的重叠噪声抑制图像子块,计算每个图像子块的Laplacian算子加权求和的中心像素点灰度值,具体假设(x,y)处的图像灰度值为f4(x,y),如式(XII)所示:
f4(x,y)=-f3(x+1,y)-f3(x-1,y)-f3(x+1,y+1)-f3(x-1,y+1)-f3(x,y+1)-f3(x,y-1)-f3(x-1,y-1)-f3(x+1,y-1)+8f3(x,y) (XII)
式(XII)中,x,y都为整数,且0<x<desH-2,0<y<desW-2。
3.根据权利要求2所述的一种基于推扫式水下高光谱原始图像的高精度快速检焦方法,其特征在于,步骤S5中,通过对f4(x,y)的所有灰度值求和,得到不同对焦位置的推扫式水下高光谱原始图像的粗对焦值F,如式(XIII)所示:
通过比较不同对焦位置图像的粗对焦最值,辨识出最佳对焦位置的原始图像序号,通过原始图像序号与步进电机的旋转步数的对应,得到最佳粗对焦电机旋转位置。
4.根据权利要求1所述的一种基于推扫式水下高光谱原始图像的高精度快速检焦方法,其特征在于,步骤S6中,假设采集到的推扫式水下高光谱原始图像为Q张,图像灰度值为F(x,y);其中,x,y都为整数,且0<x<srcH,0<y<srcW。
5.根据权利要求1所述的一种基于推扫式水下高光谱原始图像的高精度快速检焦方法,其特征在于,步骤S7中,保持图像边缘,有效消除噪声且克服主要边缘的梯度变形问题的滤波方式选择引导滤波方式,具体采用如下方式:
首先,假设输出图像灰度值F1(x,y)与输入图像灰度值F(x,y)在一个二维窗口内满足线性关系,如式(XIV)所示:
式(XIV)中,i和k是像素索引,wk是所有包含像素i的窗口,k是中心位置,a和b是当窗口中心位于k时线性函数的系数;
其次,通过最小二乘拟合,使输出灰度值F1(x,y)与输入灰度值F(x,y)的差距式 最小,如式(XV)、式(XVI)所示:
式(XV)、式(XVI)中,F(x,y)i是输入图像的灰度值,i和k是像素索引,μk是待滤波图像F(x,y)i在窗口wk中的平均值,是F(x,y)i在窗口wk中的方差,|w|是窗口wk中的像素的数量,wk是所有包含像素i的窗口,k是中心位置;
再次,某一点的输出值F1(x,y)i取所有包含该点的线性函数值平均,如式(XVII)所示:
式(XVII)中,wk是所有包含像素i的窗口,k是中心位置。
6.根据权利要求5所述的一种基于推扫式水下高光谱原始图像的高精度快速检焦方法,其特征在于,步骤S8中,采用的频率域小波变换,使用harr或者sym4函数作为小波基函数;对F1(x,y)进行3层小波分解,每进行一层小波分解,提取到的分解分量分别为:低频分量LL、水平分量LH、垂直分量HL以及高频分量HH;对1-3层的低频分量和垂直分量进行重新组合,得到重组图像灰度值为F2(x,y),如式(XVIII)所示:
式(XVIII)中,LLi、HLi分别指各层小波分解获得的低频分量和垂直分量,x,y都为整数,0<x<srcH/2,0<y<srcW/2。
7.根据权利要求1-6任一所述的一种基于推扫式水下高光谱原始图像的高精度快速检焦方法,其特征在于,步骤S1中,调焦步进电机,采集推扫式水下高光谱原始图像,旋转步数大于高光谱相机的一个焦深长度所需要旋转的步数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111244563.1A CN113989143B (zh) | 2021-10-26 | 2021-10-26 | 一种基于推扫式水下高光谱原始图像的高精度快速检焦方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111244563.1A CN113989143B (zh) | 2021-10-26 | 2021-10-26 | 一种基于推扫式水下高光谱原始图像的高精度快速检焦方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113989143A CN113989143A (zh) | 2022-01-28 |
CN113989143B true CN113989143B (zh) | 2024-04-26 |
Family
ID=79741325
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111244563.1A Active CN113989143B (zh) | 2021-10-26 | 2021-10-26 | 一种基于推扫式水下高光谱原始图像的高精度快速检焦方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113989143B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115598075B (zh) * | 2022-12-14 | 2023-03-31 | 自然资源部第二海洋研究所 | 基于双通道同轴光路的深海高光谱成像探测系统及方法 |
CN116485794B (zh) * | 2023-06-19 | 2023-09-19 | 济南幼儿师范高等专科学校 | 用于虚拟声乐教学的面部图像分析方法 |
CN118552439B (zh) * | 2024-07-26 | 2024-10-15 | 湖南兴芯微电子科技有限公司 | 一种Bayer图像降噪方法、装置及设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103886590A (zh) * | 2014-03-05 | 2014-06-25 | 浙江大学 | 一种基于小波包能量谱的推扫式遥感相机自动对焦方法 |
CN105678723A (zh) * | 2015-12-29 | 2016-06-15 | 内蒙古科技大学 | 基于稀疏分解和差分图像的多聚焦图像融合方法 |
CN108401108A (zh) * | 2018-03-12 | 2018-08-14 | 南京理工大学 | 一种推扫式高光谱相机快速自动调焦方法 |
CN108537728A (zh) * | 2018-03-05 | 2018-09-14 | 中国地质大学(武汉) | 基于光谱保真度的高光谱图像超分辨率形成方法和系统 |
CN111292256A (zh) * | 2020-01-14 | 2020-06-16 | 哈尔滨工业大学 | 一种基于显微高光谱成像的纹理增强算法 |
CN113379640A (zh) * | 2021-06-25 | 2021-09-10 | 哈尔滨工业大学 | 一种融合边缘信息的多级滤波图像去噪方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4988057B1 (ja) * | 2011-10-11 | 2012-08-01 | アキュートロジック株式会社 | 全焦点画像生成方法、全焦点画像生成装置、全焦点画像生成プログラム、被写体高さ情報取得方法、被写体高さ情報取得装置及び被写体高さ情報取得プログラム |
-
2021
- 2021-10-26 CN CN202111244563.1A patent/CN113989143B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103886590A (zh) * | 2014-03-05 | 2014-06-25 | 浙江大学 | 一种基于小波包能量谱的推扫式遥感相机自动对焦方法 |
CN105678723A (zh) * | 2015-12-29 | 2016-06-15 | 内蒙古科技大学 | 基于稀疏分解和差分图像的多聚焦图像融合方法 |
CN108537728A (zh) * | 2018-03-05 | 2018-09-14 | 中国地质大学(武汉) | 基于光谱保真度的高光谱图像超分辨率形成方法和系统 |
CN108401108A (zh) * | 2018-03-12 | 2018-08-14 | 南京理工大学 | 一种推扫式高光谱相机快速自动调焦方法 |
CN111292256A (zh) * | 2020-01-14 | 2020-06-16 | 哈尔滨工业大学 | 一种基于显微高光谱成像的纹理增强算法 |
CN113379640A (zh) * | 2021-06-25 | 2021-09-10 | 哈尔滨工业大学 | 一种融合边缘信息的多级滤波图像去噪方法 |
Non-Patent Citations (1)
Title |
---|
基于轮廓波变换的图像混合噪声去除算法研究;许友雷;舒忠;;现代计算机;20191125(第33期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113989143A (zh) | 2022-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113989143B (zh) | 一种基于推扫式水下高光谱原始图像的高精度快速检焦方法 | |
Schettini et al. | Underwater image processing: state of the art of restoration and image enhancement methods | |
CN111083365B (zh) | 一种最佳焦平面位置快速检测方法及装置 | |
Fayaz et al. | Underwater image restoration: A state‐of‐the‐art review | |
CN102222322A (zh) | 基于多尺度非局部均值的红外图像背景抑制方法 | |
Barros et al. | Single-shot underwater image restoration: A visual quality-aware method based on light propagation model | |
Dümbgen et al. | Near-infrared fusion for photorealistic image dehazing | |
Lu et al. | Single underwater image descattering and color correction | |
Lu et al. | 3D underwater scene reconstruction through descattering and colour correction | |
CN106991682B (zh) | 自动港口货船的提取方法及装置 | |
CN112163606A (zh) | 基于块对比度加权的红外小目标检测方法 | |
Wang et al. | Underwater image restoration based on adaptive color compensation and dual transmission estimation | |
KR20120116073A (ko) | 영상 합성을 위한 3차원 프로파일 지도 작성 방법 | |
Shen et al. | Underwater image enhancement based on polarization imaging | |
Awalludin et al. | A comparative study of various edge detection techniques for underwater images | |
CN110942480A (zh) | 一种单目单帧多光谱三维成像方法 | |
Alsakar et al. | Underwater Image Restoration and Enhancement: A Comprehensive Review of Recent Trends, Challenges, and Applications | |
Roy et al. | SIVDSR-Dhaze: Single Image Dehazing with Very Deep Super Resolution Framework and Its Analysis | |
Xu et al. | Underwater Image Enhancement of Improved Retinex Base on Statistical Learning | |
Godbaz et al. | Blind deconvolution of depth-of-field limited full-field lidar data by determination of focal parameters | |
Yang et al. | Wavelength-Dependent Image Defogging Method Based on Mie Scattering of Fog Droplets | |
Chan et al. | 3D modelling of survey scene from images enhanced with a multi-exposure fusion | |
Raj et al. | An Efficient Adaptive Denoising and Dehazing Technique. | |
Sahu et al. | ENHANCING THE QUALITY OF UNDER WATER IMAGES USING DEPTH ESTIMATION AND FUZYY CONTRAST ENHANCEMENT METHOD | |
Ma et al. | Image dehazing algorithm of transmittance fusion based on light field depth information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |