CN117041531B - 一种基于图像质量评估的手机摄像头聚焦检测方法和系统 - Google Patents
一种基于图像质量评估的手机摄像头聚焦检测方法和系统 Download PDFInfo
- Publication number
- CN117041531B CN117041531B CN202311127059.2A CN202311127059A CN117041531B CN 117041531 B CN117041531 B CN 117041531B CN 202311127059 A CN202311127059 A CN 202311127059A CN 117041531 B CN117041531 B CN 117041531B
- Authority
- CN
- China
- Prior art keywords
- image
- detected
- noise reduction
- quality evaluation
- reference image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 49
- 238000001514 detection method Methods 0.000 title claims abstract description 35
- 230000009467 reduction Effects 0.000 claims abstract description 64
- 238000012937 correction Methods 0.000 claims abstract description 42
- 238000013135 deep learning Methods 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims description 43
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 230000002146 bilateral effect Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000001303 quality assessment method Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 4
- 230000006978 adaptation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/24—Arrangements for testing
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于图像质量评估的手机摄像头聚焦检测方法和系统,包括:S1:采集一组图像,包括已知聚焦程度的参考图像和待测图像,并对所述参考图像和待测图像进行降噪;S2:根据降噪后的参考图像,对降噪后的待测图像进行色彩校正;S3:提取降噪后的参考图像和色彩校正后的待测图像的统计特征和空间特征;S4:分别计算降噪后的参考图像和色彩校正后的待测图像之间的相似度以及S3中提取出的所述统计特征与空间特征之间的差异,构成图像质量评估集合;S5:利用深度学习网络依据图像质量评估集合判断待测图像在最大和最小焦距下是否聚焦。本发明能够实现对手机摄像头聚焦状态的自动检测,从而提高用户拍照体验和照片质量,减少拍照失焦的情况。
Description
技术领域
本发明涉及手机摄像头聚焦检测的技术领域,尤其涉及一种基于图像质量评估的手机摄像头聚焦检测方法和系统。
背景技术
随着手机摄像头的广泛使用,对于拍摄出的照片和视频的质量要求也越来越高。其中,聚焦是影响照片和视频质量的重要因素之一。目前的手机摄像头聚焦检测方法通常是基于图像的清晰度评估来实现的,包括使用一些局部清晰度指标,如梯度、锐度等,和全局清晰度指标,如峰值信噪比、方差等,来评估图像清晰度。然而,由于手机摄像头场景的多样性,光照条件、背景噪声、摄像头质量等因素都会对图像清晰度评估造成影响,因此现有的方法容易受到干扰。另外,由于手机摄像头的硬件条件和成像质量的限制,常常会导致图像出现色彩偏差、失真等问题,进一步影响现有的方法聚焦检测的准确性和稳定性。
发明内容
有鉴于此,本发明提供一种基于图像质量评估的手机摄像头聚焦检测方法和系统,目的在于提供一种基于图像质量评估的手机摄像头聚焦检测方法和系统,通过对待测图像的降噪、色彩校正和特征提取,结合深度学习网络进行图像质量评估,实现对手机摄像头聚焦状态的自动检测,从而提高用户拍照体验和照片质量,减少拍照失焦的情况。
实现上述目的,本发明提供的一种基于图像质量评估的手机摄像头聚焦检测方法,包括以下步骤:
S1:采集一组图像,包括已知聚焦程度的参考图像和待测图像,并对所述参考图像和待测图像进行降噪;
S2:根据降噪后的参考图像,对降噪后的待测图像进行色彩校正;
S3:提取降噪后的参考图像和色彩校正后的待测图像的统计特征和空间特征;
S4:分别计算降噪后的参考图像和色彩校正后的待测图像之间的相似度以及S3中提取出的所述统计特征与空间特征之间的差异,构成图像质量评估集合;
S5:利用深度学习网络依据图像质量评估集合判断待测图像在最大和最小焦距下是否聚焦。
作为本发明的进一步改进方法:
可选的,所述S1步骤中采集一组图像,包括已知聚焦程度的参考图像和待测图像,并对所述参考图像和待测图像进行降噪和色彩校正,包括:
用手机摄像头拍摄标准测试卡,获得最大和最小焦距下聚焦的参考图像R;在手机摄像头自动聚焦过程中,采集多张任意聚焦程度的图像,作为待测图像H;;利用双边滤波对参考图像和待测图像分别进行降噪,所述双边滤波的表达式为:
其中,F∈{R,H};F′∈{R′,H′},R′为降噪后的参考图像,H′为降噪后的待测图像;F(i,j)表示以为中心点的邻域像素点(i,j)的值;B为邻域窗口的大小;/>为邻域内不同像素点的权重,为:
其中,为空间权重;/>为像素权重,计算方式分别为:
其中,e表示自然常数。
可选的,所述S2步骤中根据降噪后的参考图像,对降噪后的待测图像进行色彩校正,包括:
对S1中降噪后的待测图像使用多项式回归法进行色彩校正,所述多项式回归法的矩阵形式为:
R′=ATV′
其中,R′为降噪后的参考图像,由红绿蓝三个通道构成,即R′=[R′red,R′green,R′blue]T;T表示矩阵的转置;V′由待测图像不同通道的组合构成,V′=[H′red,H′green,H′blue,H′red·H′green,H′green·H′blue,H′red·H′blue]T,待测图像H′=[H′red,H′green,H′blue]T;A为多项式系数矩阵,A=[Ared,Agreen,Ablue,Ared,green,Agreen,blue,Ared,blue]。
利用最小二乘法获得系数矩阵的解A′:
A′=(V′V′T)-1V′R′T
将A′与待测图像相乘,获得色彩校正后的待测图像H″:
H″=A′TV′
可选的,所述S3步骤中提取降噪后的参考图像和色彩校正后的待测图像的统计特征和空间特征,包括:
基于S1和S2中获得的降噪后的参考图像和色彩校正后的待测图像,各自计算相应的统计特征,所述统计特征包括均值、峰度、偏度:
其中,和/>分别代表图像的均值、峰度和偏度,F″∈{R′,H″};N为图像像素数目。
基于S1和S2中获得的降噪后的参考图像和色彩校正后的待测图像,各自计算相应的空间特征,所述空间特征为局部二值模式,其计算方式为:
S31:对图像中每一个像素计算(2k+1)×(2k+1)窗口大小内的平均值:
其中,k为窗口尺寸决定系数,为正整数且k>1;F″(a,b)为F″在(a,b)处的像素值;
S32:计算相邻窗口在水平和垂直方向上平均值的差:
其中,Lk,1(x,y)和Lk,2(x,y)分别表示在窗口尺寸决定系数k下,点(x,y)处水平和垂直方向上平均值的差。选取能让Lk,1(x,y)或Lk,2(x,y)的值达到最大的k,记为k*,作为局部二值模式特征的窗口决定系数;
S33:根据S32中获得的k*计算窗口大小,并提取每一个像素点的局部二值模式特征:
以位置c为中心的窗口边缘的像素值集合为:
Edgec={v0,c,v1,c,…,vP-1,c}
其中,P=8k*,为窗口边缘像素点个数;c∈[1,N]。以窗口中心像素点的像素值为标准,对集合Edgec进行二值化处理并计算局部二值模式特征:
其中,Ⅱ(·)为二值化函数,若输入大于等于0的数字则其值为1,否则为0;F″c为图像窗口中心像素的像素值,
可选的,所述S4步骤中分别计算降噪后的参考图像和色彩校正后的待测图像之间的相似度以及S3中提取出的所述统计特征与空间特征之间的差异,构成图像质量评估集合,包括:
S41:计算降噪后的参考图像和色彩校正后的待测图像之间的相似度,所述相似度用结构相似度衡量,计算方式为:
其中,α>0,β>0,γ>0且α、β、γ用来调整的大小;C1,C2,C3用来维持/>的稳定;/>和/>为/>和/>的均值;/>和/>为/>和/>的标准差;/>为/>和/>的协方差;/>
S42:计算S3中提取出的特征之间的差异,构成特征差异集合:
其中,和/>分别为降噪后的参考图像和色彩校正后的待测图像的统计特征和空间特征;
S43:合并相似度和特征差异集合,构成图像质量评估集合:
可选的,所述S5步骤中利用深度学习网络依据图像质量评估集合判断待测图像在最大和最小焦距下是否聚焦,包括:
S51:将降噪后的参考图像和色彩校正后的待测图像连同S4中获得的图像质量评估集合输入深度学习网络,计算网络检测出的待测图像聚焦的概率:
o=DNN(R′,H″,ψ)
其中,DNN为深度学习网络;
S52:根据网络检测的结果计算损失函数,并更新网络参数:
所述损失函数的公式为:
φ=-[τ·log(o)+(1-τ)·log(1-o)]
其中,当输入网络的为已聚焦图像时,τ=1,否则为0。
所述网络参数的更新方式为:
其中,θ和λ分别为深度学习网络的权重和偏置,需要通过迭代学习得到;和/>代表θ和λ的梯度;ε为网络的学习率,用于控制网络参数每次迭代学习的幅度;
S53:利用训练好的深度学习网络,将提取出的图像质量评估集合输入至网络中,获得聚焦检测结果:
其中,若Result的结果为1,则表示待测图像已聚焦;若Result的结果为0,则表示待测图像未聚焦。
本发明还提供了一种基于图像质量评估的手机摄像头聚焦检测系统,包括:
图像采集及去噪模块:采集已知聚焦程度的参考图像和待测图像,并对图像进行降噪;
图像色彩校正模块:根据降噪后的参考图像,对降噪后的待测图像进行色彩校正;
图像特征提取模块:提取图像的统计特征和空间特征;
图像质量评估模块:计算图像之间的相似度并结合图像特征之间的差异,构成图像质量评估集合;
聚焦检测模块:依据图像质量评估集合检测待测图像是否聚焦。
有益效果:
本发明基于图像质量评估的手机摄像头聚焦检测方法,通过提取图像的统计特征和空间特征,并使用深度学习网络进行判断,可以达到高准确度的聚焦检测效果,避免误判和漏检的问题,提高检测的可信度和准确度。
本发明采用了一系列自动化处理技术,包括图像降噪、色彩校正、特征提取、结构相似度计算等,可以实现快速、高效的手机摄像头聚焦检测,极大地提高了检测效率,降低了成本。
本发明的方法可以适用于任意型号的手机摄像头,无需进行额外的适配和修改。同时,由于本发明的检测过程是基于图像质量评估的方法,因此可以适用于任意场景和拍摄对象,具有较强的通用性和普适性。
附图说明
图1为本发明一实施例的一种的流程示意图;
图2为标准测试卡示例。
具体实施方式
下面结合附图对本发明作进一步的说明,但不以任何方式对本发明加以限制,基于本发明教导所作的任何变换或替换,均属于本发明的保护范围。
实施例1:一种基于图像质量评估的手机摄像头聚焦检测方法,如图1所示,包括以下步骤:
S1:采集一组图像,包括已知聚焦程度的参考图像和待测图像,并对所述参考图像和待测图像进行降噪。用手机摄像头拍摄如图2所示的标准测试卡,获得最大和最小焦距下聚焦的参考图像R;在手机摄像头自动聚焦过程中,采集多张任意聚焦程度的图像,作为待测图像H;利用双边滤波对参考图像和待测图像分别进行降噪,所述双边滤波的表达式为:
其中,F∈{R,H};F′∈{R′,H′},R′为降噪后的参考图像,H′为降噪后的待测图像;F(i,j)表示以为中心点的邻域像素点(i,j)的值;B为邻域窗口的大小;/>为邻域内不同像素点的权重,为:
其中,为空间权重;/>为像素权重,计算方式分别为:
其中,e表示自然常数。
在摄像头聚焦检测中,如果待测图像中存在噪声,则可能影响聚焦判断的准确性。因此,对图像进行降噪可以有效提高聚焦检测的准确性和稳定性。同时,降噪也可以减少图像数据的冗余和噪声对后续处理的干扰,提高图像处理的效率和精度。
S2:根据降噪后的参考图像,对降噪后的待测图像进行色彩校正。
对S1中降噪后的待测图像使用多项式回归法进行色彩校正,所述多项式回归法的矩阵形式为:
R′=ATV′
其中,R′为降噪后的参考图像,由红绿蓝三个通道构成,即R′=[R′red,R′green,R′blue]T;T表示矩阵的转置;V′由待测图像不同通道的组合构成,V′=[H′red,H′green,H′blue,H′red·H′green,H′green·H′blue,H′red·H′blue]T,待测图像H′=[H′red,H′green,H′blue]T;A为多项式系数矩阵,A=[Ared,Agreen,Ablue,Ared,green,Agreen,blue,Ared,blue]。
利用最小二乘法获得系数矩阵的解A′:
A′=(V′V′T)-1V′R′T
将A′与待测图像相乘,获得色彩校正后的待测图像H″:
H″=A′TV′
在图像采集过程中,由于多种因素的影响,不同的图像可能具有不同的色彩偏差和色温偏差。这会影响到后续图像质量的评估和聚焦检测的准确性。因此,在进行聚焦检测之前,需要对采集的图像进行色彩校正。色彩校正的目的是消除不同图像之间的色彩偏差和色温偏差,使得所有图像的色彩呈现一致。具体地,根据降噪后的参考图像,可以将待测图像中的色彩信息映射到参考图像的色彩空间中,实现对待测图像的色彩校正。这样可以消除不同图像之间的色彩差异,使得待测图像更加适合用于后续的图像质量评估和聚焦检测。
S3:提取降噪后的参考图像和色彩校正后的待测图像的统计特征和空间特征。
基于S1和S2中获得的降噪后的参考图像和色彩校正后的待测图像,各自计算相应的统计特征,所述统计特征包括均值、峰度、偏度:
其中,和/>分别代表图像的均值、峰度和偏度,F″∈{R′,H″};N为图像像素数目。
基于S1和S2中获得的降噪后的参考图像和色彩校正后的待测图像,各自计算相应的空间特征,所述空间特征为局部二值模式,其计算方式为:
S31:对图像中每一个像素计算(2k+1)×(2k+1)窗口大小内的平均值:
其中,k为窗口尺寸决定系数,为正整数且k>1;F″(a,b)为F″在(a,b)处的像素值;
S32:计算相邻窗口在水平和垂直方向上平均值的差:
其中,Lk,1(x,y)和Lk,2(x,y)分别表示在窗口尺寸决定系数k下,点(x,y)处水平和垂直方向上平均值的差,本实施例中,k=1,2,3。选取能让Lk,1(x,y)或Lk,2(x,y)的值达到最大的k,记为k*,作为局部二值模式特征的窗口决定系数;
S33:根据S32中获得的k*计算窗口大小,并提取每一个像素点的局部二值模式特征:
以位置c为中心的窗口边缘的像素值集合为:
Edgec={v0,c,v1,c,…,vP-1,c}
其中,P=8k*,为窗口边缘像素点个数;c∈[1,N]。以窗口中心像素点的像素值为标准,对集合Edgec进行二值化处理并计算局部二值模式特征:
其中,Ⅱ(·)为二值化函数,若输入大于等于0的数字则其值为1,否则为0;F″c为图像窗口中心像素的像素值,
在进行图像质量评估时,需要对图像进行特征提取,以便后续对图像质量进行分析和判断。在本发明中,通过提取统计特征,均值、峰度、偏度,和空间特征局部二值模式,可以描述图像的颜色分布、纹理和细节信息。这些特征可以用于比较参考图像和待测图像的相似程度,以评估待测图像的聚焦情况。均值反映了图像的亮度水平,峰度和偏度则可以用于描述图像的分布形态和偏斜程度,局部二值模式则可以用于描述图像的纹理特征。通过提取这些特征,可以综合地评估待测图像的质量,从而确定待测图像是否聚焦。
S4:分别计算降噪后的参考图像和色彩校正后的待测图像之间的相似度以及S3中提取出的所述统计特征与空间特征之间的差异,构成图像质量评估集合。
S41:计算降噪后的参考图像和色彩校正后的待测图像之间的相似度,所述相似度用结构相似度衡量,计算方式为:
其中,α>0,β>0,γ>0且α、β、γ用来调整的大小,本实施例中α=β=γ=1;C1,C2,C3用来维持/>的稳定,本实施例中C1=5,C2=50,C3=25;/>和/>为/>和/>的均值;/>和/>为/>和/>的标准差;/>为/>和/>的协方差;/>
S42:计算S3中提取出的特征之间的差异,构成特征差异集合:
其中,和/>分别为降噪后的参考图像和色彩校正后的待测图像的统计特征和空间特征;
S43:合并相似度和特征差异集合,构成图像质量评估集合:
相似度指标可以反映待测图像与参考图像之间的结构相似性,即两幅图像之间的空间结构和像素信息的相似程度。而特征之间的差异可以反映待测图像与参考图像之间在统计特征和空间特征方面的差异。通过将这些指标结合在一起构成图像质量评估集合,可以全面地评估待测图像的质量,并为后续的聚焦判断提供依据。
S5:利用深度学习网络依据图像质量评估集合判断待测图像在最大和最小焦距下是否聚焦。
S51:将降噪后的参考图像和色彩校正后的待测图像连同S4中获得的图像质量评估集合输入深度学习网络,计算网络检测出的待测图像聚焦的概率:
o=DNN(R′,H″,ψ)
其中,DNN为深度学习网络,本实施例中为VGG16;
S52:根据网络检测的结果计算损失函数,并更新网络参数:
所述损失函数的公式为:
φ=-[τ·log(o)+(1-τ)·log(1-o)]
其中,当输入网络的为已聚焦图像时,τ=1,否则为0。
所述网络参数的更新方式为:
其中,θ和λ分别为深度学习网络的权重和偏置,需要通过迭代学习得到;和/>代表θ和λ的梯度;ε为网络的学习率,用于控制网络参数每次迭代学习的幅度,本实施例中为0.001;
S53:利用训练好的深度学习网络,将提取出的图像质量评估集合输入至网络中,获得聚焦检测结果:
其中,若Result的结果为1,则表示待测图像已聚焦;若Result的结果为0,则表示待测图像未聚焦。
实施例2:本发明还公开了一种基于图像质量评估的手机摄像头聚焦检测系统,包括以下五个模块:
图像采集及去噪模块:采集已知聚焦程度的参考图像和待测图像,并对图像进行降噪;
图像色彩校正模块:根据降噪后的参考图像,对降噪后的待测图像进行色彩校正;
图像特征提取模块:提取图像的统计特征和空间特征;
图像质量评估模块:计算图像之间的相似度并结合图像特征之间的差异,构成图像质量评估集合;
聚焦检测模块:依据图像质量评估集合检测待测图像是否聚焦。
需要说明的是,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (6)
1.一种基于图像质量评估的手机摄像头聚焦检测方法,其特征在于,包括以下步骤:
S1:采集一组图像,包括已知聚焦程度的参考图像和待测图像,并对所述参考图像和待测图像进行降噪;
用手机摄像头拍摄标准测试卡,获得最大和最小焦距下聚焦的参考图像R;在手机摄像头自动聚焦过程中,采集多张任意聚焦程度的图像,作为待测图像H;利用双边滤波对参考图像和待测图像分别进行降噪,所述双边滤波的表达式为:
其中,F∈{R,H};F′∈{R′,H′},R′为降噪后的参考图像,H′为降噪后的待测图像;F(i,j)表示以为中心点的邻域像素点(i,j)的值;B为邻域窗口的大小;/>为邻域内不同像素点的权重,为:
其中,为空间权重;/>为像素权重,计算方式分别为:
其中,e表示自然常数;
S2:根据降噪后的参考图像,对降噪后的待测图像进行色彩校正;包括:
对S1中降噪后的待测图像使用多项式回归法进行色彩校正,所述多项式回归法的矩阵形式为:
R′=ATV′
其中,R′为降噪后的参考图像,由红绿蓝三个通道构成,即R′=[R′red,R′green,R′blue]T;T表示矩阵的转置;V′由待测图像不同通道的组合构成,V′=[H′red,H′green,H′blue,H′red·H′green,H′green·H′blue,H′red·H′blue]T,待测图像H′=[H′red,H′green,H′blue]T;A为多项式系数矩阵,A=[Ared,Agreen,Ablue,Ared,green,Agreen,blue,Ared,blue];
利用最小二乘法获得系数矩阵的解A′:
A′=(V′V′T)-1V′R′T
将A′与待测图像相乘,获得色彩校正后的待测图像H″:
H″=A′TV′;
S3:提取降噪后的参考图像和色彩校正后的待测图像的统计特征和空间特征;
S4:分别计算降噪后的参考图像和色彩校正后的待测图像之间的相似度以及S3中提取出的所述统计特征与空间特征之间的差异,构成图像质量评估集合;
S5:利用深度学习网络依据图像质量评估集合判断待测图像在最大和最小焦距下是否聚焦。
2.根据权利要求1所述的基于图像质量评估的手机摄像头聚焦检测方法,其特征在于,所述步骤S3中提取降噪后的参考图像和色彩校正后的待测图像的统计特征,包括:
基于S1和S2中获得的降噪后的参考图像和色彩校正后的待测图像,各自计算相应的统计特征,所述统计特征包括均值、峰度、偏度:
其中,和/>分别代表图像的均值、峰度和偏度,F″∈{R′,H″};N为图像像素数目。
3.根据权利要求2所述的基于图像质量评估的手机摄像头聚焦检测方法,其特征在于,所述步骤S3中提取降噪后的参考图像和色彩校正后的待测图像的空间特征,包括:
基于S1和S2中获得的降噪后的参考图像和色彩校正后的待测图像,各自计算相应的空间特征,所述空间特征为局部二值模式,其计算方式为:
S31:对图像中每一个像素计算(2k+1)×(2k+1)窗口大小内的平均值:
其中,k为窗口尺寸决定系数,为正整数且k>1;F″(a,b)为F″在(a,b)处的像素值;
S32:计算相邻窗口在水平和垂直方向上平均值的差:
其中,Lk,1(x,y)和Lk,2(x,y)分别表示在窗口尺寸决定系数k下,点(x,y)处水平和垂直方向上平均值的差;选取让Lk,1(x,y)或Lk,2(x,y)的值达到最大的k,记为k*,作为局部二值模式特征的窗口决定系数;
S33:根据S32中获得的k*计算窗口大小,并提取每一个像素点的局部二值模式特征:
以位置c为中心的窗口边缘的像素值集合为:
Edgec={v0,c,v1,c,…,vP-1,c}
其中,P=8k*,为窗口边缘像素点个数;c∈[1,N];以窗口中心像素点的像素值为标准,对集合Edgec进行二值化处理并计算局部二值模式特征:
其中,为二值化函数,若输入大于等于0的数字则其值为1,否则为0;Fc″为图像窗口中心像素的像素值,F″∈{R′,H″}。
4.根据权利要求3所述的基于图像质量评估的手机摄像头聚焦检测方法,其特征在于,所述步骤S4中分别计算降噪后的参考图像和色彩校正后的待测图像之间的相似度以及S3中提取出的所述统计特征与空间特征之间的差异,构成图像质量评估集合,包括:
S41:计算降噪后的参考图像和色彩校正后的待测图像之间的相似度,所述相似度用结构相似度衡量,计算方式为:
其中,α>0,β>0,γ>0且α、β、γ用来调整的大小;C1,C2,C3用来维持/>的稳定;/>和/>为/>和/>的均值;/>和/>为/>和/>的标准差;/>为/>和/>的协方差;/>
S42:计算S3中提取出的特征之间的差异,构成特征差异集合:
其中,和/>分别为降噪后的参考图像和色彩校正后的待测图像的统计特征和空间特征;
S43:合并相似度和特征差异集合,构成图像质量评估集合:
5.根据权利要求4所述的基于图像质量评估的手机摄像头聚焦检测方法,其特征在于,所述步骤S5中利用深度学习网络依据图像质量评估集合判断待测图像在最大和最小焦距下是否聚焦,包括:
S51:将降噪后的参考图像和色彩校正后的待测图像连同S4中获得的图像质量评估集合输入深度学习网络,计算网络检测出的待测图像聚焦的概率:
o=DNN(R′,H″,ψ)
其中,DNN为深度学习网络;
S52:根据网络检测的结果计算损失函数,并更新网络参数:
所述损失函数的公式为:
φ=-[τ·log(o)+(1-τ)·log(1-o)]
其中,当输入网络的为已聚焦图像时,τ=1,否则为0;
所述网络参数的更新方式为:
其中,θ和λ分别为深度学习网络的权重和偏置,需要通过迭代学习得到;和/>代表θ和λ的梯度;ε为网络的学习率,用于控制网络参数每次迭代学习的幅度;
S53:利用训练好的深度学习网络,将提取出的图像质量评估集合输入至网络中,获得聚焦检测结果:
其中,若Result的结果为1,则表示待测图像已聚焦;若Result的结果为0,则表示待测图像未聚焦。
6.一种基于图像质量评估的手机摄像头聚焦检测系统,其特征在于,包括:
图像采集及去噪模块:采集已知聚焦程度的参考图像和待测图像,并对图像进行降噪;
图像色彩校正模块:根据降噪后的参考图像,对降噪后的待测图像进行色彩校正;
图像特征提取模块:提取图像的统计特征和空间特征;
图像质量评估模块:计算图像之间的相似度并结合图像特征之间的差异,构成图像质量评估集合;
聚焦检测模块:依据图像质量评估集合检测待测图像是否聚焦;
以实现如权利要求1-5任意一项所述的一种基于图像质量评估的手机摄像头聚焦检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311127059.2A CN117041531B (zh) | 2023-09-04 | 2023-09-04 | 一种基于图像质量评估的手机摄像头聚焦检测方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311127059.2A CN117041531B (zh) | 2023-09-04 | 2023-09-04 | 一种基于图像质量评估的手机摄像头聚焦检测方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117041531A CN117041531A (zh) | 2023-11-10 |
CN117041531B true CN117041531B (zh) | 2024-03-15 |
Family
ID=88624650
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311127059.2A Active CN117041531B (zh) | 2023-09-04 | 2023-09-04 | 一种基于图像质量评估的手机摄像头聚焦检测方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117041531B (zh) |
Citations (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR19980084175A (ko) * | 1997-05-21 | 1998-12-05 | 윤종용 | 적응적 필터를 이용한 촛점 조절장치 및 방법 |
WO2000033569A1 (en) * | 1998-11-25 | 2000-06-08 | Iriscan, Inc. | Fast focus assessment system and method for imaging |
US6490681B1 (en) * | 1997-09-18 | 2002-12-03 | International Business Machines Corporation | Electronic watermarking system |
JP2008281887A (ja) * | 2007-05-14 | 2008-11-20 | Hokkaido | 合焦検出装置、合焦検出方法および合焦検出プログラム |
KR20090104431A (ko) * | 2008-03-31 | 2009-10-06 | 삼성디지털이미징 주식회사 | 자동으로 오토포커싱을 실행하는 디지털 촬영 장치 및 이의제어 방법 |
CN101621709A (zh) * | 2009-08-10 | 2010-01-06 | 浙江大学 | 一种全参考型图像客观质量评价方法 |
CN101853504A (zh) * | 2010-05-07 | 2010-10-06 | 厦门大学 | 基于视觉特性与结构相似度的图像质量评测方法 |
CN105049723A (zh) * | 2015-07-13 | 2015-11-11 | 南京工程学院 | 基于离焦量差异定性分析的自动对焦方法 |
CN105574885A (zh) * | 2016-01-13 | 2016-05-11 | 福州大学 | 基于机器学习并融合视觉特征的全参考图像质量评估方法 |
CN107105223A (zh) * | 2017-03-20 | 2017-08-29 | 宁波大学 | 一种基于全局特征的色调映射图像质量客观评价方法 |
CN107146211A (zh) * | 2017-06-08 | 2017-09-08 | 山东师范大学 | 基于线扩散函数和双边滤波的视网膜血管图像降噪方法 |
JP2017176716A (ja) * | 2016-03-31 | 2017-10-05 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
CN107506687A (zh) * | 2017-07-17 | 2017-12-22 | 广东欧珀移动通信有限公司 | 活体检测方法及相关产品 |
CN107784645A (zh) * | 2016-08-26 | 2018-03-09 | 广州康昕瑞基因健康科技有限公司 | 图像清晰度评价方法及系统、自动聚焦方法 |
CN110544229A (zh) * | 2019-07-11 | 2019-12-06 | 华南理工大学 | 一种相机处于非匀速状态下图像聚焦评估及调焦方法 |
CN110689045A (zh) * | 2019-08-23 | 2020-01-14 | 苏州千视通视觉科技股份有限公司 | 一种深度学习模型的分布式训练方法及装置 |
CN111083365A (zh) * | 2019-12-24 | 2020-04-28 | 陈根生 | 一种最佳焦平面位置快速检测方法及装置 |
CN111640090A (zh) * | 2020-05-12 | 2020-09-08 | 宁波蓝明信息科技有限公司 | 一种用于评估眼底图像质量的方法 |
CN112102926A (zh) * | 2020-09-02 | 2020-12-18 | 上海得录信息科技中心(有限合伙) | 一种图像处理方法、装置、设备和存储介质 |
CN112106107A (zh) * | 2018-05-07 | 2020-12-18 | 谷歌有限责任公司 | 显微镜切片图像的聚焦加权的机器学习分类器误差预测 |
CN112153371A (zh) * | 2020-08-24 | 2020-12-29 | 珠海格力电器股份有限公司 | 图像质量检测方法、装置、存储介质及产品检测方法 |
CN112887513A (zh) * | 2019-11-13 | 2021-06-01 | 杭州海康威视数字技术股份有限公司 | 图像降噪方法及摄像机 |
WO2021218215A1 (zh) * | 2020-04-30 | 2021-11-04 | 上海商汤智能科技有限公司 | 图像检测方法及相关模型的训练方法和相关装置、设备 |
CN114363532A (zh) * | 2021-12-02 | 2022-04-15 | 浙江大华技术股份有限公司 | 聚焦方法以及相关装置 |
CN114598864A (zh) * | 2022-03-12 | 2022-06-07 | 中国传媒大学 | 一种基于深度学习的全参考超高清视频质量客观评价方法 |
KR20230051110A (ko) * | 2021-10-08 | 2023-04-17 | 한국과학기술원 | 인공지능 학습 모델 처리 장치 및 방법, 이를 위한 온보드 기반 이미지 처리 시스템, 인공지능 학습 모델 처리 방법을 수행하는 프로그램 및 인공지능 학습 모델 처리 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능한 기록매체 |
WO2023065505A1 (zh) * | 2021-10-18 | 2023-04-27 | 深圳先进技术研究院 | 一种浮游生物原位观测的图像预处理方法及系统 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7668388B2 (en) * | 2005-03-03 | 2010-02-23 | Mitutoyo Corporation | System and method for single image focus assessment |
US8558942B2 (en) * | 2007-10-17 | 2013-10-15 | Nikon Corporation | Focusing measurement device, focusing measurement method, and program |
JP5423305B2 (ja) * | 2008-10-16 | 2014-02-19 | 株式会社ニコン | 画像評価装置及びカメラ |
US8422795B2 (en) * | 2009-02-12 | 2013-04-16 | Dolby Laboratories Licensing Corporation | Quality evaluation of sequences of images |
US8736747B2 (en) * | 2012-01-13 | 2014-05-27 | Sony Corporation | Camera autofocus adaptive blur matching model fitting |
CN109963133B (zh) * | 2015-05-15 | 2021-07-30 | 深圳市大疆创新科技有限公司 | 色彩校正系统和方法 |
US9870609B2 (en) * | 2016-06-03 | 2018-01-16 | Conduent Business Services, Llc | System and method for assessing usability of captured images |
US20180018024A1 (en) * | 2016-07-12 | 2018-01-18 | Qualcomm Incorporated | Techniques for determining proximity based on image blurriness |
JP2022086521A (ja) * | 2020-11-30 | 2022-06-09 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
CN112581463B (zh) * | 2020-12-25 | 2024-02-27 | 北京百度网讯科技有限公司 | 图像缺陷的检测方法、装置、电子设备、存储介质及产品 |
-
2023
- 2023-09-04 CN CN202311127059.2A patent/CN117041531B/zh active Active
Patent Citations (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR19980084175A (ko) * | 1997-05-21 | 1998-12-05 | 윤종용 | 적응적 필터를 이용한 촛점 조절장치 및 방법 |
US6490681B1 (en) * | 1997-09-18 | 2002-12-03 | International Business Machines Corporation | Electronic watermarking system |
WO2000033569A1 (en) * | 1998-11-25 | 2000-06-08 | Iriscan, Inc. | Fast focus assessment system and method for imaging |
JP2008281887A (ja) * | 2007-05-14 | 2008-11-20 | Hokkaido | 合焦検出装置、合焦検出方法および合焦検出プログラム |
KR20090104431A (ko) * | 2008-03-31 | 2009-10-06 | 삼성디지털이미징 주식회사 | 자동으로 오토포커싱을 실행하는 디지털 촬영 장치 및 이의제어 방법 |
CN101621709A (zh) * | 2009-08-10 | 2010-01-06 | 浙江大学 | 一种全参考型图像客观质量评价方法 |
CN101853504A (zh) * | 2010-05-07 | 2010-10-06 | 厦门大学 | 基于视觉特性与结构相似度的图像质量评测方法 |
CN105049723A (zh) * | 2015-07-13 | 2015-11-11 | 南京工程学院 | 基于离焦量差异定性分析的自动对焦方法 |
CN105574885A (zh) * | 2016-01-13 | 2016-05-11 | 福州大学 | 基于机器学习并融合视觉特征的全参考图像质量评估方法 |
JP2017176716A (ja) * | 2016-03-31 | 2017-10-05 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
CN107784645A (zh) * | 2016-08-26 | 2018-03-09 | 广州康昕瑞基因健康科技有限公司 | 图像清晰度评价方法及系统、自动聚焦方法 |
CN107105223A (zh) * | 2017-03-20 | 2017-08-29 | 宁波大学 | 一种基于全局特征的色调映射图像质量客观评价方法 |
CN107146211A (zh) * | 2017-06-08 | 2017-09-08 | 山东师范大学 | 基于线扩散函数和双边滤波的视网膜血管图像降噪方法 |
CN107506687A (zh) * | 2017-07-17 | 2017-12-22 | 广东欧珀移动通信有限公司 | 活体检测方法及相关产品 |
CN112106107A (zh) * | 2018-05-07 | 2020-12-18 | 谷歌有限责任公司 | 显微镜切片图像的聚焦加权的机器学习分类器误差预测 |
CN110544229A (zh) * | 2019-07-11 | 2019-12-06 | 华南理工大学 | 一种相机处于非匀速状态下图像聚焦评估及调焦方法 |
CN110689045A (zh) * | 2019-08-23 | 2020-01-14 | 苏州千视通视觉科技股份有限公司 | 一种深度学习模型的分布式训练方法及装置 |
CN112887513A (zh) * | 2019-11-13 | 2021-06-01 | 杭州海康威视数字技术股份有限公司 | 图像降噪方法及摄像机 |
CN111083365A (zh) * | 2019-12-24 | 2020-04-28 | 陈根生 | 一种最佳焦平面位置快速检测方法及装置 |
WO2021218215A1 (zh) * | 2020-04-30 | 2021-11-04 | 上海商汤智能科技有限公司 | 图像检测方法及相关模型的训练方法和相关装置、设备 |
CN111640090A (zh) * | 2020-05-12 | 2020-09-08 | 宁波蓝明信息科技有限公司 | 一种用于评估眼底图像质量的方法 |
CN112153371A (zh) * | 2020-08-24 | 2020-12-29 | 珠海格力电器股份有限公司 | 图像质量检测方法、装置、存储介质及产品检测方法 |
CN112102926A (zh) * | 2020-09-02 | 2020-12-18 | 上海得录信息科技中心(有限合伙) | 一种图像处理方法、装置、设备和存储介质 |
KR20230051110A (ko) * | 2021-10-08 | 2023-04-17 | 한국과학기술원 | 인공지능 학습 모델 처리 장치 및 방법, 이를 위한 온보드 기반 이미지 처리 시스템, 인공지능 학습 모델 처리 방법을 수행하는 프로그램 및 인공지능 학습 모델 처리 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능한 기록매체 |
WO2023065505A1 (zh) * | 2021-10-18 | 2023-04-27 | 深圳先进技术研究院 | 一种浮游生物原位观测的图像预处理方法及系统 |
CN114363532A (zh) * | 2021-12-02 | 2022-04-15 | 浙江大华技术股份有限公司 | 聚焦方法以及相关装置 |
CN114598864A (zh) * | 2022-03-12 | 2022-06-07 | 中国传媒大学 | 一种基于深度学习的全参考超高清视频质量客观评价方法 |
Non-Patent Citations (4)
Title |
---|
Semantic Preserving Generative Adversarial Network For Cross-Modal Hashing;Fei Wu等;《2021 IEEE International Conference on Image Processing (ICIP),Anchorage, AK, USA,19-22 September 2021》;全文 * |
一种失真模糊图像的质量评价方法;王德心;张玉叶;李开端;;科学技术与工程(第23期);全文 * |
利用光场合成与弥散圆渲染的单幅图像重聚焦;王奇等;《光学学报》;全文 * |
可见光成像质量评估研究;关山等;《电脑与信息技术》;第26卷(第3期);第1-2节 * |
Also Published As
Publication number | Publication date |
---|---|
CN117041531A (zh) | 2023-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7683946B2 (en) | Detection and removal of blemishes in digital images utilizing original images of defocused scenes | |
US7369712B2 (en) | Automated statistical self-calibrating detection and removal of blemishes in digital images based on multiple occurrences of dust in images | |
US7424170B2 (en) | Automated statistical self-calibrating detection and removal of blemishes in digital images based on determining probabilities based on image analysis of single images | |
KR101324268B1 (ko) | 화상 식별 방법 및 촬상장치 | |
US7206461B2 (en) | Digital image acquisition and processing system | |
US8472717B2 (en) | Foreground image separation method | |
WO2020224518A1 (zh) | 基于局部中值直方图的自适应红外图像去条纹算法 | |
US7315658B2 (en) | Digital camera | |
US20130208995A1 (en) | Image Defect Map Creation Using Batches of Digital Images | |
US20050068449A1 (en) | Automated statistical self-calibrating detection and removal of blemishes in digital images based on a dust map developed from actual image data | |
EP3371741B1 (en) | Focus detection | |
CN107240082B (zh) | 一种拼接线优化方法及设备 | |
US10867374B2 (en) | Auto-focusing system and method by determining contrast difference between adjacent pixels using sobel filter | |
CN104200457A (zh) | 基于广角摄像的离散型冠层叶面积指数检测系统和方法 | |
CN113691724B (zh) | Hdr场景检测方法与装置、终端及可读存储介质 | |
CN108769543B (zh) | 曝光时间的确定方法及装置 | |
CN111311509A (zh) | 一种非正常曝光图像自适应校正方法 | |
CN117041531B (zh) | 一种基于图像质量评估的手机摄像头聚焦检测方法和系统 | |
JP2010045457A (ja) | 画像処理装置および画像処理方法 | |
CN110674737A (zh) | 一种虹膜识别的增强方法 | |
van Zwanenberg et al. | Camera system performance derived from natural scenes | |
WO2023231094A1 (zh) | 水下海胆图像识别模型的训练方法、识别方法及装置 | |
CN117197435A (zh) | 一种相机聚焦清晰度评估方法及系统 | |
Woods et al. | High-resolution imaging using lucky frame selection | |
KR101521458B1 (ko) | 스미어 제거 장치 및 그 제거 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |