CN117041531A - 一种基于图像质量评估的手机摄像头聚焦检测方法和系统 - Google Patents

一种基于图像质量评估的手机摄像头聚焦检测方法和系统 Download PDF

Info

Publication number
CN117041531A
CN117041531A CN202311127059.2A CN202311127059A CN117041531A CN 117041531 A CN117041531 A CN 117041531A CN 202311127059 A CN202311127059 A CN 202311127059A CN 117041531 A CN117041531 A CN 117041531A
Authority
CN
China
Prior art keywords
image
detected
noise reduction
reference image
quality evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311127059.2A
Other languages
English (en)
Other versions
CN117041531B (zh
Inventor
沈宇澄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Wekay Technology Co ltd
Original Assignee
Wuxi Wekay Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Wekay Technology Co ltd filed Critical Wuxi Wekay Technology Co ltd
Priority to CN202311127059.2A priority Critical patent/CN117041531B/zh
Publication of CN117041531A publication Critical patent/CN117041531A/zh
Application granted granted Critical
Publication of CN117041531B publication Critical patent/CN117041531B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/24Arrangements for testing

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像质量评估的手机摄像头聚焦检测方法和系统,包括:S1:采集一组图像,包括已知聚焦程度的参考图像和待测图像,并对所述参考图像和待测图像进行降噪;S2:根据降噪后的参考图像,对降噪后的待测图像进行色彩校正;S3:提取降噪后的参考图像和色彩校正后的待测图像的统计特征和空间特征;S4:分别计算降噪后的参考图像和色彩校正后的待测图像之间的相似度以及S3中提取出的所述统计特征与空间特征之间的差异,构成图像质量评估集合;S5:利用深度学习网络依据图像质量评估集合判断待测图像在最大和最小焦距下是否聚焦。本发明能够实现对手机摄像头聚焦状态的自动检测,从而提高用户拍照体验和照片质量,减少拍照失焦的情况。

Description

一种基于图像质量评估的手机摄像头聚焦检测方法和系统
技术领域
本发明涉及手机摄像头聚焦检测的技术领域,尤其涉及一种基于图像质量评估的手机摄像头聚焦检测方法和系统。
背景技术
随着手机摄像头的广泛使用,对于拍摄出的照片和视频的质量要求也越来越高。其中,聚焦是影响照片和视频质量的重要因素之一。目前的手机摄像头聚焦检测方法通常是基于图像的清晰度评估来实现的,包括使用一些局部清晰度指标,如梯度、锐度等,和全局清晰度指标,如峰值信噪比、方差等,来评估图像清晰度。然而,由于手机摄像头场景的多样性,光照条件、背景噪声、摄像头质量等因素都会对图像清晰度评估造成影响,因此现有的方法容易受到干扰。另外,由于手机摄像头的硬件条件和成像质量的限制,常常会导致图像出现色彩偏差、失真等问题,进一步影响现有的方法聚焦检测的准确性和稳定性。
发明内容
有鉴于此,本发明提供一种基于图像质量评估的手机摄像头聚焦检测方法和系统,目的在于提供一种基于图像质量评估的手机摄像头聚焦检测方法和系统,通过对待测图像的降噪、色彩校正和特征提取,结合深度学习网络进行图像质量评估,实现对手机摄像头聚焦状态的自动检测,从而提高用户拍照体验和照片质量,减少拍照失焦的情况。
实现上述目的,本发明提供的一种基于图像质量评估的手机摄像头聚焦检测方法,包括以下步骤:
S1:采集一组图像,包括已知聚焦程度的参考图像和待测图像,并对所述参考图像和待测图像进行降噪;
S2:根据降噪后的参考图像,对降噪后的待测图像进行色彩校正;
S3:提取降噪后的参考图像和色彩校正后的待测图像的统计特征和空间特征;
S4:分别计算降噪后的参考图像和色彩校正后的待测图像之间的相似度以及S3中提取出的所述统计特征与空间特征之间的差异,构成图像质量评估集合;
S5:利用深度学习网络依据图像质量评估集合判断待测图像在最大和最小焦距下是否聚焦。
作为本发明的进一步改进方法:
可选的,所述S1步骤中采集一组图像,包括已知聚焦程度的参考图像和待测图像,并对所述参考图像和待测图像进行降噪和色彩校正,包括:
用手机摄像头拍摄标准测试卡,获得最大和最小焦距下聚焦的参考图像R;在手机摄像头自动聚焦过程中,采集多张任意聚焦程度的图像,作为待测图像H;;利用双边滤波对参考图像和待测图像分别进行降噪,所述双边滤波的表达式为:
其中,F∈{R,H};F′∈{R′,H′},R′为降噪后和参考图像,H′为降噪后的待测图像;F(i,j)表示以为中心点的邻域像素点(i,j)的值;B为邻域窗口的大小;/>为邻域内不同像素点的权重,为:
其中,为空间权重;/>为像素权重,计算方式分别为:
其中,e表示自然常数。
可选的,所述S2步骤中根据降噪后的参考图像,对降噪后的待测图像进行色彩校正,包括:
对S1中降噪后的待测图像使用多项式回归法进行色彩校正,所述多项式回归法的矩阵形式为:
R′=ATV′
其中,R′为降噪后的参考图像,由红绿蓝三个通道构成,即R′=[R′red,R′green,R′blue]T;T表示矩阵的转置;V′由待测图像不同通道的组合构成,V′=[H′red,H′green,H′blue,H′red·H′green,H′green·H′blue,H′red·H′blue]T,待测图像H′=[H′red,H′green,H′blue]T;A为多项式系数矩阵,A=[Ared,Agreen,Ablue,Ared,green,Agreen,blue,Ared,blue]。
利用最小二乘法获得系数矩阵的解A′:
A′=(V′V′T)-1V′R′T
将A′与待测图像相乘,获得色彩校正后的待测图像H″:
H″=A′TV′
可选的,所述S3步骤中提取降噪后的参考图像和色彩校正后的待测图像的统计特征和空间特征,包括:
基于S1和S2中获得的降噪后的参考图像和色彩校正后的待测图像,各自计算相应的统计特征,所述统计特征包括均值、峰度、偏度:
其中,和/>分别代表图像的均值、峰度和偏度,F″∈{R′,H″};N为图像像素数目。
基于S1和S2中获得的降噪后的参考图像和色彩校正后的待测图像,各自计算相应的空间特征,所述空间特征为局部二值模式,其计算方式为:
S31:对图像中每一个像素计算(2k+1)×(2k+1)窗口大小内的平均值:
其中,k为窗口尺寸决定系数,为正整数且k>1;F″(a,b)为F″在(a,b)处的像素值;
S32:计算相邻窗口在水平和垂直方向上平均值的差:
其中,Lk,1(x,y)和Lk,2(x,y)分别表示在窗口尺寸决定系数k下,点(x,y)处水平和垂直方向上平均值的差。选取能让Lk,1(x,y)或Lk,2(x,y)的值达到最大的k,记为k*,作为局部二值模式特征的窗口决定系数;
S33:根据S32中获得的k*计算窗口大小,并提取每一个像素点的局部二值模式特征:
以位置c为中心的窗口边缘的像素值集合为:
Edgec={v0,c,v1,c,…,vP-1,c}
其中,P=8k*,为窗口边缘像素点个数;c∈[1,N]。以窗口中心像素点的像素值为标准,对集合Edgec进行二值化处理并计算局部二值模式特征:
其中,为二值化函数,若输入大于等于0的数字则其值为1,否则为0;F″c为图像窗口中心像素的像素值,F″∈{R′,H″}。
可选的,所述S4步骤中分别计算降噪后的参考图像和色彩校正后的待测图像之间的相似度以及S3中提取出的所述统计特征与空间特征之间的差异,构成图像质量评估集合,包括:
S41:计算降噪后的参考图像和色彩校正后的待测图像之间的相似度,所述相似度用结构相似度衡量,计算方式为:
其中,α>0,β>0,γ>0且α、β、γ用来调整的大小;C1,C2,C3用来维持/>的稳定;/>和/>为/>和/>的均值;/>和/>为/>的标准差;/>为/>和/>的协方差;/>
S42:计算S3中提取出的特征之间的差异,构成特征差异集合:
其中,和/>分别为降噪后的参考图像和色彩校正后的待测图像的统计特征和空间特征;
S43:合并相似度和特征差异集合,构成图像质量评估集合:
可选的,所述S5步骤中利用深度学习网络依据图像质量评估集合判断待测图像在最大和最小焦距下是否聚焦,包括:
S51:将降噪后的参考图像和色彩校正后的待测图像连同S4中获得的图像质量评估集合输入深度学习网络,计算网络检测出的待测图像聚焦的概率:
o=DNN(R′,H″,ψ)
其中,DNN为深度学习网络;
S52:根据网络检测的结果计算损失函数,并更新网络参数:
所述损失函数的公式为:
φ=-[τ·log(o)+(1-τ)·log(1-o)]
其中,当输入网络的为已聚焦图像时,τ=1,否则为0。
所述网络参数的更新方式为:
其中,θ和λ分别为深度学习网络的权重和偏置,需要通过迭代学习得到;和/>代表θ和λ的梯度;ε为网络的学习率,用于控制网络参数每次迭代学习的幅度;
S53:利用训练好的深度学习网络,将提取出的图像质量评估集合输入至网络中,获得聚焦检测结果:
其中,若Result的结果为1,则表示待测图像已聚焦;若Result的结果为0,则表示待测图像未聚焦。
本发明还提供了一种基于图像质量评估的手机摄像头聚焦检测系统,包括:
图像采集及去噪模块:采集已知聚焦程度的参考图像和待测图像,并对图像进行降噪;
图像色彩校正模块:根据降噪后的参考图像,对降噪后的待测图像进行色彩校正;
图像特征提取模块:提取图像的统计特征和空间特征;
图像质量评估模块:计算图像之间的相似度并结合图像特征之间的差异,构成图像质量评估集合;
聚焦检测模块:依据图像质量评估集合检测待测图像是否聚焦。
有益效果:
本发明基于图像质量评估的手机摄像头聚焦检测方法,通过提取图像的统计特征和空间特征,并使用深度学习网络进行判断,可以达到高准确度的聚焦检测效果,避免误判和漏检的问题,提高检测的可信度和准确度。
本发明采用了一系列自动化处理技术,包括图像降噪、色彩校正、特征提取、结构相似度计算等,可以实现快速、高效的手机摄像头聚焦检测,极大地提高了检测效率,降低了成本。
本发明的方法可以适用于任意型号的手机摄像头,无需进行额外的适配和修改。同时,由于本发明的检测过程是基于图像质量评估的方法,因此可以适用于任意场景和拍摄对象,具有较强的通用性和普适性。
附图说明
图1为本发明一实施例的一种的流程示意图;
图2为标准测试卡示例。
具体实施方式
下面结合附图对本发明作进一步的说明,但不以任何方式对本发明加以限制,基于本发明教导所作的任何变换或替换,均属于本发明的保护范围。
实施例1:一种基于图像质量评估的手机摄像头聚焦检测方法,如图1所示,包括以下步骤:
S1:采集一组图像,包括已知聚焦程度的参考图像和待测图像,并对所述参考图像和待测图像进行降噪。用手机摄像头拍摄如图2所示的标准测试卡,获得最大和最小焦距下聚焦的参考图像R;在手机摄像头自动聚焦过程中,采集多张任意聚焦程度的图像,作为待测图像H;利用双边滤波对参考图像和待测图像分别进行降噪,所述双边滤波的表达式为:
其中,F∈{R,H};F′∈{R′,H′},R′为降噪后和参考图像,H′为降噪后的待测图像;F(i,j)表示以为中心点的邻域像素点(i,j)的值;B为邻域窗口的大小;/>为邻域内不同像素点的权重,为:
其中,为空间权重;/>为像素权重,计算方式分别为:
其中,e表示自然常数。
在摄像头聚焦检测中,如果待测图像中存在噪声,则可能影响聚焦判断的准确性。因此,对图像进行降噪可以有效提高聚焦检测的准确性和稳定性。同时,降噪也可以减少图像数据的冗余和噪声对后续处理的干扰,提高图像处理的效率和精度。
S2:根据降噪后的参考图像,对降噪后的待测图像进行色彩校正。
对S1中降噪后的待测图像使用多项式回归法进行色彩校正,所述多项式回归法的矩阵形式为:
R′=ATV′
其中,R′为降噪后的参考图像,由红绿蓝三个通道构成,即R′=[R′red,R′green,R′blue]T;T表示矩阵的转置;V′由待测图像不同通道的组合构成,V′=[H′red,H′green,H′blue,H′red·H′green,H′green·H′blue,H′red·H′blue]T,待测图像H′=[H′red,H′green,H′blue]T;A为多项式系数矩阵,A=[Ared,Agreen,Ablue,Ared,green,Agreen,blue,Ared,blue]。
利用最小二乘法获得系数矩阵的解A′:
A′=(V′V′T)-1V′R′T
将A′与待测图像相乘,获得色彩校正后的待测图像H″:
H″=A′TV′
在图像采集过程中,由于多种因素的影响,不同的图像可能具有不同的色彩偏差和色温偏差。这会影响到后续图像质量的评估和聚焦检测的准确性。因此,在进行聚焦检测之前,需要对采集的图像进行色彩校正。色彩校正的目的是消除不同图像之间的色彩偏差和色温偏差,使得所有图像的色彩呈现一致。具体地,根据降噪后的参考图像,可以将待测图像中的色彩信息映射到参考图像的色彩空间中,实现对待测图像的色彩校正。这样可以消除不同图像之间的色彩差异,使得待测图像更加适合用于后续的图像质量评估和聚焦检测。
S3:提取降噪后的参考图像和色彩校正后的待测图像的统计特征和空间特征。
基于S1和S2中获得的降噪后的参考图像和色彩校正后的待测图像,各自计算相应的统计特征,所述统计特征包括均值、峰度、偏度:
其中,和/>分别代表图像的均值、峰度和偏度,F″∈{R′,H″};N为图像像素数目。
基于S1和S2中获得的降噪后的参考图像和色彩校正后的待测图像,各自计算相应的空间特征,所述空间特征为局部二值模式,其计算方式为:
S31:对图像中每一个像素计算(2k+1)×(2k+1)窗口大小内的平均值:
其中,k为窗口尺寸决定系数,为正整数且k>1;F″(a,b)为F″在(a,b)处的像素值;
S32:计算相邻窗口在水平和垂直方向上平均值的差:
其中,Lk,1(x,y)和Lk,2(x,y)分别表示在窗口尺寸决定系数k下,点(x,y)处水平和垂直方向上平均值的差,本实施例中,k=1,2,3。选取能让Lk,1(x,y)或Lk,2(x,y)的值达到最大的k,记为k*,作为局部二值模式特征的窗口决定系数;
S33:根据S32中获得的k*计算窗口大小,并提取每一个像素点的局部二值模式特征:
以位置c为中心的窗口边缘的像素值集合为:
Edgec={v0,c,v1,c,…,vP-1,c}
其中,P=8k*,为窗口边缘像素点个数;c∈[1,N]。以窗口中心像素点的像素值为标准,对集合Edgec进行二值化处理并计算局部二值模式特征:
其中,为二值化函数,若输入大于等于0的数字则其值为1,否则为0;F″为图像窗口中心像素的像素值,F″∈{R′,H″}。
在进行图像质量评估时,需要对图像进行特征提取,以便后续对图像质量进行分析和判断。在本发明中,通过提取统计特征,均值、峰度、偏度,和空间特征局部二值模式,可以描述图像的颜色分布、纹理和细节信息。这些特征可以用于比较参考图像和待测图像的相似程度,以评估待测图像的聚焦情况。均值反映了图像的亮度水平,峰度和偏度则可以用于描述图像的分布形态和偏斜程度,局部二值模式则可以用于描述图像的纹理特征。通过提取这些特征,可以综合地评估待测图像的质量,从而确定待测图像是否聚焦。
S4:分别计算降噪后的参考图像和色彩校正后的待测图像之间的相似度以及S3中提取出的所述统计特征与空间特征之间的差异,构成图像质量评估集合。
S41:计算降噪后的参考图像和色彩校正后的待测图像之间的相似度,所述相似度用结构相似度衡量,计算方式为:
其中,α>0,β>0,γ>0且α、β、γ用来调整的大小,本实施例中α=β=γ=1;C1,C2,C3用来维持/>的稳定,本实施例中C1=5,C2=50,C3=25;/>和/>为/>和/>的均值;/>和/>为/>和/>的标准差;/>为/>和/>的协方差;/>
S42:计算S3中提取出的特征之间的差异,构成特征差异集合:
其中,和/>分别为降噪后的参考图像和色彩校正后的待测图像的统计特征和空间特征;
S43:合并相似度和特征差异集合,构成图像质量评估集合:
相似度指标可以反映待测图像与参考图像之间的结构相似性,即两幅图像之间的空间结构和像素信息的相似程度。而特征之间的差异可以反映待测图像与参考图像之间在统计特征和空间特征方面的差异。通过将这些指标结合在一起构成图像质量评估集合,可以全面地评估待测图像的质量,并为后续的聚焦判断提供依据。
S5:利用深度学习网络依据图像质量评估集合判断待测图像在最大和最小焦距下是否聚焦。
S51:将降噪后的参考图像和色彩校正后的待测图像连同S4中获得的图像质量评估集合输入深度学习网络,计算网络检测出的待测图像聚焦的概率:
o=DNN(R′,H″,ψ)
其中,DNN为深度学习网络,本实施例中为VGG16;
S52:根据网络检测的结果计算损失函数,并更新网络参数:
所述损失函数的公式为:
φ=-[τ·log(o)+(1-τ)·log(1-o)]
其中,当输入网络的为已聚焦图像时,τ=1,否则为0。
所述网络参数的更新方式为:
其中,θ和λ分别为深度学习网络的权重和偏置,需要通过迭代学习得到;和/>代表θ和λ的梯度;ε为网络的学习率,用于控制网络参数每次迭代学习的幅度,本实施例中为0.001;
S53:利用训练好的深度学习网络,将提取出的图像质量评估集合输入至网络中,获得聚焦检测结果:
其中,若Result的结果为1,则表示待测图像已聚焦;若Result的结果为0,则表示待测图像未聚焦。
实施例2:本发明还公开了一种基于图像质量评估的手机摄像头聚焦检测系统,包括以下五个模块:
图像采集及去噪模块:采集已知聚焦程度的参考图像和待测图像,并对图像进行降噪;
图像色彩校正模块:根据降噪后的参考图像,对降噪后的待测图像进行色彩校正;
图像特征提取模块:提取图像的统计特征和空间特征;
图像质量评估模块:计算图像之间的相似度并结合图像特征之间的差异,构成图像质量评估集合;
聚焦检测模块:依据图像质量评估集合检测待测图像是否聚焦。
需要说明的是,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于图像质量评估的手机摄像头聚焦检测方法,其特征在于,包括以下步骤:
S1:采集一组图像,包括已知聚焦程度的参考图像和待测图像,并对所述参考图像和待测图像进行降噪;
S2:根据降噪后的参考图像,对降噪后的待测图像进行色彩校正;
S3:提取降噪后的参考图像和色彩校正后的待测图像的统计特征和空间特征;
S4:分别计算降噪后的参考图像和色彩校正后的待测图像之间的相似度以及S3中提取出的所述统计特征与空间特征之间的差异,构成图像质量评估集合;
S5:利用深度学习网络依据图像质量评估集合判断待测图像在最大和最小焦距下是否聚焦。
2.根据权利要求1所述的基于图像质量评估的手机摄像头聚焦检测方法,其特征在于,所述步骤S1中采集一组图像,包括已知聚焦程度的参考图像和待测图像,并对所述参考图像和待测图像进行降噪,包括:
用手机摄像头拍摄标准测试卡,获得最大和最小焦距下聚焦的参考图像R;在手机摄像头自动聚焦过程中,采集多张任意聚焦程度的图像,作为待测图像H;利用双边滤波对参考图像和待测图像分别进行降噪,所述双边滤波的表达式为:
其中,F∈{R,H};F′∈{R′,H′},R′为降噪后和参考图像,H′为降噪后的待测图像;F(i,j)表示以为中心点的邻域像素点(i,j)的值;B为邻域窗口的大小;/>为邻域内不同像素点的权重,为:
其中,为空间权重;/>为像素权重,计算方式分别为:
其中,e表示自然常数。
3.根据权利要求2所述的基于图像质量评估的手机摄像头聚焦检测方法,其特征在于,所述步骤S2中根据降噪后的参考图像,对降噪后的待测图像进行色彩校正,包括:
对S1中降噪后的待测图像使用多项式回归法进行色彩校正,所述多项式回归法的矩阵形式为:
R′=ATV′
其中,R′为降噪后的参考图像,由红绿蓝三个通道构成,即R′=[R′red,R′green,R′blue]T;T表示矩阵的转置;V′由待测图像不同通道的组合构成,V′=[H′red,H′green,H′blue,H′red·H′green,H′green·H′blue,H′red·H′blue]T,待测图像H′=[H′red,H′green,H′blue]T;A为多项式系数矩阵,A=[Ared,Agreen,Ablue,Ared,green,Agreen,blue,Ared,blue];
利用最小二乘法获得系数矩阵的解A′:
A′=(V′V′T)-1V′R′T
将A′与待测图像相乘,获得色彩校正后的待测图像H″:
H″=A′TV′。
4.根据权利要求3所述的基于图像质量评估的手机摄像头聚焦检测方法,其特征在于,所述步骤S3中提取降噪后的参考图像和色彩校正后的待测图像的统计特征,包括:
基于S1和S2中获得的降噪后的参考图像和色彩校正后的待测图像,各自计算相应的统计特征,所述统计特征包括均值、峰度、偏度:
其中,和/>分别代表图像的均值、峰度和偏度,F″∈{R′,H″};N为图像像素数目。
5.根据权利要求4所述的基于图像质量评估的手机摄像头聚焦检测方法,其特征在于,所述步骤S3中提取降噪后的参考图像和色彩校正后的待测图像的空间特征,包括:
基于S1和S2中获得的降噪后的参考图像和色彩校正后的待测图像,各自计算相应的空间特征,所述空间特征为局部二值模式,其计算方式为:
S31:对图像中每一个像素计算(2k+1)×(2k+1)窗口大小内的平均值:
其中,k为窗口尺寸决定系数,为正整数且k>1;F″(a,b)为F″在(a,b)处的像素值;
S32:计算相邻窗口在水平和垂直方向上平均值的差:
其中,Lk,1(x,y)和Lk,2(x,y)分别表示在窗口尺寸决定系数k下,点(x,y)处水平和垂直方向上平均值的差;选取能让Lk,1(x,y)或Lk,2(x,y)的值达到最大的k,记为k*,作为局部二值模式特征的窗口决定系数;
S33:根据S32中获得的k*计算窗口大小,并提取每一个像素点的局部二值模式特征:
以位置c为中心的窗口边缘的像素值集合为:
Edgec={v0,c,v1,c,…,vp-1,c}
其中,P=8k*,为窗口边缘像素点个数;c∈[1,N];以窗口中心像素点的像素值为标准,对集合Edgec进行二值化处理并计算局部二值模式特征:
其中,为二值化函数,若输入大于等于0的数字则其值为1,否则为0;Fc″为图像窗口中心像素的像素值,F″∈{R′,H″}。
6.根据权利要求5所述的基于图像质量评估的手机摄像头聚焦检测方法,其特征在于,所述步骤S4中分别计算降噪后的参考图像和色彩校正后的待测图像之间的相似度以及S3中提取出的所述统计特征与空间特征之间的差异,构成图像质量评估集合,包括:
S41:计算降噪后的参考图像和色彩校正后的待测图像之间的相似度,所述相似度用结构相似度衡量,计算方式为:
其中,α>0,β>0,β>0且α、β、γ用来调整的大小;C1,C2,C3用来维持/>的稳定;/>和/>为/>和/>的均值;/>和/>为/>和/>的标准差;/>为/>和/>的协方差;/>
S42:计算S3中提取出的特征之间的差异,构成特征差异集合:
其中,和/>分别为降噪后的参考图像和色彩校正后的待测图像的统计特征和空间特征;
S43:合并相似度和特征差异集合,构成图像质量评估集合:
7.根据权利要求6所述的基于图像质量评估的手机摄像头聚焦检测方法,其特征在于,所述步骤S5中利用深度学习网络依据图像质量评估集合判断待测图像在最大和最小焦距下是否聚焦,包括:
S51:将降噪后的参考图像和色彩校正后的待测图像连同S4中获得的图像质量评估集合输入深度学习网络,计算网络检测出的待测图像聚焦的概率:
o=DNN(R′,H",ψ)
其中,DNN为深度学习网络;
S52:根据网络检测的结果计算损失函数,并更新网络参数:
所述损失函数的公式为:
φ=-[τ·log(o)+(1-τ)·log(1-o)]
其中,当输入网络的为已聚焦图像时,τ=1,否则为0;
所述网络参数的更新方式为:
其中,θ和λ分别为深度学习网络的权重和偏置,需要通过迭代学习得到;和/>代表θ和λ的梯度;ε为网络的学习率,用于控制网络参数每次迭代学习的幅度;
S53:利用训练好的深度学习网络,将提取出的图像质量评估集合输入至网络中,获得聚焦检测结果:
其中,若Result的结果为1,则表示待测图像已聚焦;若Result的结果为0,则表示待测图像未聚焦。
8.一种基于图像质量评估的手机摄像头聚焦检测系统,其特征在于,包括:
图像采集及去噪模块:采集已知聚焦程度的参考图像和待测图像,并对图像进行降噪;
图像色彩校正模块:根据降噪后的参考图像,对降噪后的待测图像进行色彩校正;
图像特征提取模块:提取图像的统计特征和空间特征;
图像质量评估模块:计算图像之间的相似度并结合图像特征之间的差异,构成图像质量评估集合;
聚焦检测模块:依据图像质量评估集合检测待测图像是否聚焦。
以实现如权利要求1-7任意一项所述的一种基于图像质量评估的手机摄像头聚焦检测方法。
CN202311127059.2A 2023-09-04 2023-09-04 一种基于图像质量评估的手机摄像头聚焦检测方法和系统 Active CN117041531B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311127059.2A CN117041531B (zh) 2023-09-04 2023-09-04 一种基于图像质量评估的手机摄像头聚焦检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311127059.2A CN117041531B (zh) 2023-09-04 2023-09-04 一种基于图像质量评估的手机摄像头聚焦检测方法和系统

Publications (2)

Publication Number Publication Date
CN117041531A true CN117041531A (zh) 2023-11-10
CN117041531B CN117041531B (zh) 2024-03-15

Family

ID=88624650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311127059.2A Active CN117041531B (zh) 2023-09-04 2023-09-04 一种基于图像质量评估的手机摄像头聚焦检测方法和系统

Country Status (1)

Country Link
CN (1) CN117041531B (zh)

Citations (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980084175A (ko) * 1997-05-21 1998-12-05 윤종용 적응적 필터를 이용한 촛점 조절장치 및 방법
WO2000033569A1 (en) * 1998-11-25 2000-06-08 Iriscan, Inc. Fast focus assessment system and method for imaging
US6490681B1 (en) * 1997-09-18 2002-12-03 International Business Machines Corporation Electronic watermarking system
US20060204121A1 (en) * 2005-03-03 2006-09-14 Bryll Robert K System and method for single image focus assessment
JP2008281887A (ja) * 2007-05-14 2008-11-20 Hokkaido 合焦検出装置、合焦検出方法および合焦検出プログラム
KR20090104431A (ko) * 2008-03-31 2009-10-06 삼성디지털이미징 주식회사 자동으로 오토포커싱을 실행하는 디지털 촬영 장치 및 이의제어 방법
CN101621709A (zh) * 2009-08-10 2010-01-06 浙江大学 一种全参考型图像客观质量评价方法
US20100149361A1 (en) * 2008-10-16 2010-06-17 Nikon Corporation Image evaluation apparatus and camera
US20100182495A1 (en) * 2007-10-17 2010-07-22 Nikon Corporation Focusing measurement device, focusing measurement method, and program
CN101853504A (zh) * 2010-05-07 2010-10-06 厦门大学 基于视觉特性与结构相似度的图像质量评测方法
US20110311147A1 (en) * 2009-02-12 2011-12-22 Dolby Laboratories Licensing Corporation Quality Evaluation of Sequences of Images
US20130182152A1 (en) * 2012-01-13 2013-07-18 Sony Corporation Camera autofocus adaptive blur matching model fitting
CN105049723A (zh) * 2015-07-13 2015-11-11 南京工程学院 基于离焦量差异定性分析的自动对焦方法
CN105574885A (zh) * 2016-01-13 2016-05-11 福州大学 基于机器学习并融合视觉特征的全参考图像质量评估方法
US20170041507A1 (en) * 2015-05-15 2017-02-09 SZ DJI Technology Co., Ltd. Color correction system and method
CN107105223A (zh) * 2017-03-20 2017-08-29 宁波大学 一种基于全局特征的色调映射图像质量客观评价方法
CN107146211A (zh) * 2017-06-08 2017-09-08 山东师范大学 基于线扩散函数和双边滤波的视网膜血管图像降噪方法
JP2017176716A (ja) * 2016-03-31 2017-10-05 キヤノン株式会社 画像処理装置および画像処理方法
US20170352143A1 (en) * 2016-06-03 2017-12-07 Conduent Business Services, Llc System and method for assessing usability of captured images
CN107506687A (zh) * 2017-07-17 2017-12-22 广东欧珀移动通信有限公司 活体检测方法及相关产品
US20180018024A1 (en) * 2016-07-12 2018-01-18 Qualcomm Incorporated Techniques for determining proximity based on image blurriness
CN107784645A (zh) * 2016-08-26 2018-03-09 广州康昕瑞基因健康科技有限公司 图像清晰度评价方法及系统、自动聚焦方法
CN110544229A (zh) * 2019-07-11 2019-12-06 华南理工大学 一种相机处于非匀速状态下图像聚焦评估及调焦方法
CN110689045A (zh) * 2019-08-23 2020-01-14 苏州千视通视觉科技股份有限公司 一种深度学习模型的分布式训练方法及装置
CN111083365A (zh) * 2019-12-24 2020-04-28 陈根生 一种最佳焦平面位置快速检测方法及装置
CN111640090A (zh) * 2020-05-12 2020-09-08 宁波蓝明信息科技有限公司 一种用于评估眼底图像质量的方法
CN112102926A (zh) * 2020-09-02 2020-12-18 上海得录信息科技中心(有限合伙) 一种图像处理方法、装置、设备和存储介质
CN112106107A (zh) * 2018-05-07 2020-12-18 谷歌有限责任公司 显微镜切片图像的聚焦加权的机器学习分类器误差预测
CN112153371A (zh) * 2020-08-24 2020-12-29 珠海格力电器股份有限公司 图像质量检测方法、装置、存储介质及产品检测方法
CN112887513A (zh) * 2019-11-13 2021-06-01 杭州海康威视数字技术股份有限公司 图像降噪方法及摄像机
WO2021218215A1 (zh) * 2020-04-30 2021-11-04 上海商汤智能科技有限公司 图像检测方法及相关模型的训练方法和相关装置、设备
US20220036533A1 (en) * 2020-12-25 2022-02-03 Beijing Baidu Netcom Science And Technology Co., Ltd. Image defect detection method and apparatus, electronic device, storage medium and product
CN114363532A (zh) * 2021-12-02 2022-04-15 浙江大华技术股份有限公司 聚焦方法以及相关装置
US20220172472A1 (en) * 2020-11-30 2022-06-02 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
CN114598864A (zh) * 2022-03-12 2022-06-07 中国传媒大学 一种基于深度学习的全参考超高清视频质量客观评价方法
KR20230051110A (ko) * 2021-10-08 2023-04-17 한국과학기술원 인공지능 학습 모델 처리 장치 및 방법, 이를 위한 온보드 기반 이미지 처리 시스템, 인공지능 학습 모델 처리 방법을 수행하는 프로그램 및 인공지능 학습 모델 처리 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능한 기록매체
WO2023065505A1 (zh) * 2021-10-18 2023-04-27 深圳先进技术研究院 一种浮游生物原位观测的图像预处理方法及系统

Patent Citations (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980084175A (ko) * 1997-05-21 1998-12-05 윤종용 적응적 필터를 이용한 촛점 조절장치 및 방법
US6490681B1 (en) * 1997-09-18 2002-12-03 International Business Machines Corporation Electronic watermarking system
WO2000033569A1 (en) * 1998-11-25 2000-06-08 Iriscan, Inc. Fast focus assessment system and method for imaging
US20060204121A1 (en) * 2005-03-03 2006-09-14 Bryll Robert K System and method for single image focus assessment
JP2008281887A (ja) * 2007-05-14 2008-11-20 Hokkaido 合焦検出装置、合焦検出方法および合焦検出プログラム
US20100182495A1 (en) * 2007-10-17 2010-07-22 Nikon Corporation Focusing measurement device, focusing measurement method, and program
KR20090104431A (ko) * 2008-03-31 2009-10-06 삼성디지털이미징 주식회사 자동으로 오토포커싱을 실행하는 디지털 촬영 장치 및 이의제어 방법
US20100149361A1 (en) * 2008-10-16 2010-06-17 Nikon Corporation Image evaluation apparatus and camera
US20110311147A1 (en) * 2009-02-12 2011-12-22 Dolby Laboratories Licensing Corporation Quality Evaluation of Sequences of Images
CN101621709A (zh) * 2009-08-10 2010-01-06 浙江大学 一种全参考型图像客观质量评价方法
CN101853504A (zh) * 2010-05-07 2010-10-06 厦门大学 基于视觉特性与结构相似度的图像质量评测方法
US20130182152A1 (en) * 2012-01-13 2013-07-18 Sony Corporation Camera autofocus adaptive blur matching model fitting
US20170041507A1 (en) * 2015-05-15 2017-02-09 SZ DJI Technology Co., Ltd. Color correction system and method
CN105049723A (zh) * 2015-07-13 2015-11-11 南京工程学院 基于离焦量差异定性分析的自动对焦方法
CN105574885A (zh) * 2016-01-13 2016-05-11 福州大学 基于机器学习并融合视觉特征的全参考图像质量评估方法
JP2017176716A (ja) * 2016-03-31 2017-10-05 キヤノン株式会社 画像処理装置および画像処理方法
US20170352143A1 (en) * 2016-06-03 2017-12-07 Conduent Business Services, Llc System and method for assessing usability of captured images
US20180018024A1 (en) * 2016-07-12 2018-01-18 Qualcomm Incorporated Techniques for determining proximity based on image blurriness
CN107784645A (zh) * 2016-08-26 2018-03-09 广州康昕瑞基因健康科技有限公司 图像清晰度评价方法及系统、自动聚焦方法
CN107105223A (zh) * 2017-03-20 2017-08-29 宁波大学 一种基于全局特征的色调映射图像质量客观评价方法
CN107146211A (zh) * 2017-06-08 2017-09-08 山东师范大学 基于线扩散函数和双边滤波的视网膜血管图像降噪方法
CN107506687A (zh) * 2017-07-17 2017-12-22 广东欧珀移动通信有限公司 活体检测方法及相关产品
CN112106107A (zh) * 2018-05-07 2020-12-18 谷歌有限责任公司 显微镜切片图像的聚焦加权的机器学习分类器误差预测
CN110544229A (zh) * 2019-07-11 2019-12-06 华南理工大学 一种相机处于非匀速状态下图像聚焦评估及调焦方法
CN110689045A (zh) * 2019-08-23 2020-01-14 苏州千视通视觉科技股份有限公司 一种深度学习模型的分布式训练方法及装置
CN112887513A (zh) * 2019-11-13 2021-06-01 杭州海康威视数字技术股份有限公司 图像降噪方法及摄像机
CN111083365A (zh) * 2019-12-24 2020-04-28 陈根生 一种最佳焦平面位置快速检测方法及装置
WO2021218215A1 (zh) * 2020-04-30 2021-11-04 上海商汤智能科技有限公司 图像检测方法及相关模型的训练方法和相关装置、设备
CN111640090A (zh) * 2020-05-12 2020-09-08 宁波蓝明信息科技有限公司 一种用于评估眼底图像质量的方法
CN112153371A (zh) * 2020-08-24 2020-12-29 珠海格力电器股份有限公司 图像质量检测方法、装置、存储介质及产品检测方法
CN112102926A (zh) * 2020-09-02 2020-12-18 上海得录信息科技中心(有限合伙) 一种图像处理方法、装置、设备和存储介质
US20220172472A1 (en) * 2020-11-30 2022-06-02 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
US20220036533A1 (en) * 2020-12-25 2022-02-03 Beijing Baidu Netcom Science And Technology Co., Ltd. Image defect detection method and apparatus, electronic device, storage medium and product
KR20230051110A (ko) * 2021-10-08 2023-04-17 한국과학기술원 인공지능 학습 모델 처리 장치 및 방법, 이를 위한 온보드 기반 이미지 처리 시스템, 인공지능 학습 모델 처리 방법을 수행하는 프로그램 및 인공지능 학습 모델 처리 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능한 기록매체
WO2023065505A1 (zh) * 2021-10-18 2023-04-27 深圳先进技术研究院 一种浮游生物原位观测的图像预处理方法及系统
CN114363532A (zh) * 2021-12-02 2022-04-15 浙江大华技术股份有限公司 聚焦方法以及相关装置
CN114598864A (zh) * 2022-03-12 2022-06-07 中国传媒大学 一种基于深度学习的全参考超高清视频质量客观评价方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
FEI WU等: "Semantic Preserving Generative Adversarial Network For Cross-Modal Hashing", 《2021 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP),ANCHORAGE, AK, USA,19-22 SEPTEMBER 2021》 *
关山等: "可见光成像质量评估研究", 《电脑与信息技术》, vol. 26, no. 3, pages 1 - 2 *
王奇等: "利用光场合成与弥散圆渲染的单幅图像重聚焦", 《光学学报》 *
王德心;张玉叶;李开端;: "一种失真模糊图像的质量评价方法", 科学技术与工程, no. 23 *

Also Published As

Publication number Publication date
CN117041531B (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
KR101324268B1 (ko) 화상 식별 방법 및 촬상장치
US7683946B2 (en) Detection and removal of blemishes in digital images utilizing original images of defocused scenes
US7369712B2 (en) Automated statistical self-calibrating detection and removal of blemishes in digital images based on multiple occurrences of dust in images
US7424170B2 (en) Automated statistical self-calibrating detection and removal of blemishes in digital images based on determining probabilities based on image analysis of single images
US7206461B2 (en) Digital image acquisition and processing system
US7315658B2 (en) Digital camera
US20050078173A1 (en) Determination of need to service a camera based on detection of blemishes in digital images
US20100033584A1 (en) Image processing device, storage medium storing image processing program, and image pickup apparatus
US20050068449A1 (en) Automated statistical self-calibrating detection and removal of blemishes in digital images based on a dust map developed from actual image data
EP3371741B1 (en) Focus detection
CN104200457A (zh) 基于广角摄像的离散型冠层叶面积指数检测系统和方法
US10867374B2 (en) Auto-focusing system and method by determining contrast difference between adjacent pixels using sobel filter
CN113691724B (zh) Hdr场景检测方法与装置、终端及可读存储介质
CN111311562B (zh) 虚焦图像的模糊度检测方法及装置
JP2017511674A (ja) Jpeg圧縮画像に関連付けられる写真カメラモデルを特定するためのシステム、ならびに関連付けられる方法、使用およびアプリケーション
CN117041531B (zh) 一种基于图像质量评估的手机摄像头聚焦检测方法和系统
JP2010045457A (ja) 画像処理装置および画像処理方法
CN111861976A (zh) 一种基于硬件指纹相关性的数字图像源拍摄设备识别方法
CN110674737A (zh) 一种虹膜识别的增强方法
CN110956640B (zh) 一种异源图像边缘点检测与配准方法
van Zwanenberg et al. Camera system performance derived from natural scenes
WO2023231094A1 (zh) 水下海胆图像识别模型的训练方法、识别方法及装置
CN117197435A (zh) 一种相机聚焦清晰度评估方法及系统
Woods et al. High-resolution imaging using lucky frame selection
CN114004824A (zh) 一种红外图像质量评估方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant