CN108376394B - 一种基于频域直方图分析的摄像头自动对焦方法和系统 - Google Patents

一种基于频域直方图分析的摄像头自动对焦方法和系统 Download PDF

Info

Publication number
CN108376394B
CN108376394B CN201810028847.9A CN201810028847A CN108376394B CN 108376394 B CN108376394 B CN 108376394B CN 201810028847 A CN201810028847 A CN 201810028847A CN 108376394 B CN108376394 B CN 108376394B
Authority
CN
China
Prior art keywords
image
camera
frequency
histogram
density estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810028847.9A
Other languages
English (en)
Other versions
CN108376394A (zh
Inventor
曾丹
马嘉敏
刘涵
张之江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201810028847.9A priority Critical patent/CN108376394B/zh
Publication of CN108376394A publication Critical patent/CN108376394A/zh
Application granted granted Critical
Publication of CN108376394B publication Critical patent/CN108376394B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/14Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

本发明公开了一种基于频域直方图分析的摄像头自动对焦方法和系统,方法包括如下步骤:步骤1、摄像头将拍摄数据提供给处理器,对每帧图像进行二维傅里叶变换得到频谱图;步骤2、对频域中频率大小进行直方图统计;步骤3、分析频率直方图,根据非参数密度估计法绘制出正态分布密度曲线和核密度估计曲线;步骤4、摄像头在失焦—对焦—失焦的过程中,分别计算每帧图像,并记录两条曲线相似度最高,且峰值相差最小时的图像参数;步骤5、在对焦过程中当图像参数与最清晰的图像参数吻合时,即为对焦成功。本发明基于频域直方图进行统计分析,通过拟合曲线获取对焦参数,对环境及标定靶标无特殊要求,实现了高精度、高效率、低成本、低复杂度的自动对焦。

Description

一种基于频域直方图分析的摄像头自动对焦方法和系统
技术领域
本发明涉及一种图像聚焦方法,特别是指一种基于频域直方图分析的摄像头自动对焦方法和系统,属于摄像机聚焦技术领域。
背景技术
随着信息和网络技术的发展,摄像机的应用已经涉及到我们生活中的各个领域。传统摄像机所采用的自动聚焦技术存在精度低、成本高等问题,而目前应用较广泛的基于画面处理的自动聚焦方法也需要大量的运算和众多考虑因素。相比之下,由于不同的频率信息在图像结构中有不同的作用,因此从频域中频率大小直方图的分布密度来分析图像可以解决传统摄像机和空域分析中所存在的问题。
发明内容
针对现有技术存在的缺陷,本发明的目的是提供一种基于频域直方图分析的摄像头自动对焦方法和系统。可以实现高精度、高效率、低成本、低复杂度的自动对焦。
为达到上述目的,本发明的构思是:
通过傅里叶变换得到频谱图,计算频率直方图,并统计分析频率分布的密度函数。为了提高精确度,摄像头通过在失焦—对焦—失焦的过程找到最清晰的图像记录其参数,当自动对焦与这个参数吻合时,即确定为对焦成功。由于在判断清晰度时,采用的是对频率直方图的核密度函数和正态分布密度函数做比较,不需要额外的光电检测设备或特定标定靶标,大大降低了设备的复杂度和摄像机生产成本。
根据上述构思,本发明采用如下技术方案:
一种基于频域直方图分析的摄像头自动对焦方法,包括如下步骤:
步骤1、摄像头把拍摄数据提供给处理器,通过图像处理模块对每帧图像进行二维傅里叶变换得到频谱图;
步骤2、统计模块把图像傅里叶变换后得到的频率大小及其出现概率进行直方图统计;
步骤3、拟合模块对频率直方图进行分析,根据非参数密度估计法,绘制出正态(高斯)分布密度曲线和核密度(KDE)估计曲线;
步骤4、摄像头在失焦—对焦—失焦的过程中,计算模块分别计算每帧图像的参数,并记录正态分布密度曲线和核密度估计曲线相似度最高,且两条曲线峰值相差最小时的图像参数;
步骤5、当摄像头从失焦状态进行自动对焦时,比较模块获取到图像参数与步骤4中记录的最清晰的图像参数吻合,即为对焦成功。
进一步的,在步骤2中,对图像进行二维傅里叶变换得到的频谱图进行直方图统计,横坐标表示频率的大小,纵坐标表示对应频率出现的概率。根据频率大小直方图的分布密度函数,可以判断图像的清晰度。
进一步的,在步骤3中,为了拟合直方图用到两个函数:正态分布密度函数和核密度估计函数,其中采用了非参数密度估计法。
另外,本发明提供了一种基于频域直方图分析的摄像头自动对焦系统,包括摄像头和处理器;其中处理器包括依次连接的五个模块:图像处理模块、统计模块、拟合模块、计算模块和比较模块;工作过程中,首先由摄像头将拍摄数据传到处理器,再分别通过处理器中的五个模块进行频域分析,获取对焦成功的图像和参数。
本发明与现有技术相比,具有如下优点:
本发明利用频域分析法把对图像清晰度的判断转换为对频率大小的分析,可简化现有技术在时域上进行分析时所需的大量复杂运算。同时,直接对频率进行统计分析,可以减少运算中产生的误差,提高对焦的精度。另外,本发明对环境及标定靶标无特殊要求。
本发明对频率直方图进行曲线拟合时用到两种函数:核密度(KDE)估计函数和正态分布密度函数,其中采用了非参数密度估计的方法。该方法对图像频率大小的密度分布形式不做限制,也能够非常精确地对频率分布直方图进行拟合,在应用中具有普遍性和广泛性。
本发明在进行计算分析时,只需要通过处理器中的计算模块和比较模块分析拟合曲线,不需要额外的检测设备或特定标定靶标,设备简单,运行速度快。
本发明既可用于生产线上对摄像头的生产,也可用于生活各个领域摄像机的自动对焦应用。相比现有的摄像头自动对焦方法,本发明具有高精度、高效率、低成本、低复杂度等优点,提高了摄像头自动对焦的性能。
附图说明
图1为本发明实施例的框架原理图。
图2a为对焦时的图像,图2b为其频谱图。
图3a为失焦时的图像,图3b为其频谱图。
图4a为对焦时的拟合曲线图,图4b为失焦时的拟合曲线图。
图5a、图5b分别为对焦过程中两个不同清晰度的拟合曲线图。
具体实施方式
下面结合附图对发明进一步的说明,但不用来限制本发明的范围。
如图1所示,一种基于频域直方图分析的摄像头自动对焦方法,包括如下步骤:
步骤1、摄像头1把拍摄数据提供给处理器2,通过图像处理模块3对图像进行二维傅里叶变换得到频谱图;
步骤2、统计模块4把图像傅里叶变换后得到的频率大小及其出现概率进行直方图统计;
步骤3、拟合模块5对频率直方图进行分析,根据非参数密度估计法,绘制出正态(高斯)分布密度曲线和核密度(KDE)估计曲线;
步骤4、在摄像头1在失焦—对焦—失焦的过程中,计算模块6分别计算每帧图像,并找到正态分布密度曲线和核密度估计曲线相似度最高,且两条曲线峰值相差最小时的图像,对其计算值进行保存;
步骤5、当摄像头1从失焦状态进行自动对焦时,比较模块7获取到图像参数与步骤4中记录的最清晰的图像参数吻合,即为对焦成功。
在步骤2中,对图像进行二维傅里叶变换得到的频谱图进行直方图统计,横坐标表示频率的大小,纵坐标表示对应频率出现的概率;根据频率大小直方图的分布密度函数,判断图像的清晰度。
在步骤3中,为了拟合直方图用到两个函数:正态(高斯)分布密度函数和核密度(KDE)估计函数,其中采用了非参数密度估计法,具体如以下说明:
A.正态(高斯)分布密度函数:
如果连续型随机变量X的密度函数为:
Figure BDA0001545784180000031
其中-∞<μ<+∞,σ>0为参数,则随机变量X服从参数为μ,σ的正态分布,记为:X~N(μ,σ2)。p(x)所确定的曲线叫做正态(高斯)曲线。
B.非参数密度估计法:
对于一组关于X和Y的数据
Figure BDA0001545784180000032
假设它们的关系为:yi=m(xi)+εi,通常目的在于估计m(x)的形式。由于样本数量有限,不能准确估计出m(x)的形式,因此需要采用非参数方法。在非参数方法中,对m(x)的形式不做假设也不做固定要求,仅假设m(x)满足一定的光滑性,且函数在每一点的值都由数据决定。那么在n个样本点中,计算k个位于区域Q内的概率公式为:
Figure BDA0001545784180000041
C.核密度估计(KDE)函数:
KDE是非参数密度估计的一种特例,因为其满足非参数密度估计的一般形式。假设区域Q是一个n维的超立方体,令h表示超立方体边长,则区域Q对应的体积为公式:
V=hn (2)
为了获得落入区域Q中的样本数量,定义核函数K(u)为表达式:
Figure BDA0001545784180000042
假设有n个样本x1,x2,...,xn,则落入超立方体V中的样本点的个数表达式为:
Figure BDA0001545784180000043
其中,x是超立方体V的中心点位置,将上式带入(1),则核密度估计函数表达式为:
Figure BDA0001545784180000044
由上式可知,核密度估计的函数表达式是一个加权平均,其中核函数K(u)是一个权函数。对于估计PKDE(x)在点x处所用数据点的个数和利用的程度,是通过核函数的形状和值域来控制的。
请参阅图1,一种基于频域直方图分析的摄像头自动对焦系统,由摄像头1和处理器2组成。所述处理器2包括依次连接的五个模块:图像处理模块3、统计模块4、拟合模块5、计算模块6和比较模块7。工作过程中,首先由摄像头1将拍摄数据传到处理器2,再分别通过处理器2中的五个模块进行频域分析,获取对焦成功的图像和参数。
请参阅图2a,摄像头1对焦时的图像中各测试线条清晰。其对应的频谱图中亮点数非常多,且亮点数几乎占满整幅频谱图,如图2b所示。由此可知当对焦时,图像越清晰,对应的高频分量越多。
请参阅图3a,摄像头1失焦时的图像中各测试线条模糊。其对应的频谱图中亮点只集中在频谱图中心,其四周都是黑点,如图3b所示。同理可知当失焦时,图像越模糊,对应的低频分量越多。
请参阅图4a,对焦时的图像频谱图中,其频率分布直方图主要集中在高频区域,且直方图基本呈正态分布。比较核密度估计曲线和正态分布曲线可以看出,两条曲线相似度非常高几乎重合,并且它们的峰值差值非常小。
请参阅图4b,失焦的图像频谱图中,其频率分布直方图主要集中在低频区域,且直方图各频率区域的分布相差较大。比较核密度估计曲线和正态分布曲线可以看出,两条曲线形态相差非常大,并且它们的峰值差值也很大。
请参阅图5a、图5b,在摄像头1在失焦—对焦的过程中,频率分布直方图的集中区域逐渐从低频移向高频,其核密度估计曲线逐渐趋向于正态分布曲线。比较两条曲线可知,在失焦—对焦的过程中,核密度估计曲线与正态分布曲线逐渐趋于相似,且两条曲线峰值相差逐渐变小。当对焦成功时,两条曲线几乎重合。
通过以下实施例进行具体说明:
一、摄像机在生活中的应用:摄影者通过摄像头1将拍摄数据提供给处理器2,处理器对图像进行二维傅里叶变换得到频谱图,并根据图像傅里叶变换后得到的频率大小进行直方图统计;根据频率直方图的拟合曲线计算出在失焦—对焦—失焦这一过程中最清晰图像的参数;最后进行比较,当摄像机在对焦过程中达到这个参数时,即作为对焦成功进行拍摄。
二、摄像机在产线上的应用:产线上工人根据摄像头的焦距需要,在摄像头1前方固定一副幅用于拍摄并自动识别对焦的chart图,在拍摄过程中将chart图数据传到主机中;为了便于高效率高精确度的生产,主机统计频率直方图,并记录在失焦—对焦—失焦这一过程中拟合曲线的参数,选择两条曲线最相似且峰值相差最小时的参数作为标准;当摄像头在对焦过程中达到这个参数时,即可生产。

Claims (4)

1.一种基于频域直方图分析的摄像头自动对焦方法,其特征在于,包括如下步骤:
步骤1、摄像头把拍摄数据提供给处理器,通过图像处理模块对每帧图像进行二维傅里叶变换得到频谱图;
步骤2、统计模块把图像傅里叶变换后得到的频率大小及其出现概率进行直方图统计;
步骤3、拟合模块对频率直方图进行分析,根据非参数密度估计法,绘制出正态分布密度曲线和核密度估计曲线;
步骤4、摄像头在失焦—对焦—失焦的过程中,计算模块分别计算每帧图像的参数,并记录正态分布密度曲线和核密度估计曲线相似度最高,且两条曲线峰值相差最小时的图像参数;
步骤5、当摄像头从失焦状态进行自动对焦时,比较模块获取到图像参数与步骤4中记录的最清晰的图像参数吻合,即为对焦成功。
2.根据权利要求1所述的一种基于频域直方图分析的摄像头自动对焦方法,其特征在于,在步骤2中,把图像傅里叶变换后得到的频谱图进行频率直方图统计,横轴表示频率大小,纵轴表示对应频率出现的概率;根据频率直方图的概率密度分布,判断图像的清晰度。
3.根据权利要求1所述的一种基于频域直方图分析的摄像头自动对焦方法,其特征在于,在步骤3中,为了拟合直方图用到两个函数:正态分布密度函数和核密度估计函数,其中采用了非参数密度估计法,具体如以下说明:
A.正态分布密度函数:
如果连续型随机变量X的密度函数为:
Figure FDA0003053782140000011
其中-∞<μ<+∞,σ>0为参数,则随机变量X服从参数为μ,σ的正态分布,记为:X~N(μ,σ2);p(x)所确定的曲线叫做正态曲线;
B.非参数密度估计法:
对于一组关于X和Y的数据
Figure FDA0003053782140000012
假设它们的关系为:yi=m(xi)+εi;由于样本数量有限,不能准确估计出m(x)的形式,因此需要采用非参数方法;在非参数方法中,对m(x)的形式不做假设也不做固定要求,仅假设m(x)满足一定的光滑性,且函数在每一点的值都由数据决定;那么在n个样本点中,计算k个位于区域Q内的概率公式为:
Figure FDA0003053782140000013
C.核密度估计函数,KDE:
KDE是非参数密度估计的一种特例,因为其满足非参数密度估计的一般形式;假设区域Q是一个d维的超立方体,令h表示超立方体边长,则区域Q对应的体积为公式:
V=hd (2)
为了获得落入区域Q中的样本数量,定义核函数K(u)为表达式:
Figure FDA0003053782140000021
其中,d表示超立方体的纬度;
假设有n个样本x1,x2,…,xn,则落入超立方体VQ中的样本点的个数表达式为:
Figure FDA0003053782140000022
其中,x是超立方体VQ的中心点位置,将上式带入(1),则核密度估计函数表达式为:
Figure FDA0003053782140000023
由上式,核密度估计的函数表达式是一个加权平均,其中核函数K(u)是一个权函数;对于估计PKDE(x)在点x处所用数据点的个数和利用的程度,通过核函数的形状和值域来控制。
4.一种基于频域直方图分析的摄像头自动对焦系统,实施如权利要求1所述基于频域直方图分析的摄像头自动对焦方法,其特征在于,所述系统包括摄像头和处理器;其中处理器包括依次连接的五个模块:图像处理模块、统计模块、拟合模块、计算模块和比较模块;工作过程中,首先由摄像头将拍摄数据传到处理器,再分别通过处理器中的五个模块进行频域分析,获取对焦成功的图像和参数。
CN201810028847.9A 2018-01-12 2018-01-12 一种基于频域直方图分析的摄像头自动对焦方法和系统 Active CN108376394B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810028847.9A CN108376394B (zh) 2018-01-12 2018-01-12 一种基于频域直方图分析的摄像头自动对焦方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810028847.9A CN108376394B (zh) 2018-01-12 2018-01-12 一种基于频域直方图分析的摄像头自动对焦方法和系统

Publications (2)

Publication Number Publication Date
CN108376394A CN108376394A (zh) 2018-08-07
CN108376394B true CN108376394B (zh) 2021-08-10

Family

ID=63016648

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810028847.9A Active CN108376394B (zh) 2018-01-12 2018-01-12 一种基于频域直方图分析的摄像头自动对焦方法和系统

Country Status (1)

Country Link
CN (1) CN108376394B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117593192B (zh) * 2024-01-18 2024-03-26 大连云间来客科技有限公司 一种妇科宫颈图像增强分析方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013038504A1 (ja) * 2011-09-13 2013-03-21 株式会社日立製作所 撮像装置
CN104835172A (zh) * 2015-05-21 2015-08-12 北京牡丹电子集团有限责任公司数字电视技术中心 一种基于相位一致性和频域熵的无参考图像质量评价方法
CN106657786A (zh) * 2016-12-26 2017-05-10 昆山丘钛微电子科技有限公司 改善摄像模组非水平方向拍摄失焦的补偿方法
CN106842496A (zh) * 2017-01-24 2017-06-13 青岛大学 基于频域比较法的自动调节焦点的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013038504A1 (ja) * 2011-09-13 2013-03-21 株式会社日立製作所 撮像装置
CN104835172A (zh) * 2015-05-21 2015-08-12 北京牡丹电子集团有限责任公司数字电视技术中心 一种基于相位一致性和频域熵的无参考图像质量评价方法
CN106657786A (zh) * 2016-12-26 2017-05-10 昆山丘钛微电子科技有限公司 改善摄像模组非水平方向拍摄失焦的补偿方法
CN106842496A (zh) * 2017-01-24 2017-06-13 青岛大学 基于频域比较法的自动调节焦点的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A No-Reference Objective Image Sharpness Metric Based on the Notion of Just Noticeable Blur (JNB);Rony Ferzli,et al.;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20090430;第18卷(第4期);全文 *
基于图像处理的自动对焦技术综述;尤玉虎,等;《激光与红外》;20130228;第43卷(第2期);全文 *

Also Published As

Publication number Publication date
CN108376394A (zh) 2018-08-07

Similar Documents

Publication Publication Date Title
Sun et al. Photo assessment based on computational visual attention model
US8582889B2 (en) Scale space normalization technique for improved feature detection in uniform and non-uniform illumination changes
KR101633377B1 (ko) 다중 노출에 의한 프레임 처리 방법 및 장치
CN105578048B (zh) 一种快速对焦方法和装置、移动终端
CN104079827B (zh) 一种光场成像自动重对焦方法
EP3371741B1 (en) Focus detection
JP2014057303A (ja) 深度推定手順において改善されたシーン検出を利用するためのシステム及び方法
US10474935B2 (en) Method and device for target detection
CN112070682B (zh) 图像亮度补偿的方法和装置
WO2023040423A1 (zh) 镜头的调焦方法、装置、计算机设备和存储介质
WO2017107840A1 (zh) 自动聚焦控制方法和装置
CN111311562B (zh) 虚焦图像的模糊度检测方法及装置
TW201421990A (zh) 物體偵測裝置、方法及其電腦可讀取紀錄媒體
US9286217B2 (en) Systems and methods for memory utilization for object detection
CN108376394B (zh) 一种基于频域直方图分析的摄像头自动对焦方法和系统
CN109583361A (zh) 基于能量最小化的场景视频文本跟踪方法
CN115690747B (zh) 车辆盲区检测模型测试方法、装置、电子设备及存储介质
CN111861976A (zh) 一种基于硬件指纹相关性的数字图像源拍摄设备识别方法
CN114785953A (zh) 基于sfr的相机自动对焦方法及装置
CN103841312B (zh) 物体侦测装置及方法
CN112509004A (zh) 红外热成像图像中目标的追寻方法和装置
CN113869363B (zh) 一种基于图像评价网络和图像评价函数的爬山调焦搜索方法
CN116468973B (zh) 用于低照度图像的目标检测模型的训练方法、装置
CN114245023B (zh) 一种聚焦处理方法及装置、摄像装置和存储介质
CN115331310B (zh) 一种多人手势识别方法、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant