CN110166692A - 一种提高摄像机自动聚焦准确率和速度的方法及装置 - Google Patents
一种提高摄像机自动聚焦准确率和速度的方法及装置 Download PDFInfo
- Publication number
- CN110166692A CN110166692A CN201910471229.6A CN201910471229A CN110166692A CN 110166692 A CN110166692 A CN 110166692A CN 201910471229 A CN201910471229 A CN 201910471229A CN 110166692 A CN110166692 A CN 110166692A
- Authority
- CN
- China
- Prior art keywords
- image
- value
- evaluation value
- contrast
- gradient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000011156 evaluation Methods 0.000 claims abstract description 106
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 23
- 230000004297 night vision Effects 0.000 claims abstract description 23
- 238000006243 chemical reaction Methods 0.000 claims abstract description 12
- 238000004364 calculation method Methods 0.000 claims description 48
- 230000008859 change Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 13
- 230000003287 optical effect Effects 0.000 claims description 7
- 238000005286 illumination Methods 0.000 claims description 5
- 230000009194 climbing Effects 0.000 claims description 4
- 230000001174 ascending effect Effects 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 239000002994 raw material Substances 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 4
- 238000010845 search algorithm Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
本发明涉及图像处理及食品监控领域,特别公开了一种提高摄像机自动聚焦准确率和速度的方法及装置。该提高摄像机自动聚焦准确率和速度的方法,其特征在于:依次包括视频图像采集、图像格式转换,聚焦模板设定、夜视低照场景清晰度评价值计算、白天场景清晰度评价值计算、峰值搜索和电机驱动镜头找到合焦点步骤。本发明根据亮度对比度、梯度对比度和ISO值自适应调整爬山算法中清晰度评价值变化的阈值,可有效判定当前评价值的变化趋势,有助于更快找到峰值,提升夜视和低照场景的自动聚焦速度和准确率。
Description
(一) 技术领域
本发明涉及图像处理及食品监控领域,特别涉及一种提高摄像机自动聚焦准确率和速度的方法及装置。
(二) 背景技术
聚焦在大类上可分为两类,一类是自动聚焦,一类是手动聚焦。在摄像机刚刚出现的时候,聚焦只能依靠手动调节对焦环来完成聚焦。随着技术不断的完善和发展,自动对焦技术也随之产生。自动聚焦也分为两类:(1)主动式:相机上的红外线发生器、超声波发生器发出红外光或超声波到被摄物体,相机上的接收器接收发射回来的红外光或超声波进行聚焦主动式对焦。该方式对斜面、光滑面、吸光或波的物体聚焦困难,对亮度大、远距离的物体聚焦困难;(2)被动式:即直接接收分析来自景物自身的反光,进行自动聚焦的方式,自身不要发射系统,因而耗能少,有利于小型化,节省成本,对具有一定亮度的被摄体能理想的自动聚焦,能实现远距离聚焦,由此,被动聚焦技术成本目前主流的自动聚焦方式。随着自动聚焦摄像机的普及,对聚焦准确度和聚焦速度等性能的要求也越来越高。
被动聚焦技术主要是基于视频图像处理的,主要包括图像清晰度评价值计算和峰值搜索两部分。在聚焦电机转动的过程中连续采集多帧图像,对采集到的图像帧利用清晰度评价算法计算得到清晰度评价值,参照时间坐标把每帧图像的评价值构成一条曲线即聚焦曲线,然后利用峰值搜索算法找到该聚焦曲线的极值点,最后使聚焦电机驱动镜头达到该极值点对应的位置,即完成了自动对焦过程。
现有已公开的技术方案提出利用空域、频域清晰度评价值算法计算图像聚焦评价值的方法,这些图像清晰度评价方法在光线较好的场景中获取的聚焦曲线单调性和尖峰性较好,但在光照较弱、对比度低或者灯光较复杂的场景中会受到噪声和灯光的影响,具体表现为单调性不明显,毛刺现象严重,尖峰性不好,同一场景不同时刻的评价值存在波动、振荡,评价值最大的位置不一定是最清晰的位置。另外,对于以上方法获取的聚焦曲线,极值搜索算法比较容易陷入局部极值,从而导致聚焦失败。综上所述,针对噪声多、光线复杂、低对比度等场景,现有技术难以保证自动聚焦的速度和准确度。
(三) 发明内容
本发明为了弥补现有技术的不足,提供了一种自动聚焦速度快、准确率高的提高摄像机自动聚焦准确率和速度的方法及装置。
本发明是通过如下技术方案实现的:
一种提高摄像机自动聚焦准确率和速度的方法,其特征在于:依次包括视频图像采集、图像格式转换,聚焦模板设定、夜视低照场景清晰度评价值计算、白天场景清晰度评价值计算、峰值搜索和电机驱动镜头找到合焦点步骤;具体步骤如下:
(1)摄像机通过光学镜头和图像传感器从外界采集图像;
(2)将采集到的图像通过ISP处理器转换为RGB格式,然后把RGB格式的图像转换到YUV格式;
(3)根据对场景图像中不同区域的关注度不同,对图像中的不同区域设置不同的权重,并根据实际应用设置不同的聚焦模板;
(4)根据空间金字塔原理对图像进行不同尺度的分块,之后计算每个尺度下的每个子图像块的亮度均值和梯度值,夜视和低照场景的图像采用四邻域计算对比度的算法计算亮度对比度和梯度对比度,由此抵消掉每个子图像块的噪声影响;白天场景的图像通过对一个尺度下的所有图像块的梯度值求和,得到该尺度下的梯度值;不同尺度下的亮度对比度加上不同的权重得到整幅图像的亮度对比度,不同尺度下的梯度对比度/梯度值加上不同的权重得到最终的清晰度评价值;
(5)聚焦电机驱动镜头移动,在镜头移动过程中实时获取YUV格式的图像,并获取场景图像的清晰度评价值和亮度对比度,根据清晰度评价值的变化量判断此时聚焦曲线是处于上坡态还是下坡态,根据获取到的亮度对比值和场景的ISO值、当前的清晰度评价值综合判断此时场景特征,从而设定清晰度评价值的阈值;
(6)根据设定的清晰度评价值的阈值判定此时爬上算法处于上升状态还是下降状态,进而找到清晰度评价孩子的峰值,聚焦电机驱动镜头达到该峰值点对应的位置,该位置即为最清晰的点,自动聚焦完成。
本发明用以解决现有技术中图像清晰度评价算法和极值搜索算法无法根据场景图像自身特征自适应提升图像清晰度评价值的尖峰性和单调性、无法排除夜晚点光源的干扰而导致极端的场景条件下对焦失败和对焦速度慢的问题。
步骤(3)中,对图像的中心区域设置较大的权重。
步骤(4)中,夜视和低照场景图像清晰度评价值计算,夜视场景噪声较多,采用与白天不同的清晰度评价算法,噪声的分布在整幅图像中是相对均匀的,对图像进行不同尺度的分块后,计算每个尺度下的每个子图像块的亮度值和梯度值,采用四邻域计算对比度的算法计算对比度,由此抵消掉每个子图像块中的噪声影响。为了屏蔽掉场景中高亮点光源对聚焦的影响,在计算梯度对比度的过程中,根据亮度均值屏蔽掉亮度值大于某一阈值的子图像块;亮度均值的计算公式为: ;每个子图像块的梯度值的计算公式为:,其中,G(x,y)是像素点(x,y)处Laplacian算子的卷积;亮度对比度和梯度对比度的计算公式为:,其中,,即相邻图像块间的差值,在这里指的是亮度均值或地图之的差值,为相邻图像块之间的差值的分布概率,C在此表示亮度对比度或梯度对比度,为图像块对应聚焦模板的值即权重;整幅图像的亮度对比度计算公式为:;清晰度评价值的计算公式为:。
白天清晰度评价值计算,与夜视和低照场景图像相比,白天图像比较干净,聚焦曲线比较平滑,因此不需要计算子图像块的邻域对比度,可选的,可以对子图像块的梯度进行求和。
步骤(5)中,清晰度评价值的变化量,若,则判定为当前聚焦为上坡态,若,则判定为当前状态为下坡态。
清晰度评价值的阈值与亮度对比度、清晰度评价值和ISO值成正比,把亮度对比度、清晰度评价值和ISO值归一化到0-1,根据实际场景的清晰度评价值的阈值、清晰度评价值分别设定虚拟最大值、,对、进行剪裁,剪裁方式如下:,;IAOmax为当前sensor所能达到的最大增益值,把、和ISO根据公式,,归一化到0-1,根据Yca、Fv及ISO三者的作用不同,加上不同的权重,即,其中,α,β,γ为权重系数,且满足条件α+β+γ=1,为最大阈值,α、β、γ、κ的取值根据实际场景设定。
实现上述方法的装置,包括安装在摄像机上、用于采集数字图像的视频数据采集模块,所述视频数据采集模块连接图像格式转换模块,图像格式转换模块连接聚焦清晰度评价值计算模块,聚焦清晰度评价计算模块连接峰值搜索模块;
其中,
图像格式转换模块,用于把采集到的连续多帧RAW格式的图像转化为RGB格式,然后把RGB格式的图像进一步转化为YUV格式;
聚焦清晰度评价值计算模块,用于对图像数据进行实时分析,获取图像的清晰度评价值,其包括依次连接的信息获取单元、图像划分单元、子图像块亮度信息计算单元、子图像块梯度计算单元、对比度计算单元和清晰度评价值计算单元;
信息获取单元,用于获取YUY图像中的亮度信息,即Y分量信息;图像划分单元,用于对多帧图像进行分块,对仅包含Y分量信息的图像根据空间金字塔原料分成不同尺度的子图像块;子图像块亮度信息计算单元,用于计算每个尺度下的子图像块的亮度和梯度,即对该子图像块中包含的所有Y值计算平均值;子图像块梯度计算单元,即对图像块中所有的Y值采用Laplacian梯度函数计算每个子图像块的梯度值;对比度计算单元,用于计算夜视和低照场景的亮度对比度和梯度对比度以及白天场景的亮度对比度;清晰度评价值计算单元,用于计算整幅图像的清晰度评价值。
峰值搜索模块,用于在镜头移动的过程中找到清晰度峰值点,即合焦点。
所述视频数据采集模块包括光学镜头和图像传感器。
所述峰值搜索模块包括依次连接的聚焦曲线变化状态判断单元和电机步长进而方向控制单元;聚焦曲线变化状态判断单元,具体地,根据图像清晰度评价值计算模块输出的清晰度评价值的变化量判定当前聚焦曲线是处于上坡态还是下坡态;电机步长和方向控制单元,根据聚曲线的变化状态,控制电机的步长和方向,直到找到峰值点。
本发明对夜视和低照场景采用和白天不同的清晰度评价算法,夜视和低照场景中噪声在整幅图像中的分布是相对均匀的,根据差分原理,对图像进行不同尺度的分块后计算子图像块的梯度和亮度均值,然后对每一尺度下的子图像块利用四邻域对比度算法计算该尺度下的亮度对比度和梯度对比度,以此抵消掉噪声对图像清晰度评价值的影响。
本发明采用空间金字塔的原理对图像进行不同尺度的分块,然后对每一尺度下的梯度对比度加上不同的权重后获取最终的清晰度评价值,该全局与局部相结合的方式获取到的清晰度评价值更加准确,可有效减弱低照和夜视场景中聚焦曲线的毛刺现象,提高夜视和低照场景的聚焦准确率。
本发明在计算夜视和低照场景的清晰度评价值的过程中,根据图像块的平均亮度和高亮像素的占比屏蔽掉图像中的高亮区域,排除掉场景中的高亮光源对聚焦的影响,提高了包含高亮点光源场景的聚焦准确率。
本发明根据亮度对比度、梯度对比度和ISO值自适应调整爬山算法中清晰度评价值变化的阈值,可有效判定当前评价值的变化趋势,有助于更快找到峰值,提升夜视和低照场景的自动聚焦速度和准确率。
(四) 附图说明
下面结合附图对本发明作进一步的说明。
图1为本发明的聚焦步骤示意图;
图2为本发明聚焦权重模板示意图;
图3为本发明夜视和低照场景图像清晰度评价值计算步骤示意图;
图4为本发明不同尺度的图像块的结构示意图;
图5为本发明装置的结构示意图。
图中,1视频数据采集模块,2图像格式转换模块,3聚焦清晰度评价值计算模块,4峰值搜索模块,5光学镜头,6图像传感器,7信息获取单元,8图像划分单元,9子图像块亮度信息计算单元,10子图像块梯度计算单元,11对比度计算单元,12清晰度评价值计算单元,13聚焦曲线变化状态判断单元,14电机步长和方向控制单元。
(五) 具体实施方式
为了更清楚的阐述本发明的技术的目的、实现流程和优点,下面结合附图对本发明的实施方式进行进一步的详细阐述,列举出的实施方式仅是本申请的一部分实施方式,而不是所有实施方式穷举,并且在不冲突的情况下,本发明中的实施方式中特征可以相互结合。
本发明第一实施方式涉及一种提高摄像机自动聚焦准确率和速度的方法,该方法针对不同照度下的图像的不同的特征采用不同的图像清晰度评价算法和极值搜索算法,以达到提高弱光照场景聚焦准确性和速度的目的。如图1所示,该实施方式包括如下步骤:
S1、视频图像采集
摄像机通过光学镜头和图像传感器从外界采集图像。
S2、图像格式转换
具体地,摄像机从外界采集到的图像为raw格式的,通过ISP处理器先把图像转换为RGB格式,然后把RGB格式的图像转换为YUV格式。
S3、聚焦权重模板设置
具体地,考虑到不同深度的景物在同一焦平面上呈现的清晰度不同,可以根据实际应用对场景图像中的不同区域加上不同的权重,重点区域分配高权重,非重点区域分配低权重,以排除不重要区域对图像清晰度评价值的影响,所述不重要的区域通常为图像边界部分。
可选的,在本实施例中感兴趣区域可选择如图2中所示聚焦权重模板。如选择如图2a所示的中间区域,或者选择如图2b所示中下部分的中间区域,这种中心窗口的选择方法适用于大多数的聚焦场景。设置聚焦权重模板不仅可以降低非感兴趣区域对聚焦准确性的影响,还能减少运算量,提高聚焦性能。
S4、计算图像清晰度评价值
针对夜视和低照场景采用与白天不同的算法,噪声的分布在整幅图像中是相对均匀的,对图像进行不同尺度的分块后,计算每个尺度下的每个子图像块的亮度值和梯度值,采用四邻域计算对比度的算法计算对比度,由此抵消掉每个子图像块中的噪声影响。
该阶段的具体实施方式如,包含以下步骤:
S41、判断是否为低照场景
根据ISP处理器的ISO值判断是否为低光照场景,若ISO大于一定阈值,则判定为低光照场景,的设置和图像传感器的性能和当前场景的亮度有关,在本实施例中取值为1000。
S42、提取场景图像中的亮度信息
具体地,所述亮度信息即为YUV图像中的Y分量信息。
S43、夜视和低照场景图像清晰度评价值计算
如图3所示,该实施方式包括如下步骤:
S431、对S42中获取的仅包含Y分量信息的图像进行分块,具体地,将图像的宽W划分4,···,M个尺度,高H划分为4,···,N个不同的尺度,把特征空间尺度ι的每一维划出m*n个cells,d维的特征空间就可以划出个D=2*m*n个cells,其中,m、n的取值可根据图像的实际大小设定,在本实施例中,如图4所示,分别把图像分成6*8、10*12、14*16三种同尺度的图像块,在本实施例中共包含两维特征空间及亮度Y和梯度G。
S432、利用和表示亮度Y、梯度G在尺度ι下每个图像块的亮度均值和梯度值,利用和表示该尺度空间下图像的亮度对比度和梯度对比度。为了排除非重点区域对图像清晰度评价值的影响,利用步骤S3中的聚焦权重模模板与对应尺度下的对比度做卷积运算,根据不同尺度在计算图像清晰度评价值中的作用不同加上不同的权重,显然,大尺度的应分配较小的权重,小尺度的应分配较大的权重,权重定义为。
优选地,根据如下公式计算每个子图像块的亮度均值:
其中,是像素点(x,y)处Y分量的值,、分别为子图像块的宽和高,。
优选地,利用现有的图像清晰度评价值算法计算每个子图像块的梯度值,获取图像清晰度评价值的算法包括但不限于下列计算方法:空域评价函数,频域评价函数。本实施例中,采用Laplacian 梯度函数计算每个子图像块的梯度值,Laplacian 梯度函数的定义如下:
其中是像素点(x,y)处Laplacian算子的卷积。Laplacian算子定义如下:
S433、对每一尺度下的金字塔图像计算其亮度对比度和Laplacian梯度对比度,具体地,根据以下公式计算四邻域亮度对比度 :
其中,,即相邻子图像块间的差值,在这里指的是或的差值,为相邻图像块之间的差值的分布概率。C代表或者,为图像块对应聚焦模板的值即权重。
优选地,如果场景中存在复杂光源,会影响评价值的准确性,为了排除点光源的影响,在计算的过程中,可根据的值屏蔽掉亮度值大于某一阈值的子图像块。的取值在180~255之间,根据场景图像中点光源的实际亮度设定。
优选地,为了使统计到的点光源区域更加精确,可以统计每个图像块中高亮像素所占的比例,的计算公式如下:
其中,为高亮像素的个数,若某一像素的亮度Y大于设定阈值,则判定该像素点为高亮像素,的取值根据图像中高亮光源的实际亮度设定,在本实施例中,设定为220,表示某图像块中总的像素个数。若图像块同时满足以下两个条件,则判定该图像块包含光源,进而在计算清晰度评价值得时候屏蔽掉该图像块。
条件一
条件二
S434:根据以下公式计算图像清晰度评价值:
;
根据如下公式计算整幅图像的亮度对比度:
;
其中为尺度ι的图像权重, L为尺度总数。这里获取的在后面峰值搜索算法中会用到。
S44、白天场景清晰度评价值计算
相对于夜视和低照场景,白天光照较好,图像噪声较少,图像清晰度评价值的单调性较好,曲线光滑,因此采用与低照和夜视场景不同的清晰度评价值算法。
采用S43的方法获取和后,对尺度ι下的所有图像块的梯度加权相加得到该尺度下的梯度值,计算公式如下:
;
其中,,*为卷积运算,表示尺度ι下的子图像块的位置,为图像块对应聚焦模板的值即权重。
其余步骤与S43相同,在此不再赘述。
S5、峰值搜索
启动自动聚焦流程后,聚焦电机驱动镜头移动,在移动的过程中,实时获取YUV格式的图像,并根据S4中的步骤获取清晰度评价值。根据的变化量判断此时聚焦曲线是处于上坡态还是下坡态。,在本实施例中,若,则判定为当前聚焦为上坡态,若,则判定为当前状态为下坡态。
优选地,在设定的过程中,不同场景的图像的的变化量差异较大,为了提高聚焦速度,针对不同场景,本发明实现了变化阈值的自适应。具体地,根据步骤S4中获取到的和场景的ISO值、当前的 值综合判断此时场景特征,从而设定的值。一般情况下,与、及ISO成正比,的具体设置步骤如下:
S51、归一化、及ISO的值到0~1,具体地,先把、进行剪裁,根据实际场景的、值分别设定虚拟最大值、,在本实施例中,设,,剪裁的具体方法如以下公式:
;
。
为当前sensor所能达到的最大增益值,该值是由实际使用的图像传感器决定的。把、和ISO根据公式,,归一化到0~1。
S52、 根据、及ISO三者的作用不同,在计算阈值的时候对其设置不同的权重,如下公式所示:
其中,α,β,γ为权重系数,且满足条件α+β+γ=1,α,β,γ的取值可根据实际场景设定,在本实施例中,设定α=0.5,β=0.25,γ=0.25,为最大阈值,根据实际场景图像设定,在本实施例中取0.1。
S53、根据上述步骤设定的阈值判定此时聚焦曲线处于上升状态还是下降状态,进一步根据现有的峰值搜索算法调整聚焦电机的步长和方向,直到找到峰值,从而控制聚焦电机驱动镜头到达该峰值点对应的位置,该位置即为最清晰的点,自动聚焦完成。
本发明第二实施方式涉及一种用于实现提高摄像机自动聚焦准确率和速度的方法的装置,如图5所示,该装置包括:视频数据采集模块,用于采集数字图像;图像格式转换模块,用于把采集到的连续多帧RAW格式的图像转化为RGB格式,然后把RGB格式的图像进一步转化为YUV格式;聚焦清晰度评价值计算模块,用于对图像数据进行实时分析,获取图像的清晰度评价值;峰值搜索模块,用于在镜头移动的过程中找到清晰度峰值点,即合焦点;电机驱动模块,用于根据峰值搜索模块发出的指令驱动聚焦电机移动,直到找到最清晰的点。
优选地,视频数据采集模块包括:光学镜头、图像传感器;
优选地,图像清晰度评价值计算模块包括:
信息获取单元,获取YUV图像中的亮度信息,即Y分量信息;
图像划分单元,用于对多帧图像根据进行分块,对仅包含Y分量信息的图像利用空间金字塔原理分成不同尺度的子图像块;
子图像块亮度信息计算单元,用于计算低照和夜视场景每个尺度下的子图像块的亮度和梯度,即对该图像块中包含的所有Y值计算平均值;
子图像块梯度计算单元,即对图像块中所有的Y值采用Laplacian 梯度函数计算每个子图像块的梯度值,
根据以下公式计算Laplacian梯度值:
其中,是像素点(x,y)处Laplacian算子的卷积;
对比度计算单元,用于计算夜视和低照场景的亮度对比度和梯度对比度以及白天场景的亮度对比度,具体地,对低照和夜视场景图像每一尺度下的金字塔子图像块计算其亮度对比度和Laplacian梯度对比度。
根据如下公式计算四邻域对比度,
其中,,即相邻图像块间的差值,在这里指的是或的差值,为相邻图像块之间的差值的分布概率,C在此表示亮度对比度或者梯度对比度,为图像块对应聚焦模板的值即权重。
对白天每一尺度下的金字塔子图像块根据如下公式计算梯度和:
其中,为聚焦模板,每一尺度的图像所使用的聚焦模板的尺度与该图像尺度相同,在本实施例中,选取图2a类型的模板。
清晰度评价值计算单元,用于计算整幅图像的清晰度评价值。
根据如下公式对每一尺度下的梯度对比度加权需求和得到夜视和低照场景下的清晰度评价值:
根据如下公式对每一尺度下梯度和加权需求和得到白天场景下的清晰度评价值。
优选地,峰值搜索模块包括:
聚焦曲线变化状态判断单元,具体地,根据图像清晰度评价值计算模块输出的清晰度评价值的变化量判定当前聚焦曲线是处于上坡态还是下坡态,,若,则判定为当前聚焦为上坡态,若,则判定为当前状态为下坡态。
根据U4模块中获取到的和场景的ISO值、当前的 值综合判断此时场景特征,从而设定的值。一般情况下,与、及ISO成正比,根据、及ISO的影响不同,对三者加上不同的权重。具体地, 把、及ISO的值归一化到0~1,根据实际场景的、值分别设定虚拟最大值、,对、进行剪裁,剪裁方式如下:
;
。
为当前sensor所能达到的最大增益值,把、和ISO根据公式,,归一化到0~1。进一步地,根据、及ISO三者的作用不同,加上不同的权重,即
,
其中,α,β,γ为权重系数,且满足条件α+β+γ=1,为最大阈值,α、β、γ、κ的取值可根据实际场景设定。
电机步长和方向控制单元,根据聚焦曲线变化状态判断单元的输出信号,控制电机的步长和方向,直到找到峰值点。
通过以上叙述可以看出,采用本发明实施例提出的方法可以达到以下效果:通过对现有的清晰度评价算法进行改进,对不同尺度下的图像块采用四邻域对比度的方法消除低照和夜视场景中噪声的影响得到的清晰度评价值组成的聚焦曲线单调性和单峰性更好,也更为准确。针对不同场景,根据清晰度评价值、亮度对比度值、当前的ISO值实时调整爬山算法中的阈值有助于更快的找到峰值点,与现有技术相比,聚焦更准更快,抗干扰能力更强。
本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而可以将它们存储在存储装置中由计算装置来执行。因此,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种提高摄像机自动聚焦准确率和速度的方法,其特征在于:依次包括视频图像采集、图像格式转换,聚焦模板设定、夜视低照场景清晰度评价值计算、白天场景清晰度评价值计算、峰值搜索和电机驱动镜头找到合焦点步骤,具体步骤如下:(1)摄像机通过光学镜头和图像传感器从外界采集图像;(2)将采集到的图像通过ISP处理器转换为RGB格式,然后把RGB格式的图像转换到YUV格式;(3)根据对场景图像中不同区域的关注度不同,对图像中的不同区域设置不同的权重,并根据实际应用设置不同的聚焦模板;(4)根据空间金字塔原理对图像进行不同尺度的分块,之后计算每个尺度下的每个子图像块的亮度均值和梯度值,夜视和低照场景的图像采用四邻域计算对比度的算法计算亮度对比度和梯度对比度,白天场景的图像通过对一个尺度下的所有图像块的梯度值求和,得到该尺度下的梯度值;不同尺度下的亮度对比度加上不同的权重得到整幅图像的亮度对比度,不同尺度下的梯度对比度/梯度值加上不同的权重得到最终的清晰度评价值;(5)聚焦电机驱动镜头移动,在镜头移动过程中实时获取YUV格式的图像,并获取场景图像的清晰度评价值和亮度对比度,根据清晰度评价值的变化量判断此时聚焦曲线是处于上坡态还是下坡态,根据获取到的亮度对比值和场景的ISO值、当前的清晰度评价值综合判断此时场景特征,从而设定清晰度评价值的阈值;(6)根据设定的清晰度评价值的阈值判定此时爬上算法处于上升状态还是下降状态,进而找到清晰度评价孩子的峰值,聚焦电机驱动镜头达到该峰值点对应的位置,该位置即为最清晰的点,自动聚焦完成。
2.根据权利要求1所述的提高摄像机自动聚焦准确率和速度的方法,其特征在于:步骤(3)中,对图像的中心区域设置较大的权重。
3.根据权利要求1所述的提高摄像机自动聚焦准确率和速度的方法,其特征在于:步骤(4)中,在计算梯度对比度的过程中,根据亮度均值屏蔽掉亮度值大于某一阈值的子图像块;亮度均值的计算公式为:;每个子图像块的梯度值的计算公式为:,其中,G(x,y)是像素点(x,y)处Laplacian算子的卷积;亮度对比度和梯度对比度的计算公式为:,其中,,即相邻图像块间的差值,在这里指的是亮度均值或地图之的差值,为相邻图像块之间的差值的分布概率,C在此表示亮度对比度或梯度对比度,为图像块对应聚焦模板的值即权重;整幅图像的亮度对比度计算公式为:;清晰度评价值的计算公式为:。
4.根据权利要求1所述的提高摄像机自动聚焦准确率和速度的方法,其特征在于:步骤(5)中,清晰度评价值的变化量,若,则判定为当前聚焦为上坡态,若,则判定为当前状态为下坡态。
5.根据权利要求1所述的提高摄像机自动聚焦准确率和速度的方法,其特征在于:步骤(5)中,清晰度评价值的阈值与亮度对比度、清晰度评价值和ISO值成正比,把亮度对比度、清晰度评价值和ISO值归一化到0-1,根据实际场景的清晰度评价值的阈值、清晰度评价值分别设定虚拟最大值、,对、进行剪裁,剪裁方式如下:,;IAOmax为当前sensor所能达到的最大增益值,把、和ISO根据公式,,归一化到0-1,根据Yca、Fv及ISO三者的作用不同,加上不同的权重,即,其中,α,β,γ为权重系数,且满足条件α+β+γ=1,为最大阈值,α、β、γ、κ的取值根据实际场景设定。
6.实现权利要求1所述方法的装置,包括安装在摄像机上、用于采集数字图像的视频数据采集模块(1),其特征在于:所述视频数据采集模块(1)连接图像格式转换模块(2),图像格式转换模块(2)连接聚焦清晰度评价值计算模块(3),聚焦清晰度评价计算模块(3)连接峰值搜索模块(4);其中,图像格式转换模块(2),用于把采集到的连续多帧RAW格式的图像转化为RGB格式,然后把RGB格式的图像进一步转化为YUV格式;聚焦清晰度评价值计算模块(3),用于对图像数据进行实时分析,获取图像的清晰度评价值,其包括依次连接的信息获取单元(7)、图像划分单元(8)、子图像块亮度信息计算单元(9)、子图像块梯度计算单元(10)、对比度计算单元(11)和清晰度评价值计算单元(12);峰值搜索模块(4),用于在镜头移动的过程中找到清晰度峰值点,即合焦点。
7.根据权利要求6所述的装置,其特征在于:所述视频数据采集模块(1)包括光学镜头(5)和图像传感器(6)。
8.根据权利要求6所述的装置,其特征在于:所述信息获取单元(7),用于获取YUY图像中的亮度信息,即Y分量信息;图像划分单元(8),用于对多帧图像进行分块,对仅包含Y分量信息的图像根据空间金字塔原料分成不同尺度的子图像块;子图像块亮度信息计算单元(9),用于计算每个尺度下的子图像块的亮度和梯度,即对该子图像块中包含的所有Y值计算平均值;子图像块梯度计算单元(10),即对图像块中所有的Y值采用Laplacian梯度函数计算每个子图像块的梯度值;对比度计算单元(11),用于计算夜视和低照场景的亮度对比度和梯度对比度以及白天场景的亮度对比度;清晰度评价值计算单元(12),用于计算整幅图像的清晰度评价值。
9.根据权利要求6所述的装置,其特征在于:所述峰值搜索模块(4)包括依次连接的聚焦曲线变化状态判断单元(13)和电机步长进而方向控制单元(14)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910471229.6A CN110166692B (zh) | 2019-05-31 | 2019-05-31 | 一种提高摄像机自动聚焦准确率和速度的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910471229.6A CN110166692B (zh) | 2019-05-31 | 2019-05-31 | 一种提高摄像机自动聚焦准确率和速度的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110166692A true CN110166692A (zh) | 2019-08-23 |
CN110166692B CN110166692B (zh) | 2024-02-02 |
Family
ID=67630952
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910471229.6A Active CN110166692B (zh) | 2019-05-31 | 2019-05-31 | 一种提高摄像机自动聚焦准确率和速度的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110166692B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110611771A (zh) * | 2019-10-18 | 2019-12-24 | 浙江大华技术股份有限公司 | 聚焦位置的设置方法及装置、存储介质、电子装置 |
CN111654633A (zh) * | 2020-06-22 | 2020-09-11 | 四川酷比通信设备有限公司 | 一种升降马达的校准方法及其系统 |
CN111741218A (zh) * | 2020-06-28 | 2020-10-02 | 浙江大华技术股份有限公司 | 一种聚焦方法、装置、电子设备及存储介质 |
CN111999043A (zh) * | 2020-10-28 | 2020-11-27 | 三代光学科技(天津)有限公司 | 一种曲面透镜缺陷综合检测方法及系统 |
CN112099216A (zh) * | 2020-08-18 | 2020-12-18 | 宁波永新光学股份有限公司 | 一种电动荧光显微镜的调焦方法 |
CN113114947A (zh) * | 2021-04-20 | 2021-07-13 | 重庆紫光华山智安科技有限公司 | 对焦调节方法和装置、电子设备及存储介质 |
CN113329183A (zh) * | 2021-07-01 | 2021-08-31 | 珠海丽珠试剂股份有限公司 | 拍摄设备对焦方法、装置和多重液相芯片拍摄设备 |
CN113792708A (zh) * | 2021-11-10 | 2021-12-14 | 湖南高至科技有限公司 | 基于arm的远距离目标清晰成像系统及方法 |
CN113888509A (zh) * | 2021-09-30 | 2022-01-04 | 北京博清科技有限公司 | 一种图像清晰度的评价方法、装置、设备及存储介质 |
CN113960778A (zh) * | 2021-09-29 | 2022-01-21 | 成都西图科技有限公司 | 一种基于中频滤波的动态步长聚焦方法 |
CN114324278A (zh) * | 2021-12-29 | 2022-04-12 | 常州奥创医疗科技有限公司 | 一种基于自适应网格的荧光暗场自动对焦方法 |
CN114363532A (zh) * | 2021-12-02 | 2022-04-15 | 浙江大华技术股份有限公司 | 聚焦方法以及相关装置 |
CN115190247A (zh) * | 2022-09-07 | 2022-10-14 | 国仪量子(合肥)技术有限公司 | 消像散方法、消像散装置、电子设备和存储介质 |
EP4240000A4 (en) * | 2020-10-28 | 2024-03-27 | Vivo Mobile Communication Co., Ltd. | PHOTOGRAPHY PROCESSING METHOD AND APPARATUS, ELECTRONIC DEVICE AND READABLE STORAGE MEDIUM |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103217855A (zh) * | 2013-04-02 | 2013-07-24 | 金三立视频科技(深圳)有限公司 | 摄像机自动聚焦方法 |
CN103765276A (zh) * | 2011-09-02 | 2014-04-30 | 株式会社尼康 | 对焦评价装置、摄像装置及程序 |
-
2019
- 2019-05-31 CN CN201910471229.6A patent/CN110166692B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103765276A (zh) * | 2011-09-02 | 2014-04-30 | 株式会社尼康 | 对焦评价装置、摄像装置及程序 |
US20140232927A1 (en) * | 2011-09-02 | 2014-08-21 | Nikon Corporation | Focus estimating device, imaging device, and storage medium storing image processing program |
CN103217855A (zh) * | 2013-04-02 | 2013-07-24 | 金三立视频科技(深圳)有限公司 | 摄像机自动聚焦方法 |
Non-Patent Citations (1)
Title |
---|
田文利: "基于图像清晰度评价函数与自动取窗对焦的目标视觉调焦算法", 微电脑应用 * |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110611771B (zh) * | 2019-10-18 | 2021-04-30 | 浙江大华技术股份有限公司 | 聚焦位置的设置方法及装置、存储介质、电子装置 |
CN110611771A (zh) * | 2019-10-18 | 2019-12-24 | 浙江大华技术股份有限公司 | 聚焦位置的设置方法及装置、存储介质、电子装置 |
CN111654633A (zh) * | 2020-06-22 | 2020-09-11 | 四川酷比通信设备有限公司 | 一种升降马达的校准方法及其系统 |
CN111741218A (zh) * | 2020-06-28 | 2020-10-02 | 浙江大华技术股份有限公司 | 一种聚焦方法、装置、电子设备及存储介质 |
CN111741218B (zh) * | 2020-06-28 | 2021-06-15 | 浙江大华技术股份有限公司 | 一种聚焦方法、装置、电子设备及存储介质 |
CN112099216A (zh) * | 2020-08-18 | 2020-12-18 | 宁波永新光学股份有限公司 | 一种电动荧光显微镜的调焦方法 |
EP4240000A4 (en) * | 2020-10-28 | 2024-03-27 | Vivo Mobile Communication Co., Ltd. | PHOTOGRAPHY PROCESSING METHOD AND APPARATUS, ELECTRONIC DEVICE AND READABLE STORAGE MEDIUM |
CN111999043A (zh) * | 2020-10-28 | 2020-11-27 | 三代光学科技(天津)有限公司 | 一种曲面透镜缺陷综合检测方法及系统 |
CN111999043B (zh) * | 2020-10-28 | 2021-02-26 | 三代光学科技(天津)有限公司 | 一种曲面透镜缺陷综合检测方法及系统 |
CN113114947A (zh) * | 2021-04-20 | 2021-07-13 | 重庆紫光华山智安科技有限公司 | 对焦调节方法和装置、电子设备及存储介质 |
CN113329183B (zh) * | 2021-07-01 | 2022-08-09 | 珠海丽珠试剂股份有限公司 | 拍摄设备对焦方法、装置和多重液相芯片拍摄设备 |
CN113329183A (zh) * | 2021-07-01 | 2021-08-31 | 珠海丽珠试剂股份有限公司 | 拍摄设备对焦方法、装置和多重液相芯片拍摄设备 |
CN113960778A (zh) * | 2021-09-29 | 2022-01-21 | 成都西图科技有限公司 | 一种基于中频滤波的动态步长聚焦方法 |
CN113888509A (zh) * | 2021-09-30 | 2022-01-04 | 北京博清科技有限公司 | 一种图像清晰度的评价方法、装置、设备及存储介质 |
CN113792708A (zh) * | 2021-11-10 | 2021-12-14 | 湖南高至科技有限公司 | 基于arm的远距离目标清晰成像系统及方法 |
CN114363532A (zh) * | 2021-12-02 | 2022-04-15 | 浙江大华技术股份有限公司 | 聚焦方法以及相关装置 |
CN114324278A (zh) * | 2021-12-29 | 2022-04-12 | 常州奥创医疗科技有限公司 | 一种基于自适应网格的荧光暗场自动对焦方法 |
CN114324278B (zh) * | 2021-12-29 | 2024-05-24 | 常州奥创医疗科技有限公司 | 一种基于自适应网格的荧光暗场自动对焦方法 |
CN115190247A (zh) * | 2022-09-07 | 2022-10-14 | 国仪量子(合肥)技术有限公司 | 消像散方法、消像散装置、电子设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110166692B (zh) | 2024-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110166692B (zh) | 一种提高摄像机自动聚焦准确率和速度的方法及装置 | |
US20230050695A1 (en) | Systems and methods for capturing digital images | |
CN110248096B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
CN108322646B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
WO2019105154A1 (en) | Image processing method, apparatus and device | |
CN110149482A (zh) | 对焦方法、装置、电子设备和计算机可读存储介质 | |
CN106454145A (zh) | 一种具有场景自适应的自动曝光方法 | |
KR101664123B1 (ko) | 필터링에 기반하여 고스트가 없는 hdri를 생성하는 장치 및 방법 | |
CN105635565A (zh) | 一种拍摄方法及设备 | |
CN103237175B (zh) | 基于人眼视觉特性的数字相机自动曝光方法 | |
JP2010016743A (ja) | 測距装置、測距方法、測距プログラム又は撮像装置 | |
CN108600638B (zh) | 摄像机自动调焦系统及方法 | |
JP6824817B2 (ja) | 画像処理装置および画像処理方法 | |
JP2007199633A (ja) | 合焦検出装置 | |
JP2013141209A (ja) | 画像霧除去装置及び画像霧除去方法 | |
CN104184935A (zh) | 影像拍摄设备及方法 | |
CN113643214B (zh) | 一种基于人工智能的图像曝光校正方法及系统 | |
CN113391644B (zh) | 一种基于图像信息熵的无人机拍摄距离半自动寻优方法 | |
CN105592258A (zh) | 自动聚焦方法及装置 | |
WO2021109409A1 (zh) | 图像拍摄方法、装置、设备及存储介质 | |
CN114143472B (zh) | 图像曝光方法、装置、拍摄设备及无人机 | |
JP2021093694A (ja) | 情報処理装置およびその制御方法 | |
CN114125311A (zh) | 一种宽动态模式的自动切换方法及装置 | |
JP2017085337A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
CN110930326A (zh) | 图像、视频去雾方法以及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |