CN108152869A - 一种适于仿生视觉快速调焦的小步长调焦方法 - Google Patents

Abstract

本发明提供了一种适于仿生视觉快速调焦的小步长调焦方法，所述方法包括：建立小步长细调清晰度评价函数，利用Sobel算子提取图像水平方向和垂直方向的梯度，计算梯度的平方和；采用调焦搜索方法对小步长细调清晰度评价函数的极值点进行搜索。本发明有效排除正焦点附近区域内的局部极值和干扰带来的误判断，使系统能准确可靠地实现小步长精细调焦。

Description

一种适于仿生视觉快速调焦的小步长调焦方法

本申请是申请日为2016年10月14日，申请号为201610895981.X，发明名称为一种基于液体透镜的仿生视觉快速调焦方法的分案申请。

技术领域

本专利涉及一种适于仿生视觉快速调焦的小步长调焦方法，属于自动调焦技术领域。

背景技术

自动调焦成像系统作为仿生视觉的关键技术应具有抗干扰性好、精度较高、稳定性强及实时性好的特点，它已经广泛应用于相机成像、机器视觉、数字监控以及遥感雷达等领域。尤其是基于主动式测距的自动调焦技术已经发展成熟，但随着集成电路和计算机技术的发展，图像采集和图像处理技术逐步成熟，基于被动式的自动调焦技术也进入快速发展。但是这两种方式各自的不足也很明显，主动式测距法由于精度、体积限制了它在仿生视觉领域的应用，被动式图像处理法则会因为外部环境的多样性及噪声干扰无法确保每次系统的调焦效果为最佳。这些局限性都限制了两种方法的单独应用。而且，传统的仿生视觉系统多是基于工学方法，利用摄像机获得目标图像进行处理。但这种摄像机镜头一般采用定焦镜头，不能够实时调节焦距，也不能对目标物体进行放大及缩小的观测，变焦透镜则可以实现这样的需求。变焦镜头从组成方式及工作原理上可以分为传统变焦距镜头以及液体变焦镜头。传统镜片组合式变焦镜头就是利用改变透镜组之间的间隔来实现焦距的变化，这种方式必须采用特殊驱动电机对独立组件的机械位置提供精准的控制，并且镜头内多个组件的动作必须保证同步，这对系统的机械结构提出了苛刻的要求，移动透镜组改变焦距时，往往也会伴随着像面的移动。因此，还需对像面的移动进行补偿。近年来，随着变焦镜头不断朝着微型化、智能化、稳定化、低功耗、成像质量高的方向发展，这种传统的调焦方式已经很难满足实际需求。

液体变焦镜头是指通过模拟人眼晶状体变焦功能，以不同驱动方式改变透镜表面曲率，从而实现透镜焦距大小的变化。它避免了传统调焦系统结构复杂、易磨损和寿命低等缺点，可以实现传统光学元部件难以完成的功能，推动调焦系统向小型化、灵巧化发展，可应用于手机、相机、摄像、显微镜、医疗领域、光学测试设备、光通信和光信息处理、仿生视觉等领域。可以说，随着液体镜头的不断发展，它的应用将会更加广泛。

2009年，中国科学院研究生院张薇等以液体透镜(包括折衍混合的液体透镜)为核心元件,设计了可调焦内窥系统、二元变焦内窥系统和连续变焦手机镜头三种不同类型的微型光学系统,在满足系统尺寸及使用功能的基础上,初步实现了系统中无移动组件的调焦、变焦功能。2012年，中国科学院大学张鹰等利用液体透镜设计了一种长焦距变焦系统，该系统可实现2.5倍的可见光变焦，分利用液体透镜变焦范围的基础上有效缩短了系统尺寸，系统总长仅135mm，全视场MTF值高于0.5。2015年，徕卡显微系统(上海)有限公司张祥翔等利用Optotune公司的液体变焦透镜作为显微镜自动调焦装置。并对液体变焦透镜在生物显微镜上的调焦功能进行了实验验证，并获取了系统在不同焦距的图像。实验结果表明，液体变焦透镜可以使系统的景深扩展1mm以上，并且保持了良好的成像质量。同年，上海理工大学潘逸君使用双液体透镜组成变焦系统，得到了一个视场60°，变倍比6.2倍的变焦系统。但以上应用主要依靠人眼观测及主观意识来判断图像清晰度，并没有使系统实时性、精确性增强，也凸显了主动式调焦方法的局限性及不足。

发明内容

本申请的目的在于提供了一种基于液体透镜的仿生视觉快速调焦方法，包括步骤：a)对前方固定距离目标物体进行标定；b)通过标定将激光位移传感器测得的数值进行分析；c)获得仿生视觉成像系统不同工作距离与液体变焦透镜所需调节信息之间的曲线关系，得到大步长调焦方程；d)启动成像装置控制系统；e)控制系统根据所述大步长调焦方程，驱动液体变焦镜头调节焦距，使系统成像位置快速调整到预正焦点；f)系统采集图像；g)判断采集图像的清晰度是否符合标准，若不符合，在预正焦点附近采用小步长调焦算法，继续采集图像；h)直至获取到符合标准的清晰图像，调焦结束。

优选地，所述大步长调焦方程由物距-焦距-控制电流三者之间的关系决定。

优选地，所述调焦算法由基于Sobel算子的灰度梯度函数结合改进的爬山搜索策略组成。

优选地，所述液体变焦透镜体积尺寸为45×25.5mm-55×35.5mm，响应时间为1.5ms-3ms。

优选地，所述液体变焦透镜为液体填充方式。

优选地，所述液体填充方式是使用光学透明弹性薄膜将液体限制在腔体当中，通过液体的压力来控制薄膜面形变化。应当理解，前述大体的描述和后续详尽的描述均为示例性说明和解释，并不应当用作对本发明所要求保护内容的限制。

附图说明

参考随附的附图，本发明更多的目的、功能和优点将通过本发明实施方式的如下描述得以阐明，其中：

图1示出了根据本发明的调焦方法的步骤流程图；

图2示出了根据本发明的调焦方法的液体透镜为液体填充方式；

图3为光学成像简易模型；

图4示出了根据本发明的调焦方法的大步长调焦搜索过程和普通调焦搜索过程对比图；

图5示出了根据本发明的调焦方法的分别应用到的灰度梯度函数、频谱函数、统计学函数、灰度熵函数对同一组图片数据进行计算的评价函数曲线图；

图6示出了根据本发明的调焦方法的小步长调焦实现过程；

图7示出了根据本发明的调焦方法的大步长调焦方程式得出方法实验原理图；

图8示出了根据本发明的调焦方法的用于得出大步长调焦方程式的拟合曲线图；

图9示出了根据本发明的最后仿生视觉成像系统集成大步长调焦方程式及小步长改进调焦算法，对目标物体成像，实时采集图像效果图，其中：图9(a)为系统初始化时处于深度离焦状；图9(b)为达到预正焦点状态；图9(c)为确定正焦点状态。

具体实施方式

通过参考示范性实施例，本发明的目的和功能以及用于实现这些目的和功能的方法将得以阐明。然而，本发明并不受限于以下所公开的示范性实施例；可以通过不同形式来对其加以实现。说明书的实质仅仅是帮助相关领域技术人员综合理解本发明的具体细节。

在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。

本专利采用基于液体变焦透镜并将主动式和被动式调焦方法相结合的技术，实现仿生视觉系统快速、准确的自动调焦，并清晰成像。

如图1所示，为根据本发明的调焦方法的步骤流程图，步骤如下：

步骤101：对前方固定距离目标物体进行标定；

步骤102：通过标定将位移传感器测得的数值进行分析；

步骤103：获得仿生视觉成像系统不同工作距离与液体变焦透镜所需调节信息之间的曲线关系，得到大步长调焦方程；

步骤104：启动成像装置控制系统；

步骤105：控制系统根据所述大步长调焦方程，驱动液体变焦镜头调节焦距，使系统成像位置快速调整到预正焦点；

步骤106：系统采集图像；

步骤107：判断采集图像的清晰度是否符合标准，若不符合，在预正焦点附近采用小步长调焦算法，继续采集图像；

步骤108：直至获取到符合标准的清晰图像，调焦结束。

本发明采用激光位移传感器与液体变焦透镜作为系统调焦核心元件。激光位移传感器具有：(1)高精度；激光有直线度好的优良特性，激光位移传感器相对于我们已知的超声波传感器有更高的精度，可达±1mm。(2)工作稳定；激光传感器是利用激光技术进行测量的传感器。它由激光器、激光检测器和测量电路组成，激光传感器是新型测量仪表，它具有抗光、电干扰能力强的特点。而液体变焦镜头具有：(1)体积小：它的体积为尺寸48×30.5mm，(2)响应速度快：动态响应时间为2.5ms，(3)变焦平滑、成像质量高：只需通过电流或电压驱动信号来控制液体的折射率或镜头表面曲率，从而实现焦距的调节。相比于目前常见的基于传统组合变焦镜头的主动式调焦或被动式调焦的仿生视觉实现手段，本文中采用激光位移传感器及液体变焦透镜组合，具有更灵活的调节空间，避免了主动测距法时效性不足以及基于图像的被动调焦方法可能出现的评价函数局部极值点误判。为基于液体透镜的仿生视觉系统提供了一种全新的快速调焦方法。

事实上，有关液体透镜的研究可归结为两大类：一类是渐变折射率透镜，另一类是曲率变化透镜，后者主要是基于电润湿效应及液体填充方式，本文使用的Optotune液体透镜为液体填充方式，如图2所示。液体填充方式是使用光学透明弹性薄膜将液体限制在腔体当中，通过液体的压力来控制薄膜面形变化，透镜的光焦度(焦距倒数)由液体表面曲率和液体-空气两者折射率差来决定。

式中，f为透镜焦距，r是透镜表面的曲率半径，n为液体的折射率。可变形弹性薄膜用于限制光学液体并在液体腔与外界的压力差下产生所需的面形。当光学液体被注入到液体腔时将产生一个正压力，弹性薄膜受到压力差作用将向外凸起，形成凸透镜；相反地，当光学液体从液体腔被抽出时，将产生负压力形成凹透镜，通过液体的进出控制腔内的压力，从而实现焦距的调节。

本专利首先将基于激光位移传感器的主动式调焦结果作为预正焦点的判断准则，然后利用基于Sobel算子的灰度梯度评价函数并结合改进的爬山搜索算法对焦距进行精细调整。

基于液体透镜的仿生视觉快速调焦方法中的大步长粗调焦过程关键在于液体变焦透镜的实时控制，故本文的大步长粗调焦实现过程需建立物距-焦距-控制电流三者之间的关系。

图3为光学成像简易模型。P为目标物体，P′为物体P经透镜成像的聚焦像，此透镜焦距为f，P点与透镜中心的垂直距离为u,聚焦像点P′距透镜中心的距离为v,透镜光学成像公式如下：

目标物体在成像面为一幅聚焦像，根据(2)式即可得物距为：

由上式可知物距与系统的像距、焦距有关。液体变焦透镜的控制方式为电流驱动，透镜内部含有光学补偿透镜组，经理论分析及研究，可经过实验得到物距与液体透镜驱动电流之间的关系曲线，通过实时的物距信息，驱动液体透镜使其焦距进行变化，快速达到系统预正焦点，从而对不同远近的目标物体进行成像。这种大步长调焦方法能避免远离正焦点区域局部极值所造成的干扰以及全局基于图像的自动调焦算法中需进行多次评价函数判别确定系统预正焦点存在的时效性不足等缺点，极大的提高了预正焦点搜索速度，两种方式的对比如图4。

当系统焦距到达预正焦点之后，需要根据实时成像清晰度对焦距进行小步长细调焦过程。基于图像的自动调焦算法大致可以分为灰度梯度函数、灰度熵函数、频谱类函数和统计学函数等。

图5是上述几种方法对一组图片(21帧)数据进行计算的评价函数曲线图，其中横坐标为图像序列，纵坐标为评价函数归一化值。通过对比图可知，四种模型均可实现评价功能，但第一种模型评价效果较好。其中，灰度熵函数易受外界环境的影响，灵敏度低，容易引起焦点的误判；频谱函数灵敏度高，但计算量大，难以满足实时性要求；统计学函数则是通过分析图像的灰度值变化情况来区分已对焦的图像与未对焦的图像，对环境稳定性要求较高；相比而言，清晰的图像比模糊的图像具有更丰富的边缘，而正焦的图像比离焦的图像清晰，因此可用灰度梯度函数来提取图像的边缘，而且，梯度函数易于实现，实时性比前三者好，可根据不同的调焦范围选择不同的梯度函数。其中，基于Sobel算子的灰度梯度函数峰顶宽度相对较窄,灵敏度高,稳定性好,适合于小范围精确调焦，本文采用这种方式建立小步长细调清晰度评价函数,它先利用Sobel算子提取图像水平方向和垂直方向的梯度，再计算梯度的平方和。由于Soble算子的权值2通过增加中心点的重要性而实现某种程度的平滑效果，因此该函数不仅能较好地提取图像细节信息，还具有一定的噪声抑制能力，其具体函数表达式为(4)。

式中f_x(x，y)和f_y(x，y)分别表示图像矩阵与水平方向和垂直方向Sobel算子的卷积，表示卷积符号。

其中w₁为水平模板，w₂为垂直模板

事实上，图像局部清晰度评价函数曲线理论上应该成单峰性。系统根据实时图像信息，采用调焦搜索方法对评价函数极值点进行搜索，常用的调焦搜索方法有：斐波那契(Fibonacci)搜索法、黄金搜索法、函数逼近搜索法以及爬山搜索法。本发明用一种改进的爬山搜索算法小步长精细调整系统焦距，此搜索算法的实现过程为：根据液体变焦透镜驱动电流最小步长从预正焦A点沿着调焦曲线向上(或向下)运动搜索评价函数极值点，当出现连续三个评价值下降则认为第一个下降点的前一个位置为最佳极值点(B点)，从而确定正焦点所对应的电流值，实时获取最佳清晰图像。这种方法无需在全局内对正焦点进行搜索判断，同时可避免在两个调焦小步长内出现的局部峰值，有效排除正焦点附近区域内的局部极值和干扰带来的误判断，使系统能准确可靠地实现小步长精细调焦，过程如图6所示。

本专利所用实验装置主要由一个液体变焦透镜，一个200万像素工业相机，12mm定焦镜头，一个C/S转接环，一个激光位移传感器以及一台PC机组成。装置中的液体变焦透镜(EL-10-30-Ci-VIS-LD-MV)由瑞士Optotune公司提供，该镜头调焦范围为-1.5to+3.5dpt,可透过波长为400-700nm，12mm定焦镜头(B5M12028)及C/S转接环(AD04M)则有德国Lensation公司提供，定焦镜头参数：视场角32.8度，工作距离30mm-infinity，工业相机(MU3E200M/C)为凯视佳公司产品，该相机传感器属于CMOS类型、逐行扫描，帧率79fps，靶面尺寸1/1.8英寸，分辨率1600×1200。

本专利具体实现过程是：首先，通过精确的标定实验将激光位移传感器测得的各项数值进行分析处理，得出仿生视觉成像系统不同工作距离与液体变焦透镜所需调节信息之间的曲线关系，进一步得到曲线拟合方程式，调焦过程中利用此方程式使系统大步长快速调整到预正焦点。然后，在预正焦点附近利用基于图像清晰度评价函数结合小步长极值搜索算法，使系统焦距快速达到正焦点，获取实时清晰图像。

其中大步长调焦方程式得出方法实验原理如图7所示。实际准确性依赖标定实验中物距步长值以及驱动电流刻度值的选取，本标定实验物距步长为50mm、驱动电流刻度为0.07mA，具体实验数据如下表。

通过对实验数据分析及处理，可得到图8所示拟合曲线，并得到以下大步长调焦控制方程。

f(x)＝p₁*x3+p₂*x²+p₃*x+p₄ (7)

式中f(x)为驱动电流大小，x为系统可变工作距离，p₁、p₂、p₃、p₄分别为常数。(本标定实验中参数P₁＝-2.16e-0.8,P₂＝0.0001327,P₃＝-0.2899,P₄＝365.7)，针对基于液体变焦透镜的仿生视觉成像系统，在实验中通过上述控制方程可使系统快速到达预正焦点，提高系统调焦时效性。

最后仿生视觉成像系统集成大步长调焦方程式及小步长改进调焦算法，对前方650mm目标物体成像，实时采集图像效果如图9所示。

由实际成像效果可知，系统初始化时处于深度离焦状态，如图9(a)；之后通过大步长粗调控制方程得到对应的液体变焦透镜驱动电流，发送指令使调焦执行机构快速达到预正焦点，如图9(b),由图像可知预正焦点时的实际成像效果已经非常接近正焦点。最后，系统采用基于图像的小步长精细调焦算法确定正焦点，如图9(c)。

最后，通过实验对不同距离的目标物体成像并验证快速调焦方法的实时性，本专利提出的仿生视觉快速调焦方法在调焦过程中对同一场景不同模糊程度的24帧图像处理时间可以达到257ms，比大多数运用传统机械调焦方式和全局基于数字图像的调焦方式有了很大的提升，提高了系统的工作效率，满足实时成像的需求。

结合这里披露的本发明的说明和实践，本发明的其他实施例对于本领域技术人员都是易于想到和理解的。说明和实施例仅被认为是示例性的，本发明的真正范围和主旨均由权利要求所限定。

Claims (1)

1.一种适于仿生视觉快速调焦的小步长调焦方法，其特征在于，所述方法包括：

建立小步长细调清晰度评价函数，利用Sobel算子提取图像水平方向和垂直方向的梯度，计算梯度的平方和，其中，小步长细调清晰度评价函数通过下式表达：

式中f_x(x，y)和f_y(x，y)分别表示图像矩阵与水平方向和垂直方向Sobel算子的卷积，表示卷积符号；

其中W₁为水平模板，W₂为垂直模板

采用调焦搜索方法对小步长细调清晰度评价函数的极值点进行搜索，包括：

根据液体变焦透镜驱动电流最小步长从预正焦A点沿着调焦曲线向上或向下运动搜索评价函数极值点，当出现连续三个评价值下降则认为第一个下降点的前一个位置为最佳极值点，从而确定正焦点所对应的电流值，实时获取最佳清晰图像。