CN102387309A - 数字摄像机电动镜头自动聚焦控制系统 - Google Patents

Abstract

本发明是数字摄像机电动镜头自动聚焦控制系统，其特征是包括电动镜头部分和数字摄像机部分，其中电动镜头部分中的光学镜片的光学成像信号输出端与数字摄像机中的图像传感器的信号输入端相接，电动镜头部分中的马达与光学镜片相接，数字摄像机部分中的图像传感器的电子成像信号输出端与中央处理器的信号输入端相接，中央处理器的信号输出端与电动镜头部分中的马达的信号输入端相接。优点：通过标准的RS-485控制聚焦马达，实现通用电动镜头的自动聚焦。无需改变市场上标准的电动镜头的硬件和功能，无需修改相机的硬件设计，很容易通过像机固件的升级实现精确实时自动聚焦功能。提高了精度、降低了成本，符合数字相机发展的智能化趋势。

Description

数字摄像机电动镜头自动聚焦控制系统

技术领域

本发明涉及的是数字摄像机电动镜头自动聚焦控制系统，属于数字摄像机技术领域。

背景技术

近年来，随着国内外航天航空、防洪防暴、公路铁路、生态监测、森林防火、海事管理、油田厂矿监控需求的日益增加，对长焦距、大变倍电动镜头的需求也空前高涨，电动变焦镜头作为一个重要的部件，在视频监视设备中起着至关重要的作用。监控范围需求从几百米扩展到了几千米。随之对镜头焦距的需求也不断提高，从100mm到750mm或更长。焦距100mm以下的变焦镜头中，只要调整好摄像机和镜头后焦，几乎不需要对监控物体进行聚焦操作。但是随着焦距增长到750mm的今天，监控距离延伸到了几公里，焦距每一次变化、云台每变动一个角度，都要对画面聚焦。否则，无法获取清晰画面。解决长焦镜头聚焦问题的现有方法有两种：1）人工控制聚焦：对电动两/三可变镜头的人工控制再聚焦，在这么长的纵向距离上进行人工聚焦操作是一件非常困难的事情，不仅非常慢、很难跟踪目标，而且无法做到精确对焦，显然不仅增加工作量而且效率、效果都很差。2）特殊自动聚焦镜头：在镜头上增加自动对焦功能，如日本KOWA自动聚焦系列产品。但是自动聚焦型镜头需要专门的传感器如CMOS或CCD图像传感器和高速图像处理芯片，不仅给镜头带来复杂度提高和成本上升，也给镜头的可靠性、稳定性带来潜在问题。并且这样的镜头属于专门镜头，不属于工业市场上的标准镜头，价格非常昂贵，工业界并没有大规模推广。

发明内容

本发明提出的是数字摄像机电动镜头自动聚焦控制系统，其目的旨在克服现有技术所存的上述缺陷，采取像机软件/固件来运行信号处理和聚焦算法，通过标准的RS-485控制聚焦马达，实现自动聚焦。它不仅经济上非常有效、技术上更加容易、而且不需要改变市场上标准的两/三可变镜头的硬件和功能，也不需要修改相机的硬件设计，很容易通过像机固件的升级实现精确实时自动聚焦功能。

本发明的技术解决方案：其结构是包括电动镜头部分和数字摄像机部分，其中电动镜头部分中的光学镜片的光学成像信号输出端与数字摄像机中的图像传感器的信号输入端相接，电动镜头部分中的马达与光学镜片相接，数字摄像机部分中的图像传感器的电子成像信号输出端与中央处理器的信号输入端相接，央处理器的信号输出端与电动镜头部分中的马达的信号输入端相接，所述的数字摄像机中的中央处理器分析由图像传感器获取的实时视频图像中相邻像素间的强度差异，如果没有聚焦，则图像模糊、相邻像素相似度很高，中央处理器通过标准的RS-485控制聚焦马达移动镜头，再次查看图像分析相邻像素间的强度差异是增大还是变小，算法会搜索相邻像素间具有最大强度差异的马达位置，即最佳聚焦点。

本发明的优点：与采用标准电动镜头的人工聚焦方法相比节省了聚焦控制时间和工作量、提高了聚焦精度。而且本发明是闭环的带反馈控制系统，对云台解码器和马达控制精度要求很低。与采用特殊的自动聚焦特殊镜头方案比较，本发明的聚焦方法不依赖特殊高档镜头，不需要额外的聚焦传感器和复杂的控制电路，经济价值非常高。本发明适用于任何数字摄像机和通用电动镜头，通过标准485接口连线，不存在自动聚焦特殊镜头方案中镜头与像机的兼容性问题。现有的自动聚焦镜头，为节省运算量和硬件成本采用基于水平传感器自动聚焦系统通常对垂直细节有反应，容易聚焦带垂直纹理的目标，要聚焦水平纹理场景很困难。而本发明从摄像机图像传感器直接取两维像素信息，获得聚焦度量，可以容易的实现对水平和垂直细节均有很好的适应性。本发明利用像机上的CPU资源，通过固件升级就可以实现自动聚焦功能，无需硬件更改。成本低，维护方便，推广容易。本发明自动聚焦机制可以实现实时聚焦。对于500mm以上的长焦镜头，普通解码器预置精度不够，预置位置的细小偏差、跑焦，使得画面在调用预置位得不到清晰图像。自动聚焦机制可以实现实时聚焦。    

解决多目标自动跟踪问题，当图像中有位于不同距离的多目标时，且目标处于运动状态，由于景深不足，以及无法选择聚焦目标等原因，无法实现多目标自动跟踪。本发明提出的基于图像的摄像机自动聚焦算法容易对不同景物目标进行跟踪聚焦，很容易与现代智能相机的一些视频分析功能结合提供目标自动跟踪追拍的功能。采用基于图像分析的被动自动聚焦方法相对于现有的基于主动测距法调焦更精确、更直接，可以穿透玻璃、栅栏等，本发明以获得清晰图像作为聚焦度量，采用闭环控制收敛，从而确保调焦到摄取目标的清晰图像。

附图说明

图1是镜头、相机、云台与控制系统组成框图。

图2是基于图像处理的自动控制系统结构模型框图。

图3是基于实时视频图像分析的自动聚焦流程框图。

图4是 一种基于实时视频图像分析的自动聚焦算法实现框图。

图5是粗聚焦搜索控制过程框图。

图6是精确聚焦搜索控制过程框图。

图中的：fv:聚焦强度、fs:聚焦马达移动步长、fd:聚焦马达移动方向fva:最大聚焦强度、fvi:最小聚焦强度、fvf：次最小聚焦强度、ThF:聚焦性能阈值、ThF1>ThF2表示ThF1对应的聚焦、fva:粗聚焦最大聚焦强度、fvp:前一幅图像聚焦强度、fvc:当前图像聚焦强度、sd:马达已经扫描过的方向、RJ45网络通信、Zoom:变倍、Focus:聚焦、Iris：光圈、Up:上转、Down:下转、Left:左转、Right:右转、Auto:自动。

具体实施方式

对照附图1，镜头、相机、云台与控制系统组成结构包括动变焦镜头、网络摄像机、数字云台、云台解码器，其中电动变焦镜头连接在网络摄像机上，网络摄像机接在数字云台上，网络摄像机的第一信号输出端接云台解码器的信号输入端，网络摄像机的第二信号输出端接电动变焦镜头的第一信号输入端，云台解码器的第一信号输出端与电动变焦镜头的第二信号输入端相接，云台解码器的第二信号输出端与电动变焦镜头的第三信号输入端相接，云台解码器的第三信号输出端与数字云台的第一信号输入端相接，云台解码器的第四信号输出端与数字云台的第二信号输入端相接，云台解码器的第五信号输出端与数字云台的第三信号输入端相接，云台解码器的第六信号输出端与数字云台的第四信号输入端相接，云台解码器的第七信号输出端与数字云台的第五信号输入端相接。

利用现代数字摄像机本身已经拥有高端图像传感器和专门的高性能图像处理芯片，采取像机软件/固件来运行信号处理和聚焦算法，通过标准的RS-485控制聚焦马达，实现自动聚焦。它不仅经济上非常有效、技术上更加容易、而且不需要改变市场上标准的两/三可变镜头的硬件和功能，也不需要修改相机的硬件设计，很容易通过像机固件的升级实现精确实时自动聚焦功能。人工聚焦方法中为了节省聚焦控制时间，常常通过设定预置位的方法降低场景变换需要调焦的工作量。但是这种方法聚焦精度非常依赖于云台解码器运作精度和镜头马达的控制精度。而本发明是闭环的带反馈的控制系统对云台解码器和马达控制精度要求很低。与自动聚焦特殊镜头方案比较，本发明的聚焦方法不依赖特殊高档镜头，不需要额外的聚焦传感器和复杂的控制电路，经济价值非常高。传统自动聚焦特殊镜头方案采用的是特殊镜头，它与通用像机和云台的接口兼容常常会有问题，本发明采用标准485接口，与第三方镜头的兼容没有任何问题。本发明利用像机上的CPU资源，通过固件升级就可以实现自动聚焦功能，无需硬件更改。成本低，维护方便，推广容易。本发明自动聚焦机制可以实现实时聚焦。对于500mm以上的长焦镜头，普通解码器预置精度不够，预置位置的细小偏差、跑焦，使得画面在调用预置位得不到清晰图像。自动聚焦机制可以实现实时聚焦。现有的自动聚焦镜头，为节省运算量和硬件成本采用基于水平传感器自动聚焦系统通常对垂直细节有反应，容易聚焦带垂直纹理的目标，要聚焦水平纹理场景很困难。而本发明从摄像机图像传感器直接取两维像素信息，获得聚焦度量，可以容易的实现对水平和垂直细节均有很好的适应性。解决多目标自动跟踪问题，当图像中有位于不同距离的多目标时，且目标处于出运动状态，由于景深不足，以及无法选择聚焦目标等原因，现有方法不能实现多目标自动跟踪。本发明提出的基于图像分析的摄像机自动聚焦系统容易与现代智能相机的一些视频分析功能结合提供目标自动跟踪追拍的功能。因为对于不同距离的多目标场景无法做到所有目标都能聚焦到同一成像面上。我们可以通过摄像机软件分析设定场景中需要聚焦的目标范围，根据在此范围内的像素计算聚焦度量值，传输到闭环控制回路进行算法搜索聚焦，这样就可以确保该范围内的目标是清晰的。再有，有些场景中的目标是运动的，如公路上的汽车，需要动态的跟踪，目标的位置只有像机知道，容易通过软件设定聚焦范围，实现目标跟踪。

对照附图2，基于图像处理的自动控制系统的结构包括电动镜头部分和数字摄像机部分，其中电动镜头部分中的光学镜片的光学成像信号输出端与数字摄像机中的图像传感器的信号输入端相接，电动镜头部分中的马达与光学镜片相接，数字摄像机部分中的图像传感器的电子成像信号输出端与中央处理器的信号输入端相接，央处理器的信号输出端与电动镜头部分中的马达的信号输入端相接。

所述的马达跟光学镜片属于标准电动镜头的组件，图像传感器和中央处理器是数字摄像机的主要组件，数字摄像机中的中央处理器分析由传感器获取的实时视频图像中相邻像素间的强度差异。如果没有聚焦，则图像模糊、相邻像素相似度很高。中央处理器通过标准的RS-485控制聚焦马达移动镜头，再次查看图像分析相邻像素间的强度差异是增大还是变小，聚焦算法会搜索相邻像素间具有最大强度差异的马达位置，即最佳聚焦点，其中算法流程如图4。

对照图3. 基于实时视频图像分析的自动聚焦流程：自动聚焦控制采用独立的处理器线程实现。平时自动聚焦系统处于待机状态，当相机收到控制云台转动和镜头变倍的命令时，处理器触发自动聚焦线程，启动聚焦处理和控制算法，处理器根据图像传感器获得的图像进行分析，通过闭环算法收敛控制输出聚焦信号经过RS-485接口控制镜头聚焦马达调节镜片位置实现聚焦。 

聚焦完成后在图像传感器上可以看到清晰图像，系统恢复待机状态，让出处理器资源供用于其它信号处理使用。同样，当处理器检测到场景中有目标运动时，可以触发聚焦过程，通过数字相机中央处理器进行数字信号处理，获得聚焦度量值，通过闭环算法收敛控制聚焦马达运行到最佳聚焦位置，聚焦运算自动停止，让出处理器运算资源供其他处理算法使用，等待下一次触发聚焦动作。一般聚焦过程对前后焦距位置不能一步部确定，需要来回移动，聚焦收敛比较慢，但是采用自学习的方法训练出调焦方向、步长、动态阈值等参数，可以缩短调焦过程，提高聚焦性能一种数字摄像机电动镜头自动聚焦控制系统实现过程：PTZ等命令触发自动聚焦模块，经图像传感器采集光电转换后的视频信号，进行边缘分析或其他聚焦度量算法分析聚焦度量值，通过粗聚焦和精聚焦两步收索聚焦调节过程实现自动聚焦。

对照图4，一种基于实时视频图像分析的自动聚焦算法实现框图。处理器首先根据图像分析获取聚焦强度与以前聚焦调节中获得的聚焦强度经验阈值比较，如果当前聚焦强度大于该阈值，直接进入及调节算法流程。否则，首先经过粗调节流程，满足粗调节收敛条件后再进入精调节算法流程。满足精调焦收敛调节后即本次自动聚焦过程结束。

调焦控制是单方向调节聚焦马达摩托，分析图像，如果聚焦度量变大，继续向该方向调节聚焦摩托，否则相反方向，当聚焦度量达到一个“动态的阈值”，收敛后聚焦运算自动停止，让出CPU资源供其他处理算法使用，等待下一次PTZ触发聚焦动作。因场景中被摄景物离拍摄相机的距离时刻发生变化，故快速的聚焦十分必要。聚焦速度的提高取决于聚焦评价函数的选择。

聚焦评价函数用来衡量图像聚焦程度。由于图像中噪声、冗余信息及其他干扰因素的影响,选择的评价函数应具有较强的抗噪声性和良好的唯一性、单调性.完全聚焦的图像比离焦的图像包含更多的细节和信息量, 这是基于图像的被动法聚焦控制实现的前提, 评价函数返回图像是否聚焦度量值, 对应于评价函数最大值处的位置参量被认为是最佳像面的位置参量。一幅图像是否聚焦, 反映在空域上是图像的边界及细节部分是否清晰, 在频域上则是图像的高频分量是否丰富。前者可以通过对图像进行微分来获取图像的边缘及细节信息, 后者可以对图像进行频域变换来获取图像的频谱信息。聚焦评价函数应具有无偏性、单峰性、灵敏度高、 抗噪声、低运算复杂度等特性。

对照附图5. 粗聚焦调节过程，首先设定起始步长fs，起始马达移动方向fd，最大聚焦强度fva为0。预设最小和次最小聚焦强度fvf和fvi为无穷大。移动聚焦马达，根据图像分析计算当前聚焦强度fv，更新最大、最小和次最小聚焦强度。如果马达没有达到调节极限，比较最大聚焦强度和次最小聚焦强度如果达到一定阈值，粗聚焦完成，否则继续移动聚焦马达，再次调节。

如果马达移动到单方向极限，判别是否两个方向是否都已经调节过。如果马达两个方向都扫描收索过，则把马达移动到对应于最大聚焦强度的位置，完成粗聚焦。否则，查看马达移动步长，如果步长小于一定阈值，粗聚焦完成。最后一种情况是，反转马达移动方向，降低马达移动步长，移动马达，进入下一轮调节。直至收索收敛，完成粗聚焦。

 对照附图6. 精聚焦调节过程。首先设定起始步长fs，起始马达移动方向fd，马达已经扫描过的方向为0。设预设前一幅图像聚焦强度为最大粗聚焦强度fva。调节聚焦马达，计算当前聚焦强度fvc，比较当前聚焦强度与前一幅图像聚焦强度，如果聚焦强度变大，把当前聚焦强度作为前一幅图像聚焦强度，进入下一轮调节。否则，反转聚焦马达，同时将已马达已扫描方向加1。如果马达已扫描方向为2，说明两个方向都已经扫描搜索过，精聚焦完成。否则把当前聚焦强度作为前一幅图像聚焦强度，进入下一轮调节。循环调节搜索，直到收敛完成，实现精聚焦过程。

Claims (2)

1.数字摄像机电动镜头自动聚焦控制系统，其特征是包括电动镜头部分和数字摄像机部分，其中电动镜头部分中的光学镜片的光学成像信号输出端与数字摄像机中的图像传感器的信号输入端相接，电动镜头部分中的马达与光学镜片相接，数字摄像机部分中的图像传感器的电子成像信号输出端与中央处理器的信号输入端相接，中央处理器的信号输出端与电动镜头部分中的马达的信号输入端相接，所述的数字摄像机中的中央处理器分析由图像传感器获取的实时视频图像中相邻像素间的强度差异，如果没有聚焦，则图像模糊、相邻像素相似度很高，中央处理器通过标准的RS-485控制聚焦马达移动镜头，再次查看图像分析相邻像素间的强度差异是增大还是变小，算法会搜索相邻像素间具有最大强度差异的马达位置，即最佳聚焦点；利用数字摄像机通过实时视频图像分析实现对通用变焦镜头的自动聚焦流程。

2.根据权利要求1所述的数字摄像机电动镜头自动聚焦流程，其特征是自动聚焦控制采用独立的处理器线程实现，平时自动聚焦系统处于待机状态，当相机收到控制云台转动和镜头变倍的命令时，处理器触发自动聚焦线程，启动聚焦处理和控制算法，处理器根据图像传感器获得的图像进行分析，通过闭环算法收敛控制输出聚焦信号经过RS-485接口控制镜头聚焦马达调节镜片位置实现聚焦；聚焦完成后在图像传感器上可以看到清晰图像，系统恢复待机状态，让出处理器资源供用于其它信号处理使用；同样，当处理器检测到场景中有目标运动时，可以触发聚焦过程，通过数字相机中央处理器进行数字信号处理，获得聚焦度量值，通过闭环算法收敛控制聚焦马达运行到最佳聚焦位置，聚焦运算自动停止，让出处理器运算资源供其他处理算法使用，等待下一次触发聚焦动作； PTZ命令触发自动聚焦模块，经图像传感器采集光电转换后的视频信号，进行边缘分析聚焦度量值，通过粗聚焦和精聚焦两步收索聚焦调节过程实现自动聚焦。

Images