CN109862270A - 基于fpga红外视频流的实时自动调焦方法 - Google Patents

Abstract

本发明揭示了基于FPGA红外视频流的实时自动调焦方法，基于自动调焦设备实现，包括红外镜头、直流驱动电机组、驱动板、视频采集模块、视频存储模块、及FPGA处理模块，FPGA处理模块通过对视频数据的清晰度判断从而产生调焦驱动指令，通过驱动板响应实现对直流驱动电机组的驱动，从而实现了对红外镜头的自动调焦。本发明通过FPGA能实现对实时图像的清晰度计算，从而获得对红外镜头的调节量，能跟踪目标自动调焦，确保画面清晰度。根据目标的变换速度来调节图像提取的帧间隔数，从而提高了FPGA对实时图像的处理速度，满足对高速目标的跟踪摄像需求。

Description

基于FPGA红外视频流的实时自动调焦方法

技术领域

本发明涉及一种调焦方法，尤其涉及基于FPGA红外视频流的实时自动调焦方法，属于实时自动调焦方法的技术领域。

背景技术

随着计算机技术和视频图形图像技术的飞速发展，红外视频处理技术在军事领域的视频监测系统中得到广泛的应用。

由于被检测物体通常处于运动状态，运动的距离超出镜头的景深时，图像往往变得模糊不清，处于离焦状态，影响后续的目标识别和检测。

传统的红外自动调焦方法和设备基本都是针对相对静止的物体和场景，无法对大尺度，高速度运行的物体进行实时地自动调焦。

发明内容

本发明的目的是解决上述现有技术的不足，针对传统红外设备无法针对大尺寸及高速运行物体进行实时自动调焦的问题，提出基于FPGA红外视频流的实时自动调焦方法。

为了达到上述目的，本发明所采用的技术方案为：

基于FPGA红外视频流的实时自动调焦方法，基于自动调焦设备实现，

所述自动调焦设备包括红外镜头、用于红外镜头自动调焦的直流驱动电机组、用于直流驱动电机组转动控制的驱动板、用于红外视频图像采集的视频采集模块、用于数据存储的视频存储模块、及用于对红外视频图像进行处理并向所述驱动板发出驱动指令的FPGA处理模块，

其中直流驱动电机组包括用于对红外视场调节的第一直流驱动电机及用于对红外调焦调节的第二直流驱动电机。第一直流驱动电机即用于调节视窗大小，而第二直流驱动电机即用于调节镜头对焦。

所述实时自动调焦方法包括以下步骤：

S1红外镜头调焦复位、FPGA处理模块复位；

S2判断红外镜头是否处于聚焦状态，如果是，直接显示，如果不是，进行下一步骤；

S3根据红外视频的帧率与红外视频中目标物体的运动状态，重置帧间隔数；

S4在红外视频中根据帧间隔数，提取一组图像数据；

S5对提取图像组中的图像分别进行去噪声处理；

S6计算图像组中图像的拉伸系数；

S7根据目标位置选择调焦窗口；

S8对调焦窗口位置处的图像分别进行边缘提取；

S9通过提取的边缘数据计算图像清晰度评价函数值，及存储评价函数值的数组；

S10判断数组中是否出现单峰极值，如果否，回到步骤S3，如果出现，进行下一步骤；

S11通过评价函数值，拟合出单峰曲线，然后通过爬坡算法查找最佳点，并控制红外镜头调焦到该位置；

S12判断步骤S11中的位置点是否为最佳位置点，如果否，回到步骤S11，如果是，进行下一步骤；

S13红外图像显示；

S14判断显示红外图像是否清晰，如果否，回到步骤S3，如果是，回到步骤S13。

本发明的有益效果主要体现在：

1.通过FPGA能实现对实时图像的清晰度计算，从而获得对红外镜头的调节量，能跟踪目标自动调焦，确保画面清晰度。

2.根据目标的变换速度来调节图像提取的帧间隔数，从而提高了FPGA对实时图像的处理速度，满足对高速目标的跟踪摄像需求。

附图说明

图1是本发明基于FPGA红外视频流的实时自动调焦方法的流程示意图。

图2是本发明中对焦搜索方法的示意图。

具体实施方式

本发明提供基于FPGA红外视频流的实时自动调焦方法。以下结合附图对本发明技术方案进行详细描述，以使其更易于理解和掌握。

首先对自动调焦设备进行说明，其包括红外镜头、用于红外镜头自动调焦的直流驱动电机组、用于直流驱动电机组转动控制的驱动板、用于红外视频图像采集的视频采集模块、用于数据存储的视频存储模块、及用于对红外视频图像的进行处理并向所述驱动板发出驱动指令的FPGA处理模块，

其中直流驱动电机组包括用于对红外视场调节的第一直流驱动电机及用于对红外调焦调节的第二直流驱动电机。第一直流驱动电机即用于调节视窗大小，而第二直流驱动电机即用于调节镜头对焦。更细化地，红外镜头具备视场调节组件和调焦组件，而第一直流驱动电机即用于控制视场调节组件，第二直流驱动电机即用于控制调焦组件。

另外，还包括第一编码器和第二编码器，第一编码器用于实时记录红外镜头的视场调节位置，第二编码器用于实时记录红外镜头的焦距调节位置。

对本案的硬件设计进行具体说明：

图像处理的核心器件为FPGA，FPGA的选型需要满足非均匀校正、盲元补偿、图像信号增强等算法的复杂度和图像处理速度的要求，结合FPGA的片内逻辑资源，同时控制设计风险、设计成本的考虑，决定选用5CEFA7F27I7N。

存储电路主要用于数字信号处理过程中的一些图像数据及算法的参数，本设计中选用1片LPDDR2、2片SRAM和一片SPI FLASH。

LPDDR2选用MT42L64M32D1KL-25芯片，该芯片采用+1.8V供电，核电压+1.2V，容量64M×32bit，时钟周期2.5ns，时钟频率400MHz，数据读取速率800MHz,168脚封装，封装尺寸11.5mm×13mm×1mm，工作温度为-400C～1050C。

SRAM选用IS61WV102416BLL-10MLI芯片，该芯片+2.4V～+3.6V供电，容量1M×16bit，48 mini BGA封装，封装大小9mm×11mm×1.2mm，工作温度为-400C～850C。

SPI FLASH选用W25Q128FVEIG芯片，该芯片+2.7V～+3.6V供电，容量128Mbit，104MHz时钟频率，50MB/S数据传输速率，封装尺寸8mm×6mm×0.8mm，工作温度为-400C～850C。

视频编码电路是用于将FPGA处理后的数字图像信号转换为PAL信号输出。PAL编码芯片选用ADV7123KST140芯片，ADV7123KST140是一款CMOS，330MHz三组10bit高速视频DAC芯片，该芯片3.3V或5V供电，输入采用TTL电平，封装尺寸9mm×9mm×1.6mm，工作温度为-400C～850C。

聚焦电机驱动部分的硬件设计：

电机控制电路接收成像电路计算的自动聚焦参数，根据自动聚焦参数进行调焦，使画面清晰；同时电机控制电路也可根据上位机的指令实现视场变倍、手动聚焦等功能。

电机控制电路使用C8051F121芯片、NJM2670芯片、MAX6605MXK芯片、MAX6033AAUT30芯片、TPS5430DDA芯片、LT3085EDCB芯片、MAX3490ESA芯片。

C8051F121芯片是一款单片机芯片，采用外部+3.0V～+3.6V供电，芯片64TQFP封装，工作温度为-400C～850C。

NJM2670芯片是一款双路H桥驱动电路，可驱动+4V～+60V的负载，可接收-0.3V～+7V的逻辑电压输入，最大输出电流1.5A，芯片采用SOP24封装，工作温度为-400C～850C。

MAX6605MXK芯片是一款低功耗模拟温度传感器，采用外部+2.7V～+5.5V供电，芯片大小2mm×2.2mm×0.95mm，工作温度为-550C～1250C。

MAX6033AAUT30芯片是一款高精度、低电压降落的电压参考源，采用外部+2.7V～+12.6V供电，芯片大小2.9mm×2.8mm×1.25mm，工作温度为-400C～1250C。

TPS5430DDA芯片是一款LDO，输入电压+5.5V～+36V，最大输出电流3A，芯片大小4.98mm×6.2mm×1.68mm，工作温度为-400C～1250C。

LT3085EDCB芯片是一款可调节、低压降的LDO, 输入电压+1.2V～+36V，最大输出电流0.5A，芯片大小2mm×3mm×0.75mm，工作温度为-400C～1250C。

MAX3490ESA是一款485/422收发器，采用外部+3.0V～+3.6V供电，芯片大小5mm×6.2mm×1.75mm，工作温度为-400C～850C。

对焦搜索函数设计：

本方案中，对焦搜索方法采用爬山搜索法（MCS），如图2所示。爬山搜索法（MCS）就是在峰值的两侧任意选择一点开始向峰值的方向搜索，直到搜索到最大聚焦函数值为止。具体的搜索过程如图2所示。在搜索开始之前应该确定搜索的方向和搜索的步长，每向前走一步都会带动聚焦组件移动一步。假设起始点为P点，任意选择一个搜索方向进行搜寻，如果选择向O点方向移动，到达O点时，把P点的评价函数值与O点的函数进行比较，发现O点的函数值小于P点的函数值，则调转搜索方向，向Q方向进行搜索。每搜索一步就把该点的函数值与前一点的进行比较，如果该点的函数值比前一点的大，那么就继续往前搜索，当发现该点的函数值比前一点的函数值小的时候就改变搜索方向，并且缩短搜索的步长继续进行搜索。重复上面的搜索过程，直到前后两点的函数值的差小于某一个设定的值就停止搜索，选择其中的任意一点作为最佳的搜索点，即为最佳聚焦位置。

红外视频流的处理方法：

总体思路在于判断评价函数数量中是否出现单峰极值，判断爬坡算法中是否达到最佳聚焦点，判断红外视频图像是否出现模糊现象。具体如图1所示，包括如下步骤：

S1系统初始化，镜头位置、帧间隔数、电机速度等；

S2判断在初始化状态下，判断镜头是否处于聚焦状态，如果是，直接显示，如果不是，进行下一步；

S3根据视频的帧率与视频中目标物体的运动状态，重置帧间隔数；

S4在视频中根据帧间隔数，提取一组图像数据；

S5对该图像组中的图像分别进行去噪声处理；

S6计算图像组中图像的拉伸系数；

S7根据目标位置选择调焦窗口；

S8对调焦窗口位置处的图像分别进行边缘提取；

S9通过提取的边缘数据计算图像清晰度评价函数值，及存储评价函数值的数组；

S10判断数组中是否出现单峰极值，如果没有出现，回到S3，如果出现，进行下一步；

S11通过评价函数值，拟合出单峰曲线，然后通过爬坡算法查找最佳点，并控制镜头组件移动到该位置；

S12判断S11中的位置点是否为最佳位置点，如果不是，回到S11，如果是，进行下一步；

S13红外图像显示；

S14如果红外图像在显示的过程中由清晰状态变为模糊状态，回到S3，如果不变模糊，回到S13。

通过以上描述可以发现，本发明基于FPGA红外视频流的实时自动调焦方法，通过FPGA能实现对实时图像的清晰度计算，从而获得对红外镜头的调节量，能跟踪目标自动调焦，确保画面清晰度。根据目标的变换速度来调节图像提取的帧间隔数，从而提高了FPGA对实时图像的处理速度，满足对高速目标的跟踪摄像需求。

以上对本发明的技术方案进行了充分描述，需要说明的是，本发明的具体实施方式并不受上述描述的限制，本领域的普通技术人员依据本发明的精神实质在结构、方法或功能等方面采用等同变换或者等效变换而形成的所有技术方案，均落在本发明的保护范围之内。

Claims (1)

1.基于FPGA红外视频流的实时自动调焦方法，基于自动调焦设备实现，其特征在于，

所述自动调焦设备包括红外镜头、用于红外镜头自动调焦的直流驱动电机组、用于直流驱动电机组转动控制的驱动板、用于红外视频图像采集的视频采集模块、用于数据存储的视频存储模块、及用于对红外视频图像进行处理并向所述驱动板发出驱动指令的FPGA处理模块，

所述实时自动调焦方法包括以下步骤：

S1红外镜头调焦复位、FPGA处理模块复位；

S2判断红外镜头是否处于聚焦状态，如果是，直接显示，如果不是，进行下一步骤；

S3根据红外视频的帧率与红外视频中目标物体的运动状态，重置帧间隔数；

S4在红外视频中根据帧间隔数，提取一组图像数据；

S5对提取图像组中的图像分别进行去噪声处理；

S6计算图像组中图像的拉伸系数；

S7根据目标位置选择调焦窗口；

S8对调焦窗口位置处的图像分别进行边缘提取；

S9通过提取的边缘数据计算图像清晰度评价函数值，及存储评价函数值的数组；

S10判断数组中是否出现单峰极值，如果否，回到步骤S3，如果出现，进行下一步骤；

S11通过评价函数值，拟合出单峰曲线，然后通过爬坡算法查找最佳点，并控制红外镜头调焦到该位置；

S12判断步骤S11中的位置点是否为最佳位置点，如果否，回到步骤S11，如果是，进行下一步骤；

S13红外图像显示；

S14判断显示红外图像是否清晰，如果否，回到步骤S3，如果是，回到步骤S13。