CN104486550A - 航空相机图像检焦装置及方法 - Google Patents

Abstract

本发明公开了一种航空相机图像检焦装置及方法，属于航空相机技术领域。解决了现有技术中航空相机的检焦方法检焦结果不准确的问题。本发明的装置，包括电控箱、第一CMOS传感器、CCD传感器、第二CMOS传感器、半反半透分光棱镜、扫描反射镜、相机光学系统和调焦反射镜；电控箱包括相机控制器、CMOS图像数据采集系统、调焦控制器和反射镜控制器；地面景物的像依次经扫描反射镜、相机的光学系统、调焦反射镜后，经半反半透分光棱镜分光，一部分光成像在第一CMOS传感器上，另一部分光成像在第二CMOS传感器上。该装置用于航空相机检焦，具有较高的检焦精度。

Description

航空相机图像检焦装置及方法

技术领域

本发明属于航空相机技术领域，具体涉及一种航空相机图像检焦装置及方法。

背景技术

航空相机在空中成像时，由于温度、大气压力和照相距离的变化会造成CCD传感器离焦的现象，严重影响图像的清晰度和分辨率，长焦距相机尤其如此。所以要获得高清晰度的图像，就需要相机在拍照前，进行自动检焦，使CCD传感器在最佳焦面上。现有技术中，航空相机上常用的检焦方法为光电自准直式，采用在像面上放置一个光栅作为目标，通过光学系统成像后，再通过一个反射镜将其反射回到像面上，使用光敏元件接收，通过接收到的能量来判断焦面。但是，这种方法是利用光敏元件进行检焦，属于间接检焦，光敏元件的安装位置、性能等都会影响图像传感器(CMOS)成像的效果，导致检焦结果不准确。

发明内容

本发明的目的是解决现有技术中航空相机的检焦方法检焦结果不准确的技术问题，提供一种航空相机图像检焦装置及方法。

本发明解决上述技术问题采用的技术方案如下。

航空相机图像检焦装置，包括电控箱、第一CMOS传感器、第二CMOS传感器、半反半透分光棱镜、扫描反射镜、相机光学系统和调焦反射镜；

所述电控箱包括相机控制器、CMOS图像数据采集系统、调焦控制器和反射镜控制器；

地面景物的像依次经扫描反射镜、相机光学系统、调焦反射镜后，经半反半透分光棱镜分光，透射光成像在第一CMOS传感器上，反射光成像在第二CMOS传感器上，所述第一CMOS传感器和第二CMOS传感器分别位于CCD传感器焦平面的两侧，且第一CMOS传感器所在平面到CCD传感器焦平面的距离与第二CMOS传感器的等光程像面所在平面到CCD传感器焦平面的距离相等，均为CCD传感器焦平面焦深的2-4倍；

所述相机控制器对CMOS图像数据采集系统、调焦控制器和反射镜控制器发出检焦指令；

所述反射镜控制器控制扫描反射镜的工作状态并将工作状态发送给调焦控制器；

所述调焦控制器控制调焦反射镜移动并对CMOS图像数据采集系统发出拍照指令，接收并分析CMOS图像数据采集系统返回的数值；

所述CMOS图像数据采集系统控制第一CMOS传感器和第二CMOS传感器对地面景物分别成像，并将图像分别通过调焦评价函数处理后得到的数值发送给调焦控制器。

进一步的，所述调焦评价函数为梯度微分平方函数。

采用上述航空相机图像检焦装置的检焦方法，包括以下步骤：

步骤一、相机控制器对CMOS图像数据采集系统、调焦控制器和反射镜控制器发出检焦指令；

步骤二、反射镜控制器控制扫描反射镜在前向像移补偿工作状态，并将扫描反射镜的工作状态发送给调焦控制器；

步骤三、调焦控制器驱动调焦反射镜到一个检焦位置，在接收到反射镜控制器处于前向像移补偿工作状态时，发送拍照指令给CMOS图像数据采集系统；

步骤四、CMOS图像数据采集系统接收拍照指令后，控制第一CMOS传感器和第二CMOS传感器对地面景物分别成像，并将图像分别通过调焦评价函数处理后得到的数值发送给调焦控制器；

步骤五、调焦控制器计算两个数值的差值，当理论差值不为零时，重复步骤三-步骤五；当理论差值为零时，调焦控制器将检焦结束参数发送给相机控制器；

步骤六、相机控制器接收检焦结束参数，停止发送检焦指令，结束检焦。

进一步的，所述步骤五中，当理论差值不为零时，调焦控制器驱动调焦反射镜向差值减小的方向移动。

与现有技术相比，本发明的有益效果：

1、本发明的航空相机图像检焦装置采用两个单独的CMOS传感器，能够适应面阵相机和线阵相机的不同工作方式；采用半反半透分光棱镜，并且两个CMOS传感器放在不同的焦面位置上，在航空相机的成像目标的不断变化的情况下，也能确保两个CMOS传感器所成的像对应的是同一目标，且采用调焦评价函数进行图像的分析，大大降低了检焦时对航空相机的姿态控制精度要求；

2、本发明的航空相机图像检焦方法能够精确调焦，操作简单。

附图说明

图1为本发明的航空相机图像检焦装置的检焦原理示意图；

图2为本发明的航空相机图像检焦装置的电控箱的工作原理图；

图3为本发明的航空相机图像检焦装置的焦面位置与调焦评价函数数值的关系；

图中，1、电控箱，1-1、相机控制器，1-2、CMOS图像数据采集系统，1-3、调焦控制器，1-4、反射镜控制器，2、第一CMOS传感器，3、CCD传感器，4、第二CMOS传感器，5、半反半透分光棱镜，6、扫描反射镜，7、相机光学系统，8、调焦反射镜。

具体实施方式

以下结合附图1-3进一步说明本发明。

航空相机图像检焦装置，主要包括电控箱1、第一CMOS传感器2、CCD传感器3、第二CMOS传感器4、半反半透分光棱镜5、扫描反射镜6、相机光学系统7和调焦反射镜8，其中，电控箱1主要包括相机控制器1-1、CMOS图像数据采集系统1-2、调焦控制器1-3和反射镜控制器1-4。

该装置中的光路走向是：地面景物的像依次经扫描反射镜6、相机光学系统7、调焦反射镜8后，经半反半透分光棱镜5分光，透射光成像在第一CMOS传感器2上，反射光成像在第二CMOS传感器4上。其中，第一CMOS传感器2和第二CMOS传感器4分别位于CCD传感器3焦平面的两侧，第一CMOS传感器2位于到CCD传感器3焦平面2-4倍焦深的平面上，第二CMOS传感器4的等光程像面位于到CCD传感器3焦平面2-4倍焦深的平面上，且第一CMOS传感器2所在平面到CCD传感器3焦平面的距离与第二CMOS传感器4的等光程像面所在平面到CCD传感器3焦平面的距离相等。如，第一CMOS传感器2位于CCD传感器3的焦平面后2倍焦深的平面上，半反半透分光棱镜5设置在第一CMOS传感器2的前方，第二CMOS传感器4设置在半反半透分光棱镜5的左侧，第二CMOS传感器4在等光程像面上位于到CCD传感器3的焦平面前2倍焦深的平面上；本发明定义光先通过方向为前，后通过的方向为后。

电控箱1中，相机控制器1-1对CMOS图像数据采集系统1-2、调焦控制器1-3和反射镜控制器1-4统一发出检焦指令。本实施方式的相机控制器1-1可以选用美国德州仪器公司(TI)的数字信号处理器(TMS320F281-2)作为主控制器，它具有高速运算能力和面向电机的高效控制能力，其特点为：150MHz工作频率、32位数据线、18kRAM、128kFLASH、16通道PWM、3个定时器、2个全双工SCI串口；选用DS26C31和DS26C32作为RS-422串行通讯接口芯片，相机控制器1-1与调焦控制器1-3、反射镜控制器1-4、CMOS数据采集系统1-2进行串口通讯。

电控箱1中，反射镜控制器1-4在接收到相机控制器1-1发来的的检焦指令后，控制扫描反射镜6在前向像移补偿工作状态，确保地面景物相对相机静止，并将工作状态反馈给调焦控制器1-3，扫描反射镜6的工作状态分为前向像移补偿状态和返程状态，返程状态时第一CMOS传感器2和第二CMOS传感器4不能成像。本实施方式中，反射镜控制器1-4同样选用美国德州仪器公司(TI)的TMS320F281-2作为主控制器，选用DS26C31和DS26C32作为RS-422串行通讯接口芯片，反射镜控制器1-4与相机控制器1-1和调焦控制器1-3进行串口通讯。

电控箱1中，调焦控制器1-3在接收到相机控制器1-1发来的检焦指令后，驱动调焦反射镜8到一个检焦位置，在接收到反射镜控制器1-4发送的扫描反射镜6的工作状态为前向像移补偿状态时，发送拍照指令给CMOS数据采集系统1-2，然后接收CMOS数据采集系统1-2返回的第一CMOS传感器2和第二CMOS传感器4所成图像的调焦评价函数的数值，并对这两个数值进行分析，判断检焦是否结束，如未结束，则根据分析结果驱动调焦反射镜8到另一个检焦位置，如结束，则将检焦结束参数传给相机控制器1-1。该分析指计算第一CMOS传感器2和第二CMOS传感器4分别对应的调焦评价函数的数值的差值，差值的理论值不为零，调焦控制器1-3控制调焦反射镜8向差值减小的方向移动；差值的理论值为零，调焦反射镜8将检焦结束参数传给相机控制器1-1。本实施方式中，调焦控制器1-1同样选用美国德州仪器公司(TI)的TMS320F281-2作为主控制器，选用DS26C31和DS26C32作为RS-422串行通讯接口芯片，调焦控制器1-3与相机控制器1-1、CMOS数据采集系统1-2进行串口通讯。

电控箱1中，CMOS图像数据采集系统1-2接收相机控制器1-1发送的检焦成像指令后，根据调焦控制器1-3的拍照指令控制第一CMOS传感器2和第二CMOS传感器4对地面景物分别成像，并将图像分别通过调焦评价函数处理后得到的数值(该数值指图像微分平方和)发送给调焦控制器1-3。本实施方式中，CMOS数据采集系统1-2同样选用美国德州仪器公司(TI)的TMS320F281-2作为主控制器，选用DS26C31和DS26C32作为RS-422串行通讯接口芯片，CMOS图像数据采集系统1-2与相机控制器1-1、调焦控制器1-3进行串口通讯。

本实施方式中，调焦评价函数为图像灰度的梯度微分平方函数。

一幅图像越模糊，图像中灰度变化率越小。梯度微分平方函数可以用来表示图像灰度的变化率。对f(x，y)邻近点的灰度作微分平方运算，提取该点变化大小，得出图像灰度梯度微分平方算子。

对于图像序列的第k幅图像，在图像窗口W内的灰度梯度微分平方和为E，E的值反映了图像序列中第k幅图像在图像窗口W内的灰度变化率大小。

它的表达式是：

$E_k=\underset{i=1}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=1}{\overset{N-1}{\mathrm{\Σ}}}{[f(i+1,j)-f(i,j)]}^2+{[f(i,j+1)-f(i,j)]}^2$

V₁＝max{E_k} (k＝1,2,3,……..n)

式中：E_k表示图像微分平方和，f(i，j)为对焦区域中第i行第j列像素的灰度值，M、N是指所取窗口的宽度和高度。

上式的运算是在空间域进行的，将相邻列像素亮度值差分及相邻行像素亮度值差分求平方和就得到调焦评价函数E_k。E_k最大时图像最清晰,V₁即对应了最佳焦面位置。

本实施方式中，若第一CMOS传感器2所在平面、第二CMOS传感器4的等光程相面所在平面与CCD传感器3焦平面的距离小于2倍焦深，第一CMOS传感器2和第二CMOS传感器4所成图像对应的调焦评价函数的数值变化不大，不利于判断焦面移动方向；若超过4倍焦深时，第一CMOS传感器2和第二CMOS传感器4所成图像对应的调焦评价函数的数值变化也不明显，也不利于判断判断焦面移动方向。

本发明采用航空相机图像检焦装置进行检焦的方法，包括以下步骤：

步骤一、相机控制器1-1对CMOS图像数据采集系统1-2、调焦控制器1-3和反射镜控制器1-4同时发出的检焦指令；

步骤二、反射镜控制器1-4接收检焦后，控制扫描反射镜6在前向像移补偿工作状态，并将扫描反射镜6的工作状态发送给调焦控制器1-3；

步骤三、调焦控制器1-3接收检焦指令后，驱动调焦反射镜8到一个检焦位置，在接收到反射镜控制器1-4处于前向像移补偿工作状态的信息时，发送拍照指令给CMOS图像数据采集系统1-2；

步骤四、CMOS图像数据采集系统1-2接收拍照指令后，控制第一CMOS传感器2和第二CMOS传感器4对地面景物分别成像，并将图像分别通过调焦评价函数处理后得到的数值发送给调焦控制器1-3；

步骤五、调焦控制器1-3对接收的第一CMOS传感器2和第二CMOS传感器4所成图像对应的调焦评价函数的数值进行差值计算，若两者理论差值不为零，调焦控制器1-3驱动调焦反射镜8向两者差值减小的方向移动，重复步骤三-步骤五；若两者理论差值为零，调焦控制器1-3将检焦结束参数发送给相机控制器1-1；

步骤六、相机控制器1-1接收到检焦结束参数时，停止发送检焦指令，结束检焦。

在上述检测方法中，在合焦时，地面景物成的像在第一CMOS传感器2和第二CMOS传感器4的像面上的模糊程度相同，调焦评价函数对图像分别处理后得到的两个数值的理论差值为零，此时CCD传感器3接收的景物图像最清晰。在离焦时，第一CMOS传感器2和第二CMOS传感器4中的一个传感器更靠近最佳像面位置，图像更清晰，调焦评价函数根据该传感器的图像所计算得到的数值较大；而另一个传感器远离最佳像面位置，图像更模糊，调焦评价函数根据该传感器的图像所计算得到的数值较小。检焦时，调焦评价函数根据第一CMOS传感器2和第二CMOS传感器4的图像所计算得到的数值的理论差值不为零，调焦控制器1-3驱动调焦反射镜8向差值减小的方向移动，直至理论差值为零，从而找到最佳焦面位置。

本发明中，第一CMOS传感器2和第二CMOS传感器4所成图像对应的调焦评价函数的数值的理论差值为零，表示的含义是在误差允许范围内差值为零，具体允许误差范围由装置各部件的系统误差决定，该确定方法为领域人员熟知技术。最好差值为零。

本实施方式的方法中，具体操作可以是，在整个检焦范围内，先分成大的步进距离，逐个点检焦，然后判断各点第一CMOS传感器2和第二CMOS传感器4所成图像对应的调焦评价函数的数值的差值的大小，找到差值最小的点后，再在该点的大步进距离范围内，采用中等步进距离，选择一个初始点，继续判断各点第一CMOS传感器2和第二CMOS传感器4所成图像对应的调焦评价函数的数值的差值的大小，找到差值最小的点后，再在该点的中等步进距离范围内，采用小步进距离，选择一个初始点，继续判断各点第一CMOS传感器2和第二CMOS传感器4所成图像对应的调焦评价函数的数值的差值的大小，找到差值最小的点，即为最佳焦面位置。

以下结合实施例进一步说明本发明。

实施例1

航空相机采用线阵TDICCD传感器，为4096像元，200级级数，像元尺寸8微米，相机光学系统7焦距600mm，光圈5.6，可见光波段成像。第一CMOS传感器2和第二CMOS传感器4相同，像元尺寸7.4微米，像面大小1K×1K，帧频1-20fps，带有电子快门，第一CMOS传感器2和第二CMOS传感器4分布在CCD传感器3前后各2倍焦深，即0.14mm的位置上。首先选择步进距离为0.4mm，在整个调焦范围内±2.5mm内检焦，找到第一CMOS传感器2和第二CMOS传感器4所成图像的调焦评价函数的数值的差值最小点所对应的焦面位置；然后再采用0.1mm的步进距离，并向差值减小的方向移动焦面位置，找到差值最小的位置所对应的焦面位置；然后再采用0.03mm的步进距离，并向差值减小的方向移动焦面位置，找到差值最小的位置所对应的焦面位置，即为最佳焦面位置。

显然，以上实施方式的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于所述技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (4)

1.航空相机图像检焦装置，其特征在于，包括电控箱(1)、第一CMOS传感器(2)、第二CMOS传感器(4)、半反半透分光棱镜(5)、扫描反射镜(6)、相机光学系统(7)和调焦反射镜(8)；

所述电控箱(1)包括相机控制器(1-1)、CMOS图像数据采集系统(1-2)、调焦控制器(1-3)和反射镜控制器(1-4)；

地面景物的像依次经扫描反射镜(6)、相机光学系统(7)、调焦反射镜(8)后，经半反半透分光棱镜(5)分光，透射光成像在第一CMOS传感器(2)上，反射光成像在第二CMOS传感器(4)上，所述第一CMOS传感器(2)和第二CMOS传感器(4)分别位于CCD传感器(3)焦平面的两侧，且第一CMOS传感器(2)所在平面到CCD传感器(3)焦平面的距离与第二CMOS传感器(4)的等光程像面所在平面到CCD传感器(3)焦平面的距离相等，均为CCD传感器(3)焦平面焦深的2-4倍；

所述相机控制器(1-1)对CMOS图像数据采集系统(1-2)、调焦控制器(1-3)和反射镜控制器(1-4)发出检焦指令；

所述反射镜控制器(1-4)控制扫描反射镜(6)的工作状态并将工作状态发送给调焦控制器(1-3)；

所述调焦控制器(1-3)控制调焦反射镜(8)移动并对CMOS图像数据采集系统(1-2)发出拍照指令，接收并分析CMOS图像数据采集系统(1-2)返回的数值；

所述CMOS图像数据采集系统(1-2)控制第一CMOS传感器(2)和第二CMOS传感器(4)对地面景物分别成像，并将图像分别通过调焦评价函数处理后得到的数值发送给调焦控制器(1-3)。

2.根据权利要求1所述的航空相机图像检焦装置，其特征在于，所述调焦评价函数为梯度微分平方函数。

3.采用权利要求1-2任何一项所述的航空相机图像检焦装置的检焦方法，其特征在于，包括以下步骤：

步骤一、相机控制器(1-1)对CMOS图像数据采集系统(1-2)、调焦控制器(1-3)和反射镜控制器(1-4)发出检焦指令；

步骤二、反射镜控制器(1-4)控制扫描反射镜(6)在前向像移补偿工作状态，并将扫描反射镜(6)的工作状态发送给调焦控制器(1-3)；

步骤三、调焦控制器(1-3)驱动调焦反射镜(8)到一个检焦位置，在接收到反射镜控制器(1-4)处于前向像移补偿工作状态时，发送拍照指令给CMOS图像数据采集系统(1-2)；

步骤四、CMOS图像数据采集系统(1-2)接收拍照指令后，控制第一CMOS传感器(2)和第二CMOS传感器(4)对地面景物分别成像，并将图像分别通过调焦评价函数处理后得到的数值发送给调焦控制器(1-3)；

步骤五、调焦控制器(1-3)计算两个数值的差值，当理论差值不为零时，重复步骤三-步骤五；当理论差值为零时，调焦控制器(1-3)将检焦结束参数发送给相机控制器(1-1)；

步骤六、相机控制器(1-1)接收检焦结束参数，停止发送检焦指令，结束检焦。

4.根据权利要求3所述的航空相机图像检焦方法，其特征在于，所述步骤五中，当理论差值不为零时，调焦控制器(1-3)驱动调焦反射镜(8)向差值减小的方向移动。