CN101872112B - 立体摄像自动汇聚系统 - Google Patents

Abstract

本发明涉及立体摄像自动汇聚系统，包括成像器组和控制系统；所述成像器组包括用于搜索并拍摄目标物图像的目标成像器，以及分别安装在所述目标成像器两侧的左侧成像器和右侧成像器；所述控制系统定时采样左侧成像器、右侧成像器与目标成像器的同一时刻图像进行比较，根据比较结果调整左侧成像器和右侧成像器的位置及参数以使所述左侧成像器和右侧成像器对目标物汇聚。本发明能够有效地对目标物进行汇聚，减小了立体摄像系统显示立体图像的偏差，提高了成像效果，并大大方便立体摄像系统的架设、使用，并能使得立体系统的使用跟2D普通摄影系统一样方面易用，还可以实现2D摄影所能实现的特效摄影，并能实现实时入屏、出屏立体特效。

Description

立体摄像自动汇聚系统

技术领域

本发明涉及立体摄像技术，更具体地说，涉及立体摄像自动汇聚系统。

背景技术

随着立体摄像技术的推广与应用，人们对立体摄像的质量要求越来越高。立体摄像技术是利用双成像器模仿人类的双眼采集图像，例如相隔一定距离安装左右两个成像器，其光轴相互平行或一定夹角，以实现仿生物双眼的视觉差和远近物体的层次感。但一般都是采用平行拍摄法以适应不同距离的景物拍摄，然后采用数码汇聚的方法进行后期汇聚以及图像质量处理。

然而，在立体摄像过程中，两个成像器分别采集左右两侧的图像。由于成像器处于不同的位置并具有不同的参数，因此使得这两个成像器输出的两组影像数据在位置和其它参数方面出现偏差。在这种情况下，会使立体摄像系统显示的立体图像出现偏差，影响成像效果。

并且由于大多数采用电子汇聚方式，用平移法将两个图像进行汇聚，导致严重的纸板效应以及边沿模糊等问题。

现在市面上的立体摄像系统多是采用两台或者多台摄像机拍摄，没有全伺服机构，导致每次拍摄前调校非常困难。特别是要拍摄特技或者特写都非常困难。而且在不同的场景的时候，会发生左右视频的白平衡等不一致，如果采用后处理来解决，画面质量将得到较大的损失。

发明内容

本发明要解决的技术问题在于，针对现有立体摄像系统的上述左右两侧成像器采集图像出现偏差的缺陷，以及为了改善平行立体拍摄法造成的纸板效应，以及提高设备的易用性，操作简便性，并努力将立体拍摄设备使用变成与原有的平面拍摄一样，在此提供一种立体摄像自动汇聚系统。

本发明解决其技术问题所采用的技术方案是：构造一种立体摄像自动汇聚系统，设置中间的目标成像器以及分别位于两侧的左侧成像器和右侧成像器，通过控制系统定时采样左侧成像器、右侧成像器与目标成像器的同一时刻图像进行比较，驱动端根据比较结果调整左侧成像器和右侧成像器的位置及参数以使所述左侧成像器和右侧成像器对目标物汇聚，并使得左右成像器图像参数一致。

本发明提供了一种立体摄像自动汇聚系统，包括成像器组和控制系统；

所述成像器组包括用于搜索并拍摄目标物图像的目标成像器，以及分别安装在所述目标成像器两侧的左侧成像器和右侧成像器；

所述控制系统定时采样左侧成像器、右侧成像器与目标成像器的同一时刻图像进行比较，根据比较结果调整左侧成像器和右侧成像器的位置以使所述左侧成像器和右侧成像器对目标物进行汇聚，并调整左侧成像器和右侧成像器的参数与目标成像器一致。

在本发明所述的立体摄像自动汇聚系统中，所述目标成像器安装在固定支座上，所述左侧成像器和右侧成像器分别对称安装在所述目标成像器两侧的电控云台上。

在本发明所述的立体摄像自动汇聚系统中，所述控制系统包括分别用于调整左侧成像器和右侧成像器的位置及参数的左侧控制系统和右侧控制系统。

在本发明所述的立体摄像自动汇聚系统中，所述左侧控制系统和右侧控制系统中的每一个包括：

图像比较器，与目标成像器以及对应一侧的成像器相连，用于定时采样所述目标成像器与对应一侧的成像器的同一时刻图像，并进行比较，通过计算图像差异信息生成云台驱动信号和成像器驱动信号；

云台驱动器，与所述图像比较器相连，用于根据图像比较器输出的云台驱动信号驱动对应一侧的电控云台工作；

成像器驱动器，与所述图像比较器相连，用于根据成像器驱动信号调整对应一侧的成像器参数。

在本发明所述的立体摄像自动汇聚系统中，所述图像比较器计算目标成像器以及对应一侧成像器图像的水平和垂直位移差异信息生成云台驱动信号，以控制对应一侧电控云台水平和仰角运动。

在本发明所述的立体摄像自动汇聚系统中，所述图像比较器计算目标成像器以及对应一侧成像器图像的清晰度差异信息、整体亮度差异信息、对比度差异信息、白平衡差异信息和相对缩放信息，构成所述成像器驱动信号，所述成像器驱动器根据所述成像器驱动信号调整对应一侧的成像器的对应参数、以及缩放、聚焦和快门。

在本发明所述的立体摄像自动汇聚系统中，所述图像比较器在定时采样所述目标成像器与对应一侧成像器同一时刻图像进行比较时，先进行图像相关性判断，如果图像相关则计算图像差异信息，如果图像不相关则重新采样后续图像进行比较。

实施本发明的立体摄像自动汇聚系统及立体摄像系统，具有以下效果：

本发明通过设置中间的目标成像器以及分别位于其左侧的成像器和右侧的成像器，定时采样左侧成像器、右侧成像器与目标成像器的同一时刻图像进行比较，以目标成像器为参照来调整左侧成像器和右侧成像器的位置及参数，使得左侧成像器和右侧成像器的视频差异最小，并形成最佳汇聚，减小了立体摄像系统显示的立体图像差异，提高了立体摄像效果。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明立体摄像自动汇聚系统第一实施例的功能框架图；

图2是本发明立体摄像自动汇聚系统第二实施例的功能框架图；

图3(a)、图3(b)和图3(c)分别为整形变量大于0、小于0或等于0的情况下判断位移是否有效和相对缩放的流程图；

图4(a)和图4(b)分别为灰度投影图不理想图例的左子图和右子图，图4(c)和图4(d)分别为图4(a)和图4(b)的水平灰度投影图；

图5(a)和图5(b)分别为内部存在较为复杂运动图例的左子图和右子图；

图6(a)和图6(b)分别为内部存在较为复杂运动的另一图例的左子图和右子图；

图7(a)和图7(b)分别为水平相对位移较大的左子图和右子图；

图8(a)和图8(b)分别为一图例的清晰度对比的左子图和右子图；

图9(a)和图9(b)分别为位移仿真的图例的左子图和右子图；图9(c)和图9(d)分别为图9(a)和图9(b)的垂直投影图；图9(e)和图9(f)分别为图9(a)和图9(b)的水平投影图；

图10(a)和图10(b)分别为缩放仿真图例的左子图和右子图；图10(c)和图10(d)分别为图10(a)和图10(b)的垂直投影图；图10(e)和图10(f)分别为图10(a)和图10(b)的水平投影图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。

请参阅图1，为本发明立体摄像自动汇聚系统第一实施例的功能框架图。如图1所示，本发明提供的立体摄像自动汇聚系统包括成像器组和控制系统200。成像器组包括目标成像器130、左侧成像器110和右侧成像器120。其中，目标成像器130用于搜索并拍摄目标物30的图像。左侧成像器110和右侧成像器120分别安装在目标成像器130的左右两侧，以模仿人的双眼分别拍摄左侧和右侧图像。本申请中所使用的术语“成像器”表示摄像机或者镜头组件，包含所有的可以成像并输出视频数据或信号的部件或者产品。

控制系统200则定时采样左侧成像器110、右侧成像器120与目标成像器130的同一时刻图像进行比较，根据比较结果调整左侧成像器110和右侧成像器120的位置及参数以使所述左侧成像器110和右侧成像器120对目标物30汇聚。这里主要以目标成像器130为基准，将左侧成像器110采集的左侧图像与目标成像器130采集的目标图像相比较，获取左侧图像差异信息，从而相应调整左侧成像器110。同理，将右侧成像器120采集的右侧图像与目标成像器130采集的目标图像相比较，获取右侧图像差异信息，从而相应调整右侧成像器120。

请参阅图2，为本发明立体摄像自动汇聚系统第二实施例的功能框架图。如图2所示，在本发明的第二实施例中，绘出了自动汇聚系统的具体构成。该自动汇聚系统的目标成像器130安装在固定支座131上，左侧成像器110和右侧成像器120则分别安装在目标成像器130两侧的电控云台上。即左侧成像器110安装在左侧云台111上，右侧成像器120安装在右侧云台121上。

控制系统200包括分别用于调整左侧成像器110和右侧成像器120位置及参数的左侧控制系统210和右侧控制系统220。其中，左侧控制系统210和右侧控制系统220是相对独立的，分别完成对左侧成像器110的控制以及对右侧成像器120的控制。左侧控制系统210和右侧控制系统220的实现原理相同，下面以左侧控制系统210为例进行说明。左侧控制系统210包括左侧图像比较器211、左侧云台驱动器212和左侧成像器驱动器213。其中，左侧图像比较器211与目标成像器130和左侧成像器110相连，用于定时采样目标成像器130与左侧成像器110的同一时刻图像，并进行比较，图像比较器通过计算图像差异信息生成云台驱动信号和成像器驱动信号。左侧云台驱动器212输入端与左侧图像比较器211相连，输出端与左侧云台111相连，用于根据云台驱动信号驱动左侧云台111工作。左侧成像器驱动器213输入端与左侧图像比较器211相连，输出端与左侧成像器110相连，用于根据成像器驱动信号调整左侧成像器110的工作参数。

下面对立体摄像自动汇聚系统的具体实现进行说明。如图2所示，将中间成像器安装在固定支座131上，其光轴与固定支架垂直，作为目标成像器130，用于搜寻拍摄目标，在其左右各一台成像器安装在电控云台之上，电控云台具有左右及仰角微调功能。左侧成像器110安装在左侧云台111上，右侧成像器120安装在右侧云台121上。左侧成像器110和右侧成像器120具有电控调焦、调整快门、调整放缩的功能以及能通过线控调整白平衡、亮度、对比度等等。在立体视频拍摄过程中，左侧图像比较器211定时（大约每秒抽取三帧图像）抽取左侧成像器110与目标成像器130的同一时刻图像进行比较，左侧图像比较器211计算左侧成像器110与目标成像器130的图像的水平和垂直位移差异信息生成云台驱动信号，云台驱动器获取信号后以目标成像器130为参照，驱动左侧云台121水平和垂直运动，以调整适当的水平夹角和仰角。此外，左侧图像比较器211计算左侧成像器110与目标成像器130的图像的对比度和白平衡差异、清晰度差异信息、整体亮度差异信息和相对缩放差异信息，构成成像器驱动信号，左侧成像器驱动器213根据所述对比度和白平衡差异信号、清晰度调整信号、整体亮度调整信号和相对缩放调整信号调整左侧成像器110的对应参数。相应地，右侧控制系统220同样依照上述过程执行调整操作。在此，清晰度调整信号可以对应调整成像器的聚焦距离，整体亮度调整信号可以对应调整成像器的光圈和快门，相对缩放调整信号可以调整成像器的ZOOM参数，对比度和白平衡差异调整信号可以使得左右成像器具有基本一致的对比度和白平衡，通过对这些参数调整，可使得左右成像器的视频图像具有良好的汇聚效果，并保证相同的图像质量和性能，以确保最佳的立体摄像效果。

首先分别获取目标成像器130和左侧成像器110或右侧成像器120的视频图像灰度数据和分辨率作为以下算法的输入。这里假设目标成像器130、左侧成像器110和右侧成像器120的视频图像格式和分辨率完全一致。在图像比较器计算图像差异信息的过程中需要首先计算图像的灰度投影及图像的相关性以便于后续计算。如果图像相关则继续计算图像差异信息，如果图像不相关则重新采样后续图像进行比较。

1、对比度和白平衡计算

为了保证立体摄像的质量，必须在拍摄过程中实时把左右成像器图像和目标成像器图像的对比度和白平衡调整到基本一致，以便获取较好的立体摄像质量,下面分别介绍如何计算对比度和白平衡。

白平衡概念：RGB三色相对幅度均衡，实际计算中可以截取目标成像器图像和左右成像器图像的中心位置像素部分进行白平衡计算。例如，可以取中心30行，128列图像像素进行计算平均值RGB，然后取其中之一为参考数值，取值为1，其它作为相对比输出。假设所选取的块中最终所计算得到的R,G，B的平均数值分别为：RGB[0]，RGB[1]，RGB[2]，于是白平衡参数可以计算如下：

dbRG=(RGB[0]*1.0)/RGB[1]

dbGG=1

dbBG=(RGB[2]*1.0)/RGB[1]

比较器在分别得到两图像的白平衡和对比度参数后，以目标成像器作为参照，输出对应的数值比值，控制逻辑得到该比值信息后分别对左右成像器进行白平衡和对比度调整，直至二者基本一致。

对比度的定义：图像像素最大灰度值和像素最小灰度值的比值。

为了计算对比度，必须先进行彩色图像到灰度图像的处理变换，可以按照下述方法得到目标成像器图像和其一侧成像器图像的灰度数据。

Y=0.299*R+0.587*G+0.114*B

式中，R代表图像红色分量数据，G代表图像绿色分量数据，B代表图像蓝色分量数据，按照上述方法得到图像灰度数据Y后，并选取中心灰度像素块256*256进行计算两图像各自的对比度信息，计算方法如下所述。

分别找到当前帧图像灰度最大值(gray_max)和最小值(gray_min)，于是可以获得对比度如下式所述

$\mathrm{gray}\_\mathrm{relate}=\frac{\mathrm{gray}\_\max }{\mathrm{gray}\_\min }$

2、灰度投影

灰度投影算法能够充分利用图像灰度总体分布的变化规律，较准确地估计出图像的运动矢量，并且计算量小，所以在图像处理中得到广泛应用。灰度投影可以选择某个或多个方向进行投影，例如对角投影，水平投影，垂直投影等等，本文应用到水平投影和垂直投影两种方法，现分别介绍如下。

列投影分三个步骤，如下所述，其中f(i,j)表示当前帧像素，col(j)表示当前帧图像的列。

第一步：行像素相加

$\mathrm{col}\left(j\right)=\underset{i}{\mathrm{\Σ}}f(i,j)---\left(1\right)$

第二步：计算平均值

$\mathrm{coltotal}=\underset{j}{\mathrm{\Σ}}\mathrm{col}\left(j\right)/N_c---\left(2\right)$

第三步：得到最终的列投影值

colproj(j)=col(j)-coltotal             (3)

水平投影同样遵循上述三步骤，这里不再赘述。

使用投影算法需要注意以下事项：

（1）为了避免边缘运动带来的影响，尽量选取图像中间部分的灰度数据来做灰度投影，这样可以增强目标成像器和左右成像器图像之间的相关性，既有利于提高位移计算和缩放判断的准确率，又有利于减少计算量。选取投影模块大小应视最大水平位移和垂直位移而确定。

（2）为了滤除干扰，在得到对应的水平或者垂直投影序列后，需要对相应的序列进行低通滤波，这里低通滤波是采用滑动平均滤波方法。

3、图像相关计算

相关计算：将滤波后的左右成像器图像与目标成像器图像的灰度水平投影数据和垂直投影数据分别做互相关运算，为了减少计算量，这里选取最小绝对值误差算法得到相关序列的数值。其中M是水平或垂直投影矢量长度，R是相关函数窗口尺寸。

$\mathrm{MAD}\left(i\right)=\underset{m=1}{\overset{M}{\mathrm{\Σ}}}|S_r\left(m\right)-S_l(m+i)|,i=-\frac{R}{2},...0,...,\frac{R}{2}---\left(4\right)$

判断目标成像器和左右成像器图像之间的相关性方法：水平投影曲线相关值和垂直投影相关值中最小值如果大于相关门限值，则目标成像器和左右成像器图像之间不存在相关性，此时图像比较器发出图像不相关的反馈信息，反馈控制器得到比较器输出信息后不对成像器作任何调整。

4、图像位移计算

由于图像空间运动相对于基于时间的图像运动更为复杂。主要表现在运动没有规律性（非均匀性，非对称性），主要是由于立体拍摄时两个成像器拍摄时相对角度不确定所造成，这种运动的复杂性给位移计算和缩放判断带来了一定的困难。左右成像器和目标成像器图像之间的位移相对关系，一般说来，水平位移较大，垂直位移较小，实际中需要确定一个最大位移量，便于选取灰度投影范围以及软件设计。所以在实际中，求取水平位移准确率就有所降低，为了准确求取水平位移，必须确保列投影有较好的相关性，参与相关数值计算的序列长度也有一定要求，因此需要兼顾计算准确率和实时性的关系。实际仿真中发现，即使两个图像相关，其对应的水平投影和垂直投影序列其中之一可能不相关或相关性很弱，运用不相关或相关很弱的序列进行某个方向的位移计算容易得到错误的位移矢量。因此如果水平或者垂直投影序列不相关或相关性很弱，图像比较器会将该方向上位移数值置0，并且明示移动方向不确定。

位移计算基本方法如下：

左右成像器图像的水平和垂直投影曲线分别与目标成像器图像对应的投影曲线做相关运算，这里相关序列是在一定窗口范围内计算得到，水平和垂直投影各自的相关窗口大小不一样，窗口大小与最大水平或垂直位移有关。在判断两图像相关后和计算位移前得到窗口内自相关序列后，搜索最小值所对应的位置，最小位置与中心点位置数值差就是水平位移大小，而位移方向由这个数值差的符号确定。相关计算的表达式如下

$\mathrm{MAD}\left(i\right)=\underset{m=1}{\overset{M}{\mathrm{\Σ}}}|S_r\left(m\right)-S_l(m+i)|,i=-\frac{R}{2},...0,...,\frac{R}{2}---\left(5\right)$

通过计算获得R+1个数据长度的矢量，然后寻找最小数值及其位置，并计算与窗口中心点的差值便可以得到相应方向的位移数值和方向。

在一些特殊情况下，位移计算准确度下降，甚至出现错误。由于灰度投影序列是截取图像的部分处理而得到的，如果参与投影的两个图像之间有较为复杂的运动，例如两个图像内部有相反方向的运动，同时伴随旋转和缩放，此时相对应方向的投影序列相关性减弱，甚至不相关，此时位移计算不准，图像比较器会将输出置零，也就是让驱动器不做动作。具体如何判断计算得到的位移有效与否，请参考后述图像块匹配判断部分。

5、图像相对缩放关系计算

图像在缩放时，其水平或垂直灰度投影序列也有类似的拉伸或收缩的关系，所以可以据此初步判断相对缩放关系，因此可以根据其灰度投影图来判断图像相对缩放关系，为了减少干扰的影响和提高缩放判断准确率，图像在放缩时候各个方向都存在拉伸或者收缩关系，所以这里只选择较为平滑的水平投影或垂直投影序列进行缩放判断。本文将给出如下所述方法选择较为平滑的投影序列。

这里运用一维DCT变换来确定相对平滑的投影序列，水平或垂直投影矢量经过一维DCT变换后，高频分量幅值相对小的，其投影曲线相对平滑一些。。因为在仿真中发现：如果把不平滑的投影序列和平滑的投影序列都用来判断图像相对缩放，容易出错。尽管投影后经过滤波，其投影曲线仍有可能受到未被完全滤除的干扰影响而不平滑。另外，缩放判断是基于参考点及其位置信息的，而不是基于大量数据的互相关，所以此时尽量不要选取可能有干扰的投影序列来进行缩放判断。

这里假设水平投影曲线相对垂直投影曲线平滑，判断缩放关系的主要方法和步骤如下：

（1）搜索目标成像器图像灰度水平投影序列最大值和最小值的位置，并予以记录。

（2）针对左右成像器图像的灰度水平投影序列寻找最大值和最小值位置，搜索时按照以下步骤进行。

a、如果目标成像器的灰度水平投影曲线最大值或最小值位于中心点的左侧或右侧，就必须在左右成像器图像的左侧或右侧来找相应的最大值或最小值，并记录相应位置。注意这里左侧或右侧是以选择的投影曲线中心位置相对而言的。

b、这里以一个整形数值作为递增，假设为k，初始化为0，还需要借助两个变量，也就是左或右图像和目标成像器图像灰度投影序列对应的最大值最小值的位置差值，deltax和deltay。如果最大值或最小值位于中心位置的左侧，而且目标成像器相应的灰度投影序列最大值或最小值位置更接近中心位置，此时整形变量加1，相反则减去1；如果最大值或最小值位于右侧，即都大于中心点位置，若此时目标成像器相应的灰度投影序列最大值或者最小值位置更接近中心，则该整形数值减去1，相反加1。最后根据变量k数值和符号来判断目标成像器和左右成像器图像相对缩放关系，判断缩放方法如下所述。

如果k大于零，则初步认为是缩小关系；如果k小于零，则初步判断为放大关系。注意图像存在旋转时候也能满足这个关系，这个后面再结合块匹配技术来进一步区分是旋转还是放缩关系。

如果二图像仅仅是相对平移关系，则该整形数值为零。另外（旋转或缩放关系）并同时伴随有较大位移时，也可能使得该数值为0，但是在（旋转或缩放）伴随较大位移情况下，其相关性明显低于平移运动情况。图像之间是相对位移还是缩放关系需要结合块匹配方法来区分，关于块匹配见后续所述。

实际中可能会存在导致图像缩放判断方法失效的情况，例如由于图像本身成像质量较差或灰度投影序列波形的峰、谷值不太明显，此时会导致最大和最小值出现多值，从而相应位置发散，此时不利于缩放判断。例如图像完全是一致颜色和亮度的情况，此时灰度投影方法失效，此种情况下如何处理见后面章节所述。

6、清晰度获取

在图像的频域分析中，图像的清晰和汇聚的程度由图像高频分量的多少来决定：高频分量多则图像清晰；高频分量少则图像模糊。在测量中，判断图像是否汇聚与图像的高频成分有关，当完全汇聚时，图像清晰，包含边缘轮廓信息的高频分量多，因此可以利用图像高频分量的差异作为图像相对清晰度的判定依据。最常见的频域处理方法有傅立叶变换（FFT）和离散余弦变换（DCT）。由于FFT变换是对复数进行处理，其计算程度较为复杂，计算所需的时间长。图像经过DCT变换后能聚集更多的能量，对高频分量有较好的分离能力，在清晰度评价函数中，分离并保留高频分量作为图像清晰度的评价尺度。参与比较的图像经过二维DCT后通常高频部分位于变换后结果的右下角，而低频分量位于左上角。信号或图像的能量大部分集中在幅度谱的低频和中频段,但图像轮廓的锐度和细节的丰富度取决于图像的高频成分,在实际情况下,清晰图像相对于模糊图像的差别在于前者的边缘信息明显,细节更加丰富,即图像的高频分量能量更大,其DCT变换系数和的绝对值较大。从这个角度,将图像的高频分量作为相对清晰度判据，而且图像的清晰度还与图像自身的亮度和灰度级有很大关系，故引入相对高频分量进行判别。由于直流分量在一定程度上反映了图像的整体亮度和总体信息，因而用高频分量和直流分量的比值作为图像相对高频分量进行判别，得到的比值较大值所对应的图像即为二图像中最清晰的。二维的DCT正变换如式（6）所示。

$c\left(u\right)=\left\{\begin{array}{cc}\sqrt{1/M}& (u=0)\\ \sqrt{2/M}& (u=\mathrm{1,2},...M-1)\end{array}\right.$

$c\left(v\right)=\left\{\begin{array}{cc}\sqrt{1/N}& (v=0)\\ \sqrt{2/N}& (v=\mathrm{1,2},...N-1)\end{array}\right.$

式6中，u=0,1,…M-1,v=0,1，…N-1。

如果按照公式（6）编写程序，将包含一个四重循环，对于处理大分辨率图像，其处理时间是不能接受的。根据二维DCT变换的可分离性将二维DCT变换改写为两个一维DCT变换运算的等价形式。DCT变换公式如式（7）。

$F(u,v)=c\left(u\right)c\left(v\right)\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}f(x,y)\cos \frac{\mathrm{\π}(2x+1)u}{2M}\cos \frac{\mathrm{\π}(2y+1)v}{2N}---\left(7\right)$

求和符号分开写成：

$F(u,v)=c\left(u\right)\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\cos \frac{\mathrm{\π}(2x+1)u}{2M}f(x,y)c\left(v\right)\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}\cos \frac{\mathrm{\π}(2y+1)v}{2N}---\left(8\right)$

并规定 $C_1=c\left(u\right)\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\cos \frac{\mathrm{\π}(2x+1)u}{2M},$ $C_2=c\left(v\right)\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}\cos \frac{\mathrm{\π}(2y+1)v}{2N},$ C1和C2是两个二维矩阵。如果计算C1和C2的循环按照u，x和v，y方式进行，那么C1和C2中的元素可以表达为C1(u，x)和C2(u，x)，根据矩阵的内乘性法则，有：

F(u,v)=C₁×f(x,y)×C′₂             （9）

式（9）便是改进以后的二维DCT变换公式。基于DCT变换的图像清晰度判断主要关注图像高频部分，因此算法如式（10）

$G=\underset{v}{\overset{N}{\mathrm{\Σ}}}\underset{u}{\overset{M}{\mathrm{\Σ}}}\left|F(u,v)\right|u+v>\min (M,N)---\left(10\right)$

式(10)中F(u，v)为DCT变换后的结果，(M，N)为图像的分辨率，为了保证实时性，实际中所取数据要远远小于图像的整体像素数量。图像灰度经过DCT变换后，结合前面所述，相对清晰度可以根据下式得到。

$G=\frac{\underset{v}{\overset{N1}{\mathrm{\Σ}}}\underset{u}{\overset{M1}{\mathrm{\Σ}}}\left|F(u,v)\right|}{\left|F\left(\mathrm{1,1}\right)\right|}u+v>\min (M1,N1)---\left(11\right)$

上式中F（1，1）是直流分量，而分子是高频分量和值，因此可以由二者相对关系来判决是汇聚和离焦。如果M1,N1选取过大，将包含图形的中频部分，此时也加大了计算量；反之选取过小，就体现不出高频之间的差异，所以，M1,N1究竟如何选取，需要根据实际来调整。

式(11)是针对单帧图像得到的结果，而图像比较器需要得到目标成像器和左右成像器的清晰度差异。在运用本节方法分别得到各自图像的清晰度后，采用二者清晰度比值作为当前的比较器输出。同时为了避免成像器频繁调整清晰度，设置两个门限（上门限和下门限），如果二者清晰度比值超过或者低于一定门限（上门限或下门限）数值时，反馈控制端才会去调整成像器的图像清晰度。同时为了保证实时性，只选择左右图像中心部分进行快速DCT变换，选取中心大小为：水平256像素，垂直256像素的图像块。

7、图像整体亮度获取

式(9)中F(1,1)就代表当前图像的整体亮度，将目标成像器图像和左右成像器图像各自的整体亮度进行比较，然后控制逻辑根据比较结果对成像器进行亮度调整，调整的方向是使得目标成像器和左右成像器图像整体亮度基本一致。实际应用中，为了避免成像器频繁调整亮度，这里设置两个门限（上门限和下门限），如果二者整体亮度比值大于上门限或小于下门限数值，比较器就会向控制逻辑发出调整亮度的命令。

8、块匹配算法

（1）块匹配主要用来判断位移计算的准确度。

衡量最佳匹配的准则有很多种，如均方误差（MSE）、归一化互相关函数（NCCF）、平均绝对帧差（MAD）。研究表明，各种准则性能差别不显著，而MAD运算量最小，便于硬件实现。这里块匹配主要用来配合灰度投影算法进行判断缩放和位移的有效性。MAD计算方法如下：

式中i，j是图像相对位移量。假设经过图像位移计算初步得到的水平位移和垂直位移分别为pos_h和pos_v。首先匹配左右图像的中心位置，方法见13式：

$\mathrm{MAD}\left(\mathrm{0,0}\right)=\frac{1}{\mathrm{MN}}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}|S_r(m,n)-S_l(m+0,n+0)|---\left(13\right)$

然后再匹配位移偏差的MAD数值

$\mathrm{MAD}(\mathrm{posv},\mathrm{posh})=\frac{1}{\mathrm{MN}}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}|S_r(m,n)-S_l(m+\mathrm{posv},n+\mathrm{posh})|---\left(14\right)$

如果计算得到的MAD(posv,posh)大于MAD(0,0)，则可以初步判断上述位移计算不可靠，此时由图像位移计算得到的位移应该置零。

如果MAD(posv,posh)小于MAD(0,0)，还要根据门限进一步判断是旋转还是缩放，一般就相关性而言，非相关小于放缩，放缩小于轻微旋转，轻微旋转小于平移。在所有MAD(posv,posh)中，图像非相关时候最大，而放缩次之，轻微转动也比放缩小（这里指轻微转动），而仅仅只有平移时候，MAD(posv,posh)最小，所以当判断缩放的整数值等于零时，需要借助块匹配来进一步区分。这里补充一点，如果旋转角度比较大，图像就不相关，此时比较器把所有参数置零，控制逻辑不做任何动作。

使用块匹配，必须注意块的大小及位置选择很重要，理论上选取块越大，匹配越准确，但是计算量越大，实际中需要折中处理，这里选取100*100的块来匹配，可以在根据实际需要来调整块大小。

（2）块匹配用于放缩位移综合判断

由上述可知，首先应该判断目标成像器和左右成像器图像的相关性，如果不相关，则所有的输出参数置零。判断相关的方法如下：灰度投影图的最小绝对距离差数值大于一定门限，可以认为左右成像器图像与目标成像器图像不相关，所以在搜索位移时得到相应的相关最小值（绝对值差）。在灰度相关值搜索完毕后（相关计算参考前文所述），会保留搜索到的最小值以及其位置。

这里假设mad0代表MAD(pos_v,pos_h),而mad1代表MAD(0，0)，至于mad0和mad1计算详见块匹配的描述。图3(a)为整形变量大于0时判断位置是否有效的流程图。图3(a)中deltax与deltay变量是在缩放判断过程中得到的，由于缩放只选取一个方向进行判断。而实际中需要知道水平方向上和垂直方向上的位移和方向，因此如果deltax和deltay是水平方向得到，那么同样需要计算垂直方向对应的参数deltac和deltad，因为判断图像位移计算得到的位移数值是否有效，必须结合水平和垂直两个方向判断。

这里pos_h和pos_v是图像位移计算得到的位移数值，假设图像相对缩放计算得到的整形变量为k。旋转和缩放可能都会导致大于零或小于零。在整形变量小于0或等于0的情况下判断位移是否有效的流程图分别如图3(b)和图3(c)所示。

门限设置方法：a、对于图像相关与否的门限可以设置大一些，实际拍摄中很少遇到两图像不相关的情况。b、关于某个方向的灰度投影序列的相关性门限设置，可以经过大量仿真来确定，实际中建议可调。c、关于缩放和旋转的区分门限也可以设置略大一些，毕竟图像旋转在实际中发生的概率远远大于缩放的情况，在实际中只有在相对缩放比较明显的时候才会去调整zoom。

9、特殊情况及其处理

经过仿真试验发现，在一些特殊情况下会给运算结果带来误差，需进行特殊处理，下面列出了仿真试验中所遇到的一些特殊情况。

（1）参与比较的两图像亮度差异大，由于本文算法是基于亮度进行的，图像亮度差异大容易得到错误的控制信息，此时控制端应先调整亮度，并同时将其它所有输出参数置零，直至控制端调整亮度至基本平衡。

（2）灰度投影图的不理想特性，这里主要指投影曲线没有明显的峰值和谷值，此时不利于相对缩放关系的正确判断和位移计算。

如图4(a)和图4(b)分别为灰度投影图不理想的图例的左子图和右子图。从图4(a)和图4(b)可以看出，灰度投影图就很不理想，算法中选择的相对平滑投影曲线图如图4(c)和图4(d)所示。从灰度投影图上可以看出，最大值多个，不利于判断缩放，只能借助最小值的位置信息进行判断，如果此时投影曲线存在干扰而改变了最小值位置，从而改变了最小值相对位置关系，就会得到错误的缩放结论。如果出现这种现象，图像比较器输出为零，成像器和云台驱动器不做动作。

（3）白板或黑板图像

图像比较器检测到这种情况时不予理会，也就是各输出参数都是默认值，此时成像器驱动器以及云台驱动器都不做任何动作。

（4）内部存在较为复杂运动的图像

请参阅图5(a)和图5(b)分别为一图例的左子图和右子图。从图中可以看出，左右图内部存在局部相对运动，还有整体的一个轻微转动。此时图像比较器会把相对位移置零，并借助块匹配进一步区分：相对放缩关系或旋转关系。

请参阅图6(a)和图6(b)分别为另一图例的左子图和右子图。从图中可以看出，右图相对左图有旋转运动，同时伴随有平移运动，但是背景不变，只是这个船体在发生运动。此时由于背景相对位置没有变化，对应的图像轮廓没有变化，内部有部分运动，当比较器检测到这种情况时，比较器会把相对位移参数置零。原因是：如果由于局部运动而进行整体位移校正，图像汇聚效果必然变差。

（5）水平相对位移较大的图像

请参阅图7(a)和图7(b)分别为一图例的左子图和右子图。从图中可以看出，相对位移量是很大的，如果位移量很大，而灰度列投影数据也少，此时相关性很弱，搜索窗也变宽，此时计算量也变大了，经过仿真位移方向基本判断准确，但是位移数值有偏差。

10、计算机仿真结果分析

（1）清晰度仿真

请参阅图8(a)和图8(b)分别为一图例的清晰度对比的左子图和右子图。如图所示，直观上看右边子图比左边子图略清晰，利用快速二维FDCT可以得到各自的频率信息,分别截取各自变换矩阵右下角的30*30元素绝对值之和，根据结果也可以得到图8(a)比图8(b)清晰的结论。

（2）位移仿真

请参阅图9(a)和图9(b)分别为一图例的左子图和右子图。从左右图上可以看出，两图之间存在位移和旋转的现象。图9(c)和图9(d)分别为图9(a)和图9(b)的灰度垂直投影图。图9(e)和图9(f)分别为图9(a)和图9(b)的灰度水平投影图。

从两子图可以看出，通过舍去边缘的投影图有较好的相关性，简单地从最大或最小值位置也可以看出图像移动方向，但做相关处理是为了抗干扰和提高计算准确度。

（3）缩放仿真

请参阅图10(a)和图10(b)分别为一图例的左子图和右子图。关于缩放的仿真由于找不到左右子图存在明显缩放关系的分列图，所以就对同一场景拍摄，焦距不一样得到基于时间差的两图。图10(c)和图10(d)分别为图10(a)和图10(b)的灰度垂直投影图。图10(e)和图10(f)分别为图10(a)和图10(b)的灰度水平投影图。从投影图看来，或从本文提供的一维DCT变换，也可以确认水平投影图比较光滑，从水平投影图可以看出的其最大或最小值位置也存在相应的缩放关系，按照上文介绍的程序逻辑判断也是图10(b)相对图10(a)是放大的。

本发明提供了一种立体摄像自动汇聚系统。立体摄像自动汇聚系统包括成像器组和控制系统；所述成像器组包括用于搜索并拍摄目标物图像的目标成像器，以及分别安装在所述目标成像器两侧的左侧成像器和右侧成像器；所述控制系统定时采样左侧成像器、右侧成像器与目标成像器的同一时刻图像进行比较，根据比较结果调整左侧成像器和右侧成像器的位置及参数以使所述左侧成像器和右侧成像器对目标物汇聚。

本发明是根据特定实施例进行描述的，但本领域的技术人员应明白在不脱离本发明范围时，可进行各种变化和等同替换。此外，为适应本发明技术的特定场合，可对本发明进行诸多修改而不脱离其保护范围。因此，本发明并不限于在此公开的特定实施例，而包括所有落入到权利要求保护范围的实施例。

Claims (3)

1.一种立体摄像自动汇聚系统，其特征在于，包括成像器组和控制系统；所述成像器组包括用于搜索并拍摄目标物图像的目标成像器，以及分别安装在所述目标成像器两侧的左侧成像器和右侧成像器；所述目标成像器安装在固定支座上，所述左侧成像器和右侧成像器分别对称安装在所述目标成像器两侧的电控云台上；

所述控制系统定时采样左侧成像器、右侧成像器与目标成像器的同一时刻图像进行比较，根据比较结果调整左侧成像器和右侧成像器的位置以使所述左侧成像器和右侧成像器对目标物汇聚，并调整左侧成像器和右侧成像器的参数与目标成像器一致；所述控制系统包括分别用于调整左侧成像器和右侧成像器的位置及参数的左侧控制系统和右侧控制系统，所述左侧控制系统和右侧控制系统中的每一个包括：

图像比较器，与目标成像器以及对应一侧的成像器相连，用于定时采样所述目标成像器与对应一侧成像器的同一时刻图像，并进行比较分析，通过计算图像差异信息生成云台驱动信号和成像器驱动信号；

云台驱动器，与所述图像比较器相连，用于根据图像比较器输出的云台驱动信号驱动对应一侧的电控云台工作；

成像器驱动器，与所述图像比较器相连，用于根据成像器驱动信号调整对应一侧的成像器参数；

所述图像比较器计算目标成像器与对应一侧成像器图像的清晰度差异信息、整体亮度差异信息、对比度差异信息、白平衡差异信息和相对缩放信息，构成所述成像器驱动信号，所述成像器驱动器根据所述成像器驱动信号调整对应一侧成像器的对应参数；

且图像比较器选择较为平滑的水平灰度投影序列或垂直灰度投影序列进行缩放判断，且判断缩放关系的步骤如下：

（1）搜索目标成像器图像较平滑灰度投影序列最大值和最小值的位置，并予以记录；

（2）针对左右侧成像器图像较为平滑的灰度投影序列寻找最大值和最小值的位置，如果目标成像器图像的灰度投影序列最大值或最小值位于中心位置左侧或右侧，则在左右侧成像器图像的灰度投影序列的左侧或右侧寻找相应的最大值或最小值，并记录相应位置；

（3）计算整形变量k，初始化为0，并借助左右侧成像器图像和目标成像器图像灰度投影序列对应的最大值最小值的位置差值，如果左或右侧成像器和目标成像器图像较为平滑的灰度投影序列最大值或最小值位于中心位置的左侧，而且目标成像器相应的灰度投影序列最大值或最小值更接近中心位置，此时整形变量加1，如果左或右侧成像器和目标成像器的图像较为平滑的灰度投影序列最大值或最小值位于中心位置的左侧，而且左或右侧成像器图像相应的灰度投影序列最大值或最小值位置更接近中心位置，此时整形变量减去1；如果左或右侧成像器或目标成像器图像较为平滑的灰度投影序列最大值或最小值位于中心位置的右侧，即都大于中心位置，若此时目标成像器相应的灰度投影序列最大值或最小值更接近中心位置，则该整形变量减去1；如果左或右侧成像器和目标成像器图像较为平滑的灰度投影序列最大值或最小值位于中心位置的右侧，即都大于中心位置，若此时左或右侧成像器相应的灰度投影序列最大值或最小值更接近中心位置，则该整形变量加1；

（4）根据整形变量k数值和符号来判断目标成像器和左右侧成像器图像相对缩放关系，如果k大于零，则初步认为是缩小关系；如果k小于零，则初步判断是放大关系；如果k等于零，则初步认定是平移关系；并结合块匹配来判断图像是相对旋转、缩放还是相对平移关系。

2.根据权利要求1所述的立体摄像自动汇聚系统，其特征在于，所述图像比较器计算目标成像器与对应一侧成像器图像的水平和垂直位移差异信息生成云台驱动信号，以控制对应一侧电控云台水平和仰角运动。

3.根据权利要求1或2所述的立体摄像自动汇聚系统，其特征在于：所述图像比较器在定时采样所述目标成像器与对应一侧的成像器的同一时刻图像进行比较时，先进行图像相关性判断，如果图像相关则计算图像差异信息，如果不相关则重新采样后续图像进行比较。

Images