CN105021169A - 自动目标识别的全站仪的工作方法 - Google Patents

Abstract

本发明涉及CMOS影像传感器的自动目标识别的全站仪的工作方法，其包括：计算机通过驱动器控制激光器产生激光，并通过发射光纤、准直透镜，将激光压缩成一束准直光，通过反射元件，物镜形成一道平行光，发射出去，遇到目标棱镜反射回来经物镜，分光棱镜后回到图像传感器上，再经过CMOS影像传感器拍下一张含有反射光的目标影像，并传送至计算机；计算机通过驱动器关闭激光器，计算机通过CMOS影像传感器获得一张不含反射光的背景影像，即无目标的背景影像。

Description

自动目标识别的全站仪的工作方法

技术领域

本发明涉及一种全站仪是一种基于CMOS影像传感器的自动目标识别的全站仪工作方法。

背景技术

全站仪的出现使大地测量全站仪从光学时代进入了电子时代，随着全站仪的成本不断降低，大面积的普及，人们在追求更高的要求：目前的全站仪在实际使用时仍然需要2人及2人以上来完成，在人工成本日益高涨的今天，研究一种可以实现单人操作自动识别目标的伺服全站仪有其重要的实际意义。

发明内容

本发明要解决的技术问题是提供一种可靠性和精度较高的自动目标识别的全站仪的工作方法。

为解决上述技术问题，本发明的全站仪的工作方法，包括：计算机通过驱动器控制激光器产生激光，并通过发射光纤、准直透镜，将激光压缩成一束准直光，通过反射元件，物镜形成一道平行光，发射出去，遇到目标棱镜反射回来经物镜，分光棱镜后回到图像传感器上，再经过CMOS影像传感器拍下一张含有反射光的目标影像，并传送至计算机；计算机通过驱动器关闭激光器，计算机通过CMOS影像传感器获得一张不含反射光的背景影像，即无目标的背景影像；期间，通过伺服电机控制全站仪绕其中心轴顺时针旋转。

先基于灰度期望值算法设置一个阈值，用无目标的背景影像减去目标影像，对减过的图像进行二值化，能提取图中偏移噪声，并获取偏移噪声的位置、大小，根据全站仪旋转方向，在目标影像中估计并标识出实际噪声区域，该实际噪声区域处于所述偏移噪声右侧相邻处，且面积是偏移噪声的1-3倍；

然后在目标影像中减去所述实际噪声区域，获得无噪声的目标影像，并确定提取目标棱镜A在目标影像中的位置。

若目标影像中出现多个目标棱镜，且多个目标棱镜彼此分开；将目标影像中的各目标棱镜的位置，分成相应数量的区域；区域一中，第一行第一个像素用T(i)b表示，第一行最后一个像素用T(i)e表示，其中i代表在CMOS拍摄图像的行数；第二行第一个像素用T(i+1)b表示，第二行最后一个像素用T(i+1)e表示；以此类推；

然后对各行像素进行扫描，将首次遇到的目标像素T(i)b作为第一个目标区域标识，记录当前第一个目标区域首行的起始位置T(i)b和结束位置T(i)e后继续扫描；记录下一行的起始位置T(i+1)b和结束位置T(i+1)e，若下一行的起始位置小于等于上一行的结束位置，即T(i+1)b<＝T(i)e，且结束位置大于等于上一行的起始位置，即T(i+1)e>＝T(i)b，将在此行出现的首尾范围内的像素与上一行像素融合，统一融合归类为区域一；

若扫描某行过程中，发现一定间隔后又出现新的像素起始位置S(i+1)b和结束位置S(i+1)e，且不满足上述比较条件，将此像素区域标识为区域二，分配新的区域标号，继续扫描；直到一帧图像扫描完毕。

进一步，将区域一表示其中一个连通域T，r表示其中的行程段，i表示r的行号，b和e分别表示r的起始和结束列号，L表示r的长度，那么T的0至2阶矩可按以下公式计算：

$M_0\left(T\right)=\underset{r\&Element;T}{\&Sigma;}1r$

$M_x\left(T\right)=\underset{r\&Element;T}{\&Sigma;}{l}_r\frac{b_r+e_r}{2}$

$M_y\left(T\right)=\underset{r\&Element;T}{\&Sigma;}{l}_r{i}_r$

$M_{xx}\left(T\right)=\underset{r\&Element;T}{\&Sigma;}{l}_r(b_r{e}_r+\frac{(l_r-1)({2l}_r-1)}{6}$

$M_{xy}\left(T\right)=\underset{r\&Element;T}{\&Sigma;}{l}_r{i}_r\frac{b_r+e_r}{2}$

$M_{yy}\left(T\right)=\underset{r\&Element;T}{\&Sigma;}{l}_r{i_r}^2$

其中x对应列坐标，y对应行坐标，那么0阶矩M₀(T)就是连通域T的面积A；连通域T的形心位置(x₀，y₀)及其拟合椭圆的两轴长a，b和主轴方向θ计算如下：

$x_0=\frac{M_x\left(T\right)}{A},y_0=\frac{M_y\left(T\right)}{A}$

a＝M_xx(T)-x₀M_x(T)

b＝M_yy(T)-y₀M_y(T)

c＝M_xy(T)-x₀M_y(T)＝M_xy(T)-y₀M_x(T) 

$\mathrm{\&theta;}=\frac{\mathrm{\&pi;}}{2}+\frac{1}{2}arctan\left(\frac{2c}{a-b}\right)$

$U\left(T\right)=\underset{r\&Element;T}{min}{i}_r,D\left(T\right)=\underset{r\&Element;T}{max}{i}_r,$

$L\left(T\right)=\underset{r\&Element;T}{min}{b}_r,R\left(T\right)=\underset{r\&Element;T}{max}er.$

根据上述公式，计算出连通域T的形状，大小，形心信息。

若扫描某行过程中，出现中空的两个或多个像素，若均满足上述比较条件，默认将中空左右区域融合到同一个区域，并填充空洞，也即将空洞也融合到该区域。

若发现面积小于其余区域均值的一半的区域，将区域视为噪声，自动除噪。

本发明具有的技术效果：(1)本发明的可自动识别目标的全站仪工作时，通过CMOS影像传感器，对目标进行识别和跟踪，能代替人进行自动搜索、识别、跟踪和精确照准目标，并获取角度、影像等信息。能通过激光扫描完成目标棱镜的小范围搜索，准确找到目标棱镜位置。(2)本发明能精确瞄准目标棱镜，能从激光影像数据中挖掘与目标相关的特征信息，能区分多个目标，排除干扰目标，精确照准目标中心。(3)本发明能精确锁定目标棱镜，可以提供被监视目标的运动轨迹，为进行场景中运动目标 的运动分析提供了可靠的数据来源。本发明把聚焦在CMOS传感器上的目标影像和背景影像，在FPGA中进行图像运算处理，排除如汽车车身等在强日光照射下形成的反光噪声，区分多目标及锁定目标得到目标棱镜的实像，计算目标棱镜在望远镜视场的精确定位。本发明的技术难点在于，目标的运动会因为人为或外界环境因素而伴随各种形变，遮挡，干扰，甚至丢失；CMOS影像传感器在拍摄的过程中，由于目标的快速移动，目标影像和背景影像之间会产生时间差，简单的帧互差并不能完全排除外界强反射光物体因为移动而带来的噪声；同时视场内会出现多目标棱镜，而简单的帧互差并不能解决这些问题。本发明算法结合多次相邻帧互差，连通域标识及图像特征提取算法，并结合自动控制调节CMOS传感器曝光值等方法，解决定位和锁定目标棱镜的问题。

附图说明

为了使本发明的内容更容易被清楚的理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明，其中

图1为激光发射和CMOS影像传感器图像接收系统示意图；

图2为通过全站仪的望眼镜窗口中目标棱镜所在的指示位置；

图3a为本发明实施中CMOS影像传感器拍摄的目标影像；

图3b为所述背景影像示意图；

图4为本发明实施中经过帧互差算法后提取真实目标后的影像示意图；

图5为本发明实施中遇到多目标时的成像示意图；

图6为本发明实施中多目标分割和区分算法示意图；

图7为本发明实施中精确照准目标棱镜A的中心后的成像示意图。

具体实施方式

下面结合附图及实施例对本发明进行详细说明：

实施例：

本发明针对目标识别的技术难点，分别给出相应的算法。

开启CMOS传感器拍摄模式，在伺服电机配合下，能在一定范围内搜索目标，发现当前范围内的目标棱镜。

如图1，计算机11发出指令打开驱动器12后驱动激光器13产生激光， 并通过发射光纤14，准直透镜15，将激光压缩成一束准直光，通过反射元件6，物镜7形成一道平行光，发射出去，遇到目标棱镜100反射回来经物镜7，分光棱镜8后回到图像传感器9上，再经过CMOS影像传感器10拍下一张含有反射光的目标影像，并传送至计算机。

计算机1发出指令至驱动器2，关闭激光器3；计算机1通过CMOS影像传感器获得一张不含反射光的背景影像，即无目标的背景影像；在获得目标影像、无目标的背景影像期间，通过伺服电机控制全站仪绕其中心轴顺时针旋转。

如图2，为通过全站仪的望眼镜窗口中目标棱镜所在的指示位置，目标水平方向偏移量为H，垂直方向偏移量为V。

图3a为CMOS影像传感器所拍摄到的目标影像。图3b为CMOS影像传感器所拍摄到的背景影像。

在没有任何外界因素干扰的情况下，通过图3a、b的两帧图像的帧互差，可以很容易提取目标棱镜A。而实际情况并非如此。若目标影像中存在实际噪声B，该实际噪声B并不是像目标棱镜一样的反射体，该实际噪声B在关掉激光后拍摄的背景图像中依然存在，理想情况下背景影像中实际噪声B的位置应该与目标影像中实际噪声B的位置一致，可通过帧互差直接滤除。而实际情况中，由于配合本全站仪的电机并不可能在静止情况下连续拍摄，即移动过程中的拍摄会将实际噪声B作为移动噪声带入，导致拍摄背景影像时该实际噪声B从目标影像中的原位置偏移到偏移噪声B’。此时，当用目标影像减去无目标的背景影像时仍然会残留部分实际噪声B。

本发明采用的算法，先基于灰度期望值算法设置一个阈值，用无目标的背景影像减去目标影像，对减过的图像进行二值化，能提取图中偏移噪声B’，并获取偏移噪声B’的位置、大小，根据全站仪旋转方向，在目标影像中估计并标识出实际噪声区域B，该实际噪声B区域处于所述偏移噪声B’右侧相邻处，且面积是偏移噪声B’的1-3倍；然后在目标影像中减去所述实际噪声区域B，获得无噪声的目标影像，如图4，并确定提取目标棱镜A在目标影像中的位置。

如图5，为视场中同时出现多个目标棱镜的图像示意图，本发明能区分 出视场内棱镜的总个数，及每个棱镜的大小，位置等信息。

如图6，为多个目标棱镜情况下CMOS成像的像素点示意图，假定目标影像内同时出现三个目标棱镜，图中三块标示1、2、3的阴影区域分别表示三个目标棱镜的成像像素点分布情况，图中标识4、5的阴影区域分别表示两处杂散噪声点分布。

传统的对连通域进行标记的算法包含搜索和传递两个步骤，极其费时和存储空间，本发明算法充分考虑图像运算处理芯片FPGA的资源以及FPGA内部ram对图像扫描方式的局限性，采取逐行顺序扫描的方式，兼顾资源消耗和高速遍历，能快速得到连通域的标号，而且能在标号过程中识别各种特征，冗余性和鲁棒性都较强，算法实现仅需扫描一帧图像便达到区分各目标棱镜的目的。

本发明算法能精确计算出每个目标棱镜的中心偏移量，满足如需定位离中心最近目标，离中心最远目标，或首次出现在视场内的目标等不同要求，实现按要求定位。

本发明的目标区分算法描述如下：采用逐行扫描计算连通域算法，如图6，区域1中，第一行第一个像素用T(i)b表示，第一行最后一个像素用T(i)e表示，其中i代表在CMOS拍摄图像的行数；第二行第一个像素用T(i+1)b表示，第二行最后一个像素用T(i+1)e表示；以此类推，第三行第一个像素用T(i+2)b表示，第三行最后一个像素用T(i+2)e表示。

区域2中，第一行第一个像素用S(i+1)b表示，第一行最后一个像素用S(i+1)e表示，其中i同样代表行数；第二行第一个像素用S(i+2)b表示，第二行最后一个像素用S(i+2)e表示；以此类推，第三行第一个像素用S(i+3)b表示，第三行最后一个像素用S(i+3)e表示。

然后对各行像素进行扫描，将首次遇到的目标像素T(i)b作为第一个目标区域标识，记录当前第一个目标区域首行的起始位置T(i)b和结束位置T(i)e后继续扫描；记录下一行的起始位置T(i+1)b和结束位置T(i+1)e，若下一行的起始位置小于等于上一行的结束位置，即T(i+1)b<＝T(i)e，且结束位置大于等于上一行的起始位置，即T(i+1)e>＝T(i)b，那将在此行出现的首尾范围内的像素与上一行像素融合，统一融合归类 为第一个目标区域。同时若扫描此行在一定间隔后又出现新的像素起始位置S(i+1)b和结束位置S(i+1)e，且不满足上述比较条件，将此像素区域作为第二个目标区域标识，分配新的区域标号，继续扫描；继续记录下一行的起始位置T(i+2)b和结束位置T(i+2)e，仍然采取同样的判断方法融合或分类目标区域，以此类推继续逐行扫描，直到一帧图像扫描完毕。

本发明算法用统计矩来表示目标棱镜的形状大小特征，如上所述，区域1表示其中一个连通域T，r表示其中的行程段，i表示r的行号，b和e分别表示r的起始和结束列号，L表示r的长度，那么T的0至2阶矩可按以下公式计算：

$M_0\left(T\right)=\underset{r\&Element;T}{\&Sigma;}1r$

$M_x\left(T\right)=\underset{r\&Element;T}{\&Sigma;}{l}_r\frac{b_r+e_r}{2}$

$M_y\left(T\right)=\underset{r\&Element;T}{\&Sigma;}{l}_r{i}_r$

$M_{xx}\left(T\right)=\underset{r\&Element;T}{\&Sigma;}{1}_r(b_r{e}_r+\frac{(l_r-1)(2l_r-1)}{6}$

$M_{xy}\left(T\right)=\underset{r\&Element;T}{\&Sigma;}{l}_r{i}_r\frac{b_r+e_r}{2}$

$M_{yy}\left(T\right)=\underset{r\&Element;T}{\&Sigma;}{l}_r{i_r}^2$

其中x对应列坐标，y对应行坐标，那么0阶矩M₀(T)就是连通域T的面积A。连通域T的形心位置(x₀，y₀)及其拟合椭圆的两轴长a，b和主轴方向θ计算如下：

$x_0=\frac{M_x\left(T\right)}{A},y_0=\frac{M_y\left(T\right)}{A}$

a＝M_xx(T)-x₀M_x(T)

b＝M_yy(T)-y₀M_y(T)

c＝M_xy(T)-x₀M_y(T)＝M_xy(T)-y₀M_x(T) 

$\mathrm{\&theta;}=\frac{\mathrm{\&pi;}}{2}+\frac{1}{2}arctan\left(\frac{2c}{a-b}\right)$

用T的外接正立矩形上(U)下(D)左(L)右(R)位置来参数化：

$U\left(T\right)=\underset{r\&Element;T}{min}{i}_r,D\left(T\right)=\underset{r\&Element;T}{max}{i}_r,$

$L\left(T\right)=\underset{r\&Element;T}{min}{b}_r,R\left(T\right)=\underset{r\&Element;T}{max}{e}_r.$

根据这些公式，可以计算出连通域T的形状，大小，形心信息，若想提取指定距离上的目标棱镜，由于在目标的区分中距离是已知的，该距离上应该出现的目标形状大小也是可以估算的，便可根据该算法提取所需的目标棱镜；同时由于形心位置通过算法已知，便可提取离视场中心距离最近的目标棱镜，或离视场中心距离最远的目标棱镜。

由于目标会受外界因素影响产生不定性闪烁等特殊情况，会造成图像质量并不是每帧都完美，如图6，区域2中第i+2行，会出现中空的两个或多个像素，该算法会自动区分中空像素左右的区域，若均满足比较条件，会默认将中空左右区域融合到同一个区域，并填充空洞，将空洞也融合到该区域，使计算结果更稳定。若出现图中区域4和区域5少部分单独区域情况，算法会根据距离信息区分出此区域为噪声，自动除噪。若区域1、2、3外轮廓附近临近四五个像素内出现闪烁的光芒点，算法也会主动判断将光芒点融合到该区域中或去除。

如图7，实现精确照准目标棱镜A的中心后，本发明能根据需求锁定该目标，一旦锁定该目标，在伺服电机配合下，除不可抗力的外界因素(如长时间丢失)外，若目标持续移动，算法均可锁定至该目标中心，能排除视场内同时又出现的第二个或第三个目标，并不受其它噪声干扰。

目标确定后，会根据区分出来的目标的大小和形状等信息决定该目标所在的大致区域，锁定跟踪后，会制定合适大小的范围框限定目标，确保锁定范围框内认定目标，排除其他任何可能性的噪声干扰。同时由于外界环境复杂，偶尔会出现与目标棱镜无论从形状、大小、反射强度都非常一 致的干扰噪声。若出现短时目标被遮挡或突然丢失，并闯入新的疑似目标时，本发明算法能持续在指定范围内根据形状，大小，相似度等判断新出现的疑似目标是否为正确目标，做出正确的选择，满足使用需求。

Claims (5)

1.一种全站仪的工作方法，其特征在于包括：

计算机(11)通过驱动器(12)控制激光器(13)产生激光，并通过发射光纤(14)、准直透镜(15)，将激光压缩成一束准直光，通过反射元件(6)，物镜(7)形成一道平行光，发射出去，遇到目标棱镜(100)反射回来经物镜(7)，分光棱镜(8)后回到图像传感器(9)上，再经过CMOS影像传感器(10)拍下一张含有反射光的目标影像，并传送至计算机(1)；

计算机通过驱动器关闭激光器，计算机通过CMOS影像传感器获得一张不含反射光的背景影像，即无目标的背景影像；

期间，通过伺服电机控制全站仪绕其中心轴顺时针旋转；

先基于灰度期望值算法设置一个阈值，用无目标的背景影像减去目标影像，对减过的图像进行二值化，能提取图中偏移噪声(B’)，并获取偏移噪声(B’)的位置、大小，根据全站仪旋转方向，在目标影像中估计并标识出实际噪声区域(B)，该实际噪声(B)区域处于所述偏移噪声(B’)右侧相邻处，且面积是偏移噪声(B’)的1-3倍；

然后在目标影像中减去所述实际噪声区域(B)，获得无噪声的目标影像，并确定提取目标棱镜A在目标影像中的位置。

2.根据权利要求1所述的全站仪的工作方法，其特征在于：若目标影像中出现多个目标棱镜，且多个目标棱镜彼此分开；

将目标影像中的各目标棱镜的位置，分成相应数量的区域；

区域一中，第一行第一个像素用T(i)b表示，第一行最后一个像素用T(i)e表示，其中i代表在CMOS拍摄图像的行数；第二行第一个像素用T(i+1)b表示，第二行最后一个像素用T(i+1)e表示；以此类推；

然后对各行像素进行扫描，将首次遇到的目标像素T(i)b作为第一个目标区域标识，记录当前第一个目标区域首行的起始位置T(i)b和结束位置T(i)e后继续扫描；记录下一行的起始位置T(i+1)b和结束位置T(i+1)e，若下一行的起始位置小于等于上一行的结束位置，即T(i+1)b<＝T(i)e，且结束位置大于等于上一行的起始位置，即T(i+1)e>＝T(i)b，将在此行出现的首尾范围内的像素与上一行像素融合，统一融合归类为区域一；

若扫描某行过程中，发现一定间隔后又出现新的像素起始位置S(i+1)b和结束位置S(i+1)e，且不满足上述比较条件，将此像素区域标识为区域二，分配新的区域标号，继续扫描；直到一帧图像扫描完毕。

3.根据权利要求1所述的全站仪的工作方法，其特征在于：将区域一表示其中一个连通域T，r表示其中的行程段，i表示r的行号，b和e分别表示r的起始和结束列号，L表示r的长度，那么T的0至2阶矩可按以下公式计算：

$M_0\left(T\right)=\underset{r\&Element;T}{\&Sigma;}{1}_r$

$M_x\left(T\right)=\underset{r\&Element;T}{\&Sigma;}{l}_r\frac{b_r+e_r}{2}$

$M_y\left(T\right)=\underset{r\&Element;T}{\&Sigma;}{l}_r{i}_r$

$M_{xx}\left(T\right)=\underset{r\&Element;T}{\&Sigma;}{l}_r(b_r{e}_r+\frac{(l_r-1)(2l_r-1)}{6}$

$M_{xy}\left(T\right)=\underset{r\&Element;T}{\&Sigma;}{l}_r{i}_r\frac{b_r+e_r}{2}$

$M_{yy}\left(T\right)=\underset{r\&Element;T}{\&Sigma;}{l}_r{i_r}^2$

其中x对应列坐标，y对应行坐标，那么0阶矩M₀(T)就是连通域T的面积A；连通域T的形心位置(x₀，y₀)及其拟合椭圆的两轴长a，b和主轴方向θ计算如下：

$x_0=\frac{M_x\left(T\right)}{A},y_0=\frac{M_y\left(T\right)}{A}$

a＝M_xx(T)-x₀M_x(T)

b＝M_yy(T)-y₀M_y(T)

c＝M_xy(T)-x₀M_y(T)＝M_xy(T)-y₀M_x(T)

$\mathrm{\&theta;}=\frac{\mathrm{\&pi;}}{2}+\frac{1}{2}arctan\left(\frac{2c}{a-b}\right)$

用T的外接正立矩形上(U)下(D)左(L)右(R)位置来参数化：

$U\left(T\right)=\underset{r\&Element;T}{\min }{i}_r,D\left(T\right)=\underset{r\&Element;T}{\max }{i}_r,$

$L\left(T\right)=\underset{r\&Element;T}{\min }{b}_r,R\left(T\right)=\underset{r\&Element;T}{\max }{e}_r.$

根据上述公式，计算出连通域T的形状，大小，形心信息。

4.根据权利要求1所述的全站仪的工作方法，其特征在于：

若扫描某行过程中，出现中空的两个或多个像素，若均满足上述比较条件，默认将中空左右区域融合到同一个区域，并填充空洞，也即将空洞也融合到该区域。

5.根据权利要求1所述的全站仪的工作方法，其特征在于：

若发现面积小于其余区域均值的一半的区域，将区域视为噪声，自动除噪。