CN109785357B - 一种适用于战场环境的机器人智能化全景光电侦察的方法 - Google Patents

Abstract

本发明涉及机器人光电侦察、机器视觉领域，提出了一种适用于战场环境的智能化全景光电侦察方法。包括以下步骤：首先将机器人四周安装的光学传感器所捕获的视频流媒体进行智能化分析，以判断具有威胁性的目标(敌方作战单位)是否出现在传感器观测范围内的某一扇区；其次将该扇区的视场放大至多倍以清晰观测该目标，并将无目标的扇区进行压缩缩小，减小非目标区域的观测信息；最后将每个扇区的图像进行边缘特征点检测，并进行无缝拼接，以做到突出显示观测目标，抑制背景信息的全景光电侦察的方法。该方法能够良好的观测全景领域内所出现的威胁目标，在机器人作战侦察中具有良好的应用前景。

Description

一种适用于战场环境的机器人智能化全景光电侦察的方法

技术领域

本发明属于图像处理领域，涉及在战场环境下的机器人四周安装光学传感器，具体为一种适用于战场环境的机器人智能化全景光电侦察的方法。

背景技术

针对战场上的作战环境日益复杂的情况，我方人员直接进入作战区域会将自身暴露于危险之中，而无人机又无法对一些特殊地形，例如掩体、丛林等有视距遮挡情况下的侦察。因此非常有必要研制一种能够进行智能化全景光电侦察的机器人，并使用本发明专利提到的方法，对人员或无人机无法到达、无法观测到的纵深区域进行深入详细的侦察观测。同时将观测信息返回给我方作战单位，以便对敌方目标进行及时有效毁伤。

目前现有的全景侦察方法不具备本发明专利所提到的性能与优势，或者全景侦察的方法不够先进、智能化程度不够高，本发明专利利用创新的扇区目标识别方法、扇区视场自适应方法、以及扇区无缝拼接方法，全方位的提升了机器人的全景侦察效果，大幅提高了侦察机器人的效率和准确率。

本发明通过当机器人处于伪装静止情况下利用背景建模的方法检测出背景模型，并对背景模型进行更新及优化，进而利用差分法检测出可疑目标，以及轮廓追踪法标定目标的大小及位置；随后利用扇区比例自动匹配技术，对于出现目标的扇区利用约翰逊准则进行放大以满足清晰观测的要求，未出现目标的扇区则相应的扩大视场，做到对目标的自适应观测能力；最后为了保证观测质量，采用了像素点精确计数的方法，将所有扇区的图像根据特征点平滑过渡，最大限度的还原真实场景的同时显著降低了图像延迟。

发明内容

本发明提供一种用于战场环境的机器人全景光电侦察的方法，该方法可以应用于智能化机器人，实现对360°视距范围内的可疑目标自动侦察；

本发明利用分布在机器人四周的光学传感器分扇区进行多个场景下的可疑目标识别，同时对目标进行轮廓追踪，以精确标识目标的大小及位置等运动特征；每个扇区的观测视场角可随发现的目标进行自动调整的同时兼顾360°无死角；最后利用扇区边缘特征点检测技术对每个扇区的图像进行了无缝拼接，提升观测质量；

本发明所述方法在机器人处于伪装静止情况下，通过背景建模的方法检测出背景模型，并对背景模型进行更新及优化，进而利用差分法检测出可疑目标，以及轮廓追踪法标定目标的大小及位置；随后利用扇区比例自动匹配技术，对于出现目标的扇区进行放大，对未出现目标的扇区扩大视场，最后将所有扇区的图像根据特征点平滑过渡，最大限度的还原真实场景；

进一步地，所述方法包括以下步骤：

S1、扇区目标识别；

S2、扇区比例自动匹配；

S3、扇区无缝拼接；

S4、还原真实场景；

进一步地，所述S1只在机器人静止的情况下进行，运动时不进行目标识别，假设在机器人的四周装有多个图像传感器用来全景光电侦察，固定场景下识别目标的方法首先需要提取出每个扇区的背景，然后利用背景与前景的差分，来检测出可疑目标；

进一步地，所述S1具体包括：

S11：根据像素统计法建立背景模型；

S12：根据视频流循环更新背景模型；

S13：对背景模型进行分辨率优化；

S14：对背景模型进行增强；

S15：根据差分法，从背景模型中获得可疑目标图像；

S16：根据改进的轮廓追踪法，从背景模型中标定目标的大小及位置；

进一步地，所述S16中改进的轮廓追踪法具体包括以下步骤:

a、找到最左上方的目标点，并沿左下方进行初始搜索；

b、用现目标点按照a中所述方向搜索；

c、如果发现目标点，则将判断其是否为初始点，如果不是目标点，则按照逆时针方向旋转45°；

d、如果步骤c中目标点是起始点，则判断其目标区域是否大于3×3；

e、如果步骤c中目标点不是起始点，则更新现目标点，并按照顺时针旋转90°，重复步骤b；

f、当步骤c中逆时针旋转45°后，如果其未进行8个方向判断，则重复步骤b，如果8个方向判断完毕，则不加入目标集；

g、如果步骤d中目标区域大于3×3，则加入目标集，如果步骤d中目标区域不大于3×3，则不加入目标集；

进一步地，所述S2中，对出现目标的扇区，在识别到有威胁的目标后，缩小目标出现扇区的视场角，增加目标图像的面积占比，获得更清晰的目标图像；

进一步地，所述S2中，对未出现目标的扇区，将视场角进行相应扩大，以压缩非目标场景的图像信息，当扩大到临界值时，对目标做出及时响应，响应完毕后立即恢复到初始视场角；

进一步地，所述S3具体包括；

S31：将图像传感器获取的图像进行S1和S2处理后，引入像素计数器；

S32：通过像素计数器对位于相邻扇区的互相重叠的垂直n列像素进行特征点检测；

S33：将相邻扇区的所有特征点对进行拼接及平滑处理，在保证相邻扇区接缝处图像质量的同时，最大限度地降低输出图像的延迟。

本发明的有益效果如下：

1)、基于扇区的像素统计法循环背景建模及其算法优化、效果增强非常适合进行嵌入式算法移植开发；

2)、利用改进的轮廓追踪算法可有效抑制噪声点及图像扰动，显著提升了目标特征；

3)、每个扇区可随发现目标进行自适应的变焦、放大目标，同时其他扇区相应的扩大视场，以最大限度地抓取目标特征的同时兼顾360°全景侦察周围环境；

4)、利用图像计数器大幅缩短图像延迟，并提高无缝拼接效果。

附图说明

图1是本发明所述方法的基本流程图。

图2是本发明所述方法中一般轮廓追踪算法示意图。

图3是本发明所述方法中改进的轮廓跟踪算法示意图。

图4是本发明所述方法中相邻扇区无缝拼接示意图。

具体实施方式

下面结合附图和具体实施例对本发明作具体的介绍。

如图1-图4所示，本发明提供一种适用于战场环境的机器人智能化全景光电侦察方法，将整个侦察流程划分为扇区内目标识别、扇区比例自适应匹配、扇区无缝拼接三个阶段，如图1所示，具体步骤如下：

(1)、扇区目标识别步骤

一般情况下，机器人在行进过程中由于图像的抖动，运动模糊等原因会造成图像质量大幅下降，不利于目标的识别及检出，因此该步骤只在机器人静止的情况下进行，运动时不进行目标识别。假设在机器人的四周装有n个图像传感器用来全景光电侦察，图像的大小为800×600，位深为8位，那么就需要至少n×4×800×600×2字节也就是3.84×n MB字节大小的存储芯片来实时存储图像，其中n为传感器的个数，4为缓存3帧图像加上一帧背景图像，800×600为图像大小，2为16位彩色图像。在选定好ddr存储芯片大小以及图像处理器的型号后，接下来需要设计目标识别的算法，在固定场景下识别目标的方法首先需要提取出背景，然后利用背景与前景的差分，来检测出可疑目标，具体的计算流程为：

a.根据像素统计法建立背景模型；

为了提高背景模型的效果，并方便进行算法的嵌入式移植，提出了一种基于像素统计的方法进行背景建模。首先对图像上的每个像素进行灰度建模，例如对于800×600大小的灰度图像，要进行256个灰度级建模。这个模型可以看成是一个直方图空间模型，并对其进行初始化，如式(1)：

M(x,y,h)＝0,x∈(0～800),y∈(0～600),h∈(0～255) (1)

其中x代表图像的横轴，y代表图像的纵轴，h代表(x,y)位置可能出现的灰度等级，对于输入的一幅图像，对每个像素点的灰度进行统计，并在相应的空间模型上进行累加。例如，对于(100,100)位置的像素，如果其灰度为200，则令M(100,100,200)自动加1；如果对于一个位置(x,y)，当h从0～255灰度进行变化时，M(x,y,h)取得最大值，则认为此时的h灰度为(x,y)处最佳的背景灰度。如果对于每帧图像的每个像素点都要进行灰度统计值的比较，运算量非常大。这里对算法进行了优化改进，对于序列中的第一幅图像，可以假设其为背景，并对所建立的模型进行统计更新，对于后续的图像，仍然在此基础上进行模型的更新，对于当前帧的像素点，必然有一个M(x,y,h_n)自动加1，可以只用这个变化的M(x,y,h_n)和当前背景图像的灰度，假设为h_n-1所对应的M(x,y,h_n-1)进行比较，如果：

M(x,y,h_n)>M(x,y,h_n-1) (2)

则认为(100,100)像素点位置的背景灰度变更为h_n，否则仍然维持原先确定的背景灰度h_n-1。

b.根据视频流循环更新背景模型；

为了使算法使用较少的存储空间，以较少的运算量完成背景建模，就必须对算法进行优化。通过循环背景建模，来优化存储空间，减少重复运算，提高建模效率。

如果无限制的在M(x,y,h)上累加，则会出现数据溢出。对于M(x,y,h)，当累加到一定时候，比如说背景稳定时，可再次对M(x,y,h)初始化，并重新建立背景模型，如此循环下去，可以保证M(x,y,h)不会溢出。经过实验数据统计，在背景更新到100帧左右，会处于基本稳定的状态，因此为了减少运算量，从每次循环100帧之后，可以每10帧图像进行一次更新或者更少的背景更新运算。

因为循环一次为255帧，所以把M(x,y,h)的类型设置成8位无符号的整数类型即可满足算法要求。如果每次都去判断有没有M(x,y,h)达到最大值，势必会增加运算量，可通过对图像序列进行统计，每当其累加到255时，就会对背景模型进行循环初始化，并用随后100帧图像所计算出的背景图像更新背景模型，而在这之前则使用上一个循环所计算出的背景图像。

c.背景模型的分辨率优化；

优化的第二个方面是通过降低背景模型的灰度分辨率以及像素分辨率来节省存储空间。事实上，对于背景模型灰度，不需要在全部的256个等级上进行统计，背景的灰度分辨率可以降低一半甚至75％，因为目标与背景之间的差值，也就是对比度，一般来说会大于5％，对于256个灰度级，5％意味着大约13个灰度级。为了节约存储空间，可以把256个灰度级平均分成128个等级范围，对于原始图像，只要落在这个范围内的，则进行像素统计，检测出来的目标灰度相对于256个灰度级检测出来的误差在±1个单位。相比5％对比度来说，这个误差是很小的，这样可以节省一半的存储空间。甚至还可以进一步的把背景灰度级分成64级进行统计。这样误差会在±2徘徊，相对于5％来说仍旧是小的。在不影响背景质量的同时节约存储空间，减少运算量。

同时背景模型的分辨率也可以降低一倍，从800×600降低到400×300，由于背景模型最终是用来计算前景目标的，其分辨率下降一倍对于目标形状的误差在±1个像素，这在误差允许范围之内。

对于128级背景灰度模型来说为了实现每256帧图像的循环式建模，就需要分配400×300×128字节的存储空间，也就是15.36M字节的存储空间，对于全景n个扇区，则需要再乘以n。

d.背景模型的增强；

为了进一步增强算法的鲁棒性，提升背景模型的效果，保证每次循环前后的背景平滑过渡，应对提取出的循环背景进行改进，这里提出循环背景模型融合的方法，将新的背景融合到前一循环的背景模型中。假设利用当前帧图像提取出的背景图像为BKGIMG_i，上一循环和当前循环的改进背景分别为BKGIMGPRO_i-1、BKGIMGPRO_i，则有以下改进公式：

BKGIMGPRO_i＝(1-k)BKGIMGPRO_i-1+kBKGIMG_i (3)

其中k是背景衰减因子，为一个小于1的变量。上面公式的意义在于把上一循环所提取的改进背景图像衰减的部分，用当前循环检测出的背景图像来代替，得到当前循环的改进背景模型。这样在减小当前提取出的背景模型不稳定性、可能与前一循环的背景模型有较大差异的同时，也增强了背景模型对环境变化的适应性。为了便于移植，用移位代替小数的乘法运算，k可以取1/8、1/16、1/32类似1/2ⁿ形式的小数。

e.根据差分法获得可疑目标图像；

当背景建立好之后，就可以利用图像差分法进行运动目标的检测。如公式(4)所示，当背景模型与当前时刻的图像差值大于某一阈值，则可以把场景中的运动目标区域提取出来。

其中BKGIMGPRO_k是第k帧的背景图像，I(x,y)是第k帧图像，D_k(x,y)是两帧图像的差异，对D_k(x,y)，设定阈值T，可求出当前图像的运动区域B_k(x,y)。

但是对于运动目标，其当前帧图像运动的大部分像素都会在随后连续几帧图像中保持运动的状态。并且由于噪声干扰、图像不稳定，统一设定的阈值不能完全把运动的目标分离出来，因此在图像差分法中加入了运动历史图像。其数学模型为：

其中运动历史图像MHI(Motion History Image)是提取出的目标图像从k-i时刻到k时刻的累积，为了节约存储空间并收到良好的效果，i可以取2或者3。这样就可以不断对MHI图像进行更新。

f.根据改进的轮廓追踪法标定目标的大小及位置；

在提取出MHI图像之后，可利用一些常用的方法，例如形态学滤波、CANNY算子等提取出运动目标边缘；然后使用改进的轮廓追踪法提取出每条轮廓，并将每条轮廓依次存储下来进行分析。对于每条轮廓的总的像素点数，如果小于某一阈值，必然是一些噪声或者背景扰动等干扰造成的。例如轮廓长度为8时，则证明目标为一个噪声点，当然实际操作时，默认最小目标为3×3个像素，则其边缘最小长度为16，因此将轮廓长度低于16的全部予以排除。

轮廓追踪的一般方法是：先根据一定的“搜索规则”找到轮廓上的起始点，再根据一定的“追踪准则”找到目标物体上的其他像素。通用的轮廓追踪算法如图2。

根据以上分析，针对一般的轮廓跟踪算法加以如下改进，改进后的算法流程图由图3给出。改进后的算法在搜索初期加入了点像素判据，即当某一点像素为1且周围8个像素点为0时判断该像素点为孤立目标点，立刻予以排除。在搜索结束时加入了目标区域大小判据，即当轮廓所包围的像素区域的长、宽任一指标不大于3时，判断该像素区域为噪点区域予以排除。由于引入了上述两个判据，使得改进算法的效率及效果显著增强。

实践证明，通过对MHI图像进行优化后的轮廓跟踪，可以有效地避免图像噪点及抖动的影响，快速找到符合要求的目标。

当轮廓追踪完成后，就可以对这些轮廓进行进一步的分析，例如各个轮廓的几何中心，各阶图像矩等等，以便对目标的特征进行判定。进一步的，还可以对相邻图像帧的运动目标进行帧间分析，提取出运动目标的轨迹和方向，速度大小等特征参数进行目标跟踪。

(2)、扇区比例自动匹配步骤

扇区比例自动匹配可以显著提升观测目标的效率，做到实时发现目标，及时对目标做出响应。对于机器人四周安装的多个图像传感器，一开始并不清楚目标出现在哪个扇区，为了保证全景无死角观测侦察，每个传感器平均负责360°/n的视场角，其中n为传感器的个数。如果扇区目标识别步骤识别出某一扇区有威胁性的目标后，可以利用约翰逊法则计算出所要识别、辨别出目标的视场角。例如为α，则机器人转动使得该扇区光轴对准该目标，同时视场角缩小为α，其余扇区的视场角则均同步扩大为β。其关系如式(6)所示：

如果有两个扇区同时出现有威胁性目标，则根据约翰逊法则计算出这两个扇区的视场角需要变为α₁、α₂，其余扇区的视场角则同步扩大为β。其关系式如式(7)所示：

假设每个传感器的视场角不大于120°，如果扇区比例自动匹配使得视场角大于120°时，则该扇区的视场角不能超过最大值，这也意味着全景图像将会出现盲区，需要对目标做出及时响应，同时响应完毕后恢复到初始视场角以便于继续侦察目标。

(3)扇区无缝拼接步骤

目前进行图像拼接的通常方法是，将多个扇区的图像经过编码芯片转化为数字信号，接入处理器，处理器通过fifo将每帧图像存入ddr2的固定位置，同时为了使光电传感器的输入图像保持同步，需要设置一个帧同步信号，以保证所有扇区图像的同步性。然后处理器的图像拼接模块通过时序发生器产生读取每个扇区图像的时序信号，同时由于时序发生器无法确定处理器何时能存储完一帧输入图像，所以从ddr2里面读取图像时总是落后输入图像一帧的时间，以保证读取图像的完整。

由于扇区无缝拼接需要对所有扇区图像依次逐幅处理来完成拼接，同时拼接时使用的是由步骤(1)、(2)处理后产生的图像，而这些处理会产生一定的延迟。下面以FPGA为例，来计算算法所需要的整体耗时：步骤(1)中由于循环背景检测部分主要是对存储的容量有一定的要求，而运算量方面经过大量的优化已经可以做到准实时精确的输出背景图像了，经计算背景图像产生的延迟t_back为一行图像，由于所有扇区的背景可以同步产生，所以总的背景图像延迟保持不变；而目标的识别的延迟t_{reco_i}(其中i代表目标所占的行数)要根据目标的大小来确认，如果目标面积较大，所占的行像素较多，则目标识别的延迟就高，但总的来说，目标识别算法的延迟不会高于一帧图像，毕竟绝大部分情况下目标不可能充满整个视场。对于步骤(2)，经计算图像缩放算法的延迟t_{scale_n}至少为两行图像，但图像缩放可以并行处理，所以n扇区的缩放延迟保持不变；其次图像拼接的耗时t_{join_n}为十个像素左右，但是图像拼接是串行的，所以对于n个扇区的图像拼接延迟需要累加，所以整个系统的延迟t_sys为图像读取的一帧延迟加上图像处理t_pro的耗时，如式(8)所示

本方法提出将输出视频的帧ID与输入视频的帧ID保持一致，而非滞后一帧，但是这会产生视频输出紊乱，出现断层。解决办法是在算法中加入像素计数器，利用像素计数的方法产生延迟。具体的就是利用最后一个扇区输入图像的视频像素计数器x_{vin_n}与输出视频像素计数器x_vout保持图像处理时间t_pro的间隔，如式(9)所示，则可降低一帧图像的延迟，以保证以最小延迟输出图像视频。

加入像素计数器的另外一个好处是可以实时准确的计算出输入视频的有效像素数，方便查找相邻扇区重复像素的特征，以便对重叠区域进行平滑处理，提升无缝拼接的效果。

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (8)

1.一种适用于战场环境的机器人智能化全景光电侦察的方法，其特征在于，所述方法在机器人处于伪装静止情况下，通过背景建模的方法检测出背景模型，并对背景模型进行更新及优化，进而利用差分法检测出可疑目标，以及轮廓追踪法标定目标的大小及位置；随后利用扇区比例自动匹配技术，对于出现目标的扇区进行放大，对未出现目标的扇区扩大视场，最后将所有扇区的图像根据特征点平滑过渡，最大限度的还原真实场景；

所述轮廓追踪法包括，在搜索初期加入了点像素判据，即当某一点像素为1且周围8个像素点为0时判断该像素点为孤立目标点，立刻予以排除；在搜索结束时加入了目标区域大小判据，即当轮廓所包围的像素区域的长、宽任一指标不大于3时，判断该像素区域为噪点区域予以排除。

2.根据权利要求1所述的方法，其特征在于，所述方法包括以下步骤：

S1、扇区目标识别；

S2、扇区比例自动匹配；

S3、扇区无缝拼接；

S4、还原真实场景。

3.根据权利要求2所述的方法，其特征在于，所述S1只在机器人静止的情况下进行，运动时不进行目标识别，假设在机器人的四周装有多个图像传感器用来全景光电侦察，固定场景下识别目标的方法首先需要提取出每个扇区的背景，然后利用背景与前景的差分，来检测出可疑目标。

4.根据权利要求3所述的方法，其特征在于，所述S1具体包括：

S11：根据像素统计法建立背景模型；

S12：根据视频流循环更新背景模型；

S13：对背景模型进行分辨率优化；

S14：对背景模型进行增强；

S15：根据差分法，从背景模型中获得可疑目标图像；

S16：根据改进的轮廓追踪法，从背景模型中标定目标的大小及位置。

5.根据权利要求4所述的方法，其特征在于，所述S16中改进的轮廓追踪法具体包括以下步骤:

a、找到最左上方的目标点，并沿左下方进行初始搜索；

b、用现目标点按照a中所述左下方的方向搜索；

c、如果发现目标点，则将判断其是否为初始点，如果不是目标点，则按照逆时针方向旋转45°；

d、如果步骤c中目标点是起始点，则判断其目标区域是否大于3×3；

e、如果步骤c中目标点不是起始点，则更新现目标点，并按照顺时针旋转90°，重复步骤b；

f、当步骤c中逆时针旋转45°后，如果其未进行8个方向判断，则重复步骤b，如果8个方向判断完毕，则不加入目标集；

g、如果步骤d中目标区域大于3×3，则加入目标集，如果步骤d中目标区域不大于3×3，则不加入目标集。

6.根据权利要求2所述的方法，其特征在于，所述S2中，对出现目标的扇区，在识别到有威胁的目标后，缩小目标出现扇区的视场角，增加目标图像的面积占比，获得更清晰的目标图像。

7.根据权利要求2所述的方法，其特征在于，所述S2中，对未出现目标的扇区，将视场角进行相应扩大，以压缩非目标场景的图像信息，当扩大到临界值时，对目标做出及时响应，响应完毕后立即恢复到初始视场角。

8.根据权利要求2所述的方法，其特征在于，所述S3具体包括：

S31：将图像传感器获取的图像进行S1和S2处理后，引入像素计数器；

S32：通过像素计数器对位于相邻扇区的互相重叠的垂直n列像素进行特征点检测；

S33：将相邻扇区的所有特征点对进行拼接及平滑处理，在保证相邻扇区接缝处图像质量的同时，最大限度降低输出图像的延迟。

Images