CN102063724A - 一种全景虚拟警戒目标接力追踪装置 - Google Patents

Abstract

本发明提供了一种全景虚拟警戒目标接力追踪装置，所述的追踪装置的摄像机组的九路视频依次输入到三块三通道视频采集拼接处理板进行视频拼接或单路视频提取输出，三块三通道视频采集拼接处理板的输出视频输入到三通道视频采集拼接目标跟踪板的视频输入接口，实现在自然场景下的全景无缝拼接显示，并且根据外部指令实现对虚拟警戒区域的运动目标检测，完成对威胁目标的稳定实时的追踪。本发明的全景虚拟警戒目标追踪装置解决了实际应用中实现大视场监控却不能精确稳定跟踪较远距离目标，以及能精确稳定跟踪较远距离目标却不能实现全景监控的问题，实现在监测到威胁目标的情况下，能保证实现对目标的精确稳定跟踪。

Description

一种全景虚拟警戒目标接力追踪装置

技术领域

本发明属于图像采集及视频智能监控技术领域，特别涉及一种全景虚拟警戒目标接力追踪装置。

背景技术

基于视频的目标的检测与跟踪在军事武器、机器人导航、智能监控系统等领域具有广泛的应用，它是一种融合了图像处理、模式识别、人工智能、自动控制等多领域先进技术的综合应用技术。而全景视频是对单摄像机视频的扩展，它综合应用图像配准、图像融合技术，无缝拼接生成的360度视场视频。全景虚拟警戒目标接力追踪则是在360度全景视频下对虚拟设定的区域内目标的检测与接力追踪。

在中国CNKI、万方、维普、中国专利等数据库中查找了目前基于全景视频装置及全景目标接力跟踪的相关论文及专利。综合分析目前的相关全景虚拟警戒目标接力追踪装置，大致可归结为以下特征：1.全景视频相关拼接算法有一定的研究，但少有相关全景视频拼接装置的报导；2.没有全景视场下的目标接力追踪；3.虚拟警戒在部分智能监控系统中有一定的应用。

全景视频中由于装置中的摄像机组各摄像机的相对方位不同，在自然场景下，其照明条件不同，致使进光量不同，造成各摄像机成像视频的亮度、对比度等参数各不相同，一般的视频拼接算法不能满足无缝拼接成像的要求；在全景视频装置中对虚拟警戒检测到的目标进行接力追踪过程中，目标在各摄像机中的成像特征不同，接力中目标特征的计算与匹配是保证高精度稳定追踪的关键，而简单借用单摄像机目标跟踪算法则不能满足稳定性要求。所以，实现自然场景下全景无缝视频实时的目标检测与稳定跟踪，是对现有目标跟踪技术与跟踪算法的补充。

中国专利文献数据库公开了一种发明名称为《全景联动视频监控装置及其全景图像的拼接方法》（公开号为CN101312526）的专利技术，该发明属于视频监控领域的一种全景联动视频监控装置及其全景图像的拼接方法，全景联动视频监控装置由监控装置和运动摄像机组成，运动摄像机安装在监控装置的内部，其技术特点是：在监控装置的外罩上均匀安装N台静止摄像机，由N个静止摄像机的画面拼接成全景画面，在监控装置内安装有控制静止摄像机视频图像与运动摄像机视频图像联动的控制电路，以此实现对目标的跟踪与放大显示。该专利技术的不足之处是静止摄像机和运动摄像机联动方式的采用对整个系统的目标跟踪稳定性影响较大，导致系统工作不够稳定、运动摄像机的图像模糊不清、分辨率下降，不利于后端图像的处理及对图像数据的后期分析。

发明内容

本发明要解决的技术问题的是提供一种全景虚拟警戒目标接力追踪装置。

本发明的全景虚拟警戒目标接力追踪装置包括摄像机组，三通道视频采集拼接处理板，三通道视频采集拼接目标跟踪板；摄像机组的摄像机依次与三通道视频采集拼接处理板的视频输入接口连接，在三通道视频采集拼接处理板上设置有执行视频图像处理的DSP模块；三通道视频采集拼接处理板的视频输出接口依次连接到三通道视频采集拼接目标跟踪板的三路视频输入接口；三通道视频采集拼接目标跟踪板的视频图像处理模块DSP通过网口接收外部指令，根据接收指令完成对虚拟警戒的设置、威胁目标的检测，威胁目标的特征、方位计算，通过串口向三通道视频采集拼接处理板发送拼接、单路视频及视频切换指令，实现对威胁目标的追踪；根据控制指令实现视频拼接及单路视频切换输出。

所述的摄像机组中的摄像机数量为3~24个，三通道视频采集拼接处理板的数量为1~8个。

所述的摄像机组中的摄像机数量为9个，三通道视频采集拼接处理板的数量为3个。

所述的三通道视频采集拼接处理板的视频图像处理模块DSP中的嵌入式图像处理程序包括以下步骤：

a)初始化AD转换控制数据，通过AD转换电路将三路模拟视频信号转换成数字信号，并生成相应的视频格式；

b)判断系统是否处于拼接状态，若处于拼接状态，则转入对原始视频进行滤波运算，滤除噪声，转入步骤d)；

c)若步骤b)中判断系统处于非拼接状态，则通过接收三通道视频采集目标接力跟踪处理板的跟踪状态和跟踪参数，判断目标是否处于本采集拼接处理板的三路通道中，若判断结果为否，转入步骤i)；

d)若步骤c)中判断目标处于本采集拼接处理板的三通道中，则识别出该通道代码，采集该通道视频数据，转入步骤h)；

e)对三路邻接视频进行相应的压缩，转入步骤f)；

f)对三路邻接压缩视频进行两邻接区域的配准，转入步骤g)；

g)采用线性加权融合算法，对三邻接视频数据配准后的两块重叠区域进行拼接，生成拼接视频，转入步骤h)；

h)视频数据经DA转换电路，转换成模拟视频信号输出；

i)判断是否接收到结束指令，若接收到结束指令，则程序终止，否则转入步骤b)。

所述的三通道视频采集拼接目标跟踪板的视频图像处理嵌入式图像DSP中的处理程序包括以下步骤：

A.初始化系统为视频拼接状态，并通过串口向三个三通道视频采集拼接处理板发送拼接指令，并接收三个三通道视频采集拼接处理板的输出视频，进行实时的AD转换；

B.通过网口，接收外部操控指令，包括虚拟警戒区域、虚拟警戒线等的参数设置、是否拼接等指令，当接收到非拼接指令，转入步骤D；

C.当步骤B中，接收到的指令为拼接指令，转入步骤E；

D.接收外部所需显示的场景的摄像机编号，判断该编号摄像机的视频输出接入的对应的三通道视频采集拼接处理板，向该处理板发送单场景采集指令，并只接收该视频采集拼接处理板的输出视频，转入步骤F；

E.向三块三通道视频采集拼接处理板发送拼接指令，并接收三块处理板拼接处理后的模拟视频，将三路拼接后的视频拼接融合成一幅图像，转入步骤F；

F.通过网口，接收虚拟设置的操控指令，判断是否有虚拟警戒区或虚拟警戒线设置，当接收到设置参数，转入步骤H；

G.当步骤F中没有接收到设置，转入步骤K；

H.按照设置参数进行相应的警戒区域或线的划分，进行局部场景的动目标检测与跟踪，当检测到动目标并触线需跟踪时，转入步骤J；

I.当步骤H中没有检测到动目标或没有目标触线时，转入步骤K；

J.判定当前的拼接状态和被跟踪目标在整个视场中的位置，计算目标所在的摄像机编号，发送非拼接指令及该编号摄像机视频采集指令或视频切换指令，转入步骤K；

K.视频数据经DA转换电路，转换成模拟视频信号输出；

L.判断是否接收到结束指令，当接收到结束指令后，程序终止，否则转入步骤B。

本发明的全景虚拟警戒目标追踪装置采用单一的摄像机组和视频图像处理板组合的方式，既保证了拼接功能的实现，也克服了系统间联动带来的稳定性不高的问题，能够解决实际应用中大视场监测却不能精确稳定跟踪较远距离目标，以及能精确稳定跟踪较远距离目标却不能实现全景视场监控的问题。全景视频拼接能够保证对360度视场范围内场景的实时监控，通过外部终端发送不同的虚拟警戒命令的实现对特定监控区域的设置，保证在人工全局监控与智能局部精确监控的并行处理，以及在检测到威胁目标的情况下，能保证实现对目标的精确稳定跟踪及运动趋势的预测，以及纵横向大范围的目标跟踪，从而使系统的稳定性与可靠性得到极大改善。本发明的全景虚拟警戒目标追踪装置所使用的嵌入式图像处理程序的图像处理能力可以稳定地保持在25帧/秒以上。本发明的全景虚拟警戒目标接力追踪装置能够实现在自然场景中对360度场景的无缝拼接全景显示，并且在全景视频中实现对虚拟警戒区的目标检测，完成对目标的稳定实时的追踪。

附图说明

图1为本发明的全景虚拟警戒目标追踪装置的总体结构示意图。

图2为本发明中的三通道视频采集拼接处理板与三通道视频采集拼接目标跟踪板结构图。

图3为本发明中的三通道视频采集拼接处理板中的嵌入式图像处理程序流程图。

图4为本发明中的三通道视频采集拼接目标跟踪板中的嵌入式图像处理程序流程图。

具体实施方式

下面将结合附图和实施例对本发明进行详细说明。

如图1所示，本发明的全景虚拟警戒目标追踪装置16包括摄像机组10，三通道视频采集拼接处理板11，三通道视频采集拼接处理板12，三通道视频采集拼接处理板13，三通道视频采集拼接目标跟踪板14。摄像机组10包括九路光轴同心等距均匀分布的摄像机。其中，摄像机1011、摄像机1012、摄像机1013通过同轴电缆101连接到三通道视频采集拼接处理板11的三路视频输入接口，摄像机1021、摄像机1022、摄像机1023通过同轴电缆102连接到三通道视频采集拼接处理板12的三路视频输入接口，摄像机1031、摄像机1032、摄像机1033通过同轴电缆103连接到三通道视频采集拼接处理板13的三路视频输入接口，三块三通道视频采集拼接处理板视频输出接口分别通过同轴电缆104、同轴电缆105、同轴电缆106连接到三通道视频采集拼接目标跟踪板14的三路视频输入接口。三通道视频采集拼接目标跟踪板14通过网口111接收外部指令，通过串口112、串口113、串口114发送拼接指令、单路视频指令及视频切换指令；根据接收指令完成对虚拟警戒的设置、威胁目标的检测，当检测到威胁目标，计算目标的方位，匹配目标所在摄像机视场的编号，通过串口向该摄像机连接的三通道视频采集拼接处理板发送单路视频采集指令，将该路视频传送到三通道视频采集拼接目标跟踪板14实现对威胁目标的跟踪。

本发明的全景虚拟警戒目标接力追踪装置包括摄像机组，三块三通道视频采集拼接处理板，一块三通道视频采集拼接目标跟踪板；摄像机组由九个光轴相交于一点、环形均布的高清晰低照度摄像机组成；九路摄像机的模拟视频接口依次连接到三块三通道视频采集拼接处理板的视频输入接口，三块三通道视频采集拼接处理板的视频输出接口连接到三通道视频采集拼接目标跟踪板的三通道视频输入接口；三通道视频采集拼接处理板上程序实现三路视频的拼接视频、单路原始视频的切换输出，三通道视频采集拼接目标跟踪板上程序实现外部虚拟警戒终端控制信息的接收、三块三通道视频采集拼接处理板的控制信息指令发送，完成无缝360度全景视频拼接、虚拟警戒目标检测、威胁目标跟踪与接力跟踪，并将信息迭加后的视频信息传输到虚拟警戒终端显示等功能。

如图2所示，本发明的三通道视频采集拼接处理板与三通道视频采集拼接目标跟踪板硬件架构相同，采用以720Mhz主频的TI公司DM642为核心的DSP处理器21，三路模拟视频经以TVP5150为核心的AD转换电路22、转换电路23、转换电路24转换成数字视频传送到DSP处理器，处理后视频经DA转换电路26转换成模拟视频输出，DA转换器采用SAA7121H，通过10M/100M以太网接口25接收外部指令，DSP处理器EMIF总线与内存29、闪存28、串口控制器22连接，串口控制器采用TL16C752B实现对两路串口的控制与数据传输，闪存电路采用AM29LV033C实现对程序的存储。

如图3所示，三通道视频采集拼接处理板中的嵌入式图像处理程序流程图中步骤30为初始动作，实现对系统参数与接口参数的初始化，在步骤31首先判断系统是否处于拼接状态，若为拼接状态，则转入步骤321，进行三通道视频的同时采集，若为非拼接状态，则在步骤311中判断是否是第一路视频处于追踪状态，若为是，则在步骤32将第一路视频信息采集后经步骤35的DA转换输出，否则在步骤312中判断是否是第二路视频处于追踪状态，若为是，则在步骤33将第二路视频信息采集后经步骤35的DA转换输出，否则在步骤313中判断是否是第三路视频处于追踪状态，若为是，则在步骤34将第三路视频信息采集后经步骤35的DA转换输出，否则转入步骤37。

在步骤321中，对三通道视频进行同时采集、AD转换，在步骤322中将各路视频进行相应的压缩，在步骤323实现对各路视频的预处理，完成图像亮度、对比度的调整；在步骤324实现对第一、第二路邻接视频的重迭区域的配准，在步骤325实现该两路视频重迭区域的融合；将融合后的视频在步骤326实现与第三路视频重迭区域的配准，在步骤327实现视频图像的融合，融合后的视频图像在步骤35经DA转换输出。

在步骤37判断是否接收到程序退出指令，若为是，则程序结束，否则转入步骤31。

如图4所示，三通道视频采集拼接目标跟踪板中的嵌入式图像处理程序流程图中步骤40为初始步骤，完成对三通道视频AD转换电路参数、系统接口数据参数的初始化，在步骤41判断系统是否为拼接状态，若为拼接状态转到步骤45，实现三通道视频的同时采集获取，若为非拼接状态，则在步骤410判断系统是否是在第一路视频视场中进行目标追踪，若判断结果为是，则在步骤42，只采集第一路视频数据，将视频数据传输到步骤412进行目标的搜索，若步骤410的判断结果为否，则在步骤411进一步判断是否是在第二路视频视场中进行目标追踪，若判断结果为是，则在步骤42，只采集第二路视频数据，并将其传送到步骤412进行目标搜索，否则，在步骤44，只采集第三路视频数据，并将其传送到步骤412进行目标搜索。

在步骤412中，根据目标的检测信息或上一帧图像目标跟踪中计算的目标特征数据进行特征匹配和目标搜索，在步骤413中实现对目标特征的提取与更新，在步骤414中，计算目标的位置信息，根据目标的位置信息，在步骤415中，判断目标是否处于该路摄像机与其邻接摄像机的重迭区域，若处于该邻接区域，则判定接力状态为是，则在步骤416中，发送视频切换指令，将其邻接摄像机的编号发送给系统，若接力状态为否，则保存目标的特征及位置信息，将视频DA转换输出。

在步骤45，对三通道视频数据同时进行采集和AD转换，在步骤422，实现三通道视频的拼接，在步骤423通过接收外部指令信息判断是否接收到虚拟警戒指令，若判断结果为否，则在步骤47，将拼接后视频DA转换输出。

在步骤423中，若判断结果为是，则在步骤424中，获取虚拟警戒的类型和监控区域，针对监控区域视频数据，在步骤425进行背景建模，在步骤426进行运动目标的检测，在步骤427中，判断运动目标是否出现，若没有出现，则在步骤417，在视频中迭加相关虚拟警戒设置信息，将视频数据发送到步骤47进行DA转换输出。

在步骤427中，判断结果为运动目标出现，则在步骤428中进行目标的特征提取，并进行目标的标识，在步骤429中判断运动目标是否触及虚拟警戒线或进入虚拟警戒区，若判断结果为否，则在步骤418中，叠加虚拟警戒及目标标识信息，将叠加信息的视频数据发送到步骤47DA转换输出，若判断结果为是，则发送视频的切换信息，并迭加目标及虚拟警戒信息，将视频发送到步骤47进行DA转换输出，在步骤49判断是否接收到程序退出指令，若为是，则程序结束，否则转入步骤41。

Claims (5)

1.一种全景虚拟警戒目标接力追踪装置，其特征在于：所述的追踪装置包括摄像机组（10），三通道视频采集拼接处理板（11、12、13），三通道视频采集拼接目标跟踪板(14)；摄像机组（10）的摄像机依次与三通道视频采集拼接处理板（11、12、13）的视频输入接口连接，在三通道视频采集拼接处理板（11、12、13）上分别设置有执行视频图像处理的DSP模块；三通道视频采集拼接处理板（11、12、13）的视频输出接口依次连接到三通道视频采集拼接目标跟踪板(14)的三路视频输入接口；三通道视频采集拼接目标跟踪板(14)的视频图像处理模块DSP通过网口(111)接收外部指令，根据接收指令完成对虚拟警戒的设置、威胁目标的检测，威胁目标的特征、方位计算，通过串口(112、113、114)分别向三通道视频采集拼接处理板（11、12、13）发送拼接、单路视频及视频切换指令，实现对威胁目标的追踪；根据控制指令实现视频拼接及单路视频切换输出。

2.根据权利要求1所述的追踪装置，其特征在于：所述的摄像机组（10）中的摄像机数量为3~24个，三通道视频采集拼接处理板的数量为1~8个。

3.根据权利要求1所述的追踪装置，其特征在于：所述的摄像机组中的摄像机数量为9个，三通道视频采集拼接处理板的数量为3个。

4.根据权利要求1所述的追踪装置，其特征在于：所述的三通道视频采集拼接处理板的视频图像处理模块DSP中的嵌入式图像处理程序包括以下步骤：

初始化AD转换控制数据，通过AD转换电路将三路模拟视频信号转换成数字信号，并生成相应的视频格式；

判断系统是否处于拼接状态，若处于拼接状态，则转入对原始视频进行滤波运算，滤除噪声，转入步骤d)；

若步骤b)中判断系统处于非拼接状态，则通过接收三通道视频采集目标接力跟踪处理板的跟踪状态和跟踪参数，判断目标是否处于本采集拼接处理板的三路通道中，若判断结果为否，转入步骤i)；

若步骤c)中判断目标处于本采集拼接处理板的三通道中，则识别出该通道代码，采集该通道视频数据，转入步骤h)；

对三路邻接视频进行相应的压缩，转入步骤f)；

对三路邻接压缩视频进行两邻接区域的配准，转入步骤g)；

采用线性加权融合算法，对三邻接视频数据配准后的两块重叠区域进行拼接，生成拼接视频，转入步骤h)；

视频数据经DA转换电路，转换成模拟视频信号输出；

判断是否接收到结束指令，若接收到结束指令，则程序终止，否则转入步骤b)。

5.根据权利要求1所述的追踪装置，其特征在于：所述的三通道视频采集拼接目标跟踪板(14)的视频图像处理模块DSP中的嵌入式处理程序包括以下步骤：

A. 初始化系统为视频拼接状态，并通过串口向三个三通道视频采集拼接处理板发送拼接指令，并接收三个三通道视频采集拼接处理板的输出视频，进行实时的AD转换；

B. 通过网口，接收外部操控指令，包括虚拟警戒区域、虚拟警戒线等的参数设置、是否拼接等指令，当接收到非拼接指令，转入步骤D；

C. 当步骤B中，接收到的指令为拼接指令，转入步骤E；

D. 接收外部所需显示的场景的摄像机编号，判断该编号摄像机的视频输出接入的对应的三通道视频采集拼接处理板，向该处理板发送单场景采集指令，并只接收该视频采集拼接处理板的输出视频信号，转入步骤F；

E. 向三块三通道视频采集拼接处理板发送拼接指令，并接收三块处理板拼接处理后的模拟视频，将三路拼接后的视频拼接融合成一幅图像，转入步骤F；

F. 通过网口，接收虚拟设置的操控指令，判断是否有虚拟警戒区或虚拟警戒线设置，当接收到设置参数，转入步骤H；

G. 当步骤F中没有接收到设置，转入步骤K；

H. 按照设置参数进行相应的警戒区域或线的划分，进行局部场景的动目标检测与跟踪，当检测到动目标并触线需跟踪时，转入步骤J；

I. 当步骤H中没有检测到动目标或没有目标触线时，转入步骤K；

J. 判定当前的拼接状态和被跟踪目标在整个视场中的位置，计算目标所在的摄像机编号，发送非拼接指令及该编号摄像机视频采集指令或视频切换指令，转入步骤K；

K. 视频数据经DA转换电路，转换成模拟视频信号输出；

L. 判断是否接收到结束指令，当接收到结束指令后，程序终止，否则转入步骤B。

Images