CN104506819B - 一种多摄像头实时联动的互反馈跟踪系统及方法 - Google Patents

Abstract

本发明的多摄像头实时联动的自动跟踪系统，特征是视频处理单元对高清摄像机获取的图像信息中各目标形态进行识别，球机对目标实现自动放大、判断、记录和跟踪；特别是为了增强高清图像视频跟踪识别准确性，视频处理单元内增加了目标特征识别模块，用于对目标的再次识别。所述系统包括枪机模组、球机模组、视频处理单元和跟踪控制终端三部分，其中视频处理单元由降像素单元、活动目标信息检测单元、活动目标特征提取单元、目标跟踪队列单元、跟踪摄像头控制单元、形态识别及目标细节特征提取单元和目标跟踪控制单元组成。

Description

一种多摄像头实时联动的互反馈跟踪系统及方法

技术领域

本发明涉及视频监控领域，尤其涉及一种多摄像头实时联动的互反馈跟踪系统及方法。

背景技术

目前专利申请号为200820093731.5的主从式摄像机视频监控系统实用新型由主球机和视频处理单元组成。枪机处于静止状态，完成对大范围的视频监控区域的覆盖任务；球机是一台高速球机，完成对枪机传回的图像信息中的目标放大，提供更清晰的近景细节信息，方便观察判断和取证；视频处理单元用于对枪机拍摄的图像中的活动目标进行检测锁定。

该主从式摄像机视频监控系统的工作原理是枪机的视频数据传给视频处理单元，视频处理单元进行活动目标检测，并将活动目标信息放入跟踪队列，然后由球机控制模块向球机发送控制命令，让球机拉近并跟踪活动目标。最后，视频处理单元向后端同时发送主球机视频流。目标跟踪控制模块接收来自终端的跟踪模式切换命令，在手动模式下，球机不自动跟踪活动目标，只响应用户终端控制操作。

这种主从式摄像机视频监控系统中视频处理单元只处理枪机的视频数据，检测和锁定活动目标。跟踪摄像机只负责接收视频处理单元的控制命令，拉近跟踪活动目标，因此目前这种摄像机视频监控系统存在以下问题：

一是有效目标检测率低。为了保证处理的实时性，视频处理单元检测活动目标采用的图形处理技术大都是基于背景减方式。而基于背景减方式检测活动目标的缺陷就是误检率高，虚景干扰度大，人影、树叶晃动，雪天、雨天、阳光等都会产生虚景而发生无效跟踪。

二是无法实现对活动目标的准确分类。系统只是通过背景减方式获取活动目标，没有进行对活动目标形态的识别，在活动目标较多的情况下导致用户关心的目标无法及时跟踪和记录。

三是无法实现对特定目标的优先自动跟踪。跟踪摄像机不能接收来自监控终端发出的特定目标实时跟踪控制命令，导致特定目标跟踪动作难以率先完成，影响了目标识别和记录效果。

四是不能针对拉近后目标进行二次聚焦跟踪。由于没有目标识别处理环节，当目标被拉近放大后，无法根据目标的关键特征进行二次聚焦，导致目标关键特征无法及时获得。

发明内容

本发明所描述的多摄像头实时联动的互反馈跟踪系统的目的就是针对目前应用的主从式视频监控系统中存在的有效目标检测率低、无法实现对多个活动目标的准确分类，不能实现对特定目标的优先自动跟踪、更不能准确二次聚焦。系统通过增加降像素处理单元、活动目标特征信息提取单元、形态及特征识别单元，解决了目前主从式摄像机视频监控系统中存在的虚景较多、跟踪效率低的问题。还通过目标形态及特征识别，提高活动目标的分类和跟踪的准确性。

同时多摄像头实时联动的互反馈跟踪系统还实现球机接受来自视频处理单元的实时优先跟踪控制命令，自动发现匹配某种有特定特征的目标，并进行跟踪判断，当目标进入预先设定的区域后发出报警，使本系统具有目标及监控区域选择性预警功能，目标跟踪、预警、监控效率高，监控范围大，应用效果好。

本发明的目的是通过以下技术方案实现的。

根据本发明的实施方式，提出一种多摄像头实时联动的互反馈跟踪系统，所述多摄像头实时联动的互反馈跟踪系统包括：跟踪控制终端、广角枪机、高速云台跟踪摄像机、视频处理单元四部分，所述视频处理单元由降像素处理单元、活动目标信息检测单元、特征信息提取单元、目标跟踪队列单元、目标跟踪控制单元、形态及特征识别单元、球机控制单元组成。

根据本发明的实施方式，所述枪机是高清广角摄像机，其图像信息传给降像素处理单元用于活动目标位置信息提取，同时其图像信息传给跟踪控制终端用于图像显示和记录；

所述球机是高清可变焦可360°转动的摄像机，用于放大目标，并对活动目标进行跟踪，其图像信息传给形态及特征识别单元用于再次识别目标信息，同时其图像信息传给跟踪控制终端用于目标特征图像显示，球机接收球机控制单元的控制命令，并按其命令转动和变焦；

所述跟踪控制终端接收主球机图像信息并显示，系统参数的设置、警戒区域划分、特定目标特征设置，并根据监控要求向目标跟踪控制单元发送跟踪和预警信息；

降像素处理单元用于降低高清图像像素，方便活动目标信息检测单元进行基本信息提取；

所述活动目标信息检测单元接收降像素处理单元的图像信息，并从中分检出活动目标，供特征信息提取单元使用；

所述特征信息提取单元根据预设活动目标基本特征提取活动图像位置信息送目标跟踪队列单元；

所述目标跟踪队列单元接收来自特征信息提取单元、目标跟踪控制单元、形态形态及特征识别单元的控制信息，综合处理后将结果送球机控制单元；

所述目标跟踪控制单元接收形态及特征识别单元和跟踪控制终端的控制信息，经过分析处理后，一般目标信息送目标跟踪队列单元，特定目标信息直接送球机控制单元实现特定目标的跟踪；

所述球机控制单元接收来自目标跟踪队列单元单和目标跟踪控制单元的信息，实现对球机的控制；

所述形态及特征识别单元接收球机拉近放大的目标图像信息，按照设定的目标形态或特征要求进行目标信息再次识别，并将识别结果反馈给目标跟踪控制单元和目标跟踪队列单元进行处理。

根据本发明的实施方式，所述多摄像头实时联动的互反馈跟踪系统工作流程具体为：

S1：广角枪机的高清视频流传给视频处理单元，先将原始高清视频图像通过降像素处理单元进行降像素处理，降低像素后减少数据处理量，然后运用背景减方式提取出活动目标的位置信息，再根据降像素时图像缩放比例求的目标在原始图像中的位置信息；

S2：活动目标信息检测单元将活动目标在原始图像中的位置信息传给特征信息提取单元，提取目标基本特征；通过形态识别算法，提取活动目标的基本特征信息，包括人车分类、行人主体颜色、车辆主体颜色；

S3：提取到的目标特征信息存入目标跟踪队列单元，由球机控制单元控制球机对活动目标进行初次拉近识别和跟踪；

S4：形态形态及特征识别单元抽帧获取来自高速云台跟踪摄像头中初次拉近目标的细节特征，并对拉近后的目标进行二次识别，判断细节特征信息，将其结果反馈到目标跟踪控制单元，并跟踪摄像头中的目标进行二次放大聚焦，获得关键特征的清晰图像；

S5：目标跟踪控制单元实时接收来自跟踪控制终端的消息，实时控制球机对满足条件的活动目标进行优先跟踪，并对进入预定区域的特定目标实时行跟踪报警。

本发明的优点：一是通过增加降像素处理单元提高了高清图像信息的处理效果，使目标跟踪的实时性得到保证；二是通过增加活动目标特征信息提取单元实现对目标特征信息的初次提取，为系统再次识别和提高系统处理效率提供了依据和保证；三是通过增加形态特征信息提取单元，对初次提取的目标进行拉近放大再次进行形态特征识别，获取关键特征后进行二次聚焦，提高了系统获取目标有用信息的准确性。四是增加通过跟踪控制终端指令实现对特定特征目标跟踪及进入特定区域的目标进行报警的功能，使系统具有分目标、分区域预警的功能，特别适合执勤哨位、机场重要区域、重点目标等的监控和预警。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

附图1示出了根据本发明实施方式的多摄像头实时联动的互反馈跟踪系统结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

根据本发明的实施方式，提出一种多摄像头实时联动的互反馈跟踪系统，所述多摄像头实时联动的互反馈跟踪系统主要包括：跟踪控制终端、广角枪机、高速云台跟踪摄像机、视频处理单元四部分，视频处理单元由降像素处理单元、活动目标信息检测单元、特征信息提取单元、目标跟踪队列单元、目标跟踪控制单元、形态及特征识别单元、球机控制单元组成。

附图1是多摄像头实时联动的互反馈跟踪系统框图，1是广角枪机、2是高速云台跟踪摄像机、3是跟踪控制终端、4是降像素处理单元、5是活动目标信息检测单元、6是特征信息提取单元、7是目标跟踪队列单元，8是目标跟踪控制单元、9是球机控制单元、10是形态及特征识别单元。

附图1中：枪机1是高清广角摄像机，在本系统中监控区域固定，监控范围较大，其图像信息传给降像素处理单元4用于活动目标位置信息提取，同时其图像信息传给跟踪控制终端3用于图像显示和记录。球机2是高清可变焦可360°转动的摄像机，主要用于放大目标，并对活动目标进行跟踪，其图像信息传给形态及特征识别单元10用于再次识别目标信息，同时其图像信息传给跟踪控制终端3用于目标特征图像显示，球机接收球机控制单元9的控制命令，并按其命令转动和变焦。跟踪控制终端3接收主球机图像信息并显示，系统参数的设置、警戒区域划分、特定目标特征设置，并根据监控要求向目标跟踪控制单元8发送跟踪和预警信息。降像素处理单元4是降低高清图像像素，方便活动目标信息检测单元进行基本信息提取，这是基于背景减算法对画质不敏感的原理。活动目标信息检测单元5接收降像素处理单元4的图像信息，并从中分检出活动目标，供特征信息提取单元6使用。特征信息提取单元6根据预设活动目标基本特征提取活动图像位置信息送目标跟踪队列单元7。目标跟踪队列单元7接收来自特征信息提取单元6、目标跟踪控制单元8、形态及特征识别单元10的控制信息，综合处理后将结果送球机控制单元9。目标跟踪控制单元8接收形态及特征识别单元10和跟踪控制终端3的控制信息，经过分析处理后，一般目标信息送目标跟踪队列单元，特定目标信息直接送球机控制单元9实现特定目标的跟踪。球机控制单元9接收来自目标跟踪队列单元7和目标跟踪控制单元8的信息，实现对球机的控制。形态及特征识别单元10接收球机拉近放大的目标图像信息，按照设定的目标形态或特征要求进行目标信息再次识别，并将识别结果反馈给目标跟踪控制单元8和目标跟踪队列单元7进行处理。

所述多摄像头实时联动的互反馈跟踪系统工作流程具体为：

第一步：广角枪机的高清视频流传给视频处理单元，由于背景减方式中对画质不敏感，为提高视频处理效率，先将原始高清视频图像通过降像素处理单元进行降像素处理，降低像素后减少数据处理量，然后运用背景减方式提取出活动目标的位置信息，再根据降像素时图像缩放比例求的目标在原始图像中的位置信息。

第二步活动目标信息检测单元将活动目标在原始图像中的位置信息传给特征信息提取单元，提取目标基本特征。本系统中采用高清广角摄像机，图像效果好，因此提取指定区域内目标基本特征可信度高。通过形态识别算法，提取活动目标的基本特征信息，主要包括人车分类、行人主体颜色、车辆主体颜色。由于形态识别算法只检测活动目标，计算量小，速度快，能满足实时性要求，并使多数无效目标得以滤除。

第三步：提取到的目标特征信息存入目标跟踪队列单元，由球机控制单元控制球机对活动目标进行初次拉近识别和跟踪。对于行人，主要聚焦在上半部分；对于车辆，主要聚焦在下半部分。

第四步：形态形态及特征识别单元抽帧获取来自高速云台跟踪摄像头中初次拉近目标的细节特征，并对拉近后的目标进行二次识别，判断更为有用的细节特征信息(如车牌，人脸等)，将其结果反馈到目标跟踪控制单元，并跟踪摄像头中的目标进行二次放大聚焦，获得关键特征更为清晰的图像。由于有了活动目标提取单元和形态及特征信息提取单元的互反馈模式识别分析目标信息的方法，所以跟踪目标的特征信息获取有效性和准确性得到极大地提高。

第五步：目标跟踪控制单元实时接收来自跟踪控制终端的消息，实时控制球机对满足条件的活动目标进行优先跟踪，并对进入预定区域的特定目标实时行跟踪报警。比如后台需要对具有某种颜色特征的目标进行优先跟踪和报警，目标跟踪控制单元将扫描跟踪队列中满足条件的目标进行优先拉近跟踪，对跟踪后的视频进行二次识别，若满足条件，则报警，达到实时主动布控效果。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (3)

1.一种多摄像头实时联动的互反馈跟踪系统，所述多摄像头实时联动的互反馈跟踪系统包括：跟踪控制终端、广角枪机、高速云台跟踪摄像机、视频处理单元四部分，所述视频处理单元由降像素单元、活动目标信息检测单元、特征信息提取单元、目标跟踪队列单元、目标跟踪控制单元、形态及特征识别单元、球机控制单元组成；

其中，所述枪机是高清广角摄像机，其图像信息传给降像素单元用于活动目标位置信息提取，同时其图像信息传给跟踪控制终端用于图像显示和记录；

所述球机是高清可变焦可360°转动的摄像机，用于放大目标，并对活动目标进行跟踪，其图像信息传给形态及特征识别单元用于再次识别目标信息，同时其图像信息传给跟踪控制终端用于目标特征图像显示，球机接收球机控制单元的控制命令，并按其命令转动和变焦；

其中，降像素处理单元用于降低高清图像像素，方便活动目标信息检测单元进行基本信息提取；

所述活动目标信息检测单元接收降像素单元的图像信息，并从中分检出活动目标，供特征信息提取单元使用；

所述特征信息提取单元根据预设活动目标基本特征提取活动图像位置信息送目标跟踪队列单元；

所述目标跟踪队列单元接收来自特征信息提取单元、目标跟踪控制单元、形态及特征识别单元的控制信息，综合处理后将结果送球机控制单元；

其中，所述目标跟踪控制单元接收形态及特征识别单元和跟踪控制终端的控制信息，经过分析处理后，一般目标信息送目标跟踪队列单元，特定目标信息直接送球机控制单元实现特定目标的跟踪；

所述球机控制单元接收来自目标跟踪队列单元和目标跟踪控制单元的信息，实现对球机的控制；

所述形态及特征识别单元接收球机拉近放大的目标图像信息，按照设定的目标形态或特征要求进行目标信息再次识别，并将识别结果反馈给目标跟踪控制单元和目标跟踪队列单元进行处理。

2.一种如权利要求1所述的系统，所述跟踪控制终端接收主球机图像信息并显示，并根据监控要求向目标跟踪控制单元发送跟踪和预警信息。

3.一种如权利要求1-2其中之一所述的多摄像头实时联动的互反馈跟踪系统进行跟踪的方法，所述方法包括：

S1：广角枪机的高清视频流传给视频处理单元，先将原始高清视频图像通过降像素单元进行降像素处理，降低像素后减少数据处理量，然后运用背景减方式提取出活动目标的位置信息，再根据降像素时图像缩放比例求得目标在原始图像中的位置信息；

S2：活动目标信息检测单元将活动目标在原始图像中的位置信息传给特征信息提取单元，提取目标基本特征；通过形态识别算法，提取活动目标的基本特征信息，包括人车分类、行人主体颜色、车辆主体颜色；

S3：提取到的目标特征信息存入目标跟踪队列单元，由球机控制单元控制球机对活动目标进行初次拉近识别和跟踪；

S4：形态及特征识别单元抽帧获取来自球机初次拉近目标的细节特征，并对拉近后的目标进行二次识别，判断细节特征信息，将其结果反馈到目标跟踪控制单元，并跟踪摄像头中的目标进行二次放大聚焦，获得关键特征的清晰图像；

S5：目标跟踪控制单元实时接收来自跟踪控制终端的消息，实时控制球机对满足条件的活动目标进行优先跟踪，并对进入预定区域的特定目标实时行跟踪报警。