CN113033521A

CN113033521A - 基于目标分析的周界动态预警方法与系统

Info

Publication number: CN113033521A
Application number: CN202110572512.5A
Authority: CN
Inventors: 杨帆; 王前龙
Original assignee: Nanjing Zhenshi Intelligent Technology Co Ltd
Current assignee: Xiaoshi Technology Jiangsu Co ltd
Priority date: 2021-05-25
Filing date: 2021-05-25
Publication date: 2021-06-25
Anticipated expiration: 2041-05-25
Also published as: CN113033521B

Abstract

本发明提供一种基于目标分析的周界动态预警方法与系统，具体包括：接收在预定周界范围内的摄像机采集的视频流；从视频流提取帧图像；对帧图像进行目标检测，获得进入周界范围内的目标的数量以及目标的坐标位置，并为进入周界范围内的目标分别赋予ID；基于目标的坐标位置确定摄像机的抓拍焦距，并关联致对应的目标ID，形成抓拍序列；接收摄像机根据抓拍序列抓拍的目标照片；基于抓拍的目标照片进行匹配识别，并且根据识别结果丢弃对应的目标ID或预警。本发明可提升目标分类准确率；通过特征分析对可疑目标的类别进行分类，方便及时采取与可疑目标类别相对应的应对措施；通过分析目标行动轨迹方向，降低周界防入侵的误报率。

Description

基于目标分析的周界动态预警方法与系统

技术领域

本发明涉及图像处理技术领域，具体而言涉及一种基于目标分析的周界动态预警方法与系统。

背景技术

在一些重要的区域，如机场、军事基地、监狱、博物馆、发电厂等处，为了防止非法的入侵和各种破坏活动，传统的防范措施是在这些区域的外围周界处设置一些（如铁栅栏、围墙、篱笆网等）屏障或阻挡物，安排人员加强，加强巡逻。在目前犯罪份子利用先进的科学技术，手段更加复杂、智能化的情况下，传统的防范手段已难以适应安全保卫工作的需要。

传统周界预警，当触发后会立即产生预警消息通知，无法判断触发目标是否需要进行预警，有可能为误触发；无法避免因设备故障、动物或人扰动产生的无效预警信息；

通用的周界预警方式，当配合安防摄像机使用时，抓拍获取的照片的清晰度无法有效控制，识别效果不理想。

同时在传统的周界预警系统中，无法实现对入侵目标的识别和分类，经常会出现误报、频繁上报或者有预警图片但图片模糊的情况，导致使用效果不理想。

发明内容

本发明的第一方面提供一种基于目标分析的周界动态预警方法，包括以下步骤：

接收在预定周界范围内的摄像机采集的视频流，所述摄像机为可变焦距摄像机；

按照预设频率从视频流提取帧图像；

对帧图像进行目标检测，获得进入周界范围内的目标的数量以及目标的坐标位置，并为进入周界范围内的目标分别赋予ID；所述目标的坐标位置包括目标距离地面的高度H以及目标距离摄像机的距离L；

基于目标的坐标位置确定摄像机的抓拍焦距，并关联致对应的目标ID，形成抓拍序列；

接收摄像机根据抓拍序列抓拍的目标照片；

基于抓拍的目标照片，在周界范围的生物特征库进行匹配识别，并且：

1)响应于识别到目标，则丢弃对应的目标ID；否则

2)响应于未识别到目标，则根据预先设定的规则进行预警。

本发明的第二方面提供一种基于目标分析的周界动态预警系统，包括：

一个或多个处理器；

存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括前述的基于目标分析的周界动态预警方法的流程。

应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。

结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。

附图说明

图1是本发明示例性实施例的基于目标分析的周界动态预警方法的流程示意图。

图2是本发明示例性实施例的抓拍目标照片的预处理流程示意图。

图3是本发明示例性实施例的确定目标照片质量评分的流程示意图。

图4是本发明示例性实施例的基于抓拍的目标照片进行人脸特征匹配识别的流程示意图。

图5是本发明示例性实施例的计算机系统的结构框图。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。

基于目标分析的周界动态预警方法

结合图1所示的流程示意，本发明示例性实施例的基于目标分析的周界动态预警方法，包括以下步骤：

S101、接收在预定周界范围内的摄像机采集的视频流，所述摄像机为可变焦距摄像机；

S102、按照预设频率从视频流提取帧图像，例如25帧/min；

S103、对帧图像进行目标检测，获得进入周界范围内的目标的数量以及目标的坐标位置，并为进入周界范围内的目标分别赋予ID；所述目标的坐标位置包括目标距离地面的高度H以及目标距离摄像机的距离L；

S104、基于目标的坐标位置确定摄像机的抓拍焦距，并关联致对应的目标ID，形成抓拍序列；

S105、接收摄像机根据抓拍序列抓拍的目标照片；

S106、基于抓拍的目标照片，在周界范围的生物特征库进行匹配识别，并且：

1)响应于识别到目标，则丢弃对应的目标ID；否则

2)响应于未识别到目标，则根据预先设定的规则进行预警。

结合以上实施例的实施，摄像机持续性对周界范围（即预设的监控区域范围）进行视频采集，当有目标对象侵入到周界范围内时，通常距离比较远，难以获得清晰的图像以进行人体或者人脸检测与识别，难以准确识别是动物（例如猫狗等）、人体或者落叶、皮球（无生命物理对象），因此在本发明的周界预警方案中，首先进行目标识别，识别出具有侵入物之后，分配给目标ID以及确定与摄像机的距离，由此摄像机可针对每个目标ID通过调焦以获得更利于识别的清晰可见的照片，从而进行后续的精确的识别与预警处理。

如图5所示示例的计算机系统，具有通常所见的计算机系统的框架与系统设计，例如具有处理器101（CPU）、存储器102、通信模块103、接口模块104、用户交互界面105以及显示单元 106。这些部件通过例如数据总线110相互连接，以集成或者独立的方式设置在板卡或者集成电路内。

处理器101（CPU）可以采用基于X86或者ARM等架构的处理器，以实现运算与控制功能。

存储器102，用于存储可被处理器101执行的程序，以及存储可被调用和处理的数据。

通信模块103，可选有线或者无线通信模块，例如基于蜂窝网络的3G、4G、5G或者Wifi模块等无线网络通信模块，将边缘设备接入到网络中，实现数据交互。

接口模块104，用于提供外部设备连接到边缘设备上的端口，实现数据与指令的传输，这些外外部设备例如外置存储器、传感器等。

用户交互界面105，包括接收用户操作的输入装置，诸如触控面板、鼠标、键盘、虚拟按键等。

显示单元 106，例如液晶显示器件，通过可驱动显示的方式表征数据、图像或者其他可表征的对象。

应当理解，本发明的各个实施例所描述的方法执行，均可在计算机系统中实现。

在另一些可选的实施例中，本发明的各个实施例所描述的方法执行，还可以在服务器中执行，这样的服务器例如可以是设置于本地端的服务器，或者云端服务器，具有与前述计算机系统类似的系统设计，例如包括处理器、存储器、通信模块等。在可选的实施例中，前述的计算机系统或者服务器可以包含更多或者更少的部件。

下面结合附图所示，更加具体的阐述本发明示例的周界动态预警方法的实施。

在步骤S103中，对提取的帧图像进行目标检测，可采用预先训练好的目标检测器实现，例如现有技术中基于开源OpenCV的检测器，或者基于CNN卷积神经网络的目标检测器实现。通过目标检测，返回进入周界范围内的目标的数量以及目标的坐标位置。

在本发明的实施例中，目标的坐标位置以范围的目标检测框的中心为准确定，即目标距离地面的高度H以及目标距离摄像机的距离L，均以目标检测框的中心为准确定。

在步骤S04中，优选地，基于目标的坐标位置确定摄像机的抓拍焦距，包括：

基于目标距离所述摄像机的距离L，通过查找表确定摄像机的数码变焦倍数范围；以及

基于目标距离地面的高度H，以抓拍的目标照片能够覆盖目标的上半部分为基准确定数码变焦的倍数，并以与摄像机的当前数码变焦倍数差值最小的倍数确定摄像机的抓拍焦距。

由此，可通过预先设置查找表，对应存储不同距离目标的优选的焦距范围，从而在得到目标与摄像机的距离之后，通过查找表来确定变焦倍数。

可选地，摄像机的变焦倍数的梯度变化为0.1X。

如此，结合目标距离地面的高度，为了获得目标上半部分，尤其是人体的头部图像以利于识别时，将其包含在视角范围内，抓拍获得期望的目标照片。

由此，确定每个目标ID的抓拍焦距之后，与对应的目标ID关联，形成一个抓拍序列，摄像机基于该抓拍序列来抓拍获得每个目标ID的目标照片。

优选地，所述接收摄像机根据抓拍序列抓拍的目标照片，包括接收抓拍的目标照片以及预处理流程。

结合图2所示的预处理流程，具体包括以下步骤：

基于人脸位置与脸部占比确定目标照片质量评分；

响应于目标照片质量评分超过设置的质量阈值，则以当前抓拍的目标照片进行匹配识别，否则送入缓存，并由所述摄像机重新抓拍，直到目标照片质量评分满足质量阈值；并且，如果在设定的N个抓拍周期内仍不能满足质量阈值，则以目标照片质量评分最高的目标照片进行匹配识别。

在该实施方式中，由于摄像机在抓拍周界范围内的目标照片时，通常非常难以采集到理想的正脸以识别，而且在调焦和拉近的采集过程中，也会遇到侧脸、侧身交谈、人体/脸部遮挡的情况，因此通过脸部相关的特征来对抓拍的目标照片进行评估，以确定最佳的抓拍照片进行后续的识别。而同时，由于在周界范围内通常会存在多个目标同时出现需要进行抓拍，如果对于其中一个一直处于重复抓拍来获得符合要求的最佳照片，会影响其他目标的识别，因此设置抓拍的照片的阈值，当设定周期内仍然无法满足要求的，则取质量评分最高的进行识别，既兼顾单个目标识别识别的准确性，也兼顾多目标识别的效率。

结合图3所示的流程，优选地，所述基于人脸位置与脸部占比确定目标照片质量评分，包括：

基于目标照片中人脸框的中心点与目标照片的中心点，确定二者之间的欧氏距离d₀；

基于目标照片中人脸框的像素面积与目标照片的像素面积，确定二者之间的比值d_s；以及

基于欧氏距离d₀与比值d_s获取目标照片质量评分fs：

fs=w1*[1/(d₀+d₀’)]+w2*d_s

其中，w1和w2为权重系数，w1+w2=1；d₀’为调节系数。

前述实施例中，欧氏距离的计算，可基于现有技术中的二维平面内2个坐标点的欧氏距离的计算方式实现。像素面积的计算，可基于长度方向和宽度方向的像素点的乘积计算得到。

在该实施方式中，引入人脸位置与脸部占比两个指标来综合确定抓拍的目标照片的质量评分。应当理解，在本发明的实施过程中，目标照片中人脸框的中心点与目标照片的中心点距离越接近，表明在抓拍时人脸趋近于位于抓拍的目标照片的中心位置；同时，目标照片中人脸框的像素面积与目标照片的像素面积的占比越大，表面在抓拍的目标照片中人脸趋近于清晰并且占据主要位置，避免过远采集照片，虽然照片清晰，但由于人脸在整个人体中相对占比较小，其关键点相对又比较多和集中，在识别时会导致人脸特征提取失败或者不准确，影响识别结果。

本发明采用综合中心点欧氏距离约束与人脸照片的像素面积约束的质量评分基准，fs的值越大，图像质量越高，并且与设定的质量阈值比较后，可确定满足要求的目标照片。

其中，优选的实施例中，在确定目标照片质量评分fs过程中，引入调节系数d₀’，取一个极小值，以防止欧氏距离d₀为0。

作为示例，调节系数d₀’取值为0.001。

结合图4，在步骤S105中，优选地，所述基于抓拍的目标照片，在周界范围的生物特征库进行匹配识别，包括：

将某一目标ID的抓拍的目标照片进行人脸检测，检测出其中的人脸，返回每个人脸的人脸框位置；

提取人脸特征值，并与所述生物特征库进行匹配识别，分别计算人脸特征值与生物特征库中每个人脸特征值的相似度并从大到小进行排列，如果相似度最大值大于等于预设的阈值，则识别成功，否则识别失败。

在该实施方式中，对于抓拍的目标照片，进行人脸检测后返回人脸框位置，可得到人脸照片；再通过人脸特征提取，与生物特征库即底库进行匹配识别，判断目标照片中的人脸是否是底库中已经预先登记的对象，如果是，则表明该目标是预登记的对象，允许通行或者出现，放弃对该目标的进一步处理，释放出目标ID；而如果未识别出来，表明该目标是一个陌生对象，未可疑目标，需要根据预先设定的规则进行预警。

在步骤S106中，优选地，所述响应于未识别到目标，则根据预先设定的规则进行预警，包括：

如果未识别到目标，则判定目标为可疑目标；以及

对目标照片进行人体检测，如果检测到人体，发出预警提示；如果未检测到人体，丢弃对应的目标以及目标ID。

优选地，所述响应于未识别到目标，则根据预先设定的规则进行预警，还包括以下步骤：

当检测到人体，发出预警提示时，持续抓拍，并且在连续M个抓拍照片中识别到人体，发出紧急预警提示。

在本发明的实施例中，可设置多级预警，即不同的预警等级。

如果时第一次检测到侵入的人体，则发出预警提示，例如向登记的管理人员或者监控中心发出预警消息，提示有人侵入到受控范围。此时为一般预警。

如果检测到人体侵入，并且持续性进行抓拍之后，发现在连续的多张抓拍中均包含人体，例如周界范围为银行受控区域的门口，则表明并非简单路过或者走错，而是存在潜在的风险后者隐患，则发出更高级别的预警提示，例如向登记的管理人员或者监控中心发出紧急预警消息，提示有安全风险或者隐患，需要人工或现场确认与处理等。

在可选的实施例中，如果检测到人体，还可以进一步基于连续多个抓拍照片进行轨迹分析，与预定义的预警区域等级结合，确定报警等级，提升预警的精准度和有效性。

综上所述的实施例，本发明的周界动态预警处理，可提升目标分类准确率；通过特征分析对可疑目标的类别进行分类，方便及时采取与可疑目标类别相对应的应对措施；通过分析目标行动轨迹方向，降低周界防入侵的误报率。

基于目标分析的周界动态预警系统

结合以上周界动态预警方法的实施，本发明还提出一种基于目标分析的周界动态预警系统，包括：

一个或多个处理器；

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims

1.一种基于目标分析的周界动态预警方法，其特征在于，包括以下步骤：

按照预设频率从视频流提取帧图像；

接收摄像机根据抓拍序列抓拍的目标照片；

1)响应于识别到目标，则丢弃对应的目标ID；否则

2)响应于未识别到目标，则根据预先设定的规则进行预警。

2.根据权利要求1所述的基于目标分析的周界动态预警方法，其特征在于，所述基于抓拍的目标照片，在周界范围的生物特征库进行匹配识别，包括：

3.根据权利要求1所述的基于目标分析的周界动态预警方法，其特征在于，所述接收摄像机根据抓拍序列抓拍的目标照片，包括：

接收摄像机根据抓拍序列抓拍的某一个目标ID的目标照片；

基于人脸位置与脸部占比确定目标照片质量评分；

响应于目标照片质量评分超过设置的质量阈值，则以当前抓拍的目标照片进行匹配识别，否则送入缓存，并由所述摄像机重新抓拍，直到目标照片质量评分满足质量阈值；如果在设定的N个抓拍周期内仍不能满足质量阈值，则以目标照片质量评分最高的目标照片进行匹配识别。

4.根据权利要求1-3中任意一项所述的基于目标分析的周界动态预警方法，其特征在于，所述基于人脸位置与脸部占比确定目标照片质量评分，包括：

基于欧氏距离d₀与比值d_s获取目标照片质量评分fs：

fs=w1*[1/(d₀+d₀’)]+w2*d_s

其中，w1和w2为权重系数，w1+w2=1；d₀’为调节系数。

5.根据权利要求1所述的基于目标分析的周界动态预警方法，其特征在于，基于目标的坐标位置确定摄像机的抓拍焦距，包括：

6.根据权利要求1所述的基于目标分析的周界动态预警方法，其特征在于，所述响应于未识别到目标，则根据预先设定的规则进行预警，包括：

如果未识别到目标，则判定目标为可疑目标；以及

7.根据权利要求6所述的基于目标分析的周界动态预警方法，其特征在于，所述响应于未识别到目标，则根据预先设定的规则进行预警，还包括以下步骤：

8.一种基于目标分析的周界动态预警系统，其特征在于，包括：

一个或多个处理器；

存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括权利要求1-7中任意一项所述的基于目标分析的周界动态预警方法的流程。