CN114422751A - 基于多路摄像头物理拓扑的智能视频识别联动系统及方法 - Google Patents

Abstract

本发明公开了一种基于多路摄像头物理拓扑的智能视频识别联动系统及方法，智能视频识别联动方法包括步骤：依据多路摄像头的拓扑关系，将多路摄像头划分为多个视角范围的摄像头组；当某个摄像头识别到视野范围内的异常事件时，组内多路摄像头联动自动调整视角，追踪监视异常事件的最大视角；当异常事件发生移动，从一个组内摄像头最大视角范围消失时，组间摄像头联动自动调整视角，根据异常事件的移动方向，对异常事件进行跟踪。通过摄像头与摄像头间沟通和智能识别结果信息共享，在实现异常事件发生后持续追踪，视频安防联动无死角。

Description

基于多路摄像头物理拓扑的智能视频识别联动系统及方法

技术领域

本发明属于智能监控技术领域，具体涉及一种基于多路摄像头物理拓扑的智能视频识别联动系统及方法。

背景技术

物体检测、追踪、识别技术是计算机视觉领域研究的一个活跃分支，已被广泛用于许多与安防相关的应用中，例如可疑人员入侵和异常事件发生等。

市面上的视频联动技术强调视频系统与外部其它系统的联动，比如市面上基于视频监控联动技术的智能巡检系统，通过采集变电站设备运行状态数据、视频监控图像信息，对灯光、风扇和空调实现远程控制，与防火防盗系统、门禁系统实现交互，实现相互间协调联动。

但是目前的视频联动系统只能采用单一的摄像头对监控区域进行监视，缺少异常事件发生后持续追踪的能力，使得监控区域存在漏洞、死角。

发明内容

本发明的目的在于提供一种基于多路摄像头物理拓扑的智能视频识别联动系统及方法，以解决现有技术中，监控只能采用单一的摄像头对监控区域进行监视，存在漏洞、死角的问题。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面，提供了一种基于多路摄像头物理拓扑的智能视频识别联动系统，包括摄像头、内部局域网、视频解码服务器、智能识别服务器和基于识别结果的有限状态机决策服务器；

摄像头用于采集站室视频数据；

内部局域网用于传输摄像头采集的视频流数据；

视频解码服务器用于对视频流进行解码；

智能识别服务器搭载有深度神经网络模型，用于对解码后的图像序列进行检测与识别，将检测识别后的结果传递给有限状态机决策服务器，识别结果包括识别为发生异常事件、无异常事件两种结论；

基于识别结果的有限状态机决策服务器用于控制摄像头跟踪异常事件的行为轨迹，其中，摄像头跟踪异常事件的行为轨迹时，依据多路摄像头的拓扑关系，将多路摄像头划分为多个视角范围的摄像头组；当某个摄像头识别到视野范围内的异常事件时，组内多路摄像头联动自动调整视角，追踪监视异常事件的最大视角；当异常事件发生移动，从一个组内摄像头最大视角范围消失时，组间摄像头联动自动调整视角，根据异常事件的移动方向，对异常事件进行跟踪。

进一步的，还包括流服务器和web客户端；智能识别服务器还用于将跟踪过程的图像数据推送流服务器，流服务器将实时的图像数据推送至web客户端。

本发明的第二方面，提供了一种智能视频识别联动方法，基于所述的智能视频识别联动系统，包括如下步骤：

依据多路摄像头的拓扑关系，将多路摄像头划分为多个视角范围的摄像头组；

当某个摄像头识别到视野范围内的异常事件时，组内多路摄像头联动自动调整视角，追踪监视异常事件的最大视角；

当异常事件发生移动，从一个组内摄像头最大视角范围消失时，组间摄像头联动自动调整视角，根据异常事件的移动方向，对异常事件进行跟踪。

进一步的，摄像头组的划分方式具体为：所有的摄像头视线范围有交叉的部分为一个组，没有交叉视野范围的单独一个组。

进一步的，所述异常事件的识别是通过预设的深度神经网络模型实现的。

进一步的，所述深度神经网络模型的训练数据获取方式如下：

(1)针对物体的三维运动数据，通过运动仿真技术生成3d模型；

(2)基于3d模型生成二维图像数据；

(3)对二维图像数据进行标注，得到所述训练数据。

进一步的，组内多路摄像头联动自动调整视角，追踪监视异常事件的最大视角，具体方法为：组内的多个摄像头联动自动调整视角，在摄像头可驱动调整范围内，使异常事件在某个或者某几个摄像头视野的中心位置，从而实现对异常事件的最大跟踪视角。

进一步的，当异常事件发生移动，从一个组内摄像头最大视角范围消失时，对异常事件进行跟踪，具体方法如下：

当异常事件从某个组内摄像头的最大视野范围内消失，给出异常事件从摄像头离开的角度和坐标，根据摄像头的位置拓扑关系，触发距离所述角度和坐标最近的摄像头组，距离所述角度和坐标最近的摄像头组自动调整视角为异常事件的移动方向，锁定异常事件最大可能移动范围区域。

本发明的有益效果如下：

1)本发明提供的智能视频识别联动方法，通过摄像头与摄像头间沟通和智能识别结果信息共享，在实现异常事件发生后持续追踪，视频安防联动无死角。

2)本发明提供的智能视频识别联动方法，基于运动仿真技术的数据生成技术，通过三维数据生成大量二维图像数据，从而实现视频识别模型的性能提升。

3)本发明提供的智能视频识别联动系统，解决了配电网视频安全联动的问题，异常事件发生后持续追踪，实现视频安防联动无死角。

附图说明

构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例中智能视频识别联动系统的结构框图。

图2为本发明实施例中智能视频识别联动方法原理状态图

图3为本发明实施例中数据仿真示意图。

图4为本发明实施例中配电站室及摄像头角度的俯视平面图。

图5为本发明实施例中异常事件发生时配电站室及摄像头角度的俯视平面图。

具体实施方式

下面将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

以下详细说明均是示例性的说明，旨在对本发明提供进一步的详细说明。除非另有指明，本发明所采用的所有技术术语与本申请所属领域的一般技术人员的通常理解的含义相同。本发明所使用的术语仅是为了描述具体实施方式，而并非意图限制根据本发明的示例性实施方式。

本发明实施例提供了一种基于物理拓扑关系多路摄像头的智能视频识别联动系统，以及基于该智能视频识别联动系统的智能视频识别联动方法。在异常事件发生后能够持续追踪，实现视频安防联动无死角。

如图1所示，本发明实施例的第一个方面，提供了一种智能视频识别联动系统，包括多个摄像头、内部局域网、视频解码服务器、智能识别服务器、基于识别结果的有限状态机决策服务器、流服务器和web客户端等。

具体的，在本实施例中，多个摄像头负责采集站室视频数据，内部局域网负责传输摄像头采集上来的视频流数据，视频解码服务器负责对视频流进行解码。智能识别服务器负责对解析后的图像序列进行检测与识别，将检测识别后的结果传递给有限状态机决策服务器；同时，智能识别服务器将跟踪过程的图像数据推送流服务器，用户通过web客户端查看实时的图像数据。智能识别服务器识别结果包括识别为发生异常事件、无异常事件两种结论。基于识别结果的有限状态机决策服务器通过智能视频识别联动策略跟踪异常事件的行为轨迹。

具体的，本发明实施例中，智能视频识别联动策略，将摄像头获取的视频数据状态分为无异常事件发生和有异常事件发生两种状态；当所有摄像头视野范围内都没有异常事件发生时，各个摄像头保持独立视野范围内的智能识别；当部分摄像头视野范围内出现异常事件(假设每个摄像头的视野范围为Θ，依据多个摄像头的拓扑关系，将摄像头分为多个相关的小组，又分为组内关系和组间关系)，根据组内关系，形成组内联动机制，当异常事件移动超出组内关系最大视野范围后，依据组间关系形成组间联动机制，对异常事件持续追踪。

如图2所示，本发明的智能视频识别联动方法，主要包括无异常事件下和有异常事件下的两部分，具体过程如下：

S1、基于多路摄像头的拓扑关系将多路摄像头划分为多个视角范围的摄像头组。

具体的，如图4所示，配电站室内所有的摄像头划分为7个组，视线范围有交叉的部分为一个组(虚线范围内的组)，没有交叉视野范围的单独一个组。

S2、当异常事件发生在某个摄像头视野范围内时，摄像头获取该区域视频数据，通过智能视频识别算法识别异常事件的发生，并将轨迹信息和方向趋势反馈给对应的组内摄像头及周边摄像头组，组内的摄像头对异常事件进行追踪。

具体的，假设每个摄像头的视野范围为Θ，当异常事件出现在某个组内摄像头的视野范围内时，将触发组内联动机制，摄像头联动自动调整视角，在摄像头可驱动调整范围内尽量保证异常事件尽量在某个或者某几个摄像头的中心位置，从而实现对异常事件的最大跟踪视角，对异常事件进行全方位的检测、跟踪、预警。

在本发明实施例中，智能识别服务器对于异常事件的识别是利用预设的深度神经网络模型，该深度神经网络模型的训练数据基于运动仿真技术的数据生成技术，混合了真实数据和运动仿真数据。

如图3所示，训练数据具体的获取方式如下：

(1)针对物体的三维运动数据，通过运动仿真技术生成3d模型。

(2)基于3d模型生成大量的二维图像数据。

(3)通自动或/和手动方法对二维图像数据进行标注，将标注后的二维图像数据供给深度神经网络模型进行训练学习，提升深度神经网络模型的精确度。

训练完成后的深度神经网络模型可以对不同的物体，包括火焰老鼠等进行识别，时间指标缩减20％以上，准确率提升40％以上，为电力作业人员感知分析奠定了必要的数据基础和方法基础。

S3、当异常事件发生移动，从一个组内摄像头最大视角范围消失时，调动组间摄像头联动机制，形成摄像头组间联动行为，对异常事件进行持续追踪。

具体的，假设每组摄像头的视野范围为φ，当异常事件从某个组内摄像头的最大视野范围内消失，将触发组间联动机制。组间联动机制基于智能视频识别的结果，给出异常事件从摄像头离开的角度和坐标，根据摄像头的位置拓扑关系，触发距离该角度最近的摄像头组，该摄像头组自动调整视角为异常事件的移动方向，从而保证锁定异常事件最大可能移动范围区域的情况下，对可疑人或物体等进行全方位的检测、跟踪、预警。如图5所示，当异常事件的移动趋势如图中蓝色走势所画，将调动图中组6和组4对异常事件进行监测、跟踪和预警。

本发明实施例还提供了组内和组间摄像头智能视频识别联动方法，基于上述的摄像头分组，输入为站室摄像头的拓扑位置关系、初始角度及智能视频识别的异常事件的位置坐标序列，输出的结果为需要调整的摄像头及调整角度。

具体算法步骤如下：

步骤1：初始化，获取各个摄像头的角度、拓扑关系，以及智能视频识别的异常事件位置坐标序列B(t)。

步骤2：若摄像头C视野范围内出现异常事件，则摄像头C跟踪异常事件移动，异常事件在画面上移动像素向量X，摄像头C自动调整角度a，使其在画面上对应移动像素向量X；

X＝B(t)-B(t-1)，B(t)表示时间t对应的坐标。

步骤3：当异常事件将要脱离摄像头C所在摄像头组的视野范围时，从摄像头C的相邻摄像头组M中寻找与向量X方向距离最近的摄像头H，并调整摄像头H移动-X。

H＝argmin{cosɑ*lP(H)-P(C)|}，H∈M，cosɑ>0，(M源自拓扑关系)；

P(C)表示C摄像头的坐标，P(H)表示H摄像头的坐标，ɑ是以异常事件(例如人)为顶点的P(C)与P(H)之间的夹角；

cosɑ＝X*(P(H)-P(C))/|X|*|P(H)-P(C)|。

步骤4：当异常事件出现在摄像头H视野范围内时，摄像头H跟踪异常事件移动，异常事件在画面上移动像素向量X，摄像头H自动调整角度a，使其在画面上对应移动像素向量X。

步骤5：异常事件离开，所有摄像头范围结束。

由技术常识可知，本发明可以通过其它的不脱离其精神实质或必要特征的实施方案来实现。因此，上述公开的实施方案，就各方面而言，都只是举例说明，并不是仅有的。所有在本发明范围内或在等同于本发明的范围内的改变均被本发明包含。

Claims (8)

1.一种基于多路摄像头物理拓扑的智能视频识别联动系统，其特征在于，包括摄像头、内部局域网、视频解码服务器、智能识别服务器和基于识别结果的有限状态机决策服务器；

摄像头用于采集站室视频数据；

内部局域网用于传输摄像头采集的视频流数据；

视频解码服务器用于对视频流进行解码；

智能识别服务器搭载有深度神经网络模型，用于对解码后的图像序列进行检测与识别，将检测识别后的结果传递给有限状态机决策服务器，识别结果包括识别为发生异常事件、无异常事件两种结论；

基于识别结果的有限状态机决策服务器用于控制摄像头跟踪异常事件的行为轨迹，其中，摄像头跟踪异常事件的行为轨迹时，依据多路摄像头的拓扑关系，将多路摄像头划分为多个视角范围的摄像头组；当某个摄像头识别到视野范围内的异常事件时，组内多路摄像头联动自动调整视角，追踪监视异常事件的最大视角；当异常事件发生移动，从一个组内摄像头最大视角范围消失时，组间摄像头联动自动调整视角，根据异常事件的移动方向，对异常事件进行跟踪。

2.根据权利要求1所述智能视频识别联动系统，其特征在于，还包括流服务器和web客户端；智能识别服务器还用于将跟踪过程的图像数据推送流服务器，流服务器将实时的图像数据推送至web客户端。

3.一种智能视频识别联动方法，基于权利要求1所述的智能视频识别联动系统，其特征在于，包括如下步骤：

依据多路摄像头的拓扑关系，将多路摄像头划分为多个视角范围的摄像头组；

当某个摄像头识别到视野范围内的异常事件时，组内多路摄像头联动自动调整视角，追踪监视异常事件的最大视角；

当异常事件发生移动，从一个组内摄像头最大视角范围消失时，组间摄像头联动自动调整视角，根据异常事件的移动方向，对异常事件进行跟踪。

4.根据权利要求3所述的智能视频识别联动方法，其特征在于，摄像头组的划分方式具体为：所有的摄像头视线范围有交叉的部分为一个组，没有交叉视野范围的单独一个组。

5.根据权利要求3所述的智能视频识别联动方法，其特征在于，所述异常事件的识别是通过预设的深度神经网络模型实现的。

6.根据权利要求3所述的智能视频识别联动方法，其特征在于，所述深度神经网络模型的训练数据获取方式如下：

(1)针对物体的三维运动数据，通过运动仿真技术生成3d模型；

(2)基于3d模型生成二维图像数据；

(3)对二维图像数据进行标注，得到所述训练数据。

7.根据权利要求3所述的智能视频识别联动方法，其特征在于，组内多路摄像头联动自动调整视角，追踪监视异常事件的最大视角，具体方法为：组内的多个摄像头联动自动调整视角，在摄像头可驱动调整范围内，使异常事件在某个或者某几个摄像头视野的中心位置，从而实现对异常事件的最大跟踪视角。

8.根据权利要求3所述的智能视频识别联动方法，其特征在于，当异常事件发生移动，从一个组内摄像头最大视角范围消失时，对异常事件进行跟踪，具体方法如下：

当异常事件从某个组内摄像头的最大视野范围内消失，给出异常事件从摄像头离开的角度和坐标，根据摄像头的位置拓扑关系，触发距离所述角度和坐标最近的摄像头组，距离所述角度和坐标最近的摄像头组自动调整视角为异常事件的移动方向，锁定异常事件最大可能移动范围区域。

Images