CN112183222A - 一种基于分布式人工智能视频分析的设备联动系统及方法 - Google Patents

Abstract

本发明实施例提供一种基于分布式人工智能视频分析的设备联动系统及方法，设备联动系统包括视频解析系统、任务收发中间件、人工智能服务系统和设备联动规则引擎系统.本发明实施例提供的基于分布式人工智能视频分析的设备联动系统及方法，采用人工智能+物联网的应用系统，将视频监控进行物联网化，系统采用分布式结构，能够提升视频解析的实时性以及人工智能分析的稳定性、可扩展性，且设备联动功能更好的解决了物联网中视频设备联动控制问题。本发明能够接入视频资源进行解码分析处理，并同步输出AI分析的结构化数据以及与其他物联网设备进行联动，并可进行视频录制存储。

Description

一种基于分布式人工智能视频分析的设备联动系统及方法

技术领域

本发明实施例涉及视频监控和物联网领域，尤其涉及一种基于分布式人工智能视频分析的设备联动系统及方法。

背景技术

视频监控作为安防行业重要领域，在物联网行业的大趋势下，IT和安防的融合就是必然的，所以对于监控而言，智能化视频与其他物联设备进行联动是必然趋势。

目前，智能化视频监控产品大部分是采用边缘处理方式，即对摄像头采集的视频数据本地资源进行直接分析，存在固定化分析能力、性能扩展难、结构化数据输出复杂、设备成本高等问题。并且，对于现有大量非智能化视频监控的系统，升级接入视频解析能力、AI分析能力、物联网设备联动能力成本过高。

发明内容

本发明实施例提供一种基于分布式人工智能视频分析的设备联动系统，用以解决现有智能化视频监控产品大部分是采用边缘处理方式，即对摄像头采集的视频数据本地资源进行直接分析，存在固定化分析能力、性能扩展难、结构化数据输出复杂、设备成本高的问题。

第一方面，本发明实施例提供一种基于分布式人工智能视频分析的设备联动系统，包括视频解析系统、任务收发中间件、人工智能服务系统和设备联动规则引擎系统；所述任务收发中间件分别与所述视频解析系统、人工智能服务系统和设备联动规则引擎系统通信连接；

所述视频解析系统，用于接收视频资源信息进行解码，创建视频解析任务并传输至任务分发中间件；

任务收发中间件，用于接收所述视频解析任务拆分为多个AI子任务分发至所述人工智能服务系统中进行识别解析；接收人工智能服务系统反馈的视频解析结果，同步分发至视频解析系统和设备联动规则引擎系统；

所述人工智能服务系统，用于接收任务收发中间件发送的多个AI子任务进行识别解析，将得到的视频解析结果反馈至任务收发中间件；

所述联动规则引擎系统，用于通过规则引擎将所述视频解析结果与其他物联网设备进行联动操作。

进一步，所述视频解析系统包括视频解析模块、图片绘制模块和视频录制存储模块；

所述视频解析模块，用于接收视频资源信息解码为图片以及音频，创建视频解析任务并传输至任务分发中间件；

所述图片绘制模块，用于接收任务中间件发送的视频解析结果，绘制到所述图片上；

所述视频录制存储服务，用于将绘制好的图像资源录制成视频流信息或视频文件，并进行存储。

进一步，所述视频资源信息包括视频流资源地址和静态视频文件。

进一步，所述任务收发中间件包括任务收发器、结果组装器和结果分发器；

所述任务收发器包括分布式接收器和任务分发器，所述分布式接收器用于接收视频解析模块发送的视频解析任务，拆分为多个AI子任务；所述任务分发器用于将所述多个AI子任务分发至人工智能服务系统中进行识别解析；

所述结果组装器，用于接收人工智能服务系统反馈的识别解析结果组装成一组单帧图片任务的结果集，将组装后获得的视频解析结果发送至结果分发器；

所述结果分发器，用于将所述视频解析结果同步分发至视频解析系统和设备联动规则引擎系统。

进一步，所述人工智能服务系统包括分布式任务消费者、标准AI服务接口和识别结果生产者；

所述分布式任务消费者，用于将任务分发器212发送的AI子任务按照指定的AI服务标识寻找对应的AI识别解析服务；

所述标准AI服务接口，用于提供标准的AI服务接口；

所述识别结果生产者，用于将所述AI子任务的识别解析结果反馈至任务收发中间件的结果组装器。

进一步，设备联动规则引擎系统包括规则引擎模块、设备下行控制模块和告警通知模块；

所述规则引擎模块，用于接收接收结果分发器发送的视频解析结果，将所述视频解析结果作为条件，进行规则匹配。

所述设备下行控制模块，用于通过预设的设备控制指令以及下行控制接口，控制其他物联网设备进行联动操作。

所述告警通知模块，用于在判断获知视频解析结果达到预设告警条件后，进行告警通知。

进一步，所述告警通知包括API推送、邮件通知、短信通知和语音通知。

第二方面，本发明实施例提供一种基于分布式人工智能视频分析的设备联动方法，包括：

视频解析系统接收视频资源信息进行解码，创建视频解析任务并传输至任务分发中间件；

任务收发中间件接收所述视频解析任务拆分为多个AI子任务分发至所述人工智能服务系统中进行识别解析；

人工智能服务系统接收任务收发中间件发送的多个AI子任务进行识别解析，将得到的视频解析结果反馈至任务收发中间件；

任务收发中间件接收人工智能服务系统反馈的视频解析结果，同步分发至视频解析系统和设备联动规则引擎系统；

联动规则引擎系统通过规则引擎将所述视频解析结果与其他物联网设备进行联动操作。

本发明实施例提供的基于分布式人工智能视频分析的设备联动系统及方法，采用人工智能+物联网的应用系统，将视频监控进行物联网化，系统采用分布式结构，能够提升视频解析的实时性以及人工智能分析的稳定性、可扩展性，且设备联动功能更好的解决了物联网中视频设备联动控制问题。本发明能够接入视频资源进行解码分析处理，并同步输出AI分析的结构化数据以及与其他物联网设备进行联动，并可进行视频录制存储。

本发明实施例提供的基于分布式人工智能视频分析的设备联动系统及方法，与现有技术相比，至少具有以下有益效果：

1)本发明可以接收任意可解析视频资源进行AI识别解析，不受限于智能监控设备，只需部署能够接入网络的摄像头等设备或者可直接获取视频资源，可以不限扩展AI服务，为多应用场景下提供丰富的识别结果资源。

2)采用分布式结构设计，可以横向扩展服务器资源消耗高的服务，如扩展视频解析服务、任务收发中间件、AI人工智能服务。高扩展性可以提升系统稳定性以及服务高效率。

3)本发明中规则引擎联动功能可以作为物联网设备联动、告警的基础组件，配置化的特性极大简化开发难度，降低开发成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于分布式人工智能视频分析的设备联动系统的结构示意图；

图2为本发明实施例提供的基于分布式人工智能视频分析的设备联动方法流程图。

附图中，各标号所代表的部件列表如下：

100、视频解析系统；110、视频解析模块；120、图片绘制模块；130、视频录制存储模块；

200、任务收发中间件；210、任务收发器；211、分布式接收器；212、任务分发器；221、结果分发器；220、结果组装器；

300、人工智能服务系统；310、分布式任务消费者；320、标注AI服务接口；330、识别结果生产者；

400、设备联动规则引擎系统；410、规则引擎模块；420、设备下行控制模块；430、告警通知模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

目前，智能化视频监控产品大部分是采用边缘处理方式，即对摄像头采集的视频数据本地资源进行直接分析，存在固定化分析能力、性能扩展难、结构化数据输出复杂、设备成本高等问题。并且，对于现有大量非智能化视频监控的系统，升级接入视频解析能力、AI分析能力、物联网设备联动能力成本过高。

因此，本发明实施例提供一种基于分布式人工智能视频分析的设备联动系统，采用人工智能+物联网的应用系统，将视频监控进行物联网化，系统采用分布式结构，能够提升视频解析的实时性以及人工智能分析的稳定性、可扩展性，且设备联动功能更好的解决了物联网中视频设备联动控制问题。本发明能够接入视频资源进行解码分析处理，并同步输出AI分析的结构化数据以及与其他物联网设备进行联动，并可进行视频录制存储。以下将结合附图通过多个实施例进行展开说明和介绍。

图1为本发明实施例提供的基于分布式人工智能视频分析的设备联动系统的结构示意图，参照图1，本发明实施例提供的基于分布式人工智能视频分析的设备联动系统包括视频解析系统100、任务收发中间件200、人工智能服务系统300和设备联动规则引擎系统400；所述任务收发中间件200分别与所述视频解析系统100、人工智能服务系统300和设备联动规则引擎系统400通信连接；

所述视频解析系统100，用于接收视频资源信息进行解码，创建视频解析任务并传输至任务分发中间件。本实施例中，解码功能优选采用OPENCV或FFmpeg技术实现。视频资源信息包括视频流资源地址和静态视频文件。其中，视频流资源地址包含视频流RTSP、RTMP、HDS等协议资源。静态视频文件包括MP3、MOV、M4V、MKV、AVI等格式静态视频文件以及网络文件路径。

任务收发中间件200，用于接收所述视频解析任务拆分为多个AI子任务分发至所述人工智能服务系统中进行识别解析；接收人工智能服务系统300反馈的视频解析结果，同步分发至视频解析系统100和设备联动规则引擎系统400；

所述人工智能服务系统300，用于接收任务收发中间件200发送的多个AI子任务进行识别解析，将得到的视频解析结果反馈至任务收发中间件；

所述联动规则引擎系统400，用于通过规则引擎将所述视频解析结果与其他物联网设备进行联动操作。

本发明实施例提供的基于分布式人工智能视频分析的设备联动系统，与现有技术相比，至少具有以下有益效果：

1)本发明可以接收任意可解析视频资源进行AI识别解析，不受限于智能监控设备，只需部署能够接入网络的摄像头等设备或者可直接获取视频资源，可以不限扩展AI服务，为多应用场景下提供丰富的识别结果资源。

2)采用分布式结构设计，可以横向扩展服务器资源消耗高的服务，如扩展视频解析服务、任务收发中间件、AI人工智能服务。高扩展性可以提升系统稳定性以及服务高效率。

3)本发明中规则引擎联动功能可以作为物联网设备联动、告警的基础组件，配置化的特性极大简化开发难度，降低开发成本。

在一个实施例中，参照图1，本发明实施例中的视频解析系统100包括视频解析模块110、图片绘制模块和120视频录制存储模块130，其中：

所述视频解析模块110，用于接收视频资源信息解码为图片以及音频，创建视频解析任务并传输至任务分发中间件。

本实施例中，视频解析模块110按照预设解析参数分离图片、语音资源，并创建视频解析任务传输至任务分发中间件200。

所述图片绘制模块120，用于接收任务中间件发送的视频解析结果，绘制到所述图片上。

其中，图片绘制模块120接收任务分发中间件200中结果分发器221发送的视频解析结果绘制到视频解析模块110解析出的图片上，优选采用OPENCV多线程绘制图片提升绘制效率，绘制功能采用动态脚本实现可动态调整绘制效果。

所述视频录制存储服务，用于将绘制好的图像资源录制成视频流信息或视频文件，并进行存储。

本实施例中，视频录制存储模块130将图片绘制模块120绘制好的图像资源结合视频解析模块110解码获得的语音资源录制成视频流信息或视频文件。其中，录制视频可以通过预设参数配置是否增加语音、录制格式、录制帧率、码率等。视频资源可以是视频流格式，支持静态视频文件。录制完成后通过存储服务上传指定视频流服务器、文件服务器，以便客户进行查阅分析。

在一个实施例中，参照图1，任务收发中间件200包括任务收发器210、结果组装器220和结果分发器221；

所述任务收发器210包括分布式接收器211和任务分发器212，所述分布式接收器211用于接收视频解析模块110发送的视频解析任务，拆分为多个AI子任务；所述任务分发器212用于将所述多个AI子任务分发至人工智能服务系统300中进行识别解析。

具体地，分布式接收器211接收视频解析模块110发送的视频解析任务，同步进行拆分为多个AI子任务，其中拆分的单帧图片、音频文件可同步进行AI多任务识别(如人脸识别、车辆识别等多任务)。分布式接收器210的实现为任务订阅模式，可横向部署多任务分发中间件200，优选采用Kafka作为任务缓存中间件。

所述结果组装器220，用于接收人工智能服务系统300反馈的识别解析结果组装成一组单帧图片任务的结果集，组装完成后获得视频解析结果。接着，将组装后获得的视频解析结果发送至结果分发器221。其中，组装过程中存在的分布式锁问题、缓存结果优选采用redis实现。

所述结果分发器221，用于将所述视频解析结果同步分发至视频解析系统100和设备联动规则引擎系统400。

在一个实施例中，参照图1，所述人工智能服务系统300包括分布式任务消费者310、标准AI服务接口320和识别结果生产者330；

所述分布式任务消费者310，用于将任务分发器212发送的AI子任务按照指定的AI服务标识寻找对应的AI识别解析服务；

所述标准AI服务接口320，用于提供标准的AI服务接口。

标准AI服务接口320提供标准的实现方案，具体的AI服务遵守标准接口，单独部署后注册到标准AI服务接口320，实现可横向扩展部署AI服务也可纵向补充不同的AI服务。

所述识别结果生产者330，用于将所述AI子任务的识别解析结果反馈至任务收发中间件的结果组装器。

在一个实施例中，设备联动规则引擎系统400包括规则引擎模块410、设备下行控制模块420和告警通知模块430，其中：

所述规则引擎模块410，用于接收接收结果分发器发送的视频解析结果，将所述视频解析结果作为条件，进行规则匹配。

所述设备下行控制模块420，用于通过预设的设备控制指令以及下行控制接口，控制其他物联网设备进行联动操作。其中，物联网是指通过信息传感设备，按约定的协议，将任何物体与网络相连接，物体通过信息传播媒介进行信息交换和通信，以实现智能化识别、定位、跟踪、监管等功能。而物联网设备，即物物相连的互联网设备。物联网设备有：条码、射频识别、传感器、全球定位系统、激光扫描器等信息，而其中的传感设备是基础设备。

所述告警通知模块430，用于在判断获知视频解析结果达到预设告警条件后，进行告警通知。

具体地，本实施例中的视频解析结果为结构化数据，具体实现可以为JSON格式、XML格式、其他RPC传输所需格式数据。

设备联动规则引擎系统的核心设计功能为：规则匹配，规则联动、结果存储。其中，规则匹配：设备联动规则引擎接收刅结构化数据后，将视频结构化数据作为条件，进行规则匹配。具体实现规则匹配可采用drools、easyRule，也可使用动态脚本进行自定义开发。

规则联动：视频结构化数据满足某一规则的情况下，系统将会执行预设的动作。此处，动作可以是：1、操作其他物联网硬件设备的执行方法如API、指令等。2、告警通知。本实施例中，具体什么情况下进行告警通知，由预先设置的告警条件决定。例如，告警条件是：视频解析结果为“起火”。则动作：A、告警通知给负责人B、设备灭火喷头发送喷水指令、声光设备触发报警。本实施例中，告警通知包括API推送、邮件通知、短信通知和语音通知。

结果存储：在规则匹配和联动的过程中，需要记录各个阶段过程中的数据，用作后期查询分析。存储记录的数据包括:1、视频解析结果结构化数据。2、规则配合的情况。3、联动动作的执行情况。

在一个实施例中，图2为本发明实施例提供的基于分布式人工智能视频分析的设备联动方法流程图，参照图1和图2，该方法包括：

S1，视频解析系统接收视频资源信息进行解码，创建视频解析任务并传输至任务分发中间件；

S2，任务收发中间件接收所述视频解析任务拆分为多个AI子任务分发至所述人工智能服务系统中进行识别解析；

S3，人工智能服务系统接收任务收发中间件发送的多个AI子任务进行识别解析，将得到的视频解析结果反馈至任务收发中间件；

S4，任务收发中间件接收人工智能服务系统反馈的视频解析结果，同步分发至视频解析系统和设备联动规则引擎系统；

S5，联动规则引擎系统通过规则引擎将所述视频解析结果与其他物联网设备进行联动操作。

具体的如何利用本发明实施例提供的基于分布式人工智能视频分析的设备联动方法进行智能化视频分析，可参见如图1所示的实施例，本发明实施例在此不再赘述。

本发明实施例提供的基于分布式人工智能视频分析的设备联动方法，采用人工智能+物联网的应用系统，将视频监控进行物联网化，系统采用分布式结构，能够提升视频解析的实时性以及人工智能分析的稳定性、可扩展性，且设备联动功能更好的解决了物联网中视频设备联动控制问题。本发明能够接入视频资源进行解码分析处理，并同步输出AI分析的结构化数据以及与其他物联网设备进行联动，并可进行视频录制存储。

与现有技术相比，本发明至少具有以下有益效果：

1)本发明可以接收任意可解析视频资源进行AI识别解析，不受限于智能监控设备，只需部署能够接入网络的摄像头等设备或者可直接获取视频资源，可以不限扩展AI服务，为多应用场景下提供丰富的识别结果资源。

2)采用分布式结构设计，可以横向扩展服务器资源消耗高的服务，如扩展视频解析服务、任务收发中间件、AI人工智能服务。高扩展性可以提升系统稳定性以及服务高效率。

3)本发明中规则引擎联动功能可以作为物联网设备联动、告警的基础组件，配置化的特性极大简化开发难度，降低开发成本。

本发明的各实施方式可以任意进行组合，以实现不同的技术效果。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种基于分布式人工智能视频分析的设备联动系统，其特征在于，包括视频解析系统、任务收发中间件、人工智能服务系统和设备联动规则引擎系统；所述任务收发中间件分别与所述视频解析系统、人工智能服务系统和设备联动规则引擎系统通信连接；

所述视频解析系统，用于接收视频资源信息进行解码，创建视频解析任务并传输至任务分发中间件；

任务收发中间件，用于接收所述视频解析任务拆分为多个AI子任务分发至所述人工智能服务系统中进行识别解析；接收人工智能服务系统反馈的视频解析结果，同步分发至视频解析系统和设备联动规则引擎系统；

所述人工智能服务系统，用于接收任务收发中间件发送的多个AI子任务进行识别解析，将得到的视频解析结果反馈至任务收发中间件；

所述联动规则引擎系统，用于通过规则引擎将所述视频解析结果与其他物联网设备进行联动操作。

2.根据权利要求1所述的基于分布式人工智能视频分析的设备联动系统，其特征在于，所述视频解析系统包括视频解析模块、图片绘制模块和视频录制存储模块；

所述视频解析模块，用于接收视频资源信息解码为图片以及音频，创建视频解析任务并传输至任务分发中间件；

所述图片绘制模块，用于接收任务中间件发送的视频解析结果，绘制到所述图片上；

所述视频录制存储服务，用于将绘制好的图像资源录制成视频流信息或视频文件，并进行存储。

3.根据权利要求2所述的基于分布式人工智能视频分析的设备联动系统，其特征在于，所述视频资源信息包括视频流资源地址和静态视频文件。

4.根据权利要求1所述的基于分布式人工智能视频分析的设备联动系统，其特征在于，所述任务收发中间件包括任务收发器、结果组装器和结果分发器；

所述任务收发器包括分布式接收器和任务分发器，所述分布式接收器用于接收视频解析模块发送的视频解析任务，拆分为多个AI子任务；所述任务分发器用于将所述多个AI子任务分发至人工智能服务系统中进行识别解析；

所述结果组装器，用于接收人工智能服务系统反馈的识别解析结果组装成一组单帧图片任务的结果集，将组装后获得的视频解析结果发送至结果分发器；

所述结果分发器，用于将所述视频解析结果同步分发至视频解析系统和设备联动规则引擎系统。

5.根据权利要求4所述的基于分布式人工智能视频分析的设备联动系统，其特征在于，所述人工智能服务系统包括分布式任务消费者、标准AI服务接口和识别结果生产者；

所述分布式任务消费者，用于将任务分发器212发送的AI子任务按照指定的AI服务标识寻找对应的AI识别解析服务；

所述标准AI服务接口，用于提供标准的AI服务接口；

所述识别结果生产者，用于将所述AI子任务的识别解析结果反馈至任务收发中间件的结果组装器。

6.根据权利要求4所述的基于分布式人工智能视频分析的设备联动系统，其特征在于，设备联动规则引擎系统包括规则引擎模块、设备下行控制模块和告警通知模块；

所述规则引擎模块，用于接收接收结果分发器发送的视频解析结果，将所述视频解析结果作为条件，进行规则匹配。

所述设备下行控制模块，用于通过预设的设备控制指令以及下行控制接口，控制其他物联网设备进行联动操作。

所述告警通知模块，用于在判断获知视频解析结果达到预设告警条件后，进行告警通知。

7.根据权利要求6所述的基于分布式人工智能视频分析的设备联动系统，其特征在于，所述告警通知包括API推送、邮件通知、短信通知和语音通知。

8.一种基于分布式人工智能视频分析的设备联动方法，其特征在于，包括：

视频解析系统接收视频资源信息进行解码，创建视频解析任务并传输至任务分发中间件；

任务收发中间件接收所述视频解析任务拆分为多个AI子任务分发至所述人工智能服务系统中进行识别解析；

人工智能服务系统接收任务收发中间件发送的多个AI子任务进行识别解析，将得到的视频解析结果反馈至任务收发中间件；

任务收发中间件接收人工智能服务系统反馈的视频解析结果，同步分发至视频解析系统和设备联动规则引擎系统；

联动规则引擎系统通过规则引擎将所述视频解析结果与其他物联网设备进行联动操作。

Images