CN112783575B - 一种插件式弹性云视频图像分析系统和方法 - Google Patents

Abstract

本发明涉及一种插件式弹性云视频图像分析系统和方法。本发明针对视频图像业务场景选择相关的插件并对系统进行配置，实现将视频图像非结构化数据转换为结构化数据；对结构化数据采用插件定义的逻辑处理方法实现场景内容的语义理解，并根据系统设定参数自动推送出符合条件的结果，达到利用人工智能技术实时监视场景中所关注的目标和事件。基于本发明提出的系统和方法，采用基于插件按照设定的规则自行进行组合和设置，构建弹性云服务系统，满足各种规模视频内容语义分析应用场景的需求。通过将系统插件化，将一些环节进行抽象，实现系统通用化，大幅减少不同项目中的定制化部分，减少开发工作量，缩短开发周期，降低开发成本。

Description

一种插件式弹性云视频图像分析系统和方法

技术领域

本发明属于图像视频处理领域，具体涉及一种插件式弹性云视频图像分析系统和方法。

背景技术

随着视频图像采集、处理、分析、识别等技术发展，计算机视觉在公共安全、安全生产、家庭安全等社会各行业获得广泛应用。然而，各行业的应用和关注内容千差万别，对摄像机所拍摄场景内容的目标检测和识别千差万别，相应系统所对应的处理流程、处理方法和处理规则也大不相同。在一些应用场景中，仅需对摄像头所拍摄的部分位置内容需要进行检测与识别，摄像机安装部署方式对应用也有很大影响。

现有系统对不同应用场景通过定制系统的开发方式，项目研发周期长、开发成本高，不利于计算机视觉在各领域的应用。这种对各类应用场景的定制开发方法，已经无法满足各行业对计算机视觉应用的需求。

发明内容

鉴于当前计算机视觉应用开发方式在实际应用场景中的不足，本发明提出一种插件式弹性云视频图像分析系统和方法。

本发明的一方面提供一种插件式弹性云视频图像分析系统，它包括检测区域配置插件、区域内容检测插件、检测内容识别插件、前后检测结果关联插件、消息中间件插件、消息处理服务插件和结果输出插件。

所述的检测区域配置插件用于设置输入的视频图像中的区域位置；

所述的区域内容检测插件用于确定检测目标位置和目标类型；

所述的检测内容识别插件根据所配置的目标识别任务，提取相应类型目标的特征，并输出特征；

所述的前后检测结果关联插件实现时间维度上的语义逻辑分析，完成视频图像非结构化数据到结构化数据的转换，输出结构化数据结果；

所述的消息中间件插件实现分析系统的弹性扩展能力；

所述的消息处理服务插件从消息中间件插件中获取消息，实现分布式处理；

所述的结果输出插件将结果直接输出或与其它系统对接。

进一步说，所述的检测区域配置插件包括区域定义模块和输入源配置模块，其中区域定义模块，用于提供自定义关注区域，并保存配置信息；输入源配置模块用于实现不同输入源的适配能力。

进一步说，所述的区域内容检测插件包括场景检测内容定义模块，该模块提供用户配置对所输入的视频数据采用某个算法进行语义检测。

进一步说，所述检测内容识别插件包括目标识别定义模块，该模块提供给用户定义所检测目标的识别功能，用户结合业务场景的需求，自行配置在对应目标类型的基础上进行识别，识别主要根据目标外形提取具有唯一特性的特征。

进一步说，还包括姿态与动作识别插件，所述的姿态与动作识别插件用于检测和识别目标的姿态，并进行动作分析。

进一步说，所述检测结果关联插件包括目标类型关联配置模块、识别目标关联配置模块和目标姿态与动作关联配置模块；

其中目标类型关联配置模块，用于定义区域中出现目标类型前后时间、频率的逻辑关系，用于判断目标区域是否发生关注事件；

其中识别目标关联配置模块，通过目标类型、识别结果的内部逻辑联系，判断目标区域是否发生关注事件；

其中目标姿态与动作关联配置模块，通过目标类型、识别结果、目标姿态与动作的内部逻辑联系，判断目标区域是否发生关注事件。

进一步说，所述检测结果关联插件配置为迭代定义，即将一个检测结果关联插件实例的输出作为另一个检测结果关联插件的输入，实现更为复杂的逻辑业务定义。

进一步说，所述消息中间件插件采用分类缓存方式，并实现对系统占用资源的情况进行实时监控，在资源不足时，发出警告，并采用事件优先级方式在服务超载时进行丢弃，保护系统的稳定性和处理性能。

进一步说，所述的检测区域配置插件、区域内容检测插件、检测内容识别插件、前后检测结果关联插件、姿态与动作识别插件、消息处理服务插件和结果输出插件，根据业务需要独立地部署到一台或多台服务器，实现分阶段集群处理能力。

本发明的另一方面，还提供了一种插件式弹性云视频图像分析方法，它包括：

针对视频图像业务场景选择相关的插件并对插件进行配置；

将视频图像的非结构化数据转化为结构化数据；

对结构化数据采用语义逻辑关联处理方法实现场景内容的语义理解；

根据系统设定参数自动推送出符合条件的结果，达到利用人工智能技术实时监视场景中所关注的目标和事件。

本发明的有益效果：

本发明通过采用插件为基础，对视频图像处理中的检测、识别和分析问题进行抽象，构建以插件为基础的插件式弹性云视频图像分析系统。

本发明屏蔽了不同业务场景中处理目标、流程、条件、时间、前后关系等多方面差异，实现一个能够弹性扩充的分布式智能视频图像处理系统，提高了面向各类视频智能分析处理系统开发效率，大幅降低业务系统开发成本，能极大促进智能视频处理在各行业中的应用。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单的介绍，对于本领域一般技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他的附图。

图1为本发明的插件式弹性云视频图像分析系统框架示意图；

图2为本发明的插件式弹性云视频图像分析系统处理流程图。

具体实施方式

为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当说明，此处所描述的具体描述仅用以解释本发明，并不用于限定本发明。

本发明通过对固定摄像头中设置一个或多个区域、对设定区域中的设定目标类型进行检测或识别、对目标类型的姿态与动作进行分析、关联目标在视频中持续的时间、定义一些动作序列组合等，模拟人类视觉感知系统，采用插件方式将摄像机所拍摄的一系列非结构数据，利用人工智能算法以及一些逻辑处理方式转化为结构化数据。

本发明通过设计这样一套系统和方法，在实际应用中只需对关注问题进行抽象，采用已有插件或新定义插件来满足新应用场景的需求，配置化方式完成系统开发。因此，该系统和方法可以大大降低新应用系统的设计和开发工作量，通过配置插件构建弹性云服务系统，实现低成本快速构建复杂的计算机视觉应用系统的目标。

为了达到上述目标，本发明采用了如下技术方案：

本发明提供了一种插件式弹性云视频图像分析系统和方法，通过构建一个插件式弹性云的视频语义内容分析框架，实现基于插件的视频图像分析系统，本发明包括以下插件：

S1.检测区域配置插件；

S2.区域内容检测插件；

S3.检测内容识别插件；

S4.姿态与动作识别插件；

S5.前后检测结果关联插件；

S6.消息中间件插件；

S7.消息处理服务插件；

S8.结果输出插件；

其中，S1～S5、S7和S8能构建一套独立的视频图像分析处理系统(命名为M)，M可以独立部署，包括采用边缘计算和后台服务两种方式。该部分根据不同任务，可以配置不同的插件，灵活实现不同的语义内容识别。

通过采用消息中间件插件用于接收S5的结果，系统运行过程中可以根据任务的变化，随时通过增加或减少调整系统的部署方式。当S6的消息系统出现拥堵情况时，系统自动告警，可以增加S7来提高消息处理能力，实现弹性扩充系统的处理能力。通过消息中间件插件衔接S5和S7，实现弹性扩充系统的整体处理能力，适用不同规模应用场景。

进一步说，S1中可以采用包括矩形、圆型、椭圆等多边形方式来配置固定摄像机监控范围内的固定区域，同一个摄像机可以定义多个区域，区域可以重叠。假如没有配置，则默认为整个摄像机的监控区域。通过配置本插件，实现对来源于摄像机、视频等输入数据的感兴趣区域进行关注。

所述感兴趣区域由具体应用场景以及实际用户需求来自行定义，插件提供可视化操作方式，由用户通过鼠标在窗口界面上拖拽完成配置。配置好的插件在系统初始化时完成加载，在运行过程中，假如区域在运行过程调整，则通过消息机制实现动态更新插件的配置。

该插件中的区域定义模块，用于提供自定义关注区域，并保存配置信息；插件中的输入源配置模块用于实现不同输入源的适配能力，如视频文件、摄像机、网络录像机等。

进一步说，S2中分别对S1中定义区域的检测内容进行配置，由于检测目标的复杂性，插件中所能定义的检测内容类型由系统提供，用户不能自定义，对同一个区域可以配置多个不同的检测算法。其中检测算法采用插件的方式配入系统，实际应用场景，可以根据需要增加和减少插件。S2插件包括：

场景检测内容定义模块，该模块提供用户配置对所输入的视频数据采用哪些算法模型进行语义检测，用户可以通过该插件选择要检测的目标类型。

该插件在系统运行过程中将根据所配置的检测目标以及前述所定义的区域位置，结合所检测目标的位置关系，进行逻辑判断，确定是否为所关注目标。其中位置关系采用交并比进行判断，其值默认为1，用户可以自己调整。插件最终输出符合用户自定义要求的检测目标位置和目标类型。

进一步说，针对业务场景，假如需要对S2中所检测的目标进行识别，S3中可以根据所检测的目标类型来选择相应识别插件，分辨目标类型对象。其中S3插件包括目标识别定义模块，该模块提供给用户定义所检测目标的识别功能，用户结合业务场景的需求，自行配置在对应目标类型的基础上进行识别，识别主要根据目标外形提取具有唯一特性的特征，如人脸、外形、步态等；该插件在系统运行过程中将根据所配置的目标识别任务，提取相应类型目标的特征，并输出特征。

进一步说，针对业务场景，对于S2中所检测的目标类型可以进一步分析目标姿态与动作时，S4中可以根据所检测的目标类型来选择相应的姿态与动作插件，实现对目标的姿态与动作进行分辨，如人脸表情、人体姿势与动作等。S4插件在系统运行过程中将根据所配置的姿态与动作识别任务，判断所识别出目标当前姿态与动作并输出。

进一步说，在S3和S4对所关注的目标进行检测、识别与分析后，在S5中通过插件方式实现时间维度上的语义逻辑分析，根据插件设定规则完成视频图像非结构化数据到结构化数据的转换，输出结构化数据结果。在S5中生成结构化数据后，为适应与不同数据对接方式，在通过定义不同的输出方式，可满足系统内部和外部系统之间对接需求。S5插件具体包括：

目标类型关联配置模块，用于定义区域中出现目标类型前后时间、频率的逻辑关系，用于判断目标区域是否发生关注事件；

识别目标关联配置模块，通过定义目标类型、识别结果的内部逻辑联系，判断目标区域是否发生关注事件；

目标姿态与动作关联配置模块，通过定义目标类型、识别结果、目标姿态与动作的内部逻辑联系，判断目标区域是否发生关注事件。

该插件的核心在于将时间、目标位置、目标类型、目标识别、目标姿态与动作等，从时间、空间、目标状态等方面对现实场景中所发生的事件，模拟人类思维逻辑方式对应用场景所发生事情进行描述，并根据配置规则定义复杂事件，并输出结果。

该插件的特征之处在于可以迭代定义，即一个检测结果关联插件实例的输出可以作为另一个检测结果关联插件的输入，可以实现更为复杂的逻辑业务定义。

进一步说，在S6为内部数据接收服务，通过采用消息中间件插件方式接收S5输出的结果。其特点在于该插件以独立方式运行，接收S5发送的结果，这些结果作为后续逻辑判断的基础数据。在S7读取S6中的消息进行处理并输出给其它系统用于进一步业务整合处理。当S6中出现消息积压，系统会发出告警信息，提示对S7进行弹性扩充。S6插件采用分类缓存，并实现对系统占用资源的情况进行实时监控，并采用事件优先级方式在服务超载时进行丢弃，保护系统的稳定性和处理性能。S8插件包括输出方式配置模块和消息格式定义模块，输出方式配置模块，将结果输出并反馈给操作员或管理人员。通过配置该插件，可以适配现有的常规输出方式，如视频、音频、短信提醒、消息通知、输入输出端口、网络接口等。消息格式定义模块，定义消息格式，方便系统传输，提高执行效率。S8插件可实现插件式弹性云视频图像分析系统的目标。

进一步说，S1至S5实现视频数据采集、预处理、检测、识别、分析等功能，其特点在于根据业务需要可以独立地部署到一台或多台服务器，实现分阶段集群处理能力，用于处理局部范围较密集部署监控任务处理需求。通过S6将结构化数据集中化，利用分布式计算服务实现弹性云的部署方式，能适用于各种规模的视频分析图像应用需求。

实施例：

如图1所示，本发明提出一种插件式弹性云视频图像分析系统具体说明如下：

S01：该部分为数据采集部分，输入的方式采用插件配置完成，可以适配视频文件、网络视频录像机、实时视频流等。数据采集方式支持GB_T_28181、ONVIF、RTSP、主流摄像机厂商私有SDK等。

S02：对采集视频图像数据以帧方式按照时间顺序先后获取，对帧数据通过目标检测模型算法，将内含的感兴趣目标采用矩形框标注，其中感兴趣目标为人、车、自行车、建筑物、火、烟雾等自然界所有通过视频能拍摄到实物对象。

根据配置的检测区域，对所检出目标进行过滤得到需要关注的目标对象。假如对检测出的目标无需进一步区分的话，则跳过检测内容识别插件，否则对所检出目标根据所配置好的内容识别插件进行细化识别。识别时根据识别对象的配置规则先进行过滤，如对象尺寸、完整性等，再进行详细识别任务。假如对检测出目标的姿态和动作无需进一步识别的话，则跳过姿态和动作识别插件，否则对所检出的目标根据配置姿态和动作插件进行细化识别。

将上述检测出的目标类型、目标位置、目标内容、目标姿态与动作识别结果进行结构化组织，发送给前后结果检测关联插件。该插件以时间为轴，将前后检出的目标类型、位置和识别结果，按照所配置的规则判断视频中发生的事件，并以消息方式将当前发生事件的图像或视频片段、检测结果、识别结果和事件结果打包发送出去，打包格式如JSON、XML、自定义等格式。S02部分可以根据需要，分布式部署多套独立的处理系统，该系统实现采集视频图像数据并将这些非结构化数据转换为结构化数据。

S03：消息中间插件接收所有分布部署的S2输出的结构化结果数据，通过该中间件可以方便地实现S02的弹性扩充。

S04：消息处理服务，该服务读取S03中缓存的消息，并对消息进行处理，结果输出至插件S05，根据消息处理服务处理的速度，当消息中间件插件中的消息出现堆积则发出告警信息，可动态扩充S04，实现弹性扩充处理能力。

S05：结果输出插件将S01中所发生的事件输出，接收通过S2、S3和S4处理后的结构化数据，提供多样式的输出方式。

S06：结果展示平台将S01中所发生的事件，根据用户选择的输出插件，采用对应方式展示给用户。

本发明提出插件式弹性云视频图像分析系统处理流程如图2所示，具体步骤包括：

D1：检测区域配置插件，通过该插件配置每个摄像机所关注的区域，区域位置采用图形化工具进行配置。摄像头固定后，通过在摄像头抓拍图像上，采用绘制几何图形进行标注，如矩形、圆、椭圆等；

D2：针对设定检测区域，按照业务逻辑的需要配置在设定检测区域中检测关注目标类型，该类型由系统所提供的类型中选择，用户无法增加，目标类型可以随着检测算法库的升级进行动态扩充；

D3：针对所检测的目标类型，如人脸、人体等，需要进一步识别特定目标是否出现在某区域等，配置对这些目标识别方法，用于识别检测到的目标，实现识别具体对象的任务；

D4：针对所检测的目标类型，如人体、手等，需要进一步识别这些目标的姿态、动作等，配置对这些目标识别方法，用于识别检测目标的姿态、动作等；

D5：针对单帧图像中所检测和识别的目标，配置检测结果关联插件，以时间为轴，将多帧内所检测和识别的目标，通过逻辑定义，以结构化后的数据为基础，对所检测事件进行逻辑描述，实现自定义插件，以适应不同应用场景的要求。

本发明涉及一种插件式弹性云视频图像分析方法包括：针对视频图像业务场景选择相关的插件并对插件进行配置，将视频图像的非结构化数据转化为结构化数据；对结构化数据采用语义逻辑关联处理方法实现场景内容的语义理解，并根据系统设定参数自动推送出符合条件的结果，达到利用人工智能技术实时监视场景中所关注的目标和事件。

基于本发明提出的一种插件式弹性云视频图像分析系统和方法，按照内置的规则自行进行组合和设置插件，构建弹性云服务型，满足各种规模的视频内容语义分析应用需求。通过插件方式将一些环节进行抽象，实现通用化，大幅减少不同项目中的定制化部分，降低开发工作量，缩短开发周期，降低开发成本。

以上为本发明的最佳实施方式，依据本发明公开的内容，本领域的普通技术人员能够显而易见地想到的一些雷同、替代方案，均应落入本发明保护的范围。

Claims (9)

1.一种插件式弹性云视频图像分析系统，包括检测区域配置插件、区域内容检测插件、检测内容识别插件、姿态与动作识别插件、前后检测结果关联插件、消息中间件插件、消息处理服务插件和结果输出插件，其特征在于：

所述的检测区域配置插件用于设置输入的视频图像中的区域位置，并将结果输入至区域内容检测插件；所述区域位置是指图像分析系统中每个摄像机所关注的区域；

所述的区域内容检测插件用于确定待检测的目标区域位置和识别任务类型，并将结果输入至检测内容识别插件；

所述的检测内容识别插件根据所配置的目标识别任务，提取识别任务类型对应的特征，并输出特征，并将结果输入至姿态与动作识别插件；

所述的姿态与动作识别插件，所述的姿态与动作识别插件用于检测和识别目标的姿态，并进行动作分析，并将结果输入至前后检测结果关联插件；

所述的前后检测结果关联插件将前后完成的各个识别任务的识别任务类型、目标区域位置和姿态与动作识别结果按时间顺序进行组织形成非结构化数据，再将视频图像的非结构化数据转化成结构化数据，并将结果输入至消息中间件插件；

所述的消息中间件插件用于接收所述前后检测结果关联插件输入的消息并缓存，并将消息输入至消息处理服务插件；若缓存的消息出现堆积，则动态扩充消息中间件插件；

所述的消息处理服务插件从消息中间件插件中获取消息，并利用分布式计算服务进行处理，并将结果输入至结果输出插件；

所述的结果输出插件将结果直接输出或与其它系统对接。

2.根据权利要求1所述的一种插件式弹性云视频图像分析系统，其特征在于，

所述的检测区域配置插件包括区域定义模块和输入源配置模块，其中区域定义模块，用于自定义每个摄像机所关注的区域，并保存配置信息；输入源配置模块用于对不同输入源进行适配。

3.根据权利要求1所述的一种插件式弹性云视频图像分析系统，其特征在于，

所述的区域内容检测插件包括场景检测内容定义模块，该模块提供用户配置对所输入的视频数据采用某个算法完成用户选择的识别任务类型对应的图像分析。

4.根据权利要求1所述的一种插件式弹性云视频图像分析系统，其特征在于，

所述检测内容识别插件包括目标识别定义模块，该模块在用户选择的识别任务类型的基础上根据识别对象的轮廓提取具有唯一特性的特征。

5.根据权利要求1所述的一种插件式弹性云视频图像分析系统，其特征在于，所述检测结果关联插件包括识别对象关联配置模块、识别目标关联配置模块和目标姿态与动作关联配置模块；

其中识别对象关联配置模块，用于定义区域中出现识别对象前后时间、频率的逻辑关系，用于判断目标区域是否发生关注事件；

其中识别目标关联配置模块，通过识别对象、识别结果的内部逻辑联系，判断目标区域是否发生关注事件；

其中目标姿态与动作关联配置模块，通过识别对象、识别结果、目标姿态与动作的内部逻辑联系，判断目标区域是否发生关注事件。

6.根据权利要求1所述的一种插件式弹性云视频图像分析系统，其特征在于，

所述前后检测结果关联插件配置为迭代定义，即将一个检测结果关联插件实例的输出作为另一个检测结果关联插件的输入，实现更为复杂的逻辑业务定义。

7.根据权利要求1所述的一种插件式弹性云视频图像分析系统，其特征在于，

所述消息中间件插件采用分类缓存方式，并实现对系统占用资源的情况进行实时监控，在资源不足时，发出警告，并采用事件优先级方式在服务超载时进行丢弃，保护系统的稳定性和处理性能。

8.根据权利要求5所述的一种插件式弹性云视频图像分析系统，其特征在于，所述的检测区域配置插件、区域内容检测插件、检测内容识别插件、前后检测结果关联插件、姿态与动作识别插件、消息处理服务插件和结果输出插件，根据业务需要独立地部署到一台或多台服务器，实现分阶段集群处理能力。

9.一种插件式弹性云视频图像分析方法，其特征在于，通过权利要求1-8中任一项所述的插件式弹性云视频图像分析系统进行视频图像分析。

Images