CN112068898A - 一种可配置插件式服务集成系统及方法 - Google Patents

Abstract

本发明公开了一种可配置插件式服务集成系统及方法，涉及智能安防领域，包括接入组件、处理组件、输出组件，各个组件通过主服务级联在一起；接入组件负责接入各个厂商的不同数据源，并将数据写入Kafka数据引擎；处理组件负责对数据进行加工，包括数据格式转换组件、数据清洗组件、数据字典转换组件和数据字符串操作组件；输出组件负责将数据输出给应用平台；主服务通过读取配置文件选择加载不同的组件实现不同的功能。本发明简化了数据的接入工作，实现了对接不同厂商数据的功能，为项目现场的快速开发部署工作提供了基础。

Description

一种可配置插件式服务集成系统及方法

技术领域

本发明涉及智能安防领域，尤其涉及一种可配置插件式服务集成系统及方法。

背景技术

视频监控事实上已经成为公安刑侦研判的第一主要工具，协助公安系统维护社会的稳定，但是并不表示视频监控无懈可击。我们知道，随着平安城市的建设速度加快、996文把视频监控定义为城市基础建设设施的一部分，视频监控录像的体积将越来越庞大。

据最新的数据统计表明，视频监控的建设在已经存在2000万台的基础上依然按照每年20％的速度递增。视频监控录像已经超过百PB级别，朝EB级别迈进。公安干警通过视频监控侦破一个案件，平均需要调看6000G、3000个小时的录像。如何让视频监控在案件研判中越来越重要的作用下更好的发挥效率是现代视频监控行业一致认同的行业性难题。

视图库作为解决此类问题的唯一标准被公安部提出。视图库具有三大核心业务：1、数据汇聚。视频结构化，一段几百兆的录像，提取后可以达到只有几百个字段再加上几K的图片压缩比率。结构化的数据可以做到秒级以图搜图。另外多维数据作为辅助搜索。2、数据分析。利用深度学习算法，人脸识别，时空数据，行为分析。3、数据作战。视图库在用户面前呈现，轨迹分析，地图展现，布控报警。

本发明是针对视图库的数据汇聚功能进行提出。目前常规的接入方案是针对每个厂商开发一个接入服务，在接入服务中需要进行以下操作：1、数据的字段转换；2、不符合规则的数据清洗；3、不同厂商的数据字典转换；4、根据业务要求进行一些字符串操作。而这种传统的实现方法会产生大量的开发任务，并且各个厂商的接入服务直接存在大量的重复代码。

因此，本领域的技术人员致力于开发一种可配置插件式服务集成系统及方法，可以解决多家厂商视频的集成问题，可以解决开发工作量和代码重复问题，让集成更简单有效，并且同时兼容非标设备和标准设备。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何通过混合插件方式方便的实现播放多家厂商设备的视频。

为实现上述目的，本发明提供了一种可配置插件式服务集成系统，包括接入组件、处理组件、输出组件，各个组件通过主服务级联在一起；所述接入组件负责接入各个厂商的不同数据源；所述处理组件负责对数据进行加工；所述输出组件负责将数据输出给应用平台；所述主服务通过读取配置文件选择加载不同的组件。

进一步地，所述主服务只能配置一个所述接入组件，一个所述输出组件，若干个所述处理组件。

进一步地，所述主服务配置顺序必须按照所述接入组件、所述处理组件、所述输出组件进行。

进一步地，所述接入组件用于适配各种不同的数据源，并将这些数据转换为Json格式，写入Kafka数据引擎中。

进一步地，所述处理组件包括数据格式转换组件、数据清洗组件、数据字典转换组件和数据字符串操作组件。

进一步地，各个组件包括初始化接口、析构接口、数据输入接口、数据回调接口；所述初始化接口用于组件的初始化工作；所述析构接口用于组件的退出前释放资源工作；所述数据输入接口用于所述处理组件和所述输出组件的数据传入。

进一步地，所述初始化接口的结构体中包含了数据回调函数指针，用于在所述接入组件接入数据后通过所述数据回调接口回传给所述主服务，所述处理组件处理完成数据后通过所述数据回调接口回传给所述主服务。

一种应用可配置插件式服务集成系统的方法，包括以下步骤：

步骤1、所述主服务读取配置文件信息，获取到需要加载的所有组件以及组件的加载顺序关系；

步骤2、所述接入组件通过所述数据回调接口将数据回传给所述主服务；

步骤3、所述主服务通过所述处理组件的所述数据输入接口将数据传输给所述处理组件；

步骤4、所述处理组件处理完成后通过所述数据回调接口将数据回传给所述主服务；

步骤5、所述主服务通过所述输出组件的所述数据输入接口将数据传输给所述输出组件，所述输出组件将数据输出到目的位置。

进一步地，所述主服务数据处理流程包括：

步骤1、所述主服务启动后加载本地配置文件，获取需要加载的组件信息；

步骤2、倒叙调用组件的所述初始化接口；

步骤3、等待退出指令；

步骤4、调用各个组件的所述析构函数，退出。

进一步地，所述主服务回调函数流程包括：

步骤1、通过所述数据回调函数指针，转换为下一步需要执行的组件对象指针；

步骤2、调用转换后的组件指针输入数据函数，结束。

本发明提出的一种可配置插件式服务集成系统及方法，具有以下技术效果：

1、统一了接入接口和数据格式，简化了数据接入工作；

2、同时支持非标设备和标准设备。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明的一个较佳实施例的结构示意图；

图2是本发明的一个较佳实施例的主服务和组件数据流向示意图；

图3是本发明的一个较佳实施例的主服务数据处理流程图；

图4是本发明的一个较佳实施例的主服务回调函数流程图；

图5是本发明的另一个较佳实施例的结构示意图。

具体实施方式

以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。

如图1所示，本发明提供了一种可配置插件式服务集成系统，包括接入组件、处理组件、输出组件，各个组件通过主服务级联在一起；接入组件负责接入各个厂商的不同数据源，例如数据库接入、SDK接入、GB/T1400接入、FTP文件接入、Kafka接入以及HTTP接入；处理组件负责对数据进行加工，处理方式包括数据格式转换、数据清洗、数据字典转换和数据字符串操作；输出组件负责将数据输出给应用平台，例如数据库输出、HTTP输出、GB/T1400输出、ES(ElasticSearch)输出、Kafka输出等；主服务通过读取配置文件选择加载不同的组件实现不同的功能。

其中，接入组件适配各种不同的数据源，并将这些数据转换为Json格式，写入Kafka数据引擎中。

组件开发时需要实现的接口包括初始化接口、析构接口、数据输入接口、数据回调接口，其中：

1、初始化接口

func Plugin_Init(param PluginInitStru)error

type PluginInitStru struct{//参数结构体

GUID[]byte//服务ID

FuncData FuncDataCallback//数据回调函数指针

User uintptr//回传指针

ServerName string//服务名称

}

type FuncDataCallback func(pData[]byte,pUser uintptr)//数据回调函数定义

初始化接口用于组件的初始化工作。初始化时，传入参数为结构体。结构体中包含了数据回调函数指针，用于在接入组件接入数据后通过回调函数回传给主服务。处理组件处理完成数据和通过回调函数指针回传给主服务。

2、析构接口

func Plugin_Fini()error

析构接口用于组件的退出前释放资源工作。

3、数据输入接口

func Plugin_PushData(pData[]byte)error

数据输入接口用于处理组件和输出组件的数据传入。数据处理组件收到数据接口传入的数据后就可以进行数据处理工作。输出组件收到数据接口传入的数据后就可以进行数据输出工作。

主服务配置一个接入组件，一个输出组件，三个处理组件，配置顺序必须按照接入组件、处理组件、输出组件进行，配置信息如下：

主服务读取上述配置文件信息，可以获取到需要加载的所有组件以及组件的加载顺序关系。上述配置信息表示服务将以接入组件->处理组件1->处理组件2->处理组件3->输出组件的数据流程进行数据处理。主服务和组件数据流向示意图如图2所示：

步骤1、接入组件通过数据回调接口将数据回传给主服务；

步骤2、主服务通过处理组件1的数据输入接口将数据传输给处理组件1；

步骤3、处理组件1处理完成后通过数据回调接口将数据回传给主服务；

步骤4、主服务通过处理组件2的数据输入接口将数据传输给处理组件2；

步骤5、处理组件2处理完成后通过数据回调接口将数据回传给主服务；

步骤6、主服务通过处理组件3的数据输入接口将数据传输给处理组件3；

步骤7、处理组件3处理完成后通过数据回调接口将数据回传给主服务；

步骤8、主服务通过输出组件的数据输入接口将数据传输给输出组件。输出组件将数据输出到目的位置。

其中，主服务数据处理流程如图3所示：

步骤1、主服务启动后加载本地配置文件，获取需要加载的组件信息；

步骤2、倒叙调用组件的初始化接口，调用初始化接口时，传入结构体的User指针设置为上一步初始化的组件对象指针；

步骤3、等待退出指令；

步骤4、调用各个组件的析构接口，退出。

其中，主服务回调函数流程如图4所示：

步骤1、回调开始通过回调函数的pUser指针参数转换为下一步需要执行的组件对象指针；

步骤2、调用转换后的组件指针输入数据函数，结束。

本发明的另一个较佳实施例中，如图5所示，首先将各个厂商来源的数据接入到Kafka数据引擎，数据来源有数据库、SDK、FTP文件、GB/T1400，通过统一的服务进行数据格式转换工作。将相同类型的数据转换成相同的数据格式，例如：机动车、非机动车、人员、人脸数据等。之后再经过统一的服务将这些数据进行数据清洗、字典转换、字符串操作工作。最终再通过另一个服务配置输出功能，将数据输出到ES服务中提供业务平台使用。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种可配置插件式服务集成系统，其特征在于，包括接入组件、处理组件、输出组件，各个组件通过主服务级联在一起；所述接入组件负责接入各个厂家的不同数据源；所述处理组件负责对数据进行加工；所述输出组件负责将数据输出给应用平台；所述主服务通过读取配置文件选择加载不同的组件。

2.如权利要求1所述的可配置插件式服务集成系统，其特征在于，所述主服务只能配置一个所述接入组件，一个所述输出组件，若干个所述处理组件。

3.如权利要求2所述的可配置插件式服务集成系统，其特征在于，所述主服务配置顺序必须按照所述接入组件、所述处理组件、所述输出组件进行。

4.如权利要求1所述的可配置插件式服务集成系统，其特征在于，所述接入组件用于适配各种不同的数据源，并将这些数据转换为Json格式，写入Kafka数据引擎中。

5.如权利要求1所述的可配置插件式服务集成系统，其特征在于，所述处理组件包括数据格式转换组件、数据清洗组件、数据字典转换组件和数据字符串操作组件。

6.如权利要求1所述的可配置插件式服务集成系统，其特征在于，各个组件包括初始化接口、析构接口、数据输入接口、数据回调接口；所述初始化接口用于组件的初始化工作；所述析构接口用于组件的退出前释放资源工作；所述数据输入接口用于所述处理组件和所述输出组件的数据传入。

7.如权利要求6所述的可配置插件式服务集成系统，其特征在于，所述初始化接口的结构体中包含了数据回调函数指针，用于在所述接入组件接入数据后通过所述数据回调接口回传给所述主服务，所述处理组件处理完成数据后通过所述数据回调接口回传给所述主服务。

8.一种应用权利要求1至7所述的可配置插件式服务集成系统的方法，其特征在于，包括以下步骤：

步骤1、所述主服务读取配置文件信息，获取到需要加载的所有组件以及组件的加载顺序关系；

步骤2、所述接入组件通过所述数据回调接口将数据回传给所述主服务；

步骤3、所述主服务通过所述处理组件的所述数据输入接口将数据传输给所述处理组件；

步骤4、所述处理组件处理完成后通过所述数据回调接口将数据回传给所述主服务；

步骤5、所述主服务通过所述输出组件的所述数据输入接口将数据传输给所述输出组件，所述输出组件将数据输出到目的位置。

9.如权利要求8所述的可配置插件式服务集成方法，其特征在于，所述主服务数据处理流程包括：

步骤1、所述主服务启动后加载本地配置文件，获取需要加载的组件信息；

步骤2、倒叙调用组件的所述初始化接口；

步骤3、等待退出指令；

步骤4、调用各个组件的所述析构接口，退出。

10.如权利要求8所述的可配置插件式服务集成方法，其特征在于，所述主服务回调函数流程包括：

步骤1、通过所述数据回调函数指针，转换为下一步需要执行的组件对象指针；

步骤2、调用转换后的组件指针输入数据函数，结束。

Images