CN111241981A - 视频结构化系统 - Google Patents

Abstract

本发明提供一种视频结构化系统，包括第一视频结构化模块、第二视频结构化模块和数据传输模块，其中第一视频结构化模块部署在低权限网络，用于接入图像并接收用户创建的结构化分析任务，依据结构化分析任务对图像进行结构化分析，并将结构化分析结果经由数据传输模块传送至第二视频结构化模块；第二视频结构化模块部署在高权限网络，用于经由数据传输模块从第一视频结构化模块接收结构化分析结果，并基于结构化分析结果提供检索和/或分析服务。本发明的视频结构化系统通过部署在低权限网络和高权限网络的两个视频结构化模块和数据传输模块实现低权限网络中的结构化分析结果到高权限网络的同步，从而实现应用于双网场景的视频结构化分析系统应用。

Description

视频结构化系统

技术领域

本发明涉及视频结构化技术领域，更具体地涉及一种视频结构化系统。

背景技术

视频结构化是一种将视频内容中的重要信息进行结构化提取的技术，利用它对视频内容按照语义关系，采用时空分割、特征提取、对象识别、深度学习等处理手段，组织成可供计算机和人理解的文本信息或可视化图形信息。

视频结构化系统一般通过对前端监控相机或者离线视频文件进行视频结构化分析，分析出视频中人体、机动车、非机动车等目标及其相关特征和属性信息，并可进一步基于分析出的特征和属性信息进行深度研判。在视频结构化系统的应用场景中，涉及到两种数据，一种是前端图像采集设备采集来的待进行视频结构化分析的数据，一种是用于与视频结构化分析结果进行比对从而产生提醒信息或其他附加信息的底库数据。第一种数据的数据量庞大，安全级别较低。第二种数据的数据量较小，安全级别较高。现有技术中常设置低权限网络和高权限网络分别对这两种数据进行管理，第二种数据由高权限网络统一存储和管理。

现有的视频结构化系统仅能在单网(高权限网络或者低权限网络)内使用：如果仅在低权限网络内使用，则无法共享高权限网络内的底库数据进而无法进行比中后的提醒，也不能利用其他低权限网络产生的数据；如果仅在高权限网络内使用，则因负载太大无法对低权限网络内部署的图像采集设备采集到的数据进行实时解析。可见，视频结构化系统的应用场景中，需要在低权限网络和高权限网络之间进行数据交互，以在保证数据安全的条件下实现数据共享和算力合理分配，也即需要一种能在双网场景下使用的视频结构化系统应用。

发明内容

为了解决上述问题而提出了本发明。本发明提供了一种视频结构化系统，所述视频结构化系统包括第一视频结构化模块、第二视频结构化模块和数据传输模块，其中：所述第一视频结构化模块部署在低权限网络，用于接入图像并接收用户创建的结构化分析任务，依据所述结构化分析任务对所述图像进行结构化分析，并将结构化分析结果经由所述数据传输模块传送至所述第二视频结构化模块；所述第二视频结构化模块部署在高权限网络，用于经由所述数据传输模块从所述第一视频结构化模块接收所述结构化分析结果，并基于所述结构化分析结果提供检索和/或分析服务。

在本发明的一个实施例中，所述第二视频结构化模块还用于将基于底库数据与所述结构化分析结果进行比对而产生提醒信息；或所述第二视频结构化模块还用于将底库数据经由所述数据传输模块传送至所述第一视频结构化模块，所述第一视频结构化模块还用于基于所述底库数据与所述结构化分析结果进行比对而产生提醒信息，并将所述提醒信息经由所述数据传输模块传送至所述第二视频结构化模块，所述第二视频结构化模块还用于经由所述数据传输模块从所述第一视频结构化模块接收所述提醒信息。

在本发明的一个实施例中，所述第一视频结构化模块还用于将资源数据经由所述数据传输模块传送至所述第二视频结构化模块，所述第二视频结构化模块还用于接收所述资源数据，所述资源数据包括所接入的所述图像的来源和/或所述结构化分析任务。

在本发明的一个实施例中，所述第一视频结构化模块包括接入数据层和第一服务层，所述第二视频结构化模块包括第二服务层，所述接入数据层用于接入所述图像，所述第一服务层用于对所述图像进行结构化分析并将结构化分析结果经由所述数据传输模块传送至所述第二服务层，所述第二服务层用于经由所述数据传输模块从所述第一服务层接收所述结构化分析结果，并基于所述结构化分析结果对上层应用提供检索和/或分析服务。

在本发明的一个实施例中，所述第二服务层还用于基于底库数据与所述结构化分析结果进行比对而产生提醒信息；或所述第二服务层还用于将底库数据经由所述数据传输模块传送至所述第一服务层，所述第一服务层还用于经由所述数据传输模块从所述第二服务层接收所述底库数据，并基于所述底库数据与所述结构化分析结果进行比对而产生提醒信息，并将所述提醒信息经由所述数据传输模块传送至所述第二服务层；所述第二服务层还用于经由所述数据传输模块从所述第一服务层接收所述提醒信息。

在本发明的一个实施例中，所述第一视频结构化模块还包括第一应用层，所述第一应用层用于基于用户输入确定要接入的所述图像的来源和所述结构化分析任务；所述第一服务层还用于将资源数据经由所述数据传输模块传送至所述第二服务层，所述第二服务层还用于接收所述资源数据；所述资源数据包括所接入的所述图像的来源和/或所述结构化分析任务。

在本发明的一个实施例中，所述第一服务层包括第一同步服务端和结构化分析服务，所述第二服务层包括第二同步服务端，所述结构化分析服务依据所述图像的来源和所述结构化分析任务对所述图像进行结构化分析，所述第一同步服务端从所述结构化分析服务订阅获取结构化分析结果，并将所述结构化分析结果经由所述数据传输模块传送至所述第二同步服务端，所述第二同步服务端接收所述结构化分析结果，所述第二视频结构化模块的第二应用层从所述第二同步服务端订阅获取所述结构化分析结果，并利用所述结构化分析结果进行检索和/或分析服务。

在本发明的一个实施例中，将所述结构化分析结果经由所述数据传输模块传送至所述第二同步服务端，包括：按照所述结构化分析结果中图像数据的存储路径获取所述存储路径对应的图像数据，将所述图像数据转换为base64值格式，用所述base64值格式的图像数据替换所述结构化分析结果中的所述存储路径，将替换后的结构化分析结果封装成指定数据格式写到文件中，再将所述文件经由所述数据传输模块传送至所述第二同步服务端。

在本发明的一个实施例中，所述第一视频结构化模块还包括用于存储所述资源数据和/或所述提醒信息的第一轻量数据库，所述第二视频结构化模块还包括用于存储所述资源数据和/或所述提醒信息的第二轻量数据库，所述第一应用层将要接入的所述图像的来源和所述结构化分析任务写入所述第一轻量数据库，所述第一同步服务端持续监听所述第一轻量数据库的二进制日志，获取变动语句，将所述变动语句写入文件传送至所述第二同步服务端，所述第二同步服务端接收到所述文件，解析出所述变动语句，并在第二轻量数据库中执行所述变动语句，实现所述资源数据和/或所述提醒信息的同步。

在本发明的一个实施例中，所述第一轻量数据库和所述第二轻量数据库还用于存储底库数据，所述第二同步服务端持续监听所述第二轻量数据库的二进制日志，获取变动语句，将所述变动语句写入文件传送至所述第一同步服务端，所述第一同步服务端接收到所述文件，解析出所述变动语句，并在所述第一轻量数据库中执行所述变动语句，实现所述底库数据的同步。

在本发明的一个实施例中，所述数据传输模块为单向网闸或双向网闸。

根据本发明实施例的视频结构化系统通过各自部署在低权限网络和高权限网络的两个视频结构化模块以及数据传输模块实现低权限网络中的结构化分析结果到高权限网络的同步，从而实现应用于双网场景的视频结构化分析系统应用。

附图说明

通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1示出根据本发明实施例的视频结构化系统的示意性框图。

图2示出根据本发明一个实施例的视频结构化系统的示意性系统架构图。

图3示出根据本发明一个实施例的视频结构化系统中将数据同步从低权限网络同步到高权限网络的流程和架构示意图。

图4示出根据本发明另一个实施例的视频结构化系统的示意性系统架构图。

图5示出根据本发明另一个实施例的视频结构化系统中将低权限网络和高权限网络各自的数据彼此同步的流程和架构示意图。

具体实施方式

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。

首先，参照图1来描述根据本发明提出的视频结构化系统。图1示出了根据本发明实施例的视频结构化系统100的示意性框图。如图1所示，视频结构化系统100包括第一视频结构化模块110、第二视频结构化模块120和数据传输模块130。其中，第一视频结构化模块110部署在低权限网络，用于接入图像并接收用户创建的结构化分析任务，依据所述结构化分析任务对所述图像进行结构化分析，并将结构化分析结果经由数据传输模块130传送至第二视频结构化模块120。第二视频结构化模块120部署在高权限网络，用于经由数据传输模块130从第一视频结构化模块110接收所述结构化分析结果，并基于所述结构化分析结果提供检索和/或分析服务。

结构化分析是指对图像中的对象进行目标检测、特征提取、属性识别等，从而得到结构化分析结果，所述结构化分析结果包括目标检测检测出的目标的抓拍图、目标特征、目标属性等。

高权限网络和低权限网络的权限高低是相对的，高权限网络为安全级别较高、有较高数据访问权限的网络，低权限网络为安全级别较低、有较低数据访问权限的网络。例如，总公司管理系统所在网络为高权限网络，对其下所有分公司数据均有访问权限；子公司管理系统所在网络为低权限网络，仅对该分公司数据有访问权限。在一个具体应用场景中，分公司的第一视频结构化模块110对接入其网络的摄像头采集的图像进行结构化分析，分析结果给总公司，总公司的第二视频结构化模块120汇总所有子公司的分析结果，在其基础上给总公司用户提供检索、分析服务。

本实施例在低权限网络进行该低权限网络的接入图像的结构化分析，将结构化分析结果传入高权限网络，能够取得如下技术效果：

第一，高权限网络、低权限网络通过数据传输模块130隔离，结构化分析结果经由数据传输模块130传输，能够保证安全的情况下实现数据交互；

第二，低权限网络进行特征提取、属性识别等结构化分析，高权限网络直接使用提取后的特征、识别后的属性进行进一步的检索、分析，能够合理分配高权限网络、低权限网络的计算资源。

在本发明的实施例中，数据传输模块130可以为单向数据传输模块(例如单向网闸)，例如仅实现将第一视频结构化模块110的数据传输至第二视频结构化模块120，或者反之。可替代地，数据传输模块130可以为双向数据传输模块(例如双向网闸)，实现第一视频结构化模块110和第二视频结构化模块120的数据交互。下文将结合附图分别详细描述数据传输模块130为单向数据传输模块和双向数据传输模块时视频结构化系统100的系统架构及其数据传输流程。在一例中，数据传输模块130为一网闸，将低权限网络的数据摆渡至高权限网络，或将高权限网络的数据摆渡至低权限网络。

在一些应用场景中，需要将视频结构化分析结果与底库数据进行比对，从而产生提醒信息或其他附加信息。底库数据是高安全级别数据，常由高权限网络统一存储和管理，低安全级别网络对底库数据无访问权限，或者仅对部分底库数据有访问权限。底库可以是实名化库或监控库。例如，A子公司希望对本子公司内的员工进行身份识别，则可对接入A子公司的图像进行结构化分析，将结构化分析结果与A子公司员工的实名化库(员工特征和姓名/ID的关联库)进行比对，比中则显示员工名称(也即前述其他附加信息)。再例如，A公司不希望P1、P2、P3三位员工进入W区域，若进入则产生提醒信息。则可将P1、P2、P3的特征放入监控库，对接入A子公司的图像进行结构化分析，将结构化分析结果与监控库进行比对，比中则产生提醒信息。

将视频结构化分析结果与底库数据进行比对，从而产生提醒信息或其他附加信息可通过以下两种方式实现：

方式1，第二视频结构化模块120还用于基于底库数据与所述结构化分析结果进行比对而产生提醒信息。

方式2，第二视频结构化模块120还用于将底库数据经由所述数据传输模块传送至所述第一视频结构化模块110，所述第一视频结构化模块110还用于基于所述底库数据与所述结构化分析结果进行比对而产生提醒信息，并将所述提醒信息经由所述数据传输模块传送至所述第二视频结构化模块120，所述第二视频结构化模块120还用于经由所述数据传输模块130从所述第一视频结构化模块110接收所述提醒信息。

在方式1中，第二视频结构化模块120将其管理的底库数据与其从第一视频结构化模块110接收到的结构化分析结果进行比对并产生提醒信息；在方式2中，第二视频结构化模块120将底库数据传入第一视频结构化模块110，由第一视频结构化模块110进行比对并产生提醒信息，第一视频结构化模块110将产生的提醒信息发送至第二视频结构化模块120。通常情况下，第一视频结构化模块110对第二视频结构化模块120发送的底库数据只有读取权限，无修改权限。可以理解的是，方式1中数据从第一视频结构化模块110单向传送至第二视频结构化模块120，使用单向数据传输模块即可，传送的是结构化分析结果；方式2中，数据双向传送，需使用双向数据传输模块。方式1中，底库数据维护在高权限网络，在高安全级别数据不外出的条件下进行提醒产生、检索分析等；方式2中，提醒信息在第一视频结构化模块110内产生，大幅减少第二视频结构化模块120中计算资源的负担(否则多个第一视频结构化模块110均在第二视频结构化模块120进行比对并产生提醒，第二视频结构化模块120负担较重)且提醒信息的实时性更好(无需等结构化分析结果传送到第二视频结构化模块120后再由第二视频结构化模块120进行比对)，但需第一视频结构化模块110增加对底库数据的管理功能。需要注意的是，第二视频结构化模块120只将低权限网络具有访问权限的底库数据发送至低权限网络中布置的第一视频结构化模块110，不发送第一视频结构化模块110不具有访问权限的底库数据。

在另一实施方式中，所述第一视频结构化模块110还用于将资源数据经由所述数据传输模块130传送至所述第二视频结构化模块120，所述第二视频结构化模块120还用于接收所述资源数据，所述资源数据包括所接入的所述图像的来源和/或所述结构化分析任务。

例如，A分公司新接入3路相机，需要将该3路相机的ID等信息同步至总公司。结构化分析任务指对哪些来源的图像进行结构化分析。例如，A分公司对3路相机中的1路相机在1月1日0点-1月30日1点的抓拍图像创建了结构化分析任务。将结构化分析任务同步至总公司后，总公司可获知A分公司会对该路相机采集的图像进行结构化分析并将分析结果传送至总公司。可见，分公司将相机、结构化分析任务信息同步给总公司，便于总公司对各分公司进行统一管理。

如此，第二视频结构化模块120能够获知第一视频结构化模块110中的资源接入情况和/或结构化分析任务的创建、执行情况，从而获知其可在哪些结构化分析结果中开展检索/分析等服务。通常情况下，第二视频结构化模块120对第一视频结构化模块110发送的资源数据只有读取权限，无修改权限。

参见图2，图2示出了根据本发明一个实施例的视频结构化系统200的示意性系统架构图，该系统架构图描述了图1中所述的视频结构化系统100中的数据传输模块130为单向数据传输模块时的场景。如图2所示，视频结构化系统200包括第一视频结构化模块210、第二视频结构化模块220和数据传输模块230。其中，第一视频结构化模块210进一步包括接入数据层和第一服务层。第二视频结构化模块220进一步包括第二服务层。其中，接入数据层用于接入图像，第一服务层用于对所述图像进行结构化分析并将结构化分析结果经由数据传输模块230传送至第二服务层，第二服务层用于经由数据传输模块230从第一服务层接收所述结构化分析结果，并基于所述结构化分析结果提供检索和/或分析服务。

在本实施例中，第一视频结构化模块210和第二视频结构化模块220通过各自的服务层进行数据传输，第一视频结构化模块210由于要进行图像采集设备的接入还有接入数据层。

在一个示例中，接入数据层可以通过接入实时的监控相机来接入图像。在另一个示例中，接入数据层可以通过视频平台接入图像。在又一个示例中，接入数据层可以通过接入上传的离线视频而接入图像。在再一个示例中，接入数据层可以通过上述示例中的任意组合的方式接入图像，如图2所示的。应理解，本发明中的术语“图像”可以理解为视频，也可以理解为图片。

在一些应用场景中，需要将视频结构化分析结果与底库数据进行比对，从而产生提醒信息或其他附加信息，由此，对应于如前所述的方式1，第二服务层还用于基于底库数据与所述结构化分析结果进行比对而产生提醒信息；对应于如前所述的方式2，第二服务层还用于将底库数据经由所述数据传输模块传送至所述第一服务层，所述第一服务层还用于经由所述数据传输模块230从所述第二服务层接收所述底库数据，并基于所述底库数据与所述结构化分析结果进行比对而产生提醒信息，并将所述提醒信息经由所述数据传输模块230传送至所述第二服务层；所述第二服务层还用于经由所述数据传输模块230从所述第一服务层接收所述提醒信息。

在本发明的实施例中，第一视频结构化模块210还可以包括第一应用层，第一应用层可以用于基于用户输入确定要接入的图像的来源和用户创建的结构化分析任务。第一服务层还用于将资源数据经由所述数据传输模块230传送至所述第二服务层，所述第二服务层还用于接收所述资源数据；所述资源数据包括所接入的所述图像的来源和/或所述结构化分析任务。如图2所示的，第一应用层可以面向用户直观实用的功能应用，其可以包括资源管理和解析任务这两个模块。其中，资源管理是指相机管理、视频平台管理、离线视频/图片文件管理等功能，实现将图像接入到第一视频结构化模块210；解析任务的管理主要是创建解析任务，包括选择对哪些接入的图像进行实时解析、对哪些历史监控录像进行解析、对哪些离线视频文件进行解析等。如此，第一服务层便可以基于用户创建的解析任务进行结构化分析。第一服务层将第一视频结构化模块210接入的图像的来源和/或用户在第一视频结构化模块210中创建的结构化分析任务同步至第二服务层，使得第二视频结构化模块220能够获知第一视频结构化模块210中的资源接入情况和/或结构化分析任务的创建、执行情况，从而获知其可在哪些结构化分析结果中开展检索/分析等服务。

在本发明的实施例中，第一服务层可以包括第一同步服务端和结构化分析服务，第二服务层可以包括第二同步服务端，如图2所示的。其中，第一服务层的结构化分析服务依据图像的来源和结构化分析任务对图像进行结构化分析，第一服务层的第一同步服务端从第一服务层的结构化分析服务订阅获取结构化分析结果，并将所述结构化分析结果经由数据传输模块230传送至第二服务层的第二同步服务端，第二同步服务端接收所述结构化分析结果。第二视频结构化模块220可以包括第二应用层，第二应用层可以从第二服务层的第二同步服务端订阅获取所述结构化分析结果，并利用所述结构化分析结果进行检索和/或分析服务。

本实施方式中，第一服务层的结构化服务对图像进行结构化分析，检测出人体、机动车、非机动车等目标，并对目标进行特征提取和属性识别，最后将目标的抓拍数据、抓拍图、结构化属性信息、特征值等结构化分析结果存储起来。相应地，第一同步服务端可以将图像的来源和结构化分析任务等业务数据以及抓拍数据、抓拍图、结构化属性信息、特征值等结构化分析结果数据通过数据传输模块230传送至第二视频结构化模块220的第二服务层的第二同步服务端。

在本实施方式中，在第一服务层中设置同步服务端，使第一服务层中的同步服务和结构化分析服务解耦，便于将只能在单网内使用的视频结构化模块(此时视频结构化模块只需结构化分析服务而无需同步服务)扩展为可在双网之间进行数据传输的视频结构化模块。第二视频结构化模块220的第二应用层为处于高级别权限网络的用户提供检索和/或分析服务。

在本发明的实施例中，除了结构化分析服务和同步服务，第一服务层还可以包括存储服务。存储服务用来存储结构化分析结果中的图片数据。将结构化分析结果中的图片数据存在存储服务中，结构化分析结果中的其他数据和图片在存储服务中的地址合并作为结构化分析结果存储在其他数据库中，如此，把体积最大的图片数据单独存储，能够提高结构化分析结果的读写效率。

在本发明的实施例中，除同步服务，第二视频结构化模块220的第二服务层还可以包括检索服务和存储服务。第二同步服务端从第一服务层的第一同步服务端接收其传送来的图像的来源和结构化分析任务等业务数据以及抓拍数据、抓拍图、结构化属性信息、特征值等结构化分析结果数据，存储服务可以将第二同步服务端接收到的结构化分析结果数据中包含的图片数据存储起来，将结构化分析结果中的其他数据和图片在存储服务中的地址合并作为结构化分析结果存储在其他数据库中，如此，把体积最大的图片数据单独存储，能够提高结构化分析结果的读写效率。检索服务为第二应用层提供基础算法服务，即根据结构化分析结果数据对上层应用提供基础检索服务，包括人体检索、机动车检索、非机动车检索等。当第二应用层需要时可对第二服务层中的检索服务进行调用。

在本发明的实施例中，第二视频结构化模块220的第二应用层是面向用户直观实用的功能应用，其可以包括提醒管理、检索分析、资源管理模块。其中，提醒管理是对提醒信息进行管理和响应，提醒信息可以是第二视频结构化模块220产生的，也可以是第一视频结构化模块210产生并同步至第二视频结构化模块的。提醒信息可以包括诸如对目标人体提醒、车辆等对象提醒的提醒功能，其中，人体提醒是抓拍到的人体与底库中的目标人体匹配成功后产生的提醒，车辆提醒抓拍的车辆与底库中的目标车辆的车牌号匹配成功后产生的提醒。检索/分析包括目标检索、地图检索、画像检索、轨迹追踪、以车找人、以人找车等详细功能。其中目标检索可以包括通过图片或结构化属性在指定时空范围内(在例如1月1日0点-1月2日3点之间1号相机拍摄的图像中)对人体、机动车以及非机动车进行检索。例如，可通过上下衣款式、上下衣颜色、戴帽情况、帽子颜色、有无背包、有无骑车、有无打伞等结构化属性对人体进行检索，以求检索到满足设定结构化属性的人体；可通过是否系安全带、是否开车打电话、副驾驶是否有人、是否有年检标等结构化属性对车辆进行检索，以求检索到满足设定结构化属性的车辆。以车找人是根据车辆检索与该车辆同时被抓拍到的人脸/人体(且人开车或人乘车)，以人找车是根据人脸/人体检索与该人脸/人体同时被抓拍到的车辆(且人开车或人乘车)。

提醒资源管理包括相机管理和底库管理，高权限网络的相机管理只查看低权限网络同步过来的相机数据，一般不能增加修改删除；底库管理包括是人脸库、人体库和车牌库等底库的管理。

以上结合图2描述的实施例是数据传输模块230为单向数据传输模块的实施例，在该实施例中，实现了将图像的来源和结构化分析任务等业务数据以及抓拍数据、抓拍图、结构化属性信息、特征值等结构化分析结果数据从低权限网络同步到高权限网络的功能。由于图像的来源和结构化分析任务等业务数据的数据量较少，而抓拍数据、抓拍图、结构化属性信息、特征值等结构化分析结果数据的数据量较大，为了描述简单，在本文中，可以将图像的来源和结构化分析任务等业务数据统称为轻量数据或者资源数据，而将抓拍数据、抓拍图、结构化属性信息、特征值等结构化分析结果数据统称为重量数据。下面结合图3来进一步描述该数据同步流程和架构设计。

图3示出了根据本发明一个实施例的视频结构化系统中将数据同步从低权限网络同步到高权限网络的流程和架构示意图。

首先，介绍轻量数据的同步过程。

如图3所示，第一应用层(即图2示出中的第一视频结构化模块210的第一应用层)基于用户输入获取轻量数据(轻量数据包括图像的来源和用户创建的结构化分析任务)，轻量数据可以存储在第一轻量数据库中。示例性地，第一轻量数据库可以为关系数据库，例如mysql或mariadb。

第一同步服务端(即图2示出中的第一视频结构化模块210的第一同步服务端)可以从第一轻量数据库获取轻量数据，并经由数据传输模块230传送至高权限网络侧的第二同步服务端(即图2示出中的第一视频结构化模块220的第二同步服务端)。之后，若用户对接入相机或结构化任务进行编辑，第一轻量数据库中的数据会发生变动。若第一轻量数据库中的数据发生变动，第一同步服务端可以获取第一轻量数据库的变动情况，并把变动情况经由数据传输模块230传送至高权限网络侧的第二同步服务端。数据库中表数据的变动都会形成二进制日志(binlog)，二进制日志是一个二进制格式的文件，用于记录用户对数据库更新的SQL语句信息，例如更改数据库表和更改内容的SQL语句都会记录到二进制日志里，但是对数据库表等内容的查询不会记录。因此，第一同步服务端可以持续监听所述第一轻量数据库的二进制日志，获取指定表(例如相机表、结构化任务表等)的变动，进一步获取其变动的SQL语句，将所述变动语句写入文件，再通过数据传输模块230传送至所述第二同步服务端。所述第二同步服务端接收到所述文件，解析出所述变动语句，并在第二轻量数据库中执行所述变动语句，实现所述轻量数据的同步，如图3所示。将第二轻量数据库中的内容同步至第一轻量数据库的过程与将第一轻量数据库中的内容同步至第二轻量数据库的过程类似，此处不再赘述。

其次，介绍重量数据的同步过程。

第一应用层获取用户创建的结构化分析任务后，调用第一服务层(即图2示出中的第一视频结构化模块210的第一服务层)中的结构化分析服务执行该结构化分析任务，结构化分析服务获取结构化分析任务中指定的图像并对其进行结构化分析，得到结构化分析结果。之后，第一应用层可从结构化分析服务订阅并获取该结构化分析结果，以供用户查看，并将结构化分析结果存储在第一重量数据库中，以用于后续的检索和分析。由于第一重量数据库是用于存储诸如结构化分析结果的重量数据，因此，第一重量数据库可以采用具有如下特点的数据库：分布式、高扩展、高实时的搜索与数据分析引擎，能很方便地使大量数据具有快速搜索的能力，用于目标的高效存储和检索。示例性地，第一重量数据库可以是ElasticSearch。在一个具体实施例中，在结构化分析服务生产出的结构化分析结果中，只保留了图像数据(例如抓拍图)在存储服务中的存储路径，而不保留真正的图像数据，图像数据单独存储在存储服务中。如此，把体积最大的图片数据单独存储，能够提高结构化分析结果的读写效率。

此外，第一同步服务端可以从第一服务层的结构化分析服务订阅获取结构化分析结果，并将所述结构化分析结果经由数据传输模块230传送至第二同步服务端。由于第一同步服务端是从第一服务层的结构化分析服务订阅获取结构化分析结果，而不是从第一应用层获取结构化分析结果，因此可以实现数据同步服务和应用的解耦。

具体地，第一同步服务端将结构化分析结果经由数据传输模块230传送至第二同步服务端，可以包括：按照所述结构化分析结果中的存储路径获取存储路径对应的图像数据，将所述图像数据转换为base64值格式，用所述base64值格式的图像数据替换所述结构化分析结果中的所述存储路径，将替换后的结构化分析结果封装成指定数据格式写到文件中，再将文件经由数据传输模块230传送至第二同步服务端，由于传输的文件中图片字段保存的是base64值，而不是图片存储路径，使得文件在传输到高权限网络后得以解析出图像数据，而不是只能解析出图像数据在低权限网络中的存储路径、无法获取图像数据。

相应地，第二同步服务端从第一同步服务端接收到文件后进行解封装，将得到的结构化分析结果中的图像数据存储到存储服务，并将结构化分析结果中的base值格式的图像数据替换为在所述存储服务中的存储路径，把替换后的结构化分析结果封装为结构化分析服务可以识别的格式再上传至高权限网络侧的结构化分析服务。由于结构化分析结果中已经包括结构化属性信息、特征值等数据，故高权限网络侧的结构化分析服务无需重复解析，而可以直接将结构化分析结果放到消息队列中，供高权限网络的第二应用层订阅使用。

第二应用层订阅获取该结构化分析结果，将其存储到第二重量数据库中，并利用该结构化分析结果进行检索和/或分析服务，如图3所示的。第二重量数据库与第一重量数据库类似，此处不再赘述。

在高权限网络侧的在第二应用层订阅获取同步过来的结构化分析结果诸如人体特征值后，可与人体底库数据进行比对，如果匹配成功，则推送出人体提醒信息。在第二应用层订阅获取到结构化分析结果诸如车牌号后，可与车牌底库数据进行比对，如果匹配成功，则推送出车辆提醒信息。

基于上面的描述，根据本发明实施例的视频结构化系统由部署在低权限网络内的第一视频结构化模块接入图像并进行结构化分析，然后经由数据传输模块将图像来源、结构化分析任务以及结构化分析结果传送至部署在高权限网络的第二视频结构化模块，第二视频结构化模块可以根据来自第一视频结构化模块的数据提供检索和/或分析服务。

在本发明的实施例中，图1中所示的视频结构化系统100的数据传输模块130也可以为双向数据传输模块(例如双向网闸)，实现第一视频结构化模块110和第二视频结构化模块120的数据交互。下面将结合附图详细描述数据传输模块130为双向数据传输模块时视频结构化系统100的系统架构及其数据传输流程。

首先参见图4，图4示出了根据本发明另一个实施例的视频结构化系统400的示意性系统架构图，该系统架构图描述了图1中所述的视频结构化系统100中的数据传输模块130为双向数据传输模块时的场景。如图4所示，视频结构化系统400包括部署在低权限网络内的第一视频结构化模块410、部署在高权限网络内的第二视频结构化模块420、以及用于实现第一视频结构化模块410和第二视频结构化模块420之间的数据交互的数据传输模块430。图4所示的第一视频结构化模块410和第二视频结构化模块420分别与图2所示的第一视频结构化模块210和第二视频结构化模块220的架构大体上类似，仅有一些细小差别，为了简洁，下文仅描述差别的部分。

如图4所示的，由于数据传输模块430为双向数据传输模块，因此除了可以实现第一视频结构化模块410将轻量数据和重量数据同步到第二视频结构化模块420之外，还可以将第二视频结构化模块420内的数据同步到第一视频结构化模块410。具体地，第二视频结构化模块可以用于将底库数据经由数据传输模块430传送至第一视频结构化模块410。相应地，第一视频结构化模块410可以用于经由数据传输模块430从第二视频结构化模块420接收所述底库数据，并基于所述底库数据与其自身得到的结构化分析结果进行比对而产生提醒信息。

具体地，可以由第二视频结构化模块420的第二服务层将底库数据经由数据传输模块430传送至第一视频结构化模块410的第一服务层，所述第一服务层可以用于数据传输模块430从所述第二服务层接收所述底库数据，并基于所述底库数据与所述结构化分析结果进行比对而产生提醒信息。

相应地，第一视频结构化模块410的第一应用层的资源管理模块除了相机管理、视频平台管理、离线视频/图片文件管理等功能，还包括底库管理功能，即查看从第二视频结构模块420同步过来的底库数据。示例性地，第一视频结构模块410不可增加修改删除底库数据。此外，第一视频结构化模块410的第一应用层还可以包括目标提醒模块。如前所述的，第一服务层可以用于数据传输模块430从所述第二服务层接收所述底库数据，并基于所述底库数据与所述结构化分析结果进行比对而产生提醒信息，该提醒信息可由第一应用层的目标提醒模块获取而实现目标提醒。

进一步地，第一视频结构化模块410还可以将该提醒信息经由数据传输模块430传送至第二视频结构化模块420。相应地，第二视频结构化模块420可以经由数据传输模块430从第一视频结构化模块410接收所述提醒信息。具体地，可以由第一视频结构化模块410的第一服务层经由数据传输模块430将所述提醒信息传送至第二视频结构化模块420的第二服务层。相应地，第二视频结构模块420的第二应用层可以包括提醒管理模块，其可以查看来自第一视频结构化模块410的提醒信息，一般不能对其进行增加、修改和删除。

基于上面的描述，根据本发明实施例的视频结构化系统通过各自部署在低权限网络和高权限网络的两个视频结构化模块以及双向数据传输模块实现低权限网络与高权限网络彼此数据的交互和同步，从而实现应用于双网场景的视频结构化分析系统应用。下面结合图5来描述该实施例的视频结构化系统中将低权限网络和高权限网络各自的数据彼此同步的流程和架构示意图。

如图5所示，低权限网络侧的轻量数据和重量数据依旧经由数据传输模块430同步到高权限网络侧，这与结合图3中描述的是一致的，为了简洁，此处不再赘述。与图3中所示不同的是，在图5所示的实施例中，数据传输模块430是双向数据传输模块，因此高权限网络侧的数据也可以经由数据传输模块430同步到低权限网络侧。

具体地，高权限网络侧的第二轻量数据库还可以用于存储底库数据，第二同步服务端可以持续监听第二轻量数据库的二进制日志，获取变动语句，将所述变动语句写入文件并传送至低权限网络侧的第一同步服务端。第一同步服务端接收到所述文件，解析出所述变动语句，并在第一轻量数据库中执行所述变动语句，从而实现所述底库数据的同步。

如前所述的，低权限网络侧的结构化分析服务可以使用该底库数据与结构化分析结果进行比对而产生提醒信息，该提醒信息可由第一应用层的目标提醒模块获取而实现目标提醒。进一步地，该提醒信息也可以作为轻量数据存储在第一轻量数据库中，并由第一同步服务端获取后经由数据传输模块430同步到第二同步服务端，以用于第二应用层获取并由用户查看，或者结合其他应用进行检索、分析。

基于上面的描述，根据本发明实施例的视频结构化系统由部署在低权限网络内的第一视频结构化模块接入图像并进行结构化分析，然后经由数据传输模块将图像来源、结构化分析任务以及结构化分析结果传送至部署在高权限网络的第二视频结构化模块，第二视频结构化模块可以根据来自第一视频结构化模块的数据提供检索和/或分析服务。此外，根据本发明实施例的视频结构化系统还可以由部署在高权限网络的第二视频结构化模块将其存储的底库数据传送至部署在低权限网络内的第一视频结构化模块，第一视频结构化模块可以基于该底库数据与结构化分析结果进行比对而产生提醒信息，并可以将该提醒信息同步到部署在高权限网络的第二视频结构化模块，从而实现在最少占用高权限网络服务器资源的情况在双网场景下充分利用数据共享进行解析、提醒、检索、研判、分析等，从而大幅度节省了高权限网络侧的服务器计算资源。此外，根据本发明实施例的视频结构化系统能够实现独立、高性能、可扩展的数据同步服务，该服务支持多种类型多种数据结构，可以与视频结构化应用本身完全解耦，在双网场景下使用时直接部署即可，不需要对单网的视频结构化模块功能进行改动；通过并发设计实现高效的数据处理能力，能处理大量数据；并且服务设计为无状态的，便于水平扩展进一步提高处理性能。实际项目经验显示，采用根据本发明实施例的视频结构化系统进行数据同步，轻量数据同步率为100％，即丢失率为0％；重量数据丢失率仅为0.00013％。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (11)

1.一种视频结构化系统，其特征在于，所述视频结构化系统包括第一视频结构化模块、第二视频结构化模块和数据传输模块，其中：

所述第一视频结构化模块部署在低权限网络，用于接入图像并接收用户创建的结构化分析任务，依据所述结构化分析任务对所述图像进行结构化分析，并将结构化分析结果经由所述数据传输模块传送至所述第二视频结构化模块；

所述第二视频结构化模块部署在高权限网络，用于经由所述数据传输模块从所述第一视频结构化模块接收所述结构化分析结果，并基于所述结构化分析结果提供检索和/或分析服务。

2.根据权利要求1所述的视频结构化系统，其特征在于，所述第二视频结构化模块还用于基于底库数据与所述结构化分析结果进行比对而产生提醒信息；或

所述第二视频结构化模块还用于将底库数据经由所述数据传输模块传送至所述第一视频结构化模块，所述第一视频结构化模块还用于基于所述底库数据与所述结构化分析结果进行比对而产生提醒信息，并将所述提醒信息经由所述数据传输模块传送至所述第二视频结构化模块，所述第二视频结构化模块还用于经由所述数据传输模块从所述第一视频结构化模块接收所述提醒信息。

3.根据权利要求1或2所述的视频结构化系统，其特征在于，所述第一视频结构化模块还用于将资源数据经由所述数据传输模块传送至所述第二视频结构化模块，所述第二视频结构化模块还用于接收所述资源数据，所述资源数据包括所接入的所述图像的来源和/或所述结构化分析任务。

4.根据权利要求1所述的视频结构化系统，其特征在于，所述第一视频结构化模块包括接入数据层和第一服务层，所述第二视频结构化模块包括第二服务层，所述接入数据层用于接入所述图像，所述第一服务层用于对所述图像进行结构化分析并将结构化分析结果经由所述数据传输模块传送至所述第二服务层，所述第二服务层用于经由所述数据传输模块从所述第一服务层接收所述结构化分析结果，并基于所述结构化分析结果提供检索和/或分析服务。

5.根据权利要求4所述的视频结构化系统，其特征在于，所述第二服务层还用于基于底库数据与所述结构化分析结果进行比对而产生提醒信息；或

所述第二服务层还用于将底库数据经由所述数据传输模块传送至所述第一服务层，所述第一服务层还用于经由所述数据传输模块从所述第二服务层接收所述底库数据，并基于所述底库数据与所述结构化分析结果进行比对而产生提醒信息，并将所述提醒信息经由所述数据传输模块传送至所述第二服务层；所述第二服务层还用于经由所述数据传输模块从所述第一服务层接收所述提醒信息。

6.根据权利要求4或5所述的视频结构化系统，其特征在于，所述第一视频结构化模块还包括第一应用层，所述第一应用层用于基于用户输入确定要接入的所述图像的来源和所述结构化分析任务；所述第一服务层还用于将资源数据经由所述数据传输模块传送至所述第二服务层，所述第二服务层还用于接收所述资源数据；所述资源数据包括所接入的所述图像的来源和/或所述结构化分析任务。

7.根据权利要求6所述的视频结构化系统，其特征在于，所述第一服务层包括第一同步服务端和结构化分析服务，所述第二服务层包括第二同步服务端，

所述结构化分析服务依据所述图像的来源和所述结构化分析任务对所述图像进行结构化分析，所述第一同步服务端从所述结构化分析服务订阅获取结构化分析结果，并将所述结构化分析结果经由所述数据传输模块传送至所述第二同步服务端，所述第二同步服务端接收所述结构化分析结果，所述第二视频结构化模块的第二应用层从所述第二同步服务端订阅获取所述结构化分析结果，并利用所述结构化分析结果进行检索和/或分析服务。

8.根据权利要求7所述的视频结构化系统，其特征在于，将所述结构化分析结果经由所述数据传输模块传送至所述第二同步服务端，包括：按照所述结构化分析结果中图像数据的存储路径获取所述存储路径对应的图像数据，将所述图像数据转换为base64值格式，用所述base64值格式的图像数据替换所述结构化分析结果中的所述存储路径，将替换后的结构化分析结果封装成指定数据格式写到文件中，再将所述文件经由所述数据传输模块传送至所述第二同步服务端。

9.根据权利要求7或8所述的视频结构化系统，其特征在于，所述第一视频结构化模块还包括用于存储所述资源数据和/或所述提醒信息的第一轻量数据库，所述第二视频结构化模块还包括用于存储所述资源数据和/或所述提醒信息的第二轻量数据库，所述第一应用层将要接入的所述图像的来源和所述结构化分析任务写入所述第一轻量数据库，所述第一同步服务端持续监听所述第一轻量数据库的二进制日志，获取变动语句，将所述变动语句写入文件传送至所述第二同步服务端，所述第二同步服务端接收到所述文件，解析出所述变动语句，并在第二轻量数据库中执行所述变动语句，实现所述资源数据和/或所述提醒信息的同步。

10.根据权利要求9所述的视频结构化系统，其特征在于，所述第一轻量数据库和所述第二轻量数据库还用于存储底库数据，所述第二同步服务端持续监听所述第二轻量数据库的二进制日志，获取变动语句，将所述变动语句写入文件传送至所述第一同步服务端，所述第一同步服务端接收到所述文件，解析出所述变动语句，并在所述第一轻量数据库中执行所述变动语句，实现所述底库数据的同步。

11.根据权利要求1所述的视频结构化系统，其特征在于，所述数据传输模块为单向网闸或双向网闸。

Images