CN112039936B - 数据传输方法、第一数据处理设备及监控系统 - Google Patents
数据传输方法、第一数据处理设备及监控系统 Download PDFInfo
- Publication number
- CN112039936B CN112039936B CN201910779766.7A CN201910779766A CN112039936B CN 112039936 B CN112039936 B CN 112039936B CN 201910779766 A CN201910779766 A CN 201910779766A CN 112039936 B CN112039936 B CN 112039936B
- Authority
- CN
- China
- Prior art keywords
- data
- monitoring
- data processing
- processing device
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
- H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/14—Session management
- H04L67/146—Markers for unambiguous identification of a particular session, e.g. session cookie or URL-encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
Abstract
本发明是关于一种数据传输方法及设备、监控系统,属于电子技术应用领域。该方法应用于监控系统的第一数据处理设备,监控系统包括具有不同级别的多个监控子系统,每个监控子系统包括数据处理设备,第一数据处理设备为多个监控子系统中非最高级监控子系统中的数据处理设备,监控系统包括多个第二数据处理设备,第二数据处理设备所处的监控子系统的级别高于第一数据处理设备所处的监控子系统的级别,方法包括:获取监控数据;对获取的监控数据进行缓存;将缓存后的监控数据实时分发至多个第二数据处理设备。本发明有效减小了不同级别监控子系统之间所传输的数据的时延,提高了不同级别监控子系统之间数据获取的时效性。本发明用于数据的传输。
Description
本申请要求于2019年06月03日提交的申请号为201910477950.6、发明名称为“数据传输方法及设备、监控系统”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本发明涉及电子技术应用领域,特别涉及一种数据传输方法、第一数据处理设备及监控系统。
背景技术
目前,监控系统的应用范围越来越广泛。大型监控系统通常包括多级监控子系统。在该大型监控系统中,上级监控子系统具有获取其对应的下级监控子系统的数据的权限。其中,可以按照行政区域划分(简称行政区划)情况确定该大型监控系统中的多个监控子系统的级别,例如,一个省的监控系统可以包括省级监控子系统和多个市级监控子系统,该省级监控子系统可以为上级监控子系统,各个市级监控子系统为该省级监控子系统的下级监控子系统,且该省级监控子系统具有获取该各个市级监控子系统的数据的权限。
每个监控子系统均包括数据分析设备、大数据中心和覆盖一定区域的数据获取设备,下级监控子系统的大数据中心与上级监控子系统的大数据中心级联。在下级监控子系统中,数据获取设备在获取数据后,将数据发送至数据分析设备,数据分析设备对接收的数据进行分析,并将分析后的数据存入大数据中心中的数据库(该过程称为入库过程)。当上级监控子系统需要获取其对应的下级监控子系统的数据时,下级监控子系统的大数据中心将数据库中的数据提取(该过程称为出库过程)并传输至上级监控子系统的大数据中心,上级监控子系统可以通过本地用户设备从大数据中心中读取数据。
但是,由于下级监控子系统在向上级监控子系统传输数据时,下级监控子系统的数据需要经过入库和出库过程,导致大数据中心之间所传输的数据存在较长的时延,从而影响不同级别监控子系统之间数据获取的时效性。
发明内容
本发明实施例提供了一种数据传输方法、第一数据处理设备及监控系统,能够有效减小不同级别监控子系统之间所传输的数据的时延,提高了不同级别监控子系统之间数据获取的时效性。所述技术方案如下:
第一方面,提供了一种数据传输方法,应用于监控系统的第一数据处理设备,所述监控系统包括具有不同级别的多个监控子系统,每个所述监控子系统包括数据处理设备,所述第一数据处理设备为所述多个监控子系统中非最高级监控子系统中的数据处理设备,第二数据处理设备所处的监控子系统的级别高于所述第一数据处理设备所处的监控子系统的级别,所述方法包括:
获取监控数据;
对获取的监控数据进行缓存;
将缓存后的所述监控数据实时分发至多个所述第二数据处理设备。
第二方面,提供了一种第一数据处理设备,所述第一数据处理设备为监控系统中的设备,所述监控系统包括具有不同级别的多个监控子系统,每个所述监控子系统包括数据处理设备,所述第一数据处理设备为所述多个监控子系统中非最高级监控子系统中的数据处理设备,第二数据处理设备所处的监控子系统的级别高于所述第一数据处理设备所处的监控子系统的级别,所述设备包括:
获取模块,用于获取监控数据;
缓存模块,用于对获取的监控数据进行缓存;
第一发送模块,用于将缓存后的所述监控数据实时分发至多个所述第二数据处理设备。
第三方面,提供了一种监控系统,所述监控系统包括具有不同级别的多个监控子系统,每个所述监控子系统包括数据处理设备,其中,每个非最高级数据处理设备包括第二方面任一所述的第一数据处理设备。
第四方面,提供了一种计算机设备,包括:
处理器;
用于存储所述处理器的可执行指令的存储器;
其中,所述处理器运行所述可执行指令时,能够执行第一方面任一所述的数据传输方法。
第五方面,提供了一种可读存储介质,所述可读存储介质中存储有指令,当所述指令在处理组件上运行时,使得处理组件执行如第一方面任一所述的数据传输方法。
本发明提供的技术方案可以包括以下有益效果:
本发明提供的数据传输方法、第一数据处理设备及监控系统,由于第一数据处理设备能够在获取到监控数据后对获取的监控数据进行缓存,并将缓存后的数据实时分发至多个所述第二数据处理设备,因此,第一数据处理设备所处的监控子系统可以向多个级别较高的第二数据处理设备所处的监控子系统实时传输数据,使得第一数据处理设备所处的监控子系统的数据在上报时无需经过入库和出库过程,且能够实现数据同时上报给多个上级数据处理设备,从而有效减小了不同级别监控子系统之间所传输的数据的时延,提高了不同级别监控子系统之间数据获取的时效性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本发明。
附图说明
为了更清楚地说明本发明的实施例,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是相关技术提供的一种监控系统的结构示意图。
图2是本发明实施例提供的一种监控系统的结构示意图。
图3是本发明实施例提供的一种数据传输方法的流程图。
图4是本发明实施例提供的另一种数据传输方法的流程图。
图5是本发明实施例提供的再一种数据传输方法的流程图。
图6是本发明实施例提供的又一种数据传输方法的流程图。
图7是本发明实施例提供的一种第一数据处理设备的框图。
图8是本发明实施例提供的一种第一发送模块的框图。
图9是本发明实施例提供的另一种第一发送模块的框图。
图10是本发明实施例提供的再一种第一发送模块的框图。
图11是本发明实施例提供的另一种第一数据处理设备的框图。
图12是本发明实施例提供的再一种第一数据处理设备的框图。
图13是本发明实施例提供的一种计算机设备的结构示意图。
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部份实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
目前的监控系统通常包括多级监控子系统,上级监控子系统具有获取其对应的下级监控子系统的数据的权限。示例的,请参考图1,图1为相关技术提供的一种监控系统的结构示意图,图1以该监控系统包括两级监控子系统为例进行说明。该监控系统包括一个下级监控子系统10和与该下级监控子系统10对应的上级监控子系统11,下级监控子系统10包括数据分析设备101、大数据中心102和覆盖一定区域的数据获取设备103,上级监控子系统11包括数据分析设备111、大数据中心112和覆盖一定区域的数据获取设备113,下级监控子系统10的大数据中心102与上级监控子系统11的大数据中心112级联。该数据获取设备用于获取数据,该数据分析设备用于对数据获取设备获取到的数据进行分析处理,并将分析处理后的数据存入大数据中心的数据库(该过程称为入库过程),该大数据中心用于将数据库中的数据提取(该过程称为出库过程)并向上级监控子系统发送该数据。
在下级监控子系统10中,数据获取设备103在获取数据后,将数据发送至数据分析设备101,数据分析设备101对接收的数据进行分析,并将分析后的数据入库。当上级监控子系统11需要获取下级监控子系统10的数据时,下级监控子系统10的大数据中心102将数据出库并传输至上级监控子系统11的大数据中心112,上级监控子系统11的大数据中心112将数据入库,上级监控子系统11可以通过本地用户设备从数据库中读取数据。但是由于下级监控子系统10在向上级监控子系统11传输数据时,下级监控子系统10的数据需要经过入库和出库过程,导致大数据中心之间所传输的数据存在较长的时延,从而影响不同级别监控子系统之间数据获取的时效性。
本发明实施例提供了一种数据传输方法、第一数据处理设备及监控系统,下级监控子系统获取的数据能够被实时发送至上级监控子系统。请参考图2,图2为本发明实施例提供的一种监控系统的结构示意图,该监控系统包括具有不同级别的多个监控子系统,每个监控子系统包括一个或多个数据处理设备,每个监控子系统中的数据处理设备的级别与该监控子系统的级别一致,该数据处理设备可以为单个服务器或者多个服务器组成的服务器集群。
在本发明实施例中,该多个监控子系统的级别的配置方式有多种,在一种可实现方式中,可以按照行政区域划分情况来配置监控子系统的级别,例如,假设该监控系统部署在上海市,则该监控系统包括上海市监控子系统、长宁区监控子系统和静安区监控子系统等多个子系统,由于上海市的行政区域级别高于长宁区和静安区,而长宁区和静安区行政区域级别相同,因此,上海市监控子系统的级别高于长宁区监控子系统和静安区监控子系统,长宁区监控子系统和静安区监控子系统的级别相等。
在另一种可实现方式中,可以按照数据获取权限的高低配置该监控子系统的级别,例如,假设该监控系统包括第一监控子系统和第二监控子系统,按照约定该第一监控子系统需要将其获取的数据传输至第二监控子系统,即第二监控子系统的数据获取权限高于第一监控子系统的数据获取权限,则可以配置该第二监控子系统的级别高于第一监控子系统,也即是第一监控子系统为第二监控子系统的下级监控子系统。
需要说明的是,上述多个监控子系统的级别的配置过程可以由监控系统的指定设备执行,例如单独设置的管理设备,或者在各个数据处理设备中选举得到的设备。进一步的,各个监控子系统的级别还可以根据其他方式配置,例如采用约定的级别配置,或者基于级别对照表查询得到,该级别对照表记录了监控子系统中的系统标识与级别的对应关系。本发明实施例对配置该监控子系统的级别的方式不做限定。在一个监控系统中,对于具体的应用场景,各个监控子系统的级别可能变化。
图2假设该监控系统包括三个监控子系统,该三个监控子系统包括第一监控子系统20和两个第二监控子系统,该两个第二监控子系统包括第二监控子系统21和第二监控子系统22,第二监控子系统21和第二监控子系统22的级别均高于第一监控子系统20的级别。该第一监控子系统20包括第一数据处理设备201,第二监控子系统21包括第二数据处理设备211,第二监控子系统22包括第二数据处理设备221。相应的,第二数据处理设备211和第二数据处理设备221的级别均高于第一数据处理设备201的级别。
示例的,每个监控子系统包括:与该监控子系统中的数据处理设备对应的数据库以及与该监控子系统中的数据处理设备建立有通信连接的数据获取设备,该数据获取设备用于获取数据,该数据库用于存储数据获取设备获取的数据,例如该数据库为大数据中心的数据库。
如图2所示,第一监控子系统20包括与第一数据处理设备201对应的数据库202以及与第一数据处理设备201建立有通信连接的数据获取设备203;第二监控子系统21包括与第二数据处理设备211对应的数据库212以及与第二数据处理设备211建立有通信连接的数据获取设备213;第二监控子系统22包括与第二数据处理设备221对应的数据库222以及与第二数据处理设备221建立有通信连接的数据获取设备223。
示例的,该监控系统还包括数据分析设备,该数据分析设备与对应的数据处理设备建立有通信连接,该数据分析设备用于对数据处理设备传输的数据进行分析处理,并将处理后的数据传输至数据处理设备以供数据处理设备进行传输,该数据分析设备与对应的数据库也建立有通信连接,该数据分析设备还用于将分析处理后的数据传输至数据库,以供数据库进行存储。
该数据分析设备可以对监控系统中的一个或多个数据处理设备传输的数据进行分析。在第一种可实现方式中,该监控系统包括与多个数据处理设备一一对应的多个数据分析设备,每个数据分析设备与对应的数据处理设备建立有通信连接。
在第二种可实现方式中,该监控系统包括与多级数据处理设备一一对应的多个数据分析设备,每个数据分析设备与对应的数据处理设备建立有通信连接。
在第三种可实现方式中,该监控系统还包括:一个数据分析设备,多级数据处理设备与数据分析设备建立有通信连接。
图2以该第一种可实现方式为例进行说明,则第一监控子系统20包括与第一数据处理设备201对应的数据分析设备204;第二监控子系统21包括与第二数据处理设备211对应的数据分析设备214;第二监控子系统22包括与第二数据处理设备221对应的数据分析设备224。
示例的,该监控系统还包括:云存储中心23,该云存储中心23用于存储数据获取设备发送的原始监测数据,并向数据获取设备发送原始监测数据对应的统一定位符(UniformResource Locator,URL)。该URL表示原始监测数据在云存储中心的地址,通过该URL可以从云存储中心中获取到该URL对应的原始监测数据。
需要说明的是,本申请实施例中的监控系统支持第三方设备接入,该监控系统中的至少一个设备为第三方设备,这样可以实现监控系统对第三方设备的兼容,保证监控系统的通用性。示例的,监控系统中与数据获取设备和/或数据分析设备连接的设备具有支持第三方设备接入的接口,从而支持该监控系统中的数据获取设备和/或数据分析设备为第三方设备。例如,该监控系统中的数据获取设备不仅可以包括监控系统所自带的具有数据获取功能的边缘设备,还可以包括具有数据获取功能的第三方边缘设备。该监控系统中的数据分析设备不仅可以包括监控系统所自带的具有数据分析功能的服务器,还可以包括具有数据分析功能的第三方服务器。只要能够实现每个设备相应的功能即可,本发明实施例对此不做限定。
在本发明实施例中,上述通信连接可以是无线网络连接和有线网络连接的至少一种。其中,有线网络连接例如可以为采用双绞线、同轴电缆、光纤、网线或者数据线(如USB、IEEE1394、串口或并口等)等方式进行的通信连接,无线网络连接例如可以为采用3G/4G/5G移动通信网络、蓝牙、Zigbee或者无线保真(Wireless Fidelity,WIFI)等方式进行的通信连接。
本发明实施例中,监控系统可以是多种类型的监控系统,例如其可以为交通监控系统、地理监控系统或安防监控系统等。当该监控系统为安防监控系统时,上述数据获取设备可以为摄像机,该摄像机可以有多种结构,其可以为拍摄角度固定的摄像机,如枪机;也可以为拍摄角度可调的摄像机(即可旋转的摄像机),例如云台摄像机或者高速球摄像机(简称球机);该摄像机也可以支持多种传输方式,例如其可以为网络监控摄像机(InternetProtocol Camera,IPC),该摄像机可以采集视频或图像。摄像机获取的原始监测数据可以为图片数据或者视频数据。
本发明实施例提供了一种数据传输方法,该方法可以应用于监控系统的第一数据处理设备,例如,该监控系统可以为图2所示的监控系统,其可以为安防监控系统。该监控系统包括具有不同级别的多个监控子系统,每个监控子系统包括数据处理设备,该第一数据处理设备为多个监控子系统中非最高级监控子系统中的数据处理设备,也即是该数据处理设备对应的监控子系统存在上级监控子系统,假设第二数据处理设备所处的监控子系统的级别高于所述第一数据处理设备所处的监控子系统的级别,则请参考图3,图3为本发明实施例提供的一种数据传输方法的流程图,该方法包括:
步骤301、获取监控数据。
步骤302、对获取的监控数据进行缓存。
步骤303、将缓存后的监控数据实时分发至多个第二数据处理设备。
综上所述,本发明实施例提供的数据传输方法,由于第一数据处理设备能够在获取到监控数据后对获取的监控数据进行缓存,并将缓存后的数据实时分发至多个第二数据处理设备,因此,第一数据处理设备所处的监控子系统可以向多个级别较高的第二数据处理设备所处的监控子系统实时传输数据,使得第一数据处理设备所处的监控子系统的数据在上报时无需经过入库和出库过程,且能够实现数据同时上报给多个上级数据处理设备,从而有效减小了不同级别监控子系统之间所传输的数据的时延,提高了不同级别监控子系统之间数据获取的时效性。
本发明实施例提供了一种数据传输方法,该方法可以应用于监控系统的第一数据处理设备,例如,该监控系统可以为图2所示的监控系统,该监控系统包括具有不同级别的多个监控子系统,每个监控子系统包括数据处理设备,该第一数据处理设备为多个监控子系统中的非最高级监控子系统中的数据处理设备,在本发明实施例中,第一数据处理设备所获取的监控数据的类型不同,其数据传输过程不同,因此,本发明实施例以以下三种监控数据的类型为例,对该数据传输方法进行说明。
在第一种可实现方式中,该监控系统还包括:数据分析设备,以及与第一数据处理设备建立有通信连接的数据获取设备,该第一数据处理设备能够对其连接的数据获取设备进行管理,该监控数据为数据分析设备对数据获取设备获取的数据进行分析处理后得到的数据。
则请参考图4,图4为本发明实施例提供的另一种数据传输方法的流程图,该方法包括:
步骤401、数据获取设备向第一数据处理设备发送原始数据。
示例的,该数据获取设备可以为覆盖一定区域的边缘设备,例如,该数据获取设备可以为智能抓拍设备、视频监控摄像机、人证设备、门禁设备、消防烟感探测器和/或WIFI探针等。在一种可实现方式中,该数据获取设备为监控系统自带的具有数据获取功能的终端设备,例如,其可以为监控系统自带的视频监控摄像机;在另一种可实现方式中,该数据获取设备为具有数据获取功能的第三方终端设备,例如,其可以为第三方提供的WIFI探针。
其中,数据获取设备获取的数据包括原始监测数据和标签数据。
原始监测数据是数据获取设备直接获取的数据,每个数据获取设备可以获取至少一种类型的原始监测数据,不同类型的数据获取设备所获取的原始监测数据类型通常不同。例如,视频监控摄像机可以获取视频数据,消防烟感探测器可以获取传感器数据等,则根据不同类型的数据获取设备可以获取到视频数据、点位数据、传感器数据、地理数据和/或事件数据等。
该标签数据用于标识原始监测数据。例如,标签数据包括原始监测数据所对应的目标物的属性参数,该属性参数用于反映目标物自身的属性。该标签数据由数据获取设备对原始监测数据分析得到,若数据获取设备的分析功能较为强大,标签数据中包含的属性参数的种类较多。通常,由于数据获取设备主要功能为数据获取,其分析功能相对弱小,因此获取的标签数据中的内容较少。例如,当原始监测数据对应的目标物为车辆时,该标签数据包括车型、车辆品牌和车辆颜色等一种或者多种属性参数。
本发明实施例中,标签数据可以有多种形式,在一种可选实现方式中,标签数据为结构化数据,结构化数据指的是由二维表结构来逻辑表达和实现的数据。当标签数据为结构化数据时,前述目标物的属性参数可以以二维表的形式顺序排列。
如图2所示,该监控系统还包括云存储中心,数据获取设备可以将原始监测数据传输至云存储中心以对原始监测数据进行存储,云存储中心在存储原始监测数据后,向数据获取设备发送URL,该URL用于指示原始监测数据的存储位置。数据获取设备接收到云存储中心发送的URL后,将URL与标签数据作为原始数据发送至第一数据处理设备。这样第一数据处理设备可以基于该URL获取原始监测数据。
由于在数据传输过程中,若数据获取设备直接向第一数据处理设备传输原始监测数据,需要占用较大的网络带宽,导致传输时延较长,而采用前述传输URL的方式,可以在保证第一数据处理设备获取原始监测数据的基础上,降低网络带宽,减小通信开销。
步骤402、第一数据处理设备将原始数据发送至数据分析设备。
如步骤401所述,不同数据获取设备获取的原始监测数据的类型可能不同,不同类型的原始监测数据需要进行不同方式的分析。在一种实现方式中,数据分析设备包括多种数据分析功能,每种数据分析功能对应分析一种类型的数据,第一数据处理设备在接收到数据获取设备发送的原始数据后,可以直接将该原始数据发送至数据分析设备,由数据分析设备采用对应的分析功能来进行分析;在另一种实现方式中,数据分析设备可以包括多个子分析设备,每个子分析设备用于分析一种类型的数据,第一数据处理设备基于原始数据中原始监测数据的类型,将该原始数据发送至用于分析该类型的数据的子分析设备。
步骤403、数据分析设备对原始数据进行分析,得到监控数据。
数据分析设备获取原始数据后,可以基于URL下载原始监测数据,对原始监测数据进行分析,得到目标物的属性参数,并将分析得到的目标物的属性参数添加在标签数据中,得到更新后的标签数据。
对于不同类型的数据,数据分析设备采用不同的分析方式进行分析。例如,原始监测数据为视频数据或图片数据,数据分析设备可以基于目标物检测算法对原始监测数据进行分析,该目标物包括人脸、车辆或动物等。又例如,原始监测数据为点位数据、传感器数据、地理数据或事件数据,数据分析设备可以通过统计学算法(如建立直方图)来对原始监测数据进行分析。本发明实施例在实际实现时,数据分析设备可以基于预先设置的分析规则建立分析模型,将原始监测数据输入该分析模型即可输出相应的属性参数。
示例的,假设原始监测数据为图片数据,目标物为人脸,目标物检测算法为人脸识别算法,数据分析设备建立有卷积神经网络(convolutional neural network,CNN),则将图片数据输入该CNN,得到相应的属性参数,该属性参数可以为特征值,该特征值可以为一维数组或者向量,该属性参数还可以为人脸属性信息,如姓名、年龄或性别等。
更新后的标签数据相较于步骤401数据处理设备所确定的标签数据更为精确。例如,假设原始监测数据为视频数据,数据处理设备基于该视频数据所确定的标签数据包括车型、车辆品牌和车辆颜色等属性参数。该数据分析设备需要分析的目标物的属性参数包括车牌号和车辆的来源,则数据分析设备基于该视频数据通过车辆检测算法检测得到车辆的车牌号为“粤A xxxxx”,进一步通过查询车牌号与车辆来源的对应关系,确定该车辆的来源为广东省广州市。将获取的属性参数添加在标签数据中,得到更新后的标签数据包括该车辆的车型、车辆品牌、车辆颜色以及车牌号等数据。
步骤404、数据分析设备向第一数据处理设备发送监控数据。
数据分析设备在接收到监控数据后,将该监控数据发送至第一数据处理设备。
步骤405、第一数据处理设备对获取的监控数据进行缓存。
第一数据处理设备在接收监控数据之后,可以将该监控数据进行缓存。示例的,第一数据处理设备可以通过缓存模块实现对监控数据的缓存,该缓存模块可以采用通用缓存技术以实现对监控数据的高速缓存,且能够避免数据的重复创建,从而提高监控数据传输的实时性。
需要说明的是,该缓存模块为缓存的监控数据设置有生命周期,当该监控数据的生命周期结束时,缓存模块能够对该监控数据进行注销,以减小对缓存模块空间资源的浪费。示例的,该缓存模块可以采用Memcached或者Redis等通用缓存技术实现对监控数据的缓存,其中,Memcached指的是通过分布式的高速缓存系统进行数据缓存的技术,Redis指的是通过高性能的key-value(键-值)数据库进行数据缓存的技术。进一步的,该缓存模块可以为kafka(卡夫卡)模块,kafka模块的缓存数据量较大,且能够实现对监控数据的稳定存储。
步骤406、第一数据处理设备将缓存后的监控数据实时分发至多个第二数据处理设备(为了便于观看,图4中仅绘制了多个第二数据处理设备中的一个数据处理设备)。
由前述步骤401至步骤403可知,监控数据包括URL和标签数据,例如该标签数据为结构化数据。在本发明实施例中,为了保证监控数据在监控子系统之间传输的通用性,实现传输方式上的兼容,该监控数据在不同监控子系统之间传输的格式通常是统一的。
第一数据处理设备可以先基于缓存后的监控数据,获取第二数据处理设备所支持格式的监控数据,该监控数据为符合第二数据处理设备所支持的通用传输协议的通用传输协议数据,然后将该监控数据实时传输至第二数据处理设备,这样可以保证第一数据处理设备和第二数据处理设备之间的数据的有效传输。该通用传输协议可以是目前较为常用的传输协议,以保证对目前的传输协议的兼容,提高本发明实施例提供的监控系统的通用性。则该步骤406可以包括:
步骤X1、基于URL下载原始监测数据。
示例的,由前述描述可知,该URL表示原始监测数据在云存储中心的地址,则第一数据处理设备在将监控数据发送至第二数据处理设备时,可以先基于监控数据中的URL从云存储中心中下载相应的原始监测数据。
步骤X2、将标签数据和原始监测数据进行协议转换处理,得到通用传输协议数据。该通用传输协议数据包括转换后的标签数据和转换后的原始检测数据。
第一数据处理设备获取的标签数据和原始监测数据由于之前都是在第一数据处理设备所在的监控子系统中传输的,因此可能是私有传输协议数据。后续过程需要将标签数据和原始监测数据传输至第二数据处理设备,该过程需要进行跨系统传输,为了提高数据传输的通用性,保证两个不同级别的子系统中数据的兼容,两个不同级别的子系统之间可以采用通用传输协议进行数据传输。而私有传输协议和通用传输协议不同,例如:该私有传输协议的数据格式可能与通用传输协议规定的数据格式不同,和/或,私有传输协议的数据内容相比于通用传输协议所规定的数据内容缺少了部分信息。因此需要将私有传输协议数据转换为通用传输协议数据。
示例的,原始监测数据可以包括图像数据,在私有传输协议中,图像数据的格式为图片格式,而通用传输协议中,图像数据的格式为base64格式,因此需要将原始监测数据的图像数据转换成base64格式的数据。标签数据可以包括性别标识数据,该性别标识数据用于表示人的性别。在私有传输协议中,通过“0”和“1”等二进制格式表示人的性别,而通用传输协议中,通过“男”和“女”等文本格式表示人的性别,因此需要将标签数据的性别标识数据转换成文本格式的数据。
又一示例的,私有传输协议的数据内容相比于通用传输协议所规定的数据内容缺少了卡口身份标识(Identity,ID)或者点位信息,因此,需要在标签数据中添加卡口ID或者点位信息以得到转换后的标签数据。
需要说明的是,第一数据处理设备所处的监控子系统中还可以包括监控平台,该监控平台用于对该监控子系统中的各个设备进行管理。可选的,该监控平台配置有存储模块,该存储模块用于对该监控子系统中的各个设备运行过程中所需的数据进行存储,则第一数据处理设备在进行上述协议转换处理过程时,可以在该监控平台获取相关数据。如前述示例,第一数据处理设备可以在监控平台获取卡口ID或者点位信息,并将获取的数据与标签数据进行拼接以得到转换后的标签数据。
在将原始监测数据的格式和标签数据的格式转换为通用传输协议所规定的数据格式,和/或,添加标签数据中缺少的信息后,将转换后的标签数据和转换后的原始监测数据进行拼接,组成通用传输协议数据。示例的,该转换后的标签数据和对应的转换后的原始监测数据具有相同的ID编号,因此,可以通过ID编号将转换后的标签数据和其对应的转换后的原始监测数据进行拼接以得到通用传输协议数据。
示例的,该监控系统可以为安防监控系统,相应的,该通用传输协议可以为1400协议。
需要说明的是,在将标签数据和原始监测数据进行协议转换处理之前,可以对标签数据和/或原始监测数据进行预处理,在将标签数据和原始监测数据进行拼接时,将预处理后的数据进行拼接。
在一种可实现方式中,在步骤X2之前,可以对缓存后的标签数据进行第一预处理,得到第一预处理后的标签数据,该第一预处理包括数据类型转换处理、编目处理和去重处理中的至少一种。相应的,在执行步骤X2时,将第一预处理后的标签数据和原始监测数据进行协议转换处理,得到通用传输协议数据。
其中,数据类型转换处理指的是将数据从一种表示形式转换为另一种表现形式,当标签数据的数据量不断增加时,可以转化标签数据的数据类型以使标签数据满足实际需求。编目处理指的是按照一定的标准和规则将标签数据进行切分、归类、著录以及标引,并注录文字信息对标签数据进行概括,提取关键词,以便能够快速准确的检索到所需的标签数据。去重处理指的是去除标签数据中重复的数据,以避免对重复的标签数据进行传输,提高数据传输效率,且能够减小存储重复的数据所导致的资源浪费。
在另一种可实现方式中,在步骤X2之前,可以对原始监测数据进行第二预处理,得到第二预处理后的原始监测数据。该第二预处理包括以下处理的至少一种:当原始监测数据中存在无效数据,删除无效数据;当原始监测数据中存在无法解析的数据,重新基于URL下载原始监测数据。相应的,在执行步骤X2时,将标签数据和第二预处理后的原始监测数据进行协议转换处理,得到通用传输协议数据。
其中,无效数据指的是错误的数据或者损坏的数据,当原始监测数据中存在无效数据,将无效数据删除,以保证原始监测数据的可靠性。当所下载的原始监测数据无法解析时,可以重新基于URL下载原始监测数据,以保证原始监测数据的准确性。
在又一种可实现方式中,在步骤X2之前,可以对缓存后的标签数据进行前述第一预处理,得到第一预处理后的标签数据,对原始监测数据进行前述第二预处理,得到第二预处理后的原始监测数据。相应的,在执行步骤X2时,将第一预处理后的标签数据和第二预处理后的原始监测数据进行协议转换处理,得到通用传输协议数据。
步骤X3、将通用传输协议数据实时分发至多个第二数据处理设备。
示例的,当通用传输协议为1400协议时,第一数据处理设备将符合1400协议的监控数据实时分发至多个第二数据处理设备。
示例的,第一数据处理设备可以在第二数据处理设备的触发下向多个第二数据处理设备发送监控数据,第一数据处理设备在接收到第二数据处理设备发送的数据实时上传请求后,将缓存后的监控数据实时分发至多个第二数据处理设备。
需要说明的是,该第一数据处理设备可以预先获取第二数据处理设备的IP地址和数据接收端口,在需要向第二数据处理设备发送数据时,第一数据处理设备直接基于该IP地址和数据接收端口,向第二数据处理设备实时发送通用传输协议数据。示例的,第二数据处理设备发送至第一数据处理设备的实时上传请求中可以包括第二数据处理设备对应的IP地址和数据接收端口,第一数据处理设备基于该实时上传请求获取该IP地址和数据接收端口。
在本发明实施例中,第一数据处理设备在接收到多个第二数据处理设备对应的多个IP地址以及对应的端口后,可以同时将缓存后的数据实时发送至多个第二数据处理设备。
第二数据处理设备在接收到该监控数据后,可以对该监控数据进行处理,使得第二数据处理设备所处的监控子系统的本地用户设备能够对监控数据进行读取和管理,在步骤406之后,该方法还包括:
步骤407、第二数据处理设备对接收到的监控数据进行管理。
示例的,如图2所示,该监控系统还可以包括:与每个数据处理设备对应的数据库,在一种可实现方式中,第二数据处理设备可以将接收到的监控数据中的URL以及标签数据存入数据库中;在另一种可实现方式中,由于URL的数据量小于标签数据,因此,第二数据处理设备可以将数据量较小的URL存储在第二数据处理设备中的缓存模块中,将数据量较大的标签数据存入数据库中。第二数据处理设备所处的监控子系统的本地用户设备可以通过URL从云存储中心下载URL对应的原始监测数据,以及对监控数据进行管理。该本地用户设备可以为第二数据处理设备所处的监控子平台中用户操作的终端、平板电脑或者智能手机等具有显示屏的设备,该本地用户设备可以通过一个用户界面(User Interface,UI)来呈现监控数据。
需要说明的是,请参考步骤405,由于缓存模块的实现方式有多种,因此对于不同的实现方式的缓存模块,第一数据处理设备向第二数据处理设备发送监控数据的方式也不同。示例的,一些缓存模块是以缓存队列的方式存储数据的,采用缓存队列可以实现数据的快速有序地记录,则对于该类型的缓存模块,在前述步骤405中,第一数据处理设备是以缓存队列的方式记录监控数据的,也即是将获取的监控数据记录在缓存队列中,从而实现对此类型的缓存模块的兼容。相应的,在获取缓存的监控数据时,可以从缓存队列中抽取监控数据,其中,第一数据处理设备可以采用通用数据抽取技术从缓存队列中抽取监控数据,该通用数据抽取技术可以为:Import.io、Parsehub或者数据仓库技术(Extract-Transform-Load,ETL)。进一步的,在这种场景下,第一数据处理设备可以记录每次抽取的监控数据的信息,当实时分发至多个第二数据处理设备的监控数据中出现异常传输数据时,第一数据处理设备可以基于记录的信息对异常传输数据进行重传。从而保证该异常传输数据被正常发送至第二数据处理设备,减少第一数据处理设备与第二数据处理设备之间所传输数据的丢失。
可选的,第一数据处理设备可以先向第二数据处理设备实时发送当前时刻的监控数据,等到空闲时刻,再基于记录的信息对异常传输数据进行重传。
示例的,在上述步骤403之后,数据分析设备还可以将监控数据发送至与第一数据处理设备对应的数据库,数据库存储该监控数据,第一数据处理设备所处的第一监控子系统的本地用户设备从数据库中读取监控数据以及对数据库中的监控数据进行管理,则该方法还包括:
步骤408、数据分析设备将监控数据发送至第一数据库。
该第一数据库为第一数据处理设备对应的数据库。
步骤409、第一数据库存储接收到的监控数据。
值得说明的是,各个第二数据处理设备还可以根据自身需要查询第一数据处理设备中存储的历史监控数据,本申请实施例以一个第二数据处理设备,以以下步骤410至412对该查询过程进行说明:
步骤410、第二数据处理设备向第一数据处理设备发送历史数据查询指令。
该历史数据查询指令用于指示第二数据处理设备需要第一数据处理设备上传历史监控数据。示例的,该历史数据查询指令可以包括用于指示历史监控数据的时间期限,例如,其可以为2019年1月1日至2019年1月9日,表示第二数据处理设备需要第一数据处理设备将2019年1月1日至2019年1月9日之间的历史监控数据上传。
步骤411、第一数据处理设备基于历史数据查询指令,从第一数据库中获取历史数据查询指令对应的历史监控数据。
示例的,第一数据处理设备在接收到历史数据查询指令后,可以基于历史数据查询指令从第一数据库中获取该历史数据查询指令对应的历史监控数据。例如,第一数据处理设备在接收到2019年1月1日至2019年1月9日的指令后,从第一数据库中获取2019年1月1日至2019年1月9日之间的监控数据。
步骤412、第一数据处理设备将获取的历史监控数据发送至第二数据处理设备。
第一数据处理设备在获取到历史监控数据后,可以将历史监控数据发送至第二数据处理设备,这样,第一数据处理设备不仅可以实时向第二数据处理设备发送监控数据,还可以支持历史监控数据查询功能,将第二数据处理设备所需的历史监控数据传输至第二数据处理设备,从而丰富了第一数据处理设备的功能。
在前述第一种可实现方式中,第一数据处理设备可以将数据分析设备分析后的监控数据传输至多个第二数据处理设备,使得第二数据处理设备无需再对该监控数据进行分析即可利用该监控数据,从而使得相同的数据仅需进行一次分析即可实现多次利用,节约了第二数据处理设备的分析资源。
在第二种可实现方式中,该监控系统还包括:与第一数据处理设备建立有通信连接的数据获取设备,该第一数据处理设备能够对其连接的数据获取设备进行管理,该监控数据为数据获取设备获取的原始数据,则请参考图5,图5为本发明实施例提供的再一种数据传输方法的流程图,该方法包括:
步骤501、数据获取设备向第一数据处理设备发送原始数据。
该步骤501的实施过程可以参考上述步骤401,本发明实施例在此不做赘述。
步骤502、第一数据处理设备将原始数据作为监控数据。
第一数据处理设备接收到数据获取设备发送的原始数据之后,即将该原始数据确定为监控数据。请参考上述步骤401,原始数据包括标签数据和原始监测数据对应的URL,则第一数据处理设备将URL和标签数据作为监控数据。
步骤503、第一数据处理设备对获取的监控数据进行缓存。
步骤504、第一数据处理设备将缓存后的监控数据实时分发至多个所述第二数据处理设备(为了便于观看,图5中仅绘制了多个第二数据处理设备中的一个数据处理设备)。
步骤505、第二数据处理设备对接收到的监控数据进行管理。
示例的,该步骤503至步骤505的实施过程可以参考上述步骤405至步骤407,本发明实施例在此不做赘述。
在前述第二种实现方式中,第一数据处理设备直接将数据获取设备获取的原始数据作为监控数据传输至第二数据处理设备,无需进行数据分析,因此减少了数据分析所造成的传输时延,保证第二数据处理设备能够及时获取该监控数据,从而提高了不同级别监控子系统之间数据获取的时效性。
在第三种可实现方式中,当第一数据处理设备所处的监控子系统为监控系统中非最低级的监控子系统时,监控数据可以为级别低于第一数据处理设备所处的监控子系统的监控子系统的数据处理设备发送的数据,则请参考图6,图6为本发明实施例提供的又一种数据传输方法的流程图,假设第一数据处理设备所处的监控子系统的级别高于第三数据处理设备所处的监控子系统的级别,则该方法包括:
步骤601、第三数据处理设备向第一数据处理设备发送监控数据。
在一种可实现方式中,第三数据处理设备可以实时向第一数据处理设备发送监控数据。则示例的,第三数据处理设备可以在第一数据处理设备的触发下向第一数据处理设备发送监控数据,第一数据处理设备可以向第三数据处理设备发送数据实时上传请求,第三数据处理设备在接收到该数据实时上传请求后,将缓存后的监控数据实时发送至第一数据处理设备;在另一种可实现方式中,第三数据处理设备可以将历史监控数据发送至第一数据处理设备。则示例的,第一数据处理设备向第三数据处理设备发送历史数据查询指令,第三数据处理设备基于历史数据查询指令,从其对应的数据库中获取历史数据查询指令对应的历史监控数据后,将获取的历史监控数据发送至第一数据处理设备。
步骤602、第一数据处理设备对获取的监控数据进行缓存。
第一数据处理设备在接收监控数据之后,可以将该监控数据进行缓存。该步骤602的实施过程可以参考前述步骤405,本发明实施例在此不做赘述。
步骤603、第一数据处理设备将缓存后的监控数据实时分发至多个所述第二数据处理设备(为了便于观看,图6中仅绘制了多个第二数据处理设备中的一个数据处理设备)。
步骤604、第二数据处理设备对接收到的监控数据进行管理。
示例的,该步骤603和步骤604的实施过程可以参考前述步骤406和步骤407,本发明实施例在此不做赘述。
值得说明的是,上述三种可实现方式可以基于具体场景进行组合,例如在第一段时间内,第二数据处理设备所需获取的监控数据为数据分析设备对数据获取设备获取的数据进行分析处理后得到的数据,在第二段时间内,第二数据处理设备所需获取的监控数据为数据获取设备获取的原始数据,在第三段时间内,第二数据处理设备所需获取的监控数据为级别低于第一数据处理设备的数据处理设备发送的数据。则在前述第一段时间内,监控系统执行第一种可实现方式对应的方法,在前述第二段时间内,监控系统执行第二种可实现方式对应的方法,在前述第三段时间内,监控系统执行第三种可实现方式对应的方法。
或者,第二数据处理设备需要同时获取数据分析设备对数据获取设备获取的数据进行分析处理后得到的数据、数据获取设备获取的原始数据以及级别低于第一数据处理设备的数据处理设备发送的数据,则监控系统同时执行第一种可实现方式对应的方法、第二种可实现方式对应的方法以及第三种可实现方式对应的方法。
需要说明的是,在一些场景下,需要保证下级监控子系统将获取的所有数据均上传至上级监控子系统,例如,当按照行政区域划分情况来配置监控子系统的级别时,上级监控子系统要求下级监控子系统将下级监控子系统的所有数据上传。但是传统的监控系统中,由于下级监控子系统的数据需要入库,则数据库中的数据就有被据为私有的可能性,无法保证上级监控子系统完全获取下级监控子系统的数据。本发明实施例提供的数据传输方法,由于第一数据处理设备在获取到监控数据后对获取的监控数据进行缓存,并将缓存后的数据实时分发至多个第二数据处理设备,因此,第一数据处理设备所处的监控子系统可以向第二数据处理设备所处的监控子系统实时传输数据,使得第一数据处理设备所处的监控子系统的数据可以无需经过入库和出库过程,从而避免了第一数据处理设备所处的监控子系统将数据作为私有数据的情况,保证上级监控子系统能够完全获取下级监控子系统的数据。
综上所述,本发明实施例提供的数据传输方法,由于第一数据处理设备能够在获取到监控数据后对获取的监控数据进行缓存,并将缓存后的数据实时分发至多个所述第二数据处理设备,因此,第一数据处理设备所处的监控子系统可以向多个级别较高的第二数据处理设备所处的监控子系统实时传输数据,使得第一数据处理设备所处的监控子系统的数据在上报时无需经过入库和出库过程,从而有效减小了不同级别监控子系统之间所传输的数据的时延,且能够实现数据同时上报给多个上级数据处理设备,提高了不同级别监控子系统之间数据获取的时效性,且避免了第一数据处理设备所处的监控子系统将数据作为私有数据的情况。进一步的,第一数据处理设备在接收到第二数据处理设备发送的历史数据查询指令后,能够基于该历史数据查询指令向第二数据处理设备发送历史数据,丰富了第一数据处理设备的功能。
本发明实施例提供了一种第一数据处理设备,该第一数据处理设备为监控系统中的设备,监控系统包括具有不同级别的多个监控子系统,每个监控子系统包括数据处理设备,第一数据处理设备为多个监控子系统中非最高级监控子系统中的数据处理设备,该监控系统包括多个第二数据处理设备,所述第二数据处理设备所处的监控子系统的级别高于所述第一数据处理设备所处的监控子系统的级别。则请参考图7,图7为本发明实施例提供的一种第一数据处理设备700的框图,该第一数据处理设备700包括:
获取模块701,用于获取监控数据。
缓存模块702,用于对获取的监控数据进行缓存。
第一发送模块703,用于将缓存后的监控数据实时分发至多个所述第二数据处理设备。
综上所述,本发明实施例提供的第一数据处理设备,由于第一数据处理设备能够通过缓存模块在获取模块获取到监控数据后对获取的监控数据进行缓存,并通过第一发送模块将缓存后的数据实时分发至多个所述第二数据处理设备,因此,第一数据处理设备所处的监控子系统可以向多个级别较高的第二数据处理设备所处的监控子系统实时传输数据,使得第一数据处理设备所处的监控子系统的数据在上报时无需经过入库和出库过程,且能够实现数据同时上报给多个上级数据处理设备,从而有效减小了不同级别监控子系统之间所传输的数据的时延,提高了不同级别监控子系统之间数据获取的时效性。
示例的,监控数据包括URL和标签数据,该标签数据用于标识URL对应的原始监测数据。则请参考图8,图8为本发明实施例提供的一种第一发送模块的框图,该第一发送模块703包括:
下载子模块7031,用于基于URL下载原始监测数据。示例的,该原始监测数据为视频数据、点位数据、传感器数据、地理数据和事件数据中的至少一种,该标签数据为结构化数据。
处理子模块7032,用于将标签数据和原始监测数据进行协议转换处理,得到通用传输协议数据。
发送子模块7033,用于将通用传输协议数据实时分发至多个所述第二数据处理设备。
可选的,请参考图9,图9为本发明实施例提供的另一种第一发送模块的框图,该第一发送模块703还包括:第一预处理子模块7034,用于在处理子模块7032将标签数据和原始监测数据进行协议转换处理,得到通用传输协议数据之前,对缓存后的标签数据进行第一预处理,得到第一预处理后的标签数据。该第一预处理包括数据类型转换处理、编目处理和去重处理中的至少一种。
相应的,处理子模块7032,用于:
将第一预处理后的标签数据和原始监测数据进行协议转换处理,得到通用传输协议数据。
可选的,请参考图10,图10为本发明实施例提供的再一种第一发送模块703的框图,第一发送模块703还包括:第二预处理子模块7035,用于在处理子模块7032将标签数据和原始监测数据进行协议转换处理,得到通用传输协议数据之前,对原始监测数据进行第二预处理,得到第二预处理后的原始监测数据。该第二预处理包括以下处理的至少一种:
当原始监测数据中存在无效数据,删除无效数据。
当原始监测数据中存在无法解析的数据,重新基于URL下载原始监测数据。
相应的,处理子模块7032,用于:将标签数据和第二预处理后的原始监测数据进行协议转换处理,得到通用传输协议数据。
示例的,该监控系统可以为安防监控系统,相应的,通用传输协议为1400协议。
示例的,上述缓存模块702,用于:将获取的监控数据记录在缓存队列中。
则第一发送模块703,用于:从缓存队列中抽取监控数据,并实时分发至多个第二数据处理设备。
示例的,请参考图11,图11为本发明实施例提供的另一种第一数据处理设备的框图,该第一数据处理设备700还包括:记录模块704,用于记录每次抽取的监控数据的信息。
重传模块705,用于当实时分发至多个第二数据处理设备的监控数据中出现异常传输数据时,基于记录的信息对异常传输数据进行重传。
示例的,监控系统还包括:数据分析设备,与第一数据处理设备建立有通信连接的数据获取设备。则获取模块701,用于:接收数据获取设备发送的原始数据;将原始数据发送至数据分析设备,数据分析设备用于对原始数据进行分析,得到监控数据;接收数据分析设备发送的监控数据。
示例的,每个监控子系统包括数据库,数据分析设备还用于将监控数据发送至第一数据库,以供第一数据库存储,第一数据库为第一数据处理设备所处的监控子系统中的数据库,则请参考图12,图12为本发明实施例提供的再一种第一数据处理设备的框图,该第一数据处理设备700还包括:
查询模块706,用于在接收到第二数据处理设备发送的历史数据查询指令后,从第一数据库中获取历史数据查询指令对应的历史监控数据。
第二发送模块707,用于将获取的历史监控数据发送至第二数据处理设备。
示例的,监控系统还包括与第一数据处理设备连接的数据获取设备,
则获取模块701,用于:接收数据获取设备发送的原始数据;将原始数据作为监控数据。
示例的,当第一数据处理设备所处的监控子系统为监控系统中非最低级的监控子系统时,获取模块701,用于:获取第三数据处理设备发送的监控数据。第一数据处理设备所处的监控子系统的级别高于第三数据处理设备所处的监控子系统的级别。
示例的,该第一发送模块703,用于:在接收到第二数据处理设备发送的数据实时上传请求后,将缓存后的监控数据实时分发至多个所述第二数据处理设备。
本发明实施例提供的第一数据处理设备可以为单个服务器或者多个服务器组成的服务器集群,相应的,该第一数据处理设备的各个模块可以部署在一个服务器上,也可以分布在不同的服务器上。示例的,当该第一数据处理设备为多个服务器组成的服务器集群时,则如图7所示,该第一数据处理设备700的获取模块701、缓存模块702和第一发送模块703可以分布在多个服务器上,例如,该第一数据处理设备可以包括部署有获取模块701的获取服务器,部署有缓存模块702的缓存服务器以及部署有第一发送模块703的发送服务器。
综上所述,本发明实施例提供的第一数据处理设备,由于第一数据处理设备能够通过缓存模块在获取模块获取到监控数据后对获取的监控数据进行缓存,并通过第一发送模块将缓存后的数据实时分发至多个所述第二数据处理设备,因此,第一数据处理设备所处的监控子系统可以向多个级别较高的第二数据处理设备所处的监控子系统实时传输数据,使得第一数据处理设备所处的监控子系统的数据在上报时无需经过入库和出库过程,且能够实现数据同时上报给多个上级数据处理设备,从而有效减小了不同级别监控子系统之间所传输的数据的时延,提高了不同级别监控子系统之间数据获取的时效性,且避免了第一数据处理设备所处的监控子系统将部分数据作为私有数据的情况。进一步的,第一数据处理设备能够通过查询模块接收到第二数据处理设备发送的历史数据查询指令后,且基于该历史数据查询指令向第二数据处理设备发送历史数据,丰富了第一数据处理设备的功能。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的第一数据处理设备的模块和子模块的具体工作过程,可以参考前述方法实施例中的对应过程,本发明实施例在此不再赘述。
本发明实施例提供了一种监控系统,该监控系统包括具有不同级别的多个监控子系统,每个监控子系统包括数据处理设备,每个监控子系统中的数据处理设备的级别与对应的监控子系统的级别一致,每个非最高级数据处理设备包括本发明实施例任一所述的第一数据处理设备,每个监控子系统包括数据处理设备均可以为单个服务器或者多个服务器组成的服务器集群。
示例的,该监控系统可以为图2所示的监控系统,图2假设该监控系统包括三个监控子系统,该三个监控子系统包括第一监控子系统20和两个第二监控子系统,该两个第二监控子系统包括第二监控子系统21和第二监控子系统22,第二监控子系统21和第二监控子系统22的级别均高于第一监控子系统20的级别。该第一监控子系统20包括第一数据处理设备201,第二监控子系统21包括第二数据处理设备211,第二监控子系统22包括第二数据处理设备221。相应的,第二数据处理设备211和第二数据处理设备221的级别均高于第一数据处理设备201的级别。
示例的,该监控系统还包括:与每个数据处理设备对应的数据库以及与每个数据处理设备建立有通信连接的数据获取设备。则如图2所示,每个监控子系统包括:与该监控子系统中的每个数据处理设备对应的数据库以及与该监控子系统中的数据处理设备建立有通信连接的数据获取设备,该数据获取设备用于获取数据,该数据库用于存储数据获取设备获取的数据,例如该数据库为大数据中心的数据库。
如图2所示,第一监控子系统20包括与第一数据处理设备201对应的数据库202以及与第一数据处理设备201建立有通信连接的数据获取设备203;第二监控子系统21包括与第二数据处理设备211对应的数据库212以及与第二数据处理设备211建立有通信连接的数据获取设备213;第二监控子系统22包括与第二数据处理设备221对应的数据库222以及与第二数据处理设备221建立有通信连接的数据获取设备223。
示例的,该监控系统还包括数据分析设备,该数据分析设备与对应的数据处理设备建立有通信连接,该数据分析设备用于对数据获取设备获取的数据进行分析处理,并将处理后的数据传输至数据处理设备以供数据处理设备进行传输,该数据分析设备与对应的数据库也建立有通信连接,该数据分析设备还用于将分析处理后的数据传输至数据库,以供数据库进行存储。
该数据分析设备可以对监控系统中的一个或多个数据处理设备获取的数据进行分析。在第一种可实现方式中,该监控系统包括与多个数据处理设备一一对应的多个数据分析设备,每个数据分析设备与对应的数据处理设备建立有通信连接。
在第二种可实现方式中,该监控系统包括与多级数据处理设备一一对应的多个数据分析设备,每个数据分析设备与对应的数据处理设备建立有通信连接。
在第三种可实现方式中,该监控系统还包括:一个数据分析设备,多个数据处理设备与数据分析设备建立有通信连接。
图2以该第一种可实现方式为例进行说明,则第一监控子系统20包括与第一数据处理设备201对应的数据分析设备204;第二监控子系统21包括与第二数据处理设备211对应的数据分析设备214;第二监控子系统22包括与第二数据处理设备221对应的数据分析设备224。
示例的,该监控系统还包括:云存储中心23,该云存储中心23用于存储数据获取设备发送的原始监测数据,并向数据获取设备发送原始监测数据对应的URL。该URL表示原始监测数据在云存储中心的地址,通过该URL可以从云存储中心中获取到该URL对应的原始监测数据。
综上所述,本发明实施例提供的监控系统,由于第一数据处理设备能够在获取到监控数据后对获取的监控数据进行缓存,并将缓存后的数据实时分发至多个所述第二数据处理设备,因此,第一数据处理设备所处的监控子系统可以向多个级别较高的第二数据处理设备所处的监控子系统实时传输数据,使得第一数据处理设备所处的监控子系统的数据在上报时无需经过入库和出库过程,且能够实现数据同时上报给多个上级数据处理设备,从而有效减小了不同级别监控子系统之间所传输的数据的时延,提高了不同级别监控子系统之间数据获取的时效性。
本发明实施例提供了一种计算机设备,包括:
处理器;用于存储所述处理器的可执行指令的存储器。其中,所述处理器运行所述可执行指令时,能够执行本发明实施例提供的任一数据传输方法。
图13是本发明一示意性实施例提供的一种计算机设备的结构示意图。该计算计算机设备可以为服务器或服务器集群。所述计算机设备1300包括中央处理单元(CPU)1301、随机存取存储器(RAM)1302和只读存储器(ROM)1303的系统存储器1304,以及连接系统存储器1304和中央处理单元1301的系统总线1305。所述计算机设备1300还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)1306,和用于存储操作系统1313、应用程序1314和其他程序模块1315的大容量存储设备1307。
所述基本输入/输出系统1306包括有用于显示信息的显示器1308和用于用户输入信息的诸如鼠标、键盘之类的输入设备1309。其中显示器1308和输入设备1309都通过连接到系统总线1305的输入输出控制器1310连接到中央处理单元1301。基本输入/输出系统1306还可以包括输入输出控制器1310以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地,输入输出控制器1310还提供输出到显示屏、打印机或其他类型的输出设备。
大容量存储设备1307通过连接到系统总线1305的大容量存储控制器(未示出)连接到中央处理单元1301。所述大容量存储设备1307及其相关联的计算机可读介质为计算机设备1300提供非易失性存储。也就是说,所述大容量存储设备1307可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
不失一般性,所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术,CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1304和大容量存储设备1307可以统称为存储器。
根据本发明的各种实施例,所述计算机设备1300还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1300可以通过连接在所述系统总线1305上的网络接口单元1311连接到网络1312,或者说,也可以使用网络接口单元1311连接到其他类型的网络或远程计算机系统(未示出)。
所述存储器还包括一个或者一个以上的程序,所述一个或者一个以上程序存储于存储器中,中央处理单元1301通过执行该一个或一个以上程序来实现上述网络管理方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器,上述指令可由计算机设备的处理器执行以完成本发明各个实施例所示的数据传输方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在本发明实施例中,术语“第一”、“第二”和“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上,除非另有明确的限定。
本发明实施例中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (11)
1.一种数据传输方法,其特征在于,应用于监控系统的第一数据处理设备,所述监控系统包括具有不同级别的多个监控子系统,每个所述监控子系统包括数据处理设备,所述第一数据处理设备为所述多个监控子系统中非最高级监控子系统中的数据处理设备,第二数据处理设备所处的监控子系统的级别高于所述第一数据处理设备所处的监控子系统的级别,所述方法包括:
获取监控数据,所述监控数据包括统一资源定位符URL和标签数据,所述标签数据用于标识URL对应的原始监测数据;
对获取的监控数据进行缓存;
基于所述URL下载原始监测数据;
将所述标签数据和所述原始监测数据进行协议转换处理,得到通用传输协议数据;
将所述通用传输协议数据实时分发至多个所述第二数据处理设备。
2.根据权利要求1所述的方法,其特征在于,在所述将所述标签数据和所述原始监测数据进行协议转换处理,得到通用传输协议数据之前,所述方法还包括:
对缓存后的所述标签数据进行第一预处理,得到第一预处理后的标签数据,所述第一预处理包括数据类型转换处理、编目处理和去重处理中的至少一种;
所述将所述标签数据和所述原始监测数据进行协议转换处理,得到通用传输协议数据,包括:
将第一预处理后的标签数据和所述原始监测数据进行协议转换处理,得到通用传输协议数据;
或者,
在所述将所述标签数据和所述原始监测数据进行协议转换处理,得到通用传输协议数据之前,所述方法还包括:
对所述原始监测数据进行第二预处理,得到第二预处理后的原始监测数据,所述第二预处理包括以下处理的至少一种:
当所述原始监测数据中存在无效数据,删除所述无效数据,
当所述原始监测数据中存在无法解析的数据,重新基于所述URL下载原始监测数据;
所述将所述标签数据和所述原始监测数据进行协议转换处理,得到通用传输协议数据,包括:
将所述标签数据和第二预处理后的原始监测数据进行协议转换处理,得到通用传输协议数据。
3.根据权利要求1所述的方法,其特征在于,所述对获取的监控数据进行缓存,包括:
将获取的监控数据记录在缓存队列中;
所述对获取的监控数据进行缓存之后,还包括:
从所述缓存队列中抽取所述监控数据。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
记录每次抽取的监控数据的信息;
当实时分发至多个所述第二数据处理设备的监控数据中出现异常传输数据时,基于记录的信息对所述异常传输数据进行重传。
5.根据权利要求1所述的方法,其特征在于,所述监控系统还包括:数据分析设备,与所述第一数据处理设备建立有通信连接的数据获取设备,所述获取监控数据,包括:
接收所述数据获取设备发送的原始数据;
将所述原始数据发送至所述数据分析设备,所述数据分析设备用于对所述原始数据进行分析,得到所述监控数据;
接收所述数据分析设备发送的所述监控数据。
6.根据权利要求5所述的方法,其特征在于,每个所述监控子系统包括数据库,所述数据分析设备还用于将所述监控数据发送至第一数据库,以供所述第一数据库存储,所述第一数据库为所述第一数据处理设备所处的监控子系统中的数据库,所述方法还包括:
在接收到第二数据处理设备发送的历史数据查询指令后,从所述第一数据库中获取所述历史数据查询指令对应的历史监控数据;
将获取的历史监控数据发送至所述第二数据处理设备。
7.根据权利要求1所述的方法,其特征在于,所述监控系统还包括与所述第一数据处理设备连接的数据获取设备,所述获取监控数据,包括:接收所述数据获取设备发送的原始数据,将所述原始数据作为所述监控数据;
或者,当所述第一数据处理设备所处的监控子系统为所述监控系统中非最低级的监控子系统时,所述获取监控数据,包括:
获取第三数据处理设备发送的所述监控数据,所述第一数据处理设备所处的监控子系统的级别高于所述第三数据处理设备所处的监控子系统的级别。
8.一种第一数据处理设备,其特征在于,所述第一数据处理设备为监控系统中的设备,所述监控系统包括具有不同级别的多个监控子系统,每个所述监控子系统包括数据处理设备,所述第一数据处理设备为所述多个监控子系统中非最高级监控子系统中的数据处理设备,第二数据处理设备所处的监控子系统的级别高于所述第一数据处理设备所处的监控子系统的级别,所述设备包括:
获取模块,用于获取监控数据,所述监控数据包括统一资源定位符URL和标签数据,所述标签数据用于标识URL对应的原始监测数据;
缓存模块,用于对获取的监控数据进行缓存;
第一发送模块包括下载子模块,处理子模块和发送子模块,
所述下载子模块,用于基于所述URL下载原始监测数据;
所述处理子模块,用于将所述标签数据和所述原始监测数据进行协议转换处理,得到通用传输协议数据;
所述发送子模块,用于将所述通用传输协议数据实时分发至多个所述第二数据处理设备。
9.一种监控系统,其特征在于,所述监控系统包括具有不同级别的多个监控子系统,每个所述监控子系统包括数据处理设备,其中,每个非最高级数据处理设备包括权利要求8所述的第一数据处理设备。
10.一种计算机设备,其特征在于,包括:
处理器;
用于存储所述处理器的可执行指令的存储器;
其中,所述处理器运行所述可执行指令时,能够执行权利要求1至7任一所述的数据传输方法。
11.一种可读存储介质,其特征在于,所述可读存储介质中存储有指令,当所述指令在处理组件上运行时,使得处理组件执行如权利要求1至7任一所述的数据传输方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2019104779506 | 2019-06-03 | ||
CN201910477950 | 2019-06-03 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112039936A CN112039936A (zh) | 2020-12-04 |
CN112039936B true CN112039936B (zh) | 2023-07-14 |
Family
ID=73576679
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910779766.7A Active CN112039936B (zh) | 2019-06-03 | 2019-08-22 | 数据传输方法、第一数据处理设备及监控系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112039936B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113949732A (zh) * | 2021-10-18 | 2022-01-18 | 重庆紫光华山智安科技有限公司 | 解析任务管理方法、装置、系统、主管理设备和存储介质 |
CN116127401B (zh) * | 2023-04-20 | 2023-06-16 | 西南石油大学 | 一种数据权限管控方法及系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101101485A (zh) * | 2007-08-02 | 2008-01-09 | 上海可鲁系统软件有限公司 | 一种用于自动化系统远程监控与维护的解决方法 |
CN101656985A (zh) * | 2009-08-18 | 2010-02-24 | 中兴通讯股份有限公司 | 一种管理url资源缓存的方法和装置 |
CN103152352A (zh) * | 2013-03-15 | 2013-06-12 | 北京邮电大学 | 一种基于云计算环境的全信息安全取证监听方法和系统 |
CN103597455A (zh) * | 2011-05-10 | 2014-02-19 | 超威半导体公司 | 用于大型数据缓存的有效标签存储 |
CN104219327A (zh) * | 2014-09-27 | 2014-12-17 | 上海瀚之友信息技术服务有限公司 | 一种分布式缓存系统 |
CN107992398A (zh) * | 2017-12-22 | 2018-05-04 | 宜人恒业科技发展(北京)有限公司 | 一种业务系统的监控方法和监控系统 |
CN109062756A (zh) * | 2018-07-09 | 2018-12-21 | 何思阳 | 一种数据中心集中预警监测的方法和系统 |
CN109802992A (zh) * | 2018-12-10 | 2019-05-24 | 视联动力信息技术股份有限公司 | 一种资源变化日志读写的方法和装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10372622B2 (en) * | 2017-01-27 | 2019-08-06 | International Business Machines Corporation | Software controlled cache line replacement within a data property dependent cache segment of a cache using a cache segmentation enablement bit and cache segment selection bits |
-
2019
- 2019-08-22 CN CN201910779766.7A patent/CN112039936B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101101485A (zh) * | 2007-08-02 | 2008-01-09 | 上海可鲁系统软件有限公司 | 一种用于自动化系统远程监控与维护的解决方法 |
CN101656985A (zh) * | 2009-08-18 | 2010-02-24 | 中兴通讯股份有限公司 | 一种管理url资源缓存的方法和装置 |
CN103597455A (zh) * | 2011-05-10 | 2014-02-19 | 超威半导体公司 | 用于大型数据缓存的有效标签存储 |
CN103152352A (zh) * | 2013-03-15 | 2013-06-12 | 北京邮电大学 | 一种基于云计算环境的全信息安全取证监听方法和系统 |
CN104219327A (zh) * | 2014-09-27 | 2014-12-17 | 上海瀚之友信息技术服务有限公司 | 一种分布式缓存系统 |
CN107992398A (zh) * | 2017-12-22 | 2018-05-04 | 宜人恒业科技发展(北京)有限公司 | 一种业务系统的监控方法和监控系统 |
CN109062756A (zh) * | 2018-07-09 | 2018-12-21 | 何思阳 | 一种数据中心集中预警监测的方法和系统 |
CN109802992A (zh) * | 2018-12-10 | 2019-05-24 | 视联动力信息技术股份有限公司 | 一种资源变化日志读写的方法和装置 |
Non-Patent Citations (2)
Title |
---|
分析多域视频联网监控解决方案;张盛;《维库电子市场网》;20110803;全文 * |
本地存储技术在跨平台实时数据监控中的应用;柏伟;《中国优秀硕士学位论文全文数据库》;20151215;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112039936A (zh) | 2020-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2688296B1 (en) | Video monitoring system and method | |
US9762985B2 (en) | Storing data in motion by optical and electrical conversion of signals | |
US10929465B2 (en) | Method and apparatus for processing requests for thumbnail images in a video surveillance system | |
CN110719332B (zh) | 数据传输方法、装置、系统、计算机设备和存储介质 | |
WO2018059247A1 (zh) | 一种监控方法、装置及系统 | |
CN103916626A (zh) | 一种监控录像信息提供方法、装置及视频监控系统 | |
CN112039936B (zh) | 数据传输方法、第一数据处理设备及监控系统 | |
CN107092686B (zh) | 一种基于云存储平台的文件管理方法及装置 | |
CN108270860A (zh) | 环境质量在线监测数据的采集系统及方法 | |
CN108875328B (zh) | 一种身份验证方法、装置及存储介质 | |
CN112054923B (zh) | 业务请求检测方法、设备及介质 | |
CN112052227A (zh) | 数据变更日志的处理方法、装置和电子设备 | |
CN110944025B (zh) | 一种多协议视频数据采集系统及其实现方法 | |
CN110505307B (zh) | 一种网间交通流数据的交换方法及系统 | |
WO2022156355A1 (zh) | 图像处理方法、图像处理装置、电子设备和存储介质 | |
EP3890312A1 (en) | Distributed image analysis method and system, and storage medium | |
CN111259839A (zh) | 目标对象行为监测方法、装置、设备、系统及存储介质 | |
CN109150927B (zh) | 用于文件存储系统的文件下发方法和装置 | |
EP3579526A1 (en) | Resource file feedback method and apparatus | |
CN113395487A (zh) | 视频数据的存储管理方法、装置、计算机设备及存储介质 | |
CN112835978A (zh) | 一种数据存储方法、装置及计算机设备 | |
CN111737222A (zh) | 基于一对多请求响应模型消息队列数据包存储检索的方法 | |
CN113179261B (zh) | 视频流处理方法及装置、存储介质和平台服务器 | |
CN112511657B (zh) | 用于智能网联车辆数据远程管理的信息处理方法及装置 | |
CN110166561B (zh) | 可穿戴设备的数据处理方法、装置、系统、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |