CN114070787A - 面向警务大数据的数据汇聚方法、装置、存储介质和电子设备 - Google Patents

面向警务大数据的数据汇聚方法、装置、存储介质和电子设备 Download PDF

Info

Publication number
CN114070787A
CN114070787A CN202111345913.3A CN202111345913A CN114070787A CN 114070787 A CN114070787 A CN 114070787A CN 202111345913 A CN202111345913 A CN 202111345913A CN 114070787 A CN114070787 A CN 114070787A
Authority
CN
China
Prior art keywords
data
transmission channel
node
virtual node
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111345913.3A
Other languages
English (en)
Other versions
CN114070787B (zh
Inventor
王铁鑫
江宏
苏圣阳
吴昊
严欣华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202111345913.3A priority Critical patent/CN114070787B/zh
Publication of CN114070787A publication Critical patent/CN114070787A/zh
Application granted granted Critical
Publication of CN114070787B publication Critical patent/CN114070787B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/30—Routing of multiclass traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/22—Arrangements for detecting or preventing errors in the information received using redundant apparatus to increase reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/22—Alternate routing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0209—Architectural arrangements, e.g. perimeter networks or demilitarized zones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Abstract

本发明公开了一种面向警务大数据的数据汇聚方法、装置、存储介质和电子设备，该方法具体为：S1：根据所需要传输的数据的类型和来源，设置传输方式；S2：根据传输方式设置主数据传输通道；S3：如果所需要传输的数据的来源为外部网络，则设置安全边界，使得相关部门的内网和外界网络之间实现安全隔离；S4：采用主数据传输通道对数据进行传输。本发明解决了大数据时代下智慧警务面临的不同来源或者不同类型的数据难以汇聚问题，同时为警务数据治理提供数据支持，从而提升了相相关部门的处理效率。

Description

面向警务大数据的数据汇聚方法、装置、存储介质和电子设备
技术领域
本发明属于大数据技术领域。
背景技术
近年来，城市化进程逐步加快，社会经济稳步发展，当前社会正处在急剧转型时期，相关部门部门也在积极推进警务信息化。警务信息化是以大数据、云计算、人工智能、物联网、移动互联网等技术为支撑，打通信息壁垒，从而打造警务新理念和新模式。
在大数据时代背景下，相关部门部门在数据的总量、数据的形态、数据的服务方式以及数据的关联关系等方面都发生了巨大的变化。由于相关部门的业务数据较为分散，各业务系统数据量大小不一，而且互联网数据、社会数据和相关部门的业务数据密级有差别，不同来源数据类型不一致，同一来源也可能存在不同类型数据，如何有效将这些不同来源、不同结构的数据汇聚到大数据平台变得非常重要。现有的数据汇聚方式多是针对单一数据源或者同一结构的数据，采用单一方式接入数据，这种方式无法满足相关部门面临的多源、异构的数据，也无法保证数据传输的可靠性。
发明内容
发明目的：为了解决上述现有技术存在的问题，本发明提供了面向警务大数据的数据汇聚方法、装置、存储介质和电子设备。
技术方案：本发明提供了一种面向警务大数据的数据汇聚方法体包括如下步骤：
步骤1：根据所需要传输的数据的类型和来源，设置传输方式；
步骤2：根据步骤1中的传输方式获取虚拟节点，根据获取的虚拟节点设置与该传输方式对应的主数据传输通道；所述主数据传输通道包括外部数据传输通道和内部数据传输通道；
步骤3：如果所需要传输的数据的来源为外部网络，则在该数据对应的主数据传输通道的内、外部数据传输通道之间设置安全边界，使得相关部门的内网和外部网络之间实现安全隔离；
步骤4：向主数据传输通道下发数据汇聚指令，通过主数据传输通道从数据的存储介质中抽取数据，并将抽取的数据按照步骤1中的传输方式传送到警务大数据系统中。
进一步的，所述步骤1具体为：当所需要传输的数据为关系型数据库中的数据时，如果该数据来源于相关部门内部，则将警务大数据系统直接与该关系型数据库连接，否则采用ETL的方式传输数据；
当所需要传输的数据以数据文件、解析包或FTP形式存在时，采用数据解析方式传输数据；
当所需要传输的数据为轨迹类数据，若该数据来源于相关部门内部数据，采用ETL的方式将数据传输到警务大数据系统中的Kafka集群中，否则采用FTP或Webservice 的方式传输数据。
进一步的，所述述安全边界包括边界数据接口单元和光纤设备；所述外部数据传输通道通过边界数据接口单元与光纤设备的光发生器端连接，光纤设备的光接收器端连接相关部门的内网接口单元，内网接口单元与内部数据传输通道连接。
进一步的，所述步骤2具体为：所述外部数据传输通道和内部数据传输通道的建立方法相同,具体为：根据传输方式获取以该方式进行数据传输时所需要的若干个虚拟节点；每一个虚拟节点对应若干个节点设备，在该若干个节点设备中随机选取一个节点设备作为该虚拟节点的节点设备；获取每个虚拟节点的配置信息,所述虚拟节点的配置信息包括：输入设备标识信息以及输出设备标识信息，所述输入设备标识信息为与虚拟节点的输入连接的设备的标识信息，所述输出设备标识信息为与虚拟节点的输出连接的设备的标识信息；所述设备包括数据的存储介质，警务大数据系统和节点设备；
当某个虚拟节点的输入设备为数据的存储介质时，该虚拟节点为初始虚拟节点，该虚拟节点对应的节点设备为初始节点设备；当某个虚拟节点的输出设备为警务大数据系统时，该虚拟节点为结束虚拟节点，该结束虚拟节点对应的节点设备为结束节点设备；当某个虚拟节点的输出设备标识信息和另一个虚拟节点的输入设备标识信息相同时，将该两个虚拟节点连接；将所有虚拟节点分别按输出设备的标识信息和输入设备的标识信息进行连接，从而得到一条从数据的存储介质到原始库的数据传输链路，所述原始库为警务大数据系统；将各个节点设备按照数据传输链路上的节点顺序进行连接，从而得到一条主数据传输通道。
进一步的，当数据来自外部网络时，在外部数据传输通道中选择某个节点设备对数据依次进行RS编码，冗余和扰码处理。
进一步的，该汇聚方法还包括根据步骤2建立备用传输通道，所述备用传输通道的虚拟节点和主数据传输通道中的虚拟节点相同，且虚拟节点对应的节点设备不同；
当主数据传输通道正常工作时，主数据传输通道和备用传输通道同时接收数据，主传输通道于将数据传输至原始库，备用传输通道对收到的数据进行缓存，当缓存的数据达到预设的上限时，清除已缓存的数据，重新进行数据缓存操作；若主数据传输通道发生故障时，备用传输通道进行数据传输，原主数据传输通道转换为备用传输通道。
进一步的，所述备用传输通道在接收到数据后，备用传输通道中的所有的节点对接收到的数据进行核验，验证数据大小和字段元信息与需要传输的原始数据是否一致，若不一致，则发出告警，并停止数据通过主数据传输通道或者备用传输通道进行传输。
进一步的，包括分析模块，读取模块，确认模块和存储模块；所述分析模块用于根据数据的来源和类型确认数据的传输方式；所述读取模块用于从数据的存储介质中读取数据，并按照分析模块确认的传输方式将读取的数据传输至确认模块，所述确认模块用于判断收到的数据与原始数据是否一致，若一致则确认模块将收到的收据传送至存储模块，否则停止数据传输。
面向警务大数据的数据汇聚的存储介质，所述存储介质上存储有计算机指令，所述计算机指令被处理器执行时实现上述所述的面向警务大数据的数据汇聚方法。
面向警务大数据的数据汇聚的电子设备，包括存储器和处理器；
所述存储器上存储有能够在所述处理器上运行的计算机指令，所述处理器运行计算机指令时执行上述所述的面向警务大数据的数据汇聚方法。
有益效果：本发明解决了大数据时代下智慧警务面临的不同来源或者不同类型的数据难以汇聚问题，同时为警务数据治理提供数据支持，从而提升了相关部门的处理效率。
附图说明
图1是本发明的方法流程图；
图2是本发明装置的结构示意图；
图3是本发明电子设备的结构示意图。
附图标记说明：10，分析模块；20读取模块；30确认模块；40，存储模块；100 处理器；200，存储器。
具体实施方式
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为面向警务大数据的数据汇聚的方法的流程示意图，适用于大数据时代下智慧警务面临不同来源或不同类型的数据的汇聚。该方法可以由面向警务大数据的数据汇聚装置和电子装置来实现，一般集成于计算机设备中。
如图1所示，本发明实施例中提供的面向警务大数据的数据汇聚的方法包括以下步骤：
步骤S01，获取警务数据信息，其中，所述警务数据信息包括警务数据的来源、接入方式和数据字段元信息。根据数据提供方的信息判断出警务数据的来源。警务数据的来源主要包括四类：相关部门的业务数据，政府部门数据，互联网数据和社会数据。按时效维度可以将警务数据分为离线数据源和实时数据源，从而得到离线数据接入方式和实时数据接入方式两种。其中，离线数据接入包括结构化数据接入以及非结构化数据接入，根据警务数据所处网络判断是否需要经过安全边界。
当警务数据为关系型数据库中的数据时，对于相关部门的内部数据源，可以直接连接警务大数据系统，对于外部数据源(也既数据来自相关部门的外部网络)，需要经过安全边界再接入到警务大数据系统。关系型数据库中的数据接入到警务大数据系统中的方式主要为ETL传输。
当警务数据以数据文件、解析包、FTP等形式存在时，通过数据解析方式接入到警务大数据系统，对于外部数据源，需要经过安全边界。
针对实时性要求较高的轨迹类数据源，警务数据来源系统直接推送数据，确保数据产生的时候能够马上推送到大数据系统，采用实时数据接入方式，主要包括ETL传输和FTP/Webservice方式：对于相关部门的内部数据源，不需要经过安全边界，采取ETL 方式直接接入数据，推送数据到警务大数据系统中的Kafka集群，实时比对布控系统可以马上观察到数据，完成实时的比对布控；对于外部数据源，需要经过安全边界，采取 FTP或Webservice形式接入数据，后由实时把数据放入Kafka集群供实时比对布控系统使用。
获取警务数据字段元信息，所述数据字段元信息用于指示以下至少之一：字段名称，字段类型，字段格式。
步骤S02，再按ETL传输、数据解析、FTP以及WebService四种传输方式将警务数据分为四类，分别保存各类数据字段元信息。
步骤S03，按照警务数据的传输方式的分类结果分别获取每种传输方式所需的若干个虚拟节点的配置信息：对于每一种传输方式，分别获取若干个虚拟节点以及虚拟节点的配置信息，其中，每个虚拟节点对应多个节点设备，对每个虚拟节点随机选取其中一个节点设备，节点设备用于接收系统指令和进行数据传输，一个节点设备功能包括数据的输入和数据的输出。所述配置信息包括输入设备标识信息以及输出设备标识信息。所述输入设备标识信息为与虚拟节点的输入连接的设备的标识信息，所述输出设备标识信息为与虚拟节点的输出连接的设备的标识信息；所述设备包括数据的存储介质，警务大数据系统的存储设备和节点设备。
步骤S04，按照虚拟节点的配置信息和虚拟节点对应的节点设备确定数据的传输通道。当一个虚拟节点的输入设备为警务数据的存储设备时，该虚拟节点为初始虚拟节点，对应的节点设备为初始节点设备；当一个虚拟节点的输出设备为警务大数据系统中的存储设备，即原始库时，该虚拟节点为结束虚拟节点，对应的节点设备为结束节点设备；当一个虚拟节点的输出设备标识信息和另一个虚拟节点的输入设备标识信息相同时，将两个虚拟节点连接；寻找从警务数据的存储设备到原始库的所有虚拟节点，确定每个虚拟节点对应的节点设备标识信息，将所有虚拟节点分别按输出设备信息和输入设备信息进行连接，这样就能得到一条数据传输链路。再将各节点设备按数据传输链路上的节点顺序进行连接，就得到一条数据传输通道。
对于外部数据源，数据传输通道需要经过安全边界，安全边界中包括边界数据接口单元和光纤设备(安全边界中数据接入安全机制，确保数据安全交换)。边界数据接口单元和外部数据传输通道相连接，光纤设备中的光发生器端连接边界数据接口单元，光接收器端连接相关部门的内网接口单元，内部数据传输通道再连接上内网接口单元。这样经过安全边界的数据传输通道保证了外网和相关部门内网之间的安全隔离。所述外部数据传输通道和内部数据传输通道构成了主数据传输通道，且外部数据传输通道和内部数据传输通道均根据S05，S04的方法建立。
为了进一步地确保数据传输的可靠性，建立一条备用数据传输通道。对于每一个虚拟节点，首先选取该虚拟节点的节点设备，且该节点设备与主数据传输通道中该虚拟节点的节点设备不相同，再将各节点设备按数据传输链路上的节点顺序进行连接，就得到一条备用数据传输通道。对于外部数据源，备用数据传输通道使用和主传输通道不同的边界数据接口单元、光纤设备和内网数据接口单元。主传输通道和备用传输通道中的设备没有重复部分，这样可以进一步保证数据传输的高可靠性。
步骤S05，向所述传主传输通道和备用输通道上的每个节点设备下发数据汇聚指令，获取数据。向传输通道上的每个节点设备下发数据汇聚指令，当起始节点设备接收到数据汇聚指令后，起始节点设备从数据源的存储设备中抽取数据，数据抽取方式至少包括ETL传输、数据解析、FTP以及WebService中的一个。
当警务数据来自外网时，选择外部数据传输通道中的某个节点设备对数据进行RS编码处理。再进一步的经过冗余、扰码后，将数据快速的经过光纤设备传输到内网接口单元，内网接口单元根据RS编码结果进行数据接收并解码，再传输到内网数据传输通道中。
采用主备传输通道方式抽取数据，当主传输通道正常工作时，主传输通道和备用传输通道同时接收数据，主传输通道数据用于传输数据，备用传输通道缓存一定数量的数据，当缓存的数据达到缓存的上限时就立马清除已缓存的数据，重新再进行缓存操作。当主传输通道出现故障时，备用传输通道转换为主传输通道，继续将数据汇聚到原始库，原主传输通道转换为备用传输通道。备用传输通道在接收到数据后，备用传输通道中的节点所有节点设备设备对接收到的数据进行核验，验证数据大小、字段元信息与数据源中被抽取的原始数据是否一致，如果不一致则停止对数据的传输。
采用主备传输通道的方式来保证数据传输的可靠性以及验证数据的一致性，主传输通道只需要从数据源的存储设备中接入数据到警务大数据系统中，验证一致性操作由备用传输通道完成，这样可以减少主传输通道的开销，大大的提高数据汇聚的效率和可靠性。
步骤S06，获取传输通道中的数据，存入警务大数据系统。
图2是本实施例提供的一种面向警务大数据的数据汇聚装置的结构示意图。如图2所示，本实施例提供一种面向警务大数据的数据汇聚装置包括：分析模块10，用于对警务数据的来源、接入方式、数据字段元信息等进行多维度分析，分类归纳不同数据源，从而达到认识数据的目的；读取模块20，用于从数据源所在系统中抽取数据或者接收数据源所在系统推送过来的数据；确认模块30，用于验证接收到的数据与源数据是否一致；存储模块40，用于存储接受到的数据，并将接收到的数据存入原始库。
本实施例中提供的一种面向警务大数据的数据汇聚装置用于实现上述的数据汇聚方法。
本实施例还提供了一种面向警务大数据的数据汇聚存储介质，该存储介质中存储有计算机指令，其中，该计算机指令被处理器执行时实现本实施例提供的一种面向警务大数据的数据汇聚方法。该方法包括：
图3是本实施例提供的一种电子设备的结构示意图。如图3所示，本发明实施例提供的一种面向警务大数据的数据汇聚电子设备包括：处理器100、存储器200。存储器上存储有能够在所述处理器上运行的计算机指令，处理器运行所述计算机指令时执行本发明实施例提供的一种面向警务大数据的数据汇聚方法。该方法包括：
显然，本领域的技术人员应该明白，本发明上述的方法步骤可以用通用计算装置来实现，所用到工具不仅限于本发明所提供，其他相关工具同样可以实现本发明步骤。尽管在之前已经描述了本发明的实施例，仅用于说明本发明的技术方案和主要特征，但是并不用于限制本发明，本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，或者对其中部分技术特征进行等同替换。凡在本发明的原则之内，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，轻易想到的变化或替换，都涵盖在本发明的保护范围之内。

Claims (10)

1.面向警务大数据的数据汇聚方法，其特征在于，具体包括如下步骤：
步骤1：根据所需要传输的数据的类型和来源，设置传输方式；
步骤2：根据步骤1中的传输方式获取虚拟节点，根据获取的虚拟节点设置与该传输方式对应的主数据传输通道；所述主数据传输通道包括外部数据传输通道和内部数据传输通道；
步骤3：如果所需要传输的数据的来源为外部网络，则在该数据对应的主数据传输通道的内、外部数据传输通道之间设置安全边界，使得相关部门的内网和外部网络之间实现安全隔离；
步骤4：向主数据传输通道下发数据汇聚指令，通过主数据传输通道从数据的存储介质中抽取数据，并将抽取的数据按照步骤1中的传输方式传送到警务大数据系统中。
2.根据权利要求1所述的面向警务大数据的数据汇聚方法，其特征在于，所述步骤1具体为：当所需要传输的数据为关系型数据库中的数据时，如果该数据来源于相关部门的内部，则将警务大数据系统直接与该关系型数据库连接，否则采用ETL的方式传输数据；
当所需要传输的数据以数据文件、解析包或FTP形式存在时，采用数据解析方式传输数据；
当所需要传输的数据为轨迹类数据，若该数据来源于相关部门的内部数据，采用ETL的方式将数据传输到警务大数据系统中的Kafka集群中，否则采用FTP或Webservice的方式传输数据。
3.根据权利要求1所述的面向警务大数据的数据汇聚方法，其特征在于，所述安全边界包括边界数据接口单元和光纤设备；所述外部数据传输通道通过边界数据接口单元与光纤设备的光发生器端连接，光纤设备的光接收器端连接相关部门的内网接口单元，内网接口单元与内部数据传输通道连接。
4.根据权利要求1所述的面向警务大数据的数据汇聚方法，其特征在于，所述步骤2具体为：所述外部数据传输通道和内部数据传输通道的建立方法相同,具体为：根据传输方式获取以该方式进行数据传输时所需要的若干个虚拟节点；每一个虚拟节点对应若干个节点设备，在该若干个节点设备中随机选取一个节点设备作为该虚拟节点的节点设备；获取每个虚拟节点的配置信息,所述虚拟节点的配置信息包括：输入设备标识信息以及输出设备标识信息，所述输入设备标识信息为与虚拟节点的输入连接的设备的标识信息，所述输出设备标识信息为与虚拟节点的输出连接的设备的标识信息；所述设备包括数据的存储介质，警务大数据系统和节点设备；
当某个虚拟节点的输入设备为数据的存储介质时，该虚拟节点为初始虚拟节点，该虚拟节点对应的节点设备为初始节点设备；当某个虚拟节点的输出设备为警务大数据系统时，该虚拟节点为结束虚拟节点，该结束虚拟节点对应的节点设备为结束节点设备；当某个虚拟节点的输出设备标识信息和另一个虚拟节点的输入设备标识信息相同时，将该两个虚拟节点连接；将所有虚拟节点分别按输出设备的标识信息和输入设备的标识信息进行连接，从而得到一条从数据的存储介质到原始库的数据传输链路，所述原始库为警务大数据系统；将各个节点设备按照数据传输链路上的节点顺序进行连接，从而得到一条主数据传输通道。
5.根据权利要求4所述的面向警务大数据的数据汇聚方法，其特征在于，当数据来自外部网络时，在外部数据传输通道中选择某个节点设备对数据依次进行RS编码，冗余和扰码处理。
6.根据权利要求4所述的面向警务大数据的数据汇聚方法，其特征在于，该汇聚方法还包括根据步骤2建立备用传输通道，所述备用传输通道的虚拟节点和主数据传输通道中的虚拟节点相同，且虚拟节点对应的节点设备不同；
当主数据传输通道正常工作时，主数据传输通道和备用传输通道同时接收数据，主传输通道于将数据传输至原始库，备用传输通道对收到的数据进行缓存，当缓存的数据达到预设的上限时，清除已缓存的数据，重新进行数据缓存操作；若主数据传输通道发生故障时，备用传输通道进行数据传输，原主数据传输通道转换为备用传输通道。
7.根据权利要求6所述的面向警务大数据的数据汇聚方法，其特征在于，所述备用传输通道在接收到数据后，备用传输通道中的所有的节点对接收到的数据进行核验，验证数据大小和字段元信息与需要传输的原始数据是否一致，若不一致，则发出告警，并停止数据通过主数据传输通道或者备用传输通道进行传输。
8.面向警务大数据的数据汇聚装置，其特征在于，包括分析模块，读取模块，确认模块和存储模块；所述分析模块用于分析数据的来源和数据的类型，并根据数据的来源和类型确认数据的传输方式；所述读取模块用于从数据的存储介质中读取数据，并按照分析模块确认的传输方式将读取的数据传输至确认模块，所述确认模块用于判断收到的数据与原始数据是否一致，若一致则确认模块将收到的收据传送至存储模块，否则停止数据传输。
9.面向警务大数据的数据汇聚的存储介质，其特征在于，所述存储介质上存储有计算机指令，所述计算机指令被处理器执行时实现权利要求1-7任意一项所述的面向警务大数据的数据汇聚方法。
10.面向警务大数据的数据汇聚的电子设备，其特征在于，包括存储器和处理器；
所述存储器上存储有能够在所述处理器上运行的计算机指令，所述处理器运行计算机指令时执行权利要求1-7任意一项所述的面向警务大数据的数据汇聚方法。
CN202111345913.3A 2021-11-15 2021-11-15 面向警务大数据的数据汇聚方法、装置、存储介质和电子设备 Active CN114070787B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111345913.3A CN114070787B (zh) 2021-11-15 2021-11-15 面向警务大数据的数据汇聚方法、装置、存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111345913.3A CN114070787B (zh) 2021-11-15 2021-11-15 面向警务大数据的数据汇聚方法、装置、存储介质和电子设备

Publications (2)

Publication Number Publication Date
CN114070787A true CN114070787A (zh) 2022-02-18
CN114070787B CN114070787B (zh) 2022-10-04

Family

ID=80271689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111345913.3A Active CN114070787B (zh) 2021-11-15 2021-11-15 面向警务大数据的数据汇聚方法、装置、存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN114070787B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116450726A (zh) * 2023-04-26 2023-07-18 国网河北省电力有限公司 一种面向电力系统的多源异构数据交换平台及交换方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011119583A1 (en) * 2010-03-26 2011-09-29 Cisco Technology, Inc. Aggregating data traffic from access domains
CN105468741A (zh) * 2015-11-25 2016-04-06 曙光信息产业(北京)有限公司 一种警务大数据处理系统
CN105554070A (zh) * 2015-12-09 2016-05-04 北京中科云集科技有限公司 一种基于警务大数据中心服务建设的方法
CN105809606A (zh) * 2016-03-08 2016-07-27 贵州省邮电规划设计院有限公司 大数据应用平台系统
CN106649773A (zh) * 2016-12-27 2017-05-10 北京大数有容科技有限公司 一种大数据协同分析工具平台
CN108446395A (zh) * 2018-03-26 2018-08-24 北京神州泰岳软件股份有限公司 一种基于大数据的警务信息处理方法及系统
CN207968542U (zh) * 2018-03-26 2018-10-12 北京神州泰岳软件股份有限公司 一种警务信息采集系统
CN109242272A (zh) * 2018-08-20 2019-01-18 合肥智圣新创信息技术有限公司 一种警务数据信息综合管控系统
CN109977158A (zh) * 2019-02-28 2019-07-05 武汉烽火众智智慧之星科技有限公司 公安大数据分析处理系统及方法
CN110716938A (zh) * 2019-10-15 2020-01-21 北京明略软件系统有限公司 数据的汇聚方法及装置、存储介质和电子装置
CN111064591A (zh) * 2018-10-16 2020-04-24 杭州海康威视数字技术股份有限公司 数据汇聚方法、装置、设备、存储介质和系统
CN111897863A (zh) * 2020-07-31 2020-11-06 珠海市新德汇信息技术有限公司 多源异构数据融合汇聚方法
WO2021061657A1 (en) * 2019-09-27 2021-04-01 Amazon Technologies, Inc. Enabling federated query access to heterogeneous data sources
CN112883095A (zh) * 2021-03-02 2021-06-01 南京德奈特系统科技有限责任公司 多源异构数据汇聚的方法、系统、设备以及存储介质
CN112969054A (zh) * 2021-02-26 2021-06-15 江苏开拓信息与系统有限公司 一种基于物联网安防的智慧社区警务室系统

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011119583A1 (en) * 2010-03-26 2011-09-29 Cisco Technology, Inc. Aggregating data traffic from access domains
CN105468741A (zh) * 2015-11-25 2016-04-06 曙光信息产业(北京)有限公司 一种警务大数据处理系统
CN105554070A (zh) * 2015-12-09 2016-05-04 北京中科云集科技有限公司 一种基于警务大数据中心服务建设的方法
CN105809606A (zh) * 2016-03-08 2016-07-27 贵州省邮电规划设计院有限公司 大数据应用平台系统
CN106649773A (zh) * 2016-12-27 2017-05-10 北京大数有容科技有限公司 一种大数据协同分析工具平台
CN207968542U (zh) * 2018-03-26 2018-10-12 北京神州泰岳软件股份有限公司 一种警务信息采集系统
CN108446395A (zh) * 2018-03-26 2018-08-24 北京神州泰岳软件股份有限公司 一种基于大数据的警务信息处理方法及系统
CN109242272A (zh) * 2018-08-20 2019-01-18 合肥智圣新创信息技术有限公司 一种警务数据信息综合管控系统
CN111064591A (zh) * 2018-10-16 2020-04-24 杭州海康威视数字技术股份有限公司 数据汇聚方法、装置、设备、存储介质和系统
CN109977158A (zh) * 2019-02-28 2019-07-05 武汉烽火众智智慧之星科技有限公司 公安大数据分析处理系统及方法
WO2021061657A1 (en) * 2019-09-27 2021-04-01 Amazon Technologies, Inc. Enabling federated query access to heterogeneous data sources
CN110716938A (zh) * 2019-10-15 2020-01-21 北京明略软件系统有限公司 数据的汇聚方法及装置、存储介质和电子装置
CN111897863A (zh) * 2020-07-31 2020-11-06 珠海市新德汇信息技术有限公司 多源异构数据融合汇聚方法
CN112969054A (zh) * 2021-02-26 2021-06-15 江苏开拓信息与系统有限公司 一种基于物联网安防的智慧社区警务室系统
CN112883095A (zh) * 2021-03-02 2021-06-01 南京德奈特系统科技有限责任公司 多源异构数据汇聚的方法、系统、设备以及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
PAUL HUNTON，ET.AL: ""Data Integration and Analysis for Performance Management in a Modern Police Force"", 《2009 FOURTH INTERNATIONAL CONFERENCE ON INTERNET AND WEB APPLICATIONS AND SERVICES》 *
杨鲁晖: ""面向大数据的警务作战平台设计与实现"", 《中国优秀硕士学位论文全文数据库社会科学Ⅰ辑》 *
王海燕等: "公安行业市级数据中心平台建设研究", 《信息通信》 *
邵雷，等: ""公安业务大数据架构建设研究"", 《武警学院学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116450726A (zh) * 2023-04-26 2023-07-18 国网河北省电力有限公司 一种面向电力系统的多源异构数据交换平台及交换方法
CN116450726B (zh) * 2023-04-26 2023-12-22 国网河北省电力有限公司 一种面向电力系统的多源异构数据交换平台及交换方法

Also Published As

Publication number Publication date
CN114070787B (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
US11099842B2 (en) Source code similarity detection using digital fingerprints
CN103532754A (zh) 一种通过高速内存、分布式处理海量日志的系统及方法
CN111881011A (zh) 日志管理方法、平台、服务器及存储介质
CN111740868B (zh) 告警数据的处理方法和装置及存储介质
CN100550017C (zh) 用于安全全文本索引的系统和方法
CN113094385A (zh) 一种基于软件定义开放工具集的数据共享融合平台及方法
CN110442561B (zh) 基于区块链的分布式文件存储系统及其存储方法
CN114070787B (zh) 面向警务大数据的数据汇聚方法、装置、存储介质和电子设备
CN109510721A (zh) 一种基于Syslog的网络日志管理方法与系统
CN105491078A (zh) Soa系统中的数据处理方法及装置、soa系统
CN110618999A (zh) 数据的查询方法及装置、计算机存储介质、电子设备
US11068496B2 (en) System and method for data management
CN113721856A (zh) 一种数字化社区管理数据存储系统
KR20200066428A (ko) 행위 기반 룰 처리 장치 및 그 처리 방법
CN117141265A (zh) 一种智能无线充电桩的运行监测系统及监测方法
CN117493340A (zh) 一种面向公共安全领域的多模态数据一体化融合分析系统
CN115659375A (zh) 数据处理方法、装置、存储介质及电子设备
CN115456379A (zh) 一种基于多源数据的资产智能挖掘与管理方法及系统
CN112528339A (zh) 一种基于Caché数据库的数据脱敏方法及电子设备
CN109714199B (zh) 基于大数据架构的网络流量分析与溯源系统
CN113010483A (zh) 一种海量日志管理方法和系统
CN110933064A (zh) 确定用户行为轨迹的方法及其系统
US11835989B1 (en) FPGA search in a cloud compute node
CN113407504B (zh) 一种数据处理方法、用户空间文件系统以及存储介质
KR102656541B1 (ko) 로그 타입별 분산 방식을 활용한 대용량 로그 데이터 분석 장치, 방법 및 프로그램

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant