CN107426066A - 一种虚拟化警情信息汇集管理装置及方法 - Google Patents

一种虚拟化警情信息汇集管理装置及方法 Download PDF

Info

Publication number
CN107426066A
CN107426066A CN201710279705.5A CN201710279705A CN107426066A CN 107426066 A CN107426066 A CN 107426066A CN 201710279705 A CN201710279705 A CN 201710279705A CN 107426066 A CN107426066 A CN 107426066A
Authority
CN
China
Prior art keywords
data
unit
rule
module
access
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710279705.5A
Other languages
English (en)
Inventor
苏小林
杜思宁
丘越峰
黄辉
林方湖
王海群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TELEWAVE INFORMATION TECHNOLOGY Co Ltd
Original Assignee
TELEWAVE INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TELEWAVE INFORMATION TECHNOLOGY Co Ltd filed Critical TELEWAVE INFORMATION TECHNOLOGY Co Ltd
Priority to CN201710279705.5A priority Critical patent/CN107426066A/zh
Publication of CN107426066A publication Critical patent/CN107426066A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2854Wide area networks, e.g. public data networks
    • H04L12/2856Access arrangements, e.g. Internet access
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/02Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227Filtering policies

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Storage Device Security (AREA)

Abstract

本发明提供一种虚拟化警情信息汇集管理装置及方法,所述装置包括数据摆渡模块以及与所述数据摆渡模块连接的数据汇集解析模块;其中,所述数据摆渡模块用以对数据源中的数据进行数据采集并进行转换,以及将转换后的数据传输给所述数据汇集解析模块;所述数据汇集解析模块用以接收所述数据摆渡模块传输的数据并对所述数据进行汇集。本发明提供的虚拟化警情信息汇集管理装置及方法具有较好的可扩展性和部署灵活的特点,采用统一的安全防范策略,安全性能好。

Description

一种虚拟化警情信息汇集管理装置及方法
技术领域
本发明涉及信息汇集技术领域,特别涉及一种警务系统中的虚拟化警情信息汇集管理装置及方法。
背景技术
随着社会的发展,公安系统中无论是社会管理还是打击犯罪,需要对海量的警务大数据进行处理和管理,如何对大数据进行安全有效的管理已成为公安系统建设的重点工作。随着计算机硬件性能的飞速发展且成本降低,数据库系统与计算机网络技术逐渐成熟,各地公安都开始重点投入信息化的建设工作,现代公安系统中已越来越离不开大数据的整合和信息化的处理。在大数据整合和信息化处理中,如何安全有效的进行数据信息汇集显得尤为重要。
现有技术中,警情汇集目前主要采用与相关业务系统对接的方式进行实现,随着警务大数据工作的开展,该方式单一、效率低,安全性差,已越来越不能满足业务需求。
发明内容
针对以上问题,本发明专利目的在于设计了一种虚拟化警情信息汇集管理装置及方法,具有较好的可扩展性和部署灵活的特点,采用统一的安全防范策略,安全性能好。
本发明具体的技术方案如下:
本发明提供一种虚拟化警情信息汇集管理装置,包括数据摆渡模块以及与所述数据摆渡模块连接的数据汇集解析模块;其中,
所述数据摆渡模块用以对数据源中的数据进行数据采集并进行转换,以及将转换后的数据传输给所述数据汇集解析模块;
所述数据汇集解析模块用以接收所述数据摆渡模块传输的数据并对所述数据进行汇集。
具体的,本发明所述数据摆渡模块包括:第一接入单元、数据清洗单元、第一接入规则描述单元、数据改写和转存单元、第一控制单元、电源控制单元、第一外接单元、保密单元和第一输出单元。
第一接入单元用于与提供数据源的网络设备进行通信连接;数据清洗单元用于对采集的数据进行清洗和质量控制;第一接入规则描述单元用于存储接入所述数据源的第一接入规则,所述第一接入规则包括数据源的文件格式和元数据、数据采集模式、需转换的数据项及其规则;数据改写和转存单元用于根据所述第一接入规则对采集的数据进行改写和转存;电源控制单元用于提供电源;第一外接单元用于与外部显示设备连接;保密单元用于对数据进行安全加密;第一输出单元与所述数据汇集解析模块连接并进行数据传输。
第一控制单元,用于根据所述第一接入规则控制采集所述数据并控制所述数据清洗单元对采集的数据进行清洗和质量控制,以及根据所述第一接入规则控制所述数据改写和转存单元对采集的数据进行改写和转存。
具体的本发明所述第一接入单元为有线接入单元或者无线接入单元,所述无线接入单元采用WiFi或者3G/4G无线通信网络。
具体的,本发明所述数据汇集解析模块包括:第二接入规则描述单元、数据写规则单元、第二控制单元、第二接入单元、第二外接单元、缓存单元和第二输出单元。
第二接入规则描述单元用于存储接入所述数据摆渡模块的第二接入规则,所述第二接入规则包括数据表URL、元数据结构、表语义分类;数据写规则单元用于存储汇集数据的数据写规则,所述数据写规则包括存储数据文件类型、存储地址和存储规则;第二控制单元用于根据所述第二接入规则接收所述数据摆渡模块传输的数据,并根据所述数据写规则将所述数据进行汇集,以及制作汇集数据进行保存;第二接入单元用于与所述数据摆渡模块进行通信连接;第二外接单元用于与外部显示设备进行连接;缓存单元用于根据所述数据写规则对接入的数据进行滚动存储;第二输出单元与外部数据存储服务器连接并进行数据传输。
根据本发明提供的虚拟化警情信息汇集管理装置,本发明还提供一种虚拟化警情信息汇集管理方法,包括如下步骤:
步骤S1、数据摆渡模块采集数据源中的数据并对采集的数据进行清洗和质量控制;
步骤S2、将步骤S1中处理后的数据根据第一接入规则进行改写和转存并将处理后的数据传输给数据汇集解析模块;
步骤S3、数据汇集解析模块根据第二接入规则接收所述数据摆渡模块传输的数据,并根据数据写规则将所述数据进行汇集,以及制作汇集数据进行保存。
具体的,本发明所述第一接入规则包括数据源的文件格式和元数据、数据采集模式、需转换的数据项及其规则;所述第二接入规则包括数据表URL、元数据结构、表语义分类;所述数据写规则包括存储数据文件类型、存储地址和存储规则。
本发明专利提供的虚拟化警情信息汇集管理装置及方法与现有技术相比具有以下优点:
(1)采用元数据映射、资源配置过滤、附加说明表、安全摆渡等技术实现了对不同数据源的数据汇集,具有较好的可扩展性和部署灵活等特征;
(2)采用统一的安全防范策略,保障在数据汇集时的警务系统安全性要求。
附图说明
以下参照附图对本发明实施例作进一步说明,其中:
图1是本发明虚拟化警情信息汇集管理装置的结构图;
图2是本发明虚拟化警情信息汇集管理装置的数据摆渡模块的结构图;
图3是本发明虚拟化警情信息汇集管理装置的数据摆渡模块的工作逻辑图;
图4是本发明虚拟化警情信息汇集管理装置的数据汇集解析模块的结构图;
图5是本发明虚拟化警情信息汇集管理装置的数据汇集解析模块的工作逻辑图;
图6是本发明虚拟化警情信息汇集管理方法的流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的详细说明。
本发明提供一种虚拟化警情信息汇集管理装置,请参阅图1是本发明虚拟化警情信息汇集管理装置的结构图,包括数据摆渡模块11以及与所述数据摆渡模块11连接的数据汇集解析模块21;数据摆渡模块11与外部提供数据源的网络设备连接,数据汇集解析模块21与外部进行存储的数据存储服务器连接。
所述数据摆渡模块11用以对数据源中的数据进行数据采集并进行转换,以及将转换后的数据传输给所述数据汇集解析模块21;所述数据汇集解析模块21用以接收所述数据摆渡模块11传输的数据并对所述数据进行汇集。
具体的,数据摆渡模块11该部分主要实现与数据源的对接,对数据源的数据进行抽取、附加信息生成等,并将抽取的信息采用信息改写的方式通过接口向数据汇集解析模块21单向发送数据。请参阅图2,所述数据摆渡模块11包括:第一接入单元101、数据清洗单元102、第一接入规则描述单元103、数据改写和转存单元104、第一控制单元105、电源控制单元106、第一外接单元107、保密单元108和第一输出单元109。
第一接入单元101用于与提供数据源的网络设备进行通信连接,所述第一接入单元101为有线接入单元或者无线接入单元,所述无线接入单元采用WiFi或者3G/4G无线通信网络。本发明的虚拟化警情信息汇集管理装置主要通过第一接入单元101与数据源采用有线连接或者无线连接的方式进行连接。
数据清洗单元102用于对采集的数据进行清洗和质量控制,采用专门处理器对接入的数据进行清洗和质量控制;
第一接入规则描述单元103主要为存储器,用于存储接入所述数据源的第一接入规则,所述第一接入规则包括数据源的文件格式和元数据、数据采集模式、需转换的数据项及其规则。
数据改写和转存单元104用于根据所述第一接入规则对采集的数据进行改写和转存,采用专门处理器根据接入规则和内部的约定规则对采集的数据进行改写和转存。
电源控制单元106用于提供电源;第一外接单元107用于与外部显示设备连接,用于对本设备的参数进行配置,包括数据接入规则的配置等;保密单元108用于对数据进行安全加密,根据公安部的规范要求,可选择保密卡,对数据接入公安网或涉密网进行安全保护;第一输出单元109与所述数据汇集解析模块21连接并进行数据的传输。
第一控制单元105用于根据所述第一接入规则控制采集所述数据并控制所述数据清洗单元102对采集的数据进行清洗和质量控制,以及根据所述第一接入规则控制所述数据改写和转存单元104对采集的数据进行改写和转存。
请参阅图3是数据摆渡模块11的工作逻辑图,系统时钟301主要用于时间管理,根据第一接入规则触发采集数据动作;常规性数据转换规则302主要针对常规性数据给出的异构数据转换方法,如性别、身份证信息解析等;摆渡日志303记载摆渡的执行动作,主要记载数据采集的时间节点,以保障数据的增量采集。
首先,系统时钟301触发采集数据动作,第一控制单元105控制主动采集数据源中的数据,并根据常规性数据转换规则302进行数据清洗;然后根据第一接入规则304对采集的数据进行改写和转存,在此步骤添加采集数据的标注信息和非机构文件的附加说明信息,为汇集业务提供标识信息。
具体的,数据汇集解析模块21该部分对从数据源采集的数据进行整理和融合,形成规范化的汇集数据,为警务系统提供基础数据。请参阅图4,所述数据汇集解析模块21包括:第二接入规则描述单元201、数据写规则单元202、第二控制单元203、第二接入单元204、第二外接单元205、缓存单元206和第二输出单元207。
第二接入规则描述单元201用于存储接入所述数据摆渡模块11的第二接入规则,所述第二接入规则包括数据表URL、元数据结构、表语义分类;
数据写规则单元202用于存储汇集数据的数据写规则,所述数据写规则包括存储数据文件类型、存储地址和存储规则;
第二控制单元203用于根据所述第二接入规则接收所述数据摆渡模块11传输的数据,并根据所述数据写规则将所述数据进行汇集,以及制作汇集数据进行保存;
第二接入单元204用于与所述数据摆渡模块11进行通信连接,第二接入单元204位一组有线端口,可与多个数据摆渡模块11对接;
第二外接单元205用于与外部显示设备进行连接;
缓存单元206用于根据所述数据写规则对接入的数据进行滚动存储;
第二输出单元207与外部数据存储服务器连接并进行数据传输。
请参阅图5是数据汇集解析模块21的工作逻辑图,第二接入规则501包括数据表URL、元数据结构、表语义分类;数据写规则502包括存储数据文件类型、存储地址和存储规则。
首先,数据汇集解析模块21监听数据摆渡模块11发送数据请求,请求到达时数据汇集解析模块21执行接受数据动作,根据第二接入规则501和数据写规则502将数据进行汇集,并写到相关数据服务器进行永久保存。
根据本发明提供的虚拟化警情信息汇集管理装置,本发明还提供一种虚拟化警情信息汇集管理方法,请参阅图6,包括如下步骤:
步骤S1、数据摆渡模块11采集数据源中的数据并对采集的数据进行清洗和质量控制;
步骤S2、将步骤S1中处理后的数据根据第一接入规则进行改写和转存并将处理后的数据传输给数据汇集解析模块21;
步骤S3、数据汇集解析模块21根据第二接入规则接收所述数据摆渡模块11传输的数据,并根据数据写规则将所述数据进行汇集,以及制作汇集数据进行保存。
具体的,本发明所述第一接入规则包括数据源的文件格式和元数据、数据采集模式、需转换的数据项及其规则;所述第二接入规则包括数据表URL、元数据结构、表语义分类;所述数据写规则包括存储数据文件类型、存储地址和存储规则。
以上所述本发明的具体实施方式,并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形,均应包含在本发明权利要求的保护范围内。

Claims (10)

1.一种虚拟化警情信息汇集管理装置,其特征在于,包括数据摆渡模块以及与所述数据摆渡模块连接的数据汇集解析模块;其中,
所述数据摆渡模块用以对数据源中的数据进行数据采集并进行转换,以及将转换后的数据传输给所述数据汇集解析模块;
所述数据汇集解析模块用以接收所述数据摆渡模块传输的数据并对所述数据进行汇集。
2.根据权利要求1所述的一种虚拟化警情信息汇集管理装置,其特征在于,所述数据摆渡模块包括:
第一接入单元,用于与提供数据源的网络设备进行通信连接;
数据清洗单元,用于对采集的数据进行清洗和质量控制;
第一接入规则描述单元,用于存储接入所述数据源的第一接入规则;
数据改写和转存单元,用于根据所述第一接入规则对采集的数据进行改写和转存;
第一控制单元,用于根据所述第一接入规则控制采集所述数据并控制所述数据清洗单元对采集的数据进行清洗和质量控制,以及根据所述第一接入规则控制所述数据改写和转存单元对采集的数据进行改写和转存。
3.根据权利要求2所述的一种虚拟化警情信息汇集管理装置,其特征在于,所述第一接入规则包括数据源的文件格式和元数据、数据采集模式、需转换的数据项及其规则。
4.根据权利要求2所述的一种虚拟化警情信息汇集管理装置,其特征在于,所述第一接入单元为有线接入单元或者无线接入单元,所述无线接入单元采用WiFi或者3G/4G无线通信网络。
5.根据权利要求2所述的一种虚拟化警情信息汇集管理装置,其特征在于,所述数据摆渡模块还包括:
电源控制单元,用于提供电源;
第一外接单元,用于与外部显示设备连接;
保密单元,用于对数据进行安全防护;
第一输出单元,与所述数据汇集解析模块连接并进行数据传输。
6.根据权利要求1所述的一种虚拟化警情信息汇集管理装置,其特征在于,所述数据汇集解析模块包括:
第二接入规则描述单元,用于存储接入所述数据摆渡模块的第二接入规则;
数据写规则单元,用于存储汇集数据的数据写规则,所述数据写规则包括存储数据文件类型、存储地址和存储规则;
第二控制单元,用于根据所述第二接入规则接收所述数据摆渡模块传输的数据,并根据所述数据写规则将所述数据进行汇集,以及制作汇集数据进行保存。
7.根据权利要求6所述的一种虚拟化警情信息汇集管理装置,其特征在于,所述第二接入规则包括数据表URL、元数据结构、表语义分类。
8.根据权利要求6所述的一种虚拟化警情信息汇集管理装置,其特征在于,所述数据汇集解析模块还包括:
第二接入单元,用于与所述数据摆渡模块进行通信连接;
第二外接单元,用于与外部显示设备进行连接;
缓存单元,用于根据所述数据写规则对接入的数据进行滚动存储;
第二输出单元,与外部数据存储服务器连接并进行数据传输。
9.一种虚拟化警情信息汇集管理方法,其特征在于,包括:
步骤S1、数据摆渡模块采集数据源中的数据并对采集的数据进行清洗和质量控制;
步骤S2、将步骤S1中处理后的数据根据第一接入规则进行改写和转存并将处理后的数据传输给数据汇集解析模块;
步骤S3、数据汇集解析模块根据第二接入规则接收所述数据摆渡模块传输的数据,并根据数据写规则将所述数据进行汇集,以及制作汇集数据进行保存。
10.根据权利要求9所述的一种虚拟化警情信息汇集管理方法,其特征在于,所述第一接入规则包括数据源的文件格式和元数据、数据采集模式、需转换的数据项及其规则;所述第二接入规则包括数据表URL、元数据结构、表语义分类;所述数据写规则包括存储数据文件类型、存储地址和存储规则。
CN201710279705.5A 2017-04-26 2017-04-26 一种虚拟化警情信息汇集管理装置及方法 Pending CN107426066A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710279705.5A CN107426066A (zh) 2017-04-26 2017-04-26 一种虚拟化警情信息汇集管理装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710279705.5A CN107426066A (zh) 2017-04-26 2017-04-26 一种虚拟化警情信息汇集管理装置及方法

Publications (1)

Publication Number Publication Date
CN107426066A true CN107426066A (zh) 2017-12-01

Family

ID=60425270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710279705.5A Pending CN107426066A (zh) 2017-04-26 2017-04-26 一种虚拟化警情信息汇集管理装置及方法

Country Status (1)

Country Link
CN (1) CN107426066A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109684171A (zh) * 2018-12-17 2019-04-26 珠海格力电器股份有限公司 机组设备的数据监控方法、装置、机组设备及系统
CN112230902A (zh) * 2020-09-16 2021-01-15 四川天翼网络服务有限公司 一种基于钉钉定制的软件开发方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109684171A (zh) * 2018-12-17 2019-04-26 珠海格力电器股份有限公司 机组设备的数据监控方法、装置、机组设备及系统
CN109684171B (zh) * 2018-12-17 2021-01-08 珠海格力电器股份有限公司 机组设备的数据监控方法、装置、机组设备及系统
CN112230902A (zh) * 2020-09-16 2021-01-15 四川天翼网络服务有限公司 一种基于钉钉定制的软件开发方法及系统
CN112230902B (zh) * 2020-09-16 2024-01-16 四川天翼网络服务有限公司 一种基于钉钉定制的软件开发方法及系统

Similar Documents

Publication Publication Date Title
CN109245931B (zh) 基于kubernetes的容器云平台的日志管理和监控报警的实现方法
CN111046011B (zh) 日志收集方法、系统、装置、电子设备及可读存储介质
CN206249316U (zh) 一种基于云端的医院数据中心平台系统
CN102917069B (zh) 与设备无关性的医疗信息采集中间件装置及其设计方法
CN101673192B (zh) 时序化的数据处理方法、装置及系统
CN105608144A (zh) 一种基于多层模型迭代的大数据分析平台装置及方法
CN104142957A (zh) 一种面向区域医疗的数据共享的方法及其系统
CN103064731A (zh) 一种提高消息队列系统性能的装置及其方法
CN102708158B (zh) 一种PostgreSQL云存储归档调度系统
CN103139018B (zh) 一种调变一体化系统下的网卡状态监测与tcp通信方法
CN109407990A (zh) 一种固态硬盘
CN106330963A (zh) 一种跨网络多节点日志采集的方法
CN104392132A (zh) 一种基于云计算的医疗数据存储系统
CN103457836A (zh) 即时通信文件夹的实现方法及客户端
CN103778024A (zh) 服务器系统及其讯息处理方法
CN117194156A (zh) 一种多云平台的统一监控运维管理方法及系统
CN103117878A (zh) 一种基于Nagios的分布式监控系统的设计方法
CN107426066A (zh) 一种虚拟化警情信息汇集管理装置及方法
CN103678522A (zh) 一种智能变电站计量系统数据采集和转换方法
CN104270272A (zh) 一种基于移动Agent的电能质量监测数据管理方案
CN102122430A (zh) 农产品信息采集器及采集方法
CN116805940A (zh) 基于可扩展边缘计算的数据采集系统及方法
CN116451898A (zh) 一种物联网综合运营平台
CN105677853A (zh) 一种基于大数据技术框架的数据存储方法及装置
CN106155921B (zh) 一种信息处理方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171201