CN209373598U - 实时数据与外部数据关联处理系统 - Google Patents

实时数据与外部数据关联处理系统 Download PDF

Info

Publication number
CN209373598U
CN209373598U CN201920233446.7U CN201920233446U CN209373598U CN 209373598 U CN209373598 U CN 209373598U CN 201920233446 U CN201920233446 U CN 201920233446U CN 209373598 U CN209373598 U CN 209373598U
Authority
CN
China
Prior art keywords
data
real time
server
equipment
service cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201920233446.7U
Other languages
English (en)
Inventor
王明兴
陆刚
池汉雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Jia Yi Science And Technology Co Ltd
Original Assignee
Shenzhen Jia Yi Science And Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jia Yi Science And Technology Co Ltd filed Critical Shenzhen Jia Yi Science And Technology Co Ltd
Priority to CN201920233446.7U priority Critical patent/CN209373598U/zh
Application granted granted Critical
Publication of CN209373598U publication Critical patent/CN209373598U/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本实用新型公开一种实时数据与外部数据关联处理系统，包括：采集设备、数据接收服务器、数据存储服务集群、设备信息处理服务器、采集数据实时处理服务集群和结果存储集群；用于采集目标区域内的实时数据以及设备自身的元数据；用于接收采集设备推送的数据；用于拉取和分类存储数据接收服务器接收的数据；用于拉取数据接收服务器接收的数据；用于拉取和处理数据存储服务集群推送的数据，以及定时拉取设备信息处理服务器存储的数据；用于存储采集数据实时处理服务集群推送的数据。本实用新型通过数据处理服务器的内存定时更新外部数据，极大地降低了实时数据处理过程访问外部数据的频率，系统稳定性高，还有效提高系统的数据处理能力。

Description

实时数据与外部数据关联处理系统
技术领域
本实用新型涉及信息技术领域，尤其涉及一种实时数据与外部数据关联处理系统。
背景技术
在一些大数据实时处理系统中，实时数据的处理需要关联外部数据；相对于实时更新的海量实时数据来说，上述外部数据更新频率较低，偶尔才会更新产生新的外部数据；为了获得最新的数据，大数据实时处理系统在处理海量实时数据时，需要频繁的访问外部数据，系统承受压力大，影响系统稳定性；另一方面，例如在一种数据采集的场景中，采集设备相关的元数据较少，并且元数据更新频率很低，偶尔才会有设备元数据的更新，而众多采集设备采集的海量实时数据的实时处理，需要用到分布式架构进行数据并发处理，以此保证系统的数据处理效率；在海量实时数据的处理过程中，还需要用到采集设备的元数据，而访问采集设备的元数据需要跨网络访问，大规模并发跨网络访问采集设备的元数据对系统产生巨大的冲击，降低系统的稳定性，导致系统极大地降低数据处理性能。
因此，现有技术存在缺陷，需要改进。
实用新型内容
本实用新型的目的是克服现有技术的不足，提供一种实时数据与外部数据关联处理系统。
本实用新型的技术方案如下：一种实时数据与外部数据关联处理系统，包括：
若干采集设备，用于采集目标区域内的实时数据以及设备自身的元数据；
数据接收服务器，与所述若干采集设备相连，用于接收所述若干采集设备采集的实时数据以及设备自身的元数据；
设备信息处理服务器，与所述数据接收服务器相连，用于拉取所述数据接收服务器接收的设备自身的元数据；
采集数据实时处理服务集群，分别与所述数据接收服务器和设备信息处理服务器相连，用于拉取和处理所述数据接收服务器接收的实时数据，以及拉取所述设备信息处理服务器存储的数据。
进一步地，所述系统还包括数据存储服务集群，所述数据存储服务集群分别与所述数据接收服务器、设备信息处理服务器和采集数据实时处理服务集群相连，用于分类存储所述数据接收服务器推送的实时数据以及设备自身的元数据。
进一步地，所述数据存储服务集群至少包括一个数据存储服务器。
进一步地，所述系统还包括结果存储集群，所述结果存储集群与所述采集数据实时处理服务集群相连，用于存储所述采集数据实时处理服务集群推送的数据。
进一步地，所述结果存储集群至少包括一个结果存储服务器。
进一步地，所述采集设备包括人脸信息采集设备、智能终端MAC信息采集设备、智能终端IMSI信息采集设备、车牌信息采集设备、设备IMEI信息采集设备以及设备RFID信息采集设备中的一种或多种。
进一步地，所述采集数据实时处理服务集群至少包括一个数据处理服务器。
采用上述方案，本实用新型具有以下有益效果：
1、本实用新型极大地降低了实时数据处理访问外部数据的频率，系统承受冲击压力小，系统稳定性高。
本实用新型包括数据存储服务器、设备信息处理服务器和数据处理服务器，数据处理服务器持续读取数据存储服务器存储的实时数据，并实时处理所读取的实时数据；同时，数据处理服务器定时读取设备信息处理服务器存储的外部数据，并将读取的外部数据传输到数据处理服务器的内存进行数据存储；而在实时数据处理过程需要关联设备的元数据时，数据处理服务器直接从内存中读取外部数据，不与设备信息处理服务器直接交互，极大地降低了系统跨机器访问的交互次数，降低系统读取外部数据所承受的冲击压力，从而提升系统稳定性。
2、本实用新型通过数据处理服务器的内存定时更新外部数据，实时数据处理过程中，数据处理服务器直接从内存中读取外部数据，无需跨网络访问外部数据，耗时短，效率高，极大提升了系统的数据处理能力。
附图说明
为了更清楚地说明本实用新型实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本实用新型的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本实用新型的系统结构示意图。
本实用新型目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
以下结合附图和具体实施例，对本实用新型进行详细说明。
参照图1所示，本实用新型提供一种实时数据与外部数据关联处理系统，用于解决传统系统实时数据处理过程中频繁访问外部数据所造成的系统不稳定以及数据处理性能低下的问题。本实用新型包括：
若干采集设备1，用于采集目标区域内的实时数据以及设备自身的元数据；
数据接收服务器2，与所述若干采集设备1相连，用于接收所述若干采集设备1采集的实时数据以及设备自身的元数据；
设备信息处理服务器4，与所述数据接收服务器2相连，用于拉取所述数据接收服务器2接收的设备自身的元数据；
采集数据实时处理服务集群5，分别与所述数据接收服务器2和设备信息处理服务器4相连，用于拉取和处理所述数据接收服务器2接收的实时数据，以及拉取所述设备信息处理服务器4存储的数据。
作为一种实施例，所述采集设备1包括人脸信息采集设备、智能终端MAC信息采集设备、智能终端IMSI信息采集设备、车牌信息采集设备、设备IMEI信息采集设备以及设备RFID信息采集设备中的一种或多种；所述智能终端MAC信息采集设备可以是手机MAC信息采集设备，所述智能终端智能终端IMSI信息采集设备可以是手机手机IMSI信息采集设备；所述人脸信息采集设备可采集目标区域内的人脸数据，所述手机MAC信息采集设备可采集目标区域内的手机MAC码数据，所述手机手机IMSI信息采集设备可采集目标区域内的手机IMSI码数据，所述车牌信息采集设备可采集目标区域内的车牌数据，所述设备IMEI信息采集设备可采集目标区域内的设备IMEI数据，所述设备RFID信息采集设备可采集目标区域内的电子标签数据。
其中，所述采集设备1采集目标区域内的实时数据包括人脸数据、手机MAC码数据、手机IMSI码数据、车牌数据、设备IMEI数据和电子标签数据中的一种或多种；同时，采集设备1还采集设备自身的元数据，所述元数据包括因设备编码变更、设备位置变更、设备新增以及设备移除产生的自身状态数据。
在本实施例中，所述数据接收服务器2通过MQTT协议与所有采集设备1通讯连接。
作为一种实施例，所述系统还包括数据存储服务集群3，所述数据存储服务集群3分别与所述数据接收服务器2、设备信息处理服务器4和采集数据实时处理服务集群5相连，用于分类存储所述数据接收服务器2推送的实时数据以及设备自身的元数据，，以及等待所述设备信息处理服务器4和采集数据实时处理服务集群5拉取数据。
在本实施例中，所述数据存储服务集群3至少包括一个基于Kafka消息队列的数据存储服务器，所述数据存储服务器用于接收所述数据接收服务器2推送的数据，并根据数据的类型将数据分类存储在所述数据存储服务器的不同主题中。
作为一种实施例，所述设备信息处理服务器4包括设备信息存储装置，所述设备信息存储装置可以是Redis数据服务器；所述设备信息处理服务器4从数据存储服务集群3读取设备自身的元数据，并根据元数据的不同操作类型，将数据更新或新增到所述Redis数据服务器，或将所述Redis数据服务器存储的某个设备的数据删除。
作为一种实施例，所述采集数据实时处理服务集群5包括Spark Streaming集群或Flink集群，并且所述采集数据实时处理服务集群5至少包括一个数据处理服务器，每一数据处理服务器均在服务器内存中存储一份最新的设备元数据，每一数据处理服务器还定时拉取Redis数据服务器存储的数据，并将拉取的数据更新到服务器内存。
在本实施例中，每一数据处理服务器均包括Spark Streaming或Flink数据处理节点，每一数据处理服务器持续读取数据存储服务集群3存储的实时数据，并通过SparkStreaming或Flink数据处理节点进行实时数据处理；而在实时数据处理过程需要关联设备的元数据时，Spark Streaming或Flink数据处理节点可直接读取数据处理服务器内存存储的设备元数据，不与Redis数据服务器直接交互，极大地降低了系统跨机器访问的交互次数，提升系统稳定性；另一方面，因Spark Streaming或Flink数据处理节点是直接读取本地内存数据，也极大提升了系统的数据处理性能。
作为一种实施例，所述系统还包括结果存储集群6，所述结果存储集群6与所述采集数据实时处理服务集群5相连，用于存储所述采集数据实时处理服务集群5推送的数据。
在本实施例中，所述结果存储集群6包括Kudu分布式文件系统、HBase分布式文件系统和HDFS分布式文件系统中的一种或多种，并且所述结果存储集群6至少包括一个结果存储服务器。
与现有技术相比，本实用新型具有以下有益效果：
1、本实用新型极大地降低了实时数据处理访问外部数据的频率，系统承受冲击压力小，系统稳定性高。
本实用新型包括数据存储服务器、设备信息处理服务器和数据处理服务器，数据处理服务器持续读取数据存储服务器存储的实时数据，并实时处理所读取的实时数据；同时，数据处理服务器定时读取设备信息处理服务器存储的外部数据，并将读取的外部数据传输到数据处理服务器的内存进行数据存储；而在实时数据处理过程需要关联设备的元数据时，数据处理服务器直接从内存中读取外部数据，不与设备信息处理服务器直接交互，极大地降低了系统跨机器访问的交互次数，降低系统读取外部数据所承受的冲击压力，从而提升系统稳定性。
2、本实用新型通过数据处理服务器的内存定时更新外部数据，实时数据处理过程中，数据处理服务器直接从内存中读取外部数据，无需跨网络访问外部数据，耗时短，效率高，极大提升了系统的数据处理能力。
以上仅为本实用新型的较佳实施例而已，并不用于限制本实用新型，凡在本实用新型的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本实用新型的保护范围之内。

Claims (7)

1.一种实时数据与外部数据关联处理系统，其特征在于，包括：
若干采集设备，用于采集目标区域内的实时数据以及设备自身的元数据；
数据接收服务器，与所述若干采集设备相连，用于接收所述若干采集设备采集的实时数据以及设备自身的元数据；
设备信息处理服务器，与所述数据接收服务器相连，用于拉取所述数据接收服务器接收的设备自身的元数据；
采集数据实时处理服务集群，分别与所述数据接收服务器和设备信息处理服务器相连，用于拉取和处理所述数据接收服务器接收的实时数据，以及拉取所述设备信息处理服务器存储的数据。
2.根据权利要求1所述的实时数据与外部数据关联处理系统，其特征在于，所述系统还包括数据存储服务集群，所述数据存储服务集群分别与所述数据接收服务器、设备信息处理服务器和采集数据实时处理服务集群相连，用于分类存储所述数据接收服务器推送的实时数据以及设备自身的元数据。
3.根据权利要求1所述的实时数据与外部数据关联处理系统，其特征在于，所述系统还包括结果存储集群，所述结果存储集群与所述采集数据实时处理服务集群相连，用于存储所述采集数据实时处理服务集群推送的数据。
4.根据权利要求1所述的实时数据与外部数据关联处理系统，其特征在于，所述采集设备包括人脸信息采集设备、智能终端MAC信息采集设备、智能终端IMSI信息采集设备、车牌信息采集设备、设备IMEI信息采集设备以及设备RFID信息采集设备中的一种或多种。
5.根据权利要求1所述的实时数据与外部数据关联处理系统，其特征在于，所述采集数据实时处理服务集群至少包括一个数据处理服务器。
6.根据权利要求2所述的实时数据与外部数据关联处理系统，其特征在于，所述数据存储服务集群至少包括一个数据存储服务器。
7.根据权利要求3所述的实时数据与外部数据关联处理系统，其特征在于，所述结果存储集群至少包括一个结果存储服务器。
CN201920233446.7U 2019-02-21 2019-02-21 实时数据与外部数据关联处理系统 Active CN209373598U (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201920233446.7U CN209373598U (zh) 2019-02-21 2019-02-21 实时数据与外部数据关联处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201920233446.7U CN209373598U (zh) 2019-02-21 2019-02-21 实时数据与外部数据关联处理系统

Publications (1)

Publication Number Publication Date
CN209373598U true CN209373598U (zh) 2019-09-10

Family

ID=67827224

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201920233446.7U Active CN209373598U (zh) 2019-02-21 2019-02-21 实时数据与外部数据关联处理系统

Country Status (1)

Country Link
CN (1) CN209373598U (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111104233A (zh) * 2019-11-21 2020-05-05 深圳前海环融联易信息科技服务有限公司 数据采集方法、装置、计算机设备及计算机可读存储介质
CN111131501A (zh) * 2019-12-31 2020-05-08 郑州信大捷安信息技术股份有限公司 一种基于mqtt协议的消息推送系统及方法
CN112699101A (zh) * 2021-01-18 2021-04-23 深圳市至简科技设计有限公司 基于存储与处理的服务器系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111104233A (zh) * 2019-11-21 2020-05-05 深圳前海环融联易信息科技服务有限公司 数据采集方法、装置、计算机设备及计算机可读存储介质
CN111104233B (zh) * 2019-11-21 2023-09-26 深圳前海环融联易信息科技服务有限公司 数据采集方法、装置、计算机设备及计算机可读存储介质
CN111131501A (zh) * 2019-12-31 2020-05-08 郑州信大捷安信息技术股份有限公司 一种基于mqtt协议的消息推送系统及方法
CN111131501B (zh) * 2019-12-31 2022-03-15 郑州信大捷安信息技术股份有限公司 一种基于mqtt协议的消息推送系统及方法
CN112699101A (zh) * 2021-01-18 2021-04-23 深圳市至简科技设计有限公司 基于存储与处理的服务器系统

Similar Documents

Publication Publication Date Title
CN209373598U (zh) 实时数据与外部数据关联处理系统
CN102592422B (zh) 集中抄表系统采集器及电表资产编号搜集管理方法
CN103645904B (zh) 一种接口调用的缓存实现方法
CN102662988A (zh) 一种用于rfid中间件的冗余数据过滤方法
CN104038529B (zh) 基于游客位置的旅游信息实时推送系统及方法
CN107071006A (zh) 一种面向航道大数据的采集系统及采集方法
CN110320853A (zh) 一种plc数据采集分析方法及系统
CN103279747A (zh) 基于云端识别的手机指纹识别系统及方法
CN104866528B (zh) 多平台数据采集方法及系统
CN107506438A (zh) 一种用于物联网的数据处理存储方法以及装置
CN103136225B (zh) 一种互联网图片转换的方法和系统
CN113053090B (zh) 智能电表分布式数据集抄系统和方法
CN114167794A (zh) 一种智能电表远程数据采集系统及数据采集方法
CN105306891A (zh) 一种监控预警方法、装置和系统
CN105095224A (zh) 一种在移动通信网络中进行olap分析的方法、装置和系统
CN204790999U (zh) 一种工业大数据收集和处理系统
CN208210014U (zh) 基于消息队列的嵌入式设备数据保存系统
CN103325277A (zh) 一种引导停车系统及工作流程
CN208044654U (zh) 物品回收系统及垃圾回收设备
CN108512931A (zh) 一种基于nb-iot的公寓锁管理系统
CN107967367A (zh) 一种地理信息加工处理系统
CN112596682B (zh) 一种区块链用存储装置及存储方法
CN104240476B (zh) 基于TG‑Inwicos的II型采集器实现远距离通信的方法与系统
CN208477677U (zh) 一种轻型开票盘组装置
CN210136502U (zh) 一种快递件查询设备

Legal Events

Date Code Title Description
GR01 Patent grant
GR01 Patent grant