CN110502510A - 一种wifi终端设备轨迹数据的实时分析和去重方法及系统 - Google Patents

一种wifi终端设备轨迹数据的实时分析和去重方法及系统 Download PDF

Info

Publication number
CN110502510A
CN110502510A CN201910802247.8A CN201910802247A CN110502510A CN 110502510 A CN110502510 A CN 110502510A CN 201910802247 A CN201910802247 A CN 201910802247A CN 110502510 A CN110502510 A CN 110502510A
Authority
CN
China
Prior art keywords
data
time
day
real
record
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910802247.8A
Other languages
English (en)
Other versions
CN110502510B (zh
Inventor
吴晓梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Linewell Software Co Ltd
Original Assignee
Linewell Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Linewell Software Co Ltd filed Critical Linewell Software Co Ltd
Priority to CN201910802247.8A priority Critical patent/CN110502510B/zh
Publication of CN110502510A publication Critical patent/CN110502510A/zh
Application granted granted Critical
Publication of CN110502510B publication Critical patent/CN110502510B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明属于数据处理技术领域，公开了一种WIFI终端设备轨迹数据的实时分析和去重方法及系统，首先，实时接收从分布式消息中间件服务kafka消费的数据，并将实时数据缓存到Redis内存数据库中；其次，通过实时分析数据的采集时间计算该终端设备的当前记录与上一条该设备的记录的时间差，从而判断当前记录是否属于重新上线的记录，以此获得终端设备的上线时间记录，并更新下线时间记录。本发明可过滤掉上线、下线期间的在线重复数据，大大减少在线记录数据量，解决了WIFI终端设备在线数据量太大的问题，同时减少了冗余数据噪声，增加了数据的业务可分析能力。

Description

一种WIFI终端设备轨迹数据的实时分析和去重方法及系统
技术领域
本发明属于数据处理技术领域，尤其涉及一种WIFI终端设备轨迹数据的实时分析和去重方法及系统。
背景技术
目前，业内常用的现有技术是这样的：
WIFI终端设备数据是由安装在不同采集点的采集设备通过WIFI无线信号实时采集到的终端(如手机)设备实时信息。一条完整的终端记录主要包含了终端信息，终端连接到的接入点信息和虚拟身份信息等。随着采集点位的增加，WIFI终端设备轨迹数据呈现爆发式增长，而采集的每个设备的信息太多不仅增加了服务器的数据存储和查询压力，并且由于太多的噪声数据不能直接获得终端设备的上线和下线信息从而影响了其他业务功能的分析，需要通过一种有效的去重方式来获得没有冗余的设备活动信息以提升业务功能分析能力。
综上所述，现有技术存在的问题是：
(1)WIFI终端设备轨迹数据量太大，影响了服务器的存储和系统的查询效率。
(2)WIFI终端设备轨迹冗余噪声数据太多，影响了数据的业务可分析能力。
(3)现有的技术直接与硬盘交互，并且一次处理一条数据，效率极低，导致kafka数据堆积太多，造成数据滞后。
解决上述技术问题的难度：
本发明不仅需要能够准确的过滤掉多余的数据，并且需要保证数据的实时性。
解决上述技术问题的意义：
本发明解决了对WIFI终端设备轨迹数据的去重，解决了WIFI终端设备轨迹数据量太大、冗余噪声数据太多的问题，同时保证了数据处理的实时性。
发明内容
针对现有技术存在的问题，本发明提供了一种WIFI终端设备轨迹数据的实时分析和去重方法及系统。
本发明是这样实现的，一种WIFI终端设备轨迹数据的实时分析和去重方法，所述WIFI终端设备轨迹数据的实时分析和去重方法包括：
首先，实时接收从分布式消息中间件服务kafka消费的数据，并将实时数据缓存到Redis内存数据库中。
其次，通过实时分析数据的采集时间计算该终端设备的当前记录与上一条该设备的记录的时间差，从而判断当前记录是否属于重新上线的记录，以此获得终端设备的上线时间记录，并更新下线时间记录。
进一步，所述WIFI终端设备轨迹数据的实时分析和去重方法具体包括以下步骤：
步骤一，在Redis内存数据库存储两种key，通过流式计算任务实时从kafka获取wifi终端轨迹数据。
步骤二，对获取的每一条数据，根据数据到Redis获取key1值，通过获得的key1值是否为空判断是否获取到，若没有获取到则可判断该条数据为设备新上线的轨迹数据，并执行步骤三。若有获取到则执行步骤四。
步骤三，将该条数据写入kafka，其中记录的ID加上上线时间。插入Redis的key1值(采集时间和上线时间都为当前数据的采集时间)。通过redis客户端接口获取Redis的key2值，判断是否能得到终端设备上一个在线时间段的最新轨迹数据，如果获取到则将该条轨迹数据写入kafka，并指定一个固定的kafkakey，使数据发送到同一个kafka分区，保证数据的顺序性。写入成功后将key2删除。
步骤四，若有获取到key1值，则将当前终端轨迹数据的采集时间和获取到的key1值的采集时间相减，并判断时间差并执行相应操作。
步骤五，从Redis获取步骤三写入的key2数据，并判断当前记录的采集时间和上线时间是否满足跨天即是否超过1天，如果超过一天则执行步骤六。如果未超过一天，则将数据发送到步骤三的kafka topic中。
步骤六，将跨天数据插入另一个专门的跨天数据kafka topic。同时判断当前采集时间和记录的上一条采集时间是否有跨天，如果有跨天，执行步骤七。如果没有跨天，则不执行任何操作。
步骤七，判断当前采集时间和记录的开始时间是否刚好跨一天。如果刚好跨一天，则删除ES上面最开始的跨天记录(根据开始时间获得ES的文档_id删除)。如果没有刚好跨一天，而是超过一天，则不执行任何操作。
步骤八，从kafka消费没有跨天的数据到指定索引。从kafka消费有跨天的数据到跨天索引中。
进一步，步骤一中，所述两种key具体包括：
所述两种key分别为：key1与key2。
所述key1存储当前终端设备最新的采集时间和上线时间，
所述key2存储当前终端设备最新的一条数据加上该数据的上线时间。
进一步，步骤四中，所述判断时间差并执行相应操作具体包括：
如果时间差超过5分钟，则判断该条数据为设备新上线的轨迹数据，执行步骤三。
如果时间差没有超过5分钟，表示为终端当前时间段的在线轨迹数据，则更新Redis的key1值(采集时间为当前采集时间，上线时间不变)。同时插入Redis的key2值(值为该条数据加上key1的上线时间)。
本发明的另一目的在于提供一种实现任意一项所述WIFI终端设备轨迹数据的实时分析和去重方法的信息数据处理终端。
本发明的另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述的WIFI终端设备轨迹数据的实时分析和去重方法。
本发明的另一目的在于提供一种实现所述WIFI终端设备轨迹数据的实时分析和去重方法的WIFI终端设备轨迹数据的实时分析和去重控制系统。
综上所述，本发明的优点及积极效果为：
本发明首先，实时接收从分布式消息中间件服务kafka消费的数据，并将实时数据缓存到Redis内存数据库中。其次，通过实时分析数据的采集时间计算该终端设备的当前记录与上一条该设备的记录的时间差，从而判断当前记录是否属于重新上线的记录，以此获得终端设备的上线时间记录，并更新下线时间记录。通过上述技术方案，本发明可过滤掉上线、下线期间的在线重复数据，大大减少在线记录数据量，解决了WIFI终端设备在线数据量太大的问题，同时减少了冗余数据噪声，增加了数据的业务可分析能力。
附图说明
图1是本发明实施例提供的WIFI终端设备轨迹数据的实时分析和去重方法流程图。
图2是本发明实施例提供的WIFI终端设备轨迹数据的实时分析和去重方法原理图。
图3是本发明实施例提供的WIFI终端设备轨迹数据的实时分析和去重方法架构流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
下面结合附图对本发明的应用原理做详细描述。
本发明实施例提供的WIFI终端设备轨迹数据的实时分析和去重方法包括：
首先，实时接收从分布式消息中间件服务kafka消费的数据，并将实时数据缓存到Redis内存数据库中。
其次，通过实时分析数据的采集时间计算该终端设备的当前记录与上一条该设备的记录的时间差，从而判断当前记录是否属于重新上线的记录，以此获得终端设备的上线时间记录，并更新下线时间记录。
如图1-图3所示，本发明实施例提供的IFI终端设备轨迹数据的实时分析和去重方法具体包括以下步骤：
S101，在Redis内存数据库存储两种key，实时从kafka获取wifi终端轨迹数据。
S102，对获取的每一条数据，根据数据到Redis获取key1值，判断是否获取到，若没有获取到则可判断该条数据为设备新上线的轨迹数据，并执行步骤S103。若有获取到则执行步骤S104。
S103，将该条数据写入kafka，其中记录的ID加上上线时间。插入Redis的key1值(采集时间和上线时间都为当前数据的采集时间)。获取Redis的key2值，判断是否能得到终端设备上一个在线时间段的最新轨迹数据，如果获取到则将该条轨迹数据写入kafka，并指定一个固定的kafka key，使数据发送到同一个kafka分区，保证数据的顺序性。写入成功后将key2删除。
S104，若有获取到key1值，则将当前终端轨迹数据的采集时间和获取到的key1值的采集时间相减，并判断时间差并执行相应操作。
S105，从Redis获取步骤S103写入的key2数据，并判断当前记录的采集时间和上线时间是否满足跨天即是否超过1天，如果超过一天则执行步骤S106。如果未超过一天，则将数据发送到步骤S103的kafka topic中。
S106，将跨天数据插入另一个专门的跨天数据kafka topic。同时判断当前采集时间和记录的上一条采集时间是否有跨天，如果有跨天，执行步骤S107。如果没有跨天，则不执行任何操作。
S107，判断当前采集时间和记录的开始时间是否刚好跨一天。如果刚好跨一天，则删除ES上面最开始的跨天记录(根据开始时间获得ES的文档_id删除)。如果没有刚好跨一天，而是超过一天，则不执行任何操作。
S108，从kafka消费没有跨天的数据到指定索引。从kafka消费有跨天的数据到跨天索引中。
步骤S101中，本发明实施例提供的两种key具体包括：
所述两种key分别为：key1与key2。
所述key1存储当前终端设备最新的采集时间和上线时间，
所述key2存储当前终端设备最新的一条数据加上该数据的上线时间。
步骤S104中，本发明实施例提供的判断时间差并执行相应操作具体包括：
如果时间差超过5分钟，则判断该条数据为设备新上线的轨迹数据，执行步骤三。
如果时间差没有超过5分钟，表示为终端当前时间段的在线轨迹数据，则更新Redis的key1值(采集时间为当前采集时间，上线时间不变)。同时插入Redis的key2值(值为该条数据加上key1的上线时间)。
下面结合具体实施例对本发明的应用原理做进一步描述。
实施例1
本发明实施例提供的WIFI终端设备的上线和下线数据实时分析和去重方法，包括：
步骤1：实时监听、获取kafka中对应topic的WIFI终端设备轨迹数据，获得终端设备的采集时间，假设是2018-01-01 00:00:05。
步骤2：根据当前记录生成该终端设备在Redis的key1，根据key1从Redis内存数据库获取该终端设备的上线记录。
步骤3：假设步骤2当中，Redis数据库中存在该终端设备的key1值，计算当前记录的采集时间与上线记录的采集时间差，假设key1记录的上线时间为2018-01-01 00:00:10，判断时间差是否超过5分钟。
步骤3.1：超过5分钟为新上线的记录，将该条记录写入kafka，更新Redis该设备的key1值，同时将Redis该设备的key2值写入kafka，并删除key2。
步骤3.2：没有超过5分钟为同一段在线记录，更新Redis key2值。
步骤4：假设步骤2当中，Redis数据库中不存在该终端设备的key1值，则将该设备的当前记录写入kafka，同时把该记录写入Redis该终端设备的key1中。
步骤5：启动定时程序，每隔半小时从Redis获得所有在线设备的在线记录，也就是key2值，判断key2值的设备采集时间和上线时间时间差是否超过1天。
步骤6：假设采集时间与上线时间时间差超过1天，并且刚好等于1天，删除ES上面对应的该设备记录，同时将该条记录发送到kafka的跨天topic中。假设采集时间与上线时间时间差没有刚好等于1天，则直接把该记录发送到kafka的跨天topic中。
步骤7：假设采集时间与上线时间时间差没有超过1天，则把这些数据发送到kafka的非跨天topic中，并删除Redis对应的数据。
步骤8：从kafka消费非跨天的终端设备轨迹数据到非跨天索引中。
步骤9：从kafka消费跨天的终端设备轨迹数据到跨天索引中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种WIFI终端设备轨迹数据的实时分析和去重方法，其特征在于，所述WIFI终端设备轨迹数据的实时分析和去重方法包括：
实时接收从分布式消息中间件服务kafka消费的数据，并将实时数据缓存到Redis内存数据库中；
通过实时分析数据的采集时间计算该终端设备的当前记录与上一条该设备的记录的时间差，判断当前记录是否属于重新上线的记录，获得终端设备的上线时间记录，并更新下线时间记录。
2.如权利要求1所述WIFI终端设备轨迹数据的实时分析和去重方法，其特征在于，所述WIFI终端设备轨迹数据的实时分析和去重方法具体包括以下步骤：
步骤一，在Redis内存数据库存储两种key，实时从kafka获取wifi终端轨迹数据；
步骤二，对获取的每一条数据，根据数据到Redis获取key1值，判断是否获取到，若没有获取到则可判断该条数据为设备新上线的轨迹数据，并执行步骤三；若有获取到则执行步骤四；
步骤三，将该条数据写入kafka，其中记录的ID加上上线时间；插入Redis的key1值；获取Redis的key2值，判断是否能得到终端设备上一个在线时间段的最新轨迹数据，如果获取到则将该条轨迹数据写入kafka，并指定一个固定的kafka key，使数据发送到同一个kafka分区，保证数据的顺序性；写入成功后将key2删除；
步骤四，若有获取到key1值，则将当前终端轨迹数据的采集时间和获取到的key1值的采集时间相减，并判断时间差并执行相应操作；
步骤五，从Redis获取步骤三写入的key2数据，并判断当前记录的采集时间和上线时间是否满足跨天即是否超过1天，如果超过一天则执行步骤六；如果未超过一天，则将数据发送到步骤三的kafka topic中；
步骤六，将跨天数据插入另一个专门的跨天数据kafka topic；同时判断当前采集时间和记录的上一条采集时间是否有跨天，如果有跨天，执行步骤七；如果没有跨天，则不执行任何操作；
步骤七，判断当前采集时间和记录的开始时间是否刚好跨一天；如果刚好跨一天，则删除ES上面最开始的跨天记录；如果没有刚好跨一天，而是超过一天，则不执行任何操作；
步骤八，从kafka消费没有跨天的数据到指定索引；从kafka消费有跨天的数据到跨天索引中。
3.如权利要求2所述WIFI终端设备轨迹数据的实时分析和去重方法，其特征在于，步骤一中，所述两种key具体包括：
所述两种key分别为：key1与key2；
所述key1存储当前终端设备最新的采集时间和上线时间，
所述key2存储当前终端设备最新的一条数据加上该数据的上线时间。
4.如权利要求2所述WIFI终端设备轨迹数据的实时分析和去重方法，其特征在于，步骤四中，所述判断时间差并执行相应操作具体包括：
如果时间差超过5分钟，则判断该条数据为设备新上线的轨迹数据，执行步骤三；
如果时间差没有超过5分钟，表示为终端当前时间段的在线轨迹数据，则更新Redis的key1值；同时插入Redis的key2值。
5.一种实现权利要求1～4任意一项所述WIFI终端设备轨迹数据的实时分析和去重方法的信息数据处理终端。
6.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-7任意一项所述的WIFI终端设备轨迹数据的实时分析和去重方法。
7.一种实现权利要求1～4任意一项所述WIFI终端设备轨迹数据的实时分析和去重方法的WIFI终端设备轨迹数据的实时分析和去重控制系统。
CN201910802247.8A 2019-08-28 2019-08-28 一种wifi终端设备轨迹数据的实时分析和去重方法及系统 Active CN110502510B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910802247.8A CN110502510B (zh) 2019-08-28 2019-08-28 一种wifi终端设备轨迹数据的实时分析和去重方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910802247.8A CN110502510B (zh) 2019-08-28 2019-08-28 一种wifi终端设备轨迹数据的实时分析和去重方法及系统

Publications (2)

Publication Number Publication Date
CN110502510A true CN110502510A (zh) 2019-11-26
CN110502510B CN110502510B (zh) 2022-08-09

Family

ID=68589932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910802247.8A Active CN110502510B (zh) 2019-08-28 2019-08-28 一种wifi终端设备轨迹数据的实时分析和去重方法及系统

Country Status (1)

Country Link
CN (1) CN110502510B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111064634A (zh) * 2019-12-06 2020-04-24 中盈优创资讯科技有限公司 海量物联网终端在线状态的监测方法及装置
CN111177137A (zh) * 2019-12-30 2020-05-19 广州酷狗计算机科技有限公司 数据去重的方法、装置、设备及存储介质
CN113254445A (zh) * 2021-05-26 2021-08-13 平安普惠企业管理有限公司 实时数据存储方法、装置、计算机设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103698775A (zh) * 2014-01-08 2014-04-02 中国有色金属长沙勘察设计研究院有限公司 Gps数据自动采集和转储系统及方法
US20160321308A1 (en) * 2015-05-01 2016-11-03 Ebay Inc. Constructing a data adaptor in an enterprise server data ingestion environment
CN106528847A (zh) * 2016-11-24 2017-03-22 北京集奥聚合科技有限公司 一种海量数据的多维度处理方法及系统
CN106844546A (zh) * 2016-12-30 2017-06-13 江苏号百信息服务有限公司 基于Spark集群的多数据源位置信息融合方法及系统
CN108595611A (zh) * 2018-04-23 2018-09-28 苏州市测绘院有限责任公司 基于一点一景技术时空大数据在线采集系统及其方法
CN109905286A (zh) * 2017-12-11 2019-06-18 北京京东尚科信息技术有限公司 一种监控设备运行状态的方法和系统
CN110109660A (zh) * 2019-05-07 2019-08-09 杭州艾塔科技有限公司 一种监测短信触达效果的系统及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103698775A (zh) * 2014-01-08 2014-04-02 中国有色金属长沙勘察设计研究院有限公司 Gps数据自动采集和转储系统及方法
US20160321308A1 (en) * 2015-05-01 2016-11-03 Ebay Inc. Constructing a data adaptor in an enterprise server data ingestion environment
CN106528847A (zh) * 2016-11-24 2017-03-22 北京集奥聚合科技有限公司 一种海量数据的多维度处理方法及系统
CN106844546A (zh) * 2016-12-30 2017-06-13 江苏号百信息服务有限公司 基于Spark集群的多数据源位置信息融合方法及系统
CN109905286A (zh) * 2017-12-11 2019-06-18 北京京东尚科信息技术有限公司 一种监控设备运行状态的方法和系统
CN108595611A (zh) * 2018-04-23 2018-09-28 苏州市测绘院有限责任公司 基于一点一景技术时空大数据在线采集系统及其方法
CN110109660A (zh) * 2019-05-07 2019-08-09 杭州艾塔科技有限公司 一种监测短信触达效果的系统及方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111064634A (zh) * 2019-12-06 2020-04-24 中盈优创资讯科技有限公司 海量物联网终端在线状态的监测方法及装置
CN111064634B (zh) * 2019-12-06 2021-03-16 中盈优创资讯科技有限公司 海量物联网终端在线状态的监测方法及装置
CN111177137A (zh) * 2019-12-30 2020-05-19 广州酷狗计算机科技有限公司 数据去重的方法、装置、设备及存储介质
CN111177137B (zh) * 2019-12-30 2023-10-13 广州酷狗计算机科技有限公司 数据去重的方法、装置、设备及存储介质
CN113254445A (zh) * 2021-05-26 2021-08-13 平安普惠企业管理有限公司 实时数据存储方法、装置、计算机设备及存储介质
CN113254445B (zh) * 2021-05-26 2024-01-05 禾量科技(上海)有限公司 实时数据存储方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN110502510B (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
KR101956236B1 (ko) 데이터베이스 관리 시스템에서의 데이터 복제 기법
CN110502510A (zh) 一种wifi终端设备轨迹数据的实时分析和去重方法及系统
CN109918349B (zh) 日志处理方法、装置、存储介质和电子装置
CN111064634B (zh) 海量物联网终端在线状态的监测方法及装置
CN113010565B (zh) 基于服务器集群的服务器实时数据处理方法及系统
Medeiros et al. A survey on data analysis on large-Scale wireless networks: online stream processing, trends, and challenges
CN108228322B (zh) 一种分布式链路跟踪、分析方法及服务器、全局调度器
CN105812482B (zh) 通讯信息的共享方法及服务器平台
US11507277B2 (en) Key value store using progress verification
US11044155B2 (en) Utilizing unstructured data in self-organized networks
CN111740868A (zh) 告警数据的处理方法和装置及存储介质
CN112306700A (zh) 一种异常rpc请求的诊断方法和装置
US20130191354A1 (en) System and Method for Information Lifecycle Management of Investigation Cases
CN112306369A (zh) 一种数据处理方法、装置、服务器及存储介质
CN111082956B (zh) 一种事件流处理方法、电子设备和可读存储介质
US11080239B2 (en) Key value store using generation markers
CN108733543A (zh) 一种日志分析的方法、装置、电子设备和可读存储介质
CN114610567A (zh) 容器监控方法、网络设备及存储介质
CN112650755A (zh) 数据存储方法、查询数据的方法、数据库、以及可读介质
JP5956064B2 (ja) 計算機システム、データ管理方法、及び計算機
US11334623B2 (en) Key value store using change values for data properties
CN113783862B (zh) 一种边云协同过程中进行数据校验的方法及装置
CN116010388A (zh) 数据校验方法、数据采集服务端及数据校验系统
CN116016117A (zh) 网络设备运维数据采集方法、系统、电子设备及存储介质
US11259169B2 (en) Highly scalable home subscriber server

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant