CN115221134B - 一种车联网数据的分布式实时压缩方法、装置及存储介质 - Google Patents

一种车联网数据的分布式实时压缩方法、装置及存储介质 Download PDF

Info

Publication number
CN115221134B
CN115221134B CN202210840831.4A CN202210840831A CN115221134B CN 115221134 B CN115221134 B CN 115221134B CN 202210840831 A CN202210840831 A CN 202210840831A CN 115221134 B CN115221134 B CN 115221134B
Authority
CN
China
Prior art keywords
data
real
time
compression
compressing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210840831.4A
Other languages
English (en)
Other versions
CN115221134A (zh
Inventor
王杰
王小林
李晓鹏
杨盼龙
王继君
孟宪芳
冶少刚
邱梅芳
曾小丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Tianxingjian Networking Information Technology Co ltd
Original Assignee
Shaanxi Tianxingjian Networking Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Tianxingjian Networking Information Technology Co ltd filed Critical Shaanxi Tianxingjian Networking Information Technology Co ltd
Priority to CN202210840831.4A priority Critical patent/CN115221134B/zh
Publication of CN115221134A publication Critical patent/CN115221134A/zh
Application granted granted Critical
Publication of CN115221134B publication Critical patent/CN115221134B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00—Information sensed or collected by the things
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04—Protocols for data compression, e.g. ROHC
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5018—Thread allocation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种车联网数据的分布式实时压缩方法、装置及存储介质，属于车联网数据处理领域，包括网关实时接收车载终端上报的海量数据，并将数据分发至KAFKA集群；订阅KAFKA按照业务标签分类的相关主题，按照相关主题的分区消费数据，并将消费出来的数据实时写入本地磁盘；对写入本地磁盘中的数据进行实时压缩，包括：采用分布式多线程对本地磁盘中的数据进行压缩，压缩过程中每个线程产生一个子文件；将产生的子文件上传至集群HDFS，利用定时任务每天将7天前的数据进行滚动合并，最终每天产生一个总文件。该方法采用实时压缩框架，可以对海量车联网数据实现实时采集、压缩以及归档，存储延迟小，减小硬盘空间占用率。

Description

一种车联网数据的分布式实时压缩方法、装置及存储介质
技术领域
本发明属于车联网数据处理技术领域，具体涉及一种车联网数据的分布式实时压缩方法、装置及计算机可读存储介质。
背景技术
随着云计算、大数据和物联网的兴起，作为物联网的分支在汽车领域的发展，车联网也应运而生。车联网是以行驶中的车辆作为信息感知对象，借助新一代信息通信技术，实现车与人、路以及服务平台之间的网络连接，提升车辆整体的智能驾驶水平，为用户提供安全、舒适、智能、高效的驾驶感受与交通服务，同时提高交通运行效率。
但由于车联网平台的快速发展以及车辆智能驾驶技术的提高，每一辆搭载车联网技术的车辆都会实时上报海量数据，针对海量车联网数据的处理以及存储也出现了一些技术难题。
传统的存储技术为方便应用查询或者使用，对数据按天进行存储，到第二天凌晨对前一天的数据进行压缩处理。这种存储技术存在延迟大，占用硬盘空间大的问题。同时传统的压缩都是长时间的大文件压缩，不利于分布式场景的使用。
发明内容
为了克服上述现有技术存在的不足，本发明提供了一种车联网数据的分布式实时压缩方法、装置及存储介质。
为了实现上述目的，本发明提供如下技术方案：
一种车联网数据的分布式实时压缩方法，包括以下步骤：
网关实时接收车载终端上报的海量数据，并将接收到的数据分发至KAFKA集群；
订阅KAFKA按照业务标签分类的相关主题，按照相关主题的分区消费数据，并将消费出来的数据实时写入本地磁盘；
对写入本地磁盘中的数据进行实时压缩，压缩步骤包括：
采用分布式多线程对本地磁盘中的数据进行压缩，压缩过程中每个线程产生一个子文件；
将产生的子文件上传至集群HDFS，利用定时任务每天将N天前的数据进行滚动合并，最终每天产生一个总文件。
优选地，所述利用定时任务每天将N天前的数据进行滚动合并，其中N为7。
优选地，所述采用分布式多线程对本地磁盘中的数据进行压缩的过程中，集群各个节点存在两个进程，一个进程负责实时数据压缩，一个进程负责历史数据压缩。
优选地，所述实时数据压缩的主线程扫描本地磁盘半小时之前以及两小时之内的数据，获取所有能够压缩文件的目标地址，再按照不同地址在集群多个节点启动多个线程压缩实时数据，最后将压缩完成的数据上传至HDFS统一归档；
所述历史数据压缩的主线程扫描本地磁盘两小时之前的数据，获取所有能够压缩文件的目标地址，再按照不同地址在集群多个节点启动多个线程压缩历史数据，最后将压缩完成的数据上传至HDFS统一归档。
优选地，所述利用定时任务每天将7天前的数据进行滚动合并的过程中，所述数据包括7天之内存在的补报数据。
优选地，还包括对灾备的处理，处理内容具体包括：如果出现机器故障，或者程序意外，导致实时存储或者压缩出现延迟或者部分数据未能及时处理，灾备机制手动启动，支持从KAFKA到本地缓存的故障消费处理、从本地缓存到实时压缩的故障数据处理及最终压缩的合并故障部分处理。
优选地，还包括对整个存储、压缩和灾备过程的全生命周期的管控，管控内容具体包括：数据从KAFKA消费至本地缓存，每个节点的写入进度，异常日志；数据从本地缓存到压缩文件的进度，每个节点的异常日志；手动配置数据源的配置服务节点、消费的主题、节点均衡的配置策略。
本发明的另一目的在于提供一种车联网数据的分布式实时压缩装置，包括：
网关单元，网关实时接收车载终端上报的海量数据，并将接收到的数据分发至KAFKA集群；
数据消费模块，用于订阅KAFKA按照业务标签分类的相关主题，按照相关主题的分区消费数据，并将消费出来的数据实时写入本地磁盘；
数据压缩单元，用于对写入本地磁盘中的数据进行实时压缩，压缩步骤包括：
采用分布式多线程对本地磁盘中的数据进行压缩，压缩过程中每个线程产生一个子文件；
将产生的子文件上传至集群HDFS，利用定时任务每天将N天前的数据进行滚动合并，最终每天产生一个总文件。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述方法的步骤。
本发明提供的车联网数据的分布式实时压缩方法和装置具有以下有益效果：
(1)本发明采用实时压缩框架，可以在海量车联网数据的情况下实现实时采集、实时压缩以及实时归档，大大减少了各个环节之间的延迟，减小硬盘空间占用率。
(2)本发明采用的框架为分布式框架，在程序执行流程中会将KAFKA数据切分后进行压缩，在文件压缩完成之后会定时执行文件合并，可充分调度集群资源，并且可按照不同资源情况分配不同压力，大大减少了以往车联网数据从采集到入库到压缩再到计算的时间，为后续的实时计算提供了数据支持。
附图说明
为了更清楚地说明本发明实施例及其设计方案，下面将对本实施例所需的附图作简单地介绍。下面描述中的附图仅仅是本发明的部分实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1的车联网数据的分布式实时压缩方法的流程图；
图2为数据压缩框图；
图3为数据压缩进程图；
图4为数据合并流程图；
图5为管理监控流程框架图。
具体实施方式
为了使本领域技术人员更好的理解本发明的技术方案并能予以实施，下面结合附图和具体实施例对本发明进行详细说明。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例1
本发明提供了一种车联网数据的分布式实时压缩方法，具体如图1至图4所示，本发明基于现有车联网框架基础，框架整体分为五个部分，具体的：
第一部分为车载终端连接网关实时上报海量数据，网关将接收到的数据分发至KAFKA集群，由本框架订阅KAFKA按照业务标签分类的相关主题，按照相关主题的分区消费数据，并将消费出来的数据实时写入本地磁盘。
第二部分为核心压缩部分，具体为对写入本地磁盘中的数据进行实时压缩。
本实施例采用分布式多线程对本地磁盘中的数据进行压缩的过程中，集群各个节点存在两个进程，一个进程负责实时数据的压缩，一个进程负责历史数据的压缩。实时数据压缩进程存在一个主线程，此线程扫描本地磁盘半小时之前以及两小时之内的数据，获取所有能够压缩文件的目标地址，再按照不同地址在集群多个节点启动多个线程压缩实时数据，最后将压缩完成的数据上传至HDFS统一归档；历史进程也存在一个主线程，扫描本地磁盘两小时之前的数据，获取所有能够压缩文件的目标地址，再按照不同地址在集群多个节点启动多个线程压缩历史数据，最后将压缩完成的数据上传至HDFS统一归档。本发明采用的框架分实时数据压缩和历史数据压缩，当程序发生错误或机器故障时，此框架可保证程序恢复之后实时数据不积压不延迟，历史数据交由独立进程单独压缩处理。
第三部分为HDFS子文件合并部分，如图4所示，本发明采用的是分布式多线程压缩文件，第二部分每个线程产生一个子文件(小文件)并上传至HDFS，这样势必会导致HDFS产生大量子文件，这与HDFS的设计初衷不符，因此本发明利用定时任务每天将N天前的(N天之内存在补报数据)数据进行滚动合并，最终每天只产生一个总文件(大文件)。本实施例中，具体为每天将7天前的数据进行滚动合并。
本发明采用实时压缩框架大大减少了以往车联网数据从采集到入库到压缩再到计算的时间，为后续的实时计算提供了数据支持。
本发明提出的这种实时压缩框架，可以在海量车联网数据的情况下实现实时采集，实时压缩以及实时归档，解决了传统存储技术延迟大，占用硬盘空间大的问题，方便了后续基于海量车联网数据的计算与分析。
如图3所示，第四部分是在第三部分的基础之上添加了灾备的处理，处理内容具体包括如果出现机器故障，或者程序意外，导致了实时存储或者压缩出现延迟或者部分数据未能及时处理，灾备机制可以手动启动，可以支持从KAFKA到本地缓存的故障消费处理，可以支持从本地缓存到实时压缩的故障数据处理，可以支持最终压缩的合并故障部分处理。这样做的好处是，如果由于以上种种原因导致部分数据处理故障，不影响第三部分介绍的实时压缩主体程序，故障部分后置补充，完后和实时数据合为一体。不影响数据的完整性和实时使用性。
如图5所示，第五部分是对整个存储、压缩和灾备过程的全生命周期的管控，管控内容具体包括数据从KAFKA消费至本地缓存，每个节点的写入进度，异常日志；数据从本地缓存到压缩文件的进度，每个节点的异常日志；数据源的配置服务节点，消费的主题，节点均衡的配置策略都是可以手动配置的。此框架配备监控管理界面，对于程序版本发布、集群环境配置、KAFKA消费情况以及实时压缩情况均可在管理界面操作监控。
本发明的另一目的在于提供一种车联网数据的分布式实时压缩装置，包括网关单元、数据消费模块、数据压缩单元。
网关单元的网关实时接收车载终端上报的海量数据，并将接收到的数据分发至KAFKA集群；数据消费模块用于订阅KAFKA按照业务标签分类的相关主题，按照相关主题的分区消费数据，并将消费出来的数据实时写入本地磁盘；数据压缩单元用于对写入本地磁盘中的数据进行实时压缩，压缩步骤包括：
采用分布式多线程对本地磁盘中的数据进行压缩，压缩过程中每个线程产生一个子文件。
将产生的子文件上传至集群HDFS，利用定时任务每天将N天前的数据进行滚动合并，最终每天产生一个总文件。
本发明还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上述车联网数据的分布式实时压缩方法。
本发明在数据存储上实现了优化，可以做到压缩半小时的文件，手动配置支持到2分钟的近实时压缩，并且数据可以随时查询和使用；相比之下此发明压缩的源文件都是子文件，不管是压缩效率还是压缩过程占用的cpu资源或者磁盘临时空间都较小。
以上所述实施例仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，任何熟悉本领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换，均属于本发明的保护范围。

Claims (7)

1.一种车联网数据的分布式实时压缩方法，其特征在于，包括以下步骤：
网关实时接收车载终端上报的海量数据，并将接收到的数据分发至KAFKA集群；
订阅KAFKA按照业务标签分类的相关主题，按照相关主题的分区消费数据，并将消费出来的数据实时写入本地磁盘；
对写入本地磁盘中的数据进行实时压缩，压缩步骤包括：
采用分布式多线程对本地磁盘中的数据进行压缩，压缩过程中每个线程产生一个子文件；
将产生的子文件上传至集群HDFS，利用定时任务每天将N天前的数据进行滚动合并，最终每天产生一个总文件；
所述采用分布式多线程对本地磁盘中的数据进行压缩的过程中，集群各个节点存在两个进程，一个进程负责实时数据压缩，一个进程负责历史数据压缩；
所述实时数据压缩的主线程扫描本地磁盘半小时之前以及两小时之内的数据，获取所有能够压缩文件的目标地址，再按照不同地址在集群多个节点启动多个线程压缩实时数据，最后将压缩完成的数据上传至HDFS统一归档；
所述历史数据压缩的主线程扫描本地磁盘两小时之前的数据，获取所有能够压缩文件的目标地址，再按照不同地址在集群多个节点启动多个线程压缩历史数据，最后将压缩完成的数据上传至HDFS统一归档。
2.根据权利要求1所述的车联网数据的分布式实时压缩方法，其特征在于，所述利用定时任务每天将N天前的数据进行滚动合并，其中N为7。
3.根据权利要求2所述的车联网数据的分布式实时压缩方法，其特征在于，所述利用定时任务每天将7天前的数据进行滚动合并的过程中，所述数据包括7天之内存在的补报数据。
4.根据权利要求1所述的车联网数据的分布式实时压缩方法，其特征在于，还包括对灾备的处理，处理内容具体包括：如果出现机器故障，或者程序意外，导致实时存储或者压缩出现延迟或者部分数据未能及时处理，灾备机制手动启动，支持从KAFKA到本地缓存的故障消费处理、从本地缓存到实时压缩的故障数据处理及最终压缩的合并故障部分处理。
5.根据权利要求4所述的车联网数据的分布式实时压缩方法，其特征在于，还包括对整个存储、压缩和灾备过程的全生命周期的管控，管控内容具体包括：数据从KAFKA消费至本地缓存，每个节点的写入进度，异常日志；数据从本地缓存到压缩文件的进度，每个节点的异常日志；手动配置数据源的配置服务节点、消费的主题、节点均衡的配置策略。
6.一种根据权利要求1所述的车联网数据的分布式实时压缩方法的压缩装置，其特征在于，包括：
网关单元，网关实时接收车载终端上报的海量数据，并将接收到的数据分发至KAFKA集群；
数据消费模块，用于订阅KAFKA按照业务标签分类的相关主题，按照相关主题的分区消费数据，并将消费出来的数据实时写入本地磁盘；
数据压缩单元，用于对写入本地磁盘中的数据进行实时压缩，压缩步骤包括：
采用分布式多线程对本地磁盘中的数据进行压缩，压缩过程中每个线程产生一个子文件；
将产生的子文件上传至集群HDFS，利用定时任务每天将N天前的数据进行滚动合并，最终每天产生一个总文件。
7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。
CN202210840831.4A 2022-07-18 2022-07-18 一种车联网数据的分布式实时压缩方法、装置及存储介质 Active CN115221134B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210840831.4A CN115221134B (zh) 2022-07-18 2022-07-18 一种车联网数据的分布式实时压缩方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210840831.4A CN115221134B (zh) 2022-07-18 2022-07-18 一种车联网数据的分布式实时压缩方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN115221134A CN115221134A (zh) 2022-10-21
CN115221134B true CN115221134B (zh) 2023-05-05

Family

ID=83611417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210840831.4A Active CN115221134B (zh) 2022-07-18 2022-07-18 一种车联网数据的分布式实时压缩方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN115221134B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106330995A (zh) * 2015-06-19 2017-01-11 陕西重型汽车有限公司 用于车联网的三级数据压缩装置及其方法
CN109542733A (zh) * 2018-12-05 2019-03-29 焦点科技股份有限公司 一种高可靠的实时日志收集及可视化检索方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102497450B (zh) * 2011-12-28 2015-02-11 北京华电天仁电力控制技术有限公司 一种基于两级体系的分布式数据压缩处理方法
CN105847174B (zh) * 2016-04-25 2018-09-11 哈尔滨理工大学 一种基于陆空一体化车联网系统的数据压缩传输方法
US20180300087A1 (en) * 2017-04-14 2018-10-18 Datera, Inc. System and method for an improved real-time adaptive data compression
CN110347342A (zh) * 2019-07-12 2019-10-18 上海英方软件股份有限公司 一种基于磁盘队列实现Kafka集群同步的方法及系统
CN112181920A (zh) * 2020-09-24 2021-01-05 陕西天行健车联网信息技术有限公司 一种车联网大数据高性能压缩存储方法及系统
CN112507003A (zh) * 2021-02-03 2021-03-16 江苏海平面数据科技有限公司 一种基于大数据架构的车联网数据分析平台
CN114328784A (zh) * 2021-12-27 2022-04-12 中科星图股份有限公司 一种基于时空数据库的轨迹多维度分布式压缩方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106330995A (zh) * 2015-06-19 2017-01-11 陕西重型汽车有限公司 用于车联网的三级数据压缩装置及其方法
CN109542733A (zh) * 2018-12-05 2019-03-29 焦点科技股份有限公司 一种高可靠的实时日志收集及可视化检索方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Jean Ibarz 等.Optimizing Vehicle-to-Cloud Data Transfers using Soft Real-Time Scheduling Concepts.《RTNS 2020: Proceedings of the 28th International Conference on Real-Time Networks and Systems》.2020,161–171. *
于福奎.建筑用电设备物联网的实时数据库应用研究.《中国优秀硕士学位论文全文数据库 信息科技辑》.2015,I138-1520. *

Also Published As

Publication number Publication date
CN115221134A (zh) 2022-10-21

Similar Documents

Publication Publication Date Title
JP6404907B2 (ja) 効率的な読み取り用レプリカ
CN108920153B (zh) 一种基于负载预测的Docker容器动态调度方法
US11579981B2 (en) Past-state backup generator and interface for database systems
US20220188196A1 (en) Continuous data protection
CN103944981A (zh) 一种基于纠删码技术改进的云存储系统及实现方法
US9037905B2 (en) Data processing failure recovery method, system and program
CN109388481B (zh) 一种事务信息的传输方法、系统、装置、计算设备和介质
CN104899274A (zh) 一种内存数据库高效远程访问方法
CN108737566B (zh) 一种分布式的实时消息过滤系统
CN111506649A (zh) 交易数据容灾切换方法、装置及计算设备、存储介质
CN110609782A (zh) 基于大数据的微服务优化系统及方法
CN111177254A (zh) 一种异构关系型数据库之间数据同步的方法和装置
CN111913933A (zh) 基于统一支撑平台的电网历史数据管理方法及系统
CN115292414A (zh) 一种业务数据同步到数仓的方法
CN111651302A (zh) 分布式数据库备份方法，装置及系统
CN114090529A (zh) 一种日志管理方法、装置、系统和存储介质
CN111405020B (zh) 基于消息队列和fastDFS微服务架构的异步文件导出方法及系统
CN1275476C (zh) 移动通讯系统中使用共享内存的群集系统及其实现方法
CN115221134B (zh) 一种车联网数据的分布式实时压缩方法、装置及存储介质
CN114489501A (zh) 一种实时大数据处理系统和方法
US11297123B1 (en) Fault-tolerant data stream processing
CN111475333B (zh) 一种基于openstack的数据库备份方法及装置
CN108733808A (zh) 大数据软件系统切换方法、系统、终端设备及存储介质
CN116701352A (zh) 一种数据库数据迁移方法及系统
CN110019045B (zh) 日志落地方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant