CN112148513B - 单点服务数据的转储方法、装置及存储介质 - Google Patents

单点服务数据的转储方法、装置及存储介质 Download PDF

Info

Publication number
CN112148513B
CN112148513B CN201910578540.0A CN201910578540A CN112148513B CN 112148513 B CN112148513 B CN 112148513B CN 201910578540 A CN201910578540 A CN 201910578540A CN 112148513 B CN112148513 B CN 112148513B
Authority
CN
China
Prior art keywords
service data
point service
data
point
distributed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910578540.0A
Other languages
English (en)
Other versions
CN112148513A (zh
Inventor
崔轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910578540.0A priority Critical patent/CN112148513B/zh
Publication of CN112148513A publication Critical patent/CN112148513A/zh
Application granted granted Critical
Publication of CN112148513B publication Critical patent/CN112148513B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0766Error or fault reporting or storing
    • G06F11/0778Dumping, i.e. gathering error/state information after a fault for later diagnosis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提出一种单点服务数据的转储方法、装置及计算机可读存储介质。其中单点服务数据的转储方法包括:创建服务器守护进程;利用所述服务器守护进程从单点服务器中读取一个或多个单点服务对应的单点服务数据;将读取的所述单点服务数据转储到分布式数据库中。本发明实施例可以用于多机房跨网络受限的数据传输场景,可以以一个独立开放模块的形式提供给下游系统插拔式使用。可以支持一种或多种数据源,能够大大提升系统的兼容性和扩展性。可有效避免单点服务存在的单点故障,避免单点服务压力过大以及数据超限造成的读取数据超时等问题的发生。

Description

单点服务数据的转储方法、装置及存储介质
技术领域
本发明涉及信息技术领域,尤其涉及一种单点服务数据的转储方法、装置及计算机可读存储介质。
背景技术
在大数据场景下的单点服务通常存在单点故障、单点服务压力过大以及数据超限造成的读取数据超时等问题。例如,公安场景下的大数据应用一般需要在不同局域网之间进行数据传输。由于技术限制与安全保密性的需求,导致传输方式有限。通常的传输方式是不同局域网之间通过交换平台进行单点服务对单点服务的数据传输。但是,在大数据应用场景下采用单点服务作为数据提供方容易造成单点故障,并且单节点采用集群式读取对服务压力过大。例如当单点服务存储的记录数目超过1000W的时候读取速度已经接近不可接受的边缘,因此提供一种切实可用的数据转储方式是目前亟待解决的问题。
综上,现有单点数据服务容易造成单点故障,当服务异常时无法提供数据服务,易造成整个集群的故障。并且当数据量持续增大时单点服务时间会成倍增长,造成读取数据的瓶颈。
发明内容
本发明实施例提供一种单点服务数据的转储方法、装置、内容安全防火墙及计算机可读存储介质,以解决现有技术中的一个或多个技术问题。
第一方面,本发明实施例提供了一种单点服务数据的转储方法,包括:
创建服务器守护进程;
利用所述服务器守护进程从单点服务器中读取一个或多个单点服务对应的单点服务数据;
将读取的所述单点服务数据转储到分布式数据库中。
在一种实施方式中,所述服务器守护进程运行于单点服务器上;利用所述服务器守护进程从单点服务器中读取一个或多个单点服务对应的单点服务数据,包括:
利用所述服务器守护进程,按照预设的第一时间周期将所述单点服务数据读取到单节点服务器的内存中。
在一种实施方式中,分布式数据库包括分布式文件系统;将读取的所述单点服务数据转储到分布式数据库中,包括:
按照预设的第二时间周期,或者在读取的所述单点服务数据达到预设的数据量阈值的情况下,将所述单点服务数据批量导出到分布式文件系统中,所述分布式文件系统用于提供数据读取服务。
在一种实施方式中,分布式数据库包括分布式检索系统;将读取的所述单点服务数据转储到分布式数据库中,包括:
实时导出所述单点服务数据到所述分布式检索系统中,所述分布式检索系统用于提供数据查询服务。
在一种实施方式中,将读取的所述单点服务数据转储到分布式数据库中之后,所述方法还包括:
为导出成功的所述单点服务数据添加导出标记;
定期删除带有所述导出标记的所述单点服务数据。
第二方面,本发明实施例提供了一种单点服务数据的转储装置,包括:
创建单元,用于创建服务器守护进程;
读取单元,用于:利用所述服务器守护进程从单点服务器中读取一个或多个单点服务对应的单点服务数据;
转储单元,用于将读取的所述单点服务数据转储到分布式数据库中。
在一种实施方式中,所述服务器守护进程运行于单点服务器上;所述读取单元用于:
利用所述服务器守护进程,按照预设的第一时间周期将所述单点服务数据读取到单节点服务器的内存中。
在一种实施方式中,分布式数据库包括分布式文件系统;所述转储单元用于:
按照预设的第二时间周期,或者在读取的所述单点服务数据达到预设的数据量阈值的情况下,将所述单点服务数据批量导出到分布式文件系统中,所述分布式文件系统用于提供数据读取服务。
在一种实施方式中,分布式数据库包括分布式检索系统;所述转储单元用于:
实时导出所述单点服务数据到所述分布式检索系统中,所述分布式检索系统用于提供数据查询服务。
在一种实施方式中,所述装置还包括:
标记单元,用于:将读取的所述单点服务数据转储到分布式数据库中之后,为导出成功的所述单点服务数据添加导出标记;
删除单元,用于定期删除带有所述导出标记的所述单点服务数据。
第三方面,本发明实施例提供了一种单点服务数据的转储装置,所述装置的功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
在一个可能的设计中,所述装置的结构中包括处理器和存储器,所述存储器用于存储支持所述装置执行上述单点服务数据的转储方法的程序,所述处理器被配置为用于执行所述存储器中存储的程序。所述装置还可以包括通信接口,用于与其他设备或通信网络通信。
第四方面,本发明实施例提供了一种计算机可读存储介质,用于存储单点服务数据的转储装置所用的计算机软件指令,其包括用于执行上述单点服务数据的转储方法所涉及的程序。
第五方面,本发明实施例提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现如上所述的方法。
上述技术方案中具有如下优点或有益效果:可以用于多机房跨网络受限的数据传输场景,可以以一个独立开放模块的形式提供给下游系统插拔式使用。可以支持一种或多种数据源,能够大大提升系统的兼容性和扩展性。可有效避免单点服务存在的单点故障,避免单点服务压力过大以及数据超限造成的读取数据超时等问题的发生。
上述概述仅仅是为了说明书的目的,并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外,通过参考附图和以下的详细描述,本发明进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中,除非另外规定,否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解,这些附图仅描绘了根据本发明公开的一些实施方式,而不应将其视为是对本发明范围的限制。
图1示出根据本发明实施例的单点服务数据的转储方法的流程图。
图2示出根据本发明另一实施例的单点服务数据的转储方法的流程图。
图3示出根据本发明实施例的单点服务数据的转储方法的应用示意图。
图4示出根据本发明实施例的单点服务数据的转储装置的结构框图。
图5示出根据本发明另一实施例的单点服务数据的转储装置的结构框图。
图6示出根据本发明又一实施例的单点服务数据的转储装置的结构框图。
具体实施方式
在下文中,仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样,在不脱离本发明的精神或范围的情况下,可通过各种不同方式修改所描述的实施例。因此,附图和描述被认为本质上是示例性的而非限制性的。
图1示出根据本发明实施例的单点服务数据的转储方法的流程图。如图1所示,该单点服务数据的转储方法包括:
步骤S110,创建服务器守护进程;
步骤S120,利用所述服务器守护进程从单点服务器中读取一个或多个单点服务对应的单点服务数据;
步骤S130,将读取的所述单点服务数据转储到分布式数据库中。
在大数据场景下的单点服务容易发生单点故障、单点服务压力过大以及数据超限造成的读取数据超时等问题。有鉴于此,本发明实施例通过守护进程的方式将单点服务中的数据定期读出,并转储到一个或者多个不同的分布式数据库中,方便后续进行大数据场景下的数据应用。
其中,守护进程是一类在后台运行的特殊进程,用于执行特定的系统任务。守护进程在系统引导的时候启动,并且一直运行直到系统关闭。
在本发明实施例中,可利用守护进程将从局域网上传到单节点服务器上的数据,读取到单节点服务器的内存中,并且利用守护进程将上述单点服务数据转储到多种分布式数据库中。由于守护进程一直处于运行状态,可保证上述读取和转储数据的操作持续进行、不会中断。
以上方法通过守护进程的方式从单点服务中导出数据,备份到多种分布式数据库中,后续计算程序可直接从不同的存储设备中获取数据。通过这种方式可以大大减少单点服务中容易发生的单点故障、单点服务压力过大以及数据超限造成的读取数据超时等问题,方便在大数据应用中提供稳定可靠的数据支撑。
另外,本发明实施例提供的方法适用于任何对大量数据存储在存在单点超限问题的存储设备的应用场景,如可应用于sqlserver,oracle,mysql等数据库管理系统。
图2示出根据本发明另一实施例的单点服务数据的转储方法的流程图。如图2所示,在一种实施方式中,所述服务器守护进程运行于单点服务器上;图1中的步骤S120,利用所述服务器守护进程从单点服务器中读取一个或多个单点服务对应的单点服务数据,具体可包括:
步骤S220,利用所述服务器守护进程,按照预设的第一时间周期将所述单点服务数据读取到单节点服务器的内存中。
在一个示例中,预设的第一时间周期可设置为1分钟。守护进程每1分钟从单点服务中读取单点服务数据,将单点服务数据读取到单节点服务器的内存中。在后续步骤中再将单点服务数据从内存中导出到多种分布式存储设备的分布式数据库系统中。
参见图2,在一种实施方式中,分布式数据库包括分布式文件系统;图1中的步骤S130,将读取的所述单点服务数据转储到分布式数据库中,具体可包括:
步骤S230,按照预设的第二时间周期,或者在读取的所述单点服务数据达到预设的数据量阈值的情况下,将所述单点服务数据批量导出到分布式文件系统中,所述分布式文件系统用于提供数据读取服务。
其中,分布式文件系统是指文件系统管理的物理存储资源不一定直接连接在本地节点上,可以是通过计算机网络与节点相连。分布式文件系统采取以下方式可以有效解决数据的存储和管理难题:将固定于某个地点的某个文件系统,扩展到任意多个地点或多个文件系统,使众多的节点组成一个文件系统网络。每个节点可以分布在不同的地点,通过网络进行节点间的通信和数据传输。在使用分布式文件系统时,无需关心数据是存储在分布式文件系统中的哪个节点上、或者是从哪个节点从获取的,只需要像使用本地文件系统一样管理和存储文件系统中的数据即可。
在一个示例中,可将读取的所述单点服务数据转储到HDFS(Hadoop DistributedFile System,Hadoop分布式文件系统)中。其中,Hadoop(海杜普)是一个分布式系统基础架构。HDFS被设计成适合运行在通用硬件上的分布式文件系统。HDFS的优点是容量大,但HDFS属于文件系统、没有索引信息,不能提供实时查询服务。
本发明实施例中批量转储策略可采取以下任一种触发机制:
1)按照预设的第二时间周期,将所述单点服务数据批量导出到分布式文件系统中。例如,可设置第二时间周期为30分钟。每30分钟进行一次数据批量导出操作。
2)在读取的所述单点服务数据达到预设的数据量阈值的情况下,将所述单点服务数据批量导出到分布式文件系统中。例如,数据量阈值可设置为10W条数据。在读取到内存中的数据达到10W条数据时,批量导出相应数据到HDFS中。
将所述单点服务数据批量导出到分布式文件系统中之后,所述分布式文件系统可以提供数据读取服务。有数据读取需求的应用系统可从HDFS中批量导出数据。例如,通过以上方式可解决离线计算分布式数据读取问题。在进行大数据分析时,可从HDFS中批量导出数据,进行离线计算等处理。
其中,离线计算是在计算开始前已知所有输入数据,输入数据不会产生变化,且在解决一个问题后就要立即得出结果的前提下进行的计算。在大数据中属于数据的计算部分,在该部分中与离线计算对应的则是实时计算。在离线计算中,可使用HDFS存储数据。在实时计算中,输入数据是可以以序列化的方式一个个输入并进行处理的,也就是说在开始的时候并不需要知道所有的输入数据。而对于离线计算,在开始之前就必须知道所有的输入数据。例如:当用户请求发送过来后进行处理或输出结果的是实时计算的,但在用户请求之前就将数据计算好的是离线计算的。在一个示例中,离线计算多用于模型的训练和数据的预处理;而实时计算是要求立即返回计算结果的,可以快速响应请求,多用于简单的累加计算和基于训练好的模型进行分类等操作。
参见图2,在一种实施方式中,分布式数据库包括分布式检索系统;图1中的步骤S130,将读取的所述单点服务数据转储到分布式数据库中,具体可包括:
步骤S240,实时导出所述单点服务数据到所述分布式检索系统中,所述分布式检索系统用于提供数据查询服务。
分布式检索包括在分布式的环境中,利用分布式计算和移动代理等技术从大量的、异构的信息资源中检索出对于用户有用的信息的过程。这里的分布式环境可以为信息资源在物理上分布于不同的地点,在数据库结构上具有异构性。但是这些分散和异构的信息资源在逻辑上是一个整体,从而构成一个分布式检索系统。
在一个示例中,可将读取的所述单点服务数据转储到ElasticSearch(弹性搜索)中。其中,ElasticSearch是一个分布式数据库系统,它可提供分布式存储服务和实时检索服务。具体而言,ElasticSearch提供了一个分布式多用户能力的全文搜索引擎,性能稳定、可靠、快速,能够实现实时搜索,使用方便。例如,用户建立一个网站或应用程序,需要添加搜索功能,并需要实时搜索,利用Elasticsearch可满足用户的以上这些需求。
本发明实施例中,当将所述单点服务数据读取到内存中时,即实时从内存中导出相应数据到ElasticSearch,确保ElasticSearch中数据存储的实时性。在一种实施方式中,实时或准实时地导出数据到ElasticSearch,可解决实时场景下数据查询的问题。实时导出所述单点服务数据到ElasticSearch中之后,有数据查询需求的应用系统可从ElasticSearch中实时查询想要的数据。
综上,本发明实施例通过守护进程的方式定时从单点服务中导出数据,备份到HDFS、ElasticSearch等多种分布式存储设备中,后续计算程序直接从不同的存储设备中获取数据。本发明实施例通过将单点服务数据导出到多个分布式资源中,既可满足离线大数据计算需求,又能支撑实时查询需求。
图3示出根据本发明实施例的单点服务数据的转储方法的应用示意图。如图3所示,定期读取单点服务中的数据,进行存储转换,将数据转储到HDFS和ES(ElasticSearch)中。其中,在完成数据转储之后,还包括将成功转储的数据从单节点服务器中删除。
在一种实施方式中,将读取的所述单点服务数据转储到分布式数据库中之后,所述方法还包括:
为导出成功的所述单点服务数据添加导出标记;
定期删除带有所述导出标记的所述单点服务数据。
在这种实施方式中,在将所述单点服务数据成功导出到分布式数据库中之后,为导出成功的所述单点服务数据添加导出标记ID。定期获取已成功导出的数据的ID,并删除掉ID对应的数据。这种实施方式可确保在数据导出成功后再将数据删除,避免因导出失败而导致数据意外丢失。并且定期删除已导出的数据,可确保单点服务不会有数据挤压的情况发生。
上述技术方案中具有如下优点或有益效果:
1)可以用于多机房跨网络受限的数据传输场景,例如将数据从一个机房转储到另一个机房或者从一个局域网转储到另一个局域网中的场景。
2)可以以一个独立开放模块的形式提供给下游系统插拔式使用。例如在使用该模块的功能时可以进行部署,在不使用该模块的功能时可以切断连接。其中的下游系统可包括需要读取数据或查询数据的系统。
3)可以支持一种或多种数据源,并对上层用户透明,能够大大提升系统的兼容性和扩展性,同时为离线计算和实时查询等不同场景提供便利。其中的上层用户可包括提供数据读取服务和数据查询服务的分布式数据库系统。对用户透明,即用户不用关心和了解技术的各种细节,只需关心其使用即可。
4)可有效避免单点服务存在的单点故障,避免单点服务压力过大以及数据超限造成的读取数据超时等问题的发生。
图4示出根据本发明实施例的单点服务数据的转储装置的结构框图。如图4所示,本发明实施例的单点服务数据的转储装置包括:
创建单元100,用于创建服务器守护进程;
读取单元200,用于:利用所述服务器守护进程从单点服务器中读取一个或多个单点服务对应的单点服务数据;
转储单元300,用于将读取的所述单点服务数据转储到分布式数据库中。
在一种实施方式中,所述服务器守护进程运行于单点服务器上;所述读取单元200用于:
利用所述服务器守护进程,按照预设的第一时间周期将所述单点服务数据读取到单节点服务器的内存中。
在一种实施方式中,分布式数据库包括分布式文件系统;所述转储单元300用于:
按照预设的第二时间周期,或者在读取的所述单点服务数据达到预设的数据量阈值的情况下,将所述单点服务数据批量导出到分布式文件系统中,所述分布式文件系统用于提供数据读取服务。
在一种实施方式中,分布式数据库包括分布式检索系统;所述转储单元300用于:
实时导出所述单点服务数据到所述分布式检索系统中,所述分布式检索系统用于提供数据查询服务。
图5示出根据本发明另一实施例的单点服务数据的转储装置的结构框图。如图5所示,在一种实施方式中,所述装置还包括:
标记单元400,用于将读取的所述单点服务数据转储到分布式数据库中之后,为导出成功的所述单点服务数据添加导出标记;
删除单元500,用于定期删除带有所述导出标记的所述单点服务数据。
本发明实施例单点服务数据的转储装置中的各单元的功能可以参见上述方法中的对应描述,在此不再赘述。
图6示出根据本发明又一实施例的单点服务数据的转储装置的结构框图。如图6所示,该装置包括:存储器910和处理器920,存储器910内存储有可在处理器920上运行的计算机程序。所述处理器920执行所述计算机程序时实现上述实施例中的单点服务数据的转储方法。所述存储器910和处理器920的数量可以为一个或多个。
该装置还包括:
通信接口930,用于与外界设备进行通信,进行数据交互传输。
存储器910可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
如果存储器910、处理器920和通信接口930独立实现,则存储器910、处理器920和通信接口930可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(ISA,Industry Standard Architecture)总线、外部设备互连(PCI,PeripheralComponent Interconnect)总线或扩展工业标准体系结构(EISA,Extended IndustryStandard Architecture)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图6中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
可选的,在具体实现上,如果存储器910、处理器920及通信接口930集成在一块芯片上,则存储器910、处理器920及通信接口930可以通过内部接口完成相互间的通信。
本发明实施例提供了一种计算机可读存储介质,其存储有计算机程序,该程序被处理器执行时实现上述实施例中任一所述的方法。
本发明实施例提供了一种计算机程序产品,包括计算机程序,该计算机程序在被处理器执行时实现上述实施例中任一所述的方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器,磁盘或光盘等。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到其各种变化或替换,这些都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种单点服务数据的转储方法,其特征在于,包括:
创建服务器守护进程;
利用所述服务器守护进程从单点服务器中读取一个或多个单点服务对应的单点服务数据;
将读取的所述单点服务数据转储到分布式数据库中;
其中,所述服务器守护进程运行于单点服务器上;利用所述服务器守护进程从单点服务器中读取一个或多个单点服务对应的单点服务数据,包括:
利用所述服务器守护进程,按照预设的第一时间周期将所述单点服务数据读取到单节点服务器的内存中;
其中,分布式数据库包括分布式文件系统;将读取的所述单点服务数据转储到分布式数据库中,包括:
按照预设的第二时间周期,或者在读取的所述单点服务数据达到预设的数据量阈值的情况下,将所述单点服务数据批量导出到分布式文件系统中,所述分布式文件系统用于提供数据读取服务。
2.根据权利要求1所述的方法,其特征在于,分布式数据库包括分布式检索系统;将读取的所述单点服务数据转储到分布式数据库中,包括:
实时导出所述单点服务数据到所述分布式检索系统中,所述分布式检索系统用于提供数据查询服务。
3.根据权利要求1所述的方法,其特征在于,将读取的所述单点服务数据转储到分布式数据库中之后,所述方法还包括:
为导出成功的所述单点服务数据添加导出标记;
定期删除带有所述导出标记的所述单点服务数据。
4.一种单点服务数据的转储装置,其特征在于,包括:
创建单元,用于创建服务器守护进程;
读取单元,用于:利用所述服务器守护进程从单点服务器中读取一个或多个单点服务对应的单点服务数据;
转储单元,用于将读取的所述单点服务数据转储到分布式数据库中;
其中,所述服务器守护进程运行于单点服务器上;所述读取单元用于:
利用所述服务器守护进程,按照预设的第一时间周期将所述单点服务数据读取到单节点服务器的内存中;
其中,分布式数据库包括分布式文件系统;所述转储单元用于:
按照预设的第二时间周期,或者在读取的所述单点服务数据达到预设的数据量阈值的情况下,将所述单点服务数据批量导出到分布式文件系统中,所述分布式文件系统用于提供数据读取服务。
5.根据权利要求4所述的装置,其特征在于,分布式数据库包括分布式检索系统;所述转储单元用于:
实时导出所述单点服务数据到所述分布式检索系统中,所述分布式检索系统用于提供数据查询服务。
6.根据权利要求4所述的装置,其特征在于,所述装置还包括:
标记单元,用于:将读取的所述单点服务数据转储到分布式数据库中之后,为导出成功的所述单点服务数据添加导出标记;
删除单元,用于定期删除带有所述导出标记的所述单点服务数据。
7.一种单点服务数据的转储装置,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1至3中任一项所述的方法。
8.一种计算机可读存储介质,其存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至3中任一项所述的方法。
CN201910578540.0A 2019-06-28 2019-06-28 单点服务数据的转储方法、装置及存储介质 Active CN112148513B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910578540.0A CN112148513B (zh) 2019-06-28 2019-06-28 单点服务数据的转储方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910578540.0A CN112148513B (zh) 2019-06-28 2019-06-28 单点服务数据的转储方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN112148513A CN112148513A (zh) 2020-12-29
CN112148513B true CN112148513B (zh) 2023-08-01

Family

ID=73891165

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910578540.0A Active CN112148513B (zh) 2019-06-28 2019-06-28 单点服务数据的转储方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN112148513B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112650805A (zh) * 2020-12-30 2021-04-13 杭州贝嘟科技有限公司 数据导出方法、装置、计算机设备和可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559247A (zh) * 2013-10-29 2014-02-05 北京华胜天成科技股份有限公司 一种数据业务处理方法及装置
US9378160B1 (en) * 2013-06-27 2016-06-28 Emc Corporation Unified SCSI target management for shutting down and de-configuring a service daemon in a deduplication appliance
CN107291889A (zh) * 2017-06-20 2017-10-24 郑州云海信息技术有限公司 一种数据存储方法及系统
CN107992498A (zh) * 2016-10-27 2018-05-04 腾讯科技(深圳)有限公司 一种将数据导入数据仓库的方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9378160B1 (en) * 2013-06-27 2016-06-28 Emc Corporation Unified SCSI target management for shutting down and de-configuring a service daemon in a deduplication appliance
CN103559247A (zh) * 2013-10-29 2014-02-05 北京华胜天成科技股份有限公司 一种数据业务处理方法及装置
CN107992498A (zh) * 2016-10-27 2018-05-04 腾讯科技(深圳)有限公司 一种将数据导入数据仓库的方法及系统
CN107291889A (zh) * 2017-06-20 2017-10-24 郑州云海信息技术有限公司 一种数据存储方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于服务器集群的云监控系统设计与实现;沈青;董波;肖德宝;;计算机工程与科学(10);全文 *

Also Published As

Publication number Publication date
CN112148513A (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
US20220188003A1 (en) Distributed Storage Method and Device
US20200310915A1 (en) Orchestration of Heterogeneous Multi-Role Applications
US11113158B2 (en) Rolling back kubernetes applications
US11347684B2 (en) Rolling back KUBERNETES applications including custom resources
CN108121511B (zh) 一种分布式边缘存储系统中的数据处理方法、装置及设备
CN112565325B (zh) 镜像文件管理方法、装置及系统、计算机设备、存储介质
US10620871B1 (en) Storage scheme for a distributed storage system
CN109240876A (zh) 实例监控方法、计算机可读存储介质和终端设备
US20180081894A1 (en) Method and apparatus for clearing data in cloud storage system
CN112463290A (zh) 动态调整计算容器的数量的方法、系统、装置和存储介质
CN111885184A (zh) 高并发场景下热点访问关键字处理方法和装置
CN112148513B (zh) 单点服务数据的转储方法、装置及存储介质
CN112988062B (zh) 一种元数据读取限制方法、装置、电子设备及介质
CN114398397A (zh) 数据处理方法、装置、存储介质以及系统
CN111143113A (zh) 复制元数据的方法、电子设备和计算机程序产品
CN112799588A (zh) 使用外部存储加载容器集群应用数据时的数据存储方法
CN110532457B (zh) 一种获取网络段id方法及系统
CN115914404A (zh) 集群流量管理方法、装置、计算机设备和存储介质
CN111376255A (zh) 机器人数据采集方法、装置及终端设备
CN115048272A (zh) 容器监控处理方法、装置、宿主机、系统、存储介质及程序产品
CN114615263A (zh) 集群在线迁移方法、装置、设备及存储介质
CN103176915B (zh) 一种管理内存的方法及装置
CN110286732A (zh) 高可用集群掉电自动恢复方法、装置、设备及存储介质
CN114385081B (zh) 针对kafka集群的磁盘保护方法及相关设备
US11379147B2 (en) Method, device, and computer program product for managing storage system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant