CN112416550B - 爬虫调度管理平台通信方法和爬虫调度管理平台系统 - Google Patents
爬虫调度管理平台通信方法和爬虫调度管理平台系统 Download PDFInfo
- Publication number
- CN112416550B CN112416550B CN202011302154.8A CN202011302154A CN112416550B CN 112416550 B CN112416550 B CN 112416550B CN 202011302154 A CN202011302154 A CN 202011302154A CN 112416550 B CN112416550 B CN 112416550B
- Authority
- CN
- China
- Prior art keywords
- node
- information
- working
- working node
- data storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000004891 communication Methods 0.000 title claims abstract description 30
- 238000013500 data storage Methods 0.000 claims abstract description 53
- 238000007726 management method Methods 0.000 claims abstract description 25
- 238000012544 monitoring process Methods 0.000 claims description 12
- 230000002147 killing effect Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000009825 accumulation Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/485—Task life-cycle, e.g. stopping, restarting, resuming execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本申请是关于爬虫调度管理平台通信方法和爬虫调度管理平台系统。该方法由负责下达和发送爬虫任务的主节点、负责执行爬虫任务的工作节点和负责数据存储的数据存储节点执行，工作节点主机发送包含本机唯一标识信息到数据存储节点；数据存储节点根据唯一标识信息在本地数据库中查找对应的工作节点信息；确认本地数据库中没有对应的工作节点信息，则将工作节点信息加入到本地数据库中；将工作节点信息发送至主节点以供主节点使用工作节点信息与工作节点进行通信。本实施例通过工作节点主动将自身信息存储于数据存储节点的方法，确保工作节点能够成功注册，进而保证了主节点与工作节点的通信稳定性。
Description
技术领域
本申请涉及数据管理技术领域，尤其涉及爬虫调度管理平台通信方法和爬虫调度管理平台系统。
背景技术
相关技术中爬虫调度管理平台架构包括了一个主节点和多个工作节点、负责通信的Redis和负责数据储存MongoDB数据库。前端应用向主节点请求数据，主节点通过MongoDB和Redis来执行任务派发调度以及部署，工作节点收到任务之后，开始执行爬虫任务，并将任务结果储存到MongoDB。这种平台架构存在如下两个技术问题，第一：windows机使用go语言注册工作节点时，有时候无法获取工作节点的信息而导致工作节点无法注册，进而导致主节点与工作节点无法通信。第二：工作节点任务量过大容易假死导致定时任务挤压，从而导致爬虫任务执行效率下降。
发明内容
为克服相关技术中存在的问题，本申请提供爬虫调度管理平台通信方法和爬虫调度管理平台系统，该方法能够解决主节点与工作节点无法通信的问题。
本申请第一方面提供爬虫调度管理平台通信方法，方法由负责下达和发送爬虫任务的主节点、负责执行爬虫任务的工作节点和负责数据存储的数据存储节点执行，工作节点主机发送包含本机唯一标识信息到数据存储节点；数据存储节点根据唯一标识信息在本地数据库中查找对应的工作节点信息；确认本地数据库中没有对应的工作节点信息，则将工作节点信息加入到本地数据库中；将工作节点信息发送至主节点以供主节点使用工作节点信息与工作节点进行通信。
其中，方法还包括：确认本地数据库中有对应的工作节点信息，则将工作节点信息发送至主节点以供主节点使用工作节点信息与工作节点进行通信。
其中，方法还包括：预设阈值时间发送心跳信息来检测工作节点和主节点是否离线。
其中，唯一标识信息为MAC地址。
其中，方法还包括：主节点读取数据存储节点的工作节点信息；发送爬虫任务给工作节点；启动新的监听线程监听工作节点工作情况，其中，监听线程在到达预设时间爬虫任务还未执行情况下，执行进程杀死动作以终止爬虫任务的执行。
本申请第二方面提供一种爬虫调度管理平台系统，包括：负责下达和发送爬虫任务的主节点、负责执行爬虫任务的工作节点和负责数据存储的数据存储节点，工作节点还用于发送包含本机唯一标识信息到数据存储节点；数据存储节点还用于根据唯一标识信息在本地数据库中查找对应的工作节点信息和确认本地数据库中没有对应的工作节点信息，则将工作节点信息加入到本地数据库中；主节点还用于通过本地数据库的工作节点信息与工作节点进行通信。
其中，数据存储节点还用于到预设阈值时间发送心跳信息来检测工作节点和主节点是否离线。
其中，上述系统还包括数据通信节点，数据通信节点，用于启动新的监听线程监听工作节点工作情况，其中，监听线程在到达预设时间爬虫任务还未执行情况下，执行进程杀死动作以终止爬虫任务的执行。
其中，还包括备份节点，备份节点与主节点功能相同，如果主节点出现通信故障，则由备份节点暂时执行主节点的任务。
备份节点与主节点定时同步数据和信息。
本申请提供的技术方案可以包括以下有益效果：通过工作节点主动将自身信息存储于数据存储节点的方法，确保工作节点能够成功注册，进而保证了主节点与工作节点的通信稳定性。
本申请的技术方案，还可以，设置监听线程来监听爬虫任务的执行情况，对每个爬虫任务设置超时杀死，避免出现爬虫任务积压和线程积累，进一步增强了平台分发调度的稳定性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
通过结合附图对本申请示例性实施方式进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。
图1是本申请实施例示出的爬虫调度管理平台通信方法的流程示意图；
图2是本申请实施例示出的爬虫调度管理平台通信方法的另一流程示意图；
图3是本申请实施例示出的爬虫调度管理平台系统的网络结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的优选实施方式。虽然附图中显示了本申请的优选实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
针对上述问题，本申请实施例提供一种爬虫调度管理平台通信方法，该方法能够解决主节点与工作节点无法通信的问题。
以下结合附图详细描述本申请实施例的技术方案。
图1是本申请实施例示出的爬虫调度管理平台通信方法的流程示意图。
参见图1，爬虫调度管理平台通信方法，由负责下达和发送爬虫任务的主节点、负责执行爬虫任务的工作节点和负责数据存储的数据存储节点执行，该方法包括：
S101，工作节点主机发送包含本机唯一标识信息到数据存储节点。本实施例的唯一标识信息可以是工作节点的主机的MAC地址，也可以是其他的能唯一标识工作节点的信息。本实施例不做限定。
S102，数据存储节点根据唯一标识信息在本地数据库中查找对应的工作节点信息。本实施例是将MAC地址作为key去数据存储节点的节点表中查询。
S103，判断工作节点信息是否在本地数据中，如果不存在，则进入S104将工作节点信息加入到本地数据库中。即如果不存在，则将从节点的主机MAC地址写入数据存储节点的节点表中。
如果存在，则进入S105将工作节点信息发送至主节点以供主节点使用工作节点信息与工作节点进行通信。本实施例主节点与工作节点的通信主要包括主节点接收到工作节点信息之后，首先完成工作节点的注册，即完成与工作节点的第一次连接，之后主节点就可以向工作节点发送爬虫任务，接收爬虫任务执行结果。
本实施例完成S104之后，也进入S105。
在一个优选实施例中，还包括到达预设阈值时间发送心跳信息来检测工作节点和主节点是否离线。具体可以是遍历数据存储节点的节点表的值，30秒发送一次心跳来记录节点表中各个节点是否离线。发送心跳信息来检测工作节点与主节点是否离线，进一步保证了工作节点与主节点之间的通信稳定性。
以上实施例的爬虫调度管理平台通信方法由负责下达和发送爬虫任务的主节点、负责执行爬虫任务的工作节点和负责数据存储的数据存储节点执行，工作节点主机发送包含本机唯一标识信息到数据存储节点；数据存储节点根据唯一标识信息在本地数据库中查找对应的工作节点信息；确认本地数据库中没有对应的工作节点信息，则将工作节点信息加入到本地数据库中；将工作节点信息发送至主节点以供主节点使用工作节点信息与工作节点进行通信。本实施例通过工作节点主动将自身信息存储于数据存储节点的方法，确保工作节点能够成功注册，进而保证了主节点与工作节点的通信稳定性。
图2是本申请实施例示出的爬虫调度管理平台通信方法的另一流程示意图。本实施例的方法在图1的实施例的基础上还包括：
S201，主节点读取数据存储节点的工作节点信息。
S202，发送爬虫任务给工作节点。
S203，启动新的监听线程监听工作节点工作情况。
S204，到达预设时间爬虫任务是否执行。如果到达预设时间爬虫任务没有执行，则进入S205监听线程执行进程杀死动作以终止爬虫任务的执行。S204如果到达预设时间爬虫任务已经执行或者正在执行，则继续等待下一个爬虫任务。
本实施例设置监听线程来监听爬虫任务的执行情况，对每个爬虫任务设置超时杀死，避免出现爬虫任务积压和线程积累，进一步增强了平台分发调度的稳定性。
与前述应用功能实现方法实施例相对应，本申请还提供了一种爬虫调度管理平台系统相应的实施例。
图3是本申请实施例示出的爬虫调度管理平台系统的网络结构示意图。
参见图3，爬虫调度管理平台系统，包括负责下达和发送爬虫任务的主节点300、负责执行爬虫任务的工作节点310和负责数据存储的数据存储节点320，其中，工作节点310，还用于发送包含本机唯一标识信息到数据存储节点320。本实施例的唯一标识信息可以是工作节点310的主机的MAC地址，也可以是其他的能唯一标识工作节点310的其他信息。不做限定。本实施例还可以设置备份节点350，备份节点350的功能与主节点300相同，在正常情况下其他网络节点与主节点300连接，如果主节点300出现通信故障，则所有其他节点连接至备份节点350，由备份节点350暂时执行主节点300的任务。备份节点350与主节点300之间定时同步信息。工作节点310可以布局多个。
数据存储节点320，还用于根据唯一标识信息在本地数据库中查找对应的工作节点310信息；确认本地数据库中没有对应的工作节点310信息，则将工作节点310信息加入到本地数据库中。本实施例是将MAC地址作为key去数据存储节点320的节点表中查询。
主节点300还用于：通过本地数据库的工作节点310信息与工作节点310进行通信。本实施例主节点300接收到工作节点310信息之后，首先完成工作节点310的注册，即完成与工作节点310的第一次连接，之后主节点300就可以向工作节点310发送爬虫任务。
数据存储节点320，还用于：到预设阈值时间发送心跳信息来检测工作节点310和主节点300是否离线。具体可以是遍历数据存储节点320的节点表的值，30秒发送一次心跳来记录节点表中各个节点是否离线。发送心跳信息来检测工作节点310与主节点300是否离线，进一步保证了工作节点310与主节点300之间的通信稳定性。
一个优选实施例中，本系统还包括数据通信节点340，数据通信节点340，用于启动新的监听线程监听工作节点310工作情况，其中，监听线程在到达预设时间爬虫任务还未执行情况下，执行进程杀死动作以终止爬虫任务的执行。设置监听线程来监听爬虫任务的执行情况，对每个爬虫任务设置超时杀死，避免出现爬虫任务积压和线程积累，进一步增强了平台分发调度的稳定性。
以上实施例的爬虫调度管理平台系统包括负责下达和发送爬虫任务的主节点、负责执行爬虫任务的工作节点和负责数据存储的数据存储节点，工作节点主机发送包含本机唯一标识信息到数据存储节点；数据存储节点根据唯一标识信息在本地数据库中查找对应的工作节点信息；确认本地数据库中没有对应的工作节点信息，则将工作节点信息加入到本地数据库中；将工作节点信息发送至主节点以供主节点使用工作节点信息与工作节点进行通信。本实施例通过工作节点主动将自身信息存储于数据存储节点的方法，确保工作节点能够成功注册，进而保证了主节点与工作节点的通信稳定性。
关于上述实施例中的系统，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。
上文中已经参考附图详细描述了本申请的方案。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。本领域技术人员也应该知悉，说明书中所涉及的动作和模块并不一定是本申请所必须的。另外，可以理解，本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，本申请实施例系统中的模块可以根据实际需要进行合并、划分和删减。
本领域技术人员还将明白的是，结合这里的申请所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
附图中的流程图和框图显示了根据本申请的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (10)
1.一种爬虫调度管理平台通信方法，所述方法由负责下达和发送爬虫任务的主节点、负责执行爬虫任务的工作节点和负责数据存储的数据存储节点执行，其特征在于：
工作节点主机发送本机唯一标识信息到所述数据存储节点；
所述数据存储节点根据所述唯一标识信息在本地数据库中查找对应的工作节点信息；
确认所述本地数据库中没有对应的所述工作节点信息，则将所述工作节点信息加入到所述本地数据库中；
所述数据存储节点将所述工作节点信息发送至所述主节点以供所述主节点使用所述工作节点信息与所述工作节点进行通信。
2.根据权利要求1所述的方法，其特征在于：
还包括：确认所述本地数据库中有对应的所述工作节点信息，则将所述工作节点信息发送至所述主节点以供所述主节点使用所述工作节点信息与所述工作节点进行通信。
3.根据权利要求1所述的方法，其特征在于：
还包括：到预设阈值时间发送心跳信息来检测所述工作节点和所述主节点是否离线。
4.根据权利要求1所述的方法，其特征在于：
所述唯一标识信息为MAC地址。
5.根据权利要求1所述的方法，其特征在于：
还包括，所述主节点读取所述数据存储节点的工作节点信息；
发送爬虫任务给所述工作节点；
启动新的监听线程监听所述工作节点的工作情况，其中，所述监听线程在到达预设时间所述爬虫任务还未执行情况下，执行进程杀死动作以终止所述爬虫任务的执行。
6.一种爬虫调度管理平台系统，包括：负责下达和发送爬虫任务的主节点、负责执行爬虫任务的工作节点和负责数据存储的数据存储节点，其特征在于：
所述工作节点，还用于发送本机唯一标识信息到所述数据存储节点；
所述数据存储节点，还用于根据所述唯一标识信息在本地数据库中查找对应的工作节点信息；确认所述本地数据库中没有对应的所述工作节点信息，则将所述工作节点信息加入到所述本地数据库中；将所述工作节点信息发送至所述主节点以供所述主节点使用所述工作节点信息与所述工作节点进行通信；
所述主节点，还用于通过所述本地数据库的所述工作节点信息与所述工作节点进行通信。
7.如权利要求6所述的系统，其特征在于：
所述数据存储节点，还用于到预设阈值时间发送心跳信息来检测所述工作节点和所述主节点是否离线。
8.如权利要求6或者7所述的系统，其特征在于：
还包括数据通信节点，所述数据通信节点，用于启动新的监听线程监听所述工作节点的工作情况，其中，所述监听线程在到达预设时间所述爬虫任务还未执行情况下，执行进程杀死动作以终止所述爬虫任务的执行。
9.如权利要求8所述的系统，其特征在于：
还包括备份节点，所述备份节点与所述主节点功能相同，如果所述主节点出现通信故障，则由所述备份节点暂时执行所述主节点的任务。
10.如权利要求9所述的系统，其特征在于：
所述备份节点与所述主节点定时同步数据和信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011302154.8A CN112416550B (zh) | 2020-11-19 | 2020-11-19 | 爬虫调度管理平台通信方法和爬虫调度管理平台系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011302154.8A CN112416550B (zh) | 2020-11-19 | 2020-11-19 | 爬虫调度管理平台通信方法和爬虫调度管理平台系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112416550A CN112416550A (zh) | 2021-02-26 |
| CN112416550B true CN112416550B (zh) | 2024-04-05 |
Family
ID=74774577
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011302154.8A Active CN112416550B (zh) | 2020-11-19 | 2020-11-19 | 爬虫调度管理平台通信方法和爬虫调度管理平台系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112416550B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104518983A (zh) * | 2013-09-30 | 2015-04-15 | 张永杰 | 一种多设备间的通信方法及装置 |
| CN110457559A (zh) * | 2019-08-05 | 2019-11-15 | 深圳乐信软件技术有限公司 | 分布式数据爬取系统、方法和存储介质 |
| WO2020147330A1 (zh) * | 2019-01-18 | 2020-07-23 | 苏宁云计算有限公司 | 一种数据流处理方法及系统 |
| CN111580954A (zh) * | 2020-04-01 | 2020-08-25 | 中国科学院信息工程研究所 | 一种可扩展的分布式数据采集方法和系统 |
-
2020
- 2020-11-19 CN CN202011302154.8A patent/CN112416550B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104518983A (zh) * | 2013-09-30 | 2015-04-15 | 张永杰 | 一种多设备间的通信方法及装置 |
| WO2020147330A1 (zh) * | 2019-01-18 | 2020-07-23 | 苏宁云计算有限公司 | 一种数据流处理方法及系统 |
| CN110457559A (zh) * | 2019-08-05 | 2019-11-15 | 深圳乐信软件技术有限公司 | 分布式数据爬取系统、方法和存储介质 |
| CN111580954A (zh) * | 2020-04-01 | 2020-08-25 | 中国科学院信息工程研究所 | 一种可扩展的分布式数据采集方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112416550A (zh) | 2021-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9229890B2 (en) | Method and a system for integrating data from a source to a destination | |
| US20050108385A1 (en) | Method and system for managing a discovery-related process in a network | |
| US20100333094A1 (en) | Job-processing nodes synchronizing job databases | |
| CN110990432B (zh) | 一种跨机房同步分布式缓存集群的装置和方法 | |
| CN101196840B (zh) | 配置数据镜像的系统和方法 | |
| US11736371B2 (en) | Heartbeat information sending method and apparatus, and heartbeat sending node | |
| US20040221149A1 (en) | Storage system and cluster maintenance | |
| CN101447894B (zh) | 识别分节点物理地址、网络配置及维护方法、网络系统 | |
| CN110213359B (zh) | 一种基于d2d的车联网组网数据推送系统和方法 | |
| US6453326B1 (en) | Method and system for network data replication | |
| CN111225082B (zh) | 一种物联网智能设备的身份管理方法、装置及物联网平台 | |
| CN111147596A (zh) | Prometheus集群部署方法、装置、设备及介质 | |
| CN110795264A (zh) | 监控管理方法及系统、智能管理终端 | |
| CN111444043A (zh) | 数据备份方法、装置、节点、系统及介质 | |
| CN108765142B (zh) | 电子装置、多区块链整合控制方法和计算机可读存储介质 | |
| CN103729391A (zh) | 能够重新启动事务的客户端装置和数据库服务器及方法 | |
| CN112416550B (zh) | 爬虫调度管理平台通信方法和爬虫调度管理平台系统 | |
| CN104038364B (zh) | 分布式流处理系统的容错方法、节点及系统 | |
| CN116701063B (zh) | 数联网数据语用内存状态数据的持久化方法、装置及系统 | |
| CN104639379A (zh) | 测试代理方法及其装置 | |
| CN112527561B (zh) | 基于物联网云存储的数据备份方法及装置 | |
| CN109901933B (zh) | 业务系统的操作方法及装置、存储介质、电子装置 | |
| CN101895519A (zh) | 服务处理方法和装置 | |
| CN105095248B (zh) | 一种数据库集群系统及其恢复方法、管理节点 | |
| CN108206933B (zh) | 一种基于视频云存储系统的视频数据获取方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |