CN115334000B - 基于多控存储系统的数据传输方法、装置、设备及介质 - Google Patents
基于多控存储系统的数据传输方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN115334000B CN115334000B CN202210861564.9A CN202210861564A CN115334000B CN 115334000 B CN115334000 B CN 115334000B CN 202210861564 A CN202210861564 A CN 202210861564A CN 115334000 B CN115334000 B CN 115334000B
- Authority
- CN
- China
- Prior art keywords
- data
- transmitted
- receiving
- working state
- sending
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 140
- 230000005540 biological transmission Effects 0.000 title claims abstract description 64
- 230000008569 process Effects 0.000 claims description 101
- 230000015654 memory Effects 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 24
- 238000001514 detection method Methods 0.000 claims description 8
- 230000006854 communication Effects 0.000 abstract description 14
- 238000004891 communication Methods 0.000 abstract description 13
- 230000001360 synchronised effect Effects 0.000 description 13
- 230000002159 abnormal effect Effects 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 4
- 238000005096 rolling process Methods 0.000 description 3
- 230000001680 brushing effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer And Data Communications (AREA)
- Communication Control (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种基于多控存储系统的数据传输方法、装置、计算机设备和存储介质。所述方法包括：将待传输数据向对应的接收节点进行发送；若所述待传输数据发送失败，则获取发送卷的第一工作状态和接收卷的第二工作状态，其中，所述发送卷和所述发送节点对应，所述接收卷和所述接收节点对应；判断所述第一工作状态和所述第二工作状态是否匹配；若否，则将所述待传输数据发送至待接收存储结构，以使所述接收卷在所述第二工作状态与所述第一工作状态匹配时，从所述待接收存储结构中对所述待传输数据进行接收。采用本方法能够提升数据传输的效率，缓解通信压力。
Description
技术领域
本申请涉及数据传输技术领域，特别是涉及一种基于多控存储系统的数据传输方法、装置、设备及介质。
背景技术
在数据通信中，节点可以通过通信信道发送、接收或转发信息，一个节点是一个连接点，表示一个再分发点或一个通信端点，而在多控存储系统中则可能包含多个节点以及对应的多个控制处理器。
目前，在多控存储系统的节点通信过程中，若发送节点和接收节点状态不同步或某一节点工作状态异常，当发送节点向接收节点传输数据时，接收节点会拒绝接收数据而导致数据传输失败，发送节点则会进行失败回调，即在一段时间后重新向接收节点发送数据，并循环至接收节点能够成功接收由发送节点传来的数据。
但这种方法会大量消耗节点间通信信道的带宽，尤其是在节点中存在多个卷的场景下，一旦有某一个卷出现上述问题，不仅会给节点带来很大的通信压力，还会影响到其它卷的通信，进而影响整体性能。
发明内容
基于此，提供一种基于多控存储系统的数据传输方法、装置、设备和介质，解决现有技术中因节点进行失败回调导致数据传输效率低下而造成巨大通信压力的问题。
根据本公开实施例的第一方面，提供一种数据传输方法，应用于发送节点，所述方法包括：
将待传输数据向对应的接收节点进行发送；
若所述待传输数据发送失败，则获取发送卷的第一工作状态和接收卷的第二工作状态，其中，所述发送卷和所述发送节点对应，所述接收卷和所述接收节点对应；
判断所述第一工作状态和所述第二工作状态是否匹配；
若否，则将所述待传输数据发送至待接收存储结构，以使所述接收卷在所述第二工作状态与所述第一工作状态匹配时，从所述待接收存储结构中对所述待传输数据进行接收。
在其中一个实施例中，获取发送卷的第一工作状态和接收卷的第二工作状态之后还包括：根据所述第一工作状态判断所述发送卷是否处于正常运行状态；
若是，则判断所述第一工作状态和所述第二工作状态是否匹配；
若不匹配，则将所述待传输数据记录至已发送存储结构，并向所述待接收存储结构发送所述待传输数据。
在其中一个实施例中，将所述待传输数据记录至已发送存储结构，并向所述待接收存储结构发送所述待传输数据还包括：
将所述待传输数据记录至所述已发送存储结构，得到已发送数据；
将所述已发送数据和所述待接收存储结构中的所述待传输数据进行数据对比，判断所述已发送数据和所述待传输数据是否匹配，以使所述接收卷在所述已发送数据和所述待传输数据匹配、且所述第二工作状态与所述第一工作状态匹配时，从所述待接收存储结构中将所述待传输数据进行接收。
在其中一个实施例中，将所述发送卷中的待处理数据发送至待接收存储结构包括：
对发送进程进行检测，其中，所述发送进程包括所述发送卷进行发送所述待传输数据的进程；
当所述发送进程被暂停或终止时，将所述待接收存储结构中的所述待传输数据进行清除；
重启所述发送进程，当所述发送进程重启成功之后，将所述待传输数据进行发送。
根据本公开实施例的第二方面，提供了一种数据传输方法，应用于接收节点，所述方法包括：
接收来自于发送节点的待传输数据；
若所述待传输数据接收失败，则获取发送卷的第一工作状态和接收卷的第二工作状态，其中，所述发送卷和所述发送节点对应，所述接收卷和所述接收节点对应；
判断所述第二工作状态和所述第一工作状态是否匹配；
若否，则将所述待传输数据存储至待接收存储结构；
当所述第二工作状态与所述第一工作状态匹配时，从所述待接收存储结构中对所述待传输数据进行接收。
在其中一个实施例中，将所述待传输数据存储至待接收存储结构还包括：
对接收进程进行检测，其中，所述接收进程包括所述接收卷进行接收所述待传输数据的进程；
当所述接收进程被暂停或终止时，将所述待接收存储结构中的所述待传输数据进行清除；
重启所述接收进程，判断所述接收进程是否重启成功；
若是，则接收所述待传输数据；
若否，则拒绝接收所述待传输数据，以使所述发送卷将所述待传输数据进行存储。
根据本公开实施例的第三方面，提供了一种数据传输装置，配置于发送节点，所述装置包括：
发送模块，用于将待传输数据向对应的接收节点进行发送；
检测模块，用于获取发送卷的第一工作状态和接收卷的第二工作状态，其中，所述发送卷和所述发送节点对应，所述接收卷和所述接收节点对应；
判断模块，用于判断所述第一工作状态和所述第二工作状态是否匹配；
所述发送模块，还用于将所述待传输数据发送至待接收存储结构，以使所述接收卷在所述第二工作状态与所述第一工作状态匹配时，从所述待接收存储结构中对所述待传输数据进行接收。
根据本公开实施例的第四方面，提供了一种数据传输装置，配置于接收节点，所述装置包括：
接收模块，用于接收来自于发送节点的待传输数据；
检测模块，用于获取发送卷的第一工作状态和接收卷的第二工作状态，其中，所述发送卷和所述发送节点对应，所述接收卷和所述接收节点对应；
判断模块，用于判断所述第二工作状态和所述第一工作状态是否匹配；
所述接收模块，还用于将所述待传输数据存储至待接收存储结构；
所述接收模块，还用于从所述待接收存储结构中对所述待传输数据进行接收。
根据本公开实施例的第五方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一项所述的数据传输方法。
根据本公开实施例的第六方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的数据传输方法。
上述基于多控存储系统的数据传输方法、装置、计算机设备和存储介质，发送节点将待传输数据向对应的接收节点进行发送；若所述待传输数据发送失败，则获取发送卷的第一工作状态和接收卷的第二工作状态；判断所述第一工作状态和所述第二工作状态是否匹配，进而判断是否是因为两个数据卷的状态不同步而引起的数据发送失败；若状态不同步，则将所述待传输数据发送至待接收存储结构，以使所述接收卷在所述第二工作状态与所述第一工作状态匹配时，从所述待接收存储结构中对所述待传输数据进行接收，通过设置存储结构的方式来对数据进行暂存和中转，缓解了两个节点中的数据卷状态不同步时所造成的的通信压力，提高了存储系统的性能。
附图说明
图1为一个实施例中数据传输方法的应用环境图；
图2为一个实施例中数据传输方法的流程示意图；
图3为另一个实施例中数据传输方法的流程示意图；
图4为一个实施例中数据传输装置的结构框图；
图5为另一个实施例中数据传输装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的数据传输方法，可以应用于如图1所示的应用环境中。其中，发送节点101与接收节点102通过网络进行通信。发送节点将待传输数据向对应的接收节点进行发送；若所述待传输数据发送失败，则获取发送卷的第一工作状态和接收卷的第二工作状态，其中，所述发送卷和所述发送节点对应，所述接收卷和所述接收节点对应；判断所述第一工作状态和所述第二工作状态是否匹配；若否，则将所述待传输数据发送至待接收存储结构，以使所述接收卷在所述第二工作状态与所述第一工作状态匹配时，从所述待接收存储结构中对所述待传输数据进行接收。其中，发送节点101和接收节点102可以为终端设备，也可以为各种独立服务器或是多个服务器组成的服务器集群等物理机来实现，还可以是通过软件模拟的具有完整硬件系统功能的虚拟机来实现。
终端设备可以是硬件，也可以是软件。当终端设备为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、智能手环和台式计算机等等。当终端设备为软件时，可以安装在上述所列举的电子设备中。还可预见到的是，终端设备能够支持任意类型的针对用户的接口，例如可穿戴设备等。
服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务以及大数据和人工智能平台等基础云计算服务的云服务器。
在一个实施例中，如图2所示，提供了一种数据传输方法，以该方法应用于图1中的发送节点101为例进行说明，包括以下步骤：
步骤201，将待传输数据向对应的接收节点进行发送。
其中，待传输数据是指在某次或某几次发送节点向接收节点传输数据过程中需要传输的数据。
示例性地，可以是发送节点获取到相关IO数据时，向对应的接收节点发送IO数据。
根据数据传输请求，开始向接收节点发送待传输数据，其中，数据传输请求包括但不限于发送节点主动发起的数据发送请求和/或接收节点主动发起的数据接收请求。
步骤202，若所述待传输数据发送失败，则获取发送卷的第一工作状态和接收卷的第二工作状态，其中，所述发送卷和所述发送节点对应，所述接收卷和所述接收节点对应。
其中，发送卷是与发送节点对应的数据卷，接收卷是与接收节点对应的数据卷，数据卷是一个可供一个或多个容器使用的特殊目录，它可以在容器之间共享和重用，发送卷和接收卷是为了便于说明而在名称上作出区别，不对其它信息或属性进行限定，根据数据卷的特性，发送卷和接收卷在实际的硬件本质上可以是同一个数据卷或多个数据卷。
示例性地说明，若发送节点和接收节点同时存在于一号数据卷，则在发送节点的发送卷将数据传输至接收节点的接收卷过程中，其本质仍是发送节点和接收节点在一号数据卷上的通信，在通信过程中相关数据在两个节点都能进行缓存，但通常在缓存完成或通信完成后会选择其中一个节点进行刷盘(即将数据刷入或写入相应磁盘或数据卷进行存储)，例如：在数据传输失败时可以选择发送卷进行刷盘，在数据传输成功时可以选择接收卷进行刷盘，对此不作限定。
具体地，当待传输数据发送失败时，应当获取并检测发送卷和接收卷的工作状态是否正常且匹配，其中，节点的工作状态包括但不限于：正常状态(正常运行状态)、忙碌状态、错误状态以及停止状态等。
步骤203，判断所述第一工作状态和所述第二工作状态是否匹配。
需要说明的是，判断第一工作状态和第二工作状态是否匹配的过程包括但不限于判断发送卷和接收卷的工作状态是否同步，以及判断发送卷和接收卷是否都处于正常工作状态中，当发送卷和接收卷都同步处于正常工作状态时，才能成功的进行数据传输。
步骤204，若否，则将所述待传输数据发送至待接收存储结构，以使所述接收卷在所述第二工作状态与所述第一工作状态匹配时，从所述待接收存储结构中对所述待传输数据进行接收。
其中，待接收存储结构指的是用于暂存或缓存待传输数据的存储结构，其包括以数组为主的顺序存储结构和/或以链表为主的链式存储结构。
进一步说明，可以通过获取待传输数据的数据类型，进而选择对应的待接收存储结构来存储待传输数据。
示例性地，可以通过检测待传输数据是连续存储和/或离散存储进而选择对应的数组和/或链表；亦或是根据数据的操作类型来选择对应的待接收存储结构，如：当操作类型中的查找操作比较多时，选择数组来存储数据，当操作类型中的添加和/或删除等改动操作比较多时，选择链表来存储数据。
而需要说明的是，在数据传输过程中，主要涉及到数据的添加操作，尤其会面临对离散数据的添加操作，因此后续主要以链表结构为例进行说明。
上述数据传输方法中，发送节点将待传输数据向对应的接收节点进行发送；若所述待传输数据发送失败，则获取发送卷的第一工作状态和接收卷的第二工作状态；判断所述第一工作状态和所述第二工作状态是否匹配，进而判断是否是因为两个数据卷的状态不同步而引起的数据发送失败；若状态不同步，则将所述待传输数据发送至待接收存储结构，以使所述接收卷在所述第二工作状态与所述第一工作状态匹配时，从所述待接收存储结构中对所述待传输数据进行接收，通过设置存储结构的方式来对数据进行暂存和中转，缓解了两个节点中的数据卷状态不同步时所造成的的通信压力，提高了存储系统的性能。
在一些实施方式中，所述获取发送卷的第一工作状态和接收卷的第二工作状态之后还包括：
根据所述第一工作状态判断所述发送卷是否处于正常运行状态；
若是，则判断所述第一工作状态和所述第二工作状态是否匹配；
若不匹配，则将所述待传输数据记录至已发送存储结构，并向所述待接收存储结构发送所述待传输数据。
通过判断发送卷是否处于正常运行状态，进而判断待传输数据发送失败的原因是因发送卷的状态异常造成的，和/或是因发送卷和接收卷的状态不同步造成的。
若发送卷处于正常运行状态，而发送卷与接收卷的工作状态不同步，如：发送卷处于正常状态，而接收卷处于停止状态，发送卷则将所述待传输数据记录在与发送卷对应的已发送存储结构，并向与接收卷对应的待接收存储结构发送待传输数据。
需要说明的是，若在数据传输过程中发送卷本身就不处于正常运行状态，证明待传输数据发送失败的原因是由发送卷造成的，则无需判断接收卷的第二工作状态是否与发送卷的第一工作状态匹配，可以将待接收存储结构中的数据进行清除，或等待发送卷重启并恢复正常运行状态。
在一些实施方式中，所述将所述待传输数据记录至已发送存储结构，并向所述待接收存储结构发送所述待传输数据还包括：
将所述待传输数据记录至所述已发送存储结构，得到已发送数据；
将所述已发送数据和所述待接收存储结构中的所述待传输数据进行数据对比，判断所述已发送数据和所述待传输数据是否匹配，以使所述接收卷在所述已发送数据和所述待传输数据匹配、且所述第二工作状态与所述第一工作状态匹配时，从所述待接收存储结构中将所述待传输数据进行接收。
其中，已发送存储结构与待接收存储结构相似，可参考上述对待接收存储结构的说明进行理解，但已发送存储结构与待接收存储结构的作用不同，已发送存储结构主要用于记录已发送的数据，而待接收存储结构用于从中接收所需要得数据。
在数据传输过程中，尤其是非直接传输数据的过程中，如：发送卷将数据发送至待接收存储结构，接收卷从待接收存储结构中接收待传输数据，容易造成数据丢失和/或数据误传，因此，当发送卷将待传输数据进行发送后，会在其已发送存储结构中将已发送的待传输数据进行记录，得到已发送数据用于验证数据传输后的完整性和正确性。
将已发送数据结构中的已发送数据和待接收数据结构中的待传输数据进行数据对比，其中，数据对比包括但不限于数据的数值对比和/或数据的数据地址对比等，来保证已发送数据和待传输数据的一致性，以防止出现数据丢失和/或数据误传。
在一些实施方式中，所述将所述发送卷中的待处理数据发送至待接收存储结构包括：
对发送进程进行检测，其中，所述发送进程包括所述发送卷进行发送所述待传输数据的进程；
当所述发送进程被暂停或终止时，将所述待接收存储结构中的所述待传输数据进行清除；
重启所述发送进程，当所述发送进程重启成功之后，将所述待传输数据进行发送。
进程(Process)是计算机中的程序关于某数据集合上的一次运行活动，是系统进行资源分配和调度的基本单位，因此在数据传输过程中，需要对传输进程进行检测，以防因进程出现问题而导致一连串的系统运行问题，其中，传输进程包括：发送进程和接收进程。
具体地，当检测到发送进程被暂停或者终止时，则会将待接收存储结构中的待传输数据进行清除，以防止无效数据对内存的占用，避免后续再次进行数据传输时，造成数据接收的错误等。
对发送进程进行重启或状态恢复，当发送进程重启成功或状态恢复之后，再将待传输数据进行发送。
在一些实施方式中，所述将待传输数据向对应的接收节点进行发送还包括：
获取待发送数据，对所述待发送数据进行预处理，其中，所述预处理包括：将所述待发送数据进行映射，得到所述待传输数据；
将所述待传输数据向对应的接收节点进行发送。
其中，将所述待发送数据进行映射指的是通过系统内核映射的方式获取其待发送数据对应的内存，以保证进程挂掉再重启或恢复状态后能够获取到和挂掉之前同样的内存，这样就可以根据这些内存继续处理这些对应的数据，也就是说通过预处理的方式，在发送进程挂掉再重启成功或状态恢复之后能够重新触发这些数据进行传输，以实现数据传输中继，提高数据传输的效率，避免重复进行完整的数据传输过程。
在另一个实施例中，如图3所示，提供了一种数据传输方法，以该方法应用于图1中的接收节点102为例进行说明，包括以下步骤：
步骤301，接收来自于发送节点的待传输数据。
根据数据传输请求，开始接收由发送节点发送过来的待传输数据，其中，数据传输请求包括但不限于发送节点主动发起的数据发送请求和/或接收节点主动发起的数据接收请求。
其中，待传输数据是指在某次或某几次发送节点向接收节点传输数据过程中需要传输的数据。
示例性地，可以是发送节点获取到相关IO数据时，向对应的接收节点发送IO数据。
步骤302，若所述待传输数据接收失败，则获取发送卷的第一工作状态和接收卷的第二工作状态，其中，所述发送卷和所述发送节点对应，所述接收卷和所述接收节点对应。
具体地，当待传输数据接收失败时，应当获取并检测发送卷和接收卷的工作状态是否正常且匹配，其中，节点的工作状态包括但不限于：正常状态(正常运行状态)、忙碌状态、错误状态以及停止状态等。
步骤303，判断所述第二工作状态和所述第一工作状态是否匹配。
需要说明的是，判断第一工作状态和第二工作状态是否匹配的过程包括但不限于判断发送卷和接收卷的工作状态是否同步，以及判断发送卷和接收卷是否都处于正常工作状态中，当发送卷和接收卷都同步处于正常工作状态时，才能成功的进行数据传输。
通过该步骤能够判断待传输数据接收失败的原因是因为发送卷和接收卷工作状态不同步，还是因为发送卷的工作状态异常，或是因为接收卷的工作状态异常，进而实现异常定位，再选择对应的解决方式。
步骤304，若否，则将所述待传输数据存储至待接收存储结构。
进一步说明，可以通过获取待传输数据的数据类型，进而选择对应的待接收存储结构来存储待传输数据。
示例性地，可以通过检测待传输数据是连续存储和/或离散存储进而选择对应的数组和/或链表；亦或是根据数据的操作类型来选择对应的待接收存储结构，如：当操作类型中的查找操作比较多时，选择数组来存储数据，当操作类型中的添加和/或删除等改动操作比较多时，选择链表来存储数据。
步骤305，当所述第二工作状态与所述第一工作状态匹配时，从所述待接收存储结构中对所述待传输数据进行接收。
当第二工作状态与第一工作状态不匹配时，则会根据异常情况对接收卷和/或发送卷进行重启或状态恢复，当第二工作状态和第一工作状态匹配时，即接收卷与发送卷的工作状态同步且处于正常运行状态，接收卷则从待接收存储结构中接收待传输数据。
在一些实施方式中，所述将所述待传输数据存储至待接收存储结构还包括：
对接收进程进行检测，其中，所述接收进程包括所述接收卷进行接收所述待传输数据的进程；
当所述接收进程被暂停或终止时，将所述待接收存储结构中的所述待传输数据进行清除；
重启所述接收进程，判断所述接收进程是否重启成功；
若是，则接收所述待传输数据；
若否，则拒绝接收所述待传输数据，以使所述发送卷将所述待传输数据进行存储。
具体地，对接收进程进行检测，当检测到接收进程被暂停或终止时，则会将待接收存储结构中的待传输数据进行清除，以防止无效数据对内存的占用，避免后续再次进行数据传输时，造成数据接收的错误等。
对接收进程进行重启或状态恢复，当接收进程重启成功或状态恢复之后，再将待传输数据进行接收。
若接收进程未能成功重启或状态恢复，则拒绝接收待传输数据，以使发送节点检测到待传输数据接收失败后，将待传输数据进行刷盘存储至发送卷。
应该理解的是，虽然图2-3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图4所示，提供了一种数据传输装置，配置于发送节点，包括：发送模块、检测模块和判断模块，其中：
发送模块，用于将待传输数据向对应的接收节点进行发送；
检测模块，用于获取发送卷的第一工作状态和接收卷的第二工作状态，其中，所述发送卷和所述发送节点对应，所述接收卷和所述接收节点对应；
判断模块，用于判断所述第一工作状态和所述第二工作状态是否匹配；
所述发送模块，还用于将所述待传输数据发送至待接收存储结构，以使所述接收卷在所述第二工作状态与所述第一工作状态匹配时，从所述待接收存储结构中对所述待传输数据进行接收。
在一些实施方式中，所述数据传输装置还包括：
预处理模块，用于获取待发送数据，对所述待发送数据进行预处理，其中，所述预处理包括：将所述待发送数据进行映射，得到所述待传输数据。
在一些实施方式中，还包括：
根据所述第一工作状态判断所述发送卷是否处于正常运行状态；
若是，则判断所述第一工作状态和所述第二工作状态是否匹配；
若不匹配，则将所述待传输数据记录至已发送存储结构，并向所述待接收存储结构发送所述待传输数据。
在一些实施方式中，还包括：
记录模块，用于将所述待传输数据记录至所述已发送存储结构，得到已发送数据；
对比模块，用于将所述已发送数据和所述待接收存储结构中的所述待传输数据进行数据对比，判断所述已发送数据和所述待传输数据是否匹配，以使所述接收卷在所述已发送数据和所述待传输数据匹配、且所述第二工作状态与所述第一工作状态匹配时，从所述待接收存储结构中将所述待传输数据进行接收。
在一些实施方式中，包括：
对发送进程进行检测，其中，所述发送进程包括所述发送卷进行发送所述待传输数据的进程；
当所述发送进程被暂停或终止时，将所述待接收存储结构中的所述待传输数据进行清除；
重启所述发送进程，当所述发送进程重启成功之后，将所述待传输数据进行发送。
在一个实施例中，如图5所示，提供了一种数据传输装置，配置于接收节点，包括：接收模块、检测模块和判断模块，其中：
接收模块，用于接收来自于发送节点的待传输数据；
检测模块，用于获取发送卷的第一工作状态和接收卷的第二工作状态，其中，所述发送卷和所述发送节点对应，所述接收卷和所述接收节点对应；
判断模块，用于判断所述第二工作状态和所述第一工作状态是否匹配；
所述接收模块，还用于将所述待传输数据存储至待接收存储结构；
所述接收模块，还用于从所述待接收存储结构中对所述待传输数据进行接收。
在一些实施方式中，还包括：
对接收进程进行检测，其中，所述接收进程包括所述接收卷进行接收所述待传输数据的进程；
当所述接收进程被暂停或终止时，将所述待接收存储结构中的所述待传输数据进行清除；
重启所述接收进程，判断所述接收进程是否重启成功；
若是，则接收所述待传输数据；
若否，则拒绝接收所述待传输数据，以使所述发送卷将所述待传输数据进行存储。
关于数据传输装置的具体限定可以参见上文中对于数据传输方法的限定，在此不再赘述。上述数据传输装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据传输过程中的相关数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据传输方法。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
将待传输数据向对应的接收节点进行发送；
若所述待传输数据发送失败，则获取发送卷的第一工作状态和接收卷的第二工作状态，其中，所述发送卷和所述发送节点对应，所述接收卷和所述接收节点对应；
判断所述第一工作状态和所述第二工作状态是否匹配；
若否，则将所述待传输数据发送至待接收存储结构，以使所述接收卷在所述第二工作状态与所述第一工作状态匹配时，从所述待接收存储结构中对所述待传输数据进行接收。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据所述第一工作状态判断所述发送卷是否处于正常运行状态；
若是，则判断所述第一工作状态和所述第二工作状态是否匹配；
若不匹配，则将所述待传输数据记录至已发送存储结构，并向所述待接收存储结构发送所述待传输数据。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将所述待传输数据记录至所述已发送存储结构，得到已发送数据；
将所述已发送数据和所述待接收存储结构中的所述待传输数据进行数据对比，判断所述已发送数据和所述待传输数据是否匹配，以使所述接收卷在所述已发送数据和所述待传输数据匹配、且所述第二工作状态与所述第一工作状态匹配时，从所述待接收存储结构中将所述待传输数据进行接收。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对发送进程进行检测，其中，所述发送进程包括所述发送卷进行发送所述待传输数据的进程；
当所述发送进程被暂停或终止时，将所述待接收存储结构中的所述待传输数据进行清除；
重启所述发送进程，当所述发送进程重启成功之后，将所述待传输数据进行发送。
或是在处理器执行计算机程序时实现以下步骤：
接收来自于发送节点的待传输数据；
若所述待传输数据接收失败，则获取发送卷的第一工作状态和接收卷的第二工作状态，其中，所述发送卷和所述发送节点对应，所述接收卷和所述接收节点对应；
判断所述第二工作状态和所述第一工作状态是否匹配；
若否，则将所述待传输数据存储至待接收存储结构；
当所述第二工作状态与所述第一工作状态匹配时，从所述待接收存储结构中对所述待传输数据进行接收。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对接收进程进行检测，其中，所述接收进程包括所述接收卷进行接收所述待传输数据的进程；
当所述接收进程被暂停或终止时，将所述待接收存储结构中的所述待传输数据进行清除；
重启所述接收进程，判断所述接收进程是否重启成功；
若是，则接收所述待传输数据；
若否，则拒绝接收所述待传输数据，以使所述发送卷将所述待传输数据进行存储。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
将待传输数据向对应的接收节点进行发送；
若所述待传输数据发送失败，则获取发送卷的第一工作状态和接收卷的第二工作状态，其中，所述发送卷和所述发送节点对应，所述接收卷和所述接收节点对应；
判断所述第一工作状态和所述第二工作状态是否匹配；
若否，则将所述待传输数据发送至待接收存储结构，以使所述接收卷在所述第二工作状态与所述第一工作状态匹配时，从所述待接收存储结构中对所述待传输数据进行接收。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据所述第一工作状态判断所述发送卷是否处于正常运行状态；
若是，则判断所述第一工作状态和所述第二工作状态是否匹配；
若不匹配，则将所述待传输数据记录至已发送存储结构，并向所述待接收存储结构发送所述待传输数据。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将所述待传输数据记录至所述已发送存储结构，得到已发送数据；
将所述已发送数据和所述待接收存储结构中的所述待传输数据进行数据对比，判断所述已发送数据和所述待传输数据是否匹配，以使所述接收卷在所述已发送数据和所述待传输数据匹配、且所述第二工作状态与所述第一工作状态匹配时，从所述待接收存储结构中将所述待传输数据进行接收。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对发送进程进行检测，其中，所述发送进程包括所述发送卷进行发送所述待传输数据的进程；
当所述发送进程被暂停或终止时，将所述待接收存储结构中的所述待传输数据进行清除；
重启所述发送进程，当所述发送进程重启成功之后，将所述待传输数据进行发送。
或是在计算机程序被处理器执行时实现以下步骤：
接收来自于发送节点的待传输数据；
若所述待传输数据接收失败，则获取发送卷的第一工作状态和接收卷的第二工作状态，其中，所述发送卷和所述发送节点对应，所述接收卷和所述接收节点对应；
判断所述第二工作状态和所述第一工作状态是否匹配；
若否，则将所述待传输数据存储至待接收存储结构；
当所述第二工作状态与所述第一工作状态匹配时，从所述待接收存储结构中对所述待传输数据进行接收。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对接收进程进行检测，其中，所述接收进程包括所述接收卷进行接收所述待传输数据的进程；
当所述接收进程被暂停或终止时，将所述待接收存储结构中的所述待传输数据进行清除；
重启所述接收进程，判断所述接收进程是否重启成功；
若是，则接收所述待传输数据；
若否，则拒绝接收所述待传输数据，以使所述发送卷将所述待传输数据进行存储。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (7)
1.一种数据传输方法，应用于发送节点，其特征在于，所述方法包括：
将待传输数据向对应的接收节点进行发送；
若所述待传输数据发送失败，则获取发送卷的第一工作状态和接收卷的第二工作状态，其中，所述发送卷和所述发送节点对应，所述接收卷和所述接收节点对应；
判断所述第一工作状态和所述第二工作状态是否匹配；
若否，则将所述待传输数据发送至待接收存储结构，以使所述接收卷在所述第二工作状态与所述第一工作状态匹配时，从所述待接收存储结构中对所述待传输数据进行接收；
所述获取发送卷的第一工作状态和接收卷的第二工作状态之后，还包括：
根据所述第一工作状态判断所述发送卷是否处于正常运行状态；
若是，则判断所述第一工作状态和所述第二工作状态是否匹配；
若不匹配，则将所述待传输数据记录至已发送存储结构，并向所述待接收存储结构发送所述待传输数据，还包括：
将所述待传输数据记录至所述已发送存储结构，得到已发送数据；
将所述已发送数据和所述待接收存储结构中的所述待传输数据进行数据对比，判断所述已发送数据和所述待传输数据是否匹配，以使所述接收卷在所述已发送数据和所述待传输数据匹配、且所述第二工作状态与所述第一工作状态匹配时，从所述待接收存储结构中将所述待传输数据进行接收。
2.根据权利要求1所述的数据传输方法，其特征在于，所述将所述发送卷中的待处理数据发送至待接收存储结构包括：
对发送进程进行检测，其中，所述发送进程包括所述发送卷进行发送所述待传输数据的进程；
当所述发送进程被暂停或终止时，将所述待接收存储结构中的所述待传输数据进行清除；
重启所述发送进程，当所述发送进程重启成功之后，将所述待传输数据进行发送。
3.一种数据传输方法，应用于接收节点，其特征在于，所述方法包括：
接收来自于发送节点的待传输数据；
若所述待传输数据接收失败，则获取发送卷的第一工作状态和接收卷的第二工作状态，其中，所述发送卷和所述发送节点对应，所述接收卷和所述接收节点对应；
判断所述第二工作状态和所述第一工作状态是否匹配；
若否，则将所述待传输数据存储至待接收存储结构；
当所述第二工作状态与所述第一工作状态匹配时，从所述待接收存储结构中对所述待传输数据进行接收；
所述将所述待传输数据存储至待接收存储结构还包括：
对接收进程进行检测，其中，所述接收进程包括所述接收卷进行接收所述待传输数据的进程；
当所述接收进程被暂停或终止时，将所述待接收存储结构中的所述待传输数据进行清除；
重启所述接收进程，判断所述接收进程是否重启成功；
若是，则接收所述待传输数据；
若否，则拒绝接收所述待传输数据，以使所述发送卷将所述待传输数据进行存储。
4.一种数据传输装置，配置于发送节点，其特征在于，所述装置包括：
发送模块，用于将待传输数据向对应的接收节点进行发送；
检测模块，用于获取发送卷的第一工作状态和接收卷的第二工作状态，其中，所述发送卷和所述发送节点对应，所述接收卷和所述接收节点对应；
所述检测模块，还用于根据所述第一工作状态判断所述发送卷是否处于正常运行状态；若是，则判断所述第一工作状态和所述第二工作状态是否匹配；
若不匹配，则所述检测模块还用于将所述待传输数据记录至已发送存储结构，并向待接收存储结构发送所述待传输数据，还包括：将所述待传输数据记录至所述已发送存储结构，得到已发送数据；将所述已发送数据和所述待接收存储结构中的所述待传输数据进行数据对比，判断所述已发送数据和所述待传输数据是否匹配，以使所述接收卷在所述已发送数据和所述待传输数据匹配、且所述第二工作状态与所述第一工作状态匹配时，从所述待接收存储结构中将所述待传输数据进行接收；
判断模块，用于判断所述第一工作状态和所述第二工作状态是否匹配；
所述发送模块，还用于将所述待传输数据发送至待接收存储结构，以使所述接收卷在所述第二工作状态与所述第一工作状态匹配时，从所述待接收存储结构中对所述待传输数据进行接收。
5.一种数据传输装置，配置于接收节点，其特征在于，所述装置包括：
接收模块，用于接收来自于发送节点的待传输数据；
检测模块，用于获取发送卷的第一工作状态和接收卷的第二工作状态，其中，所述发送卷和所述发送节点对应，所述接收卷和所述接收节点对应；
判断模块，用于判断所述第二工作状态和所述第一工作状态是否匹配；
所述接收模块，还用于将所述待传输数据存储至待接收存储结构；
所述接收模块，还用于从所述待接收存储结构中对所述待传输数据进行接收；
所述接收模块，还用于对接收进程进行检测，其中，所述接收进程包括所述接收卷进行接收所述待传输数据的进程；当所述接收进程被暂停或终止时，将所述待接收存储结构中的所述待传输数据进行清除；重启所述接收进程，判断所述接收进程是否重启成功；若是，则接收所述待传输数据；若否，则拒绝接收所述待传输数据，以使所述发送卷将所述待传输数据进行存储。
6.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至2中任一项所述数据传输方法的步骤，或实现如权利要求3中所述的数据传输方法的步骤。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至2中任一项所述数据传输方法的步骤，或实现如权利要求3所述的数据传输方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210861564.9A CN115334000B (zh) | 2022-07-20 | 2022-07-20 | 基于多控存储系统的数据传输方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210861564.9A CN115334000B (zh) | 2022-07-20 | 2022-07-20 | 基于多控存储系统的数据传输方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115334000A CN115334000A (zh) | 2022-11-11 |
| CN115334000B true CN115334000B (zh) | 2023-08-11 |
Family
ID=83919446
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210861564.9A Active CN115334000B (zh) | 2022-07-20 | 2022-07-20 | 基于多控存储系统的数据传输方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115334000B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102014153A (zh) * | 2010-10-19 | 2011-04-13 | 浪潮(北京)电子信息产业有限公司 | 一种数据存储系统及其数据存储方法 |
| CN107179964A (zh) * | 2016-03-11 | 2017-09-19 | 中兴通讯股份有限公司 | 快照的读写方法及装置 |
| US10795598B1 (en) * | 2017-12-07 | 2020-10-06 | Pure Storage, Inc. | Volume migration for storage systems synchronously replicating a dataset |
| CN111787349A (zh) * | 2020-05-19 | 2020-10-16 | 视联动力信息技术股份有限公司 | 一种数据缓存方法、装置、设备及介质 |
| CN112015348A (zh) * | 2020-08-28 | 2020-12-01 | 北京浪潮数据技术有限公司 | 一种数据卷的io静默方法、装置和介质 |
| CN112286454A (zh) * | 2020-10-27 | 2021-01-29 | 苏州浪潮智能科技有限公司 | 一种位图同步方法、装置及电子设备和存储介质 |
| CN113965482A (zh) * | 2021-10-19 | 2022-01-21 | 北京天融信网络安全技术有限公司 | 基于gRPC的数据传输方法、装置及存储介质 |
| CN114564153A (zh) * | 2022-02-28 | 2022-05-31 | 苏州浪潮智能科技有限公司 | 一种卷映射解除方法、装置、设备和存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10452502B2 (en) * | 2018-01-23 | 2019-10-22 | International Business Machines Corporation | Handling node failure in multi-node data storage systems |
-
2022
- 2022-07-20 CN CN202210861564.9A patent/CN115334000B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102014153A (zh) * | 2010-10-19 | 2011-04-13 | 浪潮(北京)电子信息产业有限公司 | 一种数据存储系统及其数据存储方法 |
| CN107179964A (zh) * | 2016-03-11 | 2017-09-19 | 中兴通讯股份有限公司 | 快照的读写方法及装置 |
| US10795598B1 (en) * | 2017-12-07 | 2020-10-06 | Pure Storage, Inc. | Volume migration for storage systems synchronously replicating a dataset |
| CN111787349A (zh) * | 2020-05-19 | 2020-10-16 | 视联动力信息技术股份有限公司 | 一种数据缓存方法、装置、设备及介质 |
| CN112015348A (zh) * | 2020-08-28 | 2020-12-01 | 北京浪潮数据技术有限公司 | 一种数据卷的io静默方法、装置和介质 |
| CN112286454A (zh) * | 2020-10-27 | 2021-01-29 | 苏州浪潮智能科技有限公司 | 一种位图同步方法、装置及电子设备和存储介质 |
| CN113965482A (zh) * | 2021-10-19 | 2022-01-21 | 北京天融信网络安全技术有限公司 | 基于gRPC的数据传输方法、装置及存储介质 |
| CN114564153A (zh) * | 2022-02-28 | 2022-05-31 | 苏州浪潮智能科技有限公司 | 一种卷映射解除方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115334000A (zh) | 2022-11-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110602169B (zh) | 服务调用方法、装置、计算机设备和存储介质 | |
| CN108834086B (zh) | 短信发送的方法、装置、计算机设备和存储介质 | |
| WO2021226905A1 (zh) | 一种数据存储方法、系统及存储介质 | |
| CN112597202B (zh) | 数据查询方法、装置、计算机设备和存储介质 | |
| CN110727698A (zh) | 数据库访问方法、装置、计算机设备和存储介质 | |
| CN111901176B (zh) | 故障确定方法、装置、设备及存储介质 | |
| CN113596010B (zh) | 一种数据处理方法、装置、节点设备及计算机存储介质 | |
| CN114138549A (zh) | 基于kubernetes系统的数据备份和恢复方法 | |
| CN109460438A (zh) | 消息数据存储方法、装置、计算机设备和存储介质 | |
| CN115686932A (zh) | 备份集文件恢复方法、装置和计算机设备 | |
| CN113612814B (zh) | 一种会话信息的筛选方法、装置、终端及存储介质 | |
| CN107943615B (zh) | 基于分布式集群的数据处理方法与系统 | |
| CN115334000B (zh) | 基于多控存储系统的数据传输方法、装置、设备及介质 | |
| CN111966531B (zh) | 数据快照方法、装置、计算机设备及存储介质 | |
| CN114564153B (zh) | 一种卷映射解除方法、装置、设备和存储介质 | |
| CN109857344B (zh) | 基于共享内存的心跳状态判断方法、装置和计算机设备 | |
| CN112527561B (zh) | 基于物联网云存储的数据备份方法及装置 | |
| CN113704027B (zh) | 文件聚合兼容方法、装置、计算机设备和存储介质 | |
| JP7429792B2 (ja) | データ伝送方法、端末及びコンピュータ読み取り可能な記憶媒体 | |
| CN112711606A (zh) | 数据库访问方法、装置、计算机设备和存储介质 | |
| CN114584572B (zh) | 一种分布式对象存储中数据同步方法、装置、设备及介质 | |
| CN113312309A (zh) | 快照链的管理方法、装置和存储介质 | |
| CN109257439B (zh) | 分布式文件保存系统、文件上传方法和装置 | |
| CN115292314B (zh) | 序列号生成方法、装置、计算机设备和存储介质 | |
| CN114201117B (zh) | 缓存数据的处理方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |