CN115391342A - 数据传输方法及电子设备 - Google Patents
数据传输方法及电子设备 Download PDFInfo
- Publication number
- CN115391342A CN115391342A CN202211018896.7A CN202211018896A CN115391342A CN 115391342 A CN115391342 A CN 115391342A CN 202211018896 A CN202211018896 A CN 202211018896A CN 115391342 A CN115391342 A CN 115391342A
- Authority
- CN
- China
- Prior art keywords
- data
- target
- identifier
- equipment
- segment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2255—Hash tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/278—Data partitioning, e.g. horizontal or vertical partitioning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
Abstract
本申请公开了一种数据传输方法及电子设备,可应用于金融领域,应用于第一设备的方法包括:接收第二设备的数据获取请求,所述数据获取请求中至少包含有数据标识;获得所述数据标识对应的目标数据,所述目标数据中至少包含有至少一个数据片段,且,所述数据片段配置有对应的插针标识;将所述目标数据传输给所述第二设备,以使得所述第二设备能够根据所述插针标识获得存在传输错误的数据片段的目标标识;在接收到所述第二设备传输的目标标识的情况下,将所述目标标识对应的目标片段传输给所述第二设备。
Description
技术领域
本申请涉及数据处理技术领域,尤其涉及一种数据传输方法及电子设备。
背景技术
大型企业的各类系统在日常运行过程中会产生海量的业务数据,这些数据可以传输给具备相应需求的后线系统中,完成数据价值的挖掘。
但是,在不同系统之间传输数据通常会存在传输失败的情况,此时就需要整体数据重传,导致系统之间的数据传输量暴增。
发明内容
有鉴于此,本申请提供一种数据传输方法及电子设备,用以解决系统之间数据重传时传输量较大的技术问题。如下:
一种数据传输方法,应用于第一设备,所述方法包括:
接收第二设备的数据获取请求,所述数据获取请求中至少包含有数据标识;
获得所述数据标识对应的目标数据,所述目标数据中至少包含有至少一个数据片段,且,所述数据片段配置有对应的插针标识;
将所述目标数据传输给所述第二设备,以使得所述第二设备能够根据所述插针标识获得存在传输错误的数据片段的目标标识;
在接收到所述第二设备传输的目标标识的情况下,将所述目标标识对应的目标片段传输给所述第二设备。
上述方法,优选的,在所述接收第二设备的数据获取请求之后,所述方法还包括:
判断所述第一设备的存储区域中是否存储有所述数据标识对应的目标数据;
如果有,从所述第一设备的存储区域读取所述目标数据,执行所述:将所述目标数据传输给所述第二设备;
如果没有,执行所述:获得所述数据标识对应的目标数据。
上述方法,优选的,所述获得所述数据标识对应的目标数据,包括:
获取所述数据标识对应的原生数据;
至少根据所述原生数据,获得至少一个插针标识;
按照所述插针标识,将所述原生数据划分成多个数据片段;
获得所述数据片段对应的片段哈希值和所述原生数据对应的整体哈希值;
将所述原生数据、所述插针标识、所述整体哈希值和所述片段哈希值进行整合,以得到所述数据标识对应的目标数据。
上述方法,优选的,所述至少根据所述原生数据,获得至少一个插针标识,包括:
提取所述原生数据所包含的数据项中的数据字段;
获得所述数据项中的数据字段与所述第一设备的业务描述字段之间的关联度值;
获得所述关联度值满足排序条件的第一数据项与所述第二设备的业务描述字段之间的相似度值;
至少根据所述相似度值满足相似条件的第二数据项,确定至少一个插针标识。
上述方法,优选的,至少根据所述相似度值满足相似条件的第二数据项,确定至少一个插针标识,包括:
根据相邻的所述第二数据项之间的数据项距离与预设的最小距离之间的大小关系,获得所述第二数据项中数据项距离小于或等于所述最小距离的第一待选数据项和数据距离大于所述最小距离的第二待选数据项;
根据所述第一待选数据项中的任意一个数据项的位置,确定插针标识;
对相邻的所述第二待选数据项之间的数据项,根据所述最小距离进行数据项分割,以得到至少一个分割位置;根据所述分割位置,确定插针标识。
一种数据传输方法,应用于第二设备,所述方法包括:
接收第一设备传输的目标数据,所述目标数据中至少包含有至少一个数据片段,且,所述数据片段配置有对应的插针标识;
在所述目标数据满足传输错误条件的情况下,根据所述插针标识,获得存在传输错误的数据片段的目标标识;
将所述目标标识传输给所述第一设备,以使得所述第一设备将所述目标标识对应的目标片段传输给所述第二设备。
上述方法,优选的,所述目标数据包含有原生数据、插针标识、所述原生数据对应的整体哈希值和所述原生数据中的数据片段对应的片段哈希值;
其中,所述目标数据满足传输错误条件,包括:
所述原生数据对应的当前哈希值与所述目标数据中的整体哈希值不匹配。
上述方法,优选的,根据所述插针标识,获得存在传输错误的数据片段的目标标识,包括:
根据所述插针标识,将所述原生数据划分成多个数据片段;
获得所述数据片段对应的当前哈希值;
将所述当前哈希值与所述目标数据中的片段哈希值进行比对,以得到哈希值不匹配的数据片段的目标标识。
一种电子设备,所述电子设备作为第一设备包括:
存储器,用于存储计算机程序以及所述计算机程序运行所产生的数据;
处理器,用于执行所述计算机程序,以实现:接收第二设备的数据获取请求,所述数据获取请求中至少包含有数据标识;获得所述数据标识对应的目标数据,所述目标数据中至少包含有至少一个数据片段,且,所述数据片段配置有对应的插针标识;将所述目标数据传输给所述第二设备,以使得所述第二设备能够根据所述插针标识获得存在传输错误的数据片段的目标标识;在接收到所述第二设备传输的目标标识的情况下,将所述目标标识对应的目标片段传输给所述第二设备。
一种电子设备,所述电子设备作为第二设备包括:
存储器,用于存储计算机程序以及所述计算机程序运行所产生的数据;
处理器,用于执行所述计算机程序,以实现:接收第一设备传输的目标数据,所述目标数据中至少包含有至少一个数据片段,且,所述数据片段配置有对应的插针标识;在所述目标数据满足传输错误条件的情况下,根据所述插针标识,获得存在传输错误的数据片段的目标标识;将所述目标标识传输给所述第一设备,以使得所述第一设备将所述目标标识对应的目标片段传输给所述第二设备。
从上述技术方案可以看出,本申请公开的一种数据传输方法及电子设备中,在第一设备向第二设备传输数据之前,先将数据按照插针标识拆分成至少一个数据片段,进而在将数据传输给第二设备之后,第二设备就可以仅向第一设备通知传输错误的数据片段的目标标识,进而第一设备就可以只传输该目标标识对应的数据片段,而无需将整个数据全部重传,从而得到降低数据传输量的目的。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例一提供的一种数据传输方法的流程图;
图2为本申请实施例一提供的一种数据传输方法的另一流程图;
图3为本申请实施例一提供的一种数据传输方法的部分流程图;
图4为本申请实施例一提供的一种数据传输方法的另一部分流程图;
图5为本申请实施例二提供的一种数据传输方法的实现流程图;
图6为本申请实施例三提供的一种数据传输装置的结构示意图;
图7为本申请实施例三提供的一种数据传输装置的另一结构示意图;
图8为本申请实施例四提供的一种数据传输装置的结构示意图;
图9为本申请实施例五提供的一种电子设备的结构示意图;
图10为本申请实施例六提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
参考图1所示,为本申请实施例一提供的一种数据传输方法的实现流程图,该方法可以适用于提供数据的电子设备中,这里记为第一设备。本实施例中的技术方案主要用于降低设备之间重传数据的数据量。
具体的,本实施例中的方法可以包含如下步骤:
步骤101:接收第二设备的数据获取请求。
其中,数据获取请求中至少包含有数据标识。数据标识用于唯一表征第二设备所需要(订阅)的数据。具体的,数据标识可以为目标数据的数据地址,或者,数据标识可以为目标数据的数据名称等。
步骤102:获得数据标识对应的目标数据。
其中,目标数据中至少包含有至少一个数据片段,且数据片段配置有对应的插针标识。
具体的,本实施例中可以对第一设备中数据标识对应的原生数据中的数据项按照插针标识进行分割等处理,进而得到至少一个数据片段,而每个数据片段分别配置有对应的插针标识。这里的原生数据是指第一设备中未被处理的初始数据,在经过插针处理后得到该目标数据。
另外,目标数据中还可以包含有其他数据,如目标数据对应的原生数据等。
例如,目标数据由多个数据片段组成,每个数据片段的头部或尾部对应有插针标识,以表征目标数据对应的原生数据中的数据项被分割的位置。
步骤103:将目标数据传输给第二设备,以使得第二设备能够根据插针标识获得存在传输错误的数据片段的目标标识。
具体的,第二设备可以在接收到第一设备传输的目标数据之后,判断目标数据是否满足传输错误条件,如果不满足传输错误条件,则表征目标数据全部传输正确,如果满足传输条件,则表明目标数据至少存在部分数据片段传输错误,此时,根据插针标识获得到存在传输错误的数据片段的目标标识,之后将该目标标识发送给第一设备。
步骤104:在接收到第二设备传输的目标标识的情况下,将目标标识对应的目标片段传输给第二设备。
具体的,第一设备上在接收到目标标识的情况下,按照目标标识查找对应的数据片段,即目标片段,然后将目标片段重新传输给第二设备。
从上述技术方案可以看出,本申请实施例一提供的一种数据传输方法中,在第一设备向第二设备传输数据之前,先将数据按照插针标识拆分成至少一个数据片段,进而在将数据传输给第二设备之后,第二设备就可以仅向第一设备通知传输错误的数据片段的目标标识,进而第一设备就可以只传输该目标标识对应的数据片段,而无需将整个数据全部重传,从而得到降低数据传输量的目的。
在一种实现方式中,第一设备可以在接收到目标标识的情况下,将目标标识发送给其他具有该目标标识对应的数据片段的第三设备(已经成功接收到目标数据的其他设备),由第三设备按照目标标识将相应的目标片段发送给第二设备,进而通过其他设备来减少第一设备上的数据传输量。
在一种实现方式中,在步骤101之后,本实施例中的方法还可以包含如下步骤,如图2中所示:
步骤105:判断第一设备的存储区域中是否存储有数据标识对应的目标数据,如果有,执行步骤106,如果没有,执行步骤102。
其中,第一设备的存储区域可以理解为对目标数据的备份区域,可以为硬盘或内存等区域。
需要说明的是,在第一设备上对原生数据进行处理所得到的目标数据可以存储在第一设备的存储区域,以便于下次直接使用。基于此,本实施例中在获得到第二设备的数据获取请求之后,先在第一设备的存储区域中查找是否已经存在数据标识对应的目标数据。
步骤106:从第一设备的存储区域读取目标数据,执行步骤103。
其中,如果第一设备的存储区域中已经存在有目标数据,那么无需再执行步骤102,也就无需重新生成目标数据,仅需从第一设备的存储区域读取目标数据,然后直接执行步骤103即将目标数据传输给第二设备即可;而如果第一设备的存储区域中没有目标数据,那么可以执行步骤102,进而在获得到目标数据之后,将目标数据传输给第二设备。
在一种实现方式中,步骤102中在获得数据标识对应的目标数据时,具体可以通过以下方式实现,如图3中所示:
步骤301:获取数据标识对应的原生数据。
其中,第一设备在接收到数据获取请求之后,可以根据数据标识在第一设备的存储区域中查找相应的原生数据。
步骤302:至少根据原生数据,获得至少一个插针标识。
具体的,本实施例中可以根据原生数据中数据价值满足相应条件的数据项的位置来获得至少一个插针标识。这里的数据价值满足相应条件的数据项可以理解为与第一设备的业务描述字段的关联度较高且与第二设备的业务描述字段之间的相似度也较高的数据项。
步骤303:根据插针标识,将原生数据划分成多个数据片段。
具体的,本实施例中可以按照插针标识所表征的数据项的位置,将原生数据中的数据项进行划分,进而得到多个数据片段,每个数据片段中包含有一个或多个数据项3。
步骤304:获得数据片段对应的片段哈希值和原生数据对应的整体哈希值。
具体的,本实施例中可以对每个数据片段分别进行哈希计算,以得到每个数据片段对应的片段哈希值,同时,对原生数据作为整体进行哈希值计算,以得到原生数据对应的整体哈希值。
步骤305:将原生数据、插针标识、整体哈希值和片段哈希值进行整合,以得到数据标识对应的目标数据。
也就是说,目标数据中的数据片段用对相应数据项进行哈希计算后的片段哈希值表示。可见,目标数据中除了片段哈希值以及片段哈希值对应的插针标识,还包含有原生数据和整体哈希值。
进一步的,本实施例中在步骤103中将目标数据传输给第二设备时,可以先将目标数据进行数据块划分,以得到一个或多个数据块,之后,再将这些数据块发送给第二设备,在第二设备上接收到这些数据块之后,将这些数据块进行拼接,以得到目标数据,基于此,第二设备再根据目标数据中的插针标识,对目标数据中的原生数据进行片段划分,以得到多个数据分段,之后,获得每个数据分段的当前哈希值,将每个数据分段的当前哈希值与目标数据中相应的片段哈希值(关于插针标识相对应)进行比对,以得到哈希值不匹配的数据片段的目标标识,在将该目标标识发送给第一设备之后,以使得第一设备能够将该目标标识对应的目标片段重新传输给第二设备。
基于以上实现,步骤302中在至少根据原生数据获得至少一个插针标识时,可以通过以下方式实现,如图4中所示:
步骤401:提取原生数据所包含的数据项中的数据字段。
其中,数据字段可以理解为数据项中的字段值。如名称、部门、备注等数据项中的字段内容。
步骤402:获得数据项中的数据字段与第一设备的业务描述字段之间的关联度值。
其中,第一设备的业务描述字段可以理解为第一设备(数据密集型系统,即提供数据的系统)对应的功能项的功能描述内容。
具体的,本实施例中可以采用关联度统计算法,对原生数据所包含的各个数据项中的数据字段与第一设备的业务描述字段进行关联度统计,以得到每个数据项与第一设备的业务描述字段之间的关联度值。
步骤403:获得关联度值满足排序条件的第一数据项与第二设备的业务描述字段之间的相似度值。
其中,排序条件可以为:关联度值从大到小排序在前M个的数据项或者关联度值大于或等于关联阈值的数据项。M为大于或等1的正整数。
具体的,本实施例中先在原生数据所包含的数据项中,筛选出与第一设备的业务描述字段的关联度值较高(即满足排序条件)的一个或多个第一数据项,之后,再获取第一数据项与第二设备的业务描述字段之间的相似度值。
其中,第二设备的业务描述字段可以理解为第二设备(订阅系统,即需要获取数据的系统)的热点项目的描述内容。
具体的,本实施例中可以采用相似度计算算法,对第一数据项与第二设备的业务描述字段进行相似度计算,以得到每个第一数据项与第二设备的业务描述字段之间的相似度值。
步骤404:至少根据相似度值满足相似条件的第二数据项,确定至少一个插针标识。
其中,相似条件可以为:相似度值从大到小排序在前N个的数据项或者相似度值大于或等于相似阈值的数据项。N为大于或等1的正整数。
具体的,本实施例中先在第一数据项中,筛选出与第二设备的业务描述字段的相似度较高(即满足相似条件)的一个或多个第二数据项,第二数据项可以理解为原生数据中数据价值较高的数据项,即为价值点;然后,再根据这些第二数据项在原生数据中的数据项位置,确定一个或多个插针标识。
例如,本实施例中可以首先根据相邻的第二数据项之间的数据项距离与预设的最小距离之间的大小关系,获得第二数据项中数据项距离小于或等于最小距离的第一待选数据项和数据距离大于最小距离的第二待选数据项。
基于此,根据第一待选数据项中的任意一个数据项的位置,确定插针标识;
而对相邻的第二待选数据项之间的数据项,可以根据最小距离进行数据项分割,以得到至少一个分割位置;进而根据分割位置,确定插针标识。
其中,相邻的第二数据项之间的数据项距离可以用:相邻的第二数据项之间所间隔数据项的数量来表示。
例如,本实施例中预先配置最小距离,以L表示,L可以为20,对筛选出来的数据价值较高的第二数据项进行相邻的距离计算,例如,如图6中所示,第二数据项有数据项1、数据项3、数据项10、数据项100和数据项200等,数据项距离分别为:2、7、90和100等,基于此,对距离小于或等于L的第二数据项中随机选择一个数据项的位置作为插针标识,对于距离大于L的第二数据项之间的数据项进行平均分割,将分割位置上对应的数据项位置作为插针标识,例如,在数据项1、数据项3、数据项10中任选一个数据项3并将其位置确定为插针标识,在数据项10和数据项100之间按照L进行平均分割,进而将数据项32、数据项55、数据项77的位置确定为插针标识,将数据项100和数据项200之间按照L进行平均分割,进而将数据项120、数据项140、数据项160、数据项180的位置确定为插针标识。由此,得到插针标识组成的列表,即插针点列表。
参考图5,为本申请实施例二提供的一种数据传输方法的实现流程图,该方法可以适用于接收数据的电子设备中,这里记为第二设备。本实施例中的技术方案主要用于降低设备之间重传数据的数据量。
具体的,本实施例中的方法可以包含如下步骤:
步骤501:接收第一设备传输的目标数据。
其中,目标数据中至少包含有至少一个数据片段,且,数据片段配置有对应的插针标识。
步骤502:判断目标数据是否满足传输错误条件,在目标数据满足传输错误条件的情况下,执行步骤503。
步骤503:根据插针标识,获得存在传输错误的数据片段的目标标识。
其中,目标数据包含有原生数据、插针标识、原生数据对应的整体哈希值和原生数据中的数据片段对应的片段哈希值。基于此,目标数据满足传输错误条件可以为:原生数据对应的当前哈希值与目标数据中的整体哈希值不匹配。由此,如果原生数据对应的当前哈希值与目标数据中的整体哈希值相匹配,说明目标数据中的所有数据片段均传输准确,此时,可以结束当前流程,继续对下一组接收到的数据进行错误判断,而如果原生数据对应的当前哈希值与目标数据中的整体哈希值不匹配,那么表明至少存在一个数据片段没有传输准确,此时执行步骤503。
具体的,本实施例中可以通过如下方式获得目标标识:
首先,根据插针标识,将原生数据划分成多个数据片段,然后,再获得每个数据片段对应的当前哈希值,例如,对每个数据片段使用哈希算法进行哈希值计算,得到每个数据片段对应的当前哈希值;最后,将每个数据片段对应的当前哈希值分别与目标数据中相应的片段哈希值进行比对,由此找到当前哈希值与目标数据中的片段哈希值不匹配的数据片段,该数据片段对应的片段标识即为哈希值不匹配的数据片段的目标标识。
步骤504:将目标标识传输给第一设备,以使得第一设备将目标标识对应的目标片段传输给第二设备。
从上述技术方案可以看出,本申请实施例二提供的一种数据传输方法中,在第一设备向第二设备传输数据之前,先将数据按照插针标识拆分成至少一个数据片段,进而在将数据传输给第二设备之后,第二设备就可以仅向第一设备通知传输错误的数据片段的目标标识,进而第一设备就可以只传输该目标标识对应的数据片段,而无需将整个数据全部重传,从而得到降低数据传输量的目的。
参考图6,为本申请实施例三提供的一种数据传输装置的结构示意图,该装置可以配置在提供数据的电子设备中,这里记为第一设备。本实施例中的技术方案主要用于降低设备之间重传数据的数据量。
具体的,本实施例中的装置可以包含如下单元:
请求接收单元601,用于接收第二设备的数据获取请求,所述数据获取请求中至少包含有数据标识;
目标获得单元602,用于获得所述数据标识对应的目标数据,所述目标数据中至少包含有至少一个数据片段,且,所述数据片段配置有对应的插针标识;
目标传输单元603,用于将所述目标数据传输给所述第二设备,以使得所述第二设备能够根据所述插针标识获得存在传输错误的数据片段的目标标识;
标识接收单元604;
片段传输单元605,用于在标识接收单元604接收到所述第二设备传输的目标标识的情况下,将所述目标标识对应的目标片段传输给所述第二设备。
从上述技术方案可以看出,本申请实施例三提供的一种数据传输装置中,在第一设备向第二设备传输数据之前,先将数据按照插针标识拆分成至少一个数据片段,进而在将数据传输给第二设备之后,第二设备就可以仅向第一设备通知传输错误的数据片段的目标标识,进而第一设备就可以只传输该目标标识对应的数据片段,而无需将整个数据全部重传,从而得到降低数据传输量的目的。
在一种实现方式中,本实施例中的装置中还包含如下单元,如图7中所示:
存储判断单元606,用于在请求接收单元601接收第二设备的数据获取请求之后,判断所述第一设备的存储区域中是否存储有所述数据标识对应的目标数据;如果有,触发存储读取单元607;如果没有,触发目标获得单元602,以获得所述数据标识对应的目标数据;
存储读取单元607,用于从所述第一设备的存储区域读取所述目标数据,触发目标传输单元603,以将所述目标数据传输给所述第二设备;
在一种实现方式中,目标获得单元602具体用于:获取所述数据标识对应的原生数据;至少根据所述原生数据,获得至少一个插针标识;按照所述插针标识,将所述原生数据划分成多个数据片段;获得所述数据片段对应的片段哈希值和所述原生数据对应的整体哈希值;将所述原生数据、所述插针标识、所述整体哈希值和所述片段哈希值进行整合,以得到所述数据标识对应的目标数据。
在一种实现方式中,目标获得单元602在至少根据所述原生数据,获得至少一个插针标识时,具体用于:提取所述原生数据所包含的数据项中的数据字段;获得所述数据项中的数据字段与所述第一设备的业务描述字段之间的关联度值;获得所述关联度值满足排序条件的第一数据项与所述第二设备的业务描述字段之间的相似度值;至少根据所述相似度值满足相似条件的第二数据项,确定至少一个插针标识。
在一种实现方式中,目标获得单元602在至少根据所述相似度值满足相似条件的第二数据项,确定至少一个插针标识时,具体用于:根据相邻的所述第二数据项之间的数据项距离与预设的最小距离之间的大小关系,获得所述第二数据项中数据项距离小于或等于所述最小距离的第一待选数据项和数据距离大于所述最小距离的第二待选数据项;根据所述第一待选数据项中的任意一个数据项的位置,确定插针标识;对相邻的所述第二待选数据项之间的数据项,根据所述最小距离进行数据项分割,以得到至少一个分割位置;根据所述分割位置,确定插针标识。
参考图8,为本申请实施例四提供的一种数据传输装置的结构示意图,该装置可以配置在接收数据的电子设备中,这里记为第二设备。本实施例中的技术方案主要用于降低设备之间重传数据的数据量。
具体的,本实施例中的装置可以包含如下单元:
目标接收单元801,用于接收第一设备传输的目标数据,所述目标数据中至少包含有至少一个数据片段,且,所述数据片段配置有对应的插针标识;
标识获取单元802,用于在所述目标数据满足传输错误条件的情况下,根据所述插针标识,获得存在传输错误的数据片段的目标标识;
标识传输单元803,用于将所述目标标识传输给所述第一设备,以使得所述第一设备将所述目标标识对应的目标片段传输给所述第二设备。
从上述技术方案可以看出,本申请实施例四提供的一种数据传输装置中,在第一设备向第二设备传输数据之前,先将数据按照插针标识拆分成至少一个数据片段,进而在将数据传输给第二设备之后,第二设备就可以仅向第一设备通知传输错误的数据片段的目标标识,进而第一设备就可以只传输该目标标识对应的数据片段,而无需将整个数据全部重传,从而得到降低数据传输量的目的。
在一种实现方式中,所述目标数据包含有原生数据、插针标识、所述原生数据对应的整体哈希值和所述原生数据中的数据片段对应的片段哈希值;其中,所述目标数据满足传输错误条件,包括:所述原生数据对应的当前哈希值与所述目标数据中的整体哈希值不匹配。
在一种实现方式中,标识获取单元802具体用于:根据所述插针标识,将所述原生数据划分成多个数据片段;获得所述数据片段对应的当前哈希值;将所述当前哈希值与所述目标数据中的片段哈希值进行比对,以得到哈希值不匹配的数据片段的目标标识。
参考图9,为本申请实施例五提供的一种电子设备的结构示意图,该电子设备作为第一设备包括如下结构:
存储器901,用于存储计算机程序以及所述计算机程序运行所产生的数据;
处理器902,用于执行所述计算机程序,以实现:接收第二设备的数据获取请求,所述数据获取请求中至少包含有数据标识;获得所述数据标识对应的目标数据,所述目标数据中至少包含有至少一个数据片段,且,所述数据片段配置有对应的插针标识;将所述目标数据传输给所述第二设备,以使得所述第二设备能够根据所述插针标识获得存在传输错误的数据片段的目标标识;在接收到所述第二设备传输的目标标识的情况下,将所述目标标识对应的目标片段传输给所述第二设备。
从上述技术方案可以看出,本申请实施例五提供的一种电子设备中,在第一设备向第二设备传输数据之前,先将数据按照插针标识拆分成至少一个数据片段,进而在将数据传输给第二设备之后,第二设备就可以仅向第一设备通知传输错误的数据片段的目标标识,进而第一设备就可以只传输该目标标识对应的数据片段,而无需将整个数据全部重传,从而得到降低数据传输量的目的。
参考图10,为本申请实施例六提供的一种电子设备的结构示意图,该电子设备作为第二设备包括如下结构:
存储器1001,用于存储计算机程序以及所述计算机程序运行所产生的数据;
处理器1002,用于执行所述计算机程序,以实现:接收第一设备传输的目标数据,所述目标数据中至少包含有至少一个数据片段,且,所述数据片段配置有对应的插针标识;在所述目标数据满足传输错误条件的情况下,根据所述插针标识,获得存在传输错误的数据片段的目标标识;将所述目标标识传输给所述第一设备,以使得所述第一设备将所述目标标识对应的目标片段传输给所述第二设备。
从上述技术方案可以看出,本申请实施例六提供的一种电子设备中,在第一设备向第二设备传输数据之前,先将数据按照插针标识拆分成至少一个数据片段,进而在将数据传输给第二设备之后,第二设备就可以仅向第一设备通知传输错误的数据片段的目标标识,进而第一设备就可以只传输该目标标识对应的数据片段,而无需将整个数据全部重传,从而得到降低数据传输量的目的。
以大型企业的各类应用系统之间的数据传输场景为例,各类应用系统产生了海量的、丰富的业务数据,这些数据经过简单的加工和组合将分发至具备相应需求的后线系统中,完成数据价值的挖掘,但是数据的分发可能存在一定的问题,例如分发不完整、分发中断等问题,这些都导致数据密集型企业耗费额外的资源检查并重传数据。
有鉴于此,本申请建立一种数据密集型系统关联分发控制方案,该方案能够对现有的发送端和接收端进行改进,优化发送端的数据发送方法,对数据动态计算价值点和插针点,在接收端能够对插针点进行接收计算,防止数据漏传、误传,提升数据的分发控制粒度,有利于系统实现数据分发的自动化控制、高效的缺失重传。
其中,在发送端一侧,发送端对关联系统订阅的数据进行价值点计算和插针点设置,对相关数据打包后发送接收端。而在接收端一侧,接收端对订阅的数据片段信息进行组装,对检测到的缺失或错误数据定位插针点片段并路由到相关节点重传。本申请中能够对发送端的数据进行加工和封装,接收端能够对各数据段进行独立验证并路由最佳节点进行数据重传,具体方案如下:
关联系统(即前文中的第二设备,接收端,也可以成为订阅系统)向数据密集型系统(即前文中的第一设备,发送端)订阅数据后,发送端对订阅数据进行检测,查询是否对订阅系统生成了传输数据,如果具备传输数据直接下发至新订阅数据的关联系统,否则从原始数据到传输数据进行转换,转换方法为:首先对数据的价值点进行计算,其次根据价值点进行插针点计算。在价值点计算时,对数据项的多字段进行拆分,将各个字段与数据密集型系统对应的功能项进行关联度统计,将统计结果按照从高到低的形式进行排序,同时将排序结果字段中的值与订阅系统的热点项进行相似度计算,对综合结果值大于系统阈值的数据置为价值点;在系统中设置数据间隔最小距离L,对上述步骤计算得到的价值点列表进行距离计算,对距离小于L的价值点随机选择一个价值点作为插针点,对于距离大于最小距离的价值点进行平均分割,最终生成当前数据流的插针点列表。
对分割后的插针点列表数据,对每个数据片段生成哈希值和原生数据的整体哈希值,将原生数据、插针点、插针片段哈希值等数据按照一定方式进行组织数据,将数据拆分为多个片段后发送至接收端。
在接收端对接收到的数据进行插针点汇总,如果接收到的数据整体哈希值一直则表示数据传输正确无误,向发送端发送当前系统ID,数据分发结束。否则根据插针点列表获取插针片段,计算差异插针点(即存在传输错误的数据片段对应的插针标识),向发送端发送失误插针端,发送端将插针端对应的插针点、位置信息、成功接收数据系统ID发给接收端,接收端对响应的数据进行分析,获取异常插针点数据,并对异常插针点向成功接收系统和发送端进行广播,请求这些关联端对插针点数据进行重传,发送端或其他订阅系统接收到信号后,根据系统的闲忙状态对相应价值点数据进行响应,接收端接收数据组装完成后再次验证整体数据的哈希值,数据检查无误后向发送端发送当前系统ID,数据分发结束。
可见,在发送端对下发数据计算数据价值点,并根据价值点制定插针点,在数据下发后对插针点进行检查,对检测到的传输错误数据定位所在的插针点并通过发送端或其他接收端进行重传,由此减少数据传输量。
本发明提供的控制方法、装置及电子设备可用于金融领域或其他领域,例如,可用于金融领域中的金融业务智能柜台的自助业务办理场景。其他领域为除金融领域之外的任意领域,例如,分布式领域、云计算领域、大数据领域、物联网领域。上述仅为示例,并不对本发明提供的发明名称的应用领域进行限定。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种数据传输方法,其特征在于,应用于第一设备,所述方法包括:
接收第二设备的数据获取请求,所述数据获取请求中至少包含有数据标识;
获得所述数据标识对应的目标数据,所述目标数据中至少包含有至少一个数据片段,且,所述数据片段配置有对应的插针标识;
将所述目标数据传输给所述第二设备,以使得所述第二设备能够根据所述插针标识获得存在传输错误的数据片段的目标标识;
在接收到所述第二设备传输的目标标识的情况下,将所述目标标识对应的目标片段传输给所述第二设备。
2.根据权利要求1所述的方法,其特征在于,在所述接收第二设备的数据获取请求之后,所述方法还包括:
判断所述第一设备的存储区域中是否存储有所述数据标识对应的目标数据;
如果有,从所述第一设备的存储区域读取所述目标数据,执行所述:将所述目标数据传输给所述第二设备;
如果没有,执行所述:获得所述数据标识对应的目标数据。
3.根据权利要求1或2所述的方法,其特征在于,所述获得所述数据标识对应的目标数据,包括:
获取所述数据标识对应的原生数据;
至少根据所述原生数据,获得至少一个插针标识;
按照所述插针标识,将所述原生数据划分成多个数据片段;
获得所述数据片段对应的片段哈希值和所述原生数据对应的整体哈希值;
将所述原生数据、所述插针标识、所述整体哈希值和所述片段哈希值进行整合,以得到所述数据标识对应的目标数据。
4.根据权利要求3所述的方法,其特征在于,所述至少根据所述原生数据,获得至少一个插针标识,包括:
提取所述原生数据所包含的数据项中的数据字段;
获得所述数据项中的数据字段与所述第一设备的业务描述字段之间的关联度值;
获得所述关联度值满足排序条件的第一数据项与所述第二设备的业务描述字段之间的相似度值;
至少根据所述相似度值满足相似条件的第二数据项,确定至少一个插针标识。
5.根据权利要求4所述的方法,其特征在于,至少根据所述相似度值满足相似条件的第二数据项,确定至少一个插针标识,包括:
根据相邻的所述第二数据项之间的数据项距离与预设的最小距离之间的大小关系,获得所述第二数据项中数据项距离小于或等于所述最小距离的第一待选数据项和数据距离大于所述最小距离的第二待选数据项;
根据所述第一待选数据项中的任意一个数据项的位置,确定插针标识;
对相邻的所述第二待选数据项之间的数据项,根据所述最小距离进行数据项分割,以得到至少一个分割位置;根据所述分割位置,确定插针标识。
6.一种数据传输方法,其特征在于,应用于第二设备,所述方法包括:
接收第一设备传输的目标数据,所述目标数据中至少包含有至少一个数据片段,且,所述数据片段配置有对应的插针标识;
在所述目标数据满足传输错误条件的情况下,根据所述插针标识,获得存在传输错误的数据片段的目标标识;
将所述目标标识传输给所述第一设备,以使得所述第一设备将所述目标标识对应的目标片段传输给所述第二设备。
7.根据权利要求6所述的方法,其特征在于,所述目标数据包含有原生数据、插针标识、所述原生数据对应的整体哈希值和所述原生数据中的数据片段对应的片段哈希值;
其中,所述目标数据满足传输错误条件,包括:
所述原生数据对应的当前哈希值与所述目标数据中的整体哈希值不匹配。
8.根据权利要求7所述的方法,其特征在于,根据所述插针标识,获得存在传输错误的数据片段的目标标识,包括:
根据所述插针标识,将所述原生数据划分成多个数据片段;
获得所述数据片段对应的当前哈希值;
将所述当前哈希值与所述目标数据中的片段哈希值进行比对,以得到哈希值不匹配的数据片段的目标标识。
9.一种电子设备,其特征在于,所述电子设备作为第一设备包括:
存储器,用于存储计算机程序以及所述计算机程序运行所产生的数据;
处理器,用于执行所述计算机程序,以实现:接收第二设备的数据获取请求,所述数据获取请求中至少包含有数据标识;获得所述数据标识对应的目标数据,所述目标数据中至少包含有至少一个数据片段,且,所述数据片段配置有对应的插针标识;将所述目标数据传输给所述第二设备,以使得所述第二设备能够根据所述插针标识获得存在传输错误的数据片段的目标标识;在接收到所述第二设备传输的目标标识的情况下,将所述目标标识对应的目标片段传输给所述第二设备。
10.一种电子设备,其特征在于,所述电子设备作为第二设备包括:
存储器,用于存储计算机程序以及所述计算机程序运行所产生的数据;
处理器,用于执行所述计算机程序,以实现:接收第一设备传输的目标数据,所述目标数据中至少包含有至少一个数据片段,且,所述数据片段配置有对应的插针标识;在所述目标数据满足传输错误条件的情况下,根据所述插针标识,获得存在传输错误的数据片段的目标标识;将所述目标标识传输给所述第一设备,以使得所述第一设备将所述目标标识对应的目标片段传输给所述第二设备。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211018896.7A CN115391342A (zh) | 2022-08-24 | 2022-08-24 | 数据传输方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211018896.7A CN115391342A (zh) | 2022-08-24 | 2022-08-24 | 数据传输方法及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115391342A true CN115391342A (zh) | 2022-11-25 |
Family
ID=84120112
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211018896.7A Pending CN115391342A (zh) | 2022-08-24 | 2022-08-24 | 数据传输方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115391342A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116264565A (zh) * | 2023-05-16 | 2023-06-16 | 山东省邱集煤矿有限公司 | 一种基于语义拆分的煤矿井下数据传输方法、装置及设备 |
-
2022
- 2022-08-24 CN CN202211018896.7A patent/CN115391342A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116264565A (zh) * | 2023-05-16 | 2023-06-16 | 山东省邱集煤矿有限公司 | 一种基于语义拆分的煤矿井下数据传输方法、装置及设备 |
CN116264565B (zh) * | 2023-05-16 | 2023-08-04 | 山东省邱集煤矿有限公司 | 一种基于语义拆分的煤矿井下数据传输方法、装置及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110933072A (zh) | 基于区块链的数据传输方法、装置及电子设备 | |
CN108776616B (zh) | 一种确定区块链节点可信状态的方法、区块链节点及系统 | |
CN111818112B (zh) | 一种基于Kafka系统的发送消息的方法和装置 | |
CN110070445B (zh) | 一种基于区块链系统的交易处理方法及装置 | |
CN109522316B (zh) | 日志处理方法、装置、设备和存储介质 | |
CN109413016B (zh) | 一种基于规则的报文检测方法和装置 | |
CN108063685B (zh) | 日志分析方法及装置 | |
CN111507714B (zh) | 一种验证方法、装置、服务器及存储介质 | |
CN106055630A (zh) | 日志存储的方法及装置 | |
CN110442762B (zh) | 基于云平台大数据的大数据处理方法 | |
CN111090268A (zh) | 基于线程划分的数据采集方法、装置及数据采集设备 | |
CN115391342A (zh) | 数据传输方法及电子设备 | |
CN111625342B (zh) | 一种数据溯源方法、装置及服务器 | |
CN110442623B (zh) | 大数据挖掘方法、装置及数据挖掘服务器 | |
CN104079623A (zh) | 多级云存储同步控制方法及系统 | |
CN107346312A (zh) | 一种大数据处理方法及系统 | |
CN116775620A (zh) | 基于多方数据的风险识别方法、装置、设备及存储介质 | |
CN108108625B (zh) | 基于格式异构的溢出漏洞检测方法、系统及存储介质 | |
CN115330140A (zh) | 一种基于数据挖掘的建筑风险预测方法及其预测系统 | |
CN114186272A (zh) | 一种基于数字办公的大数据威胁防护方法及系统 | |
JP7133037B2 (ja) | メッセージ処理方法、装置およびシステム | |
CN113190255A (zh) | 一种大数据在线话题服务升级方法、服务器及存储介质 | |
KR101932655B1 (ko) | 사이버 자산 데이터 수집 시스템 및 방법 | |
CN111061712A (zh) | 一种数据连接操作的处理方法及装置 | |
CN110909288A (zh) | 业务数据处理方法、装置、平台、业务端、系统及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |