CN115563187B - 一种数据转换方法、存储介质及电子设备 - Google Patents

Abstract

本发明提供了一种数据转换方法、存储介质及电子设备，包括当接收到任一客户端发送的第一数据体时，根据第一数据体的匹配标识从数据映射集A中确定第一目标映射关系。根据每一队列标识，从数据映射集A中确定每一数据队列对应的第二目标映射关系。根据对应的第一目标映射关系及第二目标映射关系，得到目标数据体。本申请可以通过对应的映射关系将各种数据类型的待转数据体转化为对应的目标格式的数据体，进而可以对数据体提前进行数据格式的调整，以便于分析方后期对接收到的数据体的正常使用。此外，还提供了数据体可进行修改及不可修改的两种情况下的解决方案，提高了本申请的适用性。

Description

一种数据转换方法、存储介质及电子设备

技术领域

本发明涉及数据处理领域，特别是涉及一种数据转换方法、存储介质及电子设备。

背景技术

数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。在实用中，数据分析可通过对数据进行更深层级的挖掘后，展示出数据背后的规律与特性，以便做出判断并采取适当行动。

现有的数据分析作业中，多数情况下用户自身不具有数据分析的能力，需要提供待分析的原始数据给数据分析方进行分析。但是由于不同的用户具有不同的数据形式，且有的原始数据无法进行改动，所以使得分析方接收到的数据形式各异，且多数为分析方不能直接使用的数据形式。由此，不便于分析方对接收到的数据体进行正常使用，进而增加数据分析的作业难度。

发明内容

针对上述技术问题，本发明采用的技术方案为：

一种数据转换方法，应用于第一系统，第一系统包括数据处理平台及多个客户端，多个客户端均与数据处理平台通讯连接。

第一系统用于实现如下方法：

获取当前数据处理平台对应的数据映射集A＝(A₁,A₂,…,A_i,…,A_z)，A_i＝(Aⁱ ₁,Aⁱ ₂,…,Aⁱ _n,…,Aⁱ _f(i))。其中，A_i为第i个客户端对应的数据映射集。Aⁱ _n为第i个客户端中包括的第n种数据类型的待转数据体的映射关系。每一映射关系均配置有唯一对应的映射标识。i＝1,2,…,z，z为与数据处理平台通讯连接的客户端的总数量。n＝1,2,…,f(i)，f(i)为第i个客户端中数据类型的总数量。

当接收到第i个客户端发送的第一数据体时，获取第一数据体的匹配标识。第一数据体为对应的客户端中包括的待转数据体的一种。

根据第一数据体的匹配标识从A_i中确定第一目标映射关系。第一目标映射关系为与匹配标识相同的映射标识对应的映射关系。

根据第一目标映射关系将第一数据体转化为目标数据体。

按照预设时间间隔对数据处理平台中的所有数据队列进行消费，以从对应的数据队列中取出对应的待转数据体。

获取数据处理平台中所有数据队列的队列标识B₁,B₂,…,B_m,…,B_y。其中，B_m为当前数据处理平台中存在的第m个数据队列。m＝1,2,…,y，y为当前数据处理平台中存在的数据队列的总数量。

根据每一队列标识B₁,B₂,…,B_m,…,B_y，从A中确定每一数据队列对应的第二目标映射关系C₁,C₂,…,C_m,…,C_y。其中，C_m为B_m对应的第二目标映射关系。C_m对应的映射标识与B_m相同。

根据每一数据队列及对应的第二目标映射关系，将每一数据队列中存储的待转数据体转化为目标数据体。

本发明至少具有以下有益效果：

本申请的数据处理平台中存有对应的数据映射集A，A中包括每一个客户端对应的每一种数据类型的数据体的映射关系。当对应的客户端中的数据体可以进行修改时，将匹配标识加入待转数据体中，然后将待转数据体发送至数据处理平台中，再通过队列标识与映射标识之间的对应关系从A中找到对应的映射关系，之后利用该映射关系将待转数据体转化为分析方可用格式的目标数据体。

当对应的客户端中的数据体无法进行修改时，客户端在数据处理平台中建立对应的数据队列并为其配置对应的队列标识，然后将待转数据体加入数据队列中。数据处理平台对已存在的所有的数据队列进行消费，将存放在数据队列中的待转数据体取出，并根据待转数据体所在的数据队列对应的对列标识从A中确定第一目标映射关系，并根据第一目标映射关系对待转数据进行转化。

由此，本申请可以通过对应的映射关系将各种数据类型的待转数据体转化为对应的目标格式的数据体，进而可以对数据体提前进行数据格式的调整，使得分析方接收到的数据体的格式均为可用的格式，以便于分析方后期对接收到的数据体的正常使用。

并且，本申请还分别提供了在数据体可进行修改及不可修改的两种情况下的解决方案，提高了本申请的适用性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种数据转换方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的一个方面，如图1所示，提供了一种数据转换方法，该方法应用于第一系统，第一系统包括数据处理平台及多个客户端，多个客户端均与数据处理平台通讯连接。

具体的，第一系统可以为用于对航空领域的数据进行数据转化的系统。各个客户端可以为各个航司所使用的客户端。数据处理平台可以为数据分析方的数据转化设备。

第一系统用于实现如下方法：

步骤S100：获取当前数据处理平台对应的数据映射集A＝(A₁,A₂,…,A_i,…,A_z)，A_i＝(Aⁱ ₁,Aⁱ ₂,…,Aⁱ _n,…,Aⁱ _f(i))。其中，A_i为第i个客户端对应的数据映射集。Aⁱ _n为第i个客户端中包括的第n种数据类型的待转数据体的映射关系。每一映射关系均配置有唯一对应的映射标识。i＝1,2,…,z，z为与数据处理平台通讯连接的客户端的总数量。n＝1,2,…,f(i)，f(i)为第i个客户端中数据类型的总数量。

各个客户端会根据数据处理平台提供的各种数据映射关系的制作模板，分别制作符合自身要求的各种数据类型的待转数据体对应的映射关系。并为制作完成的每一映射关系配置一个唯一的映射标识，该映射标识可以为一串字符。

步骤S200：当接收到第i个客户端发送的第一数据体时，获取第一数据体的匹配标识。第一数据体为对应的客户端中包括的待转数据体的一种。

当客户端想要进行转化的待转数据体为可以添加标识信息的数据体时，客户端会在原有的待转数据体中加入对应的匹配标识，以生成第一数据体。添加的匹配标识与该数据类型的待转数据体对应的映射关系的映射标识相同。待转数据体可以为json数据体。

步骤S300：根据第一数据体的匹配标识从A_i中确定第一目标映射关系。第一目标映射关系为与匹配标识相同的映射标识对应的映射关系。

步骤S400：根据第一目标映射关系将第一数据体转化为目标数据体。由此，可以完成第一数据体的转化。

步骤S500：按照预设时间间隔对数据处理平台中的所有数据队列进行消费，以从对应的数据队列中取出对应的待转数据体。

数据处理平台中的数据队列可使用现有的队列产品进行建立。现有的队列产品可以为ActiveMQ、RabbitMQ、ZeroMQ、Kafka、RocketMQ等。由于每一个数据队列均会具有一个队列主题，且该队列主题为可以进行编辑设定的。所以，可以将每一数据队列对应的队列主题均配置为对应的队列标识。后期可以通过对列标识来为存入该队列中的待转数据体匹配对应的映射关系。通常一个数据队列只存一个客户端中的一种数据类型的待转数据体。对应的该数据队列的队列主题即为对应的待转数据体的映射关系的映射标识。由此，可以顺利解决由于客户端无法在待转数据体中添加匹配标识，而无法确定该待转数据体对应的映射关系的问题。

预设时间间隔可以根据实际使用情况进行确定，如每隔1S为一个预设时间间隔，由此通过调节预设时间间隔的大小可以调整数据处理平台对所有的数据队列的消费频率。以适应数据转化的繁忙时间与空闲时段的工作需求。

步骤S600：获取数据处理平台中所有数据队列的队列标识B₁,B₂,…,B_m,…,B_y。其中，B_m为当前数据处理平台中存在的第m个数据队列。m＝1,2,…,y，y为当前数据处理平台中存在的数据队列的总数量。

步骤S700：根据每一队列标识B₁,B₂,…,B_m,…,B_y，从A中确定每一数据队列对应的第二目标映射关系C₁,C₂,…,C_m,…,C_y。其中，C_m为B_m对应的第二目标映射关系。C_m对应的映射标识与B_m相同。

步骤S800：根据每一数据队列及对应的第二目标映射关系，将每一数据队列中存储的待转数据体转化为目标数据体。

本申请的数据处理平台中存有对应的数据映射集A，A中包括每一个客户端对应的每一种数据类型的数据体的映射关系。当对应的客户端中的数据体可以进行修改时，将匹配标识加入待转数据体中，然后将待转数据体发送至数据处理平台中，再通过队列标识与映射标识之间的对应关系从A中找到对应的映射关系，再通过映射关系将待转数据体转化为分析方可用格式的目标数据体。

当对应的客户端中的数据体无法进行修改时，客户端在数据处理平台中建立对应的数据队列并为其配置对应的队列标识，然后将待转数据体加入数据队列中。数据处理平台对已存在的所有的数据队列进行消费，将存放在数据队列中的待转数据体取出，并根据待转数据体所在的数据队列对应的对列标识从A中确定第一目标映射关系，并根据第一目标映射关系对待转数据进行转化。

由此，本申请可以通过对应的映射关系将各种数据类型的待转数据体转化为对应的目标格式的数据体，进而可以对数据体提前进行数据格式的调整，使得分析方接收到的数据体的格式均为可用的格式，以便于分析方后期对接收到的数据体的正常使用。

并且，本申请还分别提供了在数据体可以进行修改及不可修改的两种情况下的解决方案，可以提高本申请的适用性。

作为本申请一种可能的实施例，每一客户端均包括多种数据类型的待转数据体，不同客户端中对应的同一数据类型的待转数据体具有不同的待转字段。

步骤S100：获取当前数据处理平台对应的数据映射集，包括：

步骤S101：建立每一种数据类型的待转数据体的映射关系采集页面。每一映射关系采集页面中包括映射标识采集框及映射关系采集表。映射关系采集表中包括映射属性字段、映射类型字段、属性注释字段及原始属性字段。映射属性字段、映射类型字段及属性注释字段均配置有对应的预设值。原始属性字段配置有多个对应的信息采集框。

具体的，数据处理平台可以建立一个web交互页面，该页面中存放着所有数据类型的待转数据体的映射关系采集页面。然后将该交互页面提供给每一客户端，客户端可以通过对应的账户密码进行登录。然后根据自身对应的每一待转数据体对应的数据格式来建立对应的映射关系。

具体的，每一个待转数据体中包括多个待转字段。对应的该待转数据体映射关系采集页面中映射属性字段对应配置的预设值，为该待转数据体对应的数据类型中分析方使用的所有的字段。每一信映射属性字段对应配置的预设值对应一个息采集框。然后客户端会将待转数据体中包括的每一待转字段填写至对应的信息采集框中，以形成每一待转字段与对应的预设值的对应关系。同时，客户端会在对应的映射标识采集框中输入唯一的字符串，作为映射标识。由此，不同数据类型的待转数据体可以分别对应的不同的映射关系。且该映射关系具体可以由客户端自身进行设置，更加的灵活。如：某一映射关系采集页面中映射属性字段对应配置的预设值为：姓名。客户端D在该预设值对应的信息采集框中可以配置人名字段。客户端E在该预设值对应的信息采集框中可以配置人员名称字段。

步骤S102：对每一客户端中的每一数据类型的待转数据体进行映射关系配置处理，以生成每一客户端中的每一数据类型的待转数据体的映射关系。映射关系配置处理包括如下步骤：

步骤S103：客户端根据待转数据体的数据类型，将相同数据类型待转数据体对应的映射关系采集页面作为目标映射关系采集页面。

步骤S104：客户端为目标映射关系采集页面中的映射标识采集框配置映射标识。

步骤S105：客户端将待转数据体中的每一待转字段配置至目标映射关系采集页面中每一对应的信息采集框中。

本实施例中，通过将映射关系的设置权利交给客户端，由此，可以更加便于客户端根据自身的数据形式来设置对应的映射关系，进而使得映射关系的获取方式更加灵活，更加贴合客户端的需求。

作为本申请一种可能的实施例，在步骤S100：获取当前数据处理平台对应的数据映射集之后，本方法还包括：

步骤S110：当客户端中的待转数据体具有编辑标识位时，将待转数据体所属数据类型对应的映射标识插入编辑标识位中，以生成对应的第一待转数据体。

进一步的，本方法还包括：

步骤S120：当客户端中的待转数据体不具有编辑标识位时，根据待转数据体所属数据类型对应的映射关系的映射标识，查询数据处理平台中是否有目标数据队列。目标数据队列是队列标识为映射标识的数据队列。

步骤S130：若有，则将待转数据体加入目标数据队列中。

步骤S140：若无，则在数据处理平台中新建一个扩展数据队列，扩展数据队列的队列标识为待转数据体所属数据类型对应的映射关系的映射标识。

步骤S150：将待转数据体加入扩展数据队列中。

本实施例中，客户端可以根据待转数据体是否具有编辑标识位，来判断待转数据体是否可以进行调整，若可以调整则将待转数据体修改为第一数据体发送至数据处理平台。若不可以则客户端可以通过数据队列的方式，将待转数据体输入到数据处理平台。并通过队列标识来获取待转数据体对应的映射关系。由此，可以顺利解决由于客户端无法在待转数据体中添加匹配标识，而无法确定该待转数据体对应的映射关系的问题。同时，还设置了通过第一数据体的方式来对待转数据体进行转换。由此，可以减少数据处理平台中的数据队列的数量，进而降低对数据队列的维护成本。

作为本申请一种可能的实施例，在步骤S401：根据第一目标映射关系将第一数据体中每一待转字段转化为对应的目标字段之后，本方法还包括：

步骤S402：当第一数据体中的待转字段总数与对应的目标数据体中包含的目标字段总数不相同时，生成第一数据体的异常信息。

通常在一些使用场景中，待转数据体中的待转字段一般不会发生改变。所以当某一待转数据体完成转换后，如果转化成的目标数据体中包含的目标字段总数与待转字段总数不相同时，可以判定出客户端发送的第一数据体出现了异常。

作为本申请一种可能的实施例，本方法还包括：

步骤S900：每当到达预设时间点时，获取数据处理平台中存储的所有队列标识及所有映射标识。

预设时间点可以为数据处理平台的空闲时段中的时间点，如每晚的10点。空闲时段为数据处理平台接收的客户端发送的第一数据体或待转数据体数量小于100对应的时段。

步骤S901：将每一队列标识分别与每一映射标识进行匹配。

步骤S902：当队列标识与每一映射标识的匹配结果均为无法匹配时，删除队列标识对应的数据队列。

通过本实施例可以将数据处理平台中存在的无用的数据队列及时清除。由此，也可以进一步降低数据处理平台中存在的数据队列的数量。从而降低数据处理平台维护数据队列的成本。

本发明的实施例还提供了一种非瞬时性计算机可读存储介质，该存储介质可设置于电子设备之中以保存用于实现方法实施例中一种方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述实施例提供的方法。

本发明的实施例还提供了一种电子设备，包括处理器和前述的非瞬时性计算机可读存储介质。

本发明的实施例还提供一种计算机程序产品，其包括程序代码，当程序产品在电子设备上运行时，程序代码用于使该电子设备执行本说明书上述描述的根据本发明各种示例性实施方式的方法中的步骤。

虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明开的范围由所附权利要求来限定。

Claims (7)

1.一种数据转换方法，其特征在于，应用于第一系统，所述第一系统包括数据处理平台及多个客户端，多个所述客户端均与数据处理平台通讯连接；

所述第一系统用于实现如下方法：

获取当前所述数据处理平台对应的数据映射集A＝(A₁,A₂,…,A_i,…,A_z)，A_i＝(Aⁱ ₁,Aⁱ ₂,…,Aⁱ _n,…,Aⁱ _f(i))；其中，A_i为第i个客户端对应的数据映射集；Aⁱ _n为第i个客户端中包括的第n种数据类型的待转数据体的映射关系；每一所述映射关系均配置有唯一对应的映射标识；i＝1,2,…,z，z为与所述数据处理平台通讯连接的客户端的总数量；n＝1,2,…,f(i)，f(i)为第i个客户端中数据类型的总数量；

当接收到第i个客户端发送的第一数据体时，获取所述第一数据体的匹配标识；所述第一数据体为对应的客户端中包括的待转数据体的一种；

根据所述第一数据体的匹配标识从A_i中确定第一目标映射关系；所述第一目标映射关系为与匹配标识相同的映射标识对应的映射关系；

根据所述第一目标映射关系将所述第一数据体转化为目标数据体；

按照预设时间间隔对所述数据处理平台中的所有数据队列进行消费，以从对应的数据队列中取出对应的待转数据体；

获取所述数据处理平台中所有数据队列的队列标识B₁,B₂,…,B_m,…,B_y；其中，B_m为当前所述数据处理平台中存在的第m个数据队列；m＝1,2,…,y，y为当前所述数据处理平台中存在的数据队列的总数量；

根据每一队列标识B₁,B₂,…,B_m,…,B_y，从A中确定每一所述数据队列对应的第二目标映射关系C₁,C₂,…,C_m,…,C_y；其中，C_m为B_m对应的第二目标映射关系；C_m对应的映射标识与B_m相同；

根据每一所述数据队列及对应的第二目标映射关系，将每一所述数据队列中存储的待转数据体转化为目标数据体；

在获取当前所述数据处理平台对应的数据映射集之后，所述方法还包括：

当所述客户端中的待转数据体具有编辑标识位时，将所述待转数据体所属数据类型对应的映射标识插入所述编辑标识位中，以生成对应的第一待转数据体；

在获取当前所述数据处理平台对应的数据映射集A之后，所述方法还包括：

当客户端中的待转数据体不具有编辑标识位时，根据所述待转数据体所属数据类型对应的映射关系的映射标识，查询所述数据处理平台中是否有目标数据队列；所述目标数据队列是队列标识为所述映射标识的数据队列；

若有，则将所述待转数据体加入所述目标数据队列中；

在查询所述数据处理平台中是否有目标数据队列之后，所述方法还包括：

若无，则在所述数据处理平台中新建一个扩展数据队列，所述扩展数据队列的队列标识为所述待转数据体所属数据类型对应的映射关系的映射标识；

将待转数据体加入所述扩展数据队列中。

2.根据权利要求1所述的方法，其特征在于，每一客户端均包括多种数据类型的待转数据体，不同客户端中对应的同一数据类型的待转数据体具有不同的待转字段；

获取当前所述数据处理平台对应的数据映射集A，包括：

建立每一种数据类型的待转数据体的映射关系采集页面；每一映射关系采集页面中包括映射标识采集框及映射关系采集表；所述映射关系采集表中包括映射属性字段、映射类型字段、属性注释字段及原始属性字段；所述映射属性字段、映射类型字段及属性注释字段均配置有对应的预设值；所述原始属性字段配置有多个对应的信息采集框；

对每一客户端中的每一数据类型的待转数据体进行映射关系配置处理，以生成每一客户端中的每一数据类型的待转数据体的映射关系；所述映射关系配置处理包括如下步骤：

客户端根据待转数据体的数据类型，将相同数据类型待转数据体对应的映射关系采集页面作为目标映射关系采集页面；

客户端为所述目标映射关系采集页面中的映射标识采集框配置映射标识；

客户端将所述待转数据体中的每一待转字段配置至所述目标映射关系采集页面中每一对应的信息采集框中。

3.根据权利要求1所述的方法，其特征在于，所述第一数据体具有多个待转字段；所述目标数据体包括多个目标字段；

根据所述第一目标映射关系将所述第一数据体转化为目标数据体，包括：

根据所述第一目标映射关系将所述第一数据体中每一待转字段转化为对应的所述目标字段。

4.根据权利要求3所述的方法，其特征在于，在根据所述第一目标映射关系将所述第一数据体中每一待转字段转化为对应的所述目标字段之后，所述方法还包括：

当所述第一数据体中的待转字段总数与对应的所述目标数据体中包含的目标字段总数不相同时，生成所述第一数据体的异常信息。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

每当到达预设时间点时，获取所述数据处理平台中存储的所有队列标识及所有映射标识；

将每一队列标识分别与每一映射标识进行匹配；

当队列标识与每一所述映射标识的匹配结果均为无法匹配时，删除所述队列标识对应的数据队列。

6.一种非瞬时性计算机可读存储介质，所述非瞬时性计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的数据转换方法。

7.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的数据转换方法。