CN113468258A - 一种异构数据的转换方法、装置及存储介质 - Google Patents

一种异构数据的转换方法、装置及存储介质 Download PDF

Info

Publication number
CN113468258A
CN113468258A CN202110824838.2A CN202110824838A CN113468258A CN 113468258 A CN113468258 A CN 113468258A CN 202110824838 A CN202110824838 A CN 202110824838A CN 113468258 A CN113468258 A CN 113468258A
Authority
CN
China
Prior art keywords
data
format
target
heterogeneous
heterogeneous data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110824838.2A
Other languages
English (en)
Inventor
余鹏展
周明伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202110824838.2A priority Critical patent/CN113468258A/zh
Publication of CN113468258A publication Critical patent/CN113468258A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
    • G06F16/84—Mapping; Conversion

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开涉及计算机领域，公开了一种异构数据的转换方法、装置及存储介质，该方法为：客户端获取异构数据集合，并确定其包含的各个异构数据对应的多种不同的初始数据格式，将每一种初始数据格式对应的一个异构数据，转换为与一个异构数据对应的目标数据库的目标数据格式，基于转换过程，生成一种初始数据格式对应的格式转换方式，转换过程中按照格式转换方式，将异构数据集合中符合一种初始数据格式的各个异构数据，均转换为相应的目标数据格式，并分别读取各个异构数据的数值，将获得的各个数值与相应的目标数据格式进行组合，获得相应的目标数据并存储至目标数据库中，省去了大量异构数据逐一进行结构转换所消耗的工作量，提升了转换效率。

Description

一种异构数据的转换方法、装置及存储介质
技术领域
本申请涉及计算机技术，特别涉及一种异构数据的转换方法、装置及存储介质。
背景技术
信息化时代，不同的应用场景中需要很多不同的电子设备，而每一个电子设备在处理过程中都会产生大量的处理数据。例如，交通领域，行车道上抓拍摄像头产生的车辆数据、公司门禁产生的上下班打卡数据、手机使用过程中产生的通信数据等等。
由于，电子设备的差异，通常上述处理数据的格式也不相同，这样，在综合运用过程中，即不同数据库在调用上述这些数据时，就需要将上述这些结构各异、内容不同的数据，逐一进行格式转换，在格式统一后才能提取数据进行综合处理，显然上述处理过程会耗费大量的工作，不同格式数据处理的过程效率低下。
发明内容
本公开实施例提供一种异构数据的转换方法、装置及存储介质，用以提升不同格式数据的转换效率。
本公开提供的具体技术方案如下：
第一方面，一种异构数据的转换方法，方法应用于客户端，包括：
获取异构数据集合，并确定异构数据集合包含的各个异构数据对应的多种不同的初始数据格式；
将一种初始数据格式对应的一个异构数据，转换为与一个异构数据对应的目标数据库的目标数据格式，以及基于转换过程，生成一种初始数据格式对应的格式转换方式；
按照格式转换方式，将异构数据集合中符合一种初始数据格式的各个异构数据，均转换为相应的目标数据格式；
分别读取各个异构数据的数值，以及，分别将获得的各个数值与相应的目标数据格式进行组合，获得相应的目标数据；
将获得的各个目标数据，分别存储至目标数据库中。
可选地，获取异构数据集合，并确定异构数据集合包含的各个异构数据对应的多种不同的初始数据格式之后，以及，在将获得的各种初始数据格式分别转换为相应的目标数据格式之前，还包括：
判断异构数据集合中的各个异构数据是否包括字符和数字；
若是，剔除各个异构数据中的字符和数字。
可选地，将一种初始数据格式对应的一个异构数据，转换为与一个异构数据对应的目标数据库的目标数据格式，以及基于转换过程，生成一种初始数据格式对应的格式转换方式，包括：
查找一种初始数据格式对应的一个异构数据对应的目标数据库，并获取目标数据库的目标数据格式；其中，目标数据库用于存储格式转换后的异构数据；
将初始数据格式转换为目标数据格式；
基于转换过程中初始数据格式和目标数据格式之间的映射关系，获得一种初始数据格式对应的格式转换方式。
可选地，查找一种初始数据格式对应的一个异构数据对应的目标数据库，并获取目标数据库的目标数据格式，包括：
当查找到一种初始数据格式对应的一个异构数据对应的目标数据库的个数为多个时，分别获取各个目标数据库的目标数据格式；
或者，
当查找到一种初始数据格式对应的一个异构数据对应的目标数据库包括多个目标数据表时，分别获取各个目标数据表的目标数据格式。
可选地，按照格式转换方式，将异构数据集合中符合一种初始数据格式的各个异构数据，均转换为相应的目标数据格式，包括：
查找异构数据集合中待转换的各个异构数据符合的一种初始数据格式；
获取一种初始数据格式对应的格式转换方式；
分别将待转换的各个异构数据按照格式转换方式，均转换为相应的目标数据格式。
可选地，初始数据格式至少包括以下格式中的任意一种或任意组合：
映射map格式；
链表list格式；
对象简谱JSON格式；
超文本标记语言HTML格式。
可选地，目标数据库至少包括以下数据库中的任意一种或任意组合：
对比关系型ES数据库；
开源对象关系型PG数据库；
分析型ADS数据库；
实例型ORACLE数据库。
第二方面，一种异构数据的转换装置，包括：
获取单元，用于获取异构数据集合，并确定异构数据集合包含的各个异构数据对应的多种不同的初始数据格式；
执行单元，用于将一种初始数据格式对应的一个异构数据，转换为与一个异构数据对应的目标数据库的目标数据格式，以及基于转换过程，生成一种初始数据格式对应的格式转换方式；
转换单元，用于按照格式转换方式，将异构数据集合中符合一种初始数据格式的各个异构数据，均转换为相应的目标数据格式；
读取单元，用于分别读取各个异构数据的数值，以及，分别将获得的各个数值与相应的目标数据格式进行组合，获得相应的目标数据；
存储单元，用于将获得的各个目标数据，分别存储至目标数据库中。
可选地，获取异构数据集合，并确定异构数据集合包含的各个异构数据对应的多种不同的初始数据格式之后，以及，在将获得的各种初始数据格式分别转换为相应的目标数据格式之前，还包括判断单元，判断单元用于：
判断异构数据集合中的各个异构数据是否包括字符和数字；
若是，剔除各个异构数据中的字符和数字。
可选地，将一种初始数据格式对应的一个异构数据，转换为与一个异构数据对应的目标数据库的目标数据格式，以及基于转换过程，生成一种初始数据格式对应的格式转换方式，执行单元用于：
查找一种初始数据格式对应的一个异构数据对应的目标数据库，并获取目标数据库的目标数据格式；其中，目标数据库用于存储格式转换后的异构数据；
将初始数据格式转换为目标数据格式；
基于转换过程中初始数据格式和目标数据格式之间的映射关系，获得一种初始数据格式对应的格式转换方式。
可选地，查找一种初始数据格式对应的一个异构数据对应的目标数据库，并获取目标数据库的目标数据格式，执行单元用于：
当查找到一种初始数据格式对应的一个异构数据对应的目标数据库的个数为多个时，分别获取各个目标数据库的目标数据格式；
或者，
当查找到一种初始数据格式对应的一个异构数据对应的目标数据库包括多个目标数据表时，分别获取各个目标数据表的目标数据格式。
可选地，按照格式转换方式，将异构数据集合中符合一种初始数据格式的各个异构数据，均转换为相应的目标数据格式，转换单元用于：
查找异构数据集合中待转换的各个异构数据符合的一种初始数据格式；
获取一种初始数据格式对应的格式转换方式；
分别将待转换的各个异构数据按照格式转换方式，均转换为相应的目标数据格式。
可选地，初始数据格式至少包括以下格式中的任意一种或任意组合：
映射map格式；
链表list格式；
对象简谱JSON格式；
超文本标记语言HTML格式。
可选地，目标数据库至少包括以下数据库中的任意一种或任意组合：
对比关系型ES数据库；
开源对象关系型PG数据库；
分析型ADS数据库；
实例型ORACLE数据库。
第三方面，一种终端，包括：
存储器，用于存储可执行指令；
处理器，用于读取并执行存储器中存储的可执行指令，以实现如第一方面任一项的方法。
第四方面，一种计算机可读存储介质，当所述存储介质中的指令由处理器执行时，使得所述处理器能够执行上述第一方面任一项所述的方法。
综上所述，本公开实施例中，客户端获取异构数据集合，并确定异构数据集合包含的各个异构数据对应的多种不同的初始数据格式，在对每一种初始数据格式获取相应的格式转换方式的过程中，将一种初始数据格式对应的一个异构数据，转换为与一个异构数据对应的目标数据库的目标数据格式，以及基于转换过程，生成一种初始数据格式对应的格式转换方式，即同一种初始数据格式得到一种对应的格式转换方式，转换实施过程中按照格式转换方式，将异构数据集合中符合一种初始数据格式的各个异构数据，均转换为相应的目标数据格式，分别读取各个异构数据的数值，分别将获得的各个数值与相应的目标数据格式进行组合，获得相应的目标数据，使各个不同初始数据格式的异构数据得以转换，达到了格式统一转换，数值分别获取的目的，将获得的各个目标数据，分别存储至目标数据库中，得到格式适配于各个目标数据库的目标数据，进而省去了大量异构数据逐一进行结构转换所消耗的工作量，提升了转换效率。
附图说明
图1为本申请实施例中对异构数据进行转换的逻辑示意图；
图2为本申请实施例中对异构数据进行转换的流程示意图；
图3为本申请实施例中获取格式转换方式的流程示意图；
图4为本申请实施例中基于格式转换方式对异构数据进行转换的流程示意图；
图5为本申请实施例中一种终端的逻辑架构示意图；
图6为本公开实施例中另一种终端的逻辑架构示意图；
图7为本公开实施例中终端的实体架构示意图。
具体实施方式
为了提升异构数据存储到不同格式的数据库中的转换效率，本申请实施例中，客户端获取异构数据集合，并确定其包含的各个异构数据对应的多种不同的初始数据格式，在获取每一种初始数据格式对应的格式转换方式的过程中，将每一种初始数据格式对应的一个异构数据，转换为与一个异构数据对应的目标数据库的目标数据格式，在对每一个具体的异构数据进行转换时，客户端基于转换过程，生成一种初始数据格式对应的格式转换方式，转换过程中按照格式转换方式，将异构数据集合中符合一种初始数据格式的各个异构数据，均转换为相应的目标数据格式，并分别读取各个异构数据的数值，将获得的各个数值与相应的目标数据格式进行组合，获得相应的目标数据并存储至目标数据库中，这样，得到格式适配于各个目标数据库的目标数据，从而省去了大量异构数据逐一进行格式转换所消耗的工作量，提升了转换效率。
下面结合附图对本申请优选的实施方式进行详细说明，即介绍由客户端执行异构数据的转换方法的情况。需要进行说明的是，这里的客户端指包含有处理器的电子设备，例如，计算机、平板电脑、智能手机等等。参阅图1所示，本公开实施例中，处理对象包括异构数据集合1、异构数据集合2…异构数据集合N，这里的异构数据集合1、异构数据集合2…异构数据集合N均包括多种不同初始数据格式的多个异构数据。
下面具体介绍客户端执行异构数据的转换的过程，参阅图2所示，详细步骤包括：
步骤201：获取异构数据集合，并确定异构数据集合包含的各个异构数据对应的多种不同的初始数据格式。
考虑到每一个异构数据集合中都包括多种不同的初始数据格式，这里先介绍下初始数据格式。上述初始数据格式至少包括以下格式中的任意一种或任意组合：映射map格式、链表list格式、对象简谱(JavaScript Object Notation,JSON)格式、超文本标记语言(HyperText Markup Language，HTML)格式。
需要说明的是，上述map格式为对象及其取值对应存储的一种数据格式。上述list格式是一种物理存储单元上非连续、非顺序的存储结构，数据元素的逻辑顺序是通过链表中的指针链接次序实现的，链表由一系列结点(链表中每一个元素称为结点)组成，结点可以在运行时动态生成，其中，每个结点包括两个部分：一个是存储数据元素的数据域，另一个是存储下一个结点地址的指针域。上述JSON格式是一种轻量级的数据交换格式，它采用完全独立于编程语言的文本格式来存储和表示数据，简洁和清晰的层次结构使得JSON成为理想的数据交换语言，易于人阅读和编写，同时也易于机器解析和生成，有效地提升了网络传输效率。上述HTML格式允许嵌入图像与对象，并且可以用于创建交互式表单，它被用来结构化信息，也可用来在一定程度上描述文档的外观和语义。
实施过程中，客户端获取的异构数据集合中包含的各个异构数据对应的初始数据格式包括map格式、list格式、JSON格式、HTML格式中的任意一种或任意组合，即各个异构数据在进行转换前的初始数据格式。
需要补充说明的是，由于，字符串和数字格式的异构数据能够直接通过加载元数据的方式存储到任何其他格式的数据库中。实施过程中，获取异构数据集合，并确定异构数据集合包含的各个异构数据对应的多种不同的初始数据格式之后，以及，在将获得的各种初始数据格式分别转换为相应的目标数据格式之前，还包括：
客户端判断异构数据集合中的各个异构数据是否包括字符和数字，客户端在获取到各个异构数据后，先判断异构数据中是否包含字符和数字。
实施过程中，当判断出异构数据中包括有字符和数字时，客户端剔除其中的字符和数字，这样能够缩减客户端转换的数据量，从而进一步提升客户端对异构数据的处理效率。
步骤202：将一种初始数据格式对应的一个异构数据，转换为与一个异构数据对应的目标数据库的目标数据格式，以及基于转换过程，生成一种初始数据格式对应的格式转换方式。
由于，实施过程中需要转换的异构数据集合有N个，并且，每个异构数据集合中的异构数据的数量也是多个，其中的异构数据的初始数据格式可能是相同的。现有的处理方式中，客户端会逐一对每一个异构数据进行转换，显然，当异构数据的数据量比较庞大时，上述转换过程会消费大量的工作量。
另外，每个异构数据对应转换成的目标数据格式也不同，导致上述转换过程更加繁琐。这里在提炼格式转换方式之前先介绍一下目标数据库，上述目标数据库至少包括以下数据库中的任意一种或任意组合：对比关系型(Elastic Search，ES)数据库、开源对象关系型(Post Gresql，PG)数据库、分析型(Analytic Data Style，ADS)数据库、实例型ORACLE数据库。
考虑到不同类型的数据库对应的数据存储的结构信息不同，例如，常见的ES数据库中数据常以键值对的形式来存储，PG数据库中数据常以数字的形式来存储，ADS数据库中数据常以链表的形式来存储，ORACLE数据库中数据常以字符的形式来存储。在实施过程中，客户端需要分别获取各个目标数据库的类型，以确定异构数据对应转换的格式。
实施过程中，参阅图3所示，上述获取多种目标数据格式的步骤，具体包括：
步骤2021：查找一种初始数据格式对应的一个异构数据对应的目标数据库，并获取目标数据库的目标数据格式。
在本申请实施例中，目标数据库用于存储格式转换后的异构数据，这里目标数据库的类型和个数不作具体限定。实施过程中，一种初始数据格式对应的一个异构数据至少对于一个目标数据库，参阅图4所示，客户端的执行过程具体包括以下情况：
情况一：当查找到一种初始数据格式对应的一个异构数据对应的目标数据库的个数为多个时，分别获取各个目标数据库的目标数据格式。
首先要明确一个异构数据对应的目标数据格式，实施过程中，由于不同目标数据库对应的目标数据格式会不同，客户端查找该异构数据对应的目标数据库的个数，当目标数据库的个数为多个时，即对应的目标数据格式为多个时，分别获取各个目标数据库的目标数据格式。
或者，情况二：当查找到一种初始数据格式对应的一个异构数据对应的目标数据库包括多个目标数据表时，分别获取各个目标数据表的目标数据格式。
由于同一目标数据库可以包含多个目标数据表，而各个目标数据表对应的目标数据格式会不同，当查找到一种初始数据格式对应的一个异构数据需要存储到目标数据库包括多个目标数据表时，即对应的目标数据格式为多个时，分别获取各个目标数据表的目标数据格式，这里要补充的是，如果目标数据表的目标数据格式相同，则将相同目标数据格式作为同一种情况来处理。
假设，异构数据为JSON结构体类型的“学生姓名：张三、学生性别：男、学生年龄：12、学生成绩：90.5”，并且假设该异构数据需要对应存储的三个目标数据库有三个数据表，这三个数据表的类型分别为字符型的性别统计表、整型的年龄统计表和浮点型的成绩统计表。在实施过程中，客户端需要在找到目标数据库的基础上，进一步确定异构数据对应的各个目标数据表。
步骤2022：将初始数据格式转换为目标数据格式。
鉴于同一种初始数据格式转换成同一种目标数据格式的格式转换过程相同，因此，在本实施例中，客户端先基于多种不同的初始数据格式中的每一种初始数据格式，提炼出其转换成目标数据格式的格式转换方式，即在对各个异构数据进行具体转换之前，先针对同一种类型的初始数据格式提炼出格式转换方式。这样，在对相同初始数据格式的多个异构数据进行转换时，统一采用一种格式转换方式进行格式转换，从而能够省去逐一转换过程中的工作量消耗。
仍以上述例子来说明，由于，JSON结构体类型的异构数据“学生姓名：张三、学生性别：男、学生年龄：12、学生成绩：90.5”，要分别存储到字符型的性别统计表、整型的年龄统计表和浮点型的成绩统计表中，因此，要分别获取性别统计表、年龄统计表和成绩统计表对应的目标数据格式，即字符型、整型和浮点型。
步骤2023：基于转换过程中初始数据格式和目标数据格式之间的映射关系，获得一种初始数据格式对应的格式转换方式。
在提炼每一种格式转换方式的过程中，将一种初始数据格式对应的一个异构数据，转换为与一个异构数据对应的目标数据库的目标数据格式，即执行初始数据格式转换成目标数据格式的过程，需要说明的是在此仅进行格式转换，以及，客户端基于转换过程中初始数据格式和目标数据格式之间的映射关系，生成一种初始数据格式对应的格式转换方式，即根据上述一种类型的初始数据格式到一种类型的目标数据格式的格式转换的过程。
在客户端针对获得的各种初始数据格式，分别执行以上操作后，即可获得所有类型的目标数据格式转换成相应的目标数据格式的多种格式转换方式。
仍以上述例子来说明，由于，JSON结构体类型的异构数据“学生姓名：张三、学生性别：男、学生年龄：12、学生成绩：90.5”，要分别存储到字符型的性别统计表、整型的年龄统计表和浮点型的成绩统计表中。由于是结构体类型要转换为字符型、整型和浮点型，假设，分别对应的映射关系为f1(x1)、f2(x2)和f3(x3)，相应的格式转换方式为y1＝f1(x1)、y2＝f2(x2)和y3＝f3(x3)。
在获得格式转换方式后，客户端将待转换的异构数据集合中的各个异构数据按照相应的格式转换方式进行转换，这里的转换主要包括格式转换和数值组合两个方面。
步骤203：按照格式转换方式，将异构数据集合中符合一种初始数据格式的各个异构数据，均转换为相应的目标数据格式。
考虑到不同初始数据格式对应的格式转换方式不同，在实施过程中，客户端先要找到所要转换的异构数据对应的格式转换方式。
参阅图4所示，上述根据格式转换方式进行转换的步骤，具体包括：
步骤2031：查找异构数据集合中待转换的各个异构数据符合的一种初始数据格式。
针对异构数据集合中每一个待转换的异构数据，客户端查找该异构数据符合的一种初始数据格式。这里的查找范围包括上述获得格式转换方式的所有初始数据格式，当待转换的异构数据的初始数据格式与上述所有初始数据格式中的一种相吻合时，即确定为待转换的异构数据的初始数据格式。
仍以上述例子来说明，由于，JSON结构体类型的异构数据“学生姓名：张三、学生性别：男、学生年龄：12、学生成绩：90.5”，要分别存储到字符型的性别统计表、整型的年龄统计表和浮点型的成绩统计表中。客户端查找到各个异构数据符合的一种初始数据格式都为JSON结构体类型。
步骤2032：获取一种初始数据格式对应的格式转换方式。
由于，初始数据格式与格式转换方式是一一对应的，在确定待转换的异构数据的初始数据格式后，即可根据该初始数据格式得到对应的格式转换方式。
仍以上述例子来说明，由于，JSON结构体类型的异构数据“学生姓名：张三、学生性别：男、学生年龄：12、学生成绩：90.5”，要分别存储到字符型的性别统计表、整型的年龄统计表和浮点型的成绩统计表中。客户端获取的格式转换方式分别为y1＝f1(x1)、y2＝f2(x2)和y3＝f3(x3)。
步骤2033：分别将待转换的各个异构数据按照格式转换方式，均转换为相应的目标数据格式。
在通过步骤2031和2032，获取到待转换的各个异构数据的初始数据格式及其格式转换方式后，客户端即可分别按照初始数据格式及其格式转换方式进行格式转换，即将初始数据格式输入到格式转换方式中，得到相应的目标数据格式，直到把待转换的各个异构数据都进行格式转换，至此，异构数据集合中待转换的各个异构数据的格式都转换完毕。
仍以上述例子来说明，由于，JSON结构体类型的异构数据“学生姓名：张三、学生性别：男、学生年龄：12、学生成绩：90.5”，要分别存储到字符型的性别统计表、整型的年龄统计表和浮点型的成绩统计表中。实施过程中，客户端分别将学生姓名：张三、学生性别：男、学生年龄：12、学生成绩：90.5按照y1＝f1(x1)、y2＝f2(x2)和y3＝f3(x3)进行格式转换，得到转换后的格式分别为字符型、整型和浮点型。
转换过程中，在执行完格式转换后，还需要对各个异构数据的数值进行处理。
步骤204：分别读取各个异构数据的数值，以及，分别将获得的各个数值与相应的目标数据格式进行组合，获得相应的目标数据。
实施过程中，鉴于字符串和数字能够直接通过加载元数据的方式存储到任何其他格式的数据库中，客户端分别读取各个异构数据的数值，即从异构数据中获得不带任何格式修饰的数值。为了与转换后的格式相适配，客户端分别将获得的各个数值与相应的目标数据格式进行组合，使上述数值能够变为目标数据格式，从而获得相应的目标数据。
仍以上述例子来说明，由于，JSON结构体类型的异构数据“学生姓名：张三、学生性别：男、学生年龄：12、学生成绩：90.5”，要分别存储到字符型的性别统计表、整型的年龄统计表和浮点型的成绩统计表中。实施过程中，客户端分别提取出各个异构数据的数值，即获得男、12和90.5。以及，客户端将上述数值分别与字符型、整型和浮点型进行组合，得到目标数据为字符型男、整型12和浮点型90.5。
步骤205：将获得的各个目标数据，分别存储至目标数据库中。
实施过程中，在进行格式与数值转换之后，即得到各个目标数据，客户端将获得的各个目标数据，分别存储至相对应的目标数据库中。
仍以上述例子来说明，由于，JSON结构体类型的异构数据“学生姓名：张三、学生性别：男、学生年龄：12、学生成绩：90.5”，要分别存储到字符型的性别统计表、整型的年龄统计表和浮点型的成绩统计表中。实施过程中，客户端将字符型男、整型12和浮点型90.5，分别存储至相对应的目标数据库中的性别统计表、年龄统计表和成绩统计表中。
基于同一发明构思，参阅图5和图6所示，本申请实施例中提供一种异构数据的转换装置，包括：
获取单元510，用于获取异构数据集合，并确定异构数据集合包含的各个异构数据对应的多种不同的初始数据格式；
执行单元520，用于将一种初始数据格式对应的一个异构数据，转换为与一个异构数据对应的目标数据库的目标数据格式，以及基于转换过程，生成一种初始数据格式对应的格式转换方式；
转换单元530，用于按照格式转换方式，将异构数据集合中符合一种初始数据格式的各个异构数据，均转换为相应的目标数据格式；
读取单元540，用于分别读取各个异构数据的数值，以及，分别将获得的各个数值与相应的目标数据格式进行组合，获得相应的目标数据；
存储单元550，用于将获得的各个目标数据，分别存储至目标数据库中。
可选地，获取异构数据集合，并确定异构数据集合包含的各个异构数据对应的多种不同的初始数据格式之后，以及，在将获得的各种初始数据格式分别转换为相应的目标数据格式之前，还包括判断单元510’，判断单元510’用于：
判断异构数据集合中的各个异构数据是否包括字符和数字；
若是，剔除各个异构数据中的字符和数字。
可选地，将一种初始数据格式对应的一个异构数据，转换为与一个异构数据对应的目标数据库的目标数据格式，以及基于转换过程，生成一种初始数据格式对应的格式转换方式，执行单元520用于：
查找一种初始数据格式对应的一个异构数据对应的目标数据库，并获取目标数据库的目标数据格式；其中，目标数据库用于存储格式转换后的异构数据；
将初始数据格式转换为目标数据格式；
基于转换过程中初始数据格式和目标数据格式之间的映射关系，获得一种初始数据格式对应的格式转换方式。
可选地，查找一种初始数据格式对应的一个异构数据对应的目标数据库，并获取目标数据库的目标数据格式，执行单元520用于：
当查找到一种初始数据格式对应的一个异构数据对应的目标数据库的个数为多个时，分别获取各个目标数据库的目标数据格式；
或者，
当查找到一种初始数据格式对应的一个异构数据对应的目标数据库包括多个目标数据表时，分别获取各个目标数据表的目标数据格式。
可选地，按照格式转换方式，将异构数据集合中符合一种初始数据格式的各个异构数据，均转换为相应的目标数据格式，转换单元530用于：
查找异构数据集合中待转换的各个异构数据符合的一种初始数据格式；
获取一种初始数据格式对应的格式转换方式；
分别将待转换的各个异构数据按照格式转换方式，均转换为相应的目标数据格式。
可选地，初始数据格式至少包括以下格式中的任意一种或任意组合：
映射map格式；
链表list格式；
对象简谱JSON格式；
超文本标记语言HTML格式。
可选地，目标数据库至少包括以下数据库中的任意一种或任意组合：
对比关系型ES数据库；
开源对象关系型PG数据库；
分析型ADS数据库；
实例型ORACLE数据库。
基于同一发明构思，参阅图7所示，本公开实施例提供一种终端700，包括：
存储器701，用于存储可执行指令；
处理器702，用于读取并执行存储器中存储的可执行指令，以实现如第一方面任一项的方法。
其中，在图7中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器702代表的一个或多个处理器和存储器701代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机可以是多个元件，即包括发送机和收发机，提供用于在传输介质上与各种其他装置通信的单元。处理器702负责管理总线架构和通常的处理，存储器701可以存储处理器702在执行操作时所使用的数据。
处理器702负责管理总线架构和通常的处理，存储器701可以存储处理器700在执行操作时所使用的数据。
上述存储器701和处理器702相互配合，以实现上述实施例中步骤201-步骤205中客户端所执行的任意一种方法，此处不再赘述。
基于同一发明构思，本申请实施例提供一种计算机可读存储介质，当所述存储介质中的指令由处理器执行时，使得所述处理器能够执行上述第一方面任一项所述的方法。
综上所述，本申请实施例中，客户端获取异构数据集合，并确定异构数据集合包含的各个异构数据对应的多种不同的初始数据格式，在对每一种初始数据格式获取相应的格式转换方式的过程中，将一种初始数据格式对应的一个异构数据，转换为与一个异构数据对应的目标数据库的目标数据格式，以及基于转换过程，生成一种初始数据格式对应的格式转换方式，即同一种初始数据格式得到一种对应的格式转换方式，转换实施过程中按照格式转换方式，将异构数据集合中符合一种初始数据格式的各个异构数据，均转换为相应的目标数据格式，分别读取各个异构数据的数值，分别将获得的各个数值与相应的目标数据格式进行组合，获得相应的目标数据，使各个不同初始数据格式的异构数据得以转换，达到了格式统一转换，数值分别获取的目的，将获得的各个目标数据，分别存储至目标数据库中，得到格式适配于各个目标数据库的目标数据，进而省去了大量异构数据逐一进行结构转换所消耗的工作量，提升了转换效率。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品系统。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品系统的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品系统的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种异构数据的转换方法，其特征在于，所述方法应用于客户端，该方法包括：
获取异构数据集合，并确定所述异构数据集合包含的各个异构数据对应的多种不同的初始数据格式；
将一种初始数据格式对应的一个异构数据，转换为与所述一个异构数据对应的目标数据库的目标数据格式，以及基于转换过程，生成所述一种初始数据格式对应的格式转换方式；
按照所述格式转换方式，将所述异构数据集合中符合所述一种初始数据格式的各个异构数据，均转换为相应的目标数据格式；
分别读取所述各个异构数据的数值，以及，分别将获得的各个数值与相应的目标数据格式进行组合，获得相应的目标数据；
将获得的所述各个目标数据，分别存储至所述目标数据库中。
2.如权利要求1所述的方法，其特征在于，所述获取异构数据集合，并确定所述异构数据集合包含的各个异构数据对应的多种不同的初始数据格式之后，以及，在将获得的各种初始数据格式分别转换为相应的目标数据格式之前，还包括：
判断所述异构数据集合中的所述各个异构数据是否包括字符和数字；
若是，剔除所述各个异构数据中的所述字符和所述数字。
3.如权利要求1所述的方法，其特征在于，所述将一种初始数据格式对应的一个异构数据，转换为与所述一个异构数据对应的目标数据库的目标数据格式，以及基于转换过程，生成所述一种初始数据格式对应的格式转换方式，包括：
查找所述一种初始数据格式对应的一个异构数据对应的目标数据库，并获取所述目标数据库的目标数据格式；其中，所述目标数据库用于存储格式转换后的所述异构数据；
将所述初始数据格式转换为所述目标数据格式；
基于转换过程中所述初始数据格式和所述目标数据格式之间的映射关系，获得所述一种初始数据格式对应的格式转换方式。
4.如权利要求3所述的方法，其特征在于，所述查找所述一种初始数据格式对应的一个异构数据对应的目标数据库，并获取所述目标数据库的目标数据格式，包括：
当查找到所述一种初始数据格式对应的一个异构数据对应的目标数据库的个数为多个时，分别获取所述各个目标数据库的目标数据格式；
或者，
当查找到所述一种初始数据格式对应的一个异构数据对应的目标数据库包括多个目标数据表时，分别获取所述各个目标数据表的目标数据格式。
5.如权利要求1所述的方法，其特征在于，所述按照所述格式转换方式，将所述异构数据集合中符合所述一种初始数据格式的各个异构数据，均转换为相应的目标数据格式，包括：
查找所述异构数据集合中待转换的所述各个异构数据符合的所述一种初始数据格式；
获取所述一种初始数据格式对应的所述格式转换方式；
分别将待转换的所述各个异构数据按照所述格式转换方式，均转换为相应的目标数据格式。
6.如权利要求1所述的方法，其特征在于，所述初始数据格式至少包括以下格式中的任意一种或任意组合：
映射map格式；
链表list格式；
对象简谱JSON格式；
超文本标记语言HTML格式。
7.如权利要求1所述的方法，其特征在于，所述目标数据库至少包括以下数据库中的任意一种或任意组合：
对比关系型ES数据库；
开源对象关系型PG数据库；
分析型ADS数据库；
实例型ORACLE数据库。
8.一种异构数据的转换装置，其特征在于，包括：
获取单元，用于获取异构数据集合，并确定所述异构数据集合包含的各个异构数据对应的多种不同的初始数据格式；
执行单元，用于将一种初始数据格式对应的一个异构数据，转换为与所述一个异构数据对应的目标数据库的目标数据格式，以及基于转换过程，生成所述一种初始数据格式对应的格式转换方式；
转换单元，用于按照所述格式转换方式，将所述异构数据集合中符合所述一种初始数据格式的各个异构数据，均转换为相应的目标数据格式；
读取单元，用于分别读取所述各个异构数据的数值，以及，分别将获得的各个数值与相应的目标数据格式进行组合，获得相应的目标数据；
存储单元，用于将获得的所述各个目标数据，分别存储至所述目标数据库中。
9.一种终端，其特征在于，包括：
存储器，用于存储可执行指令；
处理器，用于读取并执行所述存储器中存储的可执行指令，以实现如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，当所述存储介质中的指令由处理器执行时，使得所述处理器能够执行如权利要求1-7任一项所述的方法。
CN202110824838.2A 2021-07-21 2021-07-21 一种异构数据的转换方法、装置及存储介质 Pending CN113468258A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110824838.2A CN113468258A (zh) 2021-07-21 2021-07-21 一种异构数据的转换方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110824838.2A CN113468258A (zh) 2021-07-21 2021-07-21 一种异构数据的转换方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN113468258A true CN113468258A (zh) 2021-10-01

Family

ID=77881475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110824838.2A Pending CN113468258A (zh) 2021-07-21 2021-07-21 一种异构数据的转换方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN113468258A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116628066A (zh) * 2023-07-20 2023-08-22 腾讯科技（深圳）有限公司 数据传输方法、装置、计算机设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593422A (zh) * 2013-11-01 2014-02-19 国云科技股份有限公司 一种异构数据库的虚拟访问管理方法
CN111737527A (zh) * 2020-06-29 2020-10-02 中国南方电网有限责任公司 异构终端的数据处理方法、装置、电子设备和存储介质
WO2021051627A1 (zh) * 2019-09-19 2021-03-25 平安科技（深圳）有限公司 基于数据库的批量导入方法、装置、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593422A (zh) * 2013-11-01 2014-02-19 国云科技股份有限公司 一种异构数据库的虚拟访问管理方法
WO2021051627A1 (zh) * 2019-09-19 2021-03-25 平安科技（深圳）有限公司 基于数据库的批量导入方法、装置、设备及存储介质
CN111737527A (zh) * 2020-06-29 2020-10-02 中国南方电网有限责任公司 异构终端的数据处理方法、装置、电子设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116628066A (zh) * 2023-07-20 2023-08-22 腾讯科技（深圳）有限公司 数据传输方法、装置、计算机设备和存储介质
CN116628066B (zh) * 2023-07-20 2024-01-09 腾讯科技（深圳）有限公司 数据传输方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN107038222B (zh) 数据库缓存实现方法及其系统
CN105550206B (zh) 结构化查询语句的版本控制方法及装置
CN112883030A (zh) 数据收集方法、装置、计算机设备和存储介质
CN111159215A (zh) Java类与关系型数据库的映射方法、装置及计算设备
CN107766036B (zh) 一种模块的构建方法、构建装置及终端设备
CN113687825B (zh) 一种软件模块的构建方法、装置、设备及存储介质
CN110888876A (zh) 生成数据库脚本的方法、装置、存储介质及计算机设备
CN110222047A (zh) 一种动态表单生成方法和装置
CN113468258A (zh) 一种异构数据的转换方法、装置及存储介质
CN113722600A (zh) 应用于大数据的数据查询方法、装置、设备及产品
CN110941655A (zh) 一种数据格式转换方法及装置
CN112528039A (zh) 词语处理方法、装置、设备及存储介质
CN114995877B (zh) 一种变量配置方法及装置
CN112069267A (zh) 一种数据处理方法和装置
CN110716913A (zh) 一种Kafka与Elasticsearch数据库数据的互相迁移方法
CN113741864B (zh) 基于自然语言处理的语义化服务接口自动设计方法与系统
CN115543428A (zh) 一种基于策略模板的模拟数据生成方法和装置
CN115114321A (zh) 一种动态查询方法及系统
CN113821514A (zh) 数据拆分方法、装置、电子设备和可读存储介质
CN112506952A (zh) 数据查询装置和数据查询方法
CN113609128A (zh) 生成数据库实体类的方法、装置、终端设备及存储介质
CN115617773A (zh) 数据迁移的方法、装置和系统
WO2021199052A1 (en) Methods and systems for searching and retrieving information
JP2015022723A (ja) 文書を検索する装置及び方法
CN111159218B (zh) 数据处理方法、装置及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination