CN113590581A - 数据传输方法、装置、设备及存储介质 - Google Patents
数据传输方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113590581A CN113590581A CN202110723119.1A CN202110723119A CN113590581A CN 113590581 A CN113590581 A CN 113590581A CN 202110723119 A CN202110723119 A CN 202110723119A CN 113590581 A CN113590581 A CN 113590581A
- Authority
- CN
- China
- Prior art keywords
- data
- transmitted
- target
- preset
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000006243 chemical reaction Methods 0.000 claims abstract description 44
- 238000004590 computer program Methods 0.000 claims description 20
- 229910002056 binary alloy Inorganic materials 0.000 claims description 7
- 238000013461 design Methods 0.000 description 18
- 238000012545 processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000000605 extraction Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000007667 floating Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000586 desensitisation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种数据传输方法、装置、设备及存储介质。该数据传输方法应用于采用Datax工具进行跨数据库的数据传输中，首先读取待传输数据库的字段类型，以获取字段类型为数字类型的第一待传输数据，然后根据预设特征识别策略和预设数制转换策略对第一待传输数据进行识别与转换处理得到目标待传输数据，再将目标待传输数据写入至预设存储队列得到目标存储队列，存储目标存储队列至目标数据库，使用Datax工具完成目标待传输数据从待传输数据库至目标数据库的跨数据库精度无损传输，保障了数据精度的完整性，满足金融行业需求。
Description
技术领域
本申请涉及数据库技术领域，尤其涉及一种数据传输方法、装置、设备及存储介质。
背景技术
Datax是一种实现异构数据源同步的开源工具，被众多行业广泛应用以进行丰富的数据迁移。并且可以让数据在传输过程中轻松地实现数据脱敏、补全、过滤等数据转换功能，还具有执行速度快、稳定性高、健壮性及容错性高等优点。
金融行业在Datax开源工具的使用中，由于需要将金融数据从oracle数据库迁移到大数据集群的Hive数据库，并采用parquet格式进行压缩存储，因而在使用过程中需要将oracle的数字类型(number类型)转换为Hive的浮点数字类型。然而Datax目前对于从oracle数据库到Hive数据库的数据转换最高仅支持double类型，现有技术中采用四舍五入的方法进行忽略处理，存在精度损失问题，无法满足金融行业对金融数据于数据库间迁移的传输需求。
发明内容
本申请提供一种数据传输方法、装置、设备及存储介质，用于克服现有技术中金融数据于数据库间进行迁移存在精度损失的技术问题。
第一方面，本申请提供一种数据传输方法，应用于采用Datax工具进行跨数据库的数据传输中，包括：
读取待传输数据库的字段类型，以获取所述字段类型为数字类型的第一待传输数据；
根据预设特征识别策略和预设数制转换策略对所述第一待传输数据进行识别与转换处理，以得到目标待传输数据；
将所述目标待传输数据写入至预设存储队列得到目标存储队列，存储所述目标存储队列至目标数据库。
在一种可能的设计中，所述根据预设特征识别策略和预设数制转换策略对所述第一待传输数据进行识别与转换处理，以得到目标待传输数据，包括：
根据所述第一待传输数据的精度特征信息识别出第二待传输数据，所述预设特征识别策略包括所述精度特征信息，所述第二待传输数据的字段类型为所述数字类型中的预设类型；
利用所述预设数据转换策略将所述第二待传输数据的数制由十进制转换为二进制，以得到所述目标待传输数据。
在一种可能的设计中，所述获取所述字段类型为数字类型的第一待传输数据之后，还包括：
提取且存储所述第一待传输数据的所述精度特征信息，所述精度特征信息包括精度信息和范围信息。
在一种可能的设计中，所述根据所述第一待传输数据的精度特征信息识别出第二待传输数据，包括：
根据所述第一待传输数据的所述精度特征信息确定所述第一待传输数据的数据长度；
比较所述数据长度与预设数据长度，将所述数据长度大于所述预设数据长度的第一待传输数据识别为所述第二待传输数据。
在一种可能的设计中，所述将所述目标待传输数据写入至预设存储队列得到目标存储队列，包括：
根据预设需求确定出所述目标待传输数据的字节数，并记录所述目标待传输数据的精度特征信息；
存储所述目标待传输数据、所述目标待传输数据的字节数以及所述目标待传输数据的精度特征信息为二进制对象；
将所述二进制对象写入所述预设存储队列得到所述目标存储队列。
在一种可能的设计中，所述待传输数据库为Oracle数据库，所述目标数据库为Hive数据库，所述预设存储队列为Parquet格式的存储队列。
在一种可能的设计中，所述预设类型为decimal类型。
第二方面，本申请提供一种数据传输装置，包括：
获取模块，用于读取待传输数据库的字段类型，以获取所述字段类型为数字类型的第一待传输数据；
识别与转换模块，用于根据预设特征识别策略和预设数制转换策略对所述第一待传输数据进行识别与转换处理，以得到目标待传输数据；
存储模块，用于将所述目标待传输数据写入至预设存储队列得到目标存储队列，存储所述目标存储队列至目标数据库。
在一种可能的设计中，所述识别与转换模块，包括：
识别模块，用于根据所述第一待传输数据的精度特征信息识别出第二待传输数据，所述预设特征识别策略包括所述精度特征信息，所述第二待传输数据的字段类型为所述数字类型中的预设类型；
转换模块，用于利用所述预设数据转换策略将所述第二待传输数据的数制由十进制转换为二进制，以得到所述目标待传输数据。
在一种可能的设计中，所述数据传输装置，还包括：提取模块；所述提取模块，用于：
提取且存储所述第一待传输数据的所述精度特征信息，所述精度特征信息包括精度信息和范围信息。
在一种可能的设计中，所述识别模块，具体用于：
根据所述第一待传输数据的所述精度特征信息确定所述第一待传输数据的数据长度；
比较所述数据长度与预设数据长度，将所述数据长度大于所述预设数据长度的第一待传输数据识别为所述第二待传输数据。
在一种可能的设计中，所述存储模块，用于：
根据预设需求确定出所述目标待传输数据的字节数，并记录所述目标待传输数据的精度特征信息；
存储所述目标待传输数据、所述目标待传输数据的字节数以及所述目标待传输数据的精度特征信息为二进制对象；
将所述二进制对象写入所述预设存储队列得到所述目标存储队列。
在一种可能的设计中，所述待传输数据库为Oracle数据库，所述目标数据库为Hive数据库，所述预设存储队列为Parquet格式的存储队列。
在一种可能的设计中，所述预设类型为decimal类型。
第三方面，本申请提供一种电子设备，包括：
处理器；以及，
存储器，用于存储所述处理器的计算机程序；
其中，所述处理器配置为经由执行所述计算机程序来执行第一方面所提供的任意一种可能的数据传输方法。
第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所提供的任意一种可能的数据传输方法。
第五方面，本申请还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面所提供的任意一种可能的数据传输方法。
本申请提供一种数据传输方法、装置、设备及存储介质。本申请提供的数据传输方法应用于采用Datax工具进行跨数据库的数据传输中。首先读取待传输数据库的字段类型，以获取字段类型为数字类型的第一待传输数据，然后根据预设特征识别策略和预设数制转换策略对第一待传输数据进行识别与转换处理得到目标待传输数据，再将目标待传输数据写入至预设存储队列得到目标存储队列，存储目标存储队列至目标数据库，使用Datax工具完成目标待传输数据从待传输数据库至目标数据库的跨数据库精度无损传输，保障了数据精度的完整性，满足金融行业需求。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种应用场景示意图；
图2为本申请实施例提供的一种数据传输方法的流程示意图；
图3为本申请实施例提供的另一种数据传输方法的流程示意图；
图4为本申请实施例提供的再一种数据传输方法的流程示意图；
图5为本申请实施例提供的一种数据传输装置的结构示意图；
图6为本申请实施例提供的一种识别与转换模块的结构示意图；
图7为本申请实施例提供的另一种数据传输装置的结构示意图；
图8为本申请提供的一种电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的方法和装置的例子。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
金融行业在Datax开源工具的使用中，由于需要将金融数据从oracle数据库迁移到大数据集群的Hive数据库，并采用parquet格式进行压缩存储，因而在使用过程中需要将oracle的数字类型(number类型)转换为Hive的浮点数字类型。然而Datax目前最高仅支持转换为double类型，现有技术中采用四舍五入的方法进行忽略处理，存在精度损失问题，无法满足金融行业对金融数据于数据库间迁移的传输需求。
针对现有技术存在的上述问题，本申请提供一种数据处理方法、装置、设备及存储介质。本申请提供的数据处理方法的发明构思在于：对于待传输数据库中的第一待传输数据，首先通过预设特征识别策略和数值转换策略对其进行识别与转换处理，得到目标待传输数据，进而将目标待传输数据写入预设存储队列再存储至目标数据库。由于预设特征识别策略和预设数制转换策略仅是对于第一待传输数据的数字类型和数制进行相应处理，该处理过程中不会造成精度损失，因而可以实现目标待传输数据从待传输数据库至目标数据库的跨数据库精度无损传输，进而满足金融行业对数据传输中的精度完整性要求。
以下，对本申请实施例的示例性应用场景进行介绍。
图1为本申请实施例提供的一种应用场景示意图，如图1所示，在终端设备11可以运行待传输数据库，终端设备12可以运行目标数据库。电子设备13中的处理器被配置为可以执行本申请实施例提供的数据传输处理方法，以根据待传输数据库中所存储的第一待传输数据首先得到目标待传输数据，然后将目标待传输数据写入预设存储队列以存储至目标数据库，实现数据从终端设备11中运行的待传输数据库至终端设备12中运行的目标数据库的精度无损传输。
其中，终端设备11和/或终端设备12可以为计算机、服务器、服务器集群等能够运行相应数据库的任意终端，对于终端设备11的类型本实施例不作限定，图1中的终端设备11和终端设备12以计算机为例示出。电子设备13可以为计算机、服务器、服务器集群等可以运行Datax工具的相应设备，对此，本实施不作限定，图1中的电子设备13以计算机为例示出。
可以理解的是，终端设备11和终端设备12与终端设备13之间可以通过网络通信连接，通信连接可以为有线、无线等方式。
需要说明的是，上述应用场景仅仅是示意性的，本申请实施例提供的数据传输方法、装置、设备及存储介质包括但不仅限于上述应用场景。
图2为本申请实施例提供的一种数据传输方法的流程示意图。其中，本实施例提供的数据传输方法应用于采用Datax进行跨数据库的数据传输中。
如图2所示，本实施例提供的数据传输方法，包括：
S101：读取待传输数据库的字段类型，以获取字段类型为数字类型的第一待传输数据。
读取待传输数据库中所存储数据的字段类型。其中，待传输数据库可以为Oracle数据库。字段类型可以包括二进制数字类型、字符数字类型、数字类型、日期和时间数字类型、伙伴数字类型等等。在实际工况中，可以根据待传输数据库所具体存储的数据情况确定其为哪一字段类型。
通过读取待传输数据库的字段类型，以从中获取出字段类型为数字类型的数据，将所获取出的这一类数据确定为第一待传输数据。
S102：根据预设特征识别策略和预设数制转换策略对第一待传输数据进行识别与转换处理，以得到目标待传输数据。
从待传输数据库中获取到第一待传输数据后，对第一待传输数据利用预设特征识别策略和预设数制转换策略进行识别与转换处理，将完成识别与转换处理的第一待传输数据确定为目标待传输数据，以得到目标待传输数据。
例如，根据预设特征识别策略对第一待传输数据进行识别处理，识别处理结果即为第二待传输数据。
具体地，根据第一待传输数据的精度特征信息进行识别处理，以识别出第二待传输数据，第二待传输数据的字段类型为数字类型中的预设类型，预设类型为decimal类型。预设特征识别策略则包括精度特征信息。其中，精度特征信息可以包括精度信息和范围信息。例如，第一待传输数据可以表示为Number(p，s)，p则表示精度信息(precision)，具体是指小数点左边的数字个数。s表示范围信息(scale)，范围信息是指则小数点右边的数字个数。通常，精度信息的最大取值为38，范围信息的取值范围为-84至127。
进一步地，利用预设数据转换策略对识别得到的第二待传输数据进行数制转换处理，例如将第二待传输数据数制由十进制转换为二进制，完成数制转换的第二待传输数据则被确定为目标待传输数据，得到目标待传输数据。在实际工况中，可以通过运行相应十进制至二进制的数制转换软件或程序实现预设数据转换策略，本实施例对于数制转换所采用的具体软件或程序不作限定。
对第一待传输数据进行识别处理得到decimal类型的第二待传输数据，再对第二待传输数据进行数制的转换处理，得到数制为二进制的目标待传输数据，最后将目标待传输数据以二进制对象的方式作为目标数据库的存储对象。从而使得decimal类型的相应数据可以在目标数据库中以预设存储队列的方式进行存储，实现利用Datax工具对decimal类型的数据跨数据库精度无损传输。
S103：将目标待传输数据写入至预设存储队列得到目标存储队列，存储目标存储队列至目标数据库。
得到目标待传输数据之后，则将目标待传输数据写入至预设存储队列得到目标存储队列，再将目标存储队列存储至目标数据库。其中，目标数据库为Hive数据库，而预设存储队列是指Parquet格式的存储队列，Parquet格式具体为Hadoop生态圈中的一种新型列式存储格式。从而在使用Datax工具进行跨数据库的数据传输时，本申请实施例提供了一种从Oracle数据库至Hive数据库的decimal类型的精度无损的数据传输方法，并在Hive数据库中实现Parquet格式的数据存储。
本申请实施例提供一种数据传输方法，该数据传输方法应用于采用Datax工具进行跨数据库的数据传输中。首先读取待传输数据库的字段类型，以获取字段类型为数字类型的第一待传输数据，然后根据预设特征识别策略和预设数制转换策略对第一待传输数据进行识别与转换处理得到目标待传输数据，再将目标待传输数据写入至预设存储队列得到目标存储队列，存储目标存储队列至目标数据库，使用Datax工具完成目标待传输数据从待传输数据库至目标数据库的跨数据库精度无损传输，保障了数据精度的完整性，满足金融行业需求。
图3为本申请实施例提供的另一种数据传输方法的流程示意图。本实施例提供的数据传输方法应用于采用Datax进行跨数据库的数据传输中。如图3所示，本实施例提供的数据传输方法，包括：
S201：读取待传输数据库的字段类型，以获取字段类型为数字类型的第一待传输数据。
本步骤S201的实现方式、原理及技术效果与步骤S101的实现方式、原理及技术效果相类似，详细过程可参考前述具体内容，在此不再赘述。
S202：提取且存储第一待传输数据的精度特征信息。
其中，精度特征信息包括精度信息和范围信息。
获取到第一待传输数据之后，提取第一待传输数据的精度特征信息，该精度特征信息包括精度信息和范围信息。例如，第一待传输数据可以表示为Number(p，s)，p则表示精度信息(precision)，具体是指小数点左边的数字个数。s表示范围信息(scale)，范围信息是指则小数点右边的数字个数。并存储第一待传输数据的精度特征信息。
S203：根据第一待传输数据的精度特征信息确定第一待传输数据的数据长度。
S204：比较数据长度与预设数据长度，将数据长度大于预设数据长度的第一待传输数据识别为第二待传输数据。
根据第一待传输数据的精度特征信息确定第一待传输数据的数据长度，例如可以将第一待传输数据的精度特征信息中，精度信息的具体取值、范围信息的具体取值或者精度信息与范围信息各自具体取值之和确定为第一待传输数据的数据长度。具体地，可以根据预设数据长度的设置规则确定。假设，预设数据长度的设置规则为精度信息的具体取值，则第一待传输数据的数据长度为第一待传输数据的精度特征信息中精度信息的具体取值。
得到第一待传输数据的数据长度之后，将该数据长度与预设数据长度进行比较，将数据长度大于预设数据长度的第一待传输数据识别为第二待传输数据。例如，预设数据长度为30，所确定出的第一待传输数据的数据长度为32，则该第一待传输数据即被识别为第二待传输数据。进一步的，可以将第二待传输数据进行标识，以从第一待传输数据中区别出来。
S205：利用预设数据转换策略将第二待传输数据的数制由十进制转换为二进制，以得到目标待传输数据。
利用预设数据转换策略对识别得到的第二待传输数据进行数制转换处理，例如将第二待传输数据数制由十进制转换为二进制，完成数制转换的第二待传输数据则被确定为目标待传输数据，得到目标待传输数据。在实际工况中，可以通过运行相应十进制至二进制的数制转换软件或程序实现预设数据转换策略，本实施例对于数制转换所采用的具体软件或程序不作限定。
S206：将目标待传输数据写入至预设存储队列得到目标存储队列，存储目标存储队列至目标数据库。
本步骤S206的实现方式、原理及技术效果与步骤S103的实现方式、原理及技术效果相类似，详细过程可参考前述具体内容，在此不再赘述。
本申请实施例提供一种数据传输方法，该数据传输方法应用于采用Datax工具进行跨数据库的数据传输中。首先读取待传输数据库的字段类型，以获取字段类型为数字类型的第一待传输数据，并提取且存储第一待传输数据的精度特征信息。根据精度特征信息确定第一待传输数据的数据长度，将数据长度与预设数据长度进行比较之后，将数据长度大于预设数据长度的第一待传输数据识别为第二待传输数据，再利用预设数据转换策略将第二待传输数据的数制由十进制转换为二进制，得到目标待传输数据。最后将目标待传输数据写入至预设存储队列得到目标存储队列，存储目标存储队列至目标数据库，使用Datax工具完成目标待传输数据从待传输数据库至目标数据库的跨数据库精度无损传输，保障了数据精度的完整性，满足金融行业需求。
在一种可能的设计中，步骤S103可能的实现方式如图4所示。图4为本申请实施例提供的再一种数据传输方法的流程示意图。如图4所示，本实施例包括：
S301：根据预设需求确定出目标待传输数据的字节数，并记录目标待传输数据的精度特征信息。
按照预设需求计算出目标待传输数据的字节数，其中，预设需求的具体内容可以根据实际工况中目标数据库所要求的字节数情况设置，对此本实施例不作限定。另外，还将目标待传输数据的精度特征信息进行记录。其中，目标待传输数据的精度特征信息即为第二待传输数据的精度特征信息。
S302：存储目标待传输数据、目标待传输数据的字节数以及目标待传输数据的精度特征信息为二进制对象。
将目标待传输数据、目标待传输数据的字节数以及目标待传输数据的精度特征信息按照预设属性映射为二进制对象进行存储，实现以二进制方式对存储对象进行存储。其中，预设属性由目标待传输数据所指征的具体数据属性决定，对此本实施例不作限定。
S303：将二进制对象写入预设存储队列得到目标存储队列。
进一步地，将二进制对象写入预设存储队列得到目标存储队列，预设存储队列可以例如Parquet格式的存储队列。进而可以将目标存储队列批量存储至目标数据库，实现待存储数据库至目标数据库的跨数据库数据传输。
本申请实施例提供的数据传输方法，基于目标待传输数据得到二进制对象，将二进制对象首先写入预设存储队列得到目标存储队列，再将目标存储队列存储至目标数据库。其中，目标待传输数据的数字类型可以为decimal类型，目标数据库可以为Hive数据库，预设存储队列可以为Parquet格式的存储队列，从而可以支持decimal类型的数据在Hive数据库中以parquet格式存储。
图5为本申请实施例提供的一种数据传输装置的结构示意图。如图5所示，本实施例提供的数据传输装置400，包括：
获取模块401，用于读取待传输数据库的字段类型，以获取字段类型为数字类型的第一待传输数据。
识别与转换模块402，用于根据预设特征识别策略和预设数制转换策略对第一待传输数据进行识别与转换处理，以得到目标待传输数据。
存储模块403，用于将目标待传输数据写入至预设存储队列得到目标存储队列，存储目标存储队列至目标数据库。
在一种可能的设计中，图6为本申请实施例提供的一种识别与转换模块的结构示意图。如图6所示，本实施例提供的识别与转换模块402，包括：
识别模块4021，用于根据第一待传输数据的精度特征信息识别出第二待传输数据；
其中，预设特征识别策略包括精度特征信息，第二待传输数据的字段类型为数字类型中的预设类型；
转换模块4022，用于利用预设数据转换策略将第二待传输数据的数制由十进制转换为二进制，以得到目标待传输数据。
在图5的基础上，图7为本申请实施例提供的另一种数据传输装置的结构示意图。如图7所示，本实施例提供的数据传输装置400，还可以包括：提取模块404。该提取模块404，用于：
提取且存储第一待传输数据的精度特征信息，精度特征信息包括精度信息和范围信息。
在一种可能的设计中，识别模块4021，具体用于：
根据第一待传输数据的精度特征信息确定第一待传输数据的数据长度；
比较数据长度与预设数据长度，将数据长度大于预设数据长度的第一待传输数据识别为第二待传输数据。
在一种可能的设计中，存储模块403，用于：
根据预设需求确定出目标待传输数据的字节数，并记录目标待传输数据的精度特征信息；
存储目标待传输数据、目标待传输数据的字节数以及目标待传输数据的精度特征信息为二进制对象；
将二进制对象写入预设存储队列得到目标存储队列。
在一种可能的设计中，待传输数据库为Oracle数据库，目标数据库为Hive数据库，预设存储队列为Parquet格式的存储队列。
在一种可能的设计中，预设类型为decimal类型。
值得说明的，上述图5和图7以及可选的实施例提供的数据传输装置，可用于执行上述任一实施例提供的数据传输方法的各步骤，具体实现方式和技术效果类似，这里不再赘述。
本申请所提供的上述各装置实施例仅仅是示意性的，其中的模块划分仅仅是一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个模块可以结合或者可以集成到另一个系统。各个模块相互之间的耦合可以是通过一些接口实现，这些接口通常是电性通信接口，但是也不排除可能是机械接口或其它的形式接口。因此，作为分离部件说明的模块可以是或者也可以不是物理上分开的，既可以位于一个地方，也可以分布到同一个或不同设备的不同位置上。
图8为本申请提供的一种电子设备的结构示意图。如图8所示，该电子设备500可以包括：至少一个处理器501和存储器502。图8示出的是以一个处理器为例的电子设备。
存储器502，用于存放处理器501的计算机程序。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。
存储器502可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
处理器501配置为用于执行存储器502存储的计算机程序，以实现以上各方法实施例中数据传输方法的各步骤。
其中，处理器501可能是一个中央处理器(central processing unit，简称为CPU)，或者是特定集成电路(application specific integrated circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
可选地，存储器502既可以是独立的，也可以跟处理器501集成在一起。当存储器502是独立于处理器501之外的器件时，电子设备500，还可以包括：
总线503，用于连接处理器501以及存储器502。总线可以是工业标准体系结构(industry standard architecture，简称为ISA)总线、外部设备互连(peripheralcomponent，PCI)总线或扩展工业标准体系结构(extended industry standardarchitecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器502和处理器501集成在一块芯片上实现，则存储器502和处理器501可以通过内部接口完成通信。
本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random accessmemory，RAM)、磁盘或者光盘等各种可以存储程序代码的介质，具体的，该计算机可读存储介质中存储有计算机程序，当电子设备的至少一个处理器执行该计算机程序时，电子设备执行上述的各种实施方式提供的数据传输方法的各个步骤。
本申请实施例还提供一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在可读存储介质中。电子设备的至少一个处理器可以从可读存储介质读取该计算机程序，至少一个处理器执行该计算机程序使得电子设备实施上述的各种实施方式提供的数据传输方法的各个步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求书指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。
Claims (11)
1.一种数据传输方法，应用于采用Datax工具进行跨数据库的数据传输中，其特征在于，包括：
读取待传输数据库的字段类型，以获取所述字段类型为数字类型的第一待传输数据；
根据预设特征识别策略和预设数制转换策略对所述第一待传输数据进行识别与转换处理，以得到目标待传输数据；
将所述目标待传输数据写入至预设存储队列得到目标存储队列，存储所述目标存储队列至目标数据库。
2.根据权利要求1所述的数据传输方法，其特征在于，所述根据预设特征识别策略和预设数制转换策略对所述第一待传输数据进行识别与转换处理，以得到目标待传输数据，包括：
根据所述第一待传输数据的精度特征信息识别出第二待传输数据，所述预设特征识别策略包括所述精度特征信息，所述第二待传输数据的字段类型为所述数字类型中的预设类型；
利用所述预设数据转换策略将所述第二待传输数据的数制由十进制转换为二进制，以得到所述目标待传输数据。
3.根据权利要求2所述的数据传输方法，其特征在于，所述获取所述字段类型为数字类型的第一待传输数据之后，还包括：
提取且存储所述第一待传输数据的所述精度特征信息，所述精度特征信息包括精度信息和范围信息。
4.根据权利要求3所述的数据传输方法，其特征在于，所述根据所述第一待传输数据的精度特征信息识别出第二待传输数据，包括：
根据所述第一待传输数据的所述精度特征信息确定所述第一待传输数据的数据长度；
比较所述数据长度与预设数据长度，将所述数据长度大于所述预设数据长度的第一待传输数据识别为所述第二待传输数据。
5.根据权利要求2-4任一项所述的数据传输方法，其特征在于，所述将所述目标待传输数据写入至预设存储队列得到目标存储队列，包括：
根据预设需求确定出所述目标待传输数据的字节数，并记录所述目标待传输数据的精度特征信息；
存储所述目标待传输数据、所述目标待传输数据的字节数以及所述目标待传输数据的精度特征信息为二进制对象；
将所述二进制对象写入所述预设存储队列得到所述目标存储队列。
6.根据权利要求1所述的数据传输方法，其特征在于，所述待传输数据库为Oracle数据库，所述目标数据库为Hive数据库，所述预设存储队列为Parquet格式的存储队列。
7.根据权利要求2所述的数据传输方法，其特征在于，所述预设类型为decimal类型。
8.一种数据传输装置，其特征在于，包括：
获取模块，用于读取待传输数据库的字段类型，以获取所述字段类型为数字类型的第一待传输数据；
识别与转换模块，用于根据预设特征识别策略和预设数制转换策略对所述第一待传输数据进行识别与转换处理，以得到目标待传输数据；
存储模块，用于将所述目标待传输数据写入至预设存储队列得到目标存储队列，存储所述目标存储队列至目标数据库。
9.一种电子设备，其特征在于，包括：
处理器；以及，
存储器，用于存储所述处理器的计算机程序；
其中，所述处理器配置为经由执行所述计算机程序来执行权利要求1至7任一项所述的数据传输方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的数据传输方法。
11.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7任一项所述的数据传输方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110723119.1A CN113590581B (zh) | 2021-06-28 | 2021-06-28 | 数据传输方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110723119.1A CN113590581B (zh) | 2021-06-28 | 2021-06-28 | 数据传输方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113590581A true CN113590581A (zh) | 2021-11-02 |
| CN113590581B CN113590581B (zh) | 2024-05-14 |
Family
ID=78245061
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110723119.1A Active CN113590581B (zh) | 2021-06-28 | 2021-06-28 | 数据传输方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113590581B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115297198A (zh) * | 2022-09-21 | 2022-11-04 | 中昊芯英(杭州)科技有限公司 | 数据处理方法、电路、介质和计算设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120030172A1 (en) * | 2010-07-27 | 2012-02-02 | Oracle International Corporation | Mysql database heterogeneous log based replication |
| WO2016173428A1 (zh) * | 2015-04-26 | 2016-11-03 | 阿里巴巴集团控股有限公司 | 一种数据传输方法及装置 |
| US20170091041A1 (en) * | 2015-09-25 | 2017-03-30 | Alibaba Group Holding Limited | Method and apparatus for transferring data between databases |
| CN109997125A (zh) * | 2016-09-15 | 2019-07-09 | 英国天然气控股有限公司 | 用于将数据导入数据储存库的系统 |
-
2021
- 2021-06-28 CN CN202110723119.1A patent/CN113590581B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120030172A1 (en) * | 2010-07-27 | 2012-02-02 | Oracle International Corporation | Mysql database heterogeneous log based replication |
| WO2016173428A1 (zh) * | 2015-04-26 | 2016-11-03 | 阿里巴巴集团控股有限公司 | 一种数据传输方法及装置 |
| US20170091041A1 (en) * | 2015-09-25 | 2017-03-30 | Alibaba Group Holding Limited | Method and apparatus for transferring data between databases |
| CN109997125A (zh) * | 2016-09-15 | 2019-07-09 | 英国天然气控股有限公司 | 用于将数据导入数据储存库的系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115297198A (zh) * | 2022-09-21 | 2022-11-04 | 中昊芯英(杭州)科技有限公司 | 数据处理方法、电路、介质和计算设备 |
| CN115297198B (zh) * | 2022-09-21 | 2023-01-13 | 中昊芯英(杭州)科技有限公司 | 数据处理方法、电路、介质和计算设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113590581B (zh) | 2024-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111506498A (zh) | 测试用例的自动生成方法、装置、计算机设备及存储介质 | |
| CN110781231A (zh) | 基于数据库的批量导入方法、装置、设备及存储介质 | |
| CN111199054B (zh) | 一种数据脱敏方法、装置及数据脱敏设备 | |
| CN113590581B (zh) | 数据传输方法、装置、设备及存储介质 | |
| CN115269006A (zh) | 机器码指令转换方法、装置、电子设备及可读存储介质 | |
| CN116029080A (zh) | 芯片存储装置设计及验证方法、装置及电子设备 | |
| CN112131202B (zh) | 一种分布式文件存储和读取方法、终端设备及存储介质 | |
| CN113407565A (zh) | 跨库数据查询方法、装置和设备 | |
| CN111046038B (zh) | 时序数据存储的方法及终端设备 | |
| CN111190896B (zh) | 数据处理方法、装置、存储介质和计算机设备 | |
| CN116483745A (zh) | 数据传输方法、装置、电源模块及存储介质 | |
| CN109324838B (zh) | 单片机程序的执行方法、执行装置及终端 | |
| CN112783971B (zh) | 交易记录方法、交易查询方法、电子设备及存储介质 | |
| CN112069772B (zh) | 基于fpga的数据处理方法、装置、电子设备及存储介质 | |
| CN114328486A (zh) | 基于模型的数据质量核查方法及装置 | |
| CN113127408A (zh) | 数据转换方法及装置 | |
| CN112015425A (zh) | 数据存储方法、读取方法、装置、电子设备及存储介质 | |
| CN111752737A (zh) | 日志存储方法、电子设备及存储介质 | |
| CN114756440B (zh) | 智能卡的数据写入方法、装置、设备及存储介质 | |
| CN116016692A (zh) | 协议描述文本构建方法、装置、设备及存储介质 | |
| CN117271772A (zh) | 批量文本处理方法、装置、设备及介质 | |
| CN117478723A (zh) | 数据的传输方法、装置、设备及存储介质 | |
| CN111581207B (zh) | Azkaban项目的文件生成方法、装置及终端设备 | |
| CN111274228A (zh) | 保单数据迁移存储方法、系统、设备及可读存储介质 | |
| CN118013936A (zh) | 一种海外房源数据统一数据结构方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |