CN110334018A - 一种大数据导入方法以及相关设备 - Google Patents
一种大数据导入方法以及相关设备 Download PDFInfo
- Publication number
- CN110334018A CN110334018A CN201910525274.5A CN201910525274A CN110334018A CN 110334018 A CN110334018 A CN 110334018A CN 201910525274 A CN201910525274 A CN 201910525274A CN 110334018 A CN110334018 A CN 110334018A
- Authority
- CN
- China
- Prior art keywords
- data
- file
- server resource
- subject thread
- use value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000008676 import Effects 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims description 23
- 230000004048 modification Effects 0.000 claims description 6
- 238000012986 modification Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 238000012360 testing method Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 5
- 239000008186 active pharmaceutical agent Substances 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3696—Methods or tools to render software testable
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供了一种大数据导入方法及相关设备，用于快速的导入大文件，提高数据导入的效率。该方法包括：获取待导入的目标数据；判断所述目标数据的数据量是否达到预设数据量；若是，则生成与所述目标数据对应的目标格式的文件；确定服务器资源当前的使用值；基于所述服务器资源当前的使用值确定N个目标线程，其中，N≥1；通过所述N个目标线程导入所述目标格式的文件。
Description
技术领域
本发明涉及软件测试领域，尤其涉及一种大数据导入方法以及相关设备。
背景技术
在经济发展的同时，各项技术突飞猛进，计算机技术得到广泛的应用及发展。在软件不断开发的同时，随之而来的各个方面的问题也逐渐凸显。严重影响软件的使用与开发。因此通常通过测试工具对软件的各方面性能进行测试。在通过测试工具对软件进行测试时，即涉及到了测试数据的导入。
TPC-DS测试工具在对软件进行测试的时候，测试数据量最小规模达到1T，单个表格最大记录数达到28亿，这么庞大的单数据文件采用传统方式读取文件、导入数据方式在硬件、时间资源有限的情况下，已不满足需求。
发明内容
本发明实施例提供了一种大数据导入方法及相关设备，用于快速的导入大文件，提高数据导入的效率。
本发明实施例的第一方面提供了一种大数据导入方法，包括：
获取待导入的目标数据；
判断所述目标数据的数据量是否达到预设数据量；
若是，则生成与所述目标数据对应的目标格式的文件；
确定服务器资源当前的使用值；
基于所述服务器资源当前的使用值确定N个目标线程，其中，N≥1；
通过所述N个目标线程导入所述目标格式的文件。
可选地，所述基于所述服务器资源当前的使用值确定N个目标线程包括：
步骤A、判断所述服务器资源当前的使用值是否小于预设阈值；
步骤B、若所述服务器资源当前的使用值小于所述预设阈值，则基于所述服务器资源当前的未使用值启动所述N个目标线程；
步骤C、若所述服务器资源当前的使用值不小于所述预设阈值，则重复执行步骤A，直至所述当前服务器资源小于所述预设阈值时，执行步骤B。
可选地，所述通过所述N个目标线程导入所述目标格式的文件包括：
通过所述N个目标线程将所述目标格式的文件导入目标数据库，所述目标数据库与所述目标数据具有关联关系。
可选地，所述通过所述N个目标线程导入所述目标格式的文件包括：
步骤1、获取目标指针数据当前的配置参数，所述目标指针数据指示所述目标格式的文件当前导入所述目标数据库的数据长度；
步骤2、根据所述配置参数从所述目标格式的文件中选择指定长度的文件内容；
步骤3、将所述指定长度的文件内容通过所述N个目标线程导入所述目标数据库；
步骤4、修改所述目标指针数据当前的配置参数；
步骤5、释放所述N个目标线程的内存数据；
重复执行步骤1至步骤5，直至所述目标格式的文件中的所有数据导入所述目标数据库为止。
可选地，所述服务器资源包括以下资源中的至少一种：所述服务器的内存、所述服务器的输入输出以及所述服务器的处理器，所述预设阈值与所述服务器资源相对应。
本发明实施例第二方面提供了一种数据处理装置，包括：
获取单元，用于获取待导入的目标数据；
判断单元，用于判断所述目标数据的数据量是否达到预设数据量；
生成单元，用于当所述目标数据的数据量达到所述预设数据量时，生成与所述目标数据对应的目标格式的文件；
第一确定单元，用于确定服务器资源当前的使用值；
第二确定单元，用于基于所述服务器资源当前的使用值确定N个目标线程，其中，N≥1；
导入单元，用于通过所述N个目标线程导入所述目标格式的文件。
可选地，所述第二确定单元具体用于：
步骤A、判断所述服务器资源当前的使用值是否小于预设阈值；
步骤B、若所述服务器资源当前的使用值小于所述预设阈值，则基于所述服务器资源当前的未使用值启动所述N个目标线程；
步骤C、若所述服务器资源当前的使用值不小于所述预设阈值，则重复执行步骤A，直至所述当前服务器资源小于所述预设阈值时，执行步骤B。
可选地，所述导入单元具体用于：
通过所述N个目标线程将所述目标格式的文件导入目标数据库，所述目标数据库与所述目标数据具有关联关系。
可选地，所述导入单元具体用于：
步骤1、获取目标指针数据当前的配置参数，所述目标指针数据指示所述目标格式的文件当前导入所述目标数据库的数据长度；
步骤2、根据所述配置参数从所述目标格式的文件中选择指定长度的文件内容；
步骤3、将所述指定长度的文件内容通过所述N个目标线程导入所述目标数据库；
步骤4、修改所述目标指针数据当前的配置参数；
步骤5、释放所述N个目标线程的内存数据；
重复执行步骤1至步骤5，直至所述目标格式的文件中的所有数据导入所述目标数据库为止。
可选地，所述服务器资源包括以下资源中的至少一种：所述服务器的内存、所述服务器的输入输出以及所述服务器的处理器，所述预设阈值与所述服务器资源相对应。
本发明第三方面提供了一种电子设备，包括存储器、处理器，其特征在于，所述处理器用于执行存储器中存储的计算机管理类程序时实现如上述任意一项所述的大数据导入方法的步骤。
本发明第四方面提供了一种计算机可读存储介质，其上存储有计算机管理类程序，其特征在于：所述计算机管理类程序被处理器执行时实现如上述任意一项所述的大数据导入方法的步骤。
综上所述，可以看出，本发明提供的实施例中，可以通过服务器资源当前的使用值确定N个线程，并通过N个线程将目标数据导入，由于通过N个线程将目标数据导入，这样相对于现有技术中一次性导入所有数据，可以提高数据导入的效率。
附图说明
图1为本发明实施例提供的一种大数据导入方法的流程示意图；
图2为本发明实施例提供的一种数据处理装置的实施例示意图；
图3为本发明实施例提供的一种数据处理装置的硬件结构示意图；
图4为本发明实施例提供的一种电子设备的实施例示意图；
图5为本发明实施例提供的一种计算机可读存储介质的实施例示意图。
具体实施方式
本发明实施例提供了一种大数据导入方法及相关设备，用于快速的导入大文件，提高数据导入的效率。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
下面从数据处理装置的角度对大数据导入方法进行说明，该数据处理装置可以为服务器，也可以为服务器中的服务单元。
请参阅图1、图1为本发明实施例提供的大数据导入方法的流程示意图，该方法包括：
101、获取待导入的目标数据。
本实施例中，当TPC-DS测试工具(当然也还可以是其他的测试工具，此处以TPC-DS测试工具为例进行说明，并不代表对其的限定)对软件进行测试时，需要导入数据进行测试，此时，数据处理装置可以获取待导入的目标数据，此处具体不限定如何获取待导入的目标数据，例如可以接收用户的操作指令，以获取待导入的目标数据。
102、判断目标数据的数据量是否达到预设数据量，若是，则执行步骤103，若否，则执行步骤107。
本实施例中，数据处理装置可以判断该目标数据的数据量是否达到预设数据量(该预设数据量例如可以为数据的记录条数达到100万条，或者数据量达到1TB，当然也还可以是其他的设置，具体不做限定)，当目标数据的数据量达到预设数据量时，则执行步骤103，当该目标数据的数量未达到预设数据量时，则执行步骤107，也就是说，不是每次导入的数据都需要执行本发明的操作，只有导入的数据量达到一定的程度才执行本发明实施例中的操作步骤。
103、生成与目标数据对应的目标格式的文件。
本实施例中，当确定目标数据的数据量达到预设数据量时，可以根据数据生成工具将目标数据生成与之对应的目标格式的文件(其中，该目标格式可以为TXT格式，当然也还可以是其他格式，具体不限定)。具体的，可以根据目标数据中的每个表的定义(例如字段的类型、长度、约束等)等随机生成字段数据，然后按照表进行TXT文件存储(每个表的数据形成一个TXT文件)。
104、确定服务器资源当前的使用值。
本实施例中，数据处理装置可以确定服务器资源当前的使用值，其中，该服务器资源包括以下资源中的至少一种：服务器的内存、服务器的输入输出I/O以及服务器的中央处理器(CPU，Central Processing Unit)。例如确定服务器当前内存的使用量、服务器当前的I/O的使用量，以及服务器当前的CPU的使用率。
105、基于服务器资源当前的使用值确定N个目标线程。
步骤A、判断所述服务器资源当前的使用值是否小于预设阈值。
本步骤中，可以判断服务器资源当前的使用值是否小于预设阈值，其中，该服务器资源包括服务器的内存、服务器的I/O以及服务器的CPU中的一种，则该服务器资源当前的使用量也会与之对应包括服务器的内存的使用量、服务器的I/O的流量以及服务器的CPU的使用率中的一种，相应的，该预设阈值也会与服务器资源相对应，若该服务器资源为服务器的内存，则可以设置预设阈值为服务器的内存的使用率＜95％，同理，当该服务器资源为服务器的输入输出，则可以设置该服务器的I/O的流量<90％，该服务器资源为服务器的CPU，则可以设置该服务器的CPU的使用率＜90％。
需要说明的是，上述对预设阈值的设置仅为举例说明，当然也还可以是其他的数值，具体不做限定。
步骤B、若所述服务器资源当前的使用值小于所述预设阈值，则基于所述服务器资源当前的未使用值启动所述N个目标线程。
本步骤中，若服务器资源当前的使用值小于预设阈值，则可以基于当前服务器资源当前的未使用值启动N个目标线程，例如该服务器资源为服务器的内存，该服务器资源当前的使用值小于预设阈值(该预设阈值例如可以为80％)，该服务器的内存当前未使用值为20％，新建一个目标线程占用的内存为5％，则可以抵用4个目标线程。
步骤C、若所述服务器资源当前的使用值不小于所述预设阈值，则重复执行步骤A，直至所述当前服务器资源小于所述预设阈值时，执行步骤B。
本步骤中，若服务器资源当前的使用值不小于预设阈值，则确定该服务器资源当前的占用量足够大，则不启动目标线程，并实时判断服务器资源的使用值，直至当前服务器资源小于预设阈值，并根据当前服务器资源当前的未使用值启动N个目标线程，并通过N个目标线程将目标格式的文件导入目标数据库。
106、基于N个目标线程导入目标格式的文件。
本实施例中，在启动N个目标线程之后，可以通过N个目标线程导入目标格式的文件。其中TPC-DS测试工具每次导入的数据均存储在一个数据库中，此处，可以基于N个线程将目标格式的文件导入目标数据库，其中，该目标数据库与目标数据具有关联关系，也就是说，可以将目标数据导入至于目标数据库对应的目标数据库。下面具体说明如何基于N个目标线程将目标格式的文件导入目标数据库：
步骤1、获取目标指针数据当前的配置参数，目标指针数据指示目标格式的文件当前导入目标数据库的数据长度；
步骤2、根据配置参数从目标格式的文件中选择指定长度的文件内容；
步骤3、将指定长度的文件内容通过N个目标线程导入目标数据库；
步骤4、修改目标指针数据当前的配置参数；
步骤5、释放N个目标线程的内存数据；
重复执行步骤1至步骤5，直至目标格式的文件中的所有数据导入目标数据库为止。
也就是说，可以设置一个目标指针数据，该目标指针数据指示目标格式的文件当前导入目标数据库的数据长度，该目标指针数据的配置参数初始为0，每导入一次，则修改该目标指针数据的配置参数。例如，目标格式的文件的文件长度为100000，目标指针数据当前的配置参数为2000，则可以根据该配置参数2000从目标格式的文件中选择指定长度(例如可以设置一个线程每次导入的目标格式的文件的长度为500)通过一个目标线程导入目标数据库，也即选择目标格式的文件中文件长度2000以后的500的文件长度通过一个目标线程导入目标数据库，之后修改目标指针当前的配置参数为2500，并释放该目标线程的内存数据，由此，可以保证每次通过目标线程导入的目标格式的文件的数据均是未曾导入的数据。之后，重复执行，直至目标格式的文件中的所有数据导入目标数据库为止。另外，该目标指针数据的配置参数还可以是头指针和尾指针，也即通过分别设置头指针以及尾指针可以分批次的导入目标指针数据中的数据，目标格式文件的文件长度为100000，目标指针数据的配置参数为初始为0，也就是说目标指针数据的头指针初始为0，目标指针数据的尾指针可以根据实际情况进行设置(当然也还可以根据其他的方式进行设置，例如每次导入固定的数据长度)，例如可以设置尾指针为2000，则当前要导入的数据长度即为0-2000的数据长度，同理，可以得出，每次导入数据的时候，是以上一次导入目标指针数据的尾指针作为当前导入的目标指针数据的头指针，尾指针可以根据实际情况进行设置，以此类推，直至目标格式文件的全部数据导入完成。
107、执行其他操作。
本实施例中，当确定待导入的目标数据的数据量小于预设数据量，则可以直接将该目标数据批量插入。
综上所述，可以看出，本发明提供的实施例中，可以通过服务器资源当前的使用值确定N个线程，并通过N个线程将目标数据导入，由于通过N个线程将目标数据导入，这样相对于现有技术中一次性导入所有数据，可以提高数据导入的效率。
上面对本发明实施例中大数据导入方法进行了描述，下面对本发明实施例中的数据处理装置进行描述。
请参阅图2，本发明实施例中数据处理装置的一个实施例，该数据处理装置包括：
获取单元201，用于获取待导入的目标数据；
判断单元202，用于判断所述目标数据的数据量是否达到预设数据量；
生成单元203，用于当所述目标数据的数据量达到所述预设数据量时，生成与所述目标数据对应的目标格式的文件；
第一确定单元204，用于确定服务器资源当前的使用值；
第二确定单元205，用于基于所述服务器资源当前的使用值确定N个目标线程，其中，N≥1；
导入单元206，用于通过所述N个目标线程导入所述目标格式的文件。
可选地，所述第二确定单元205具体用于：
步骤A、判断所述服务器资源当前的使用值是否小于预设阈值；
步骤B、若所述服务器资源当前的使用值小于所述预设阈值，则基于所述服务器资源当前的未使用值启动所述N个目标线程；
步骤C、若所述服务器资源当前的使用值不小于所述预设阈值，则重复执行步骤A，直至所述当前服务器资源小于所述预设阈值时，执行步骤B。
可选地，所述导入单元206具体用于：
通过所述N个目标线程将所述目标格式的文件导入目标数据库，所述目标数据库与所述目标数据具有关联关系。
可选地，所述导入单元206具体用于：
步骤1、获取目标指针数据当前的配置参数，所述目标指针数据指示所述目标格式的文件当前导入所述目标数据库的数据长度；
步骤2、根据所述配置参数从所述目标格式的文件中选择指定长度的文件内容；
步骤3、将所述指定长度的文件内容通过所述N个目标线程导入所述目标数据库；
步骤4、修改所述目标指针数据当前的配置参数；
步骤5、释放所述N个目标线程的内存数据；
重复执行步骤1至步骤5，直至所述目标格式的文件中的所有数据导入所述目标数据库为止。
可选地，所述服务器资源包括以下资源中的至少一种：所述服务器的内存、所述服务器的输入输出以及所述服务器的处理器，所述预设阈值与所述服务器资源相对应。
上面图2从模块化功能实体的角度对本发明实施例中的数据处理装置进行了描述，下面从硬件处理的角度对本发明实施例中的数据处理装置进行详细描述，请参阅图3，本发明实施例中的数据处理装置300一个实施例，包括：
输入装置301、输出装置302、处理器303和存储器304(其中处理器303的数量可以一个或多个，图3中以一个处理器303为例)。在本发明的一些实施例中，输入装置301、输出装置302、处理器303和存储器304可通过总线或其它方式连接，其中，图4中以通过总线连接为例。
其中，通过调用存储器304存储的操作指令，处理器303，用于执行如下步骤：
获取待导入的目标数据；
判断所述目标数据的数据量是否达到预设数据量；
若是，则生成与所述目标数据对应的目标格式的文件；
确定服务器资源当前的使用值；
基于所述服务器资源当前的使用值确定N个目标线程，其中，N≥1；
通过所述N个目标线程导入所述目标格式的文件。
在具体实施过程中，处理器320执行计算机程序311时，可以实现图1对应的实施例中任一实施方式。
如图4所示，本发明实施例提供了一种电子设备，包括存储器410、处理器420及存储在存储器420上并可在处理器420上运行的计算机程序411，处理器420执行计算机程序411时实现以下步骤：
获取待导入的目标数据；
判断所述目标数据的数据量是否达到预设数据量；
若是，则生成与所述目标数据对应的目标格式的文件；
确定服务器资源当前的使用值；
基于所述服务器资源当前的使用值确定N个目标线程，其中，N≥1；
通过所述N个目标线程导入所述目标格式的文件。
在具体实施过程中，处理器420执行计算机程序411时，可以实现图1对应的实施例中任一实施方式。
由于本实施例所介绍的电子设备为实施本发明实施例中一种数据处理装置所采用的设备，故而基于本发明实施例中所介绍的方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此对于该电子设备如何实现本发明实施例中的方法不再详细介绍，只要本领域所属技术人员实施本发明实施例中的方法所采用的设备，都属于本发明所欲保护的范围。
请参阅图5，图5为本发明实施例提供的一种计算机可读存储介质的实施例示意图。
如图5所示，本实施例提供了一种计算机可读存储介质500，其上存储有计算机程序511，该计算机程序511被处理器执行时实现如下步骤：
获取待导入的目标数据；
判断所述目标数据的数据量是否达到预设数据量；
若是，则生成与所述目标数据对应的目标格式的文件；
确定服务器资源当前的使用值；
基于所述服务器资源当前的使用值确定N个目标线程，其中，N≥1；
通过所述N个目标线程导入所述目标格式的文件。
在具体实施过程中，该计算机程序511被处理器执行时可以实现图1对应的实施例中任一实施方式。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机软件指令，当计算机软件指令在处理设备上运行时，使得处理设备执行如图1对应实施例中的大数据导入方法中的流程。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修该，或者对其中部分技术特征进行等同替换；而这些修该或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种大数据导入方法，其特征在于，包括：
获取待导入的目标数据；
判断所述目标数据的数据量是否达到预设数据量；
若是，则生成与所述目标数据对应的目标格式的文件；
确定服务器资源当前的使用值；
基于所述服务器资源当前的使用值确定N个目标线程，其中，N≥1；
通过所述N个目标线程导入所述目标格式的文件。
2.根据权利要求1所述的方法，其特征在于，所述基于所述服务器资源当前的使用值确定N个目标线程包括：
步骤A、判断所述服务器资源当前的使用值是否小于预设阈值；
步骤B、若所述服务器资源当前的使用值小于所述预设阈值，则基于所述服务器资源当前的未使用值启动所述N个目标线程；
步骤C、若所述服务器资源当前的使用值不小于所述预设阈值，则重复执行步骤A，直至所述当前服务器资源小于所述预设阈值时，执行步骤B。
3.根据权利要求1所述的方法，其特征在于，所述通过所述N个目标线程导入所述目标格式的文件包括：
通过所述N个目标线程将所述目标格式的文件导入目标数据库，所述目标数据库与所述目标数据具有关联关系。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述通过所述N个目标线程导入所述目标格式的文件包括：
步骤1、获取目标指针数据当前的配置参数，所述目标指针数据指示所述目标格式的文件当前导入所述目标数据库的数据长度；
步骤2、根据所述配置参数从所述目标格式的文件中选择指定长度的文件内容；
步骤3、将所述指定长度的文件内容通过所述N个目标线程导入所述目标数据库；
步骤4、修改所述目标指针数据当前的配置参数；
步骤5、释放所述N个目标线程的内存数据；
重复执行步骤1至步骤5，直至所述目标格式的文件中的所有数据导入所述目标数据库为止。
5.根据权利要求1至3中任一项所述的方法，其特征在于，所述服务器资源包括以下资源中的至少一种：所述服务器的内存、所述服务器的输入输出以及所述服务器的处理器，所述预设阈值与所述服务器资源相对应。
6.一种数据处理装置，其特征在于，包括：
获取单元，用于获取待导入的目标数据；
判断单元，用于判断所述目标数据的数据量是否达到预设数据量；
生成单元，用于当所述目标数据的数据量达到所述预设数据量时，生成与所述目标数据对应的目标格式的文件；
第一确定单元，用于确定服务器资源当前的使用值；
第二确定单元，用于基于所述服务器资源当前的使用值确定N个目标线程，其中，N≥1；
导入单元，用于通过所述N个目标线程导入所述目标格式的文件。
7.根据权利要求6所述的装置，其特征在于，所述第二确定单元具体用于：
步骤A、判断所述服务器资源当前的使用值是否小于预设阈值；
步骤B、若所述服务器资源当前的使用值小于所述预设阈值，则基于所述服务器资源当前的未使用值启动所述N个目标线程；
步骤C、若所述服务器资源当前的使用值不小于所述预设阈值，则重复执行步骤A，直至所述当前服务器资源小于所述预设阈值时，执行步骤B。
8.根据权利要求6或7所述的装置，其特征在于，所述导入单元具体用于：
步骤1、获取目标指针数据当前的配置参数，所述目标指针数据指示所述目标格式的文件当前导入所述目标数据库的数据长度；
步骤2、根据所述配置参数从所述目标格式的文件中选择指定长度的文件内容；
步骤3、将所述指定长度的文件内容通过所述N个目标线程导入所述目标数据库；
步骤4、修改所述目标指针数据当前的配置参数；
步骤5、释放所述N个目标线程的内存数据；
重复执行步骤1至步骤5，直至所述目标格式的文件中的所有数据导入所述目标数据库为止。
9.一种电子设备，包括存储器、处理器，其特征在于，所述处理器用于执行存储器中存储的计算机管理类程序时实现如权利要求1至5中任意一项所述的大数据导入方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机管理类程序，其特征在于：所述计算机管理类程序被处理器执行时实现如权利要求1至5中任意一项所述的大数据导入方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910525274.5A CN110334018A (zh) | 2019-06-18 | 2019-06-18 | 一种大数据导入方法以及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910525274.5A CN110334018A (zh) | 2019-06-18 | 2019-06-18 | 一种大数据导入方法以及相关设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110334018A true CN110334018A (zh) | 2019-10-15 |
Family
ID=68142598
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910525274.5A Pending CN110334018A (zh) | 2019-06-18 | 2019-06-18 | 一种大数据导入方法以及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110334018A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111444149A (zh) * | 2020-04-20 | 2020-07-24 | 北京同心尚科技发展有限公司 | 一种数据导入方法、装置、设备及存储介质 |
| CN112035412A (zh) * | 2020-08-31 | 2020-12-04 | 北京奇虎鸿腾科技有限公司 | 数据文件导入方法、设备、存储介质及装置 |
| CN112685427A (zh) * | 2021-01-25 | 2021-04-20 | 拉卡拉支付股份有限公司 | 数据接入方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017114199A1 (zh) * | 2015-12-31 | 2017-07-06 | 阿里巴巴集团控股有限公司 | 一种数据同步方法和装置 |
| CN107609159A (zh) * | 2017-09-26 | 2018-01-19 | 恒生电子股份有限公司 | 用于数据加载的方法、装置及计算机可读介质 |
| US20180285008A1 (en) * | 2017-03-29 | 2018-10-04 | The Travelers Indemnity Company | Multi-server system resource manager |
| CN108897876A (zh) * | 2018-06-29 | 2018-11-27 | 中科鼎富（北京）科技发展有限公司 | 一种数据接入方法及装置 |
| CN109241514A (zh) * | 2018-09-10 | 2019-01-18 | 深圳市泰洲科技有限公司 | 数据自动导入方法、装置、计算机设备及存储介质 |
-
2019
- 2019-06-18 CN CN201910525274.5A patent/CN110334018A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017114199A1 (zh) * | 2015-12-31 | 2017-07-06 | 阿里巴巴集团控股有限公司 | 一种数据同步方法和装置 |
| US20180285008A1 (en) * | 2017-03-29 | 2018-10-04 | The Travelers Indemnity Company | Multi-server system resource manager |
| CN107609159A (zh) * | 2017-09-26 | 2018-01-19 | 恒生电子股份有限公司 | 用于数据加载的方法、装置及计算机可读介质 |
| CN108897876A (zh) * | 2018-06-29 | 2018-11-27 | 中科鼎富（北京）科技发展有限公司 | 一种数据接入方法及装置 |
| CN109241514A (zh) * | 2018-09-10 | 2019-01-18 | 深圳市泰洲科技有限公司 | 数据自动导入方法、装置、计算机设备及存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111444149A (zh) * | 2020-04-20 | 2020-07-24 | 北京同心尚科技发展有限公司 | 一种数据导入方法、装置、设备及存储介质 |
| CN112035412A (zh) * | 2020-08-31 | 2020-12-04 | 北京奇虎鸿腾科技有限公司 | 数据文件导入方法、设备、存储介质及装置 |
| CN112685427A (zh) * | 2021-01-25 | 2021-04-20 | 拉卡拉支付股份有限公司 | 数据接入方法、装置、电子设备及存储介质 |
| CN112685427B (zh) * | 2021-01-25 | 2024-03-26 | 拉卡拉支付股份有限公司 | 数据接入方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106294120B (zh) | 测试代码的方法、设备和计算机程序产品 | |
| CN102902621B (zh) | 应用性能评价和报告 | |
| US9141521B2 (en) | Method and apparatus for automatically generating a test script for a graphical user interface | |
| CN110389905A (zh) | 资源释放方法、资源分配方法、设备和计算机程序产品 | |
| CN110309052A (zh) | 一种数据校验方法以及相关设备 | |
| CN107798120B (zh) | 一种数据转换方法及装置 | |
| CN110347383A (zh) | 跨平台桌面应用的前端开发方法及装置 | |
| WO2020238965A1 (zh) | 生产环境的性能评估方法、装置及存储介质 | |
| CN110334018A (zh) | 一种大数据导入方法以及相关设备 | |
| CN107733710A (zh) | 链路调用关系的构建方法、装置、计算机设备及存储介质 | |
| CN109828790A (zh) | 一种基于申威异构众核处理器的数据处理方法和系统 | |
| CN110300008A (zh) | 一种确定网络设备的状态的方法及装置 | |
| CN106093897B (zh) | 一种雷达系统的测试系统及测试方法 | |
| CN109857643A (zh) | 一种虚拟化平台性能自动测试的方法及装置 | |
| CN107092502B (zh) | 一种基于云操作系统的应用自动配置方法和装置 | |
| CN109284229A (zh) | 一种基于qps的动态调整方法以及相关设备 | |
| CN107357530B (zh) | 一种针对OpenStack云硬盘的设置方法及装置 | |
| CN104376397B (zh) | 一种数据实时分析方法及装置 | |
| EP2829972B1 (en) | Method and apparatus for allocating stream processing unit | |
| CN103294482B (zh) | 用于PWscf并行计算系统的Web服务封装方法以及系统 | |
| CN114281663A (zh) | 测试处理方法、装置、电子设备和存储介质 | |
| CN110020333A (zh) | 数据分析方法及装置、电子设备、存储介质 | |
| CN111970112A (zh) | 基于zynq异构计算平台的以太坊部署方法及系统 | |
| CN116009847A (zh) | 代码生成方法、装置、电子设备及存储介质 | |
| CN115509931A (zh) | 基于系统的性能测试方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191015 |
|
| RJ01 | Rejection of invention patent application after publication |