CN114722048A - 一种数据处理方法、装置、电子设备及存储介质 - Google Patents
一种数据处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114722048A CN114722048A CN202210532479.8A CN202210532479A CN114722048A CN 114722048 A CN114722048 A CN 114722048A CN 202210532479 A CN202210532479 A CN 202210532479A CN 114722048 A CN114722048 A CN 114722048A
- Authority
- CN
- China
- Prior art keywords
- data
- column name
- combination
- name combination
- export
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 238000003780 insertion Methods 0.000 claims abstract description 60
- 230000037431 insertion Effects 0.000 claims abstract description 60
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000012163 sequencing technique Methods 0.000 claims abstract description 11
- 238000004590 computer program Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 5
- 230000003190 augmentative effect Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 239000003638 chemical reducing agent Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 3
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/221—Column-oriented storage; Management thereof
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据处理方法、装置、电子设备及存储介质。该方法包括：获取待排序数据，基于数据的插入时间信息，得到多个数据列名组合；基于基准列名组合，确定数据列名组合中的新增列名，并基于基准列名组合和新增列名确定目标排序列名组合；基于目标排序列名组合对待排序数据转换为导出数据，并对导出数据进行导出处理。通过对数据列的列名进行排序，解决了数据列乱序的问题，能够快速进行数据有序排序与数据导出，使数据更加有序化、规范化。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质。
背景技术
随着企业信息化建设的全面发展，许多公司都需要对大量数据进行处理，以便于存储到数据库中。
现有的数据处理方法处理后的数据存在数据列乱序的现象，但是许多业务需要有序的存储数据列。
发明内容
本发明提供了一种数据处理方法、装置、电子设备及存储介质，以解决数据的数据列乱序的问题。
根据本发明的一方面，提供了一种数据处理方法，其特征在于，包括：
获取待排序数据，基于数据的插入时间信息，得到多个数据列名组合；
基于基准列名组合，确定所述数据列名组合中的新增列名，并基于所述基准列名组合和所述新增列名确定目标排序列名组合；
基于所述目标排序列名组合对所述待排序数据转换为导出数据，并对所述导出数据进行导出处理。
根据本发明的另一方面，提供了一种数据处理装置，其特征在于，包括：
数据获取模块用于获取待排序数据，基于数据的插入时间信息，得到多个数据列名组合；
列名排序模块用于基于基准列名组合，确定所述数据列名组合中的新增列名，并基于所述基准列名组合和所述新增列名确定目标排序列名组合；
数据导出模块用于基于所述目标排序列名组合对所述待排序数据转换为导出数据，并对所述导出数据进行导出处理。
根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的数据处理方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的数据处理方法。
本发明实施例的技术方案，通过对数据列的列名排序，解决了现有技术存在的数据列乱序的问题，能够快速进行有序排序与数据导出，使数据更加有序化、规范化。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的一种数据处理方法的流程图；
图2是本发明实施例一提供的目标排序列名组合确定方法的流程示意图；
图3是本发明实施例二提供的一种数据处理方法的流程图；
图4是本发明实施例三提供的一种数据处理装置的结构示意图；
图5是本发明实施例四提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1是本发明实施例一提供的一种数据处理方法的流程图，本实施例可适用于数据处理时，数据量大，数据列不固定的情况，该方法可以由一种数据处理装置来执行，该数据处理装置可以采用硬件和/或软件的形式实现，该数据处理装置可配置于诸如计算机或者服务器等的电子设备中。如图1所示，该方法包括：
S110、获取待排序数据，基于数据的插入时间信息，得到多个数据列名组合。
其中，待排序数据可以是数据列表中的数据，或者通过数据选择指令选择的待执行排序的数据。数据类别中同一列的数据内容对应同一列名。待排序数据中各数据内容分别对应数据插入时间信息，数据插入时间信息是指插入该数据内容的时间信息。本实施例中，基于数据的插入时间信息以及数据列名组合划分规则对待排序数据进行划分，将划分后的各待排序数据对应的数据列名进行组合，得到至少一个数据列名组合，数据列名组合划分规则可以是以数据的插入时刻为划分标准，将同一时刻插入数据的数据列所对应的列名组合作为一个数据列名组合，示例性的，在数据列表中时刻1分别插入了数据a1、数据b1、数据c1，各数据对应的数据列名分别为A、B、C，时刻2分别插入了数据a2、数据b2、数据c2、数据d，各数据对应的数据列名分别为A、B、C、D，则时刻1对应的数据列名组合为ABC，时刻2对应的数据列名组合为ABCD。数据插入可以是通过输入设备输入的，还可以是通过导入方式实现。
可选的，数据列名组合划分规则还可以是以固定时间段为划分标准，将同一时间段内插入数据的数据列所对应的列名组合作为一个数据列名组合，其中，固定时间段可以是10分钟、一小时、一天等，对此不作限定。可选的，数据列名组合划分规则还可以根据经验和业务需求自主设定划分标准，将相同划分标准内插入数据的数据列所对应的列名组合作为一个数据列名组合，这里不做进一步限定。通过合理的划分待排序数据的数据列来确定数据列名组合，能够加快后续数据列名排序的速率。
可选的，所述获取待排序数据，包括：基于待导出数据的数据类型将所述待排序数据划分为多个导出组的待排序数据，其中，导出组的待排序数据并行确定对应的导出数据。
其中，待导出数据的数据类型是指各导出数据的数据内容所属类型，示例性的，数据列S插入的数据为食物类型的数据，则待导出数据的数据类型为食物类型。本实施例中，基于待导出数据的数据类型将待排序数据划分为多个导出组的待排序数据，即将待排序数据中数据类型相同的数据划到同一导出组，以导出组为单位并行的对各导出组做数据列排序处理，得到各导出组对应的目标排序列名组合，基于目标排序列名组合确定对应的导出数据。示例性的，数据列Z与数据列W插入的数据都为动物类型的数据，数据列S、数据列M和数据列N都为食物类型的数据，则将数据列Z和数据列W划分为动物导出组，将数据列S、数据列M和数据列N划分为食物导出组，以导出组为单位并行的对两个导出组进行数据列排序处理，得到各导出组对应的目标排序列名组合，基于目标排序列名组合将待排序数据转换为导出数据。通过基于导出数据的数据类型将待排序数据划分为多个导出组并行的确定导出数据，能够大幅度提高数据导出的效率。
需要说明的是，在一些实施例中，不同类型的数据还可以是位于不同的行，示例性的，数据行1-5为食物类型的数据，数据行7-20为教学资料类型数据，相应的，可将数据行1-5划分为食物导出组，将数据行7-20划分为教学资料导出组。本实施例中，不限定不同类型数据的存储方式，可根据数据类型划分多组导出数据即可。
S120、基于基准列名组合，确定所述数据列名组合中的新增列名，并基于所述基准列名组合和所述新增列名确定目标排序列名组合。
数据列名组合的数量为多个，通过迭代的形式将多个数据列名组合整合为一个目标排序列名组合，该目标排序列名组合中包括待排序数据对应的多个列名的目标排序。
其中，基准列名组合是指作为数据列排序基准的数据列名组合，基准列名组合可以是初始的基准列名组合，也可以是每一次迭代过程中更新的基准列名组合，初始基准列名组合是在得到的多个数据列名组合中选出的作为初始基准的数据列名组合，例如最小的插入时间信息对应的数据列名组合，或者各数据列名组合中列名数量最多的数据列名组合。更新的基准列名组合是基于初始的基准列名组合经过至少一次的更新得到的基准列名组合。
本实施例中，以基准列名组合为基准，与任一数据列名组合比较，若数据列名组合与基准列名组合相同，则确定基准列名组合为目标排序列名组合；若数据列名组合与基准列名组合存在差异，则确定数据列名组合中的新增列名，并基于基准列名组合、新增列名和目标排序列名组合确定规则确定目标排序列名组合。其中，新增列名是指相对于基准列名组合，数据列名组合中增加的列名；目标排序列名组合确定规则包括基于新增列名与相邻列名在数据列名组合中的位置关系和相邻列名在基准列名组合的位置，确定新增列名在基准列名组合中的插入位置，迭代更新基准列名组合，直至遍历数据列名组合，将更新后的基准列名组合确定为目标排序列名组合。
图2是本发明实施例一提供的目标排序列名组合确定方法的流程示意图。在上述实施例的基础上，所述基于基准列名组合，确定所述数据列名组合中的新增列名，并基于所述基准列名组合和所述新增列名确定目标排序列名组合，包括：基于如下步骤迭代更新基准列名组合，直到遍历各数据列名组合，将更新后的基准列名组合确定为目标排序列名组合：
对于任一所述数据列名组合，确定所述数据列名组合相对于所述基准列名组合的新增列名。
确定所述新增列名在数据列名组合中的相邻列名，基于所述相邻列名在所述基准列名组合的位置，确定所述新增列名在所述基准列名组合中的插入位置。
基于所述新增列名以及所述新增列名在所述基准列名组合中的插入位置更新所述基准列名组合。
如图2所示，本实施例中，对任一数据列名组合确定数据列名组合相对于基准列名组合的新增列名；确定新增列名在数据列名组合中的相邻列名，基于相邻列名在基准列名组合的位置，确定新增列名在基准列名组合中的插入位置；基于新增列名以及新增列名在基准列名组合中的插入位置更新基准列名组合；判断是否遍历数据列名组合，若是，则确定基准列名组合为目标排序列名组合；若否，则继续基于上述步骤更新基准列名组合，直至遍历数据列名组合，将遍历数据列名组合得到的基准列名组合确定为目标排序列名组合。
可选的，所述基于所述相邻列名在所述基准列名组合的位置，确定所述新增列名在所述基准列名组合中的插入位置，包括：基于所述新增列名与所述相邻列名在所述数据列名组合中的位置关系，和所述相邻列名在所述基准列名组合的位置，确定所述新增列名在所述基准列名组合中的插入位置。
其中，插入位置是指在基准列名组合中插入新增列名以更新基准列名组合的位置，本实施例中，基于新增列名与相邻列名在数据列名组合中的位置关系、相邻列名在基准列名组合的位置以及插入位置确定规则，确定新增列名在基准列名组合中的插入位置。其中，插入位置确定规则是针对无法明确确定新增列名在基准列名组合中位置时确定新增列名插入位置的规则，当新增列名与其相邻列名在数据列名组合中的位置关系以及相邻列明在基准列名组合中的位置关系明确时，无需基于插入位置确定规则进一步确定新增列名在基准列名组合中的插入位置，即新增列名在数据列名组合中的两个相邻列名在基准列名组合中相邻时，插入位置为基准列名组合中对应的两个相邻列名的中间，示例性的，基准列名组合为ABCE，数据列名组合为ABCDE，基准列名组合与数据列名组合比较发现D为新增列名，新增列名D与列名C左相邻,与列名E右相邻，且基准列名组合中列名C与列名E相邻，则插入位置为基准列名组合中列名C与列名E的中间，更新后的基准列名组合为ABCDE。插入位置确定规则可以是只有一个相邻列名且与新增列名左相邻时，插入位置为基准列名组合中对应的相邻列名之后，示例性的，基准列名组合为ABCF，数据列名组合为ABCE，基准列名组合与数据列名组合比较发现E为新增列名，数据列名组合中新增列名E只与列名C左相邻,则插入位置为基准列名组合中列名C之后，更新后的基准列名组合为ABCEF。插入位置确定规则也可以是只有一个相邻列名且与新增列名右相邻时，插入位置为基准列名组合中相邻列名之前，示例性的，基准列名组合为BCD，数据列名组合为ABC，基准列名组合与数据列名组合比较发现A为新增列名，数据列名组合中新增列名A只与列名B左相邻,则插入位置为基准列名组合中列名B之前，更新后的基准列名组合为ABCD。插入位置确定规则还可以是新增列名在数据列名组合中的两个相邻列名在基准列名组合中不相邻时，插入位置为基准列名组合中对应的两个相邻列名之间，具体的插入位置可以由本领域技术人员依据经验和实际情况设定，这里不做限定，示例性的，基准列名组合为ABCEF，数据列名组合为ABCDF，基准列名组合与数据列名组合比较发现D为新增列名，数据列名组合中新增列名D与列名C左相邻,与列名F右相邻，基准列名组合中列名C与列名F不相邻，二者之间存在列名E，则插入位置可以是基准列名组合中列名C与列名E的中间，更新后的基准列名组合为ABCDEF，插入位置也可以是基准列名组合中列名E与列名F的中间，更新后的基准列名组合为ABCEDF。通过针对新增列名在数据列名组合中的位置关系以及相邻列名在基准列名组合中的位置关系，适应性的选择新增列名的插入位置，能够提高数据列排序的有序性，使排序后的数据更加便于用户使用。
示例性的，假定数据列名组合分别为ABC、ABCE、ABCDE、ABDEF，以ABC为基准列名组合，比较ABCE与ABC，确定E为新增列名，E在ABCE中只与C左相邻，将E插入到基准列名组合中C的后面，得到更新的基准列名组合ABCE；此时未遍历数据列名组合，继续比较ABCDE与ABCE，确定D为新增列名，D在ABCDE中与C、E相邻，C、E在ABCE中相邻，将D插入到基准列名组合中C、E的中间，得到更新的基准列名组合ABCDE；此时未遍历数据列名组合，继续比较ABDEF与ABCDE，确定新增列名为F，F在ABDEF中只与E左相邻，将F插入到基准列名组合中E的后面，得到更新的基准列名组合ABCDEF，此时已遍历数据列名组合，基准列名组合ABCDEF即为目标排序列名组合。
S130、基于所述目标排序列名组合将所述待排序数据转换为导出数据，并对所述导出数据进行导出处理。
本实施例中，基于目标排序列名组合中各个列名的排序顺序对各个数据列进行排序处理，排序后的数据即为导出数据，结合数据导出程序对导出数据进行导出处理，其中，数据导出程序可以是基于MapReduce框架设计的数据导出程序，对此不做限定。可选的，基于所述目标排序列名组合将所述待排序数据转换为导出数据，包括：基于所述目标排序列名组合中各列名的排序，依次将各列名对应的列数据进行排序，形成单一维度的导出数据。其中，单一维度的导出数据是指基于目标排序列名组合的排序顺序，将各列数据转换为单一的维度，示例性的，例如数据列A的数据包括a1、a2、a3、a4、a5、a6；数据列B数据包括b1、b2、b3、b4、b5、b6、b7，则转换为单一维度的导出数据为A：a1、a2、a3、a4、a5、a6B：b1、b2、b3、b4、b5、b6、b7的形式。
在上述实施例的基础上，可选的，对所述导出数据进行导出处理：将多个导出组对应的导出数据并行导出至目标设备，以使所述目标设备基于每一导出组对应的导出数据中的列名还原得到各列数据。
本实施例中，结合数据导出程序将各导出组的导出数据并行的导出至目标设备，其中，目标设备是指接收导出数据的设备。示例性的，以MapReduce数据导出程序为例，生成一个或者多个Mapper端，用于读取待排序数据。以导出数据的数据类型为Key_Value的Key，并求出数据类型的数量，基于数据类型的数量生成多个Reducer端。在生成Mapper端以及Reducer端之后，Mapper端读取待排序数据，将待排序数据转换为Key_Value的对，基于数据类型对转换得到的Key_Value对进行分组，分为多个与Reducer端对应的导出组，各Reducer端并行的对对应的导出组中的Key_Value对进行列名排序处理，将处理后的数据作为导出数据导出至目标设备，目标设备基于每一导出组对应的导出数据中的列名还原得到各列数据。
本实施例的技术方案，通过对数据列的列名进行排序，解决了数据列乱序的问题，能够快速进行有序排序与数据导出，使数据更加有序化、规范化。
实施例二
图3是本发明实施例二提供的一种数据处理方法的流程图，本实施例为上述实施例的一种可选方案。如图3所示，该方法包括：
S310、获取待排序数据，基于数据的插入时间信息，得到多个数据列名组合。
S320、基于所述数据列名组合对应的插入时间信息，对各所述数据列名组合进行排序，并将插入时间信息最小的数据列名组合确定为初始的基准列名组合。
S330、基于基准列名组合，确定所述数据列名组合中的新增列名，并基于所述基准列名组合和所述新增列名确定目标排序列名组合。
S340、基于所述目标排序列名组合将所述待排序数据转换为导出数据，并对所述导出数据进行导出处理。
其中，初始的基准列名组合是指初次与数据列名组合比较得到新增列名的基准列名组合，初始的基准列名组合基于初始基准列名组合确定规则确定，初始基准列名组合包括基于数据列名组合对应的插入时间信息，对各数据列名组合进行排序，并将插入时间信息最小的数据列名组合确定为初始的基准列名组合。本实施例中，在基于基准列名组合，确定数据列名组合中的新增列名，并基于基准列名组合和新增列名确定目标排序列名组合之前，即在数据列名排序之前，基于数据列名组合对应的插入时间信息，对各数据列名组合进行排序，并将插入时间信息最小的数据列名组合确定为初始的基准列名组合。可选的，初始基准列名组合还包括基于数据列名组合对应的字符长度，对数据列名组合进行排序，并将字符长度最长的数据列名组合确定为初始的基准列名组合。数据列名组合的字符长度最长，表明数据列名组合中包括的列名最多，那么进行数据列名排序时，在列名总数相同的情况下，需要插入的列名就相对较少，能够在一定程度上提高数据列名排序的速率。
本实施例的技术方案，通过在对数据列名进行排序之前，对数据列名组合进行排序并确定初始的基准列名组合，能够对数据列名更加快速的进行有序排序。
实施例三
图4是本发明实施例三提供的一种数据处理装置的结构示意图。如图4所示，该装置包括：
数据获取模块410用于获取待排序数据，基于数据的插入时间信息，得到多个数据列名组合。
列名排序模块420用于基于基准列名组合，确定所述数据列名组合中的新增列名，并基于所述基准列名组合和所述新增列名确定目标排序列名组合。
数据导出模块430用于基于所述目标排序列名组合对所述待排序数据转换为导出数据，并对所述导出数据进行导出处理。
在上述实施例的基础上，可选的，所述基于基准列名组合，确定所述数据列名组合中的新增列名，并基于所述基准列名组合和所述新增列名确定目标排序列名组合，包括：基于如下步骤迭代更新基准列名组合，直到遍历各数据列名组合，将更新后的基准列名组合确定为目标排序列名组合：
对于任一所述数据列名组合，确定所述数据列名组合相对于所述基准列名组合的新增列名。
确定所述新增列名在数据列名组合中的相邻列名，基于所述相邻列名在所述基准列名组合的位置，确定所述新增列名在所述基准列名组合中的插入位置。
可选的，所述基于所述相邻列名在所述基准列名组合的位置，确定所述新增列名在所述基准列名组合中的插入位置，包括：
基于所述新增列名与所述相邻列名在所述数据列名组合中的位置关系，和所述相邻列名在所述基准列名组合的位置，确定所述新增列名在所述基准列名组合中的插入位置。
基于所述新增列名以及所述新增列名在所述基准列名组合中的插入位置更新所述基准列名组合。
在上述实施例的基础上，可选的，在基于基准列名组合，确定所述数据列名组合中的新增列名，并基于所述基准列名组合和所述新增列名确定目标排序列名组合之前，所述装置还包括：
初始的基准列名组合确定模块用于基于所述数据列名组合对应的插入时间信息，对各所述数据列名组合进行排序，并将插入时间信息最小的数据列名组合确定为初始的基准列名组合。
在上述实施例的基础上，可选的，基于所述目标排序列名组合对所述待排序数据转换为导出数据，包括：
基于所述目标排序列名组合中各列名的排序，依次将各列名对应的列数据进行排序，形成单一维度的导出数据。
在上述实施例的基础上，可选的，所述获取待排序数据，包括：
基于待导出数据中数据类型将所述待排序数据划分为多个导出组的待排序数据，其中，导出组的待排序数据并行确定对应的导出数据。
在上述实施例的基础上，可选的，对所述导出数据进行导出处理：
将多个导出组对应的导出数据并行导出至目标设备，以使所述目标设备基于每一导出组对应的导出数据中的列名还原得到各列数据。
本发明实施例所提供的数据处理装置可执行本发明任意实施例所提供的数据处理方法，具备执行方法相应的功能模块和有益效果。
实施例四
图5是本发明实施例四提供的一种电子设备的结构示意图。电子设备10旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图5所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如数据处理方法。
在一些实施例中，数据处理方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的数据处理方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的数据处理方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
实施例五
本发明实施例五还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行一种数据处理方法，该方法包括：
获取待排序数据，基于数据的插入时间信息，得到多个数据列名组合；基于基准列名组合，确定所述数据列名组合中的新增列名，并基于所述基准列名组合和所述新增列名确定目标排序列名组合；基于所述目标排序列名组合将所述待排序数据转换为导出数据，并对所述导出数据进行导出处理。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (10)
1.一种数据处理方法，其特征在于，包括：
获取待排序数据，基于数据的插入时间信息，得到多个数据列名组合；
基于基准列名组合，确定所述数据列名组合中的新增列名，并基于所述基准列名组合和所述新增列名确定目标排序列名组合；
基于所述目标排序列名组合将所述待排序数据转换为导出数据，并对所述导出数据进行导出处理。
2.根据权利要求1所述的方法，其特征在于，所述基于基准列名组合，确定所述数据列名组合中的新增列名，并基于所述基准列名组合和所述新增列名确定目标排序列名组合，包括：
基于如下步骤迭代更新基准列名组合，直到遍历各数据列名组合，将更新后的基准列名组合确定为目标排序列名组合：
对于任一所述数据列名组合，确定所述数据列名组合相对于所述基准列名组合的新增列名；
确定所述新增列名在数据列名组合中的相邻列名，基于所述相邻列名在所述基准列名组合的位置，确定所述新增列名在所述基准列名组合中的插入位置；
基于所述新增列名以及所述新增列名在所述基准列名组合中的插入位置更新所述基准列名组合。
3.根据权利要求2所述的方法，其特征在于，所述基于所述相邻列名在所述基准列名组合的位置，确定所述新增列名在所述基准列名组合中的插入位置，包括：
基于所述新增列名与所述相邻列名在所述数据列名组合中的位置关系，和所述相邻列名在所述基准列名组合的位置，确定所述新增列名在所述基准列名组合中的插入位置。
4.根据权利要求2所述的方法，其特征在于，在基于基准列名组合，确定所述数据列名组合中的新增列名，并基于所述基准列名组合和所述新增列名确定目标排序列名组合之前，所述方法还包括：
基于所述数据列名组合对应的插入时间信息，对各所述数据列名组合进行排序，并将插入时间信息最小的数据列名组合确定为初始的基准列名组合。
5.根据权利要求1所述的方法，其特征在于，基于所述目标排序列名组合对所述待排序数据转换为导出数据，包括：
基于所述目标排序列名组合中各列名的排序，依次将各列名对应的列数据进行排序，形成单一维度的导出数据。
6.根据权利要求1所述的方法，其特征在于，所述获取待排序数据，包括：
基于待导出数据中数据类型将所述待导出数据划分为多个导出组的待排序数据，其中，导出组的待排序数据并行确定对应的导出数据。
7.根据权利要求6所述的方法，其特征在于，对所述导出数据进行导出处理：
将多个导出组对应的导出数据并行导出至目标设备，以使所述目标设备基于每一导出组对应的导出数据中的列名还原得到各列数据。
8.一种数据处理装置，其特征在于，包括：
数据获取模块用于获取待排序数据，基于数据的插入时间信息，得到多个数据列名组合；
列名排序模块用于基于基准列名组合，确定所述数据列名组合中的新增列名，并基于所述基准列名组合和所述新增列名确定目标排序列名组合；
数据导出模块用于基于所述目标排序列名组合对所述待排序数据转换为导出数据，并对所述导出数据进行导出处理。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的数据处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210532479.8A CN114722048B (zh) | 2022-05-10 | 2022-05-10 | 一种数据处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210532479.8A CN114722048B (zh) | 2022-05-10 | 2022-05-10 | 一种数据处理方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114722048A true CN114722048A (zh) | 2022-07-08 |
| CN114722048B CN114722048B (zh) | 2024-01-30 |
Family
ID=82231378
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210532479.8A Active CN114722048B (zh) | 2022-05-10 | 2022-05-10 | 一种数据处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114722048B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116193511A (zh) * | 2023-04-21 | 2023-05-30 | 广东南方电信规划咨询设计院有限公司 | 一种5g数据流量乱序处理方法和系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105426506A (zh) * | 2015-11-27 | 2016-03-23 | 中国科学院重庆绿色智能技术研究院 | 一种海量动态数据管理方法 |
| US9529830B1 (en) * | 2016-01-28 | 2016-12-27 | International Business Machines Corporation | Data matching for column-oriented data tables |
| CN107729399A (zh) * | 2017-09-21 | 2018-02-23 | 北京京东尚科信息技术有限公司 | 数据处理的方法和装置 |
| CN113177090A (zh) * | 2021-04-30 | 2021-07-27 | 中国邮政储蓄银行股份有限公司 | 数据处理方法及装置 |
| CN113779144A (zh) * | 2021-08-26 | 2021-12-10 | 深圳市惟客数据科技有限公司 | 大数据整合处理方法、系统和存储介质 |
-
2022
- 2022-05-10 CN CN202210532479.8A patent/CN114722048B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105426506A (zh) * | 2015-11-27 | 2016-03-23 | 中国科学院重庆绿色智能技术研究院 | 一种海量动态数据管理方法 |
| US9529830B1 (en) * | 2016-01-28 | 2016-12-27 | International Business Machines Corporation | Data matching for column-oriented data tables |
| CN107729399A (zh) * | 2017-09-21 | 2018-02-23 | 北京京东尚科信息技术有限公司 | 数据处理的方法和装置 |
| CN113177090A (zh) * | 2021-04-30 | 2021-07-27 | 中国邮政储蓄银行股份有限公司 | 数据处理方法及装置 |
| CN113779144A (zh) * | 2021-08-26 | 2021-12-10 | 深圳市惟客数据科技有限公司 | 大数据整合处理方法、系统和存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116193511A (zh) * | 2023-04-21 | 2023-05-30 | 广东南方电信规划咨询设计院有限公司 | 一种5g数据流量乱序处理方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114722048B (zh) | 2024-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113407649A (zh) | 数据仓库建模方法、装置、电子设备及存储介质 | |
| CN115202847A (zh) | 任务的调度方法和装置 | |
| CN114722048B (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
| CN108985805B (zh) | 一种选择性执行推送任务的方法和装置 | |
| CN115099175B (zh) | 一种时序网表的获取方法、装置、电子设备和存储介质 | |
| CN115563310A (zh) | 一种关键业务节点的确定方法、装置、设备及介质 | |
| CN115617549A (zh) | 线程解耦方法、装置、电子设备及存储介质 | |
| CN115438007A (zh) | 一种文件合并方法、装置、电子设备及介质 | |
| CN113656689B (zh) | 模型生成方法和网络信息的推送方法 | |
| CN112887426B (zh) | 信息流的推送方法、装置、电子设备以及存储介质 | |
| CN115454971A (zh) | 数据迁移方法、装置、电子设备及存储介质 | |
| CN111026629A (zh) | 一种测试脚本自动生成的方法和装置 | |
| CN115049369A (zh) | 一种项目管理方法、装置、电子设备及存储介质 | |
| CN114862223A (zh) | 一种机器人调度方法、装置、设备及存储介质 | |
| CN114662777A (zh) | 光伏组件串线排布确定方法、装置、电子设备及存储介质 | |
| CN113360672A (zh) | 用于生成知识图谱的方法、装置、设备、介质和产品 | |
| CN113343090A (zh) | 用于推送信息的方法、装置、设备、介质和产品 | |
| CN115033823A (zh) | 用于处理数据的方法、装置、设备、介质和产品 | |
| CN114816578A (zh) | 基于配置表的程序配置文件生成方法、装置及设备 | |
| CN115510140A (zh) | 一种数据抽取方法、装置、设备及存储介质 | |
| CN114416040A (zh) | 一种页面构建方法、装置、设备及存储介质 | |
| CN114781929A (zh) | 一种通知策略生成方法、装置、设备及存储介质 | |
| CN116050351A (zh) | 逻辑表达式的结构比对方法、装置、设备及存储介质 | |
| CN115576948A (zh) | 一种数据存储方法、装置、电子设备以及存储介质 | |
| CN115983222A (zh) | 基于EasyExcel的文件数据读取方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |