CN110457323B - 数据表的处理方法及装置 - Google Patents

数据表的处理方法及装置 Download PDF

Info

Publication number
CN110457323B
CN110457323B CN201910731298.6A CN201910731298A CN110457323B CN 110457323 B CN110457323 B CN 110457323B CN 201910731298 A CN201910731298 A CN 201910731298A CN 110457323 B CN110457323 B CN 110457323B
Authority
CN
China
Prior art keywords
primary key
data table
standardized
key
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910731298.6A
Other languages
English (en)
Other versions
CN110457323A (zh
Inventor
史芙
张毅然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Mininglamp Software System Co ltd
Original Assignee
Beijing Mininglamp Software System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Mininglamp Software System Co ltd filed Critical Beijing Mininglamp Software System Co ltd
Priority to CN201910731298.6A priority Critical patent/CN110457323B/zh
Publication of CN110457323A publication Critical patent/CN110457323A/zh
Application granted granted Critical
Publication of CN110457323B publication Critical patent/CN110457323B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof

Abstract

本发明公开了一种数据表的处理方法及装置。其中,该方法包括:获取知识库中的数据表的第一主键,其中,第一主键是标准主键,第一主键至少包括:中文主键、英文主键,第一主键包括:一个或者多个字段;获取待标准化的数据表的第二主键;将待标准化的数据表中的第二主键与知识库中对应第二主键的标准主键不一致的情况下,将待标准化的数据表中的第二主键修改为对应待标准化的数据表中的第二主键的标准主键,达到了在对相同事件的多个数据表的主键进行标准化,进而解决了现有技术中,由于相同事件的数据表的主键存在不一致的情况,导致在对相同事件的多个数据表中的数据进行处理的过程中错误率高的技术问题。

Description

数据表的处理方法及装置
技术领域
本发明涉及数据表的处理领域,具体而言,涉及一种数据表的处理方法及装置。
背景技术
数据标准化是指在各个领域的社会实践汇中,对那些重复的、不完整的,规则不统一的数据,通过国家,或者是行业的一些规定,使这些有问题的数据达到要求的统一标准,从而使这些数据成为有规律、整洁、有效的数据。
对于客户提供的原始表,有好多都不够统一:数据表一般都是有表的中文名和英文名的,而有很多原始表的中英文名的命名很随意,也有不同的表的中英文名同名不同意的现象,这样就会造成数据在治理过程中,对数据做了错误的操作,导致最终的目标表中数据有问题。
针对现有技术中,由于相同事件的数据表的主键存在不一致的情况,导致在对相同事件的多个数据表中的数据进行处理的过程中错误率高的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种数据表的处理方法及装置,以至少解决现有技术中,由于相同事件的数据表的主键存在不一致的情况,导致在对相同事件的多个数据表中的数据进行处理的过程中错误率高的技术问题。
根据本发明实施例的一个方面,提供了数据表的处理方法,包括:获取知识库中的数据表的第一主键,其中,所述第一主键是标准主键,所述第一主键至少包括:中文主键、英文主键,所述第一主键包括:一个或者多个字段;获取待标准化的数据表的第二主键;将所述待标准化的数据表中的第二主键与所述知识库中对应所述第二主键的标准主键不一致的情况下,将所述待标准化的数据表中的所述第二主键修改为对应所述待标准化的数据表中的所述第二主键的标准主键。
进一步地,获取知识库中的数据表的所述第一主键之前,所述方法包括:获取样本库中数据表的第三主键,其中,所述第三主键至少包括:中文主键、英文主键,所述第三主键包括:一个或者多个字段;在所述知识库中不存在所述第三主键的情况下,将所述第三主键添加到知识库中。
进一步地,获取知识库中的数据表的所述第一主键之前,所述方法还包括:根据预设条件将所述知识库中的数据表的标准主键进行唯一性处理,以使所述知识库中的数据表的标准主键唯一。
进一步地,将所述待标准化的数据表的所述第二主键修改为对应所述待标准化的数据表的所述第二主键的标准主键之后,所述方法还包括:在待标准化的数据表包括N个的情况下,获取所述N个标准化主键后的数据表,其中,每个所述标准化后的数据表的主键包括:多个第一字段,所述第一字段用于指示所述每个数据表的数据属性,所述N为大于1的整数;在所述N个标准化主键后的数据表中选取满足预设条件的多个所述第一字段对应的第一数据;将所述多个第一数据进行合并处理,得到第二数据表。
根据本发明实施例的另一方面,还提供了一种数据表的处理装置,包括:第一获取单元,用于获取知识库中的数据表的第一主键,其中,所述第一主键是标准主键,所述第一主键至少包括:中文主键、英文主键,所述第一主键包括:一个或者多个字段;第二获取单元,用于获取待标准化的数据表的第二主键;修改单元,用于将所述待标准化的数据表中的第二主键与所述知识库中对应所述第二主键的标准主键不一致的情况下,将所述待标准化的数据表中的所述第二主键修改为对应所述待标准化的数据表中的所述第二主键的标准主键。
进一步地,所述装置包括:第三获取单元,用于获取知识库中的数据表的所述第一主键之前,获取样本库中数据表的第三主键,其中,所述第三主键至少包括:中文主键、英文主键,所述第三主键包括:一个或者多个字段;添加单元,用于在所述知识库中不存在所述第三主键的情况下,将所述第三主键添加到知识库中。
进一步地,所述装置还包括:处理单元,用于获取知识库中的数据表的所述第一主键之前,根据预设条件将所述知识库中的数据表的标准主键进行唯一性处理,以使所述知识库中的数据表的标准主键唯一。
进一步地,所述装置还包括:第四获取单元,用于将所述待标准化的数据表的所述第二主键修改为对应所述待标准化的数据表的所述第二主键的标准主键之后,在待标准化的数据表包括N个的情况下,获取所述N个标准化主键的数据表,其中,每个所述标准化的数据表的主键包括:多个第一字段,所述第一字段用于指示所述每个数据表的数据属性,所述N为大于1的整数;选取单元,用于在所述N个标准化主键的数据表中选取满足预设条件的多个所述第一字段对应的第一数据;得到单元,用于将所述多个第一数据进行合并处理,得到第二数据表。
根据本发明实施例的另一方面,还提供了一种存储介质,所述存储介质包括存储的程序,其中,所述程序运行时执行上述任一项所述的数据表的处理方法。
根据本发明实施例的另一方面,还提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述任一项所述的数据表的处理方法。
在本发明实施例中,通过获取知识库中的数据表的第一主键,其中,第一主键是标准主键,第一主键至少包括:中文主键、英文主键,第一主键包括:一个或者多个字段;获取待标准化的数据表的第二主键;将待标准化的数据表中的第二主键与知识库中对应第二主键的标准主键不一致的情况下,将待标准化的数据表中的第二主键修改为对应待标准化的数据表中的第二主键的标准主键,达到了在对相同事件的多个数据表中的主键进行标准化后,对标准化的数据表中的数据进行处理错误率小的目的,进而解决了现有技术中,由于相同事件的数据表的主键存在不一致的情况,导致在对相同事件的多个数据表中的数据进行处理的过程中错误率高的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的数据表的处理方法的流程图;
图2是根据本发明优选实施例的数据表的主键的标准化的流程图;以及
图3是根据本发明实施例的数据表的处理装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先,在对本发明实施例进行描述的过程中出现的部分名词或术语适用于如下解释:
知识库:是数据治理积累的数据元,数据项,数据资源分类,代码映射,规则映射等一些列的知识经验。知识库管理目前主要包括数据资源管理,数据元管理,数据元限定词管理以及代码表管理。
根据本发明实施例,提供了一种数据表的处理的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
下面将对本发明实施例的数据表的处理方法进行详细说明。
图1是根据本发明实施例的数据表的处理方法的流程图,如图1所示,该数据表的处理方法包括如下步骤:
步骤S102,获取知识库中的数据表的第一主键,其中,第一主键是标准主键,第一主键至少包括:中文主键、英文主键,第一主键包括:一个或者多个字段。
其中,在知识库中存储的数据表的主键是标准主键。例如,旅馆住宿事件的主键为联合主键:旅馆编号+住宿人身份证号+住宿时间来确定其唯一的主键。
需要说明的是,获取知识库中的数据表的第一主键之前,上述方法可以包括:获取样本库中数据表的第三主键,其中,第三主键至少包括:中文主键、英文主键,第三主键包括:一个或者多个字段;在知识库中不存在第三主键的情况下,将第三主键添加到知识库中。从而确保知识库中存储的标准主键相对完整。
其中,在预定周期内获取所述样本库中数据表的第三主键。进而可以减少频繁操作,但也可以确定知识库中的标准主键的完整。预定周期可以是以月为单位。即每隔一个月的时间获取样本库中的数据表的主键,进而将主键和知识库中的标准主键进行对比,在知识库中存储的标准主键不足或者不能满足常用的规则,则将知识库中的标准主键进行补充或者更新。以确保知识库中的标准主键的有效性。
还需要说明的是,获取知识库中的数据表的第一主键之前,上述方法还可以包括:根据预设条件将知识库中的数据表的标准主键进行唯一性处理,以使知识库中的数据表的标准主键唯一。即对知识库中的数据表的主键进行删除、更新操作,确保知识库中的标准主键是最新、最有效的。预设条件可以是:统计一定时间内的同类事件的数据表的主键,将出现的概率最大的主键作为标准主键,并将该主键添加到知识库中,更细知识库中的该数据表的主键。
步骤S104,获取待标准化的数据表的第二主键。
步骤S106,将待标准化的数据表中的第二主键与知识库中对应第二主键的标准主键不一致的情况下,将待标准化的数据表中的第二主键修改为对应待标准化的数据表中的第二主键的标准主键。
其中,根据数据表的一个字段或者多个字段在知识库中查找对应的标准主键。旅馆住宿事件的主键为联合主键:旅馆编号+住宿人身份证号+住宿时间来确定其唯一的主键,进而可以在知识库中根据旅馆编号和住宿人身份证号确定该数据表的标准主键。将多个表示旅馆事件的数据表的主键进行标准化,进而在在对数据表中的数据进行合并或者其他操作时,可以减少数据合格的错误率。
需要说明的是,将待标准化的数据表的第二主键修改为对应待标准化的数据表的第二主键的标准主键之后,上述方法还可以包括:在待标准化的数据表包括N个的情况下,获取N个标准化主键后的数据表,其中,每个标准化后的数据表的主键包括:多个第一字段,第一字段用于指示每个数据表的数据属性,N为大于1的整数;在N个标准化主键后的数据表中选取满足预设条件的多个第一字段对应的第一数据;将多个第一数据进行合并处理,得到第二数据表。即将数据表的主键标准化后,在将数据表中的数据进行处理时,可以将少重复数据的出现。
例如,旅馆事件、火车事件等等,将数据表的主键都标准为:出发地-时间-目的地,则将数据表中的数据合并时,可以获得同一数据的单一性,减少数据的冗余。
通过上述步骤,通过获取知识库中的数据表的第一主键,其中,第一主键是标准主键,第一主键至少包括:中文主键、英文主键,第一主键包括:一个或者多个字段;获取待标准化的数据表的第二主键;将待标准化的数据表中的第二主键与知识库中对应第二主键的标准主键不一致的情况下,将待标准化的数据表中的第二主键修改为对应待标准化的数据表中的第二主键的标准主键,达到了在对相同事件的多个数据表中的主键进行标准化后,对标准化的数据表中的数据进行处理错误率小的目的,进而解决了现有技术中,由于相同事件的数据表的主键存在不一致的情况,导致在对相同事件的多个数据表中的数据进行处理的过程中错误率高的技术问题。
本发明还提供了一种优选实施例,该优选实施例提供了一种面向通用数据的标准化方法。
标准化的内容可以包括:
1.表的标准化:表级别命名的标准化—对表的中文名、英文名进行标准化,对表中的字段的中文名、英文名进行标准化,例如两张表中有同样的英文名,但是中文含义不一样。将国家标准统一收集到知识库中,对于国家标准中没有的内容,进行自定义,保证其唯一性。
2.数据格式的标准化:对表中数据进行标准化,例如日期的表示有多种—yyyy/mm/dd、yyyy年mm月dd日、yyyy-mm-dd等,可以对其进行格式的统一,方便后期的计算。
3.原始表中只有编码而没有中文名,通过与原始库中的标准表,对应着编码找出对应的中文名。
4.还可以对照标准表中的规则,对一些数据进行筛选,最终取其中符合规则的数据:例如身份证号的筛选。
5.做主键的处理,保证其唯一性:旅馆住宿事件的主键为联合主键—旅馆编号+住宿人身份证号+住宿时间来确定其唯一的主键。
该优选实施例,在不断的数据治理数据过程中,既要满足复杂业务场景的情况,又要最大力度的降低人工的成本,从而将数据在治理的效率上得到一定的提升,并保证数据的准确性。为了实现该目的,该优先实施例在国家标准的基础上,增加一些唯一性的标准,从而将数据的表名对其进行标准化的工具。
如图2所示,数据表的主键的标准化的流程图。具体详述如下。
步骤101:上传客户提供的原始表;
步骤102:抽取原始表中的中英文名;
步骤103:将国家标准维护到知识库中;
步骤104:添加国家标准中没有的标准,并保证其唯一性,维护一套完整标准;
步骤105:将原始库中表的中英文名与知识库中的标准进行比对;
步骤106:将原始库中表的中英文名按照标准进行重命名;
步骤107:原始库中数据表的中英文名标准化成功。
通过上述优先实施例,先将原始表提取到原始库中,再将国家标准维护到知识库中,对比知识库中的标准,对于没有的标准进行补充,保证知识库中标准的唯一性及完整性。将原始库中的表中英文名与原始库中完整的标准进行比对,对于不标准的中英文名进行标准化,保证这个字段数据的唯一性,避免不同数据处理成相同数据,造成数据混乱,反而降低数据处理的效率。这样的数据处理工具,不仅降低了人力成本,还提升了工作效率,并且满足很多复杂的数据量巨大的业务场景。
根据本发明实施例,还提供了一种数据表的处理装置实施例,需要说明的是,该数据表的处理装置可以用于执行本发明实施例中的数据表的处理方法,也即本发明实施例中的数据表的处理方法可以在该数据表的处理装置中执行。
图3是根据本发明实施例的数据表的处理装置的示意图,如图3所示,该数据表的处理装置可以包括:第一获取单元31、第二获取单元33、修改单元35。
第一获取单元31,用于获取知识库中的数据表的第一主键,其中,第一主键是标准主键,第一主键至少包括:中文主键、英文主键,第一主键包括:一个或者多个字段。
第二获取单元33,用于获取待标准化的数据表的第二主键。
修改单元35,用于将待标准化的数据表中的第二主键与知识库中对应第二主键的标准主键不一致的情况下,将待标准化的数据表中的第二主键修改为对应待标准化的数据表中的第二主键的标准主键。
通过上述装置,第一获取单元31获取知识库中的数据表的第一主键,其中,第一主键是标准主键,第一主键至少包括:中文主键、英文主键,第一主键包括:一个或者多个字段;第二获取单元33获取待标准化的数据表的第二主键;修改单元35将待标准化的数据表中的第二主键与知识库中对应第二主键的标准主键不一致的情况下,将待标准化的数据表中的第二主键修改为对应待标准化的数据表中的第二主键的标准主键。达到了在对相同事件的多个数据表中的主键进行标准化后,对标准化的数据表中的数据进行处理错误率小的目的,进而解决了现有技术中,由于相同事件的数据表的主键存在不一致的情况,导致在对相同事件的多个数据表中的数据进行处理的过程中错误率高的技术问题。
需要说明的是,该实施例中的第一获取单元31可以用于执行本发明实施例中的步骤S102,该实施例中的第二获取单元31可以用于执行本发明实施例中的步骤S104,该实施例中的修改单元35可以用于执行本发明实施例中的步骤S106。上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例所公开的内容。
可选地,上述装置可以包括:第三获取单元,用于获取知识库中的数据表的第一主键之前,获取样本库中数据表的第三主键,其中,第三主键至少包括:中文主键、英文主键,第三主键包括:一个或者多个字段;添加单元,用于在知识库中不存在第三主键的情况下,将第三主键添加到知识库中。
可选地,上述装置还可以包括:处理单元,用于获取知识库中的数据表的第一主键之前,根据预设条件将知识库中的数据表的标准主键进行唯一性处理,以使知识库中的数据表的标准主键唯一。
可选地,上述装置还可以包括:第四获取单元,用于将待标准化的数据表的第二主键修改为对应待标准化的数据表的第二主键的标准主键之后,在待标准化的数据表包括N个的情况下,获取N个标准化主键的数据表,其中,每个标准化的数据表的主键包括:多个第一字段,第一字段用于指示每个数据表的数据属性,N为大于1的整数;选取单元,用于在N个标准化主键的数据表中选取满足预设条件的多个第一字段对应的第一数据;得到单元,用于将多个第一数据进行合并处理,得到第二数据表。
根据本发明实施例的另外一个方面,还提供了一种存储介质,存储介质包括存储的程序,其中,程序运行时控制存储介质所在设备执行以下操作:获取知识库中的数据表的第一主键,其中,第一主键是标准主键,第一主键至少包括:中文主键、英文主键,第一主键包括:一个或者多个字段;获取待标准化的数据表的第二主键;将待标准化的数据表中的第二主键与知识库中对应第二主键的标准主键不一致的情况下,将待标准化的数据表中的第二主键修改为对应待标准化的数据表中的第二主键的标准主键。
根据本发明实施例的另外一个方面,还提供了一种处理器,处理器用于运行程序,其中,程序运行时执行以下操作:获取知识库中的数据表的第一主键,其中,第一主键是标准主键,第一主键至少包括:中文主键、英文主键,第一主键包括:一个或者多个字段;获取待标准化的数据表的第二主键;将待标准化的数据表中的第二主键与知识库中对应第二主键的标准主键不一致的情况下,将待标准化的数据表中的第二主键修改为对应待标准化的数据表中的第二主键的标准主键。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种数据表的处理方法,其特征在于,包括:
获取知识库中的数据表的第一主键,其中,所述第一主键是标准主键,所述第一主键至少包括:中文主键、英文主键,所述第一主键包括:一个或者多个字段;
获取待标准化的数据表的第二主键;
将所述待标准化的数据表中的第二主键与所述知识库中对应所述第二主键的标准主键不一致的情况下,将所述待标准化的数据表中的所述第二主键修改为对应所述待标准化的数据表中的所述第二主键的标准主键;其中,获取知识库中的数据表的所述第一主键之前,所述方法还包括:
根据预设条件将所述知识库中的数据表的标准主键进行唯一性处理,以使所述知识库中的数据表的标准主键唯一;根据预设条件将所述知识库中的数据表的标准主键进行唯一性处理,包括:统计一定时间内的同类事件的数据表的主键,将出现的概率最大的主键作为标准主键。
2.根据权利要求1所述的方法,其特征在于,获取知识库中的数据表的所述第一主键之前,所述方法包括:
获取样本库中数据表的第三主键,其中,所述第三主键至少包括:中文主键、英文主键,所述第三主键包括:一个或者多个字段;
在所述知识库中不存在所述第三主键的情况下,将所述第三主键添加到知识库中。
3.根据权利要求1所述的方法,其特征在于,将所述待标准化的数据表的所述第二主键修改为对应所述待标准化的数据表的所述第二主键的标准主键之后,所述方法还包括:
在待标准化的数据表包括N个的情况下,获取所述N个标准化主键后的数据表,其中,每个所述标准化后的数据表的主键包括:多个第一字段,所述第一字段用于指示每个数据表的数据属性,所述N为大于1的整数;
在N个标准化主键后的数据表中选取满足预设条件的多个所述第一字段对应的第一数据;
将所述多个第一数据进行合并处理,得到第二数据表。
4.一种数据表的处理装置,其特征在于,包括:
第二获取单元,用于获取知识库中的数据表的第一主键,其中,所述第一主键是标准主键,所述第一主键至少包括:中文主键、英文主键,所述第一主键包括:一个或者多个字段;
第二获取单元,用于获取待标准化的数据表的第二主键;
修改单元,用于将所述待标准化的数据表中的第二主键与所述知识库中对应所述第二主键的标准主键不一致的情况下,将所述待标准化的数据表中的所述第二主键修改为对应所述待标准化的数据表中的所述第二主键的标准主键;其中,所述装置还包括:处理单元,用于获取知识库中的数据表的所述第一主键之前,根据预设条件将所述知识库中的数据表的标准主键进行唯一性处理,以使所述知识库中的数据表的标准主键唯一;处理模块,还用于统计一定时间内的同类事件的数据表的主键,将出现的概率最大的主键作为标准主键。
5.根据权利要求4所述的装置,其特征在于,所述装置包括:
第三获取单元,用于获取知识库中的数据表的所述第一主键之前,获取样本库中数据表的第三主键,其中,所述第三主键至少包括:中文主键、英文主键,所述第三主键包括:一个或者多个字段;
添加单元,用于在所述知识库中不存在所述第三主键的情况下,将所述第三主键添加到知识库中。
6.根据权利要求4所述的装置,其特征在于,所述装置还包括:
第四获取单元,用于将所述待标准化的数据表的所述第二主键修改为对应所述待标准化的数据表的所述第二主键的标准主键之后,在待标准化的数据表包括N个的情况下,获取所述N个标准化主键的数据表,其中,每个所述标准化的数据表的主键包括:多个第一字段,所述第一字段用于指示每个数据表的数据属性,所述N为大于1的整数;
选取单元,用于在N个标准化主键的数据表中选取满足预设条件的多个所述第一字段对应的第一数据;
得到单元,用于将所述多个第一数据进行合并处理,得到第二数据表。
7.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行权利要求1至3中任一项所述的方法。
8.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至3中任一项所述的方法。
CN201910731298.6A 2019-08-08 2019-08-08 数据表的处理方法及装置 Active CN110457323B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910731298.6A CN110457323B (zh) 2019-08-08 2019-08-08 数据表的处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910731298.6A CN110457323B (zh) 2019-08-08 2019-08-08 数据表的处理方法及装置

Publications (2)

Publication Number Publication Date
CN110457323A CN110457323A (zh) 2019-11-15
CN110457323B true CN110457323B (zh) 2022-04-26

Family

ID=68485485

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910731298.6A Active CN110457323B (zh) 2019-08-08 2019-08-08 数据表的处理方法及装置

Country Status (1)

Country Link
CN (1) CN110457323B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144136B (zh) * 2019-11-25 2024-02-23 三盟科技股份有限公司 数据转换方法、系统、计算机设备及可读存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8504530B2 (en) * 2010-06-26 2013-08-06 Asibo Inc. Global information management system and method
CN108694218A (zh) * 2017-04-12 2018-10-23 大唐移动通信设备有限公司 一种数据写入及读取的方法和装置
CN107229694A (zh) * 2017-05-22 2017-10-03 北京红马传媒文化发展有限公司 一种基于大数据的数据信息一致性处理方法、系统及装置
CN107729423B (zh) * 2017-09-28 2021-06-08 贝壳找房(北京)科技有限公司 一种大数据处理方法及装置
CN110019242A (zh) * 2017-12-29 2019-07-16 北京京东尚科信息技术有限公司 用于数据表的处理方法、装置和系统
CN109189769A (zh) * 2018-08-14 2019-01-11 平安医疗健康管理股份有限公司 数据标准化处理方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN110457323A (zh) 2019-11-15

Similar Documents

Publication Publication Date Title
EP3370391B1 (en) System for data cleansing based aggregation and prioritization of it asset field values from real-time event logs and method thereof
CN111639066A (zh) 一种数据清洗的方法和装置
US11151099B2 (en) System and method for data structure migration control
US10255338B2 (en) System and method for file management in data structures
JP2015036891A (ja) 監視情報分析装置及び方法
CN110457323B (zh) 数据表的处理方法及装置
CN110515895B (zh) 大数据存储系统中对数据文件进行关联存储的方法及系统
CA2734207C (en) Electronic file comparator
CN113901037A (zh) 数据管理方法、装置及存储介质
CN112988780A (zh) 数据校核方法和装置、存储介质及电子设备
JP2005099967A (ja) 予防保守方法
CN108090095B (zh) 批量重建数据库的方法和装置
CN106802841B (zh) 数据提取解析方法、装置及服务器
KR20200077204A (ko) It 디바이스 보안 취약점 점검 및 조치 시스템
CN109388647B (zh) 一种基于web的数据填报方法及系统
CN115510289A (zh) 一种数据立方体配置方法、装置、电子设备及存储介质
CN110866037B (zh) 一种报文的过滤方法及装置
CN114090673A (zh) 一种多数据源的数据处理方法、设备及存储介质
CN106469086B (zh) 事件处理方法和装置
CN112752165A (zh) 字幕处理方法、装置、服务器及计算机可读存储介质
CN107506398B (zh) 一种为图书添加标签属性的方法
CN108241708B (zh) 媒体名称的处理方法及装置
CN116561817B (zh) 一种目标对象的处理方法、装置及设备
CN112487039B (zh) 一种数据处理方法、装置、设备及可读存储介质
CN116521742B (zh) 源代码分析结果聚合方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant