CN113806356B - 数据识别方法、装置及计算设备 - Google Patents

数据识别方法、装置及计算设备 Download PDF

Info

Publication number
CN113806356B
CN113806356B CN202010548787.0A CN202010548787A CN113806356B CN 113806356 B CN113806356 B CN 113806356B CN 202010548787 A CN202010548787 A CN 202010548787A CN 113806356 B CN113806356 B CN 113806356B
Authority
CN
China
Prior art keywords
index
index data
data
value
source information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010548787.0A
Other languages
English (en)
Other versions
CN113806356A (zh
Inventor
颜涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Group Chongqing Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Group Chongqing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Group Chongqing Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202010548787.0A priority Critical patent/CN113806356B/zh
Publication of CN113806356A publication Critical patent/CN113806356A/zh
Application granted granted Critical
Publication of CN113806356B publication Critical patent/CN113806356B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例涉及数据处理技术领域，公开了一种数据识别方法、装置及计算设备。该方法包括：获取预设时间段内的第一指标数据和第二指标数据，第一指标数据包括第一指标标识、与第一指标标识对应的第一指标值，第二指标数据包括第二指标标识、与第二指标标识对应的第二指标值；根据第一指标值和第二指标值，确定第一指标数据和第二指标数据之间的相关系数；获取第一指标数据的第一来源信息以及第二指标数据的第二来源信息；根据第一来源信息和第二来源信息，确定第一指标数据和第二指标数据之间的血缘重合度系数；根据相关系数和血缘重合度系数，识别第一指标数据和第二指标数据之间的关系。通过上述方式，本发明实施例能够提高识别准确度。

Description

数据识别方法、装置及计算设备
技术领域
本发明实施例涉及数据处理技术领域，具体涉及一种数据识别方法、装置及计算设备。
背景技术
随着计算机和互联网技术的快速发展，我们处于信息爆炸时代，为了处理大量的信息，出现了大数据的概念。所谓大数据，是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。虽然用于做大数据分析的计算机越来越多，性能越来越好，但是面对海量数据仍然力不从心，因此需要先解决大数据中的相似数据和冗余数据，以减少存储空间、网络带宽的占用以及数据分析量。
目前的数据识别方法主要通过关键字相似度匹配的方式，识别准确度并不高。
发明内容
鉴于上述问题，本发明实施例提供了一种数据识别方法、装置及计算设备，能够提高识别准确度。
根据本发明实施例的第一方面，提供了一种数据识别方法，包括：获取预设时间段内的至少两个待识别指标数据，所述至少两个待识别指标数据包括第一指标数据和第二指标数据，所述第一指标数据包括第一指标标识、与所述第一指标标识对应的第一指标值，所述第二指标数据包括第二指标标识、与所述第二指标标识对应的第二指标值；根据所述第一指标值和所述第二指标值，确定所述第一指标数据和所述第二指标数据之间的相关系数；获取所述第一指标数据的第一来源信息以及所述第二指标数据的第二来源信息；根据所述第一来源信息和所述第二来源信息，确定所述第一指标数据和所述第二指标数据之间的血缘重合度系数；根据所述相关系数和所述血缘重合度系数，识别所述第一指标数据和所述第二指标数据之间的关系。
在一种可选的方式中，所述根据所述第一指标值和所述第二指标值，确定所述第一指标数据和所述第二指标数据之间的相关系数，具体包括：分别对所述第一指标值、所述第二指标值进行压缩，以得到与所述第一指标标识对应的第一压缩指标值以及与所述第二指标标识对应的第二压缩指标值；根据所述第一压缩指标值和所述第二压缩指标值，确定所述第一指标数据和所述第二指标数据之间的相关系数。
在一种可选的方式中，所述分别对所述第一指标值、所述第二指标值进行压缩，以得到与所述第一指标标识对应的第一压缩指标值以及与所述第二指标标识对应的第二压缩指标值，具体包括：按照预设单位时间，将与第一指标标识对应的全部第一指标值相加，得到所述预设时间段内的若干所述第一压缩指标值；按照所述预设单位时间，将与第二指标标识对应的全部第二指标值相加，得到所述预设时间段内的若干所述第二压缩指标值。
在一种可选的方式中，所述根据所述第一压缩指标值和所述第二压缩指标值，确定所述第一指标数据和所述第二指标数据之间的相关系数，具体包括：
根据以下公式确定所述相关系数：
其中，Xi为第i个所述第一压缩指标值，Yi为第i个所述第二压缩指标值，i≤n，n为样本数，μX为所述预设时间段内的全部所述第一压缩指标值的平均值，μY为所述预设时间段内的全部所述第二压缩指标值的平均值。
在一种可选的方式中，所述获取所述第一指标数据的第一来源信息以及所述第二指标数据的第二来源信息，具体包括：通过结构化查询语言获取所述第一来源信息以及所述第二来源信息。
在一种可选的方式中，所述根据所述第一来源信息和所述第二来源信息，确定所述第一指标数据和所述第二指标数据之间的血缘重合度系数，具体包括：分别将所述第一来源信息、所述第二来源信息转化为第一血缘矩阵、第二血缘矩阵；若确定所述第一血缘矩阵的元素与所述第二血缘矩阵的元素相同，则将所述相同的元素的值确定为第一值，并将除所述相同的元素以外的其他元素的值确定为第二值；根据所述第一值和所述第二值，确定所述第一指标数据和所述第二指标数据的合并矩阵；根据所述合并矩阵，确定所述血缘重合度系数。
在一种可选的方式中，所述根据所述相关系数和所述血缘重合度系数，识别所述第一指标数据和所述第二指标数据之间的关系，具体包括：根据所述相关系数和所述血缘重合度系数，确定所述第一指标数据和所述第二指标数据之间的相似值；若所述相似值大于或者等于第一预设相似阈值且小于第二预设相似阈值，则确定所述第一指标数据和所述第二指标数据之间的关系为相似关系；若所述相似值大于或者等于第二预设相似阈值，则确定所述第一指标数据和所述第二指标数据之间的关系为冗余关系；其中，所述第二预设相似阈值大于所述第一预设相似阈值。
根据本发明实施例的第二方面，提供了一种数据识别装置，包括：指标数据获取模块，用于获取预设时间段内的至少两个待识别指标数据，所述至少两个待识别指标数据包括第一指标数据和第二指标数据，所述第一指标数据包括第一指标标识、与所述第一指标标识对应的第一指标值，所述第二指标数据包括第二指标标识、与所述第二指标标识对应的第二指标值；
相关系数确定模块，用于根据所述第一指标值和所述第二指标值，确定所述第一指标数据和所述第二指标数据之间的相关系数；
来源信息获取模块，用于获取所述第一指标数据的第一来源信息以及所述第二指标数据的第二来源信息；
血缘重合度系数确定模块，用于根据所述第一来源信息和所述第二来源信息，确定所述第一指标数据和所述第二指标数据之间的血缘重合度系数；
识别模块，用于根据所述相关系数和所述血缘重合度系数，识别所述第一指标数据和所述第二指标数据之间的关系。
根据本发明实施例的第三方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述的数据识别方法的操作。
根据本发明实施例的第四方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令在计算设备上运行时，使得计算设备执行执行上述的数据识别方法。
本发明实施例通过获取预设时间段内的至少两个待识别指标数据，至少两个待识别指标数据包括第一指标数据和第二指标数据，第一指标数据包括第一指标标识、与第一指标标识对应的第一指标值，第二指标数据包括第二指标标识、与第二指标标识对应的第二指标值，根据第一指标值和第二指标值，确定第一指标数据和第二指标数据之间的相关系数，获取第一指标数据的第一来源信息以及第二指标数据的第二来源信息，根据第一来源信息和第二来源信息，确定第一指标数据和第二指标数据之间的血缘重合度系数，根据相关系数和血缘重合度系数，识别第一指标数据和第二指标数据之间的关系，能够结合相关系数和血缘重合度系数，自动发现相似和冗余指标，解决了因备注信息相似但含义不同的指标识别准确度不高的问题，能够提高识别准确度。
进一步地，通过自动获取指标数据，还能够避免人工录入指标数据而导致识别效果的误差。
上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
附图仅用于示出实施方式，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的数据识别方法的流程示意图。；
图2示出了本发明实施例提供的SQL语法树的结构示意图；
图3示出了本发明实施例提供的第一来源信息和第二来源信息的结构示意图；
图4示出了本发明实施例提供的数据识别方法的应用实例的流程示意图；
图5示出了本发明实施例提供的各个指标数据的来源信息的结构示意图；
图6示出了本发明实施例提供的数据识别装置的结构示意图；
图7示出了本发明实施例提供的计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。
本发明人对现有技术进行分析后发现，目前的数据识别方法主要通过关键字相似度匹配的方式，识别准确度并不高。例如，大数据平台上的经营分析报表中有“信息化收入”和“信息收入”两种指标，看似相似度很高的关键字，实则是完全不同的业务指标，“信息化收入”一般是指集团信息化业务的收入，而“信息收入”一般是指短信、流媒体等业务的收入，采用关键字相似度匹配的方式容易将这两个指标识别为相似的指标，从而造成识别结果准确度不高。
基于此，本发明实施例提供了一种数据识别方法、装置及计算设备，能够提高识别准确度。
具体地，下面结合附图，对本发明实施例作进一步阐述。
其中，应当理解的是，本发明提供的下述实施例之间，只要不冲突，均可相互结合以形成新的实施方式。
图1示出了本发明实施例提供的数据识别方法的流程示意图。该方法可以应用于计算设备。如图1所示，该方法包括：
步骤110、获取预设时间段内的至少两个待识别指标数据，至少两个待识别指标数据包括第一指标数据和第二指标数据，第一指标数据包括第一指标标识、与第一指标标识对应的第一指标值，第二指标数据包括第二指标标识、与第二指标标识对应的第二指标值。
其中，数据识别是指识别数据之间的关系，例如大数据库中所存储的数据之间是否相似或者数据库所存储的数据是否存在冗余。待识别指标数据是指需要进行数据识别的指标数据。待识别指标数据的数量可以为两个或者两个以上。在本实施例中，待识别指标数据包括第一指标数据和第二指标数据，第一指标数据可以包括第一指标标识、与第一指标标识对应的第一指标值，第二指标数据包括第二指标标识、与第二指标标识对应的第二指标值。预设时间段可以为预先设置的一段时间，例如为一个监测周期，则获取一个监测周期内的第一指标数据和第二指标数据。
在一些实施例中，可以预先设置数据存储规则，按照数据存储规则将指标数据存储到数据表中，则可以从数据表中获取待识别指标数据。其中，数据存储规则的保存格式设置为数据表的纵表，该表结构具有唯一的字段标注指标数据的时间(Date)、指标标识(Kpi_id)、指标值(Kpi_value)、维度等，其中，不同的维度可以对应不同的指标值。例如，按照数据存储规则存储指标数据得到数据表可以如表1所示，在表1中，包括35010、47223、Kpi_idN至少三类指标数据，则可以令第一指标数据为35010、第二指标数据为47223从而识别35010和47223之间的关系，当然，还可以令第一指标数据为35010、第二指标数据为Kpi_idN，从而识别35010和Kpi_idN之间的关系，可以获取表1中一个时间段(例如2020-06-04至2020-06-07)内的全部数据，从而获取到预设时间段内的全部待识别指标数据。
表1
步骤120、根据第一指标值和第二指标值，确定第一指标数据和第二指标数据之间的相关系数。
在概率论和统计学中，相关(Correlation，或称相关系数或关联系数)，显示两个随机变量之间线性关系的强度和方向。在统计学中，相关的意义是用来衡量两个变量相对于其相互独立的距离。在本实施例中，相关系数是指第一指标数据的第一指标值和第二指标数据的第二指标值的相似性，若相关系数大，则表明第一指标值和第二指标值的相似性高，若相关系数小，则表明第一指标值和第二指标值的相似性低。
具体地，步骤120可以包括：
步骤121、分别对第一指标值、第二指标值进行压缩，以得到与第一指标标识对应的第一压缩指标值以及与第二指标标识对应的第二压缩指标值。
其中，通过对第一指标值、第二指标值进行压缩，对第一指标数据和第二指标数据进行降维，从而减少数据的处理量，加快数据处理速度。
步骤121具体可以包括：
步骤1211、按照预设单位时间，将与第一指标标识对应的全部第一指标值相加，得到预设时间段内的若干第一压缩指标值。
其中，预设单位时间是指预先设置的时间单位，例如，预设单位时间为一天。按照预设单位时间，将与第一指标标识对应的全部第一指标值相加，具体为：对每一个预设单位时间内的与第一指标标识对应的全部第一指标值相加，得到该预设单位时间内的第一压缩指标值，获取预设时间段内的若干个预设单位时间内的第一压缩指标值，从而得到预设时间段内的若干第一压缩指标值。
步骤1212、按照预设单位时间，将与第二指标标识对应的全部第二指标值相加，得到预设时间段内的若干第二压缩指标值。
按照预设单位时间，将与第二指标标识对应的全部第二指标值相加，具体为：对每一个预设单位时间内的与第二指标标识对应的全部第二指标值相加，得到该预设单位时间内的第二压缩指标值，获取预设时间段内的若干个预设单位时间内的第二压缩指标值，从而得到预设时间段内的若干第二压缩指标值。
例如，如表2所示，假设获取2020-06-04至2020-06-07内的第一指标数据35010和第二指标数据47223，与35010对应的第一指标值包括X1-X12，与47223对应的第二指标值包括Y1-Y12，则分别对06-04、06-05、06-06、06-07的指标值进行压缩，得到2020-06-04至2020-06-07内的第一压缩指标值为(X1+X2+X3)、(X4+X5+X6)、(X7+X8+X9)、(X10+X11+X12)、第二压缩指标值为(Y1+Y2+Y3)、(Y4+Y5+Y6)、(Y7+Y8+Y9)、(Y10+Y11+Y12)。
表2
步骤122、根据第一压缩指标值和第二压缩指标值，确定第一指标数据和第二指标数据之间的相关系数。
其中，可以通过取第一压缩指标值和第二压缩指标值的皮尔逊相关系数(Pearsonproduct-moment correlation coefficient)的绝对值，确定第一指标数据和第二指标数据之间的相关系数。其中，皮尔逊相关系数是一种度量两个变量间相关程度的方法，皮尔逊相关系数是一个介于1和-1之间的值，当皮尔逊相关系数的绝对值越大，相关性越强，皮尔逊相关系数越接近于1或-1，相关度越强，皮尔逊相关系数越接近于0，相关度越弱。
具体地，可以根据以下公式确定相关系数：
其中，Xi为第i个第一压缩指标值，Yi为第i个第二压缩指标值，i≤n，n为样本数，μX为预设时间段内的全部第一压缩指标值的平均值，μY为预设时间段内的全部第二压缩指标值的平均值。
步骤130、获取第一指标数据的第一来源信息以及第二指标数据的第二来源信息。
其中，来源信息是指能够体现数据的血缘关系的信息，数据的血缘关系是指数据在产生、处理、流转到消亡过程中，数据之间形成的一种类似于人类社会血缘关系的关系。来源信息可以包括指标数据的每个层次的全部来源表和字段。
在本实施例中，获取第一指标数据的第一来源信息以及第二指标数据的第二来源信息，具体可以为：通过结构化查询语言(Structured Query Language，SQL)获取第一来源信息以及第二来源信息。其中，SQL语言是一种数据库查询和程序设计语言，用于查询、更新、管理数据等。SQL语法树可以如图2所示。在本实施例中，步骤110中从数据表中获取待识别指标数据的同时，并生成指标数据的SQL程序，则步骤130中对指标数据的SQL程序进行解析，获取输出表、字段和输入表、字段的数据流向关系，从而获取指标数据的来源信息。例如，获取的35010的第一来源信息和47223的第二来源信息可以如图3所示。
步骤140、根据第一来源信息和第二来源信息，确定第一指标数据和第二指标数据之间的血缘重合度系数。
其中，血缘重合度系数是指第一指标数据和第二指标数据的数据来源的相似性，若血缘重合度系数较大，则第一指标数据和第二指标数据的数据来源的相似性高，若血缘重合度系数较小，则第一指标数据和第二指标数据的数据来源的相似性低。
具体地，步骤140可以包括：
步骤141、分别将第一来源信息、第二来源信息转化为第一血缘矩阵、第二血缘矩阵。
具体地，用矩阵表示来源信息，矩阵的每一列代表一个血缘分支，每一行代表一个分支的一层，层级上限取最大层级分支，其他分支没有层级的，以空值(NULL)补全。例如，如图3所以，将图3中的35010的第一来源信息转化为如表3.1所示的第一血缘矩阵，将47223的第二来源信息转化为如表3.2所示的第二血缘矩阵。
表3.1
Table1:column3 Table1:column3 Table1:column3 Table1:column3
Table3:column3 Table3:column3 Table4:column4 Table4:column4
Table13:column1 Table12:column3 Table13:column1 Table7:column2
NULL NULL NULL Table12:column3
表3.2
Table2:column5 Table2:column5 Table2:column5 Table2:column5
Table4:column4 Table4:column4 Table7:column2 Table5:column6
Table13:column1 Table7:column2 Table12:column3 Table7:column2
NULL Table12:column3 NULL Table12:column3
步骤142、若确定第一血缘矩阵的元素与第二血缘矩阵的元素相同，则将相同的元素的值确定为第一值，并将除相同的元素以外的其他元素的值确定为第二值。
其中，第一值可以设置为1，第二值可以设置为0。将第一血缘矩阵的元素与第二血缘矩阵的元素进行对比，如果矩阵的相同行上有相同的表和字段，则确定第一血缘矩阵的元素与第二血缘矩阵的元素相同，并分别在第一血缘矩阵和第二血缘矩阵上将相同的元素的值确定为1并分别在第一血缘矩阵和第二血缘矩阵上将除相同的元素以外的其他元素的值确定为0。例如，将上述表3.1和表3.2中的元素进行对比，分别得到第一血缘矩阵、第二血缘矩阵的值如表4.1、表4.2所示。
表4.1
0 0 0 0
0 0 1 1
1 1 1 1
0 0 0 1
表4.2
0 0 0 0
1 1 0 0
1 1 1 1
0 1 0 1
步骤143、根据第一值和第二值，确定第一指标数据和第二指标数据的合并矩阵。
其中，根据相同的元素的值和其他元素的值，对两个血缘矩阵的值进行合并，并对元素的值取最大值，得到合并矩阵。例如，根据上述表4.1和表4.2，对两个血缘矩阵的值进行合并，得到的合并矩阵如表5所示。
表5
在一些实施例中，当两个血缘矩阵的行列数不一样时，为了保证两个血缘矩阵能够进行合并，则以最大行和列对血缘矩阵进行扩充，使得两个血缘矩阵的行和列相同时再进行合并。
步骤143、根据合并矩阵，确定血缘重合度系数。
在得到合并矩阵后，确定合并矩阵中元素的值为1的个数，将元素的值为1的个数除以矩阵元素总数，得到血缘重合度系数。例如，根据上述表5的合并矩阵，确定血缘重合度系数为：10/4*4＝0.625。
步骤150、根据相关系数和血缘重合度系数，识别第一指标数据和第二指标数据之间的关系。
其中，在确定相关系数和血缘重合度系数，根据相关系数和血缘重合度系数这两个不同的维度识别第一指标数据和第二指标数据之间的关系。
具体地，步骤150可以包括：
步骤151、根据相关系数和血缘重合度系数，确定第一指标数据和第二指标数据之间的相似值。
其中，可以采用加权计算的方式，计算第一指标数据和第二指标数据之间的相似值。具体地，获取与相似系数对应的第一权重、以及与血缘重合度系数对应的第二权重；将相似系数乘以第一权重加所述血缘重合度系数乘以第二权重的和，确定为相似值。其中，第一权重和第二权重可以根据相关系数和血缘重合度系数对第一指标数据和第二指标数据之间的相似值的影响程度来确定，例如，若确定相关系数对相似值的影响程度大，则设置第一权重大于第二权重，若确定血缘重合度系数对相似值的影响程度大，则设置第一权重小于第二权重，若确定相关系数和血缘重合度系数对相似值的影响程度相同，则设置第一权重等于第二权重。
步骤152、若相似值大于或者等于第一预设相似阈值且小于第二预设相似阈值，则确定第一指标数据和第二指标数据之间的关系为相似关系。
其中，第二预设相似阈值大于第一预设相似阈值。第一预设相似阈值可以为用户根据经验设置的阈值。当相似值大于或者等于第一预设相似阈值，则确定第一指标数据和第二指标数据之间为相似关系。
步骤153、若相似值大于或者等于第二预设相似阈值，则确定第一指标数据和第二指标数据之间的关系为冗余关系。
其中，第二预设相似阈值可以为用户根据经验设置的阈值。相似值大于或者等于第二预设相似阈值，则确定第一指标数据和第二指标数据之间为可以互相替代的冗余关系。
在一些实施例中，在步骤150之后，该方法还可以包括：存储第一指标数据和第二指标数据之间关系以及指标标识、指标值。
在一些实施例中，在步骤150之后，该方法还可以包括：提供web调用接口，以供大数据平台的访问和使用。例如，通过调用存储相似关系的数据指标的存储单元的web接口，提供给大数据平台的用户使用，以帮助业务开发用户在大数据平台开发新增指标阶段检索是否已经有相应的指标，并帮助业务开发用户在大数据平台数据治理阶段发现相似和冗余的数据。
本发明实施例通过获取预设时间段内的至少两个待识别指标数据，至少两个待识别指标数据包括第一指标数据和第二指标数据，第一指标数据包括第一指标标识、与第一指标标识对应的第一指标值，第二指标数据包括第二指标标识、与第二指标标识对应的第二指标值，根据第一指标值和第二指标值，确定第一指标数据和第二指标数据之间的相关系数，获取第一指标数据的第一来源信息以及第二指标数据的第二来源信息，根据第一来源信息和第二来源信息，确定第一指标数据和第二指标数据之间的血缘重合度系数，根据相关系数和血缘重合度系数，识别第一指标数据和第二指标数据之间的关系，能够结合相关系数和血缘重合度系数，自动发现相似和冗余指标，解决了因备注信息相似但含义不同的指标识别准确度不高的问题，能够提高识别准确度，并且，通过自动获取指标数据，还能够避免人工录入指标数据而导致识别效果的误差。
图4示出了本发明实施例提供的数据识别方法的应用实例的流程示意图。如图4所示，该方法包括：
步骤201、获取2020-06-04至2020-06-07内的全部待识别指标数据，待识别指标数据包括35010、47223、…Kpi_idN。
其中，待识别指标数据的指标标识、指标值如上述表1所示。
步骤202、对各个指标数据的指标值进行压缩，以得到压缩指标值。
得到各个指标数据的压缩指标值如表6所示。
表6
35010 47223 ... Kpi_idN
2020-06-04 X1+X2+X3 Y1+Y2+Y3 ... N1+N2+N3
2020-06-05 X4+X5+X6 Y4+Y5+Y6 ... N4+N5+N6
2020-06-06 X7+X8+X9 Y7+Y8+Y9 ... N7+N8+N9
2020-06-07 X10+X11+X12 Y10+Y11+Y12 ... N10+N11+N12
步骤203、根据各个指标数据的压缩指标值，确定各个指标数据之间的皮尔相关系数的绝对值，并根据各个指标数据之间的皮尔相关系数的绝对值，确定相关系数矩阵。
其中，确定35010指标数据和47223指标数据之间的皮尔相关系数的绝对值为0.56，确定35010指标数据和Kpi_idN指标数据之间的皮尔相关系数的绝对值为P(35010，Kpi_idN)，确定47223指标数据和Kpi_idN指标数据之间的皮尔相关系数的绝对值为P(47223，Kpi_idN)，得到的相关系数矩阵如表7所示。
表7
Kpi_id 35010 47223 ... Kpi_idN
35010 1 0.56 ... P(35010，Kpi_idN)
47223 0.56 1 ... P(47223，Kpi_idN)
... ... ... 1 ...
Kpi_idN P(35010，Kpi_idN) P(47223，Kpi_idN) ... 1
步骤204、通过SQL获取各个指标数据的来源信息。
获取各个指标数据的来源信息如图5所示。
步骤205、确定各个指标数据之间的血缘重合度系数，并根据各个指标数据之间的血缘重合度系数，确定重合度系数矩阵。
其中，确定35010指标数据和47223指标数据之间的血缘重合度系数为0.625，确定35010指标数据和Kpi_idN指标数据之间的血缘重合度系数为A(35010，Kpi_idN)，确定47223指标数据和Kpi_idN指标数据之间的血缘重合度系数为A(47223，Kpi_idN)，得到的重合度系数矩阵如表8所示。
表8
Kpi_id 35010 47223 ... Kpi_idN
35010 1 0.625 ... A(35010，Kpi_idN)
47223 0.625 1 ... A(47223，Kpi_idN)
... ... ... 1 ...
Kpi_idN A(35010，Kpi_idN) A(47223，Kpi_idN) ... 1
步骤206、获取与相似系数对应的第一权重、以及与血缘重合度系数对应的第二权重；将相似系数乘以第一权重加所述血缘重合度系数乘以第二权重的和，从而确定各个指标数据之间的相似值。
具体地，可以根据以下公式计算各个指标数据之间的相似值：
Z(Kpi_id1，Kpi_id2)＝C1*P(Kpi_id1，Kpi_id2)+C2*A(Kpi_id1，Kpi_id2)
其中，Kpi_id1、Kpi_id2分别为两个指标数据，C1为第一权重，C2为第二权重，P(Kpi_id1，Kpi_id2)为Kpi_id1和Kpi_id2之间的相似系数，A(Kpi_id1，Kpi_id2)为Kpi_id1和Kpi_id2之间的血缘重合度系数。例如，35010指标数据和47223指标数据之间的相似值为：Z(35010，47223)＝C1*0.56+C2*0.625。
步骤207、若某两个指标数据之间的相似值大于或者等于第一预设相似阈值且小于第二预设相似阈值，则确定该两个指标数据之间的关系为相似关系。
步骤208、若某两个指标数据之间的相似值大于或者等于第二预设相似阈值，则确定该两个指标数据之间的关系为冗余关系。
本发明实施例通过计算各个指标数据之间的相关系数和血缘重合度系数，根据相关系数和血缘重合度系数确定相似值，并将相似值与第一预设相似阈值和第二预设相似阈值比较，以确定相似指标或冗余指标，解决了因备注信息相似但含义不同的指标识别准确度不高的问题，能够提高识别准确度。
图6示出了本发明实施例提供的数据识别装置的结构示意图。该方法可以应用于计算设备。如图6所示，该装置包括：指标数据获取模块310、相关系数确定模块320、来源信息获取模块330、血缘重合度系数确定模块340和识别模块350。
其中，指标数据获取模块310用于获取预设时间段内的至少两个待识别指标数据，所述至少两个待识别指标数据包括第一指标数据和第二指标数据，所述第一指标数据包括第一指标标识、与所述第一指标标识对应的第一指标值，所述第二指标数据包括第二指标标识、与所述第二指标标识对应的第二指标值；相关系数确定模块320用于根据所述第一指标值和所述第二指标值，确定所述第一指标数据和所述第二指标数据之间的相关系数；来源信息获取模块330用于获取所述第一指标数据的第一来源信息以及所述第二指标数据的第二来源信息；血缘重合度系数确定模块340用于根据所述第一来源信息和所述第二来源信息，确定所述第一指标数据和所述第二指标数据之间的血缘重合度系数；识别模块350用于根据所述相关系数和所述血缘重合度系数，识别所述第一指标数据和所述第二指标数据之间的关系。
其中，相关系数确定模块320具体包括：压缩单元和相关系数确定单元。压缩单元用于分别对第一指标值、第二指标值进行压缩，以得到与第一指标标识对应的第一压缩指标值以及与第二指标标识对应的第二压缩指标值；相关系数确定单元用于根据第一压缩指标值和第二压缩指标值，确定第一指标数据和第二指标数据之间的相关系数。
其中，压缩单元具体用于：按照预设单位时间，将与第一指标标识对应的全部第一指标值相加，得到预设时间段内的若干第一压缩指标值；按照预设单位时间，将与第二指标标识对应的全部第二指标值相加，得到预设时间段内的若干第二压缩指标值。
其中，相关系数确定单元具体用于：根据以下公式确定相关系数：
其中，Xi为第i个第一压缩指标值，Yi为第i个第二压缩指标值，i≤n，n为样本数，μX为预设时间段内的全部第一压缩指标值的平均值，μY为预设时间段内的全部第二压缩指标值的平均值。
其中，来源信息获取模块330具体用于通过结构化查询语言(Structured QueryLanguage，SQL)获取第一来源信息以及第二来源信息。
其中，血缘重合度系数确定模块340具体用于：分别将第一来源信息、第二来源信息转化为第一血缘矩阵、第二血缘矩阵；若确定第一血缘矩阵的元素与第二血缘矩阵的元素相同，则将相同的元素的值确定为第一值，并将除相同的元素以外的其他元素的值确定为第二值；根据第一值和第二值，确定第一指标数据和第二指标数据的合并矩阵；根据合并矩阵，确定血缘重合度系数。
其中，识别模块350具体用于：根据相关系数和血缘重合度系数，确定第一指标数据和第二指标数据之间的相似值；若相似值大于或者等于第一预设相似阈值且小于第二预设相似阈值，则确定第一指标数据和第二指标数据之间的关系为相似关系；若相似值大于或者等于第二预设相似阈值，则确定第一指标数据和第二指标数据之间的关系为冗余关系。
在一些实施例中，该装置还可以包括：存储模块。存储模块用于存储第一指标数据和第二指标数据之间关系以及指标标识、指标值。
在一些实施例中，该装置还可以包括：调用模块。调用模块用于提供web调用接口，以供大数据平台的访问和使用。
需要说明的是，本发明实施例提供数据识别装置是能够执行上述数据识别方法的装置，则上述数据识别方法的所有实施例均适用于该装置，且均能达到相同或相似的有益效果。
本发明实施例通过获取预设时间段内的至少两个待识别指标数据，至少两个待识别指标数据包括第一指标数据和第二指标数据，第一指标数据包括第一指标标识、与第一指标标识对应的第一指标值，第二指标数据包括第二指标标识、与第二指标标识对应的第二指标值，根据第一指标值和第二指标值，确定第一指标数据和第二指标数据之间的相关系数，获取第一指标数据的第一来源信息以及第二指标数据的第二来源信息，根据第一来源信息和第二来源信息，确定第一指标数据和第二指标数据之间的血缘重合度系数，根据相关系数和血缘重合度系数，识别第一指标数据和第二指标数据之间的关系，能够结合相关系数和血缘重合度系数，自动发现相似和冗余指标，解决了因备注信息相似但含义不同的指标识别准确度不高的问题，能够提高识别准确度。
图7示出了本发明实施例提供的计算设备的结构示意图。本发明具体实施例并不对计算设备的具体实现做限定。
如图7所示，该计算设备可以包括：处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。
其中：处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。通信接口404，用于与其它设备比如大数据平台或其它服务器等的网元通信。处理器402，用于执行程序410，具体可以执行上述用于数据识别方法实施例中的相关步骤。
具体地，程序410可以包括程序代码，该程序代码包括计算机可执行指令。
处理器402可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器406，用于存放程序410。存储器406可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序410具体可以被处理器402调用使计算设备执行上述实施例中的数据识别方法中的操作。
本发明实施例通过获取预设时间段内的至少两个待识别指标数据，至少两个待识别指标数据包括第一指标数据和第二指标数据，第一指标数据包括第一指标标识、与第一指标标识对应的第一指标值，第二指标数据包括第二指标标识、与第二指标标识对应的第二指标值，根据第一指标值和第二指标值，确定第一指标数据和第二指标数据之间的相关系数，获取第一指标数据的第一来源信息以及第二指标数据的第二来源信息，根据第一来源信息和第二来源信息，确定第一指标数据和第二指标数据之间的血缘重合度系数，根据相关系数和血缘重合度系数，识别第一指标数据和第二指标数据之间的关系，能够结合相关系数和血缘重合度系数，自动发现相似和冗余指标，解决了因备注信息相似但含义不同的指标识别准确度不高的问题，能够提高识别准确度。
本发明实施例提供了一种计算机可读存储介质，所述存储介质存储有至少一可执行指令，该可执行指令在计算设备上运行时，使得计算设备执行上述任意方法实施例中的数据识别方法。可执行指令具体可以用于使得计算设备执行上述实施例中的数据识别方法中的操作。
本发明实施例通过获取预设时间段内的至少两个待识别指标数据，至少两个待识别指标数据包括第一指标数据和第二指标数据，第一指标数据包括第一指标标识、与第一指标标识对应的第一指标值，第二指标数据包括第二指标标识、与第二指标标识对应的第二指标值，根据第一指标值和第二指标值，确定第一指标数据和第二指标数据之间的相关系数，获取第一指标数据的第一来源信息以及第二指标数据的第二来源信息，根据第一来源信息和第二来源信息，确定第一指标数据和第二指标数据之间的血缘重合度系数，根据相关系数和血缘重合度系数，识别第一指标数据和第二指标数据之间的关系，能够结合相关系数和血缘重合度系数，自动发现相似和冗余指标，解决了因备注信息相似但含义不同的指标识别准确度不高的问题，能够提高识别准确度。
本发明实施例提供一种数据识别装置，用于执行上述数据识别方法。
本发明实施例提供了一种计算机程序，所述计算机程序可被处理器调用使计算设备执行上述任意方法实施例中的数据识别方法。
本发明实施例提供了一种计算机程序产品，计算机程序产品包括存储在计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令在计算机上运行时，使得所述计算机执行上述任意方法实施例中的数据识别方法。
在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。

Claims (8)

1.一种数据识别方法，其特征在于，包括：
获取预设时间段内的至少两个待识别指标数据，所述至少两个待识别指标数据包括第一指标数据和第二指标数据，所述第一指标数据包括第一指标标识、与所述第一指标标识对应的第一指标值，所述第二指标数据包括第二指标标识、与所述第二指标标识对应的第二指标值；
分别对所述第一指标值、所述第二指标值进行压缩，以得到与所述第一指标标识对应的第一压缩指标值以及与所述第二指标标识对应的第二压缩指标值，包括：按照预设单位时间，将与第一指标标识对应的全部第一指标值相加，得到所述预设时间段内的若干所述第一压缩指标值；按照所述预设单位时间，将与第二指标标识对应的全部第二指标值相加，得到所述预设时间段内的若干所述第二压缩指标值；
根据所述第一压缩指标值和所述第二压缩指标值，确定所述第一指标数据和所述第二指标数据之间的相关系数；
获取所述第一指标数据的第一来源信息以及所述第二指标数据的第二来源信息；
根据所述第一来源信息和所述第二来源信息，确定所述第一指标数据和所述第二指标数据之间的血缘重合度系数；
根据所述相关系数和所述血缘重合度系数，识别所述第一指标数据和所述第二指标数据之间的关系。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一压缩指标值和所述第二压缩指标值，确定所述第一指标数据和所述第二指标数据之间的相关系数，具体包括：
根据以下公式确定所述相关系数：
其中，Xi为第i个所述第一压缩指标值，Yi为第i个所述第二压缩指标值，i≤n，n为样本数，μX为所述预设时间段内的全部所述第一压缩指标值的平均值，μY为所述预设时间段内的全部所述第二压缩指标值的平均值。
3.根据权利要求1所述的方法，其特征在于，所述获取所述第一指标数据的第一来源信息以及所述第二指标数据的第二来源信息，具体包括：
通过结构化查询语言获取所述第一来源信息以及所述第二来源信息。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第一来源信息和所述第二来源信息，确定所述第一指标数据和所述第二指标数据之间的血缘重合度系数，具体包括：
分别将所述第一来源信息、所述第二来源信息转化为第一血缘矩阵、第二血缘矩阵；
若确定所述第一血缘矩阵的元素与所述第二血缘矩阵的元素相同，则将所述相同的元素的值确定为第一值，并将除所述相同的元素以外的其他元素的值确定为第二值；
根据所述第一值和所述第二值，确定所述第一指标数据和所述第二指标数据的合并矩阵；
根据所述合并矩阵，确定所述血缘重合度系数。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述相关系数和所述血缘重合度系数，识别所述第一指标数据和所述第二指标数据之间的关系，具体包括：
根据所述相关系数和所述血缘重合度系数，确定所述第一指标数据和所述第二指标数据之间的相似值；
若所述相似值大于或者等于第一预设相似阈值且小于第二预设相似阈值，则确定所述第一指标数据和所述第二指标数据之间的关系为相似关系；
若所述相似值大于或者等于第二预设相似阈值，则确定所述第一指标数据和所述第二指标数据之间的关系为冗余关系；
其中，所述第二预设相似阈值大于所述第一预设相似阈值。
6.一种数据识别装置，其特征在于，包括：
指标数据获取模块，用于获取预设时间段内的至少两个待识别指标数据，所述至少两个待识别指标数据包括第一指标数据和第二指标数据，所述第一指标数据包括第一指标标识、与所述第一指标标识对应的第一指标值，所述第二指标数据包括第二指标标识、与所述第二指标标识对应的第二指标值；
相关系数确定模块，用于分别对所述第一指标值、所述第二指标值进行压缩，以得到与所述第一指标标识对应的第一压缩指标值以及与所述第二指标标识对应的第二压缩指标值，包括：按照预设单位时间，将与第一指标标识对应的全部第一指标值相加，得到所述预设时间段内的若干所述第一压缩指标值；按照所述预设单位时间，将与第二指标标识对应的全部第二指标值相加，得到所述预设时间段内的若干所述第二压缩指标值；根据所述第一压缩指标值和所述第二压缩指标值，确定所述第一指标数据和所述第二指标数据之间的相关系数；
来源信息获取模块，用于获取所述第一指标数据的第一来源信息以及所述第二指标数据的第二来源信息；
血缘重合度系数确定模块，用于根据所述第一来源信息和所述第二来源信息，确定所述第一指标数据和所述第二指标数据之间的血缘重合度系数；
识别模块，用于根据所述相关系数和所述血缘重合度系数，识别所述第一指标数据和所述第二指标数据之间的关系。
7.一种计算设备，其特征在于，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-5任一项所述的数据识别方法的操作。
8.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一可执行指令，所述可执行指令在计算设备上运行时，使得计算设备执行如权利要求1-5任一项所述的数据识别方法的操作。
CN202010548787.0A 2020-06-16 2020-06-16 数据识别方法、装置及计算设备 Active CN113806356B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010548787.0A CN113806356B (zh) 2020-06-16 2020-06-16 数据识别方法、装置及计算设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010548787.0A CN113806356B (zh) 2020-06-16 2020-06-16 数据识别方法、装置及计算设备

Publications (2)

Publication Number Publication Date
CN113806356A CN113806356A (zh) 2021-12-17
CN113806356B true CN113806356B (zh) 2024-03-19

Family

ID=78944390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010548787.0A Active CN113806356B (zh) 2020-06-16 2020-06-16 数据识别方法、装置及计算设备

Country Status (1)

Country Link
CN (1) CN113806356B (zh)

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104239722A (zh) * 2014-09-18 2014-12-24 山东大学 一种基于因素间相关关系识别的预测方法
CN106294429A (zh) * 2015-05-26 2017-01-04 阿里巴巴集团控股有限公司 重复数据识别方法和装置
CN106776861A (zh) * 2016-11-28 2017-05-31 北京亚信数据有限公司 一种指标一致性分析方法及分析系统
CN106779076A (zh) * 2016-11-18 2017-05-31 栾图 基于生物信息的选育良种系统及其算法
CN106845846A (zh) * 2017-01-23 2017-06-13 重庆邮电大学 大数据资产评估方法
WO2017114961A1 (en) * 2015-12-31 2017-07-06 Koninklijke Philips N.V. Automated blood pool identification system and method of operation thereof
CN107515886A (zh) * 2016-06-17 2017-12-26 阿里巴巴集团控股有限公司 一种数据表的识别方法、装置和系统
CN108256113A (zh) * 2018-02-09 2018-07-06 口碑(上海)信息技术有限公司 数据血缘关系的挖掘方法及装置
CN108932268A (zh) * 2017-05-26 2018-12-04 华为软件技术有限公司 数据处理方法及装置
CN109543956A (zh) * 2018-10-27 2019-03-29 平安医疗健康管理股份有限公司 基于数据分析的违规医疗机构的检测方法及相关设备
CN109614433A (zh) * 2018-12-13 2019-04-12 杭州数梦工场科技有限公司 业务系统间数据血缘的识别方法、装置、设备及存储介质
CN109947817A (zh) * 2019-03-01 2019-06-28 武汉达梦数据库有限公司 一种基于关联图谱的六度空间关系分析方法及系统
CN110059126A (zh) * 2019-04-25 2019-07-26 湖南中车时代通信信号有限公司 基于lkj异常值数据的复杂关联网络分析方法及系统
CN110597860A (zh) * 2019-09-12 2019-12-20 中国工商银行股份有限公司 数据识别方法及其装置、电子设备和介质
CN111061709A (zh) * 2019-11-13 2020-04-24 中科曙光南京研究院有限公司 一种相似重复记录的数据清洗自动化方法及系统
CN111090686A (zh) * 2019-12-24 2020-05-01 腾讯科技（深圳）有限公司 数据处理方法、装置、服务器和存储介质
CN111177200A (zh) * 2019-12-31 2020-05-19 北京九章云极科技有限公司 一种数据处理系统及方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104239722A (zh) * 2014-09-18 2014-12-24 山东大学 一种基于因素间相关关系识别的预测方法
CN106294429A (zh) * 2015-05-26 2017-01-04 阿里巴巴集团控股有限公司 重复数据识别方法和装置
WO2017114961A1 (en) * 2015-12-31 2017-07-06 Koninklijke Philips N.V. Automated blood pool identification system and method of operation thereof
CN107515886A (zh) * 2016-06-17 2017-12-26 阿里巴巴集团控股有限公司 一种数据表的识别方法、装置和系统
CN106779076A (zh) * 2016-11-18 2017-05-31 栾图 基于生物信息的选育良种系统及其算法
CN106776861A (zh) * 2016-11-28 2017-05-31 北京亚信数据有限公司 一种指标一致性分析方法及分析系统
CN106845846A (zh) * 2017-01-23 2017-06-13 重庆邮电大学 大数据资产评估方法
CN108932268A (zh) * 2017-05-26 2018-12-04 华为软件技术有限公司 数据处理方法及装置
CN108256113A (zh) * 2018-02-09 2018-07-06 口碑(上海)信息技术有限公司 数据血缘关系的挖掘方法及装置
CN109543956A (zh) * 2018-10-27 2019-03-29 平安医疗健康管理股份有限公司 基于数据分析的违规医疗机构的检测方法及相关设备
CN109614433A (zh) * 2018-12-13 2019-04-12 杭州数梦工场科技有限公司 业务系统间数据血缘的识别方法、装置、设备及存储介质
CN109947817A (zh) * 2019-03-01 2019-06-28 武汉达梦数据库有限公司 一种基于关联图谱的六度空间关系分析方法及系统
CN110059126A (zh) * 2019-04-25 2019-07-26 湖南中车时代通信信号有限公司 基于lkj异常值数据的复杂关联网络分析方法及系统
CN110597860A (zh) * 2019-09-12 2019-12-20 中国工商银行股份有限公司 数据识别方法及其装置、电子设备和介质
CN111061709A (zh) * 2019-11-13 2020-04-24 中科曙光南京研究院有限公司 一种相似重复记录的数据清洗自动化方法及系统
CN111090686A (zh) * 2019-12-24 2020-05-01 腾讯科技（深圳）有限公司 数据处理方法、装置、服务器和存储介质
CN111177200A (zh) * 2019-12-31 2020-05-19 北京九章云极科技有限公司 一种数据处理系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于SOM网络的上市公司聚类分析;张吉刚;《咸宁学院学报》;第27卷(第06期);1-3 *

Also Published As

Publication number Publication date
CN113806356A (zh) 2021-12-17

Similar Documents

Publication Publication Date Title
US20090300006A1 (en) Techniques for computing similarity measurements between segments representative of documents
US20140089255A1 (en) Foreign key identification in database management systems
CN113486187A (zh) 佛学知识图谱构建方法、装置、设备及存储介质
US10049102B2 (en) Method and system for providing semantics based technical support
TW202123026A (zh) 資料歸檔方法、裝置、電腦裝置及存儲介質
CN113886419A (zh) Sql语句处理方法、装置、计算机设备及存储介质
CN113850077A (zh) 基于人工智能的话题识别方法、装置、服务器及介质
CN113806356B (zh) 数据识别方法、装置及计算设备
CN110489740B (zh) 语义解析方法及相关产品
CN112130944A (zh) 页面异常的检测方法、装置、设备及存储介质
CN116680401A (zh) 文档处理方法、文档处理装置、设备及存储介质
CN115905630A (zh) 一种图数据库查询方法、装置、设备及存储介质
CN115168509A (zh) 风控数据的处理方法及装置、存储介质、计算机设备
CN114896955A (zh) 数据报表加工方法、装置、计算机设备及存储介质
CN114328486A (zh) 基于模型的数据质量核查方法及装置
CN113704236A (zh) 政务系统数据质量评估方法、装置、终端及存储介质
CN113611427A (zh) 用户画像生成方法、装置、设备及存储介质
CN112487260A (zh) 仪器项目申报评审专家匹配方法、装置、设备和介质
CN111666770A (zh) 一种语义匹配方法及装置
CN115187153B (zh) 应用于业务风险溯源的数据处理方法及系统
CN117852777B (zh) 用于多源异构数据资产的联管方法及系统
US20220253473A1 (en) Machine generated ontology
CN111611457B (zh) 一种页面分类方法、装置、设备及存储介质
CN116881419A (zh) 数据查询方法、装置、介质及设备
CN116467394A (zh) 标签数据集获取方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant