CN112579581B - 一种数据分析引擎的数据接入方法及系统 - Google Patents

一种数据分析引擎的数据接入方法及系统 Download PDF

Info

Publication number
CN112579581B
CN112579581B CN202011378439.XA CN202011378439A CN112579581B CN 112579581 B CN112579581 B CN 112579581B CN 202011378439 A CN202011378439 A CN 202011378439A CN 112579581 B CN112579581 B CN 112579581B
Authority
CN
China
Prior art keywords
data
source
same
cleaning
analysis engine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011378439.XA
Other languages
English (en)
Other versions
CN112579581A (zh
Inventor
张涛
黄纪萍
雷厚宇
杨启帆
陶心万
陆苇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guiyang Longding Big Data Network Technology Co ltd
Original Assignee
Guizhou Lichuang Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou Lichuang Technology Development Co ltd filed Critical Guizhou Lichuang Technology Development Co ltd
Priority to CN202011378439.XA priority Critical patent/CN112579581B/zh
Publication of CN112579581A publication Critical patent/CN112579581A/zh
Application granted granted Critical
Publication of CN112579581B publication Critical patent/CN112579581B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明涉及一种数据分析引擎的数据接入方法及系统，其方法包括以下步骤，S1，采集多个数据源的数据并清洗，得到多源数据；S2，基于数据分析引擎，并通过识别所述多源数据的数据特征对所述多源数据进行分类，得到多个类型的数据；S3，对所有类型的数据进行分类缓存，并生成分类缓存索引表；S4，根据数据接入指令在所述分类缓存索引表中进行查找，并根据查找的结果从缓存中获取相应的数据，且采用对应的传输协议进行数据传输。本发明一种数据分析引擎的数据接入方法及系统对多源数据进行采集并进行统一的清洗、分类、缓存和传输，避免了数据分别接入的麻烦。

Description

一种数据分析引擎的数据接入方法及系统
技术领域
本发明涉及数据接入领域，具体涉及一种数据分析引擎的数据接入方法及系统。
背景技术
随着互联网技术的快速发展，在目前的网络技术应用中，通过接入不同产品的数据，以对各种数据进行大数据分析，实现各种指数和数据的运算，已经是互联网运用的一项重要内容。为了能够进行大数据分析，从各个产品接入相关的基础数据，成为其中的一项重要内容，而接入基础数据的效率和质量，直接影响到后续的分析处理等过程的效率和质量。
目前的接入各产品的基础数据的方式，通常是针对各产品的数据源分别接入，即针对各数据源，分别编写对应的程序代码，对各数据源分别采用其对应的程序代码进行数据读取、数据写入等各种编码分析处理过程。然而，在采用对各产品的数据源分别接入的情况下，每个数据源都需要有对应的程序代码，不仅需要增加很多重复性的工作，导致开发、测试等成本高，而且随着接入的数据源或者数据量的加大，代码量回持续增大，需要增加的模块也越来越多，维护困难。
发明内容
本发明所要解决的技术问题是提供一种数据分析引擎的数据接入方法及系统，对多源数据进行统一接入，避免了数据分别接入的麻烦。
本发明解决上述技术问题的技术方案如下：一种数据分析引擎的数据接入方法，包括以下步骤，
S1，采集多个数据源的数据并清洗，得到多源数据；
S2，基于数据分析引擎，并通过识别所述多源数据的数据特征对所述多源数据进行分类，得到多个类型的数据；
S3，对所有类型的数据进行分类缓存，并生成分类缓存索引表；
S4，根据数据接入指令在所述分类缓存索引表中进行查找，并根据查找的结果从缓存中获取相应的数据，且采用对应的传输协议进行数据传输。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述S1具体为，采集多个数据源的数据，并根据数据清洗策略对采集到的数据进行清洗，过滤掉无用数据，得到多源数据；
其中，所述数据清洗策略包括多种清洗特征因子，每种清洗特征因子对应一种数据源；将来自同一数据源的数据根据同一清洗特征因子进行清洗。
进一步，所述S2具体为，
S21，计算所述多源数据中任意两个数据之间的特征差异程度值，
S22，将特征差异程度值小于预设值的数据放置在同一数据集中，其中，同一数据集对应同一类型的数据；
S23，判断多个数据集中是否存在相同数据，若存在，则将多个数据集中存在的相同数据定义为数据A，且将数据A采用聚类分析法进行重新分类，得到数据A的最终数据类型；
S24，保留与数据A的最终数据类型对应的数据集中的数据A，并删除与数据A的最终数据类型不对应的数据集中的数据A；
S25，将更新后的数据集中作为数据分类结果，得到多个类型的数据。
进一步，所述S3具体为，根据数据类型以及依据特征差异程度值的大小顺序，对所有类型的所述分类数据进行分类排列缓存，生成分类缓存索引表。
进一步，在所述S4中，同一类型的数据采用同一传输协议进行传输。
基于上述一种数据分析引擎的数据接入方法，本发明还提供一种数据分析引擎的数据接入系统。
一种数据分析引擎的数据接入系统，包括以下模块，
数据获取模块，其用于采集多个数据源的数据并清洗，得到多源数据；
数据分类模块，其用于基于数据分析引擎，并通过识别所述多源数据的数据特征对所述多源数据进行分类，得到多个类型的数据；
数据缓存模块，其用于对所有类型的数据进行分类缓存，并生成分类缓存索引表；
数据传输模块，其用于根据数据接入指令在所述分类缓存索引表中进行查找，并根据查找的结果从缓存中获取相应的数据，且采用对应的传输协议进行数据传输。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述数据获取模块具体用于，采集多个数据源的数据，并根据数据清洗策略对采集到的数据进行清洗，过滤掉无用数据，得到多源数据；
其中，所述数据清洗策略包括多种清洗特征因子，每种清洗特征因子对应一种数据源；将来自同一数据源的数据根据同一清洗特征因子进行清洗。
进一步，所述数据分类模块具体用于，
计算所述多源数据中任意两个数据之间的特征差异程度值，
将特征差异程度值小于预设值的数据放置在同一数据集中，其中，同一数据集对应同一类型的数据；
判断多个数据集中是否存在相同数据，若存在，则将多个数据集中存在的相同数据定义为数据A，且将数据A采用聚类分析法进行重新分类，得到数据A的最终数据类型；
保留与数据A的最终数据类型对应的数据集中的数据A，并删除与数据A的最终数据类型不对应的数据集中的数据A；
将更新后的数据集中作为数据分类结果，得到多个类型的数据。
进一步，所述数据缓存模块具体用于，根据数据类型以及依据特征差异程度值的大小顺序，对所有类型的所述分类数据进行分类排列缓存，生成分类缓存索引表。
进一步，在所述数据传输模块中，同一类型的数据采用同一传输协议进行传输。
本发明的有益效果是：本发明一种数据分析引擎的数据接入方法及系统对多源数据进行采集并进行统一的清洗、分类、缓存和传输，不需要多种程序代码，可以降低很多重复性的工作，开发、测试等成本低，维护容易。
附图说明
图1为本发明一种数据分析引擎的数据接入方法的流程图；
图2为本发明一种数据分析引擎的数据接入系统的结构框图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，一种数据分析引擎的数据接入方法，包括以下步骤，
S1，采集多个数据源的数据并清洗，得到多源数据；
S2，基于数据分析引擎，并通过识别所述多源数据的数据特征对所述多源数据进行分类，得到多个类型的数据；
S3，对所有类型的数据进行分类缓存，并生成分类缓存索引表；
S4，根据数据接入指令在所述分类缓存索引表中进行查找，并根据查找的结果从缓存中获取相应的数据，且采用对应的传输协议进行数据传输。
在本具体实施例中，还具有如下优选方案：
优选的，所述S1具体为，采集多个数据源的数据，并根据数据清洗策略对采集到的数据进行清洗，过滤掉无用数据，得到多源数据；
其中，所述数据清洗策略包括多种清洗特征因子，每种清洗特征因子对应一种数据源；将来自同一数据源的数据根据同一清洗特征因子进行清洗。
优选的，所述S2具体为，
S21，计算所述多源数据中任意两个数据之间的特征差异程度值，
S22，将特征差异程度值小于预设值的数据放置在同一数据集中，其中，同一数据集对应同一类型的数据；
S23，判断多个数据集中是否存在相同数据，若存在，则将多个数据集中存在的相同数据定义为数据A，且将数据A采用聚类分析法进行重新分类，得到数据A的最终数据类型；
S24，保留与数据A的最终数据类型对应的数据集中的数据A，并删除与数据A的最终数据类型不对应的数据集中的数据A；
S25，将更新后的数据集中作为数据分类结果，得到多个类型的数据。
优选的，所述S3具体为，根据数据类型以及依据特征差异程度值的大小顺序，对所有类型的所述分类数据进行分类排列缓存，生成分类缓存索引表。
优选的，在所述S4中，同一类型的数据采用同一传输协议进行传输。
基于上述一种数据分析引擎的数据接入方法，本发明还提供一种数据分析引擎的数据接入系统。
如图2所示，一种数据分析引擎的数据接入系统，包括以下模块，
数据获取模块，其用于采集多个数据源的数据并清洗，得到多源数据；
数据分类模块，其用于基于数据分析引擎，并通过识别所述多源数据的数据特征对所述多源数据进行分类，得到多个类型的数据；
数据缓存模块，其用于对所有类型的数据进行分类缓存，并生成分类缓存索引表；
数据传输模块，其用于根据数据接入指令在所述分类缓存索引表中进行查找，并根据查找的结果从缓存中获取相应的数据，且采用对应的传输协议进行数据传输。
在本具体实施例中，还具有如下优选方案：
优选的，所述数据获取模块具体用于，采集多个数据源的数据，并根据数据清洗策略对采集到的数据进行清洗，过滤掉无用数据，得到多源数据；
其中，所述数据清洗策略包括多种清洗特征因子，每种清洗特征因子对应一种数据源；将来自同一数据源的数据根据同一清洗特征因子进行清洗。
优选的，所述数据分类模块具体用于，
计算所述多源数据中任意两个数据之间的特征差异程度值，
将特征差异程度值小于预设值的数据放置在同一数据集中，其中，同一数据集对应同一类型的数据；
判断多个数据集中是否存在相同数据，若存在，则将多个数据集中存在的相同数据定义为数据A，且将数据A采用聚类分析法进行重新分类，得到数据A的最终数据类型；
保留与数据A的最终数据类型对应的数据集中的数据A，并删除与数据A的最终数据类型不对应的数据集中的数据A；
将更新后的数据集中作为数据分类结果，得到多个类型的数据。
优选的，所述数据缓存模块具体用于，根据数据类型以及依据特征差异程度值的大小顺序，对所有类型的所述分类数据进行分类排列缓存，生成分类缓存索引表。
优选的，在所述数据传输模块中，同一类型的数据采用同一传输协议进行传输。
本发明一种数据分析引擎的数据接入方法及系统对多源数据进行采集并进行统一的清洗、分类、缓存和传输，不需要多种程序代码，可以降低很多重复性的工作，开发、测试等成本低，维护容易。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种数据分析引擎的数据接入方法，其特征在于：包括以下步骤，
S1，采集多个数据源的数据并清洗，得到多源数据；
S2，基于数据分析引擎，并通过识别所述多源数据的数据特征对所述多源数据进行分类，得到多个类型的数据；
S3，对所有类型的数据进行分类缓存，并生成分类缓存索引表；
S4，根据数据接入指令在所述分类缓存索引表中进行查找，并根据查找的结果从缓存中获取相应的数据，且采用对应的传输协议进行数据传输；
所述S2具体为，
S21，计算所述多源数据中任意两个数据之间的特征差异程度值，
S22，将特征差异程度值小于预设值的数据放置在同一数据集中，其中，同一数据集对应同一类型的数据；
S23，判断多个数据集中是否存在相同数据，若存在，则将多个数据集中存在的相同数据定义为数据A，且将数据A采用聚类分析法进行重新分类，得到数据A的最终数据类型；
S24，保留与数据A的最终数据类型对应的数据集中的数据A，并删除与数据A的最终数据类型不对应的数据集中的数据A；
S25，将更新后的数据集中作为数据分类结果，得到多个类型的数据。
2.根据权利要求1所述的数据分析引擎的数据接入方法，其特征在于：所述S1具体为，采集多个数据源的数据，并根据数据清洗策略对采集到的数据进行清洗，过滤掉无用数据，得到多源数据；
其中，所述数据清洗策略包括多种清洗特征因子，每种清洗特征因子对应一种数据源；将来自同一数据源的数据根据同一清洗特征因子进行清洗。
3.根据权利要求1所述的数据分析引擎的数据接入方法，其特征在于：所述S3具体为，根据数据类型以及依据特征差异程度值的大小顺序，对所有类型的所述分类数据进行分类排列缓存，生成分类缓存索引表。
4.根据权利要求1或2或3所述的数据分析引擎的数据接入方法，其特征在于：在所述S4中，同一类型的数据采用同一传输协议进行传输。
5.一种数据分析引擎的数据接入系统，其特征在于：包括以下模块，
数据获取模块，其用于采集多个数据源的数据并清洗，得到多源数据；
数据分类模块，其用于基于数据分析引擎，并通过识别所述多源数据的数据特征对所述多源数据进行分类，得到多个类型的数据；
数据缓存模块，其用于对所有类型的数据进行分类缓存，并生成分类缓存索引表；
数据传输模块，其用于根据数据接入指令在所述分类缓存索引表中进行查找，并根据查找的结果从缓存中获取相应的数据，且采用对应的传输协议进行数据传输；
所述数据分类模块具体用于，
计算所述多源数据中任意两个数据之间的特征差异程度值，
将特征差异程度值小于预设值的数据放置在同一数据集中，其中，同一数据集对应同一类型的数据；
判断多个数据集中是否存在相同数据，若存在，则将多个数据集中存在的相同数据定义为数据A，且将数据A采用聚类分析法进行重新分类，得到数据A的最终数据类型；
保留与数据A的最终数据类型对应的数据集中的数据A，并删除与数据A的最终数据类型不对应的数据集中的数据A；
将更新后的数据集中作为数据分类结果，得到多个类型的数据。
6.根据权利要求5所述的数据分析引擎的数据接入系统，其特征在于：所述数据获取模块具体用于，采集多个数据源的数据，并根据数据清洗策略对采集到的数据进行清洗，过滤掉无用数据，得到多源数据；
其中，所述数据清洗策略包括多种清洗特征因子，每种清洗特征因子对应一种数据源；将来自同一数据源的数据根据同一清洗特征因子进行清洗。
7.根据权利要求5所述的数据分析引擎的数据接入系统，其特征在于：所述数据缓存模块具体用于，根据数据类型以及依据特征差异程度值的大小顺序，对所有类型的所述分类数据进行分类排列缓存，生成分类缓存索引表。
8.根据权利要求5或6或7所述的数据分析引擎的数据接入系统，其特征在于：在所述数据传输模块中，同一类型的数据采用同一传输协议进行传输。
CN202011378439.XA 2020-11-30 2020-11-30 一种数据分析引擎的数据接入方法及系统 Active CN112579581B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011378439.XA CN112579581B (zh) 2020-11-30 2020-11-30 一种数据分析引擎的数据接入方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011378439.XA CN112579581B (zh) 2020-11-30 2020-11-30 一种数据分析引擎的数据接入方法及系统

Publications (2)

Publication Number Publication Date
CN112579581A CN112579581A (zh) 2021-03-30
CN112579581B true CN112579581B (zh) 2023-04-14

Family

ID=75126553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011378439.XA Active CN112579581B (zh) 2020-11-30 2020-11-30 一种数据分析引擎的数据接入方法及系统

Country Status (1)

Country Link
CN (1) CN112579581B (zh)

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1191459A1 (en) * 2000-09-22 2002-03-27 Nightingale Technologies Ltd. Data clustering methods and applications
US7281085B1 (en) * 2005-01-31 2007-10-09 Netlogic Microsystems, Inc. Method and device for virtualization of multiple data sets on same associative memory
CN101620619A (zh) * 2009-08-07 2010-01-06 北京航空航天大学 一种基于聚类方法的测量数据粗大误差处理系统及处理方法
CN103400152A (zh) * 2013-08-20 2013-11-20 哈尔滨工业大学 基于分层聚类的滑动窗口多数据流异常检测方法
WO2015141157A1 (ja) * 2014-03-18 2015-09-24 日本電気株式会社 情報処理装置、及び、クラスタリング方法
CN107122369A (zh) * 2016-02-25 2017-09-01 阿里巴巴集团控股有限公司 一种业务数据处理方法、装置和系统
WO2017181660A1 (zh) * 2016-04-21 2017-10-26 华为技术有限公司 基于K-Means算法的数据聚类方法和装置
CN107341210A (zh) * 2017-06-26 2017-11-10 西安理工大学 Hadoop平台下的C‑DBSCAN‑K聚类算法
CN107463661A (zh) * 2017-07-31 2017-12-12 小草数语（北京）科技有限公司 数据的导入方法及装置
CN107463705A (zh) * 2017-08-17 2017-12-12 陕西优百信息技术有限公司 一种数据清洗方法
CN108763420A (zh) * 2018-05-24 2018-11-06 广州视源电子科技股份有限公司 数据对象的分类方法、装置、终端和计算机可读存储介质
CN109460914A (zh) * 2018-11-05 2019-03-12 云南大学 基于半监督的纠错学习的桥梁健康等级确定方法
CN109710601A (zh) * 2018-12-25 2019-05-03 国电大渡河大岗山水电开发有限公司 一种智能化水电厂运行数据清洗方法
CN110928862A (zh) * 2019-10-23 2020-03-27 深圳市华讯方舟太赫兹科技有限公司 数据清洗方法、数据清洗设备以及计算机存储介质
CN110990384A (zh) * 2019-11-04 2020-04-10 武汉中卫慧通科技有限公司 一种大数据平台bi分析方法
CN111339210A (zh) * 2018-12-18 2020-06-26 杭州海康威视数字技术股份有限公司 数据聚类方法及装置
CN111737320A (zh) * 2020-06-30 2020-10-02 中国平安财产保险股份有限公司 群体用户行为基线的建立方法、装置和计算机设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017211762A (ja) * 2016-05-24 2017-11-30 富士通株式会社 データ分類方法、データ分類装置およびデータ分類プログラム
CN106156791B (zh) * 2016-06-15 2021-03-30 北京京东尚科信息技术有限公司 业务数据分类方法和装置
CN107395669B (zh) * 2017-06-01 2020-04-07 华南理工大学 一种基于流式实时分布式大数据的数据采集方法及系统
US11301419B2 (en) * 2018-03-02 2022-04-12 Salesforce.Com, Inc. Data retention handling for data object stores
US11138238B2 (en) * 2018-07-20 2021-10-05 Visa International Service Association Method, system, and computer program product for managing source identifiers of clustered records
CN108988992A (zh) * 2018-08-28 2018-12-11 中国水产科学研究院渔业机械仪器研究所 一种渔船自适应传输内容选取及通信网络切换系统
CN109861995A (zh) * 2019-01-17 2019-06-07 安徽谛听信息科技有限公司 一种网络空间安全大数据智能分析方法、计算机可读介质
CN110161183A (zh) * 2019-05-30 2019-08-23 广东柯内特环境科技有限公司 一种空气质量监测方法
CN111597173A (zh) * 2020-04-02 2020-08-28 上海瀚之友信息技术服务有限公司 一种数据仓库系统

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1191459A1 (en) * 2000-09-22 2002-03-27 Nightingale Technologies Ltd. Data clustering methods and applications
US7281085B1 (en) * 2005-01-31 2007-10-09 Netlogic Microsystems, Inc. Method and device for virtualization of multiple data sets on same associative memory
CN101620619A (zh) * 2009-08-07 2010-01-06 北京航空航天大学 一种基于聚类方法的测量数据粗大误差处理系统及处理方法
CN103400152A (zh) * 2013-08-20 2013-11-20 哈尔滨工业大学 基于分层聚类的滑动窗口多数据流异常检测方法
WO2015141157A1 (ja) * 2014-03-18 2015-09-24 日本電気株式会社 情報処理装置、及び、クラスタリング方法
CN107122369A (zh) * 2016-02-25 2017-09-01 阿里巴巴集团控股有限公司 一种业务数据处理方法、装置和系统
WO2017181660A1 (zh) * 2016-04-21 2017-10-26 华为技术有限公司 基于K-Means算法的数据聚类方法和装置
CN107305637A (zh) * 2016-04-21 2017-10-31 华为技术有限公司 基于K-Means算法的数据聚类方法和装置
CN107341210A (zh) * 2017-06-26 2017-11-10 西安理工大学 Hadoop平台下的C‑DBSCAN‑K聚类算法
CN107463661A (zh) * 2017-07-31 2017-12-12 小草数语（北京）科技有限公司 数据的导入方法及装置
CN107463705A (zh) * 2017-08-17 2017-12-12 陕西优百信息技术有限公司 一种数据清洗方法
CN108763420A (zh) * 2018-05-24 2018-11-06 广州视源电子科技股份有限公司 数据对象的分类方法、装置、终端和计算机可读存储介质
CN109460914A (zh) * 2018-11-05 2019-03-12 云南大学 基于半监督的纠错学习的桥梁健康等级确定方法
CN111339210A (zh) * 2018-12-18 2020-06-26 杭州海康威视数字技术股份有限公司 数据聚类方法及装置
CN109710601A (zh) * 2018-12-25 2019-05-03 国电大渡河大岗山水电开发有限公司 一种智能化水电厂运行数据清洗方法
CN110928862A (zh) * 2019-10-23 2020-03-27 深圳市华讯方舟太赫兹科技有限公司 数据清洗方法、数据清洗设备以及计算机存储介质
CN110990384A (zh) * 2019-11-04 2020-04-10 武汉中卫慧通科技有限公司 一种大数据平台bi分析方法
CN111737320A (zh) * 2020-06-30 2020-10-02 中国平安财产保险股份有限公司 群体用户行为基线的建立方法、装置和计算机设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Li Jun Tao.The improvement and application of a K-means clustering algorithm.《2016 IEEE International Conference on Cloud Computing and Big Data Analysis (ICCCBDA)》.2016,第8卷199629-199637. *
占斌.基于层次聚类算法的商业数据分析.《中国优秀硕士学位论文全文数据库 信息科技辑》.2019,I138-511. *
安鲜儿.基于海量数据的企业营销资源优化研究与分析.《中国优秀硕士学位论文全文数据库 经济与管理科学辑》.2017,J152-354. *

Also Published As

Publication number Publication date
CN112579581A (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
CN104899314B (zh) 一种数据仓库的血统分析方法和装置
CN109213756B (zh) 数据存储、检索方法、装置、服务器和存储介质
CN103942210A (zh) 海量日志信息的处理方法、装置与系统
CN105389352A (zh) 日志处理方法和装置
CN111400288A (zh) 数据质量检查方法及系统
CN109992569A (zh) 集群日志特征提取方法、装置及存储介质
CN110069478A (zh) 面向医疗大数据的多源异构数据整合系统
CN113360554A (zh) 一种数据抽取、转换和加载etl的方法和设备
CN111125199B (zh) 一种数据库访问方法、装置及电子设备
CN115168512A (zh) 多维数据元融合实现数据收集和共享的时空数据湖方法
CN112613271A (zh) 数据分页方法、装置、计算机设备及存储介质
CN114996525A (zh) 一种大数据的分析方法及系统
CN112579581B (zh) 一种数据分析引擎的数据接入方法及系统
CN114090529A (zh) 一种日志管理方法、装置、系统和存储介质
CN111400414A (zh) 一种基于标准化企业数据的决策方法、系统及电子设备
CN115809226A (zh) 用于洗煤厂智能管理系统的数据对接方法及系统
CN112965948A (zh) 一种基于数据的管理服务中台系统
CN113722296A (zh) 一种农业信息处理方法、装置、电子设备及存储介质
CN110532253A (zh) 一种业务分析方法、系统及集群
CN112579552A (zh) 日志存储及调用方法、装置及系统
CN110928898A (zh) 数据采集方法、数据采集装置、存储介质及电子设备
CN110032523A (zh) 柴油机装配试验基于地址位动态定义的寄存器存储方法
CN112749750B (zh) 一种基于k均值聚类算法的搜索引擎聚合分析方法及系统
CN116795663B (zh) 一种跟踪分析trino引擎执行性能的方法
CN114596011B (zh) 基于人工智能的企业数据处理方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240125

Address after: No. 2, 11th Floor, Phase II (B2), Qilong Central Business Building, Block G (03) 07, Jinyang Street Office, Guanshanhu District, Guiyang City, Guizhou Province, 550000

Patentee after: Guiyang Longding Big Data Network Technology Co.,Ltd.

Country or region after: China

Address before: 550014 No.1, 1 / F, 13 / F, Guiyang science and technology building, No.53 Bijie Road, Jinyang science and Technology Industrial Park, national high tech Industrial Development Zone, Guiyang City, Guizhou Province

Patentee before: GUIZHOU LICHUANG TECHNOLOGY DEVELOPMENT Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right