CN112579581A - 一种数据分析引擎的数据接入方法及系统 - Google Patents
一种数据分析引擎的数据接入方法及系统 Download PDFInfo
- Publication number
- CN112579581A CN112579581A CN202011378439.XA CN202011378439A CN112579581A CN 112579581 A CN112579581 A CN 112579581A CN 202011378439 A CN202011378439 A CN 202011378439A CN 112579581 A CN112579581 A CN 112579581A
- Authority
- CN
- China
- Prior art keywords
- data
- source
- same
- analysis engine
- cleaning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007405 data analysis Methods 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000004140 cleaning Methods 0.000 claims abstract description 41
- 230000005540 biological transmission Effects 0.000 claims abstract description 22
- 238000007621 cluster analysis Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 2
- 238000011161 development Methods 0.000 description 4
- 230000003252 repetitive effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
Description
Claims (10)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011378439.XA CN112579581B (zh) | 2020-11-30 | 2020-11-30 | 一种数据分析引擎的数据接入方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011378439.XA CN112579581B (zh) | 2020-11-30 | 2020-11-30 | 一种数据分析引擎的数据接入方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112579581A true CN112579581A (zh) | 2021-03-30 |
CN112579581B CN112579581B (zh) | 2023-04-14 |
Family
ID=75126553
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011378439.XA Active CN112579581B (zh) | 2020-11-30 | 2020-11-30 | 一种数据分析引擎的数据接入方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112579581B (zh) |
Citations (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1191459A1 (en) * | 2000-09-22 | 2002-03-27 | Nightingale Technologies Ltd. | Data clustering methods and applications |
US7281085B1 (en) * | 2005-01-31 | 2007-10-09 | Netlogic Microsystems, Inc. | Method and device for virtualization of multiple data sets on same associative memory |
CN101620619A (zh) * | 2009-08-07 | 2010-01-06 | 北京航空航天大学 | 一种基于聚类方法的测量数据粗大误差处理系统及处理方法 |
CN103400152A (zh) * | 2013-08-20 | 2013-11-20 | 哈尔滨工业大学 | 基于分层聚类的滑动窗口多数据流异常检测方法 |
WO2015141157A1 (ja) * | 2014-03-18 | 2015-09-24 | 日本電気株式会社 | 情報処理装置、及び、クラスタリング方法 |
CN107122369A (zh) * | 2016-02-25 | 2017-09-01 | 阿里巴巴集团控股有限公司 | 一种业务数据处理方法、装置和系统 |
WO2017181660A1 (zh) * | 2016-04-21 | 2017-10-26 | 华为技术有限公司 | 基于K-Means算法的数据聚类方法和装置 |
CN107341210A (zh) * | 2017-06-26 | 2017-11-10 | 西安理工大学 | Hadoop平台下的C‑DBSCAN‑K聚类算法 |
CN107395669A (zh) * | 2017-06-01 | 2017-11-24 | 华南理工大学 | 一种基于流式实时分布式大数据的数据采集方法及系统 |
US20170344659A1 (en) * | 2016-05-24 | 2017-11-30 | Fujitsu Limited | Method for classifying data, data classification apparatus, and medium |
CN107463705A (zh) * | 2017-08-17 | 2017-12-12 | 陕西优百信息技术有限公司 | 一种数据清洗方法 |
CN107463661A (zh) * | 2017-07-31 | 2017-12-12 | 小草数语(北京)科技有限公司 | 数据的导入方法及装置 |
CN108763420A (zh) * | 2018-05-24 | 2018-11-06 | 广州视源电子科技股份有限公司 | 数据对象的分类方法、装置、终端和计算机可读存储介质 |
CN108988992A (zh) * | 2018-08-28 | 2018-12-11 | 中国水产科学研究院渔业机械仪器研究所 | 一种渔船自适应传输内容选取及通信网络切换系统 |
CN109460914A (zh) * | 2018-11-05 | 2019-03-12 | 云南大学 | 基于半监督的纠错学习的桥梁健康等级确定方法 |
CN109710601A (zh) * | 2018-12-25 | 2019-05-03 | 国电大渡河大岗山水电开发有限公司 | 一种智能化水电厂运行数据清洗方法 |
CN109861995A (zh) * | 2019-01-17 | 2019-06-07 | 安徽谛听信息科技有限公司 | 一种网络空间安全大数据智能分析方法、计算机可读介质 |
US20190197057A1 (en) * | 2016-06-15 | 2019-06-27 | Beijing Jingdong Shangke Information Technology Co Ltd. | A classification method and a classification device for service data |
CN110161183A (zh) * | 2019-05-30 | 2019-08-23 | 广东柯内特环境科技有限公司 | 一种空气质量监测方法 |
US20190272335A1 (en) * | 2018-03-02 | 2019-09-05 | Salesforce.Com, Inc. | Data retention handling for data object stores |
US20200026717A1 (en) * | 2018-07-20 | 2020-01-23 | Visa International Service Association | Method, System, and Computer Program Product for Managing Source Identifiers of Clustered Records |
CN110928862A (zh) * | 2019-10-23 | 2020-03-27 | 深圳市华讯方舟太赫兹科技有限公司 | 数据清洗方法、数据清洗设备以及计算机存储介质 |
CN110990384A (zh) * | 2019-11-04 | 2020-04-10 | 武汉中卫慧通科技有限公司 | 一种大数据平台bi分析方法 |
CN111339210A (zh) * | 2018-12-18 | 2020-06-26 | 杭州海康威视数字技术股份有限公司 | 数据聚类方法及装置 |
CN111597173A (zh) * | 2020-04-02 | 2020-08-28 | 上海瀚之友信息技术服务有限公司 | 一种数据仓库系统 |
CN111737320A (zh) * | 2020-06-30 | 2020-10-02 | 中国平安财产保险股份有限公司 | 群体用户行为基线的建立方法、装置和计算机设备 |
-
2020
- 2020-11-30 CN CN202011378439.XA patent/CN112579581B/zh active Active
Patent Citations (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1191459A1 (en) * | 2000-09-22 | 2002-03-27 | Nightingale Technologies Ltd. | Data clustering methods and applications |
US7281085B1 (en) * | 2005-01-31 | 2007-10-09 | Netlogic Microsystems, Inc. | Method and device for virtualization of multiple data sets on same associative memory |
CN101620619A (zh) * | 2009-08-07 | 2010-01-06 | 北京航空航天大学 | 一种基于聚类方法的测量数据粗大误差处理系统及处理方法 |
CN103400152A (zh) * | 2013-08-20 | 2013-11-20 | 哈尔滨工业大学 | 基于分层聚类的滑动窗口多数据流异常检测方法 |
WO2015141157A1 (ja) * | 2014-03-18 | 2015-09-24 | 日本電気株式会社 | 情報処理装置、及び、クラスタリング方法 |
CN107122369A (zh) * | 2016-02-25 | 2017-09-01 | 阿里巴巴集团控股有限公司 | 一种业务数据处理方法、装置和系统 |
WO2017181660A1 (zh) * | 2016-04-21 | 2017-10-26 | 华为技术有限公司 | 基于K-Means算法的数据聚类方法和装置 |
CN107305637A (zh) * | 2016-04-21 | 2017-10-31 | 华为技术有限公司 | 基于K-Means算法的数据聚类方法和装置 |
US20170344659A1 (en) * | 2016-05-24 | 2017-11-30 | Fujitsu Limited | Method for classifying data, data classification apparatus, and medium |
US20190197057A1 (en) * | 2016-06-15 | 2019-06-27 | Beijing Jingdong Shangke Information Technology Co Ltd. | A classification method and a classification device for service data |
CN107395669A (zh) * | 2017-06-01 | 2017-11-24 | 华南理工大学 | 一种基于流式实时分布式大数据的数据采集方法及系统 |
CN107341210A (zh) * | 2017-06-26 | 2017-11-10 | 西安理工大学 | Hadoop平台下的C‑DBSCAN‑K聚类算法 |
CN107463661A (zh) * | 2017-07-31 | 2017-12-12 | 小草数语(北京)科技有限公司 | 数据的导入方法及装置 |
CN107463705A (zh) * | 2017-08-17 | 2017-12-12 | 陕西优百信息技术有限公司 | 一种数据清洗方法 |
US20190272335A1 (en) * | 2018-03-02 | 2019-09-05 | Salesforce.Com, Inc. | Data retention handling for data object stores |
CN108763420A (zh) * | 2018-05-24 | 2018-11-06 | 广州视源电子科技股份有限公司 | 数据对象的分类方法、装置、终端和计算机可读存储介质 |
US20200026717A1 (en) * | 2018-07-20 | 2020-01-23 | Visa International Service Association | Method, System, and Computer Program Product for Managing Source Identifiers of Clustered Records |
CN108988992A (zh) * | 2018-08-28 | 2018-12-11 | 中国水产科学研究院渔业机械仪器研究所 | 一种渔船自适应传输内容选取及通信网络切换系统 |
CN109460914A (zh) * | 2018-11-05 | 2019-03-12 | 云南大学 | 基于半监督的纠错学习的桥梁健康等级确定方法 |
CN111339210A (zh) * | 2018-12-18 | 2020-06-26 | 杭州海康威视数字技术股份有限公司 | 数据聚类方法及装置 |
CN109710601A (zh) * | 2018-12-25 | 2019-05-03 | 国电大渡河大岗山水电开发有限公司 | 一种智能化水电厂运行数据清洗方法 |
CN109861995A (zh) * | 2019-01-17 | 2019-06-07 | 安徽谛听信息科技有限公司 | 一种网络空间安全大数据智能分析方法、计算机可读介质 |
CN110161183A (zh) * | 2019-05-30 | 2019-08-23 | 广东柯内特环境科技有限公司 | 一种空气质量监测方法 |
CN110928862A (zh) * | 2019-10-23 | 2020-03-27 | 深圳市华讯方舟太赫兹科技有限公司 | 数据清洗方法、数据清洗设备以及计算机存储介质 |
CN110990384A (zh) * | 2019-11-04 | 2020-04-10 | 武汉中卫慧通科技有限公司 | 一种大数据平台bi分析方法 |
CN111597173A (zh) * | 2020-04-02 | 2020-08-28 | 上海瀚之友信息技术服务有限公司 | 一种数据仓库系统 |
CN111737320A (zh) * | 2020-06-30 | 2020-10-02 | 中国平安财产保险股份有限公司 | 群体用户行为基线的建立方法、装置和计算机设备 |
Non-Patent Citations (4)
Title |
---|
LI JUN TAO: "The improvement and application of a K-means clustering algorithm" * |
占斌: "基于层次聚类算法的商业数据分析" * |
安鲜儿: "基于海量数据的企业营销资源优化研究与分析" * |
罗熹: "《内容中心网络的缓存技术研究》", 31 October 2018 * |
Also Published As
Publication number | Publication date |
---|---|
CN112579581B (zh) | 2023-04-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Taleb et al. | Big data pre-processing: A quality framework | |
CN104899314B (zh) | 一种数据仓库的血统分析方法和装置 | |
CN103942210A (zh) | 海量日志信息的处理方法、装置与系统 | |
CN105389352A (zh) | 日志处理方法和装置 | |
CN112016828B (zh) | 基于流式大数据的工业设备健康管理云平台架构 | |
CN109992569A (zh) | 集群日志特征提取方法、装置及存储介质 | |
CN111400288A (zh) | 数据质量检查方法及系统 | |
CN113360554A (zh) | 一种数据抽取、转换和加载etl的方法和设备 | |
CN111125199B (zh) | 一种数据库访问方法、装置及电子设备 | |
CN111914013A (zh) | 基于pandas库与InfluxDB数据库的数据管理方法、系统、终端及介质 | |
CN106599189A (zh) | 基于云计算的动态Skyline查询装置 | |
CN114996525A (zh) | 一种大数据的分析方法及系统 | |
CN112579581B (zh) | 一种数据分析引擎的数据接入方法及系统 | |
CN114090529A (zh) | 一种日志管理方法、装置、系统和存储介质 | |
CN115809226A (zh) | 用于洗煤厂智能管理系统的数据对接方法及系统 | |
CN112148719B (zh) | 基于olap预计算模型的数据加工查询方法及装置 | |
CN114969083A (zh) | 一种实时数据分析方法及系统 | |
CN112965948A (zh) | 一种基于数据的管理服务中台系统 | |
CN110532253A (zh) | 一种业务分析方法、系统及集群 | |
CN110928898A (zh) | 数据采集方法、数据采集装置、存储介质及电子设备 | |
CN112579552A (zh) | 日志存储及调用方法、装置及系统 | |
CN110032523A (zh) | 柴油机装配试验基于地址位动态定义的寄存器存储方法 | |
CN117573752A (zh) | 一种大数据信息统计采集方法及系统 | |
CN114596011B (zh) | 基于人工智能的企业数据处理方法及相关装置 | |
Liu et al. | Dynamic wavelet synopses management over sliding windows in sensor networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20240125 Address after: No. 2, 11th Floor, Phase II (B2), Qilong Central Business Building, Block G (03) 07, Jinyang Street Office, Guanshanhu District, Guiyang City, Guizhou Province, 550000 Patentee after: Guiyang Longding Big Data Network Technology Co.,Ltd. Country or region after: China Address before: 550014 No.1, 1 / F, 13 / F, Guiyang science and technology building, No.53 Bijie Road, Jinyang science and Technology Industrial Park, national high tech Industrial Development Zone, Guiyang City, Guizhou Province Patentee before: GUIZHOU LICHUANG TECHNOLOGY DEVELOPMENT Co.,Ltd. Country or region before: China |
|
TR01 | Transfer of patent right |