CN111600902B - 自动数据处理与多协议接入的数据分析平台 - Google Patents

自动数据处理与多协议接入的数据分析平台 Download PDF

Info

Publication number
CN111600902B
CN111600902B CN202010469561.1A CN202010469561A CN111600902B CN 111600902 B CN111600902 B CN 111600902B CN 202010469561 A CN202010469561 A CN 202010469561A CN 111600902 B CN111600902 B CN 111600902B
Authority
CN
China
Prior art keywords
data
data analysis
analysis
platform
protocol access
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010469561.1A
Other languages
English (en)
Other versions
CN111600902A (zh
Inventor
魏陆炀
谭耀飞
汪建豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Zhongyan Technology Co ltd
Original Assignee
Guangzhou Zhongyan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Zhongyan Technology Co ltd filed Critical Guangzhou Zhongyan Technology Co ltd
Priority to CN202010469561.1A priority Critical patent/CN111600902B/zh
Publication of CN111600902A publication Critical patent/CN111600902A/zh
Application granted granted Critical
Publication of CN111600902B publication Critical patent/CN111600902B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/18—Multiprotocol handlers, e.g. single devices capable of handling multiple protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了自动数据处理与多协议接入的数据分析平台，自动数据处理与多协议接入的数据分析平台具有以下特征：第一步：自动数据处理；用户在客户端上浏览所提供的算法，选择指定一项算法，随后进行数据导入、简单配置算法参数；第二步：多协议接入；用户可在客户端上导入数据，除了本地上传数据，还可使用各种协议导入；第三步：数据分析模版；自动数据处理与多协议接入的数据分析平台包含的分析模版为结果输出的分析模版；第四步：跨平台协同工作；用户可在处于同一个局域网内的多个客户端上对已经保存的数据分析任务进行操作。可以自动处理数据，无需人为对数据进行预处理。

Description

自动数据处理与多协议接入的数据分析平台
技术领域
本发明属于数据分析平台技术领域，具体为自动数据处理与多协议接入的数据分析平台。
背景技术
21世纪是数据时代，每一家成功的互联网企业都离不开数据分析，数据分析即将成为一项基本技能。随着数据时代的逐渐发展，诞生了许多数据分析软件，如目前最流行的软件SPSS。
这些数据分析软件，往往伴有时代的特征，复杂、配置项多是这些软件的最大缺点，在分析一项数据时，很多情况下需要十个以上的操作步骤：导入数据，筛选数据，数据预处理，配置算法参数，人为处理分析结果。
目前的数据分析工具主要有以下缺点：1、无法自动处理数据，需要人为对数据进行预处理，如一些算法需要用户自行转为矩阵等；2、不支持多协议远程导入，通常情况下仅支持本地文件导入，不支持FTP、SFTP、HTTP、数据库连接等；3、无法跨平台协同工作，现有的解决方案往往只能在一个客户端上进行处理，无法在多个客户端上无缝操作同一项任务；4、不支持分析任务并行分析，现有的解决方案通常在同一时间下仅能分析一项任务，无法同时分析多个任务；5、不具备数据分析模版，重复性劳动多；6、一些解决方案需要通过编程才能实现某些特定的数据分析算法。
发明内容
本发明的目的在于提供自动数据处理与多协议接入的数据分析平台，以解决数据分析工具存在缺点的问题。
为实现上述目的，本发明提供如下技术方案：自动数据处理与多协议接入的数据分析平台，其特征在于：自动数据处理与多协议接入的数据分析平台具有以下特征：
第一步：自动数据处理；
用户在客户端上浏览所提供的算法，选择指定一项算法，随后进行数据导入、简单配置算法参数；
第二步：多协议接入；
用户可在客户端上导入数据，除了本地上传数据，还可使用各种协议导入；
第三步：数据分析模版；
自动数据处理与多协议接入的数据分析平台包含的分析模版为结果输出的分析模版；
第四步：跨平台协同工作；
用户可在处于同一个局域网内的多个客户端上对已经保存的数据分析任务进行操作。
优选的，所述自动数据处理与多协议接入的数据分析平台如下：
S1：开始；
S2：导入或指定现有数据；
S3：选择算法；
S4：筛选数据
S5：配置算法；
S6：开始分析；
S7：结束。
优选的，所述第二步中的协议导入包括支持SMB远程导入、FTP远程导入、SFTP远程导入、HTTP远程导入和数据库连接远程导入。
优选的，所述第三步中的模版数据分析步骤如下：
S1：客户端指定算法；
S2：从数据分析模版库中获取分析模版；
S3：与数据分析计算结果进行结合；
S4：获取完整的数据分析输出结果。
优选的，所述第四步中的跨平台协同工作步骤如下：
S1：采用B/S架构；
S2：不同客户端的用户安装对应客户端的浏览器；
S3：通过HTTP协议访问自动数据处理与多协议接入的数据分析平台。
优选的，所述S2中的客户端包括便携式电话终端和个人电脑终端。
与现有技术相比，本发明的有益效果是：1、可以自动处理数据，无需人为对数据进行预处理；
2、支持多协议远程导入，支持FTP、SFTP、HTTP、数据库连接等；
3、可跨平台协同工作，能够在多个客户端上无缝操作同一项任务；
4、支持分析任务并行分析，可同时分析多个任务；
5、具备数据分析模版，无需重复性劳动；
6、一些解决方案不需要通过编程即可实现某些特定的数据分析算法。
附图说明
图1为本发明的数据分析操作流程图；
图2为本发明的跨平台协同工作原理图；
图3为本发明的数据分析模版工作原理图。
具体实施方式
请参阅图1、图2和图3，自动数据处理与多协议接入的数据分析平台，其特征在于：自动数据处理与多协议接入的数据分析平台具有以下特征：
第一步：自动数据处理；
用户在客户端上浏览所提供的算法，选择指定一项算法，随后进行数据导入、简单配置算法参数；
第二步：多协议接入；
用户可在客户端上导入数据，除了本地上传数据，还可使用各种协议导入；
第三步：数据分析模版；
自动数据处理与多协议接入的数据分析平台包含的分析模版为结果输出的分析模版；
第四步：跨平台协同工作；
用户可在处于同一个局域网内的多个客户端上对已经保存的数据分析任务进行操作。
参阅图1，自动数据处理与多协议接入的数据分析平台如下：
S1：开始；
S2：导入或指定现有数据；
S3：选择算法；
S4：筛选数据
S5：配置算法；
S6：开始分析；
S7：结束。
参阅图2，第二步中的协议导入包括支持SMB远程导入、FTP远程导入、SFTP远程导入、HTTP远程导入和数据库连接远程导入。
参阅图3，第三步中的模版数据分析步骤如下：
S1：客户端指定算法；
S2：从数据分析模版库中获取分析模版；
S3：与数据分析计算结果进行结合；
S4：获取完整的数据分析输出结果。
参阅图2，第四步中的跨平台协同工作步骤如下：
S1：采用B/S架构；
S2：不同客户端的用户安装对应客户端的浏览器；
S3：通过HTTP协议访问自动数据处理与多协议接入的数据分析平台。
参阅图2，S2中的客户端包括便携式电话终端和个人电脑终端。
本方案的工作原理是：自动处理数据与多协议接入的数据分析平台具有以下特征：自动数据处理、多协议接入、数据分析模版、跨平台协同工作。
自动数据处理：
用户在客户端上浏览所提供的算法，选择指定一项算法，随后进行数据导入、简单配置算法参数，本文所述平台即能开始数据分析，而在这个过程中，用户仅需为算法指定使用的数据，由平台根据算法自动数据处理，将数据处理为算法所需的形态。
多协议接入：
用户可在客户端上导入数据，除了本地上传数据，还可使用各种协议导入，包括支持SMB远程导入、FTP远程导入、SFTP远程导入、HTTP远程导入、数据库连接远程导入等。
数据分析模版：
自动数据处理与多协议接入的数据分析平台包含的分析模版为结果输出的分析模版，如附图3，该分析模版为每一项支持算法提供动态模版，该模版的包含了该算法的一些必要固定输出，并将不同数据分析得出的不通结果为模版提供数据支持，通过首先根据客户端指定算法从数据分析模版库中获取分析模版，再与数据分析计算结果进行结合，即可获取完整的数据分析输出结果。
跨平台协同工作：
用户可在处于同一个局域网内的多个客户端上对已经保存的数据分析任务进行操作，本平台采用B/S架构如附图2跨平台协同工作原理图，用户仅需要在个人电脑设备上安装一次服务程序即可跨平台使用，而不同的系统平台的客户端，安装该平台下的浏览器即可通过HTTP协议访问本协议平台。

Claims (1)

1.自动数据处理与多协议接入的数据分析平台，其特征在于：自动数据处理与多协议接入的数据分析平台具有以下特征：
第一步：自动数据处理；
用户在客户端上浏览所提供的算法，选择指定一项算法，随后进行数据导入、简单配置算法参数；
第二步：多协议接入；
用户在客户端上导入数据，包括本地上传数据，或使用各种协议导入；
第三步：数据分析模版；
自动数据处理与多协议接入的数据分析平台包含的分析模版为结果输出的分析模版；
第四步：跨平台协同工作；
用户可在处于同一个局域网内的多个客户端上对已经保存的数据分析任务进行操作；
所述自动数据处理与多协议接入的数据分析平台还包括以下特征：
S1：开始；
S2：导入或指定现有数据；
S3：选择算法；
S4：筛选数据
S5：配置算法；
S6：开始分析；
S7：结束；
所述第二步中的协议导入包括支持SMB远程导入、FTP远程导入、SFTP远程导入、HTTP远程导入和数据库连接远程导入；
所述第三步中的模版数据分析步骤如下：
S1：客户端指定算法；
S2：从数据分析模版库中获取分析模版；
S3：与数据分析计算结果进行结合；
S4：获取完整的数据分析输出结果；
所述第四步中的跨平台协同工作步骤如下：
S1：采用B/S架构；
S2：不同客户端的用户安装对应客户端的浏览器；
S3：通过HTTP协议访问自动数据处理与多协议接入的数据分析平台；
所述第四步中的S2中的客户端包括便携式电话终端和个人电脑终端。
CN202010469561.1A 2020-05-28 2020-05-28 自动数据处理与多协议接入的数据分析平台 Active CN111600902B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010469561.1A CN111600902B (zh) 2020-05-28 2020-05-28 自动数据处理与多协议接入的数据分析平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010469561.1A CN111600902B (zh) 2020-05-28 2020-05-28 自动数据处理与多协议接入的数据分析平台

Publications (2)

Publication Number Publication Date
CN111600902A CN111600902A (zh) 2020-08-28
CN111600902B true CN111600902B (zh) 2022-08-05

Family

ID=72189571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010469561.1A Active CN111600902B (zh) 2020-05-28 2020-05-28 自动数据处理与多协议接入的数据分析平台

Country Status (1)

Country Link
CN (1) CN111600902B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110119271A (zh) * 2018-12-19 2019-08-13 厦门渊亭信息科技有限公司 一种跨机器学习平台的模型定义协议及适配系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104298496B (zh) * 2013-07-19 2017-06-23 上海宝信软件股份有限公司 数据分析型软件开发框架系统
ITUB20155063A1 (it) * 2015-10-16 2017-04-16 Univ Degli Studi Di Roma La Sapienza Roma ?metodo e dispositivo per selezionare dinamicamente ed in modo autonomo nel tempo, la migliore soluzione da usare per la comunicazione fra i diversi nodi di una rete di sensori sottomarina, al fine di adattarsi automaticamente alle condizioni mutevoli dell?ambiente sottomarino?
CN106649773A (zh) * 2016-12-27 2017-05-10 北京大数有容科技有限公司 一种大数据协同分析工具平台
US20200019567A1 (en) * 2018-07-10 2020-01-16 Jabberwocky Publishing LLC Analytics Platform for Streaming Media and Methods Thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110119271A (zh) * 2018-12-19 2019-08-13 厦门渊亭信息科技有限公司 一种跨机器学习平台的模型定义协议及适配系统

Also Published As

Publication number Publication date
CN111600902A (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
US10607144B2 (en) Systems and methods for modeling machine learning and data analytics
CN111368520A (zh) 一种电子表格的编辑方法及设备
CN102222062A (zh) 即时通信系统用户空间页面个性化设置方法及其装置
US20200097719A1 (en) Converting a captured image of a layout to a structured document template
CN109902251A (zh) 基于决策树的方案选择方法、装置、终端及可读存储介质
CN111600902B (zh) 自动数据处理与多协议接入的数据分析平台
CN113806429A (zh) 基于大数据流处理框架的画布式日志分析方法
CN111405033B (zh) 数据采集方法、装置、计算机设备及存储介质
KR20190053478A (ko) 종합 상품 정보 제공 방법
CN115687717A (zh) Grok表达式获取方法、装置、设备及计算机可读存储介质
CN113326237A (zh) 日志数据的加工方法、装置、终端设备以及存储介质
CN111242468A (zh) 一种基于分布式的自动化生成评估报告的方法
CN112506521B (zh) 一种面向数据流模型的高阶调用代码生成方法及装置
CN112487770A (zh) 一种表数据管理方法、存储介质以及计算机
EP3828735A1 (en) Method, device and system for forming fusion model, medium, processor and terminal
JP2000173882A (ja) 生産シミュレーションシステム
US11250202B2 (en) System and method for large volume data streaming as a service
CN116991607B (zh) 用于大数据中台和平台间通信的适配方法、系统及设备
CN113971065B (zh) 一种rpa企业流程自动化中画中画的实现方法
CN112685010B (zh) 一种ai应用开发方法及系统
CN113298538B (zh) 客服数据的处理方法及装置
CN115794033B (zh) Rpa命令库的定制方法、装置、电子设备及存储介质
JP6732358B1 (ja) 自動会話アプリケーションの作製方法
CN115203939A (zh) 一种设备的分析与预测方法、装置及设备
CN100395673C (zh) 铣削加工代码生成系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 510000 Kaide chuangmeng space (self number) on the first floor of building C2, innovation building, No. 182, science Avenue, Science City, high tech Industrial Development Zone, Huangpu District, Guangzhou, Guangdong Province:106) office card slot 116 510000 Kaide chuangmeng space (self No.: 106) office Card No. 116, first floor, annex building C2, innovation building, No. 182, science Avenue, Science City, high tech Industrial Development Zone, Huangpu District, Guangzhou, Guangdong Province

Applicant after: Guangzhou Zhongyan Technology Co.,Ltd.

Address before: 510000 Kaide chuangmeng space (self number, No. 106) office Card No. 116, the first floor of Building 2, innovation building, No. 12, science Avenue, Science City, high tech Industrial Development Zone, Huangpu District, Guangzhou, Guangdong Province

Applicant before: Guangzhou Wanling Data Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant