CN112801304A - 一种数据自动分析与建模流程 - Google Patents
一种数据自动分析与建模流程 Download PDFInfo
- Publication number
- CN112801304A CN112801304A CN202110283956.7A CN202110283956A CN112801304A CN 112801304 A CN112801304 A CN 112801304A CN 202110283956 A CN202110283956 A CN 202110283956A CN 112801304 A CN112801304 A CN 112801304A
- Authority
- CN
- China
- Prior art keywords
- data
- model
- analysis
- steps
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000008569 process Effects 0.000 title claims abstract description 47
- 238000007405 data analysis Methods 0.000 title claims abstract description 21
- 238000010801 machine learning Methods 0.000 claims abstract description 22
- 238000004458 analytical method Methods 0.000 claims abstract description 17
- 238000005516 engineering process Methods 0.000 claims abstract description 14
- 238000013523 data management Methods 0.000 claims abstract description 10
- 230000010354 integration Effects 0.000 claims abstract description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 12
- 238000013515 script Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000007726 management method Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 238000012098 association analyses Methods 0.000 claims description 3
- 238000013500 data storage Methods 0.000 claims description 3
- 230000002068 genetic effect Effects 0.000 claims description 3
- 238000012417 linear regression Methods 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 238000000513 principal component analysis Methods 0.000 claims description 3
- 238000009877 rendering Methods 0.000 claims description 3
- 238000012706 support-vector machine Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000013450 outlier detection Methods 0.000 claims description 2
- 230000003993 interaction Effects 0.000 abstract description 5
- 238000012545 processing Methods 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000009411 base construction Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/12—Computing arrangements based on biological models using genetic models
- G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Physiology (AREA)
- Genetics & Genomics (AREA)
- Medical Informatics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据自动分析与建模流程，该流程包括以下步骤：S1、将数据管理、数据透视、特征选择、模型搜索、报告生成、模型预测、模型迭代和数据追加8个步骤以及自动机器学习中的超参数搜索、自动特征工程整合简化为一个流程；S2、结合分布式计算、分布式存储、远程过程调用以及浏览器和服务器架构技术，将所述流程实例化为一个系统，且所述流程中的每个步骤分别对应所述系统中相应的功能模块。有益效果：将数据分析及建模封装成一种简单、易操作的流程，大大降低了基于机器学习的数据分析与建模门槛，并通过网页实现交互，既使无机器学习背景的用户，也能训练并选择出最优的模型。
Description
技术领域
本发明涉及自动机器学习和数据建模分析领域，具体来说，涉及一种数据自动分析与建模流程。
背景技术
机器学习方法在数据分析与挖掘中的应用越来越广泛，但目前各大公司对数据的分析和挖掘还是靠机器学习专家来完成。既使经验丰富的机器学习专家在分析或挖掘数据时，也需要先从繁琐的数据处理、数据统计分析开始，然后根据经验和数据分布选择算法进行验证和测试，而所选算法是否合适还要靠大量的实验来证明，该过程耗时耗力。同时，常用的机器学习算法都含有一定数量的超参数，如何针对当前数据选择合适的超参数，又是一个繁琐且具有挑战性的工作。
针对上述问题，自动机器学习逐渐受到工业界的重视。各大IT巨头都搭建或者尝试搭建自动机器学习平台，以降低机器学习技术的使用门槛，但流程依然很繁琐，无机器学习知识的用户使用起来依然有难度。同时，已有的开源机器学习平台，如：AutoWeka、Auto-sklearn、TPOT，虽然已经做了较高的封装，但对缺少机器学习知识的用户依然很不友好。
针对上述的相关问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明提出一种数据自动分析与建模流程，以克服现有相关技术所存在的上述技术问题。
为此，本发明采用的具体技术方案如下：
一种数据自动分析与建模流程，该流程包括以下步骤：
S1、将数据管理、数据透视、特征选择、模型搜索、报告生成、模型预测、模型迭代和数据追加8个步骤以及自动机器学习中的超参数搜索、自动特征工程整合简化为一个流程；
S2、结合分布式计算、分布式存储、远程过程调用以及浏览器和服务器(B/S)架构技术，将所述流程实例化为一个系统，且所述流程中的每个步骤分别对应所述系统中相应的功能模块。
进一步的，所述数据管理实现数据集上传、数据集属性管理、数据集追加和目标列自主选择功能，包括以下步骤：
S111、在数据加载中，引入数据转换层；
S112、通过数据转换层使用策略模式，向前对接不同类型的数据源，向后使用数据类型推断、表头字段推理技术将不同来源的数据格式化，并输出CSV格式文件提供给数据入库模块使用。
进一步的，所述数据透视实现数据分布分析、分析结果图表绘制、数据预处理、特征关联分析及工具集功能，包括以下步骤：
S121、将数据在网页上渲染展示，并根据用户的需求自由组合特征例和目标例进行建模；
S122、根据选择的数据调用非监督学习或监督学习算法对数据进行分析，并以图表的方式展示分析结果。
进一步的，所述特征选择实现重要特征筛选、缺失值补全及异常值检测功能。
进一步的，所述模型搜索实现超参数搜索引擎、元学习引擎、神经网络架构搜索、模型库构建及算法搜索空间定义功能，包括以下步骤：
S141、通过遗传算法为不同模型选定超参数，并在数据集上进行训练；
S142、根据评估结果推荐前十个最好的数据预处理和预测模型；
S143、根据推荐结果，结合使用场景及应用行业自定义算法搜索空间。
进一步的，所述报告生成实现特征分析报告、模型训练报告和模型源代码的生成，包括以下步骤：
S151、通过解析模型代码结构之间的依赖关系，生成模型依赖及组合流程图；
S152、根据模型训练结果和搜索到的最优超参数，生成模型代码，将搜索到的排名前十个模型的源代码打包并生成下载链接；
S153、从模型代码中自动推断模型依赖的包并生成脚本，通过运行脚本自动安装配置模型运行所依赖的环境。
进一步的，所述模型预测包括以下步骤：
S161、通过守护进程动态加载生成的模型文件，并以远程过程调用的方式对外提供服务；
S162、根据输入的预测数据，服务可返回预测结果、评价指标、预测曲线或混淆矩阵。
进一步的，所述模型迭代包括以下步骤：
S171、通过版本控制对每次训练输出的模型进行版本管理，并对同一模型不同参数情况下的性能进行对比。
进一步的，所述数据追加包括以下步骤：
S181、当模型预测结果未达到预期时，进行数据追加、模型调整、模型检索范围扩展及训练特征增减。
进一步的，所述非监督学习算法包括但不限于聚类与主成分分析；所述监督学习算法包括但不限于广义线性回归(logistic)、支持向量机及岭回归。
本发明的有益效果为：通过采用参数搜索、神经网络架构搜索技术以及B/S软件架构，将数据管理、数据透视、特征选择、模型搜索、报告生成、模型预测、模型迭代和数据追加过程以及自动机器学习技术相结合，封装成一种简单、易操作的流程，大大降低了基于机器学习的数据分析与建模门槛，并通过网页实现交互，既使无机器学习背景的用户，也能在默认参数基础上，通过简单的交互操作，训练出最优的模型。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种数据自动分析与建模流程的流程图；
图2是根据本发明实施例的一种数据自动分析与建模流程的服务方案图；
图3是根据本发明实施例的一种数据自动分析与建模流程的实施架构图。
具体实施方式
为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点，图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。
根据本发明的实施例，提供了一种数据自动分析与建模流程。
现结合附图和具体实施方式对本发明进一步说明，如图1-3所示，根据本发明实施例的数据自动分析与建模流程，该流程包括以下步骤：
S1、将数据管理、数据透视、特征选择、模型搜索、报告生成、模型预测、模型迭代和数据追加8个步骤以及自动机器学习中的超参数搜索、自动特征工程整合简化为一个流程；
S2、结合分布式计算、分布式存储、远程过程调用以及浏览器和服务器(B/S)架构技术，将所述流程实例化为一个系统，且所述流程中的每个步骤分别对应所述系统中相应的功能模块。
在一个实施例中，所述数据管理实现数据集上传、数据集属性管理、数据集追加和目标列自主选择功能，包括以下步骤：
S111、在数据加载中，引入数据转换层；
S112、通过数据转换层使用策略模式，向前对接不同类型的数据源，向后使用数据类型推断、表头字段推理技术将不同来源的数据格式化，并输出CSV格式文件提供给数据入库模块使用，从而实现多源、结构化数据加载和处理。
其中，数据管理支持用户上传csv、zip、rar、xls/xlsx、json、xml等数据格式的文件；支持配置数据源，直接从关系型数据库加载数据并上传；支持从ftp、hdfs中加载数据并上传；支持从指定的URL中加载数据并上传；支持在已有数据的基础上继续追加新的同类型数据；支持目标列自主选择。
在一个实施例中，所述数据透视实现数据分布分析、分析结果图表绘制、数据预处理、特征关联分析及工具集功能，包括以下步骤：
S121、将数据在网页上渲染展示，并根据用户的需求自由组合特征例和目标例进行建模；
S122、根据选择的数据调用非监督学习或监督学习算法对数据进行分析，并以图表的方式展示预测结果。
其中，数据透视支持选择单列生成概率分布函数、选择两列生成联合概率分布函数；支持选择多列数据或者选择区域数据进行统计图表绘制；支持多种数据的转换工具，如多分类问题转换成二分类问题、样本均衡等。
在一个实施例中，所述特征选择实现重要特征筛选、缺失值补全及异常值检测功能。
其中，特征选择通过统计填充、定值填充、插值填充、模型填充、哑变量填充等方法，对缺失值进行补全；通过简单统计分析、3σ原则、独立随机深林等方法检测数据中的异常值并进行订正；通过LightGBM、XGBoost等方法筛选重要特征。
在一个实施例中，所述模型搜索实现超参数搜索引擎、元学习引擎、神经网络架构搜索、模型库构建及算法搜索空间自定义功能，包括以下步骤：
S141、通过遗传算法为不同模型选定超参数，并在数据及上进行试训练；
S142、根据评估结果推荐前十个最好的数据预处理和预测模型；
S143、根据推荐结果，结合使用场景及应用行业自定义算法搜索空间。
在一个实施例中，所述报告生成实现特征分析报告、模型训练报告和模型源代码的生成，包括以下步骤：
S151、通过解析模型代码结构之间的依赖关系，生成模型依赖及组合流程图，并支持以PDF的格式导出，可清晰直观的观察模型之间的关系；
S152、根据模型训练结果和搜索到的最优超参数，生成模型代码，将搜索到的排名前十个模型的源代码打包并生成下载链接；
S153、从模型代码中自动推断模型依赖的包并生成脚本，通过运行脚本自动配置模型运行锁依赖的环境。
其中，报告生成还支持源代码以及Python运行环境安装脚本下载；支持模型结构可视化；脚本包括shell或bat脚本。
在一个实施例中，所述模型预测包括以下步骤：
S161、通过守护进程动态加载生成的模型文件，并以远程过程调用的方式对外提供服务；
S162、根据输入的预测数据，服务可返回预测结果、评价指标、预测曲线或混淆矩阵。
其中，模型预测在数据预处理阶段对输入的数据进行缺失值填充、异常值修订、归一化等处理；输出预测结果以及预测曲线或混淆矩阵。
在一个实施例中，所述模型迭代包括以下步骤：
S171、通过版本控制对每次训练输出的模型进行版本管理，并对同一模型不同参数情况下的性能进行对比。
其中，模型迭代支持在同一个任务上反复进行模型训练和调优，并为每次生成的模型标记上版本号；支持选择特定版本的模型进行导出或预测；并且针对同一个任务，模型搜索完成后，若模型的预测结果未能达到预期，可再次追加数据或调整模型或扩展模型的搜索范围或增减特征，从而实现模型的渐进式寻优。
在一个实施例中，所述数据追加包括以下步骤：
S181、当模型预测结果未达到预期时，进行数据的追加、调整模型、扩展模型的检索范围及增减特性。
在一个实施例中，所述非监督学习算法包括但不限于聚类与主成分分析；所述监督学习算法包括但不限于广义线性回归(logistic)、支持向量机及岭回归。
此外，如图3所示，整个系统包含模型服务、系统代理、分布式协调器、缓存、Websocket服务、业务逻辑处理进程等模块。流程中的各个模块都以服务的方式独立存在，对应这里的模型服务，服务启动后会自动注册到分布式协调器中用于业务处理进程发现并使用。系统代理分布在每台主机上，负责监控每台主机上的服务状态、任务个数以及主机资源使用情况。分布式协调器用于协调个业务主机进程之间的交互，为保证分布式协调器的高可用性、避免单点故障，分布式协调器以集群的方式部署在至少3台及其以上的机器上。缓存用于缓存系统、任务、服务的状态以及任务的执行进度信息。Websocket服务用于传递各业务进程的执行日志到客户端或浏览器，及时的告知用户任务的执行进度、状态等。业务服务负责对整个数据自动分析与建模流程中的各个子流程进行整合，对内连接分布式协调器、缓存，对外提供REST接口供客户端调用。
综上所述，借助于本发明的上述技术方案，通过采用参数搜索、神经网络架构搜索技术以及B/S软件架构，将数据管理、数据透视、特征选择、模型搜索、报告生成、模型预测、模型迭代和数据追加过程以及自动机器学习技术相结合，从而封装成一种简单、易操作的流程，大大降低了基于机器学习的数据分析与建模门槛，并通过网页实现交互，既使无机器学习背景的用户，也能在默认参数基础上，通过简单的交互操作，训练出最优的模型。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种数据自动分析与建模流程，其特征在于，该流程包括以下步骤：
S1、将数据管理、数据透视、特征选择、模型搜索、报告生成、模型预测、模型迭代和数据追加8个步骤以及自动机器学习中的超参数搜索、自动特征工程整合简化为一个流程；
S2、结合分布式计算、分布式存储、远程过程调用以及浏览器和服务器架构技术，将所述流程实例化为一个系统，且所述流程中的每个步骤分别对应所述系统中相应的功能模块。
2.根据权利要求1所述的一种数据自动分析与建模流程，其特征在于，所述数据管理实现数据集上传、数据集属性管理、数据集追加和目标列自主选择功能，包括以下步骤：
S111、在数据加载中，引入数据转换层；
S112、通过数据转换层使用策略模式，向前对接不同类型的数据源，向后使用数据类型推断、表头字段推理技术将不同来源的数据格式化，并输出CSV格式文件提供给数据入库模块使用。
3.根据权利要求1所述的一种数据自动分析与建模流程，其特征在于，所述数据透视实现数据分布分析、分析结果图表绘制、数据预处理、特征关联分析及工具集功能，包括以下步骤：
S121、将数据在网页上渲染展示，并根据用户的需求自由组合特征例和目标例进行建模；
S122、根据选择的数据调用非监督学习或监督学习算法对数据进行分析，并以图表的方式展示分析结果。
4.根据权利要求1所述的一种数据自动分析与建模流程，其特征在于，所述特征选择实现重要特征筛选、缺失值补全及异常值检测功能。
5.根据权利要求1所述的一种数据自动分析与建模流程，其特征在于，所述模型搜索实现超参数搜索引擎、元学习引擎、神经网络架构搜索、模型库构建及算法搜索空间定义功能，包括以下步骤：
S141、通过遗传算法为不同模型选定超参数，并在数据及上进行试训练；
S142、根据评估结果推荐前十个最好的数据预处理和预测模型；
S143、根据推荐结果，结合使用场景及应用行业自定义算法搜索空间。
6.根据权利要求1所述的一种数据自动分析与建模流程，其特征在于，所述报告生成实现特征分析报告、模型训练报告和模型源代码的生成，包括以下步骤：
S151、通过解析模型代码结构之间的依赖关系，生成模型依赖及组合流程图；
S152、根据模型训练结果和搜索到的最优超参数，生成模型代码，将搜索到的排名前十个模型的源代码打包并生成下载链接；
S153、从模型代码中自动推断模型依赖的包并生成脚本，通过运行脚本自动安装配置模型运行所依赖的环境。
7.根据权利要求1所述的一种数据自动分析与建模流程，其特征在于，所述模型预测包括以下步骤：
S161、通过守护进程动态加载生成的模型文件，并通过远程过程调用的方式对外提供服务；
S162、根据输入的预测数据，服务可返回预测结果、评价指标以及预测曲线或混淆矩阵。
8.根据权利要求1所述的一种数据自动分析与建模流程，其特征在于，所述模型迭代包括以下步骤：
S171、通过版本控制对每次训练输出的模型进行版本管理，并对同一模型不同参数情况下的性能进行对比。
9.根据权利要求1所述的一种数据自动分析与建模流程，其特征在于，所述数据追加包括以下步骤：
S181、当模型预测结果未达到预期时，进行数据追加、模型调整、模型检索范围扩展及训练特征增减。
10.根据权利要求3所述的一种数据自动分析与建模流程，其特征在于，所述非监督学习算法包括但不限于聚类与主成分分析；所述监督学习算法包括但不限于广义线性回归、支持向量机及岭回归。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110283956.7A CN112801304A (zh) | 2021-03-17 | 2021-03-17 | 一种数据自动分析与建模流程 |
| PCT/CN2021/089842 WO2022193408A1 (zh) | 2021-03-17 | 2021-04-26 | 一种数据自动分析与建模流程 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110283956.7A CN112801304A (zh) | 2021-03-17 | 2021-03-17 | 一种数据自动分析与建模流程 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112801304A true CN112801304A (zh) | 2021-05-14 |
Family
ID=75817146
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110283956.7A Pending CN112801304A (zh) | 2021-03-17 | 2021-03-17 | 一种数据自动分析与建模流程 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112801304A (zh) |
| WO (1) | WO2022193408A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114154406A (zh) * | 2021-11-22 | 2022-03-08 | 厦门深度赋智科技有限公司 | 基于黑盒优化器的ai模型自动建模系统 |
| WO2023130837A1 (zh) * | 2022-01-10 | 2023-07-13 | 华南理工大学 | 面向科研应用的自动机器学习实现方法、平台及装置 |
| CN116956747A (zh) * | 2023-08-28 | 2023-10-27 | 西湾智慧(广东)信息科技有限公司 | 一种基于ai能力的机器学习建模平台的搭建方法 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116306317B (zh) * | 2023-05-12 | 2023-07-28 | 环球数科集团有限公司 | 一种基于人工智能的aigc自动建模系统 |
| CN118041463A (zh) * | 2024-01-17 | 2024-05-14 | 深圳市品声科技有限公司 | 一种基于人工智能算法的天线功率计算方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108363714A (zh) * | 2017-12-21 | 2018-08-03 | 北京至信普林科技有限公司 | 一种方便数据分析人员使用的集成机器学习的方法及系统 |
| US20180225391A1 (en) * | 2017-02-06 | 2018-08-09 | Neural Algorithms Ltd. | System and method for automatic data modelling |
| CN110659741A (zh) * | 2019-09-03 | 2020-01-07 | 浩鲸云计算科技股份有限公司 | 一种基于分片式自动学习的ai模型训练系统和方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11727301B2 (en) * | 2017-07-21 | 2023-08-15 | Sap Se | Exploiting local inter-task relationships in adaptive multi-task learning |
| CN109242105B (zh) * | 2018-08-17 | 2024-03-15 | 第四范式（北京）技术有限公司 | 代码优化方法、装置、设备及介质 |
| CN109582724B (zh) * | 2018-12-07 | 2022-04-08 | 厦门铅笔头信息科技有限公司 | 分布式自动特征工程系统架构 |
| CN110085314A (zh) * | 2019-04-11 | 2019-08-02 | 上海翼依信息技术有限公司 | 医学检验数据的智能分析方法、系统以及设备 |
| CN112116104B (zh) * | 2020-09-17 | 2024-06-18 | 京东科技控股股份有限公司 | 自动集成机器学习的方法、装置、介质及电子设备 |
-
2021
- 2021-03-17 CN CN202110283956.7A patent/CN112801304A/zh active Pending
- 2021-04-26 WO PCT/CN2021/089842 patent/WO2022193408A1/zh active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180225391A1 (en) * | 2017-02-06 | 2018-08-09 | Neural Algorithms Ltd. | System and method for automatic data modelling |
| CN108363714A (zh) * | 2017-12-21 | 2018-08-03 | 北京至信普林科技有限公司 | 一种方便数据分析人员使用的集成机器学习的方法及系统 |
| CN110659741A (zh) * | 2019-09-03 | 2020-01-07 | 浩鲸云计算科技股份有限公司 | 一种基于分片式自动学习的ai模型训练系统和方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114154406A (zh) * | 2021-11-22 | 2022-03-08 | 厦门深度赋智科技有限公司 | 基于黑盒优化器的ai模型自动建模系统 |
| WO2023130837A1 (zh) * | 2022-01-10 | 2023-07-13 | 华南理工大学 | 面向科研应用的自动机器学习实现方法、平台及装置 |
| CN116956747A (zh) * | 2023-08-28 | 2023-10-27 | 西湾智慧(广东)信息科技有限公司 | 一种基于ai能力的机器学习建模平台的搭建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022193408A1 (zh) | 2022-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112801304A (zh) | 一种数据自动分析与建模流程 | |
| CN107450902B (zh) | 用于可视化建模的方法和系统 | |
| US11544625B2 (en) | Computing system for training, deploying, executing, and updating machine learning models | |
| US20230008597A1 (en) | Neural network model processing method and related device | |
| US11941494B2 (en) | Notebook interface for authoring enterprise machine learning models | |
| CN111861020A (zh) | 模型部署方法、装置、设备及存储介质 | |
| CN114207635A (zh) | 使用元建模对机器学习和深度学习模型进行快速准确的超参数优化 | |
| CN113168564B (zh) | 用于生成人工智能模型的方法和系统 | |
| CN114816374B (zh) | 可视化数据分析流程建模方法及系统 | |
| US20180300333A1 (en) | Feature subset selection and ranking | |
| US20180357201A1 (en) | Ability-providing-data generation apparatus | |
| WO2020075644A1 (ja) | ハイパーパラメータチューニング方法、装置及びプログラム | |
| CN112199086A (zh) | 自动编程控制系统、方法、装置、电子设备及存储介质 | |
| WO2022197669A1 (en) | End-to-end machine learning pipelines for data integration and analytics | |
| EP4339843A1 (en) | Neural network optimization method and apparatus | |
| CN114546365B (zh) | 一种流程可视化的建模方法、服务器、计算机系统及介质 | |
| CN113641525A (zh) | 变量异常修复方法、设备、介质及计算机程序产品 | |
| CN112130723B (zh) | 用于针对数据执行特征处理的方法及系统 | |
| CN116629757A (zh) | 一种基于人工智能的供应链验证方法及系统 | |
| KR102375880B1 (ko) | 인공지능 모델 기반의 제조 공정에서의 견적 및 설계도 산출 시스템 | |
| CN112181511B (zh) | 一种可执行的情报分析流交互配置生成方法 | |
| Caymes-Scutari et al. | Dynamic Tuning of a Forest Fire Prediction Parallel Method | |
| KR20220046038A (ko) | Ai 연산 프로세서 가속 성능 평가 인터페이스 시스템 및 그 방법 | |
| US11966275B2 (en) | Fast and accurate anomaly detection explanations with forward-backward feature importance | |
| KR102591312B1 (ko) | 신경망 변환 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210514 |