CN117634606A - 一种基于机器学习的多维知识数据智能管理方法 - Google Patents
一种基于机器学习的多维知识数据智能管理方法 Download PDFInfo
- Publication number
- CN117634606A CN117634606A CN202410102063.1A CN202410102063A CN117634606A CN 117634606 A CN117634606 A CN 117634606A CN 202410102063 A CN202410102063 A CN 202410102063A CN 117634606 A CN117634606 A CN 117634606A
- Authority
- CN
- China
- Prior art keywords
- data
- knowledge
- tool
- recognition model
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 title claims abstract description 16
- 238000010801 machine learning Methods 0.000 title claims abstract description 8
- 238000005065 mining Methods 0.000 claims description 28
- 238000002372 labelling Methods 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 22
- 238000007405 data analysis Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000010219 correlation analysis Methods 0.000 claims description 7
- 238000003066 decision tree Methods 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 7
- 238000012015 optical character recognition Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000011160 research Methods 0.000 claims description 6
- 238000003745 diagnosis Methods 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 claims description 3
- 230000008520 organization Effects 0.000 claims description 3
- 239000000758 substrate Substances 0.000 claims 7
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000009411 base construction Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000001149 cognitive effect Effects 0.000 description 3
- 230000019771 cognition Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种基于机器学习的多维知识数据智能管理方法，属于人工智能领域，本发明构建以数据敏捷获取工具、数据快速标注工具、数据分析挖掘工具为核心的数据智能管理工具台，支撑知识库知识认知提取、知识标注分类、知识挖掘治理、知识管理服务等业务，赋能知识库构建运行。
Description
技术领域
本发明涉及人工智能领域，尤其涉及一种基于机器学习的多维知识数据智能管理方法。
背景技术
随着信息化进程的深入，海量的数据呈爆炸式增长，如何对海量的数据进行管理存储，并分析挖掘数据中有价值的信息资源，提高人们工作学习效率成为越来越受关注的问题。在这种需求下，知识库应运而生，知识库能够将海量的数据信息汇聚，以语义网的形式描述客观世界中事物与事物之间的关联，目前知识库已经应用到多个领域，发挥了举足轻重的作用。
在知识库的运行使用中，知识库的构建是知识库系统提供知识服务和知识管理的基础，直接影响知识库系统性能。知识库的构建包括知识认知提取、知识标注分类、知识挖掘治理等工作，具有流程繁多、工作量大的特点，然而在知识库构建中始终缺乏有效的工具来完成整个构建工作，很多工作都得靠人工来消耗大量的时间来完成。
发明内容
本发明针对知识库构建的需求，公开了一种基于机器学习的多维知识数据智能管理方法，构建以数据敏捷获取工具、数据快速标注工具、数据分析挖掘工具为核心的数据智能管理工具台，支撑知识库知识认知提取、知识标注分类、知识挖掘治理、知识管理服务等业务，赋能知识库构建运行。
本发明的技术方案是：
一种基于机器学习的多维知识数据智能管理技术，包括如下步骤：
S1.构建数据敏捷获取工具，面对繁多的数据源，从多个维度提取知识数据，组成知识数据集。
S2.构建数据快速标注工具，首先对获取的知识数据进行横向聚类，将相同类型的数据归类到一起，得到数据类型的种类数量。然后对知识数据进行纵向分类，将属于同一主体的不同类型的数据分类。
S3. 构建数据分析挖掘工具，根据获得的数据分类信息，对数据进行分类挖掘分析，以供不同场景落地应用。
进一步的，
所述步骤S1中，数据源具体包括：人脸、证件照、图片、视频、工单、文件、表格等。
所述步骤S1中，构建数据敏捷获取工具的具体内容为：集成人脸识别模型、图像识别模型、光学字符识别模型、自然语言识别模型等模型构建数据敏捷获取工具。
所述步骤S1中，从多个维度提取知识数据，组成知识数据集的具体内容为：利用数据敏捷获取工具中的人脸识别模型、图像识别模型、光学字符识别模型、自然语言识别模型等模型，从多个维度提取知识数据，组成知识数据集，包括人员信息数据、自然资源数据、运维运营数据、科技科研数据、组织关系数据等。
进一步的，
所述步骤S2中，构建数据快速标注工具的具体内容为：集成无监督聚类、决策树、SVM分类器、神经网络分类器等算法工具构建数据快速标注工具。
所述步骤S2中，对知识数据进行横向聚类，将相同类型的数据归类到一起，得到数据类型的数量的具体内容为：在某一知识数据集，将没有严格分类的数据，使用数据快速标注工具中的无监督聚类工具对数据进行聚类，将相同类型的数据归类到一起，得到数据类型的数量。
所述步骤S2中，对知识数据进行纵向分类，将属于同一主体的不同类型的数据分类的具体内容为：利用数据快速标注工具中的决策树、SVM分类器、神经网络分类器等工具对知识数据集中属于同一主体的不同类型的数据进行分类。
进一步的，
所述步骤S3中，构建数据分析挖掘工具的具体内容为：集成高斯过程回归、相关性分析、模糊计算、深度学习回归等算法工具构建数据分析挖掘工具。
所述步骤S3中，根据获得的数据分类信息，对数据进行分类挖掘分析，以供不同场景落地应用的具体内容为：利用数据分析挖掘工具中的高斯过程回归、相关性分析、模糊计算、深度学习回归等算法工具对分类后数据进行挖掘分析，实现故障诊断预警、自然灾害判断、违法违规预判、资源利用效能评估、科研热点评估等场景落地应用。
本发明的有益效果是：
本发明利用先进的人工智能技术构建数据敏捷获取工具、数据快速标注工具、数据分析挖掘工具，能够针对海量的数据源信息，分别实现高效地知识认知提取、知识标注分类、知识挖掘治理等功能，共同打造数据智能管理工具台，支撑知识库知识认知提取、知识标注分类、知识挖掘治理、知识管理服务等业务，赋能知识库构建运行。
附图说明
图1是本发明的工作流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出一种基于机器学习的多维知识数据智能管理方法，用于帮助人工完成知识库构建工作，将人工从流程繁琐的工作中解脱出来，提高知识库构建效率。
构建数据获取工具、数据快速标注工具、数据分析挖掘工具为核心的数据智能管理工具台，支撑知识库知识认知提取、知识标注分类、知识挖掘治理、知识管理服务等业务，赋能知识库构建运行。
数据敏捷获取工具集成人脸识别模型、图像识别模型、语音识别模型、光学字符识别模型等模型，用于实现从图像、语音、文件等多维度敏捷获取知识数据。
数据快速标注工具利用无监督聚类算法对未知类型范围的数据进行分类标注，利用有监督分类器对已知类型范围的数据进行分类标注，实现对海量数据的快速分类标注。
数据分析挖掘工具利用相关性分析、模糊计算、深度学习回归等算法，对数据进行分析，实现数据关联关系的挖掘和事件结果的实时预测。
如图1所示，本发明首先利用数据敏捷获取工具中的人脸识别模型、图像识别模型、光学字符识别模型、自然语言识别模型等从数据源多维度提取知识数据；然后利用数据快速标注工具中的无监督聚类、决策树、SVM分类器等对知识数据进行快速分类标注，构建知识数据集；针对每一个业务类型数据，利用数据分析挖掘工具中的高斯过程回归、相关性分析、模糊计算、深度学习回归等对数据级知识进行挖掘分析。
具体步骤如下：
步骤1：面对繁多的数据源，包括人脸、证件照、图片、视频、工单、文件、表格等，利用数据敏捷获取工具中的人脸识别模型、图像识别模型、光学字符识别模型、自然语言识别模型等模型，从多个维度提取知识数据，组成知识数据集，包括人员信息数据、自然资源数据、运维运营数据、科技科研数据、组织关系数据等。
步骤2：将获取的知识数据，利用数据快速标注工具中的无监督聚类、决策树、SVM分类器、神经网络分类器等工具进行分类标注，具体步骤如下：
步骤2.1：在某一知识数据集中，将没有严格分类的数据，使用无监督聚类工具对数据进行横向聚类，将相同类型的数据归类到一起，如人员信息知识数据集中的数据可以归类为身份ID、姓名、年龄、性别、籍贯、党派、职业、婚姻状况、学历等类型，得到数据类型的种类数量。
步骤2.2：利用决策树、SVM分类器、神经网络分类器等工具对知识数据集中的数据进行纵向分类，将属于同一主体的不同类型的数据分类，如人员信息知识中同一个人员的身份ID、姓名、年龄、性别、籍贯、党派、职业、婚姻状况、学历等数据分类到一起。
步骤3：根据步骤2中获得的数据分类信息，利用数据分析挖掘工具中的高斯过程回归、相关性分析、模糊计算、深度学习回归等算法工具对分类后数据进行挖掘分析，以供不同场景落地应用，如故障诊断预警、自然灾害判断、违法违规预判、资源利用效能评估、科研热点评估等。
以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (9)
1.一种基于机器学习的多维知识数据智能管理方法，其特征在于，
包括如下步骤：
S1.构建数据获取工具，面对数据源，从数个维度提取知识数据，组成知识数据集；
S2.构建数据标注工具，首先对获取的知识数据进行横向聚类，将相同类型的数据归类到一起，得到数据类型的种类数量；然后对知识数据进行纵向分类，将属于同一主体的不同类型的数据分类；
S3. 构建数据分析挖掘工具，根据获得的数据分类信息，对数据进行分类挖掘分析，以供不同场景落地应用。
2.根据权利要求1所述的方法，其特征在于，
所述步骤S1中，数据源具体包括：人脸、证件照、图片、视频、工单、文件、表格。
3.根据权利要求1所述的方法，其特征在于，
所述步骤S1中，构建数据敏捷获取工具的具体内容为：集成人脸识别模型、图像识别模型、光学字符识别模型、自然语言识别模型构建数据获取工具。
4.根据权利要求1所述的方法，其特征在于，
所述步骤S1中，从数个维度提取知识数据，组成知识数据集的具体内容为：利用数据获取工具中的人脸识别模型、图像识别模型、光学字符识别模型、自然语言识别模型等模型，从数个维度提取知识数据，组成知识数据集，包括人员信息数据、自然资源数据、运维运营数据、科技科研数据、组织关系数据。
5.根据权利要求1所述的方法，其特征在于，
所述步骤S2中，构建数据快速标注工具的具体内容为：集成无监督聚类、决策树、SVM分类器、神经网络分类器构建数据快速标注工具。
6.根据权利要求1所述的方法，其特征在于，
所述步骤S2中，对知识数据进行横向聚类，将相同类型的数据归类到一起，得到数据类型的数量的具体内容为：在知识数据集，将没有严格分类的数据，使用数据标注工具中的无监督聚类工具对数据进行聚类，将相同类型的数据归类到一起。
7.根据权利要求1所述的方法，其特征在于，
所述步骤S2中，对知识数据进行纵向分类，将属于同一主体的不同类型的数据分类的具体内容为：利用数据标注工具中的决策树、SVM分类器、神经网络分类器对知识数据集中属于同一主体的不同类型的数据进行分类。
8.根据权利要求1所述的方法，其特征在于，
所述步骤S3中，构建数据分析挖掘工具的具体内容为：集成高斯过程回归、相关性分析、模糊计算、深度学习回归的算法工具构建数据分析挖掘工具。
9.根据权利要求8所述的方法，其特征在于，
所述步骤S3中，根据获得的数据分类信息，对数据进行分类挖掘分析，以供不同场景落地应用的具体内容为：利用数据分析挖掘工具中的高斯过程回归、相关性分析、模糊计算、深度学习回归的算法工具对分类后数据进行挖掘分析，实现故障诊断预警、自然灾害判断、违法违规预判、资源利用效能评估、科研热点评估的场景落地应用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410102063.1A CN117634606A (zh) | 2024-01-25 | 2024-01-25 | 一种基于机器学习的多维知识数据智能管理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410102063.1A CN117634606A (zh) | 2024-01-25 | 2024-01-25 | 一种基于机器学习的多维知识数据智能管理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117634606A true CN117634606A (zh) | 2024-03-01 |
Family
ID=90018410
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410102063.1A Pending CN117634606A (zh) | 2024-01-25 | 2024-01-25 | 一种基于机器学习的多维知识数据智能管理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117634606A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110377752A (zh) * | 2019-06-26 | 2019-10-25 | 广东鼎义互联科技股份有限公司 | 一种应用于政务大厅运营的知识库系统 |
| CN111737495A (zh) * | 2020-06-28 | 2020-10-02 | 福州数据技术研究院有限公司 | 基于领域自分类的中高端人才智能推荐系统及其方法 |
| CN112766506A (zh) * | 2021-01-19 | 2021-05-07 | 澜途集思生态科技集团有限公司 | 一种基于架构的知识库构建方法 |
| CN116244277A (zh) * | 2023-03-03 | 2023-06-09 | 北京无代码科技有限公司 | 一种nlp识别与知识库构建方法及系统 |
| US20230297597A1 (en) * | 2021-09-30 | 2023-09-21 | Guangdong University Of Petrochemical Technology | Autonomous mining method of industrial big data based on model sets |
-
2024
- 2024-01-25 CN CN202410102063.1A patent/CN117634606A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110377752A (zh) * | 2019-06-26 | 2019-10-25 | 广东鼎义互联科技股份有限公司 | 一种应用于政务大厅运营的知识库系统 |
| CN111737495A (zh) * | 2020-06-28 | 2020-10-02 | 福州数据技术研究院有限公司 | 基于领域自分类的中高端人才智能推荐系统及其方法 |
| CN112766506A (zh) * | 2021-01-19 | 2021-05-07 | 澜途集思生态科技集团有限公司 | 一种基于架构的知识库构建方法 |
| US20230297597A1 (en) * | 2021-09-30 | 2023-09-21 | Guangdong University Of Petrochemical Technology | Autonomous mining method of industrial big data based on model sets |
| CN116244277A (zh) * | 2023-03-03 | 2023-06-09 | 北京无代码科技有限公司 | 一种nlp识别与知识库构建方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109189901B (zh) | 一种智能客服系统中自动发现新分类以及对应语料的方法 | |
| CN105468371B (zh) | 一种基于主题聚类的业务流程图合并方法 | |
| Li et al. | Improving deep learning feature with facial texture feature for face recognition | |
| CN110377605A (zh) | 一种结构化数据的敏感属性识别与分类分级方法 | |
| CN115794798B (zh) | 一种市场监管信息化标准管理与动态维护系统及方法 | |
| Saravanan et al. | Video image retrieval using data mining techniques | |
| CN115187910A (zh) | 视频分类模型训练方法、装置、电子设备及存储介质 | |
| Kumar et al. | An extensive review on different strategies of multimedia data mining | |
| Punlumjeak et al. | Big data analytics: Student performance prediction using feature selection and machine learning on microsoft azure platform | |
| Sarker et al. | Transformer-based person re-identification: a comprehensive review | |
| CN113222109A (zh) | 一种基于多源异构数据聚合技术的物联网边缘算法 | |
| Min et al. | Overview of image mining research | |
| CN113407726A (zh) | 一种应急处置预案方法和系统 | |
| CN111539465A (zh) | 一种基于机器学习的物联网非结构化大数据分析算法 | |
| Suresh et al. | Analysis on image mining techniques | |
| CN116633589A (zh) | 社交网络中恶意账户检测方法、设备及存储介质 | |
| CN117634606A (zh) | 一种基于机器学习的多维知识数据智能管理方法 | |
| CN116401338A (zh) | 一种基于数据资产智能检索输入输出要求设计特征提取和注意力机制及其方法 | |
| CN112306985A (zh) | 一种数字视网膜多模态特征联合精准检索方法 | |
| CN110413757A (zh) | 一种词语释义确定方法、装置及系统 | |
| CN106156256A (zh) | 一种用户信息分类透传方法及系统 | |
| CN111913997A (zh) | 一种基于人工智能的用户画像系统的实现方法 | |
| Yu et al. | Workflow recommendation based on graph embedding | |
| CN111460046A (zh) | 一种基于大数据的科技信息聚类方法 | |
| CN111125198A (zh) | 一种基于时间序列的计算机数据挖掘聚类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |