CN113515558B - 基于推理技术的数据挖掘的方法 - Google Patents
基于推理技术的数据挖掘的方法 Download PDFInfo
- Publication number
- CN113515558B CN113515558B CN202110726652.3A CN202110726652A CN113515558B CN 113515558 B CN113515558 B CN 113515558B CN 202110726652 A CN202110726652 A CN 202110726652A CN 113515558 B CN113515558 B CN 113515558B
- Authority
- CN
- China
- Prior art keywords
- data
- module
- mining
- database
- reverse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007418 data mining Methods 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000005516 engineering process Methods 0.000 title claims abstract description 19
- 238000013138 pruning Methods 0.000 claims abstract description 11
- 238000011084 recovery Methods 0.000 claims abstract description 10
- 238000005065 mining Methods 0.000 claims description 50
- 238000012545 processing Methods 0.000 claims description 37
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000012216 screening Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 230000002093 peripheral effect Effects 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000000926 separation method Methods 0.000 claims description 6
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 238000007599 discharging Methods 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/042—Backward inferencing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/046—Forward inferencing; Production systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
- G06F2216/03—Data mining
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Bioethics (AREA)
- Computer Hardware Design (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Computer Security & Cryptography (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Quality & Reliability (AREA)
- Fuzzy Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明属于推理技术的数据挖掘技术领域，尤其涉及基于推理技术的数据挖掘的方法，设立数据库云盘，将数据库云盘设置自动收集模块、分拣模块和加密模块，通过数据库云盘的自动收集模块自动在全网自动收集需要挖掘的数据相关信息，收集好的相关数据通过分拣模块进行快速的分类和识别，分拣模块将根据日期时间和数据种类进行快速的分类。该基于推理技术的数据挖掘的方法，能够通过建立数据库初期，通过自动收集模块、分拣模块、加密模块、展示模块、删改模块、恢复模块、屏蔽模块、分类模块和识别模块，就能对手机的数据进行初步的挖掘和整理，便于后期在收集数据的基础上进行挖掘，能够有效的初步达到数据挖掘结果针对性好的目的。
Description
技术领域
本发明涉及推理技术的数据挖掘技术领域，具体为基于推理技术的数据挖掘的方法。
背景技术
需要是发明之母。近年来，数据挖掘引起了信息产业界的极大关注，其主要原因是存在大量数据，可以广泛使用，并且迫切需要将这些数据转换成有用的信息和知识。获取的信息和知识可以广泛用于各种应用，包括商务管理，生产控制，市场分析，工程设计和科学探索等。
数据挖掘是人工智能和数据库领域研究的热点问题，所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。数据挖掘是一种决策支持过程，它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，高度自动化地分析企业的数据，作出归纳性的推理，从中挖掘出潜在的模式，帮助决策者调整市场策略，减少风险，作出正确的决策。知识发现过程由以下三个阶段组成：数据准备；数据挖掘；结果表达和解释。数据挖掘可以与用户或知识库交互。
现有的数据挖掘结果针对性较差，不能在根据关键的数据得到关键的结构，只能得到相对应的数据，需要进行人工检索和筛选，效率较低，且得到的关键数据，不一定为最终的挖掘结果，因此需要进行改进。
发明内容
本发明的目的在于提供基于推理技术的数据挖掘的方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：基于推理技术的数据挖掘的方法，包括以下步骤：
S1、构建数据库
设立数据库云盘，将数据库云盘设置自动收集模块、分拣模块和加密模块，通过数据库云盘的自动收集模块自动在全网自动收集需要挖掘的数据相关信息，收集好的相关数据通过分拣模块进行快速的分类和识别，分拣模块将根据日期时间和数据种类进行快速的分类，分类完成后分拣模块将分类好的数据中无效、错误和不能使用的数据进行删除和修改，从而再通过加密模块将处理后的数据进行快速的加密最终储存在数据库内。
S2、检索初步挖掘数据
进行挖掘数据输时，根据提供的第一关键数据和第二关键数据在数据库内进行检索，从而根据数据库提供的相关联的数据进行初步的筛选，筛选后得到的初步挖掘出来的数据，建立权重积分模型，根据权重积分模型得到相对重要的关键数据。
S3、挖掘处理数据
根据步骤S2中得到的关键数据将其通过MapReduce处理，通过指定关键输用来处理键值对(Key/Value)的map函数来生成一个中间键值对集合，然后，再指定一个reduce函数，它用来合并所有的具有相同中间key的中间value，得到相应的数据处理结果。
S4、推理挖掘数据
根据步骤S3作用得到的MapReduce处理数据处理结果，在通过步骤S2从而数据库内得到一个反向的关键数据，在将得到的反向的关键数据输入到步骤S3中进行MapReduce处理得到一个相应的反向数据处理结果，将得到的数据和反向数据建立一个中心图形和周边图形元素，根据得到的中心图形元素和周边图形元素进行分析，从而得到最终推理的数据，即为最终需要挖掘的数据。
S5、知识图谱推理
对数据壳内的数据建立正常的正向数据检索挖掘和反向的反向数据挖掘，在正向数据检索挖掘过程中，通过正向数据推理数据挖掘和反向符号推理挖掘，对数据建立双向的推理挖掘，当数据挖掘到后结束，当数据没有挖掘到查找出问题，进行排难处理并同时解决困难，困难解决后如果数据正常挖掘到后结束，在反向数据检索挖掘过程中，通过反向数据推理和反向子模块推理对数据进行挖掘，反向数据挖掘到将其移动至正向数据检索挖掘，从而得到挖掘数据并结束，未挖掘到查找出问题，进行排难处理并同时解决困难，从而挖掘出数据并结束。
S6、建模
根据特征变量库构建特征变量宽表，进行同质性检查，再对特征变量变量过滤，过滤完成后进行变量粗选，然后进行WOE/IV计算、相关性计算和PSI计算，同时可以直接根据特征变量宽表进行计算，计算得到的结果进行筛选，筛选后得到建模宽表，再根据建模宽表进行样本排除，排出后通过变量分箱，再根据变量分箱进行模型训练和自动模型生成。
优选的，所述步骤S1中数据库为百度云盘和阿里云盘，设立的输云盘在自动收集模块、分拣模块和加密模块基础上增设有删改模块、恢复模块、屏蔽模块和展示模块，且展示模块对应加密模块设置有解密模块，分拣模块设置有分类模块和识别模块。
优选的，所述数据发射端信号连接有自动收集模块、分拣模块和加密模块接收端，所述分拣模块发射端信号连接有识别模块和分类模块接收端，所述数据库发射端信号连接有展示模块、删改模块、恢复模块和屏蔽模块接收端，所述展示模块发射端信号连接有解密模块接收端。
优选的，所述解密模块发射端信号连接有加密模块接收端，所述删改模块、恢复模块和屏蔽模块发射端信号连接有分拣模块。
优选的，所述数据库通过以太网和交换机信号连接有自动收集模块、分拣模块、加密模块、展示模块、删改模块、恢复模块、屏蔽模块、分类模块和识别模块，且数据库信号连接有单片机和处理器。
优选的，所述步骤S2中，第一关键数据和第二关键数据为随机指定的数据，且针对检索挖掘数据在数据库上增设有检索模块。
优选的，所述步骤S3中，MapReduce能够允许提供一个可选的Combiner函数，在数据通过网络发送之前，可以通过该函数将数据进行部分合并，得到最终的数据处理结果。
优选的，所述步骤S4中，在设定的一个反向数据不能得到最终有效的数据时，可以通过设置多个反向数据，进行步骤S2从而数据库内得到多个反向的关键数据，在将得到的反向的关键数据输入到步骤S3中进行MapReduce处理得到多个相应的反向数据处理结果，最终进行比较，得到有效的挖掘数据。
与现有技术相比，本发明的有益效果是：
1、该基于推理技术的数据挖掘的方法，能够通过建立数据库初期，通过自动收集模块、分拣模块、加密模块、展示模块、删改模块、恢复模块、屏蔽模块、分类模块和识别模块，就能对手机的数据进行初步的挖掘和整理，便于后期在收集数据的基础上进行挖掘，能够有效的初步达到数据挖掘结果针对性好的目的。
2、该基于推理技术的数据挖掘的方法，通过检索模块，进行初步挖掘，能够在建立权重积分模型，根据权重积分模型得到相对重要的关键数据，进一步对数据进行了针对性的准确挖掘，有效的避免了后期的需要人工的检索和筛选，达到了效率高的目的。
3、该基于推理技术的数据挖掘的方法，通过推理挖掘数据，能够通过不同的方向在数据库内得到关键数据，在将得到的关键数据输入到步骤S3中进行MapReduce处理得到一个相应的反向数据处理结果，将得到的不同数据建立一个中心图形和周边图形元素，根据得到的中心图形元素和周边图形元素进行分析来得到最终挖掘的数据，能够达到得到的数据为最终的挖掘结果的目的。
附图说明
图1为本发明流程示意图；
图2为步骤S1和S2中模块流程示意图；
图3为推理知识图谱；
图4为建模流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-4，本发明提供技术方案：基于推理技术的数据挖掘的方法，包括以下步骤：
S1、构建数据库
设立数据库云盘，将数据库云盘设置自动收集模块、分拣模块和加密模块，通过数据库云盘的自动收集模块自动在全网自动收集需要挖掘的数据相关信息，收集好的相关数据通过分拣模块进行快速的分类和识别，分拣模块将根据日期时间和数据种类进行快速的分类，分类完成后分拣模块将分类好的数据中无效、错误和不能使用的数据进行删除和修改，从而再通过加密模块将处理后的数据进行快速的加密最终储存在数据库内，数据库为百度云盘和阿里云盘，设立的输云盘在自动收集模块、分拣模块和加密模块基础上增设有删改模块、恢复模块、屏蔽模块和展示模块，且展示模块对应加密模块设置有解密模块，分拣模块设置有分类模块和识别模块，数据发射端信号连接有自动收集模块、分拣模块和加密模块接收端，所述分拣模块发射端信号连接有识别模块和分类模块接收端，所述数据库发射端信号连接有展示模块、删改模块、恢复模块和屏蔽模块接收端，所述展示模块发射端信号连接有解密模块接收端，解密模块发射端信号连接有加密模块接收端，所述删改模块、恢复模块和屏蔽模块发射端信号连接有分拣模块，数据库通过以太网和交换机信号连接有自动收集模块、分拣模块、加密模块、展示模块、删改模块、恢复模块、屏蔽模块、分类模块和识别模块，且所述数据库信号连接有单片机和处理器。
S2、检索初步挖掘数据
进行挖掘数据输时，根据提供的第一关键数据和第二关键数据在数据库内进行检索，从而根据数据库提供的相关联的数据进行初步的筛选，筛选后得到的初步挖掘出来的数据，建立权重积分模型，根据权重积分模型得到相对重要的关键数据，第一关键数据和第二关键数据为随机指定的数据，且针对检索挖掘数据在数据库上增设有检索模块。
S3、挖掘处理数据
根据步骤S2中得到的关键数据将其通过MapReduce处理，通过指定关键输用来处理键值对(Key/Value)的map函数来生成一个中间键值对集合，然后，再指定一个reduce函数，它用来合并所有的具有相同中间key的中间value，得到相应的数据处理结果，MapReduce能够允许提供一个可选的Combiner函数，在数据通过网络发送之前，可以通过该函数将数据进行部分合并，得到最终的数据处理结果。
S4、推理挖掘数据
根据步骤S3作用得到的MapReduce处理数据处理结果，在通过步骤S2从而数据库内得到一个反向的关键数据，在将得到的反向的关键数据输入到步骤S3中进行MapReduce处理得到一个相应的反向数据处理结果，将得到的数据和反向数据建立一个中心图形和周边图形元素，根据得到的中心图形元素和周边图形元素进行分析，从而得到最终推理的数据，即为最终需要挖掘的数据，在设定的一个反向数据不能得到最终有效的数据时，可以通过设置多个反向数据，进行步骤S2从而数据库内得到多个反向的关键数据，在将得到的反向的关键数据输入到步骤S3中进行MapReduce处理得到多个相应的反向数据处理结果，最终进行比较，得到有效的挖掘数据。
S5、知识图谱推理
对数据壳内的数据建立正常的正向数据检索挖掘和反向的反向数据挖掘，在正向数据检索挖掘过程中，通过正向数据推理数据挖掘和反向符号推理挖掘，对数据建立双向的推理挖掘，当数据挖掘到后结束，当数据没有挖掘到查找出问题，进行排难处理并同时解决困难，困难解决后如果数据正常挖掘到后结束，在反向数据检索挖掘过程中，通过反向数据推理和反向子模块推理对数据进行挖掘，反向数据挖掘到将其移动至正向数据检索挖掘，从而得到挖掘数据并结束，未挖掘到查找出问题，进行排难处理并同时解决困难，从而挖掘出数据并结束。
S6、建模
根据特征变量库构建特征变量宽表，进行同质性检查，再对特征变量变量过滤，过滤完成后进行变量粗选，然后进行WOE/IV计算、相关性计算和PSI计算，同时可以直接根据特征变量宽表进行计算，计算得到的结果进行筛选，筛选后得到建模宽表，再根据建模宽表进行样本排除，排出后通过变量分箱，再根据变量分箱进行模型训练和自动模型生成。
该基于推理技术的数据挖掘的方法，能够通过建立数据库初期，通过自动收集模块、分拣模块、加密模块、展示模块、删改模块、恢复模块、屏蔽模块、分类模块和识别模块，就能对手机的数据进行初步的挖掘和整理，便于后期在收集数据的基础上进行挖掘，能够有效的初步达到数据挖掘结果针对性好的目的，通过检索模块，进行初步挖掘，能够在建立权重积分模型，根据权重积分模型得到相对重要的关键数据，进一步对数据进行了针对性的准确挖掘，有效的避免了后期的需要人工的检索和筛选，达到了效率高的目的，通过推理挖掘数据，能够通过不同的方向在数据库内得到关键数据，在将得到的关键数据输入到步骤S3中进行MapReduce处理得到一个相应的反向数据处理结果，将得到的不同数据建立一个中心图形和周边图形元素，根据得到的中心图形元素和周边图形元素进行分析来得到最终挖掘的数据，能够达到得到的数据为最终的挖掘结果的目的。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.基于推理技术的数据挖掘的方法，其特征在于，包括以下步骤：
S1、构建数据库
设立数据库云盘，将数据库云盘设置自动收集模块、分拣模块和加密模块，通过数据库云盘的自动收集模块自动在全网自动收集需要挖掘的数据相关信息，收集好的相关数据通过分拣模块进行快速的分类和识别，分拣模块将根据日期时间和数据种类进行快速的分类，分类完成后分拣模块将分类好的数据中无效、错误和不能使用的数据进行删除和修改，从而再通过加密模块将处理后的数据进行快速的加密最终储存在数据库内；
S2、检索初步挖掘数据
进行挖掘数据输时，根据提供的第一关键数据和第二关键数据在数据库内进行检索，从而根据数据库提供的相关联的数据进行初步的筛选，筛选后得到的初步挖掘出来的数据，建立权重积分模型，根据权重积分模型得到相对重要的关键数据；
S3、挖掘处理数据
根据步骤S2中得到的关键数据将其通过MapReduce处理，通过指定关键输用来处理键值对(Key/Value)的map函数来生成一个中间键值对集合，然后，再指定一个reduce函数，它用来合并所有的具有相同中间key的中间value，得到相应的数据处理结果；
S4、推理挖掘数据
根据步骤S3作用得到的MapReduce处理数据处理结果，在通过步骤S2从而数据库内得到一个反向的关键数据，在将得到的反向的关键数据输入到步骤S3中进行MapReduce处理得到一个相应的反向数据处理结果，将得到的数据和反向数据建立一个中心图形和周边图形元素，根据得到的中心图形元素和周边图形元素进行分析，从而得到最终推理的数据，即为最终需要挖掘的数据；
S5、知识图谱推理
对数据壳内的数据建立正常的正向数据检索挖掘和反向的反向数据挖掘，在正向数据检索挖掘过程中，通过正向数据推理数据挖掘和反向符号推理挖掘，对数据建立双向的推理挖掘，当数据挖掘到后结束，当数据没有挖掘到查找出问题，进行排难处理并同时解决困难，困难解决后如果数据正常挖掘到后结束，在反向数据检索挖掘过程中，通过反向数据推理和反向子模块推理对数据进行挖掘，反向数据挖掘到将其移动至正向数据检索挖掘，从而得到挖掘数据并结束，未挖掘到查找出问题，进行排难处理并同时解决困难，从而挖掘出数据；
S6、建模
根据特征变量库构建特征变量宽表，进行同质性检查，再对特征变量变量过滤，过滤完成后进行变量粗选，然后进行WOE/IV计算、相关性计算和PSI计算，同时可以直接根据特征变量宽表进行计算，计算得到的结果进行筛选，筛选后得到建模宽表，再根据建模宽表进行样本排除，排出后通过变量分箱，再根据变量分箱进行模型训练和自动模型生成。
2.根据权利要求1所述的基于推理技术的数据挖掘的方法，其特征在于：所述步骤S1中数据库为百度云盘和阿里云盘，设立的输云盘在自动收集模块、分拣模块和加密模块基础上增设有删改模块、恢复模块、屏蔽模块和展示模块，且展示模块对应加密模块设置有解密模块，分拣模块设置有分类模块和识别模块。
3.根据权利要求2所述的基于推理技术的数据挖掘的方法，其特征在于：所述数据库发射端信号连接有自动收集模块、分拣模块和加密模块接收端，所述分拣模块发射端信号连接有识别模块和分类模块接收端，所述数据库发射端信号连接有展示模块、删改模块、恢复模块和屏蔽模块接收端，所述展示模块发射端信号连接有解密模块接收端。
4.根据权利要求3所述的基于推理技术的数据挖掘的方法，其特征在于：所述解密模块发射端信号连接有加密模块接收端，所述删改模块、恢复模块和屏蔽模块发射端信号连接有分拣模块。
5.根据权利要求3所述的基于推理技术的数据挖掘的方法，其特征在于：所述数据库通过以太网和交换机信号连接有自动收集模块、分拣模块、加密模块、展示模块、删改模块、恢复模块、屏蔽模块、分类模块和识别模块，且数据库信号连接有单片机和处理器。
6.根据权利要求1所述的基于推理技术的数据挖掘的方法，其特征在于：所述步骤S2中，第一关键数据和第二关键数据为随机指定的数据，且针对检索挖掘数据在数据库上增设有检索模块。
7.根据权利要求1所述的基于推理技术的数据挖掘的方法，其特征在于：所述步骤S3中，MapReduce能够允许提供一个可选的Combiner函数，在数据通过网络发送之前，可以通过该函数将数据进行部分合并，得到最终的数据处理结果。
8.根据权利要求1所述的基于推理技术的数据挖掘的方法，其特征在于：所述步骤S4中，在设定的一个反向数据不能得到最终有效的数据时，可以通过设置多个反向数据，进行步骤S2从而数据库内得到多个反向的关键数据，在将得到的反向的关键数据输入到步骤S3中进行MapReduce处理得到多个相应的反向数据处理结果，最终进行比较，得到有效的挖掘数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110726652.3A CN113515558B (zh) | 2021-06-29 | 2021-06-29 | 基于推理技术的数据挖掘的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110726652.3A CN113515558B (zh) | 2021-06-29 | 2021-06-29 | 基于推理技术的数据挖掘的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113515558A CN113515558A (zh) | 2021-10-19 |
| CN113515558B true CN113515558B (zh) | 2024-03-22 |
Family
ID=78066217
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110726652.3A Active CN113515558B (zh) | 2021-06-29 | 2021-06-29 | 基于推理技术的数据挖掘的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113515558B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050070955A (ko) * | 2003-12-31 | 2005-07-07 | 한국과학기술정보연구원 | 과학기술 정보분석 방법 및 그 방법에 대한 컴퓨터프로그램을 저장한 기록매체 |
| WO2007024617A2 (en) * | 2005-08-25 | 2007-03-01 | Siemens Medical Solutions Usa, Inc. | Medical ontologies for computer assisted clinical decision support |
| CN109344212A (zh) * | 2018-08-24 | 2019-02-15 | 武汉中地数码科技有限公司 | 一种面向主题特征的地理大数据挖掘推荐的方法及系统 |
| CN111897853A (zh) * | 2020-07-08 | 2020-11-06 | 东莞理工学院城市学院 | 一种基于大数据的计算机数据挖掘探索方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7428545B2 (en) * | 2002-07-10 | 2008-09-23 | Inferx Corporation | Knowledge inferencing and data visualization method and system |
| US9015080B2 (en) * | 2012-03-16 | 2015-04-21 | Orbis Technologies, Inc. | Systems and methods for semantic inference and reasoning |
-
2021
- 2021-06-29 CN CN202110726652.3A patent/CN113515558B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050070955A (ko) * | 2003-12-31 | 2005-07-07 | 한국과학기술정보연구원 | 과학기술 정보분석 방법 및 그 방법에 대한 컴퓨터프로그램을 저장한 기록매체 |
| WO2007024617A2 (en) * | 2005-08-25 | 2007-03-01 | Siemens Medical Solutions Usa, Inc. | Medical ontologies for computer assisted clinical decision support |
| CN109344212A (zh) * | 2018-08-24 | 2019-02-15 | 武汉中地数码科技有限公司 | 一种面向主题特征的地理大数据挖掘推荐的方法及系统 |
| CN111897853A (zh) * | 2020-07-08 | 2020-11-06 | 东莞理工学院城市学院 | 一种基于大数据的计算机数据挖掘探索方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 图像数据挖掘的模型和技术;于新兴;李明岐;段竹;;中国组织工程研究与临床康复;20100827(35);153-155 * |
| 基于改进的BP神经网络方法的数据挖掘;王磊;王汝凉;;广西师范学院学报(自然科学版);20160325(01);85-90 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113515558A (zh) | 2021-10-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111090643B (zh) | 一种基于数据分析系统下的海量用电数据挖掘方法 | |
| CN106372108B (zh) | 一种应用于核电设计的经验反馈数据的智能推送方法及系统 | |
| CN102542061A (zh) | 一种产品的智能分类方法 | |
| CN104536997A (zh) | 用于客户端界面的数据批量处理方法及装置 | |
| CN113239365B (zh) | 一种基于知识图谱的漏洞修复方法 | |
| CN106777070B (zh) | 一种基于分块的Web记录链接的系统及方法 | |
| CN114281864A (zh) | 一种面向电力网络告警信息的关联分析方法 | |
| CN106933883A (zh) | 基于检索日志的兴趣点常用检索词分类方法、装置 | |
| CN111737477A (zh) | 一种基于知识产权大数据的情报调查方法、系统和存储介质 | |
| CN114511330B (zh) | 一种基于改进的cnn-rf的以太坊庞氏骗局检测方法及系统 | |
| CN114817243A (zh) | 数据库联合索引的建立方法、装置、设备及存储介质 | |
| CN113515558B (zh) | 基于推理技术的数据挖掘的方法 | |
| CN107025293A (zh) | 一种电力二次设备缺陷数据挖掘方法及系统 | |
| CN117033501A (zh) | 大数据采集分析系统 | |
| CN112256752B (zh) | 一种基于数据挖掘的数据预测处理方法 | |
| CN114138913A (zh) | 一种数据库的建模方法、装置、设备及计算机存储介质 | |
| Rao et al. | A survey on top-k dominating queries on any incomplete information | |
| CN113704287A (zh) | 一种基于大数据的数据对比分析筛选系统及方法 | |
| CN111460046A (zh) | 一种基于大数据的科技信息聚类方法 | |
| Hong | [Retracted] Application of Data Mining in Network Information Dynamic Push Software | |
| CN110895541A (zh) | 一种Timing云数据统计智能化平台 | |
| LU502887B1 (en) | Patent innovation method and system based on artificial intelligence | |
| CN117591539B (zh) | 一种基于电力大数据的多数据整合运用一体化系统及方法 | |
| CN110019164A (zh) | 一种异构结构化数据融合概率的计算方法及系统 | |
| CN117171244A (zh) | 基于数据中台构建的企业数据管理系统及其数据分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |