CN112559894A - 一种计算机用的人工智能信息过滤系统 - Google Patents

一种计算机用的人工智能信息过滤系统 Download PDF

Info

Publication number
CN112559894A
CN112559894A CN202110120649.7A CN202110120649A CN112559894A CN 112559894 A CN112559894 A CN 112559894A CN 202110120649 A CN202110120649 A CN 202110120649A CN 112559894 A CN112559894 A CN 112559894A
Authority
CN
China
Prior art keywords
filtering
data
model
artificial intelligence
intelligence information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110120649.7A
Other languages
English (en)
Inventor
张明伯
徐鲁宁
石浪
黄文昌
杨贵明
王�琦
谢苏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Encyclopedia Rongchuang Shandong Technology Development Co ltd
Original Assignee
Encyclopedia Rongchuang Shandong Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Encyclopedia Rongchuang Shandong Technology Development Co ltd filed Critical Encyclopedia Rongchuang Shandong Technology Development Co ltd
Priority to CN202110120649.7A priority Critical patent/CN112559894A/zh
Publication of CN112559894A publication Critical patent/CN112559894A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及数据过滤领域，具体涉及一种计算机用的人工智能信息过滤系统，包括：数据过滤模型构建模块，用于基于录入的过滤关键词组生成对应的训练参数集，并基于训练参数集实现数据过滤模型的构建，基于过滤关键词组之间的关联关系实现数据过滤模型的排序、串联；数据填充模块，用于基于深度学习的不完整大数据填充算法实现数据的填充处理；数据过滤模块，用于基于串联后的数据过滤模型组实现数据的过滤分类。本发明基于依次串联的数据过滤模型实现数据的过滤分类，每一个数据过滤模型对应一个数据储存节点，一次过滤即可实现多种过滤标准下不同数据集的获取，大大提高系统工作效率。

Description

一种计算机用的人工智能信息过滤系统
技术领域
本发明涉及数据过滤领域，具体涉及一种计算机用的人工智能信息过滤系统。
背景技术
随着大数据时代的到来，海量数据的过滤和分类技术显得尤为重要。在海 量数据挖掘中，如何利用从已有数据中过滤和分类出来的信息来指导新数据的过滤和分类已成为一个新的研究热点。
目前的数据过滤方法主要通过建立一个过滤列表来实现，过滤列表仅能过滤内载在过滤列表内的数据，与其存在某种关联关系的数据仍然无法被过滤，需要配置新的过滤列表信息，因此，需要建立冗长的过滤列表。同时，每一数据的过滤均需要重新获取整个过滤列表信息，程序需要重复查找计算，工作效率低下。
发明内容
为解决上述问题，本发明提供了一种计算机用的人工智能信息过滤系统。
为实现上述目的，本发明采取的技术方案为：
一种计算机用的人工智能信息过滤系统，基于依次串联的数据过滤模型实现数据的过滤分类，每一个数据过滤模型对应一个数据储存节点；具体的，包括：
数据过滤模型构建模块，用于基于录入的过滤关键词组生成对应的训练参数集，并基于所述训练参数集实现数据过滤模型的构建，基于过滤关键词组之间的关联关系实现数据过滤模型的排序、串联；
数据采集模块，用于实现数据的采集；
数据填充模块，用于基于深度学习的不完整大数据填充算法实现数据的填充处理；
数据过滤模块，用于基于串联后的数据过滤模型组实现数据的过滤分类。
进一步地，所述过滤关键词组至少为2组，且相互之间存在被包含或包含关系，每一组过滤关键词组对应一个数据过滤模型。
进一步地，所述过滤关键词组至少为2组，且分别为两种不同的分类属性，每一组过滤关键词组对应一个数据过滤模型。
进一步地，所述数据过滤模型构建模块首先基于模糊神经网络算法根据过滤关键词组生成对应的训练参数集，然后基于Hadoop运行所述训练参数集构建Bi-LSTM+Attention模型。
进一步地，在任意一个数据过滤模型工作时，其他数据过滤模型均处于休眠状态。
进一步地，在发现新的过滤关键词组时，首先构建新的过滤关键词组与历史过滤关键词组的关联关系，然后将新的过滤关键词组转换成历史过滤关键词组表达的参数，即可输入对应的训练好的模型进行训练。
本发明具有以下有益效果：
1）基于依次串联的数据过滤模型实现数据的过滤分类，每一个数据过滤模型对应一个数据储存节点，一次过滤即可实现多种过滤标准下不同数据集的获取，大大提高系统工作效率。
2）基于模糊神经网络算法根据过滤关键词组生成对应的训练参数集，从而可以尽可能的扩大数据过滤模型的过滤标准覆盖面，减少过滤盲区。
3）通过构建新的过滤关键词组与历史过滤关键词组的关联关系，然后将新的过滤关键词组转换成历史过滤关键词组表达的参数的方式，实现了训练好的模型的微调，从而使其可以快速具备新的过滤功能。
附图说明
图1为本发明实施例一种计算机用的人工智能信息过滤系统的系统框图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
实施例1
一种计算机用的人工智能信息过滤系统，包括：
数据过滤模型构建模块，用于基于录入的过滤关键词组生成对应的训练参数集，并基于所述训练参数集实现数据过滤模型的构建，基于过滤关键词组之间的关联关系实现数据过滤模型的排序、串联；
数据填充模块，用于基于深度学习的不完整大数据填充算法实现数据的填充处理；
数据过滤模块，用于基于串联后的数据过滤模型组实现数据的过滤分类。
本实施例中，所述过滤关键词组至少为2组，且相互之间存在被包含或包含关系，每一组过滤关键词组对应一个数据过滤模型，每一个数据过滤模型对应一个数据储存节点。
本实施例中，所述过滤关键词组至少为2组，且分别为两种不同的分类属性，每一组过滤关键词组对应一个数据过滤模型。
本实施例中，所述数据过滤模型构建模块首先基于模糊神经网络算法根据过滤关键词组生成对应的训练参数集，然后基于Hadoop运行所述训练参数集构建Bi-LSTM+Attention模型。
本实施例中，在任意一个数据过滤模型工作时，其他数据过滤模型均处于休眠状态。
本实施例中，在发现新的过滤关键词组时，首先构建新的过滤关键词组与历史过滤关键词组的关联关系，然后将新的过滤关键词组转换成历史过滤关键词组表达的参数，即可输入对应的训练好的模型进行训练。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (7)

1.一种计算机用的人工智能信息过滤系统，其特征在于：基于依次串联的数据过滤模型实现数据的过滤分类，每一个数据过滤模型对应一个数据储存节点。
2.如权利要求1所述的一种计算机用的人工智能信息过滤系统，其特征在于：包括：
数据过滤模型构建模块，用于基于录入的过滤关键词组生成对应的训练参数集，并基于所述训练参数集实现数据过滤模型的构建，基于过滤关键词组之间的关联关系实现数据过滤模型的排序、串联；
数据填充模块，用于基于深度学习的不完整大数据填充算法实现数据的填充处理；
数据过滤模块，用于基于串联后的数据过滤模型组实现数据的过滤分类。
3.如权利要求2所述的一种计算机用的人工智能信息过滤系统，其特征在于：所述过滤关键词组至少为2组，且相互之间存在被包含或包含关系，每一组过滤关键词组对应一个数据过滤模型。
4.如权利要求2所述的一种计算机用的人工智能信息过滤系统，其特征在于：所述过滤关键词组至少为2组，且分别为两种不同的分类属性，每一组过滤关键词组对应一个数据过滤模型。
5.如权利要求2所述的一种计算机用的人工智能信息过滤系统，其特征在于：所述数据过滤模型构建模块首先基于模糊神经网络算法根据过滤关键词组生成对应的训练参数集，然后基于Hadoop运行所述训练参数集构建Bi-LSTM+Attention模型。
6.如权利要求2所述的一种计算机用的人工智能信息过滤系统，其特征在于：在任意一个数据过滤模型工作时，其他数据过滤模型均处于休眠状态。
7.如权利要求2所述的一种计算机用的人工智能信息过滤系统，其特征在于：在发现新的过滤关键词组时，首先构建新的过滤关键词组与历史过滤关键词组的关联关系，然后将新的过滤关键词组转换成历史过滤关键词组表达的参数，即可输入对应的训练好的模型进行训练。
CN202110120649.7A 2021-01-28 2021-01-28 一种计算机用的人工智能信息过滤系统 Pending CN112559894A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110120649.7A CN112559894A (zh) 2021-01-28 2021-01-28 一种计算机用的人工智能信息过滤系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110120649.7A CN112559894A (zh) 2021-01-28 2021-01-28 一种计算机用的人工智能信息过滤系统

Publications (1)

Publication Number Publication Date
CN112559894A true CN112559894A (zh) 2021-03-26

Family

ID=75035839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110120649.7A Pending CN112559894A (zh) 2021-01-28 2021-01-28 一种计算机用的人工智能信息过滤系统

Country Status (1)

Country Link
CN (1) CN112559894A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837154A (zh) * 2021-11-25 2021-12-24 之江实验室 一种基于多任务辅助的开放集过滤系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108121773A (zh) * 2017-12-05 2018-06-05 广东京信软件科技有限公司 一种基于可视化拖拽式的大数据分析任务构建方法
CN109948033A (zh) * 2017-09-04 2019-06-28 北京国双科技有限公司 一种垂直领域源数据过滤方法及装置
CN112256802A (zh) * 2020-10-20 2021-01-22 威海上和软件科技有限公司 一种海洋微生物信息的自动采集方法和设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948033A (zh) * 2017-09-04 2019-06-28 北京国双科技有限公司 一种垂直领域源数据过滤方法及装置
CN108121773A (zh) * 2017-12-05 2018-06-05 广东京信软件科技有限公司 一种基于可视化拖拽式的大数据分析任务构建方法
CN112256802A (zh) * 2020-10-20 2021-01-22 威海上和软件科技有限公司 一种海洋微生物信息的自动采集方法和设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837154A (zh) * 2021-11-25 2021-12-24 之江实验室 一种基于多任务辅助的开放集过滤系统及方法
CN113837154B (zh) * 2021-11-25 2022-03-25 之江实验室 一种基于多任务辅助的开放集过滤系统及方法

Similar Documents

Publication Publication Date Title
CN106294854B (zh) 一种用于智能机器人的人机交互方法及装置
US20230186030A1 (en) Adaptive knowledge graph representation learning method for integrating graph structure with text information
CN109902302B (zh) 一种适用于文本分析或数据挖掘的主题图谱生成方法、装置、设备以及计算机存储介质
CN107967261A (zh) 智能客服中交互式问句语义理解方法
CN106294325B (zh) 自然语言生成语句的优化方法及装置
CN101968853A (zh) 基于改进的免疫算法优化支持向量机参数的表情识别方法
CN103150383B (zh) 一种短文本数据的事件演化分析方法
US20220245465A1 (en) Picture searching method and apparatus, electronic device and computer readable storage medium
CN110851511A (zh) 数据同步的方法及装置
CN111143553A (zh) 一种实时文本数据流的特定信息识别方法及系统
CN113111135A (zh) 一种知识图谱构建方法及装置
CN112559894A (zh) 一种计算机用的人工智能信息过滤系统
CN112115971A (zh) 一种基于异质学术网络进行学者画像的方法及系统
CN114207573A (zh) 基于度分布生成模型的社交网络图生成方法
CN111428502A (zh) 一种面向军事语料的命名实体标注方法
CN116432125B (zh) 基于哈希算法的代码分类方法
CN115114805B (zh) 自主式交通系统架构的信息交互对离散仿真方法
CN113869461B (zh) 一种用于科学合作异质网络的作者迁移分类方法
CN113672522B (zh) 测试资源压缩方法以及相关设备
CN112000389B (zh) 一种配置推荐方法、系统、装置及计算机存储介质
CN114519106A (zh) 一种基于图神经网络的文档级实体关系抽取方法及系统
CN114036268A (zh) 基于意图门的任务型多轮对话方法及系统
CN106227857A (zh) 数据推送和加载方法和装置
CN111460046A (zh) 一种基于大数据的科技信息聚类方法
CN112686228B (zh) 行人属性识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210326

RJ01 Rejection of invention patent application after publication