CN114880314A - 应用人工智能策略的大数据清洗决策方法及ai处理系统 - Google Patents

应用人工智能策略的大数据清洗决策方法及ai处理系统 Download PDF

Info

Publication number
CN114880314A
CN114880314A CN202210563391.2A CN202210563391A CN114880314A CN 114880314 A CN114880314 A CN 114880314A CN 202210563391 A CN202210563391 A CN 202210563391A CN 114880314 A CN114880314 A CN 114880314A
Authority
CN
China
Prior art keywords
data
noise
decision
learning
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210563391.2A
Other languages
English (en)
Other versions
CN114880314B (zh
Inventor
任志贵
苏健明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhengyuanda Technology Co ltd
Original Assignee
Yantai Julu Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yantai Julu Information Technology Co ltd filed Critical Yantai Julu Information Technology Co ltd
Priority to CN202210563391.2A priority Critical patent/CN114880314B/zh
Publication of CN114880314A publication Critical patent/CN114880314A/zh
Application granted granted Critical
Publication of CN114880314B publication Critical patent/CN114880314B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供一种应用人工智能策略的大数据清洗决策方法及AI处理系统，依次加载前向AI网络模型和后向AI网络模型形成的噪声决策网络，对目标用户行为大数据进行前后AI决策，后向AI网络模型的模型加载信息是依据前向AI网络模型得到的各个噪声支持度进行整理后进一步提取的，从而可以提高后向模型加载信息的可靠性。同时将前向AI网络模型、后向AI网络模型按照前后顺序配置，前向AI网络模型依据预设AI指令调取主动学习决策网络可以控制模型加载信息量，后向AI网络模型选用递归神经决策网络，递归神经决策网络相对于传统神经网络模型可以提高时间关联性的学习能力，进而提高噪声决策的准确性。

Description

应用人工智能策略的大数据清洗决策方法及AI处理系统
技术领域
本发明涉及大数据清洗技术领域，具体而言，涉及一种应用人工智能策略的大数据清洗决策方法及AI处理系统。
背景技术
大数据存在数据量庞大、复杂度和关联度高等特点，因此当需要收集高质量的大数据时，必须在数据清洗阶段提高数据的质量。例如在对用户意图进行挖掘的过程中，大数据质量问题会对用户意图的应用产生负面影响，因此需要对大数据中存在的数据质量问题（如噪声问题）进行清洗修复。然而，相关技术中的大数据清洗方案大多依靠简单的噪声数据字段匹配实现，或者依靠单独AI学习模型的噪声分类输出实现，其噪声决策的可靠性和准确性仍旧有待提高。
发明内容
为了至少克服现有技术中的上述不足，本发明的目的在于提供一种应用人工智能策略的大数据清洗决策方法及AI处理系统。
第一方面，本发明实施例提供一种应用人工智能策略的大数据清洗决策方法，应用于AI处理系统，所述方法包括：
从待清洗的业务大数据库中提取待进行用户意图挖掘的指定用户的目标用户行为大数据；
依据预设AI指令调取前向AI网络模型以输出对应的前向噪声决策网络，以前向噪声决策网络函数序列对所述目标用户行为大数据进行游走决策，确定各个游走数据点相关联的各个噪声支持度；
提取所述噪声支持度满足设定噪声评判要求的游走数据点，确定模糊噪声点序列，并基于所述前向噪声决策网络函数序列解析所述模糊噪声点序列的噪声点字段，输出模糊噪声点字段簇；
依据预设AI指令调取后向AI网络模型以输出对应的后向噪声决策网络，以后向噪声决策网络函数序列对所述模糊噪声点字段簇进行游走决策，基于目标噪声支持度满足设定噪声确认要求的游走数据点，确定确认噪声点及所述确认噪声点的所述目标噪声支持度；
基于所述确认噪声点及所述确认噪声点的所述目标噪声支持度对所述目标用户行为大数据进行大数据清洗决策。
第二方面，本发明实施例还提供一种AI处理系统，所述AI处理系统包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行以实现以上第一方面的应用人工智能策略的大数据清洗决策方法。
采用以上任意方面的技术方案，依次加载前向AI网络模型和后向AI网络模型形成的噪声决策网络，对目标用户行为大数据进行前后AI决策，后向AI网络模型的模型加载信息是依据前向AI网络模型得到的各个噪声支持度进行整理后进一步提取的，从而可以提高后向模型加载信息的可靠性。同时将前向AI网络模型、后向AI网络模型按照前后顺序配置，前向AI网络模型依据预设AI指令调取主动学习决策网络可以控制模型加载信息量，后向AI网络模型选用递归神经决策网络，递归神经决策网络相对于传统神经网络模型可以提高时间关联性的学习能力，进而提高噪声决策的准确性。
附图说明
图1为本发明实施例提供的应用人工智能策略的大数据清洗决策方法的流程示意图；
图2为本发明实施例提供的用于实现上述的应用人工智能策略的大数据清洗决策方法的AI处理系统的结构示意框图。
具体实施方式
下面介绍本发明一种实施例提供的应用人工智能策略的大数据清洗决策系统10的架构，该应用人工智能策略的大数据清洗决策系统10可以包括AI处理系统100以及与AI处理系统100通信连接的智慧业务平台200。其中，应用人工智能策略的大数据清洗决策系统10中的AI处理系统100和智慧业务平台200可以通过配合执行以下方法实施例所描述的应用人工智能策略的大数据清洗决策方法，具体AI处理系统100和智慧业务平台200的执行步骤部分可以参照以下方法实施例的详细描述。
本实施例提供的应用人工智能策略的大数据清洗决策方法可以由AI处理系统100执行，下面结合图1对该应用人工智能策略的大数据清洗决策方法进行详细介绍。
Process101，从待清洗的业务大数据库中提取待进行用户意图挖掘的指定用户的目标用户行为大数据。
所述目标用户行为大数据可以是指针对指定用户在互联网信息平台上的业务行为进行记录构成的大数据，其中该目标用户行为大数据可以是进行初步特征整理后的大数据。
Process102，依据预设AI指令调取前向AI网络模型以输出对应的前向噪声决策网络，以前向噪声决策网络函数序列对目标用户行为大数据进行游走决策，确定各个游走数据点相关联的各个噪声支持度。
所述游走决策，可以是由前向AI网络模型中的前向噪声决策网络或其它结构依据预设游走窗口进行游走决策的。
前向AI网络模型可以包括输入层、隐含层以及输出层，隐含层可以具体包括一个或多个卷积层、至少一层池化层以及至少一层决策分类单元。输入层用于接收目标用户行为大数据，并对目标用户行为大数据中的数据成员进行规则化转换，以提高前向AI网络模型的处理效率。
依据上述前向AI网络模型架构，以输出对应的一种前向噪声决策网络。该前向噪声决策网络可以配置完成参数层调优和选取的前向噪声决策网络函数序列，并对加载的目标用户行为大数据进行游走决策，并输出为对应游走数据点的噪声支持度。
Process103，提取所述噪声支持度满足设定噪声评判要求的游走数据点，确定模糊噪声点序列，并基于前向噪声决策网络函数序列解析模糊噪声点序列的噪声点字段，输出模糊噪声点字段簇。
为了提高噪声决策的精度，本发明实施例将目标用户行为大数据经过两次噪声决策网络函数序列进行筛选和决策以增强噪声决策性能。在两次噪声决策网络函数序列处理之间，需要基于前向AI网络模型输出的噪声支持度，对游走数据点进行筛选，从而将筛选后的游走数据点输入后向AI网络模型进行再进行噪声决策。
基于噪声支持度对游走数据点进行筛选例如可以是：判断所述噪声支持度是否大于等于所述预设噪声支持度，若是，则提取所述噪声支持度对应的游走数据点，并将其添加至所述模糊噪声点序列，或者还可以是：依据噪声支持度对游走数据点进行降序处理，选择排序前N的游走数据点添加至模糊噪声点序列。
由于上述前向噪声决策网络搭载前向噪声决策网络函数序列实现游走决策，此时可以依据同样的噪声决策网络函数序列形成噪声点字段挖掘网络，对经过上述筛选过程形成的模糊噪声点序列进行噪声点字段挖掘，由此避免多噪声决策网络函数序列导致决策信息发生偏移的问题。当然，上述前向噪声决策网络函数序列可以是经过参数层信息的调优和选取的，也可以是初始化生成的。上述噪声点字段挖掘网络可以是由前向噪声决策网络经过处理后形成的，也可以是独立于前向噪声决策网络单独设置且搭载有第一噪声决策网络函数序列的。倘若是由前向噪声决策网络经过处理后形成的，则具体实施方式可以是：剔除前向噪声决策网络的决策分类单元形成噪声点字段挖掘网络，基于前向噪声决策网络函数序列解析模糊噪声点序列的噪声点字段，输出模糊噪声点字段簇。
Process104，依据预设AI指令调取后向AI网络模型以输出对应的后向噪声决策网络，以后向噪声决策网络函数序列对模糊噪声点字段簇进行游走决策，基于目标噪声支持度满足设定噪声确认要求的游走数据点，确定确认噪声点及确认噪声点的目标噪声支持度。
Process104可以作为Process102和Process103的扩展决策流程，这是由于单纯的前向AI网络模型或其包含的前向噪声决策网络，可能会因为目标用户行为数据的特征质量的因素产生游走数据点的误判，如果直接用于输出则会导致误判概率增大。由此，Process103中对噪声支持度高的游走数据点进行提取，克服误判的游走数据点对全局决策的影响。
例如，模糊噪声点字段簇可以包括若干个，后向噪声决策网络配置为以后向噪声决策网络函数序列对若干个模糊噪声点字段簇进行游走决策，可以是将模糊噪声点字段簇依据前文步骤降序处理后的顺序，依次加载到后向噪声决策网络作为模型加载信息进行决策，以得到目标噪声支持度。
依据上述后向AI网络模型架构，以输出对应的一种后向噪声决策网络。该后向噪声决策网络可以搭载有一种经过参数层信息的调优和选取的后向噪声决策网络函数序列，对加载的模糊噪声点字段簇进行游走决策，并输出为对应确认噪声点的目标噪声支持度。
Process105，基于所述确认噪声点及所述确认噪声点的所述目标噪声支持度对所述目标用户行为大数据进行大数据清洗决策。
本发明另一可能的实施例提供一种进一步详细的应用人工智能策略的大数据清洗决策方法，可以包括下述步骤。
Process101，获取目标用户行为大数据。
Process102，依据预设AI指令调取前向AI网络模型以输出对应的前向噪声决策网络，以前向噪声决策网络函数序列对目标用户行为大数据进行游走决策，确定各个游走数据点相关联的各个噪声支持度。
Process103’，提取所述噪声支持度满足设定噪声评判要求的游走数据点，确定模糊噪声点序列，剔除前向噪声决策网络的决策分类单元形成噪声点字段挖掘网络，并基于前向噪声决策网络函数序列解析模糊噪声点序列的噪声点字段，输出模糊噪声点字段簇。
Process104，依据预设AI指令调取后向AI网络模型以输出对应的后向噪声决策网络，以后向噪声决策网络函数序列对模糊噪声点字段簇进行游走决策，基于目标噪声支持度满足设定噪声确认要求的游走数据点，确定确认噪声点及确认噪声点的目标噪声支持度。
针对一些可能的设计思路而言，上述前向噪声决策网络例如可以为主动学习决策网络，为一种弱监督学习模型，上述后向噪声决策网络例如可以为递归神经决策网络，如长短期记忆网络。
针对一些可能的设计思路而言，对于上述过程的Process101的具体实施可以包括下述步骤。
Process1011，获取初始化用户行为大数据，计算初始化用户行为大数据的行为活动触发特征分布和行为活动触发频率分布，确定初始化特征分布和初始化频率分布，并确定初始化频率分布的最大频率分布节点作为最大初始化频率数据。
Process1012，基于最大历史平均频率数据和最大初始化频率数据计算异动参数，并依据异动参数更新初始化频率分布，确定目标频率分布。
Process1013，基于初始化特征分布、所述指定用户的历史特征分布和目标频率分布，生成目标用户行为数据分布。
其中，历史特征分布为一个或多个历史挖掘可靠性认证的行为数据的行为活动触发特征分布，最大历史平均频率数据为历史挖掘可靠性认证的行为数据的行为活动触发频率分布的最大频率分布节点。
在另一种实施例中，Process101还可以具体包括下述步骤。
Process1011，获取初始化用户行为大数据，计算初始化用户行为大数据的行为活动触发特征分布和行为活动触发频率分布，确定初始化特征分布和初始化频率分布，并确定初始化频率分布的最大频率分布节点作为最大初始化频率数据。
Process1012，基于最大历史平均频率数据和最大初始化频率数据计算异动参数，并依据异动参数更新初始化频率分布，确定目标频率分布。
Process1013，基于历史特征分布和目标频率分布，生成目标用户行为数据分布。
Process1014，游走目标用户行为数据分布，依据设定数据节点的游走窗口对目标用户行为数据分布进行游走决策，确定目标用户行为数据分布的多个游走数据点，以及游走数据点在目标用户行为数据分布中的追溯数据节点。
Process1015，游走游走数据点的所有数据成员的可挖掘价值数据，计算可挖掘价值数据中可挖掘价值大于目标可挖掘价值的数据成员数量与数据成员总数量的比值，确定游走数据点的AI决策输入评估值。
Process1016，基于满足AI决策输入评估要求的游走数据点构建目标用户行为大数据。
其中AI决策输入评估要求为：游走数据点的AI决策输入评估值大于目标评估值。
Process1014和Process1015之间还可以包括：游走所述游走数据点的所有数据成员的可挖掘价值数据。当然，Process1015和Process1016还可以变换地配置为：计算可挖掘价值数据中数值大于等于目标可挖掘价值的数据成员数量与总数据成员数量的比值，确定游走数据点的AI决策输入评估值；基于满足AI决策输入评估要求的游走数据点构建目标用户行为大数据，其中，AI决策输入评估要求为：游走数据点的AI决策输入评估值小于目标评估值，所述目标评估值为70%。
此外，可以将Process1016具体配置为：提取满足AI决策输入评估要求的游走数据点相关联的追溯数据节点，并将该追溯数据节点，以及目标用户行为数据分布或初始化用户行为大数据至少其中之一，添加为所述目标用户行为大数据。并且在后续的步骤中：基于所述追溯数据节点，对所述目标用户行为大数据或所述初始化用户行为大数据其中之一进行游走解析，输出各个游走数据点。
进一步地，在本发明的一种实施例中，在Process101之前，还可以包括下述步骤。
Process1001，获取若干个参考用户行为数据，并对参考用户行为数据进行特征扩展和衍生，确定若干个训练范例行为数据。
Process1002，依据目标训练配置参数将训练范例行为数据切分成第一噪声决策学习数据序列和第一噪声决策测试数据序列。
目标训练配置参数例如可以是7：3，也即第一噪声决策学习数据序列占70%，第一噪声决策测试数据序列占30%。
Process1003，依据预设AI指令调取前向AI网络模型以输出对应的主动学习决策网络，基于ReLU函数，对第一噪声决策学习数据序列中的各个第一噪声决策学习数据进行游走学习输出，确定第一噪声决策学习数据中的各个学习游走数据点相关联的各个学习输出支持度。
Process1004，依据所述学习输出支持度从大到小的顺序对所述学习游走数据点进行排列，提取排列位次处于预设数量区间的学习游走数据点，确定第一加载学习游走数据。
Process1005，将第一加载学习游走数据及对应第一噪声决策学习数据的噪声点训练依据，加载至所述主动学习决策网络进行参数层信息的调优和调取，获得第一噪声决策网络函数阵列，计算学习输出支持度与噪声点训练依据的交叉熵损失函数值，作为第一噪声决策网络函数阵列的训练学习代价参数，并以第一噪声决策网络函数阵列对所述主动学习决策网络进行参数层信息的调优和选取。
噪声点训练依据可以是由相关开发用户输入参数层调优过程使用的参考用户行为数据中包含的、至少用于表征该参考用户行为数据整体的噪声区域的标注信息，噪声点训练依据可以是直接针对第一噪声决策学习数据的（或针对第一噪声决策学习数据对应的游走数据点的，或针对第一噪声决策学习数据对应的训练范例行为数据的）。
Process1006，循环进行参数层信息的调优和选取直至训练学习代价参数不再继续下降或者已经下降到预设代价参数以下，生成多个第一噪声决策网络函数阵列、对应的训练学习代价参数以及对应的第一加载学习游走数据。
Process1007，分别依据多个第一噪声决策网络函数阵列下的各个主动学习决策网络，对第一噪声决策测试数据序列中的第一噪声决策测试数据进行游走学习输出，确定第一噪声决策测试数据中的各个测试游走数据点相关联的各个测试输出支持度。
一些设计思路中，可以是Process1007中记载的，训练得到多个第一噪声决策网络函数阵列后统一且分别依据不同第一噪声决策网络函数阵列，依据第一噪声决策测试数据序列进行测试（即可以是独立测试），当然也可以是调优获得第一噪声决策网络函数阵列后，即加载该第一噪声决策网络函数阵列并依据第一噪声决策测试数据序列测试。
Process1008，对各个测试输出支持度进行筛选，确定最大测试输出支持度作为第一噪声决策测试数据的参考输出支持度，并确定参考输出支持度与第一噪声决策测试数据的噪声点训练依据的交叉熵损失函数值，作为该第一噪声决策网络函数阵列的训练测试代价参数。
Process1009，结合多个第一噪声决策网络函数阵列的训练测试代价参数，确定第一训练代价参数，将第一训练代价参数对应的第一噪声决策网络函数阵列作为前向噪声决策网络函数序列。
对第一噪声决策测试数据序列进行游走学习输出的目的在于挑选多个第一噪声决策网络函数阵列中，足以使决策能力最佳的第一噪声决策网络函数阵列作为前向噪声决策网络函数序列。前述主要依据训练学习代价参数进行第一噪声决策学习数据序列游走学习输出的流程控制，以及进行对应第一噪声决策网络函数阵列的初步决策能力评估，并依据训练测试代价参数进行第一噪声决策测试数据序列的决策以评估第一噪声决策网络函数阵列的可靠性。
进一步地，在本发明实施例中，在Process101之前可以包括下述步骤。
Process2001，获取前向噪声决策网络函数序列对应的第一加载学习游走数据。
Process2002，剔除主动学习决策网络的决策分类单元形成噪声点字段挖掘网络，基于前向噪声决策网络函数序列解析第一加载学习游走数据的噪声点字段，输出噪声点字段分布。
Process2003，依据目标训练配置参数将噪声点字段分布切分成第二噪声决策学习数据序列和第二噪声决策测试数据序列。
Process2004，依据预设AI指令调取后向AI网络模型以输出对应的递归神经决策网络，基于ReLU函数，对第二噪声决策学习数据序列中的各个第二噪声决策学习数据进行游走学习输出，确定第二噪声决策学习数据中的各个学习游走数据点相关联的各个学习输出支持度。
Process2005，依据所述学习输出支持度从大到小的顺序对所述学习游走数据点进行排列，提取排列位次处于预设数量区间的学习游走数据点，确定第二加载学习游走数据。
Process2006，将第二加载学习游走数据及对应第二噪声决策学习数据的噪声点训练依据，加载至递归神经决策网络进行参数层信息的调优和调取，获得第二噪声决策网络函数阵列，计算学习输出支持度与噪声点训练依据的交叉熵损失函数值，作为第二噪声决策网络函数阵列的训练学习代价参数，并以第二噪声决策网络函数阵列对所述递归神经决策网络进行参数层信息的调优和选取。
Process2007，依据所述第二噪声决策网络函数阵列下的递归神经决策网络，对第二噪声决策测试数据序列中的第二噪声决策测试数据进行游走学习输出，确定第二噪声决策测试数据中的各个测试游走数据点相关联的各个测试输出支持度。
Process2008，对各个测试输出支持度进行筛选，确定最大测试输出支持度作为第二噪声决策测试数据的参考输出支持度，并确定参考输出支持度与第二噪声决策测试数据的噪声点训练依据的交叉熵损失函数值，作为该第二噪声决策网络函数阵列的训练测试代价参数。
一种实施方式中，可以是Process2007中记载的，训练得到一项第二噪声决策网络函数阵列后，即加载该第二噪声决策网络函数阵列并依据第二噪声决策测试数据序列测试（即可以是实时测试），当然也可以是训练得到多个第二噪声决策网络函数阵列后统一且分别依据不同第二噪声决策网络函数阵列，依据第二噪声决策测试数据序列进行测试（即也可以是独立测试）。
Process2009，循环进行参数层信息的调优和选取和测试直至训练测试代价参数不再继续下降或者已经下降到预设代价参数以下，生成多个第二噪声决策网络函数阵列、对应的训练学习代价参数以及对应的第二加载学习游走数据。
Process20010，结合多个第二噪声决策网络函数阵列的训练测试代价参数，确定第二训练代价参数，将第二训练代价参数对应的第二噪声决策网络函数阵列作为后向噪声决策网络函数序列。
基于以上步骤，本发明实施例依次加载前向AI网络模型和后向AI网络模型形成的噪声决策网络，对目标用户行为大数据进行前后AI决策，后向AI网络模型的模型加载信息是依据前向AI网络模型得到的各个噪声支持度进行整理后进一步提取的，从而可以提高后向模型加载信息的可靠性。同时将前向AI网络模型、后向AI网络模型按照前后顺序配置，前向AI网络模型依据预设AI指令调取主动学习决策网络可以控制模型加载信息量，后向AI网络模型选用递归神经决策网络，递归神经决策网络相对于传统神经网络模型可以提高时间关联性的学习能力，进而提高噪声决策的准确性。
一种实施方式中，Process105可以通过以下示例性的子步骤实现。
Process1051，将目标噪声支持度大于预设支持度的确认噪声点作为最终大数据清洗决策依据的标的噪声点。
Process1052，基于各个所述标的噪声点对所述目标用户行为大数据进行大数据清洗处理。
一种实施方式中，在Process105之后，还可以包括下述步骤。
Process106，获取基于各个所述标的噪声点对所述目标用户行为大数据进行大数据清洗处理生成的清洗行为大数据。
Process107，对所述清洗行为大数据进行用户意图挖掘，获得所述指定用户所对应的用户意图知识图谱。
Process108，基于所述用户意图知识图谱对所述指定用户进行信息推送。
本实施例中，可以获取所述用户意图知识图谱中的各个目标用户意图相关的信息推荐内容，并基于所述用户意图知识图谱中的各个目标用户意图之间的意图产生关系对信息推荐内容进行对应的关系关联，由此生成最终推送的目标信息推荐内容对所述指定用户进行信息推送。
一种实施方式中，Process107可以通过以下示例性的子步骤实现。
Process1071，根据用户意图挖掘模型，对所述清洗行为大数据进行用户意图挖掘，输出所述清洗行为大数据所对应的各个目标用户意图，其中，所述用户意图挖掘模型为根据在先完成信任认证的样本行为数据序列对由目标训练规模的初始化用户意图学习网络进行级联构建而成的初始化用户意图学习模型进行循环参数层调优和选取得到的。
Process1072，获取所述各个目标用户意图在所述清洗行为大数据中的产生路径，并根据所述产生路径确定所述各个目标用户意图之间的意图产生关系。
Process1073，基于所述各个目标用户意图之间的意图产生关系生成所述指定用户所对应的用户意图知识图谱。
其中，所述用户意图挖掘模型包括用户关注变量挖掘单元和用户意图预测单元，所述根据用户意图挖掘模型，对所述清洗行为大数据进行用户意图挖掘，输出各个目标用户意图的步骤，具体包括：根据所述用户关注变量挖掘单元，对所述清洗行为大数据进行用户关注变量挖掘，输出用户关注变量序列。根据所述用户关注变量序列和所述用户意图预测单元，对所述指定用户进行用户意图挖掘，输出所述各个目标用户意图。
下面介绍用户意图挖掘模型的训练流程。
（1）获取样本行为数据序列。
（2）配置样本行为数据序列中各所述样本行为数据对应的源域关注节点数据和目标域关注节点数据。
（3）根据所述源域关注节点数据和所述目标域关注节点数据，确定在不同用户意图学习阶段中各所述样本行为数据对应的关注节点数据。
（4）根据在不同用户意图学习阶段对应的关注节点数据的各所述样本行为数据，对所述初始化用户意图学习模型进行循环参数层调优和选取，输出所述用户意图挖掘模型。
其中，所述初始化用户意图学习模型包括初始化用户关注变量挖掘单元和初始化用户意图预测单元，所述用户意图挖掘模型包括用户关注变量挖掘单元和用户意图预测单元， 由此，在（4）中，可以构建根据目标训练规模的编码单元进行级联构建而成的初始化用户关注变量挖掘单元，并构建根据目标训练规模的预测单元进行级联构建而成的初始化用户意图预测单元后，加载训练代价指标信息。然后，根据所述初始化用户关注变量挖掘单元，对所述不同用户意图学习阶段对应的关注节点数据的各所述样本行为数据进行用户关注变量挖掘，输出不同用户关注节点维度的用户关注变量序列，接着将不同用户关注节点维度的用户关注变量序列加载至初始化用户意图预测单元，以对所述样本行为数据序列中的各样本行为数据序列进行用户意图预测，输出用户意图预测信息。在此基础上，根据各所述样本行为数据对应的样本意图信息和各所述样本行为数据对应的用户意图预测信息，通过所述训练代价指标信息计算用户意图预测代价，根据所述用户意图预测代价，对所述初始化用户意图预测单元与所述初始化用户关注变量挖掘单元进行参数层信息的调优和选取，输出所述用户关注变量挖掘单元和所述用户意图预测单元。
其中，加载训练代价指标信息的步骤，具体包括：计算各所述样本行为数据对应的样本行为活动到边缘化行为活动的行为特征代价，输出用户意图挖掘模型的边缘化训练系数。根据各所述样本行为数据的样本意图信息对应的样本意图数量，计算各样本意图对应的样本意图影响因子。根据所述边缘化训练系数、所述样本意图影响因子、样本意图信息和各所述样本行为数据对应的用户意图预测信息，构建所述训练代价指标信息。
一种实施方式中，构建根据目标训练规模的编码单元进行级联构建而成的初始化用户关注变量挖掘单元的步骤，具体包括：构建目标训练规模的编码单元，其中，所述编码单元包括卷积层、批归一化层和非线性函数层。 将各所述编码单元进行级联连接，并将不相邻的编码单元进行两两连接，输出所述初始化用户关注变量挖掘单元。
一种实施方式中，所述初始化用户意图预测单元包括各预测单元，构建根据目标训练规模的预测单元进行级联构建而成的初始化用户意图预测单元的步骤，具体包括：构建目标训练规模的预测单元，其中，所述预测单元包括卷积层、批归一化层和非线性函数层。将各所述预测单元进行级联连接，并将不相邻的预测单元进行两两连接，输出所述初始化用户意图预测单元。
图2示出了本发明实施例提供的用于实现上述的应用人工智能策略的大数据清洗决策系统的AI处理系统100的硬件结构意图，如图2所示，AI处理系统100可包括处理器110、机器可读存储介质120、总线130以及通信单元140。
处理器110可以基于存储在机器可读存储介质120中的程序而执行各种适当的动作和处理，例如前述实施例所描述的应用人工智能策略的大数据清洗决策方法所相关的程序指令。处理器110、机器可读存储介质120以及通信单元140通过总线130进行信号传输。
特别地，基于本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信单元140从网络上被下载和安装，在该计算机程序被处理器110执行时，执行本发明实施例的方法中限定的上述功能。
本发明又一实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上述任一实施例所述的应用人工智能策略的大数据清洗决策方法。
需要说明的是，本发明上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（LAM）、只读存储器（LOM）、可擦式可编程只读存储器（EPLOM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-LOM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、LM（射频）等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例所示的方法。
本发明又一实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上述任一实施例所述的应用人工智能策略的大数据清洗决策方法。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种应用人工智能策略的大数据清洗决策方法，其特征在于，应用于所述AI处理系统，所述方法包括：
从待清洗的业务大数据库中提取待进行用户意图挖掘的指定用户的目标用户行为大数据；
依据预设AI指令调取前向AI网络模型以输出对应的前向噪声决策网络，以前向噪声决策网络函数序列对所述目标用户行为大数据进行游走决策，确定各个游走数据点相关联的各个噪声支持度；
提取所述噪声支持度满足设定噪声评判要求的游走数据点，确定模糊噪声点序列，并基于所述前向噪声决策网络函数序列解析所述模糊噪声点序列的噪声点字段，输出模糊噪声点字段簇；
依据预设AI指令调取后向AI网络模型以输出对应的后向噪声决策网络，以后向噪声决策网络函数序列对所述模糊噪声点字段簇进行游走决策，基于目标噪声支持度满足设定噪声确认要求的游走数据点，确定确认噪声点及所述确认噪声点的所述目标噪声支持度；
基于所述确认噪声点及所述确认噪声点的所述目标噪声支持度对所述目标用户行为大数据进行大数据清洗决策。
2.根据权利要求1所述的应用人工智能策略的大数据清洗决策方法，其特征在于，所述前向噪声决策网络为主动学习决策网络，所述后向噪声决策网络为递归神经决策网络；所述方法还包括：
剔除所述前向噪声决策网络的决策分类单元形成噪声点字段挖掘网络，并基于前向噪声决策网络函数序列解析所述模糊噪声点序列的噪声点字段，输出模糊噪声点字段簇。
3.根据权利要求1所述的应用人工智能策略的大数据清洗决策方法，其特征在于，所述方法还包括：
获取初始化用户行为大数据，计算所述初始化用户行为大数据的行为活动触发特征分布和行为活动触发频率分布，确定初始化特征分布和初始化频率分布，并确定所述初始化频率分布的最大频率分布节点作为最大初始化频率数据；
基于所述指定用户的最大历史平均频率数据和所述最大初始化频率数据计算异动参数，并依据所述异动参数更新所述初始化频率分布，确定目标频率分布；
基于初始化特征分布、所述指定用户的历史特征分布和目标频率分布，生成目标用户行为数据分布；
其中，所述历史特征分布为一个或多个历史挖掘可靠性认证的行为数据的行为活动触发特征分布，所述最大历史平均频率数据为所述历史挖掘可靠性认证的行为数据的行为活动触发频率分布的最大频率分布节点。
4.根据权利要求3所述的应用人工智能策略的大数据清洗决策方法，其特征在于，所述方法还包括：
游走所述目标用户行为数据分布，依据设定数据节点的游走窗口对所述目标用户行为数据分布进行游走决策，确定所述目标用户行为数据分布的多个游走数据点，以及所述游走数据点在所述目标用户行为数据分布中的追溯数据节点；
游走所述游走数据点的所有数据成员的可挖掘价值数据，计算所述可挖掘价值数据中可挖掘价值大于目标可挖掘价值的数据成员数量与数据成员总数量的比值，确定所述游走数据点的AI决策输入评估值；
基于满足AI决策输入评估要求的游走数据点构建所述目标用户行为大数据，其中，所述AI决策输入评估要求为：
所述游走数据点的AI决策输入评估值大于目标评估值。
5.根据权利要求1-4中任意一项所述的应用人工智能策略的大数据清洗决策方法，其特征在于，所述前向噪声决策网络的训练步骤包括：
获取若干个参考用户行为数据，并对所述参考用户行为数据进行特征扩展和衍生，确定若干个训练范例行为数据；
依据目标训练配置参数将所述训练范例行为数据切分成第一噪声决策学习数据序列和第一噪声决策测试数据序列；
依据预设AI指令调取前向AI网络模型以输出对应的主动学习决策网络，基于ReLU函数对第一噪声决策学习数据序列中的各个第一噪声决策学习数据进行游走学习输出，确定所述第一噪声决策学习数据中的各个学习游走数据点相关联的各个学习输出支持度；
依据所述学习输出支持度从大到小的顺序对所述学习游走数据点进行排列，提取排列位次处于预设数量区间的学习游走数据点，确定第一加载学习游走数据；
将所述第一加载学习游走数据及对应第一噪声决策学习数据的噪声点训练依据，加载至所述主动学习决策网络进行参数层信息的调优和调取，获得第一噪声决策网络函数阵列，计算所述学习输出支持度与所述噪声点训练依据的交叉熵损失函数值，作为第一噪声决策网络函数阵列的训练学习代价参数，并以所述第一噪声决策网络函数阵列对所述主动学习决策网络进行参数层信息的调优和选取；
循环进行参数层信息的调优和选取直至训练学习代价参数不再继续下降或者已经下降到预设代价参数以下，生成多个第一噪声决策网络函数阵列、对应的训练学习代价参数以及对应的第一加载学习游走数据；
分别依据所述多个第一噪声决策网络函数阵列下的各个主动学习决策网络，对所述第一噪声决策测试数据序列中的第一噪声决策测试数据进行游走学习输出，确定第一噪声决策测试数据中的各个测试游走数据点相关联的各个测试输出支持度；
从所述各个测试输出支持度中确定最大测试输出支持度作为所述第一噪声决策测试数据的参考输出支持度，并确定所述参考输出支持度与所述第一噪声决策测试数据的噪声点训练依据的交叉熵损失函数值，作为该第一噪声决策网络函数阵列的训练测试代价参数；
结合多个第一噪声决策网络函数阵列的训练测试代价参数，确定第一训练代价参数，将所述第一训练代价参数对应的第一噪声决策网络函数阵列作为所述前向噪声决策网络函数序列。
6.根据权利要求5所述的应用人工智能策略的大数据清洗决策方法，其特征在于，所述后向噪声决策网络的训练步骤包括：
获取所述前向噪声决策网络函数序列对应的第一加载学习游走数据；
剔除所述主动学习决策网络的决策分类单元形成噪声点字段挖掘网络，基于所述前向噪声决策网络函数序列解析所述第一加载学习游走数据的噪声点字段，输出噪声点字段分布；
依据目标训练配置参数将所述噪声点字段分布切分成第二噪声决策学习数据序列和第二噪声决策测试数据序列；
依据预设AI指令调取后向AI网络模型以输出对应的递归神经决策网络，基于ReLU函数对第二噪声决策学习数据序列中的各个第二噪声决策学习数据进行游走学习输出，确定第二噪声决策学习数据中的各个学习游走数据点相关联的各个学习输出支持度；
依据所述学习输出支持度从大到小的顺序对所述学习游走数据点进行排列，提取排列位次处于预设数量区间的学习游走数据点，确定第二加载学习游走数据；
将所述第二加载学习游走数据及对应第二噪声决策学习数据的噪声点训练依据，加载至所述递归神经决策网络进行参数层信息的调优和调取，获得第二噪声决策网络函数阵列，计算所述学习输出支持度与所述噪声点训练依据的交叉熵损失函数值，作为第二噪声决策网络函数阵列的训练学习代价参数，并以所述第二噪声决策网络函数阵列对所述递归神经决策网络进行参数层信息的调优和选取；
依据所述第二噪声决策网络函数阵列下的递归神经决策网络，对所述第二噪声决策测试数据序列中的第二噪声决策测试数据进行游走学习输出，确定第二噪声决策测试数据中的各个测试游走数据点相关联的各个测试输出支持度；
从所述各个测试输出支持度中确定最大测试输出支持度作为所述第二噪声决策测试数据的参考输出支持度，并确定所述参考输出支持度与所述第二噪声决策测试数据的噪声点训练依据的交叉熵损失函数值，作为该第二噪声决策网络函数阵列的训练测试代价参数；
循环进行参数层信息的调优和选取和测试直至训练测试代价参数不再继续下降或者已经下降到预设代价参数以下，生成多个第二噪声决策网络函数阵列、对应的训练学习代价参数以及对应的第二加载学习游走数据；
结合多个第二噪声决策网络函数阵列的训练测试代价参数，确定第二训练代价参数，将所述第二训练代价参数对应的第二噪声决策网络函数阵列作为所述后向噪声决策网络函数序列。
7.根据权利要求1-6中任意一项所述的应用人工智能策略的大数据清洗决策方法，其特征在于，所述基于所述确认噪声点及所述确认噪声点的所述目标噪声支持度对所述目标用户行为大数据进行大数据清洗决策的步骤，包括：
将目标噪声支持度大于预设支持度的确认噪声点作为最终大数据清洗决策依据的标的噪声点；
基于各个所述标的噪声点对所述目标用户行为大数据进行大数据清洗处理。
8.根据权利要求7所述的应用人工智能策略的大数据清洗决策方法，其特征在于，所述方法还包括：
获取基于各个所述标的噪声点对所述目标用户行为大数据进行大数据清洗处理生成的清洗行为大数据；
对所述清洗行为大数据进行用户意图挖掘，获得所述指定用户所对应的用户意图知识图谱；
基于所述用户意图知识图谱对所述指定用户进行信息推送。
9.根据权利要求8所述的应用人工智能策略的大数据清洗决策方法，其特征在于，所述对所述清洗行为大数据进行用户意图挖掘，获得所述指定用户所对应的用户意图知识图谱的步骤，包括：
根据用户意图挖掘模型，对所述清洗行为大数据进行用户意图挖掘，输出所述清洗行为大数据所对应的各个目标用户意图，其中，所述用户意图挖掘模型为根据在先完成信任认证的样本行为数据序列对由目标训练规模的初始化用户意图学习网络进行级联构建而成的初始化用户意图学习模型进行循环参数层调优和选取得到的；
获取所述各个目标用户意图在所述清洗行为大数据中的产生路径，并根据所述产生路径确定所述各个目标用户意图之间的意图产生关系；
基于所述各个目标用户意图之间的意图产生关系生成所述指定用户所对应的用户意图知识图谱；
其中，所述用户意图挖掘模型包括用户关注变量挖掘单元和用户意图预测单元， 所述根据用户意图挖掘模型，对所述清洗行为大数据进行用户意图挖掘，输出各个目标用户意图的步骤，具体包括：
根据所述用户关注变量挖掘单元，对所述清洗行为大数据进行用户关注变量挖掘，输出用户关注变量序列；
根据所述用户关注变量序列和所述用户意图预测单元，对所述指定用户进行用户意图挖掘，输出所述各个目标用户意图；
其中，在所述根据用户意图挖掘模型，对所述清洗行为大数据进行用户意图挖掘，输出各个目标用户意图，其中，所述用户意图挖掘模型为根据在先完成信任认证的样本行为数据序列对由目标训练规模的初始化用户意图学习网络进行级联构建而成的初始化用户意图学习模型进行循环参数层调优和选取得到的步骤之前，所述方法还包括：
获取样本行为数据序列；
配置样本行为数据序列中各所述样本行为数据对应的源域关注节点数据和目标域关注节点数据；
根据所述源域关注节点数据和所述目标域关注节点数据，确定在不同用户意图学习阶段中各所述样本行为数据对应的关注节点数据；
根据在不同用户意图学习阶段对应的关注节点数据的各所述样本行为数据，对所述初始化用户意图学习模型进行循环参数层调优和选取，输出所述用户意图挖掘模型；
其中，所述初始化用户意图学习模型包括初始化用户关注变量挖掘单元和初始化用户意图预测单元，所述用户意图挖掘模型包括用户关注变量挖掘单元和用户意图预测单元，所述根据在不同用户意图学习阶段对应的关注节点数据的各所述样本行为数据，对所述初始化用户意图学习模型进行循环参数层调优和选取，输出所述用户意图挖掘模型的步骤，具体包括：
构建根据目标训练规模的编码单元进行级联构建而成的初始化用户关注变量挖掘单元，并构建根据目标训练规模的预测单元进行级联构建而成的初始化用户意图预测单元后，加载训练代价指标信息；
根据所述初始化用户关注变量挖掘单元，对所述不同用户意图学习阶段对应的关注节点数据的各所述样本行为数据进行用户关注变量挖掘，输出不同用户关注节点维度的用户关注变量序列；
将不同用户关注节点维度的用户关注变量序列加载至初始化用户意图预测单元，以对所述样本行为数据序列中的各样本行为数据序列进行用户意图预测，输出用户意图预测信息；
根据各所述样本行为数据对应的样本意图信息和各所述样本行为数据对应的用户意图预测信息，通过所述训练代价指标信息计算用户意图预测代价；
根据所述用户意图预测代价，对所述初始化用户意图预测单元与所述初始化用户关注变量挖掘单元进行参数层信息的调优和选取，输出所述用户关注变量挖掘单元和所述用户意图预测单元；
其中，所述加载训练代价指标信息的步骤，具体包括：
计算各所述样本行为数据对应的样本行为活动到边缘化行为活动的行为特征代价，输出用户意图挖掘模型的边缘化训练系数；
根据各所述样本行为数据的样本意图信息对应的样本意图数量，计算各样本意图对应的样本意图影响因子；
根据所述边缘化训练系数、所述样本意图影响因子、样本意图信息和各所述样本行为数据对应的用户意图预测信息，构建所述训练代价指标信息。
10.一种AI处理系统，其特征在于，所述AI处理系统包括处理器和机器可读存储介质，所述机器可读存储介质中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现权利要求1-9中任意一项的应用人工智能策略的大数据清洗决策方法。
CN202210563391.2A 2022-05-23 2022-05-23 应用人工智能策略的大数据清洗决策方法及ai处理系统 Active CN114880314B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210563391.2A CN114880314B (zh) 2022-05-23 2022-05-23 应用人工智能策略的大数据清洗决策方法及ai处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210563391.2A CN114880314B (zh) 2022-05-23 2022-05-23 应用人工智能策略的大数据清洗决策方法及ai处理系统

Publications (2)

Publication Number Publication Date
CN114880314A true CN114880314A (zh) 2022-08-09
CN114880314B CN114880314B (zh) 2023-03-24

Family

ID=82677843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210563391.2A Active CN114880314B (zh) 2022-05-23 2022-05-23 应用人工智能策略的大数据清洗决策方法及ai处理系统

Country Status (1)

Country Link
CN (1) CN114880314B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115422486A (zh) * 2022-09-15 2022-12-02 亢朝侠 基于人工智能的云服务在线页面优化方法及大数据系统
CN116958717A (zh) * 2023-09-20 2023-10-27 山东省地质测绘院 基于机器学习的地质大数据智能清洗方法
CN117150347A (zh) * 2023-10-25 2023-12-01 无锡迪富智能电子股份有限公司 用于卫浴遥控器的自决策方法及系统
CN117332992A (zh) * 2023-11-24 2024-01-02 北京国联视讯信息技术股份有限公司 一种用于产业互联网的协同制造方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015178756A1 (en) * 2014-05-23 2015-11-26 Mimos Berhad Adaptive-window edit distance algorithm computation
CN105468658A (zh) * 2014-09-26 2016-04-06 中国移动通信集团湖北有限公司 一种数据清洗方法及装置
CN111126437A (zh) * 2019-11-22 2020-05-08 中国人民解放军战略支援部队信息工程大学 基于加权动态网络表示学习的异常群体检测方法
CN111292062A (zh) * 2020-02-10 2020-06-16 中南大学 基于网络嵌入的众包垃圾工人检测方法、系统及存储介质
CN111899320A (zh) * 2020-08-20 2020-11-06 腾讯科技（深圳）有限公司 数据处理的方法、动捕去噪模型的训练方法及装置
CN113361201A (zh) * 2021-06-10 2021-09-07 南京大学 一种基于噪声标签学习的众包获取标签数据清洗方法
CN114091617A (zh) * 2021-11-29 2022-02-25 深圳前海微众银行股份有限公司 联邦学习建模优化方法、电子设备、存储介质及程序产品

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015178756A1 (en) * 2014-05-23 2015-11-26 Mimos Berhad Adaptive-window edit distance algorithm computation
CN105468658A (zh) * 2014-09-26 2016-04-06 中国移动通信集团湖北有限公司 一种数据清洗方法及装置
CN111126437A (zh) * 2019-11-22 2020-05-08 中国人民解放军战略支援部队信息工程大学 基于加权动态网络表示学习的异常群体检测方法
CN111292062A (zh) * 2020-02-10 2020-06-16 中南大学 基于网络嵌入的众包垃圾工人检测方法、系统及存储介质
CN111899320A (zh) * 2020-08-20 2020-11-06 腾讯科技（深圳）有限公司 数据处理的方法、动捕去噪模型的训练方法及装置
CN113361201A (zh) * 2021-06-10 2021-09-07 南京大学 一种基于噪声标签学习的众包获取标签数据清洗方法
CN114091617A (zh) * 2021-11-29 2022-02-25 深圳前海微众银行股份有限公司 联邦学习建模优化方法、电子设备、存储介质及程序产品

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AISHAN LIU等: "Training Robust Deep Neural Networks via Adversarial Noise Propagation", 《IEEE TRANSACTIONS ON IMAGE PROCESSING 》 *
孟晓超等: "基于主动学习的标签噪声清洗方法", 《陕西师范大学学报(自然科学版)》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115422486A (zh) * 2022-09-15 2022-12-02 亢朝侠 基于人工智能的云服务在线页面优化方法及大数据系统
CN115422486B (zh) * 2022-09-15 2023-06-20 湖南为趣时代网络科技有限公司 基于人工智能的云服务在线页面优化方法及大数据系统
CN116958717A (zh) * 2023-09-20 2023-10-27 山东省地质测绘院 基于机器学习的地质大数据智能清洗方法
CN116958717B (zh) * 2023-09-20 2023-12-12 山东省地质测绘院 基于机器学习的地质大数据智能清洗方法
CN117150347A (zh) * 2023-10-25 2023-12-01 无锡迪富智能电子股份有限公司 用于卫浴遥控器的自决策方法及系统
CN117150347B (zh) * 2023-10-25 2024-01-26 无锡迪富智能电子股份有限公司 用于卫浴遥控器的自决策方法及系统
CN117332992A (zh) * 2023-11-24 2024-01-02 北京国联视讯信息技术股份有限公司 一种用于产业互联网的协同制造方法及系统
CN117332992B (zh) * 2023-11-24 2024-02-09 北京国联视讯信息技术股份有限公司 一种用于产业互联网的协同制造方法及系统

Also Published As

Publication number Publication date
CN114880314B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN114880314B (zh) 应用人工智能策略的大数据清洗决策方法及ai处理系统
KR102274389B1 (ko) 센서 데이터를 이용한 이상패턴 탐지 모델 구축 방법 및 이를 이용한 이상 탐지 장치 및 방법
CN113361680B (zh) 一种神经网络架构搜索方法、装置、设备及介质
van der Herten et al. A fuzzy hybrid sequential design strategy for global surrogate modeling of high-dimensional computer experiments
US10657212B2 (en) Application- or algorithm-specific quantum circuit design
CN112085161B (zh) 一种基于随机信息传递的图神经网络方法
CN111382875A (zh) 联邦模型参数确定方法、装置、设备及存储介质
CN113869521A (zh) 构建预测模型的方法、装置、计算设备和存储介质
CN114697128A (zh) 通过人工智能决策的大数据去噪方法及大数据采集系统
Bi et al. Large-scale network traffic prediction with LSTM and temporal convolutional networks
CN115730947A (zh) 银行客户流失预测方法及装置
Mo et al. Multi-objective optimization of extreme learning machine for remaining useful life prediction
CN114647790A (zh) 应用于行为意图分析的大数据挖掘方法及云端ai服务系统
Fister Jr et al. A brief overview of swarm intelligence-based algorithms for numerical association rule mining
Do Xuan et al. A novel approach for software vulnerability detection based on intelligent cognitive computing
Ackermann et al. Black-box learning of parametric dependencies for performance models
CN115906927B (zh) 基于人工智能的数据访问分析方法、系统及云平台
CN113076545A (zh) 一种基于深度学习的内核模糊测试序列生成方法
US8289884B1 (en) System and method for identification of unknown illicit networks
CN114489574B (zh) 一种基于svm的流处理框架的自动调优方法
CN114358394A (zh) 特征指标筛选方法、满意度预测模型构建方法及预测方法
CN114139627A (zh) 数据确定方法、装置、存储介质及电子设备
KR20220155834A (ko) 장비 적용을 위한 ai 기반 진단 기술 자동화 방법
Hinojosa et al. Multi-objective evolutionary algorithm for tuning the Type-2 inference engine on classification task
Spieck et al. Run-time scenario-based MPSoC mapping reconfiguration using machine learning models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230113

Address after: 271000 No. 53 Wenquan Road, Taishan District, Tai'an City, Shandong Province

Applicant after: Ren Zhigui

Address before: 264000 1628 Wanfang business building, No. 16, Qingnian Road, Zhifu District, Yantai City, Shandong Province

Applicant before: Yantai Julu Information Technology Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230303

Address after: 100094 Unit -105, Floor 1, Building 10, Xinruijia Garden, Shangzhuang, Haidian District, Beijing

Applicant after: Beijing Zhengyuanda Technology Co.,Ltd.

Address before: 271000 No. 53 Wenquan Road, Taishan District, Tai'an City, Shandong Province

Applicant before: Ren Zhigui

GR01 Patent grant
GR01 Patent grant