具体实施方式
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“对应于”以及它们的任何变形,意图在于覆盖不排它的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面介绍本发明一种实施例提供的服务于大数据去噪优化的AI分析输出系统10的架构,该服务于大数据去噪优化的AI分析输出系统10可以包括人工智能系统100以及与人工智能系统100通信连接的大数据采集服务器200。其中,服务于大数据去噪优化的AI分析输出系统10中的人工智能系统100和大数据采集服务器200可以通过配合执行以下方法实施例所描述的服务于大数据去噪优化的AI分析输出方法,具体人工智能系统100和大数据采集服务器200的执行步骤部分可以参照以下方法实施例的详细描述。
本实施例提供的服务于大数据去噪优化的AI分析输出方法可以由人工智能系统100执行,下面结合图1对该服务于大数据去噪优化的AI分析输出方法进行详细介绍。
Process110,获取目标训练样本数据业务源的大数据采集活动数据以及目标训练样本数据业务源上的历史先验噪声线索数据,目标训练样本数据业务源与目标采集噪声点决策模型预先配置有模型部署应用关系,目标训练样本数据业务源为AI应用业务服务器中的训练样本数据业务源,目标训练样本数据业务源的大数据采集活动数据表征目标训练样本数据业务源所对应的目标大数据采集活动簇和目标大数据采集活动簇中的目标大数据采集活动之间的活动协同关系信息。
Process120,将目标训练样本数据业务源的大数据采集活动数据以及目标训练样本数据业务源上的历史先验噪声线索数据加载至目标采集噪声点决策模型,确定目标采集噪声点决策模型生成的目标采集噪声点信息。
Process130,基于目标采集噪声点信息,输出从AI应用业务服务器中的目标采集初始目标采集至目标采集终止目标的采集噪声点信息,从目标采集初始目标采集至目标采集终止目标的采集路径经由目标训练样本数据业务源。
针对一些可能的设计思路而言,上述目标训练样本数据业务源上的历史先验噪声线索数据可以包括但不限于目标训练样本数据业务源的过往存在过的且已经被相关开发人员确认的噪声线索信息,噪声线索信息可以包括噪声业务字段信息、噪声特征向量信息等。
针对一些可能的设计思路而言,上述目标训练样本数据业务源与目标采集噪声点决策模型预先配置有对应的关系可以包括但不限于为上述AI应用业务服务器中每个训练样本数据业务源分别配置上述采集噪声点决策模型,或者,为上述AI应用业务服务器中预设的部分训练样本数据业务源配置上述采集噪声点决策模型,每一个训练样本数据业务源对应一个采集噪声点决策模型。
针对一些可能的设计思路而言,上述目标大数据采集活动簇中的大数据采集活动之间的活动协同关系信息可以包括但不限于在同一个大数据采集活动上存在活动协同关系的大数据采集活动等。
针对一些可能的设计思路而言,上述采集噪声点决策模型可以包括但不限于基于范例训练样本数据业务源和范例历史先验噪声线索数据以及范例采集噪声点信息对初始采集噪声点决策模型进行模型参数层的调优和选取,所得到的采集噪声点决策模型,上述采集噪声点决策模型可以包括但不限于决策树网络模型。
针对一些可能的设计思路而言,上述目标采集噪声点信息可以包括但不限于目标训练样本数据业务源中每个大数据采集活动的采集噪声点信息,还可以包括但不限于目标训练样本数据业务源中任意一个大数据采集活动至任意其它一个大数据采集活动的采集噪声点信息,还可以包括但不限于不同训练样本数据业务源之间的采集噪声点信息。
针对一些可能的设计思路而言,采集初始目标可以是指用于起大数据采集引导作用的业务字段,采集终止目标可以是指用于起大数据采集终止作用的业务字段。
采用以上技术方案,采用获取目标训练样本数据业务源的大数据采集活动数据以及目标训练样本数据业务源上的历史先验噪声线索数据,将目标训练样本数据业务源的大数据采集活动数据以及目标训练样本数据业务源上的历史先验噪声线索数据加载至目标采集噪声点决策模型,确定目标采集噪声点决策模型生成的目标采集噪声点信息,基于目标采集噪声点信息,输出从AI应用业务服务器中的目标采集初始目标采集至目标采集终止目标的采集噪声点信息的方式,依据从AI应用业务服务器中获取目标训练样本数据业务源的大数据采集活动数据以及目标训练样本数据业务源的历史先验噪声线索数据,加载至采集噪声点决策模型,进而确定采集噪声点信息,由此提高采集噪声点信息的决策准确性,从而提高大数据去噪的有效性。
针对一些可能的设计思路而言,对于Process120,本发明实施例提供一种服务于大数据去噪优化的AI分析输出方法,包括以下步骤。
Process210,基于获取的所述目标训练样本数据业务源的大数据采集活动数据以及所述目标训练样本数据业务源上的历史先验噪声线索数据,输出所述大数据采集活动数据中包括的目标采集活动成员的噪声线索关联变量、以及所述大数据采集活动数据中包括的目标协同关系类别的噪声线索关联变量,所述目标采集活动成员与目标大数据采集活动具有特征映射关系,所述目标采集活动成员表示所述目标大数据采集活动簇中对应的一个大数据采集活动,所述目标协同关系类别连接至少一对目标采集活动成员,表示至少一对目标采集活动成员对应的两个目标大数据采集活动存在协同关系,所述目标大数据采集活动为所述目标大数据采集活动簇中的大数据采集活动,表征所述目标训练样本数据业务源中的部分训练样本数据业务源;
Process220,基于所述目标采集活动成员的噪声线索关联变量和所述目标协同关系类别的噪声线索关联变量,输出所述目标采集活动成员的噪声传递特征;
Process230,基于所述目标采集活动成员的噪声传递特征,输出所述目标采集噪声点信息。
针对一些可能的设计思路而言,上述目标采集活动成员的噪声线索关联变量可以包括但不限于该目标采集活动成员的历史先验噪声线索数据,上述目标协同关系类别的噪声线索关联变量表征多个目标采集活动成员之间的协同关系标签。
针对一些可能的设计思路而言,上述目标采集活动成员的噪声传递特征由上述采集噪声点决策模型得到,目标采集活动成员的噪声传递特征包括来自目标采集活动成员的协同采集活动成员的信息,还可以包括但不限于不同噪声传递决策节点的协同采集活动成员的信息。
针对一些可能的设计思路而言,可以包括但不限于依据上述采集噪声点决策模型采用迭代更新上述目标组采集活动成员的噪声传递特征来实现。
采用以上技术方案,采用基于获取的目标训练样本数据业务源的大数据采集活动数据以及目标训练样本数据业务源上的历史先验噪声线索数据,输出大数据采集活动数据中包括的目标采集活动成员的噪声线索关联变量、以及大数据采集活动数据中包括的目标协同关系类别的噪声线索关联变量,目标采集活动成员与目标大数据采集活动具有特征映射关系,目标采集活动成员表示目标大数据采集活动簇中对应的一个大数据采集活动,目标协同关系类别连接两个目标采集活动成员,表示两个目标采集活动成员对应的两个目标大数据采集活动存在协同关系,目标大数据采集活动为目标大数据采集活动簇中的大数据采集活动,表征目标训练样本数据业务源中的部分训练样本数据业务源,基于目标采集活动成员的噪声线索关联变量和目标协同关系类别的噪声线索关联变量,输出目标采集活动成员的噪声传递特征,基于目标采集活动成员的噪声传递特征,输出目标采集噪声点信息的方式,在确定目标采集噪声点信息的过程中,融合了目标组采集活动成员以及目标组采集活动成员的协同采集活动成员的噪声线索关联变量,依据协同采集活动成员相互传递信息,以增加局部偏差,进而,更有效地使得采集噪声点决策模型能够依据AI应用业务服务器的大数据噪声关联特征,提高决策能力,优化确定大数据采集活动的采集噪声点信息的精度。
针对一些可能的设计思路而言,所述基于所述目标采集活动成员的噪声线索关联变量和所述目标协同关系类别的噪声线索关联变量,输出所述目标采集活动成员的噪声传递特征,包括:
基于遍历采集活动成员的噪声线索关联变量、与所述遍历采集活动成员相协同的采集活动成员类别的噪声线索关联变量、所述遍历采集活动成员的协同采集活动成员的噪声线索关联变量、所述遍历采集活动成员的所述协同采集活动成员在当前噪声传递决策节点上的噪声传递特征,输出所述遍历采集活动成员在下一噪声传递决策节点上的噪声传递特征,所述目标采集活动成员包括所述遍历采集活动成员和所述遍历采集活动成员的所述协同采集活动成员。
针对一些可能的设计思路而言,以遍历采集活动成员为采集活动成员y,当前噪声传递决策节点为t噪声传递决策节点,下一噪声传递决策节点为t+1噪声传递决策节点为例,上述基于采集活动成员y的噪声线索关联变量、与采集活动成员y相邻的采集活动成员类别的噪声线索关联变量、采集活动成员y的协同采集活动成员的噪声线索关联变量、采集活动成员y的协同采集活动成员在第t噪声传递决策节点上的噪声传递特征,输出采集活动成员y在t+1噪声传递决策节点上的噪声传递特征可以包括但不限于如下内容:
假设采集活动成员5为采集活动成员y,其噪声传递特征的更新函数包括但不限于如下公式:
e5=f(p5,p(3,5),p(5,6),e3,e6,p3,p6)
以上公式中,p5表示采集活动成员5的噪声线索关联变量、p(3,5)表示采集活动成员5和其协同采集活动成员3的采集活动成员类别的噪声线索关联变量,p(5,6)表示采集活动成员5和其协同采集活动成员6的采集活动成员类别的噪声线索关联变量,p3,p6分别表示协同采集活动成员3和协同采集活动成员6的噪声线索关联变量,e3和e6分别表示采集活动成员5的协同采集活动成员3在第t噪声传递决策节点上的噪声传递特征以及协同采集活动成员6在t噪声传递决策节点上的噪声传递特征。
其中,依据当前噪声传递决策节点协同采集活动成员的噪声传递特征作为部分输入来生成下一噪声传递决策节点采集活动成员y的噪声传递特征,直到每个采集活动成员的噪声传递特征变化幅度很小,整个训练过程中的特征流动趋于平稳,至此,每个采集活动成员都获取到其协同采集活动成员的信息。
采用以上技术方案,采用基于遍历采集活动成员的噪声线索关联变量、与遍历采集活动成员相协同的采集活动成员类别的噪声线索关联变量、遍历采集活动成员的协同采集活动成员的噪声线索关联变量、遍历采集活动成员的协同采集活动成员在当前噪声传递决策节点上的噪声传递特征,输出遍历采集活动成员在下一噪声传递决策节点上的噪声传递特征的方式,以将采集活动成员y的协同采集活动成员的噪声线索关联变量以及协同采集活动成员的上一噪声传递决策节点的噪声传递特征输入采集噪声点决策模型中,信任依据采集噪声点决策模型中每个采集活动成员的噪声传递特征,以将每个采集活动成员的协同采集活动成员对该采集活动成员的影响作为输入特征,使得生成的目标采集噪声点信息精度更高。
针对一些可能的设计思路而言,所述基于所述目标采集噪声点信息,输出从所述AI应用业务服务器中的目标采集初始目标采集至目标采集终止目标的采集噪声点信息,包括:
在所述目标采集初始目标为所述目标训练样本数据业务源的采集初始目标,所述目标采集终止目标为所述目标训练样本数据业务源的采集终止目标时,将从所述目标训练样本数据业务源的采集初始目标采集至所述目标训练样本数据业务源的采集终止目标的采集噪声点信息输出为所述目标采集噪声点信息;和/或
在所述目标采集初始目标为所述目标大数据采集活动的采集初始目标,所述目标采集终止目标为所述目标大数据采集活动的采集终止目标时,将从所述目标大数据采集活动的采集初始目标采集至所述目标大数据采集活动的采集终止目标的采集噪声点信息输出为所述目标大数据采集活动的采集噪声点信息;和/或
在所述目标采集初始目标为多个所述大数据采集活动的采集初始目标,所述目标采集终止目标为多个所述大数据采集活动的采集终止目标时,将从多个所述大数据采集活动的采集初始目标采集至多个所述大数据采集活动的采集终止目标的采集噪声点信息输出为多个所述大数据采集活动的采集噪声点信息序列。
针对一些可能的设计思路而言,上述目标采集噪声点信息包括多个单元采集噪声点信息、多个单元采集噪声点信息与目标大数据采集活动簇中的多个大数据采集活动对应、且多个大数据采集活动为连续的大数据采集活动可以包括但不限于如下所示,将从多个大数据采集活动的采集初始目标采集至多个大数据采集活动的采集终止目标的采集噪声点信息输出为等于多个大数据采集活动的采集噪声点信息序列,再基于不同的实际需要,依据融合的形式确定上述大数据采集活动的采集噪声点信息,例如,在需要确定的大数据采集活动的采集噪声点信息为目标采集初始目标至目标采集终止目标时,获取目标采集初始目标至目标采集终止目标所包括的大数据采集活动,并确定所包括的每个大数据采集活动所对应的目标采集噪声点信息,最后,将上述大数据采集活动的采集噪声点信息输出为上述每个大数据采集活动所对应的目标采集噪声点信息序列。
针对一些可能的设计思路而言,本发明实施例还提供一种服务于大数据去噪优化的AI分析输出方法,可以包括以下步骤。
Process310,基于范例训练样本数据业务源的范例大数据采集活动数据、所述范例训练样本数据业务源上的范例历史先验噪声线索数据、以及所述范例训练样本数据业务源的范例采集噪声点信息,对范例采集噪声点决策模型进行模型参数层的调优和选取,确定所述目标采集噪声点决策模型,所述范例采集噪声点决策模型生成的范例采集噪声点信息与所述范例采集噪声点信息之间的噪声点决策代价值匹配目标代价值条件时,输出所述范例采集噪声点决策模型终止模型参数层的调优和选取,将终止模型参数层的调优和选取所述范例采集噪声点决策模型输出为所述目标采集噪声点决策模型。
针对一些可能的设计思路而言,上述范例大数据采集活动数据与上述目标训练样本数据业务源的分配方式相同,也即,将AI应用业务服务器中的训练样本数据业务源采用历史先验噪声线索数据,构建多个范例超细分训练样本数据业务源组成上述范例训练样本数据业务源。
针对一些可能的设计思路而言,上述范例历史先验噪声线索数据以及目标训练样本数据业务源的范例采集噪声点信息可以从数据库中获取,或者,由人工进行标注,以实现对范例采集噪声点决策模型进行模型参数层的调优和选取,确定上述目标采集噪声点决策模型。
针对一些可能的设计思路而言,范例采集噪声点决策模型生成的范例采集噪声点信息与范例采集噪声点信息之间的噪声点决策代价值匹配目标代价值条件,可以包括但不限于范例采集噪声点信息与范例采集噪声点信息之间的损失函数值小于等于预定损失函数值,或者,范例采集噪声点信息与范例采集噪声点信息之间比值小于等于预定损失函数值,则认为上述噪声点决策代价值收敛,也即,上述将范例采集噪声点决策模型输出为目标采集噪声点决策模型。
针对一些可能的设计思路而言,可以包括但不限于依据多个噪声点决策代价值的线性聚类(具体应用过程中可以依据适当加权),以提高采集噪声点决策模型的泛化能力。
采用以上技术方案,采用基于范例训练样本数据业务源的范例大数据采集活动数据、范例训练样本数据业务源上的范例历史先验噪声线索数据、以及范例训练样本数据业务源的范例采集噪声点信息,对范例采集噪声点决策模型进行模型参数层的调优和选取,确定目标采集噪声点决策模型,范例采集噪声点决策模型生成的范例采集噪声点信息与范例采集噪声点信息之间的噪声点决策代价值匹配目标代价值条件时,终止对范例采集噪声点决策模型进行的模型调优,将终止训练时的范例采集噪声点决策模型输出为目标采集噪声点决策模型,以得到采集噪声点决策模型,进而确定采集噪声点信息,由此提高采集噪声点信息的决策准确性,从而提高大数据去噪的有效性。
针对一些可能的设计思路而言,所述方法还包括:将所述目标采集噪声点信息与所述目标训练样本数据业务源的范例采集噪声点信息进行特征损失计算,以对所述目标采集噪声点决策模型进行模数参数层的调优和选取,所述目标采集噪声点信息与所述范例采集噪声点信息之间的噪声点决策代价值匹配目标代价值条件时,对所述目标采集噪声点决策模型进行模数参数层的调优和选取。
针对一些可能的设计思路而言,还可以包括但不限于将目标采集噪声点信息与范例采集噪声点信息进行特征损失计算,以更新上述目标采集噪声点决策模型中的部分模型权重参数,进而实现对上述目标采集噪声点决策模型的模数参数层的调优和选取。
针对一些可能的设计思路而言,所述方法还包括:
获取衍生训练样本数据业务源的大数据采集活动数据以及所述衍生训练样本数据业务源上的历史先验噪声线索数据,所述衍生训练样本数据业务源与衍生采集噪声点决策模型预先配置有模型部署应用关系,所述衍生训练样本数据业务源的大数据采集活动数据表征所述衍生训练样本数据业务源所对应的衍生大数据采集活动簇和所述衍生大数据采集活动簇中的大数据采集活动之间的活动协同关系信息;
将所述衍生训练样本数据业务源的大数据采集活动数据以及所述衍生训练样本数据业务源上的历史先验噪声线索数据加载至所述衍生采集噪声点决策模型,输出所述衍生采集噪声点决策模型生成的衍生采集噪声点信息;
所述基于所述目标采集噪声点信息,输出从所述AI应用业务服务器中的目标采集初始目标采集至目标采集终止目标的采集噪声点信息,包括:基于所述目标采集噪声点信息和所述衍生采集噪声点信息,输出从所述AI应用业务服务器中的目标采集初始目标采集至目标采集终止目标的采集噪声点信息,从所述目标采集初始目标采集至所述目标采集终止目标的采集路径经由所述目标训练样本数据业务源,其中所述采集噪声点信息服务于大数据去噪优化和所述衍生训练样本数据业务源。
针对一些可能的设计思路而言,上述衍生训练样本数据业务源可以包括但不限于与上述目标训练样本数据业务源类似的上述一组训练样本数据业务源中每个训练样本数据业务源,可以包括但不限于实际业务场景需要进行人工分配,也可以基于包括但不限于采用历史先验噪声线索数据,构建多个超细分训练样本数据业务源作为上述一组训练样本数据业务源,上述一组训练样本数据业务源由多个相邻超细分训练样本数据业务源(除目标训练样本数据业务源之外的训练样本数据业务源)组成。
针对一些可能的设计思路而言,针对每个训练样本数据业务源的大数据采集活动数据,假设m1、m2、m3、m4、m5为一组训练样本数据业务源中某一个训练样本数据业务源中的采集活动成员,也即,上述采集活动成员为该训练样本数据业务源中的大数据采集活动,而上述一个训练样本数据业务源中的不同采集活动成员之间的活动协同关系信息以及互相施加的影响依据采集活动成员之间的采集活动成员类别来表示,例如,采集活动成员m1只与采集活动成员m5存在活动协同关系信息,则采集活动成员m1和采集活动成员m5相互影响,而采集活动成员m5除了与采集活动成员m1存在活动协同关系信息之外,还与采集活动成员m2、采集活动成员m3、采集活动成员m4分别存在活动协同关系信息,因此,上述采集活动成员m5会与采集活动成员m1、采集活动成员m2、采集活动成员m3、采集活动成员m4相互影响。
针对一些可能的设计思路而言,假设上述一组训练样本数据业务源中每个训练样本数据业务源中,一组训练样本数据业务源中可以包括但不限于训练样本数据业务源1、训练样本数据业务源2、…、训练样本数据业务源m-1、训练样本数据业务源m,每个训练样本数据业务源对应配置上述一组采集噪声点决策模型中对应的采集噪声点决策模型,以分别将上述训练样本数据业务源1、训练样本数据业务源2、…、训练样本数据业务源m-1、训练样本数据业务源m的大数据采集活动数据以及历史先验噪声线索数据输入各自对应的采集噪声点决策模型,确定上述一组采集噪声点信息。
又例如,假设上述一组采集噪声点决策模型可以包括但不限于M1、M2、…Mn,将上述训练样本数据业务源1、训练样本数据业务源2、…、训练样本数据业务源m的大数据采集活动数据以及历史先验噪声线索数据分别输入对应的M1、M2、…Mn,以得到对应的上述一组采集噪声点决策模型生成的一组采集噪声点信息T1、T2、…、Tm。
采用以上技术方案,采用获取衍生训练样本数据业务源的大数据采集活动数据以及所述衍生训练样本数据业务源上的历史先验噪声线索数据,所述衍生训练样本数据业务源与衍生采集噪声点决策模型预先配置有模型部署应用关系,所述衍生训练样本数据业务源的大数据采集活动数据表征所述衍生训练样本数据业务源所对应的衍生大数据采集活动簇和所述衍生大数据采集活动簇中的大数据采集活动之间的活动协同关系信息,将所述衍生训练样本数据业务源的大数据采集活动数据以及所述衍生训练样本数据业务源上的历史先验噪声线索数据加载至所述衍生采集噪声点决策模型,输出所述衍生采集噪声点决策模型生成的衍生采集噪声点信息,所述基于所述目标采集噪声点信息,输出从所述AI应用业务服务器中的目标采集初始目标采集至目标采集终止目标的采集噪声点信息,包括:基于所述目标采集噪声点信息和所述衍生采集噪声点信息,输出从所述AI应用业务服务器中的目标采集初始目标采集至目标采集终止目标的采集噪声点信息,从所述目标采集初始目标采集至所述目标采集终止目标的采集路径经由所述目标训练样本数据业务源,其中所述采集噪声点信息服务于大数据去噪优化和所述衍生训练样本数据业务源的方式,以实现依据一组采集噪声点信息确定目标采集初始目标采集至目标采集终止目标的采集噪声点信息,提高确定采集噪声点信息的精度。
针对一些可能的设计思路而言,所述将所述衍生训练样本数据业务源的大数据采集活动数据以及所述衍生训练样本数据业务源上的历史先验噪声线索数据加载至所述衍生采集噪声点决策模型,输出所述衍生采集噪声点决策模型生成的衍生采集噪声点信息,包括:
基于所述衍生训练样本数据业务源的大数据采集活动数据以及所述衍生训练样本数据业务源上的历史先验噪声线索数据,输出所述衍生训练样本数据业务源的所述大数据采集活动数据中包括的衍生采集活动成员的噪声线索关联变量、以及所述衍生训练样本数据业务源的所述大数据采集活动数据中包括的衍生协同关系类别的噪声线索关联变量,所述衍生采集活动成员与所述衍生训练样本数据业务源中的衍生大数据采集活动具有一一对应的关系,所述衍生采集活动成员表示所述衍生大数据采集活动簇中对应的一个大数据采集活动,所述衍生协同关系类别连接两个所述衍生采集活动成员,表示所述衍生采集活动成员对应的两个衍生大数据采集活动存在协同关系,所述衍生大数据采集活动为所述衍生大数据采集活动簇中的大数据采集活动,表征所述衍生训练样本数据业务源中的部分训练样本数据业务源;
基于所述衍生采集活动成员的噪声线索关联变量和所述衍生协同关系类别的噪声线索关联变量,输出所述衍生采集活动成员的噪声传递特征;
基于所述衍生采集活动成员的噪声传递特征,输出所述衍生采集噪声点信息。
针对一些可能的设计思路而言,上述衍生采集活动成员的噪声线索关联变量可以包括但不限于该采集活动成员的历史先验噪声线索数据等,上述衍生协同关系类别的噪声线索关联变量表征衍生采集活动成员中采集活动成员之间的会话偏向业务关系,以及各个采集活动成员之间互相施加的影响因素等。
针对一些可能的设计思路而言,上述每个采集活动成员的噪声传递特征由上述采集噪声点决策模型得到,每个采集活动成员的噪声传递特征包括来自每个采集活动成员的协同采集活动成员的信息,还可以包括但不限于不同噪声传递决策节点的协同采集活动成员的信息。
针对一些可能的设计思路而言,可以包括但不限于依据上述采集噪声点决策模型采用迭代式更新上述衍生采集活动成员的噪声传递特征。
针对一些可能的设计思路而言,所述基于所述衍生采集活动成员的噪声线索关联变量和所述衍生协同关系类别的噪声线索关联变量,输出所述衍生采集活动成员中的每个采集活动成员的噪声传递特征,包括:
基于遍历采集活动成员的噪声线索关联变量、与所述遍历采集活动成员相协同的采集活动成员类别的噪声线索关联变量、所述遍历采集活动成员的协同采集活动成员的噪声线索关联变量、所述遍历采集活动成员的所述协同采集活动成员在当前噪声传递决策节点上的噪声传递特征,输出所述遍历采集活动成员在下一噪声传递决策节点上的噪声传递特征,所述目标采集活动成员包括所述遍历采集活动成员和所述遍历采集活动成员的所述协同采集活动成员。
针对一些可能的设计思路而言,以上述遍历采集活动成员为采集活动成员u,采集活动成员u包括但不限为采集活动成员j3,协同采集活动成员包括采集活动成员j1、j2、j4为例,j1、j2、j4均为j3的相邻采集活动成员,可以将不同协同采集活动成员不同噪声传递决策节点对该采集活动成员的影响,以得到该采集活动成员经过上述采集噪声点决策模型后的输出结果。
例如,可以包括但不限于采用如下函数得到上述输出结果:
oy=g(hy,jy)
其中,g为局部输出函数,g也可以由一个神经网络来表达,采用不同噪声传递决策节点之间的协同表示协同采集活动成员影响该采集活动成员的能力,例如,在T1噪声传递决策节点,采集活动成员j3的状态接受来自采集活动成员j1、采集活动成员j2、采集活动成员j4的上一噪声传递决策节点的噪声传递特征,因为采集活动成员j1、采集活动成员j2、采集活动成员j4均与采集活动成员j3相邻,直到Tn噪声传递决策节点,各个采集活动成员噪声传递特征收敛,每个采集活动成员增加神经网络g,以得到对应采集活动成员的输出o1、o2、o3、o4(对应于前述的目标采集噪声点信息或一组采集噪声点信息中的一个采集噪声点信息)。
采用以上技术方案,采用基于遍历采集活动成员的噪声线索关联变量、与所述遍历采集活动成员相协同的采集活动成员类别的噪声线索关联变量、所述遍历采集活动成员的协同采集活动成员的噪声线索关联变量、所述遍历采集活动成员的所述协同采集活动成员在当前噪声传递决策节点上的噪声传递特征,输出所述遍历采集活动成员在下一噪声传递决策节点上的噪声传递特征,所述目标采集活动成员包括所述遍历采集活动成员和所述遍历采集活动成员的所述协同采集活动成员的方式,以将采集活动成员u的协同采集活动成员的噪声线索关联变量以及协同采集活动成员的上一噪声传递决策节点的噪声传递特征输入采集噪声点决策模型中,信任依据采集噪声点决策模型中每个采集活动成员的噪声传递特征,将每个采集活动成员的协同采集活动成员对该采集活动成员的影响也作为输入,使得生成的一组采集噪声点信息精度更高,提高确定大数据采集活动的采集噪声点信息的准确性。
针对一些可能的设计思路而言,所述基于所述一组采集噪声点信息,输出从所述AI应用业务服务器中的目标采集初始目标采集至目标采集终止目标的采集噪声点信息,包括:
在所述目标采集初始目标包括所述衍生训练样本数据业务源的采集初始目标,所述目标采集终止目标包括所述衍生训练样本数据业务源的采集终止目标时,将从所述一组训练样本数据业务源中的衍生训练样本数据业务源的采集初始目标采集至所述衍生训练样本数据业务源的采集终止目标的采集噪声点信息输出为等于所述一组采集噪声点信息中对应的一个采集噪声点信息;和/或在所述目标采集初始目标为所述一组训练样本数据业务源中或者所述一组训练样本数据业务源以及所述目标训练样本数据业务源中的部分连续训练样本数据业务源的采集初始目标,所述目标采集终止目标为所述部分连续训练样本数据业务源的采集终止目标时,将从所述AI应用业务服务器中的所述目标采集初始目标采集至所述目标采集终止目标的采集噪声点信息输出为所述一组采集噪声点信息中对应的部分采集噪声点信息的集合,所述部分连续训练样本数据业务源与所述部分采集噪声点信息具有一一对应的关系,所述部分采集噪声点信息中的每个采集噪声点信息为所述部分连续训练样本数据业务源中对应的一个训练样本数据业务源的采集噪声点信息;和/或
在所述目标采集初始目标为所述一组训练样本数据业务源的采集初始目标,所述目标采集终止目标为所述一组训练样本数据业务源的采集终止目标,所述一组训练样本数据业务源为所述AI应用业务服务器中连续的训练样本数据业务源时,将从所述AI应用业务服务器中的所述目标采集初始目标采集至所述目标采集终止目标的采集噪声点信息输出为所述一组采集噪声点信息的集合。
针对一些可能的设计思路而言,上述将从衍生训练样本数据业务源的目标采集初始目标采集至衍生训练样本数据业务源的目标采集终止目标的采集噪声点信息输出为等于一组采集噪声点信息中对应的一个采集噪声点信息可以包括但不限于依据不同的训练样本数据业务源分别确定不同训练样本数据业务源对应的采集噪声点信息,在后续处理过程中,基于目标采集初始目标和目标采集终止目标的不同,依据结合不同训练样本数据业务源的采集噪声点信息,以得到对应的从AI应用业务服务器中的目标采集初始目标采集至目标采集终止目标的采集噪声点信息。
针对一些可能的设计思路而言,上述将从AI应用业务服务器中的目标采集初始目标采集至目标采集终止目标的采集噪声点信息输出为一组采集噪声点信息中对应的部分采集噪声点信息的集合可以包括但不限于获取不同大数据采集活动的采集噪声点信息,并获取目标采集初始目标至目标采集终止目标所包含的多个大数据采集活动,以得到目标采集初始目标至目标采集终止目标的大数据采集活动的采集噪声点信息。
针对一些可能的设计思路而言,上述将从AI应用业务服务器中的目标采集初始目标采集至目标采集终止目标的采集噪声点信息输出为一组采集噪声点信息中对应的部分采集噪声点信息的集合可以包括但不限于获取不同大数据采集活动的采集噪声点信息,并获取目标采集初始目标至目标采集终止目标所包含的多个大数据采集活动,以得到目标采集初始目标至目标采集终止目标的大数据采集活动的采集噪声点信息。
针对一些可能的设计思路而言,所述基于所述一组采集噪声点信息,输出从所述AI应用业务服务器中的目标采集初始目标采集至目标采集终止目标的采集噪声点信息,包括:
在所述目标采集初始目标为所述一组训练样本数据业务源中或者所述一组训练样本数据业务源以及所述目标训练样本数据业务源中的部分连续大数据采集活动的采集初始目标,所述目标采集终止目标为所述部分连续大数据采集活动中的采集终止目标时,将从所述AI应用业务服务器中的所述目标采集初始目标采集至所述目标采集终止目标的采集噪声点信息输出为所述一组采集噪声点信息中的部分采集噪声点信息的集合,所述部分连续大数据采集活动与所述一组采集噪声点信息中的部分单元采集噪声点信息具有一一对应的关系,所述部分单元采集噪声点信息中的每个单元采集噪声点信息为所述部分连续大数据采集活动中对应的一个大数据采集活动的采集噪声点信息。
针对一些可能的设计思路而言,本发明实施例还提供一种基于大数据噪声分析大数据采集策略更新方法,包括以下步骤。
Process410, 基于从所述AI应用业务服务器中的多个采集初始目标采集至多个采集终止目标的采集噪声点信息,输出所述AI应用业务服务器针对所述AI训练样本服务进程的去噪优化基础数据。
示例性地,所述人工智能系统可以依据所述AI应用业务服务器为各噪声源对应的AI训练样本服务进程提供去噪优化服务。所述去噪优化基础数据包括AI应用业务服务器的噪声源的噪声源路径、AI应用业务服务器的大数据去噪应用的大数据去噪节点、噪声源路径之间的噪声点连通信息、以及噪声源路径与大数据去噪节点之间的去噪对应关系,所述噪声点连通信息表示AI应用业务服务器的噪声源之间的噪声特征点关联信息,所述去噪对应关系表示AI应用业务服务器的噪声源对应于AI应用业务服务器的大数据去噪应用的先验关联关系信息。所述噪声点连通信息包括噪声源路径之间的连通特征信息,所述噪声点连通信息可以依据噪声源路径之间的有向边连线进行表示。噪声源路径可以是去噪优化基础数据中的噪声源对象。大数据去噪节点可以是指去噪优化基础数据中的各大数据去噪成员,每个大数据去噪成员可以表示一个大数据去噪应用或者一个大数据去噪应用的代号,噪声源路径与大数据去噪节点之间的去噪对应关系可以表示对应的噪声源对应于相应的大数据去噪节点(大数据去噪成员/大数据去噪应用)的去噪对应规则的配置数据。噪声源路径与大数据去噪节点之间的去噪对应关系也可以依据有向边连线的方式进行表示。
Process420,基于所述去噪优化基础数据,对AI应用业务服务器中的各大数据去噪应用的大数据去噪策略序列进行策略更新引用获得各所述噪声源对应于所述AI应用业务服务器的各大数据去噪应用的目标大数据去噪策略。
Process430,依据所述目标大数据去噪策略对所述AI训练样本服务进程进行大数据采集策略更新。
针对上述Process410,针对一些可能的设计思路而言,可以首先对获取的范例去噪优化基础数据进行模型参数层的调优和选取,然后基于训练后的去噪优化基础数据得到所述去噪优化基础数据,示例性的实施方式包括以下(1)-(7)所描述的内容。
(1)获取范例去噪优化基础数据,所述范例去噪优化基础数据包括范例AI应用业务服务器的噪声源的范例噪声源路径、范例AI应用业务服务器的大数据去噪应用的范例大数据去噪节点、范例噪声源路径之间的范例噪声点连通信息、以及范例噪声源路径与范例大数据去噪节点之间的范例去噪对应关系,所述范例噪声点连通信息表示范例AI应用业务服务器的噪声源之间的噪声特征点关联信息,所述范例去噪对应关系表示范例AI应用业务服务器的噪声源对应于范例AI应用业务服务器的大数据去噪应用的先验关联关系信息。
(2)获取每个范例AI应用业务服务器的噪声源的先验信任大数据去噪策略序列。
(3)依据所述预先指定的特征提取网络将每个范例噪声源路径输出为范例噪声编码特征,以及将每个大数据去噪节点输出为范例大数据去噪特征。
(4)依据所述AI特征筛选网络将每个范例AI应用业务服务器的噪声源的范例先验信任大数据去噪策略序列输出为范例先验大数据去噪信任特征。譬如,可以首先获取所述先验信任大数据去噪策略序列中每个先验信任大数据去噪策略对应的目标大数据去噪节点的大数据去噪特征;然后,依据所述AI特征筛选网络将每个目标大数据去噪节点的大数据去噪特征输出为目标先验大数据去噪信任特征;接着,获取每个目标大数据去噪节点的预设去噪执行行为簇,并基于所述预设去噪执行行为簇依据AI特征筛选网络生成对应的衍生去噪标签字段信息;最后,基于每个目标大数据去噪节点所对应的衍生去噪标签字段信息,将所述先验信任大数据去噪策略序列对应的多个目标大数据去噪节点的目标先验大数据去噪信任特征聚类为所述先验大数据去噪信任特征。
(5)基于每个范例噪声源路径的范例噪声编码特征以及每个范例大数据去噪节点的范例大数据去噪特征,获取所述预先指定的特征提取网络的目标特征提取代价值以及目标特征提取代价值对应的目标代价权重信息。
(6)基于每个范例先验信任大数据去噪策略序列的范例先验大数据去噪信任特征和每个范例大数据去噪节点的范例大数据去噪特征,获取所述AI特征筛选网络的衍生特征提取代价值以及所述衍生特征提取代价值对应的衍生代价权重信息。
(7)基于所述目标代价权重信息和所述衍生代价权重信息对所述目标特征提取代价值以及所述衍生特征提取代价值进行加权融合得到加权特征提取代价值,并基于所述加权特征提取代价值确定训练优化依据,并基于所述训练优化依据对所述预先指定的特征提取网络和所述AI特征筛选网络进行迭代训练,确定训练后的去噪优化基础数据。
依据上述内容,基于训练后的去噪优化基础数据获得所述AI应用业务服务器的去噪优化基础数据可以依据以下方式实现。
首先,获取所述AI应用业务服务器中每个AI应用业务服务器的噪声源的噪声特征点关联信息,确定噪声特征点关联信息序列。
然后,获取每个AI应用业务服务器的噪声源对应于所述AI应用业务服务器中的大数据去噪应用的先验信任大数据去噪策略,确定先验信任大数据去噪策略序列。示例性地,在获取AI应用业务服务器的去噪优化基础数据时,可以获取AI应用业务服务器中每个AI应用业务服务器的噪声源的噪声特征点关联信息,确定噪声特征点关联信息序列。此外,还进一步获取每个AI应用业务服务器的噪声源对应于AI应用业务服务器中大数据去噪应用的先验信任大数据去噪策略,确定先验信任大数据去噪策略序列,例如,先验信任大数据去噪策略序列可以输出为Set={(Opj,Tj)|p∈P},Ouj表示AI应用业务服务器的噪声源p执行的先验信任大数据去噪策略,Tj表示该先验信任大数据去噪策略的执行时刻,P表示AI应用业务服务器中的所有噪声源。
最后,将所述噪声特征点关联信息序列和所述先验信任大数据去噪策略序列输入所述训练后的去噪优化基础数据生成所述人工智能系统针对AI应用业务服务器的所述去噪优化基础数据。
其中包括四个噪声源路径(实际上远大于四个,此处仅为方便举例),分别包括AI应用业务服务器的噪声源a的噪声源路径a,噪声源b的噪声源路径b,噪声源c的噪声源路径c以及噪声源d的噪声源路径d。进一步,假设还包括四个大数据去噪应用对象,分别为对应AI应用业务服务器的大数据去噪应用A的大数据去噪节点A,大数据去噪应用B的大数据去噪节点B,大数据去噪应用C的大数据去噪节点C以及大数据去噪应用D的大数据去噪节点D。其中,噪声源路径之间的噪声点连通信息表示了对应AI应用业务服务器的噪声源之间的噪声特征点关联信息。噪声源路径与大数据去噪节点之间的去噪对应关系表示了对应的噪声源对应于大数据去噪应用的先验关联关系信息。
针对一些可能的设计思路而言,在上述Process420中,所述基于所述去噪优化基础数据,对AI应用业务服务器中的各大数据去噪应用的大数据去噪策略序列进行策略更新引用获得各所述噪声源对应于所述AI应用业务服务器的各大数据去噪应用的目标大数据去噪策略,示例性的实施方式包括以下Process421-S225所描述的内容。
Process421,依据预先指定的特征提取网络将所述AI应用业务服务器的噪声源的噪声源路径输出为噪声编码特征,以及将每个大数据去噪节点输出为大数据去噪特征。
示例性地,所述人工智能系统中可以预设有完成训练的预先指定的特征提取网络,该预先指定的特征提取网络被配置为对噪声源路径、大数据去噪应用对象进行去噪优化基础数据的特征学习,将噪声源路径、大数据去噪应用特征转换为相应的大数据去噪信任特征。类似于深度神经网络的特征学习,旨在使得学习出来的特征能尽可能保留去噪优化基础数据中的特征信息。相应的,依据匹配网络收敛要求的预先指定的特征提取网络对AI应用业务服务器的噪声源在去噪优化基础数据中的噪声源路径进行去噪优化基础数据特征学习,将其输出为一个更新编码特征,记为噪声编码特征。此外,还可以依据预先指定的特征提取网络对AI应用业务服务器的每个大数据去噪应用在去噪优化基础数据中的大数据去噪节点进行去噪优化基础数据特征学习,将其也输出为一个更新编码特征,记为大数据去噪特征。
Process422,获取所述AI应用业务服务器的各噪声源的先验信任大数据去噪策略序列,并依据AI特征筛选网络将所述先验信任大数据去噪策略序列输出为先验大数据去噪信任特征。
Process423,基于所述先验信任大数据去噪策略序列的先验大数据去噪信任特征、所述噪声源路径的噪声编码特征、和每个大数据去噪节点的大数据去噪特征,依据预设的目标策略更新引用模板对所述AI应用业务服务器的各噪声源对应于AI应用业务服务器的每个大数据去噪应用的大数据去噪策略序列进行策略更新引用获得目标大数据去噪策略。例如,生成目标大数据去噪策略具体实施步骤可以是:对于每个所述目标噪声源,从所述噪声编码特征中提取与该目标噪声源的目标噪声编码特征存在关联的关联编码特征,从所述先验大数据去噪信任特征中提取与所述关联编码特征匹配的目标信任特征,并获取所述目标信任特征与每个大数据去噪节点的大数据去噪特征的聚合特征,依据所述聚合特征对所述AI应用业务服务器的每个大数据去噪应用的大数据去噪策略序列进行策略更新引用,生成所述目标大数据去噪策略。
Process424,基于所述先验信任大数据去噪策略序列的先验大数据去噪信任特征和每个大数据去噪节点的大数据去噪特征,依据预设的衍生策略更新引用模板对各噪声源对应于每个大数据去噪应用的大数据去噪策略序列进行策略更新引用获得衍生大数据去噪策略。例如,生成衍生大数据去噪策略具体实施步骤可以是:针对与任意目标噪声源具有去噪对应关系的目标大数据去噪特征,从所述先验大数据去噪信任特征中提取与所述目标大数据去噪特征匹配的所有大数据去噪信任特征,依据所述所有大数据去噪信任特征对所述AI应用业务服务器的每个大数据去噪应用的大数据去噪策略序列进行策略更新引用,生成所述目标噪声源对应的衍生大数据去噪策略。
Process425,基于所述目标大数据去噪策略和所述衍生大数据去噪策略,确定所述噪声源对应于所述AI应用业务服务器的各大数据去噪应用的目标大数据去噪策略。示例性地,可以将目标大数据去噪策略与衍生大数据去噪策略中的各大数据去噪策略成员依据去噪效果指标进行排序,生成最终的目标大数据去噪策略,或者直接将目标大数据去噪策略和衍生大数据去噪策略进行聚合得到最终的目标大数据去噪策略,对此不具体限定。
图2示出了本发明实施例提供的用于实现上述的服务于大数据去噪优化的AI分析输出系统的人工智能系统100的硬件结构意图,如图2所示,人工智能系统100可包括处理器110、机器可读存储介质120、总线130以及通信单元140。
处理器110可以基于存储在机器可读存储介质120中的程序而执行各种适当的动作和处理,例如前述实施例所描述的服务于大数据去噪优化的AI分析输出方法所相关的程序指令。处理器110、机器可读存储介质120以及通信单元140通过总线130进行信号传输。
特别地,基于本发明的实施例,上文示例性流程图描述的过程可以被实现为计算机软件程序。例如,本发明的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信单元140从网络上被下载和安装,在该计算机程序被处理器110执行时,执行本发明实施例的方法中限定的上述功能。
本发明又一实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如上述任一实施例所述的服务于大数据去噪优化的AI分析输出方法。
其中,本发明上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(LAM)、只读存储器(LOM)、可擦式可编程只读存储器(EPLOM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-LOM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、LM(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备执行上述实施例所示的方法。
本发明又一实施例还提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现如上述任一实施例所述的服务于大数据去噪优化的AI分析输出方法。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。