CN117575013A - 应用于网络安全平台的交互挖掘方法及人工智能预测系统 - Google Patents
应用于网络安全平台的交互挖掘方法及人工智能预测系统 Download PDFInfo
- Publication number
- CN117575013A CN117575013A CN202311170242.0A CN202311170242A CN117575013A CN 117575013 A CN117575013 A CN 117575013A CN 202311170242 A CN202311170242 A CN 202311170242A CN 117575013 A CN117575013 A CN 117575013A
- Authority
- CN
- China
- Prior art keywords
- interaction
- text
- interactive
- data
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 290
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000005065 mining Methods 0.000 title claims abstract description 28
- 230000003993 interaction Effects 0.000 claims abstract description 498
- 239000013598 vector Substances 0.000 claims abstract description 240
- 238000012549 training Methods 0.000 claims abstract description 226
- 230000004044 response Effects 0.000 claims abstract description 88
- 238000013526 transfer learning Methods 0.000 claims abstract description 71
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000004458 analytical method Methods 0.000 claims abstract description 10
- 238000010586 diagram Methods 0.000 claims description 42
- 230000011218 segmentation Effects 0.000 claims description 42
- 238000002372 labelling Methods 0.000 claims description 20
- 238000013473 artificial intelligence Methods 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 12
- 230000005012 migration Effects 0.000 claims description 9
- 238000013508 migration Methods 0.000 claims description 9
- 230000002776 aggregation Effects 0.000 claims description 8
- 238000004220 aggregation Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 7
- 210000002569 neuron Anatomy 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 15
- 230000006399 behavior Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241000700605 Viruses Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
- G06N5/025—Extracting rules from data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Machine Translation (AREA)
Abstract
本申请实施例提供一种应用于网络安全平台的交互挖掘方法及人工智能预测系统,可以依据基础交互意图预测网络提取训练平台交互文本数据中的目标上下文语义结合向量从而进行交互意图预测,生成对应的第一交互意图预测数据,并依据第一交互意图预测数据和训练平台交互文本数据的训练文本语义向量获得第一文本关注响应图,再对训练平台交互文本数据进行语料增强处理生成迁移学习平台交互文本数据后进行迁移学习生成第二文本关注响应图;由此可针对第一文本关注响应图和第二文本关注响应图执行关联度分析,以使得目标交互意图预测网络对平台交互文本数据中的交互页面节点的兴趣定位性能更强,并且提高在训练过程中平台交互文本数据的学习速度。
Description
技术领域
本申请实施例涉及人工智能技术领域,具体而言,涉及一种应用于网络安全平台的交互挖掘方法及人工智能预测系统。
背景技术
随着互联网信息技术和大数据存储的迭代,各类网络安全平台可以为这类互联网迭代产品或者大数据存储服务产品提供所需的网络安全产品。然而,相关用户在使用和配置这些网络安全产品的过程中,可能会出于各种需求与网络安全平台进行人机交互,在此过程中,用户的交互文本数据可以反映用户针对这些网络安全产品的主观性表达,也可以反映用户在交互意图。因此,对于网络安全平台而言,可以通过搜集其产品使用用户的相关交互意图和兴趣点部分,以便于后续进行用户需求配置和产品优化。然而相关技术中在基于机器学习网络进行相关数据挖掘过程中,兴趣定位性能较弱,并且在训练过程中平台交互文本数据的学习速度较慢。
发明内容
为了至少克服现有技术中的上述不足,本申请实施例的目的在于提供一种应用于网络安全平台的交互挖掘方法及人工智能预测系统。
依据本申请实施例的一个方面,提供了一种应用于网络安全平台的交互挖掘方法,包括:
获取网络安全平台中的训练平台交互文本数据,依据基础交互意图预测网络生成所述训练平台交互文本数据对应的第一交互意图预测数据,基于所述第一交互意图预测数据和所述训练平台交互文本数据的训练文本语义向量获得第一文本关注响应图;所述第一交互意图预测数据是由所述训练平台交互文本数据中的参考交互用户对应的目标上下文语义结合向量获得的,所述第一文本关注响应图表示所述参考交互用户的交互页面节点在所述训练平台交互文本数据中的交互文本兴趣段信息;
对所述训练平台交互文本数据进行语料增强处理生成迁移学习平台交互文本数据,依据所述基础交互意图预测网络生成所述迁移学习平台交互文本数据对应的第二交互意图预测数据,基于所述第二交互意图预测数据与所述迁移学习平台交互文本数据的迁移学习文本语义向量生成第二文本关注响应图;所述第二交互意图预测数据是由所述迁移学习平台交互文本数据中的参考交互用户对应的迁移学习上下文语义结合向量获得的,所述第二文本关注响应图表示所述参考交互用户的交互页面节点在所述迁移学习平台交互文本数据中的交互文本兴趣段信息;
基于所述第一文本关注响应图和所述第二文本关注响应图,确定所述基础交互意图预测网络的第一训练代价值信息,基于所述第一交互意图预测数据、所述第二交互意图预测数据以及所述训练平台交互文本数据先验标注的交互意图标注数据,确定所述基础交互意图预测网络的第二训练代价值信息;
依据所述第一训练代价值信息和所述第二训练代价值信息,对所述基础交互意图预测网络的功能函数层进行更新,生成目标交互意图预测网络;所述目标交互意图预测网络用于预测目标平台交互文本数据中的交互页面节点所对应的交互意图标签和交互文本兴趣段信息。
在第一方面的一种可能的实施方式中,所述依据基础交互意图预测网络生成所述训练平台交互文本数据对应的第一交互意图预测数据,基于所述第一交互意图预测数据和所述训练平台交互文本数据的训练文本语义向量获得第一文本关注响应图,包括:
将所述训练平台交互文本数据加载到所述基础交互意图预测网络,基于所述基础交互意图预测网络,获取所述训练平台交互文本数据中的所述参考交互用户对应的目标上下文语义结合向量;
基于所述基础交互意图预测网络中的全连接网络层,对所述目标上下文语义结合向量进行意图预测,生成所述训练平台交互文本数据对应的第一交互意图预测数据;
获取所述基础交互意图预测网络中的目标语义编码单元生成的针对所述训练平台交互文本数据的训练文本语义向量,将所述第一交互意图预测数据和所述训练文本语义向量进行融合决策,生成所述训练平台交互文本数据对应的待定文本关注响应图;
对所述待定文本关注响应图进行注意力特征提取,生成与所述训练平台交互文本数据具有相同文本主题的第一文本关注响应图。
在第一方面的一种可能的实施方式中,所述基于所述基础交互意图预测网络,获取所述训练平台交互文本数据中的所述参考交互用户对应的目标上下文语义结合向量,包括:
在所述基础交互意图预测网络中,获取所述训练平台交互文本数据中的所述参考交互用户对应的整体上下文语义结合向量,依据所述基础交互意图预测网络中的全连接网络层,生成所述整体上下文语义结合向量对应的整体交互意图预测数据;
将所述整体交互意图预测数据和所述训练文本语义向量进行融合决策,生成所述训练平台交互文本数据对应的整体意图语句热力图,基于所述整体意图语句热力图对所述训练平台交互文本数据进行文本语句分段,生成K个平台交互文本分段数据;K为正整数;
将所述K个平台交互文本分段数据分别加载到所述基础交互意图预测网络,在所述基础交互意图预测网络中获取所述K个平台交互文本分段数据分别对应的段落分词语义连续向量;
将所述整体上下文语义结合向量与所述K个平台交互文本分段数据所对应的段落分词语义连续向量进行向量组合,生成所述训练平台交互文本数据中的所述参考交互用户对应的目标上下文语义结合向量。
在第一方面的一种可能的实施方式中,所述基础交互意图预测网络包括H个自注意力网络,每个自注意力网络包括至少一个语义编码单元,H为正整数;
所述在所述基础交互意图预测网络中,获取所述训练平台交互文本数据中的所述参考交互用户对应的整体上下文语义结合向量,包括:
获取所述H个自注意力网络中的第x个自注意力网络的网络加载向量;x为1时,所述第x个自注意力网络的网络加载向量为所述训练平台交互文本数据,x为小于H的正整数;
基于所述第x个自注意力网络中的至少一个语义编码单元,对第x个自注意力网络的网络加载向量进行文本语义编码,生成参考文本语义向量;
对所述参考文本语义向量和所述第x个自注意力网络的网络加载向量进行组合,生成所述第x个自注意力网络的自注意力编码向量,将所述第x个自注意力网络的自注意力编码向量作为第x+1个自注意力网络的网络加载向量;所述第x个自注意力网络与所述第x+1个自注意力网络相连接;
将第H个自注意力网络的自注意力编码向量,输出为所述训练平台交互文本数据中的所述参考交互用户对应的整体上下文语义结合向量。
在第一方面的一种可能的实施方式中,所述整体上下文语义结合向量的数量为P个,P为正整数;
所述依据所述基础交互意图预测网络中的全连接网络层,生成所述整体上下文语义结合向量对应的整体交互意图预测数据,包括:
统计P个整体上下文语义结合向量分别对应的文本连续语义向量,将所述P个整体上下文语义结合向量所对应的文本连续语义向量组合为目标语义向量序列;
基于所述基础交互意图预测网络中的神经元输入映射层,将所述目标语义向量序列映射为待预测语义向量;
将所述待预测语义向量加载到所述基础交互意图预测网络中的全连接网络层,依据所述基础交互意图预测网络中的全连接网络层,生成所述待预测语义向量对应的整体交互意图预测数据。
在第一方面的一种可能的实施方式中,所述基于所述第一文本关注响应图和所述第二文本关注响应图,确定所述基础交互意图预测网络的第一训练代价值信息,包括:
对所述第二文本关注响应图进行所述语料增强处理,生成迁移学习文本关注响应图;
对所述第一文本关注响应图和所述迁移学习文本关注响应图进行关联度分析,确定所述基础交互意图预测网络的第一训练代价值信息。
在第一方面的一种可能的实施方式中,所述基于所述第一交互意图预测数据、所述第二交互意图预测数据以及所述训练平台交互文本数据先验标注的交互意图标注数据,确定所述基础交互意图预测网络的第二训练代价值信息,包括:
获取所述第一交互意图预测数据与所述训练平台交互文本数据先验标注的交互意图标注数据之间的第一对比损失值,基于所述第一对比损失值确定所述基础交互意图预测网络的基础学习代价信息;
获取所述第二交互意图预测数据与所述交互意图标注数据之间的第二对比损失值,基于所述第二对比损失值确定所述基础交互意图预测网络的迁移学习代价信息;
基于所述基础学习代价信息和所述迁移学习代价信息,确定所述基础交互意图预测网络的所述第二训练代价值信息。
在第一方面的一种可能的实施方式中,所述依据所述第一训练代价值信息和所述第二训练代价值信息,对所述基础交互意图预测网络的功能函数层进行更新,生成目标交互意图预测网络,包括:
基于所述第一训练代价值信息和所述第二训练代价值信息,确定所述基础交互意图预测网络对应的全局训练代价值信息;
基于所述全局训练代价值信息对所述基础交互意图预测网络进行迭代训练,将训练后的基础交互意图预测网络输出为目标交互意图预测网络。
在第一方面的一种可能的实施方式中,所述方法还包括:
获取目标平台交互文本数据,依据目标交互意图预测网络获取目标平台交互文本数据中的目标交互用户所对应的目标上下文语义结合向量,预测所述目标上下文语义结合向量对应的交互意图数据;所述交互意图数据表示所述目标交互用户的交互页面节点所对应的交互意图字段;
基于所述交互意图数据和所述目标平台交互文本数据的目标文本语义向量,生成目标意图语句热力图;
获取所述目标意图语句热力图对应的热度聚集特征区域,基于所述热度聚集特征区域确定所述目标交互用户中的交互页面节点在所述目标平台交互文本数据中的交互文本兴趣段信息,基于所述交互意图字段和所述交互文本兴趣段信息确定所述目标平台交互文本数据中的所述目标交互用户所对应的交互挖掘数据;
所述依据目标交互意图预测网络获取目标平台交互文本数据中的目标交互用户所对应的目标上下文语义结合向量,包括:
将所述目标平台交互文本数据加载到所述目标交互意图预测网络,在所述目标交互意图预测网络中获取所述目标平台交互文本数据中的所述目标交互用户对应的整体上下文语义结合向量,基于所述目标交互意图预测网络中的全连接网络层,生成所述整体上下文语义结合向量对应的整体用户交互意图图预测数据;
获取所述目标交互意图预测网络中的目标语义编码单元生成的针对所述目标平台交互文本数据的目标文本语义向量,将所述整体用户交互意图图预测数据和所述目标文本语义向量进行融合决策,生成所述目标平台交互文本数据对应的整体用户意图语句热力图;
基于所述整体用户意图语句热力图对所述目标平台交互文本数据进行文本语句分段,生成K个平台交互文本段落分割数据,基于所述目标交互意图预测网络获取所述K个平台交互文本段落分割数据分别对应的段落分词语义连续向量;K为正整数;
将所述整体上下文语义结合向量和所述K个平台交互文本段落分割数据所对应的段落分词语义连续向量组合为所述目标上下文语义结合向量。
依据本申请实施例的一个方面,提供了一种人工智能预测系统,所述人工智能预测系统包括处理器和机器可读存储介质,所述机器可读存储介质中存储有机器可执行指令,所述机器可执行指令由所述处理器加载并执行以实现前述任意一种可能的实施方式中的应用于网络安全平台的交互挖掘方法。
依据本申请实施例的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述方面的各种可选实现方式中提供的方法。
在本申请的一些实施例所提供的技术方案中,可以依据基础交互意图预测网络提取训练平台交互文本数据中的目标上下文语义结合向量,通过对目标上下文语义结合向量进行交互意图预测,生成目标上下文语义结合向量的第一交互意图预测数据,并依据第一交互意图预测数据和训练平台交互文本数据的训练文本语义向量获得第一文本关注响应图,此外,还可以对训练平台交互文本数据进行语料增强处理生成迁移学习平台交互文本数据,并依据基础交互意图预测网络提取迁移学习平台交互文本数据中的迁移学习上下文语义结合向量,基于迁移学习上下文语义结合向量的第二交互意图预测数据和迁移学习平台交互文本数据的迁移学习文本语义向量生成第二文本关注响应图;由此可针对第一文本关注响应图和第二文本关注响应图执行关联度分析(即第一训练代价值信息),以使得目标交互意图预测网络对平台交互文本数据中的交互页面节点的兴趣定位性能更强;并且,在训练基础交互意图预测网络时,不需要标注训练平台交互文本数据中的参考交互用户的各个交互页面节点的交互文本兴趣段信息,可以提高在训练过程中平台交互文本数据的学习速度。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要启用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的基础上,还可以结合这些附图提取其它相关的附图。
图1为本申请实施例提供的应用于网络安全平台的交互挖掘方法的流程示意图之;
图2为本申请实施例提供的用于实现上述的应用于网络安全平台的交互挖掘方法的人工智能预测系统的结构示意框图。
具体实施方式
以下描述是为了使本领域的普通技术人员能够实施和结合本申请,并且该描述是在特定的应用场景及其要求的环境下提供的。对于本领域的普通技术人员来讲,显然可以对所公开的实施例作出各种改变,并且在不偏离本申请的原则和范围时,本申请中所定义的普遍原则可以适用于其它实施例和应用场景。因此,本申请并不限于所描述的实施例,而应该被给予与权利要求一致的最广泛的范围。
图1是本申请一种实施例提供的应用于网络安全平台的交互挖掘方法的流程示意图,下面对该应用于网络安全平台的交互挖掘方法进行详细介绍。
Step101,获取训练平台交互文本数据,依据基础交互意图预测网络生成训练平台交互文本数据对应的第一交互意图预测数据,基于第一交互意图预测数据和训练平台交互文本数据的训练文本语义向量获得第一文本关注响应图。
本实施例中,第一交互意图预测数据是由训练平台交互文本数据中的参考交互用户对应的目标上下文语义结合向量获得的,第一文本关注响应图表示参考交互用户的交互页面节点在训练平台交互文本数据中的交互文本兴趣段信息。例如,第一文本关注响应图可能是一个以交互页面节点为基础的图表,用于显示参考交互用户在训练平台交互文本数据中的兴趣点。
假设在一个网络安全教学平台上,有一个名为"防火墙设置"的交互页面节点。这个交互页面节点包含了大量关于如何设置和优化防火墙的信息和指南。一个参考交互用户可能对这个页面进行了多次的访问和查询,输入了很多与"防火墙"相关的交互文本,比如"如何设置防火墙"、"防火墙的最佳配置"等等。因此,在第一文本关注响应图中,"防火墙设置"这个交互页面节点可能会被高亮显示或者以其他方式突出,表示这个参考交互用户对"防火墙设置"有着特别的兴趣。
同时,第一文本关注响应图也可能显示出用户对于其他交互页面节点的兴趣程度,比如"病毒扫描"或"密码保护"等,以帮助更好地理解用户的需求和行为模式。
本实施例中,可以获取用于训练基础交互意图预测网络的训练平台交互文本数据,该训练平台交互文本数据可以为包含参考交互用户的对话文本的平台交互文本数据,对话文本可以是指各个参考交互用户与网络安全平台进行需求对话或者问题反馈过程中产生的文本数据。其中,每个训练平台交互文本数据携带对应的交互意图标注数据,该交互意图标注数据可以表征训练平台交互文本数据中所包含的参考交互用户的各个交互页面节点分别对应的交互意图字段。参考交互用户的各个交互页面节点可以是指参考交互用户在交互页面中页面热点的关注行为活动,针对不同用户画像的参考交互用户可能会对应有不同的交互页面节点。
本实施例中,可以获取初始网络权重参数的交互意图预测网络,即基础交互意图预测网络,在对基础交互意图预测网络进行网络知识学习过程中,每次网络知识学习过程可以输入单个训练平台交互文本数据,还可以输入多个训练平台交互文本数据。对于多个训练平台交互文本数据中的任一个训练平台交互文本数据,可以将训练平台交互文本数据加载到基础交互意图预测网络,依据基础交互意图预测网络可以获取训练平台交互文本数据中的参考交互用户所对应的目标上下文语义结合向量,该目标上下文语义结合向量用于表征训练平台交互文本数据中的参考交互用户在对话过程中的上下文理解语义内容,例如针对网络安全平台中某个网络安全产品的对话文本,如针对该网络安全产品在进程A中的安全防护效果较差的对话文本,其目标上下文语义结合向量可以用于表示针对该网络安全产品的安全防护效果的前后观点整合向量;依据基础交互意图预测网络的全连接网络层,对上述目标上下文语义结合向量进行意图预测,由此生成目标上下文语义结合向量对应的第一交互意图预测数据;由此可以基于第一交互意图预测数据和训练平台交互文本数据对应的训练文本语义向量,生成第一文本关注响应图,该第一文本关注响应图可以表示参考交互用户的各个交互页面节点分别在训练平台交互文本数据中的交互文本兴趣段信息。其中,上述训练文本语义向量可表示基础交互意图预测网络中的目标语义编码单元生成的针对训练平台交互文本数据的文本语义向量,该目标语义编码单元可以是指基础交互意图预测网络中的末端语义编码单元。
其中,上述基础交互意图预测网络可以采用任何可实施的自然语言理解网络模型,本申请对此不作具体限定,例如可以采用包括文本层(文本表示)、文本-感知世界(词汇相关性分析、主题模型、意见情感分析等)、文本-真实世界(基于文本的预测等)。
一种可替代的实施方式中,可以基于基础交互意图预测网络获取到训练平台交互文本数据中的参考交互用户所对应的目标上下文语义结合向量,并生成目标上下文语义结合向量对应的第一交互意图预测数据后,可以获取基础交互意图预测网络中的目标语义编码单元生成的针对训练平台交互文本数据的训练文本语义向量,将第一交互意图预测数据和训练文本语义向量进行融合决策,可以得到训练平台交互文本数据对应的待定文本关注响应图;其中,目标语义编码单元可以是指基础交互意图预测网络中的末端语义编码单元,由于末端语义编码单元生成的训练文本语义向量的特征量小于训练平台交互文本数据的特征量,即待定文本关注响应图的特征量小于训练平台交互文本数据的特征量,因此,可以对待定文本关注响应图进行注意力特征提取,生成与训练平台交互文本数据具有相同文本主题的第一文本关注响应图。其中,第一交互意图预测数据可以包括参考交互用户的交互页面节点对应与各个交互意图字段的置信度,该第一交互意图预测数据中的置信度可以认为是目标语义编码单元生成的训练文本语义向量所对应的权重,依据第一交互意图预测数据对训练文本语义向量进行加权,对基础交互意图预测网络所关注的文本区域进行映射分析,第一文本关注响应图可以是指类别激活映射图,也称为类热力图、显著性图等。一种可替代的实施方式中,第一文本关注响应图还可以是指对注意力特征提取的结果与训练平台交互文本数据进行融合后所得到的平台交互文本数据。
第一交互意图预测数据是通过分析参考交互用户在训练平台上的交互文本数据,并结合这些数据的语义内容来得到的,这通常涉及到将文本数据转化为向量,这样才能被机器学习模型理解和处理。
例如,假设的参考交互用户在网络安全教学平台上输入了一个问题:"如何设置防火墙?"。在这个情况下,首先需要将这个文本数据转化为一个向量,这可以通过各种文本编码技术(例如词袋模型、TF-IDF、Word2Vec或者BERT等)实现。
然后,通过基础交互意图预测网络,对这个向量进行处理,预测出用户的交互意图。可能的预测结果可能包括:"查询防火墙设置方法"、"需要防火墙帮助"等。
所述上下文语义结合向量是一个将一段文本或者一句话的上下文信息和语义信息结合起来表示的向量。
以一个具体的例子来说明。假设在网络安全平台中,一个用户先后输入了两个命令:“打开防火墙”和“关闭端口8080”。在这里,“打开防火墙”是上下文信息,因为它可能影响到后续命令“关闭端口8080”的含义和执行。
如果用词袋模型(Bag of Words)等传统的方法来处理,可能无法准确捕捉到这种上下文关系,因为它们通常只看单个词汇,而不考虑词序和上下文。
所以,需要通过一些更复杂的模型,比如循环神经网络(RNN)或者Transformer,来生成这个"上下文语义结合向量"。这个向量不仅包含了每个词的语义信息,还包含了词与词之间的关系和上下文信息。
比如,在上述例子中,"上下文语义结合向量"会捕捉到"打开防火墙"这个操作可能会影响到"关闭端口8080"的效果,因此在处理"关闭端口8080"时,会把"打开防火墙"这个上下文信息考虑进去。
Step102,对训练平台交互文本数据进行语料增强处理生成迁移学习平台交互文本数据,依据基础交互意图预测网络生成迁移学习平台交互文本数据对应的第二交互意图预测数据,基于第二交互意图预测数据与迁移学习平台交互文本数据的迁移学习文本语义向量生成第二文本关注响应图。
第二交互意图预测数据是由迁移学习平台交互文本数据中的参考交互用户对应的迁移学习上下文语义结合向量获得的,第二文本关注响应图表示参考交互用户的交互页面节点在迁移学习平台交互文本数据中的交互文本兴趣段信息。
一种可替代的实施方式中,可以对训练平台交互文本数据进行语料增强处理,生成该训练平台交互文本数据对应的迁移学习平台交互文本数据,其中迁移学习平台交互文本数据的数量可以为至少一个,不同的迁移学习平台交互文本数据可以是对训练平台交互文本数据进行不同的语料增强处理所得到的,语料增强处理可以包括词典扩展替换、上下文的知识联想等。比如,“我的账户被盗了怎么办?”可以改成“我怎么处理账户被盗的问题?”。然后,我们同样利用基础交互意图预测网络,生成这些增强后的数据的第二交互意图预测数据,并生成第二文本关注响应图。
对于语料增强处理所得到的至少一个迁移学习平台交互文本数据,可以将至少一个迁移学习平台交互文本数据分别加载到基础交互意图预测网络,依据基础交互意图预测网络可以获取迁移学习平台交互文本数据中的参考交互用户所对应的迁移学习上下文语义结合向量,依据基础交互意图预测网络的全连接网络层,对迁移学习上下文语义结合向量进行意图预测,可以得到迁移学习平台交互文本数据对应的第二交互意图预测数据,进而依据第二交互意图预测数据和迁移学习平台交互文本数据的迁移学习文本语义向量生成第二文本关注响应图。也即,依据基础交互意图预测网络对迁移学习平台交互文本数据的操作方式同上述训练平台交互文本数据的操作方式相同。在基于一种语料增强处理策略对训练平台交互文本数据进行语料增强处理时,可以得到该训练平台交互文本数据对应的一个迁移学习平台交互文本数据,并依据基础交互意图预测网络可以生成该迁移学习平台交互文本数据对应的第二文本关注响应图。在基于多个语料增强处理策略对训练平台交互文本数据进行语料增强处理时,可以得到该训练平台交互文本数据对应的多个迁移学习平台交互文本数据,并依据基础交互意图预测网络可以生成多个迁移学习平台交互文本数据分别对应的第二文本关注响应图,即一个迁移学习平台交互文本数据可以对应一个第二文本关注响应图。
Step103,基于第一文本关注响应图和第二文本关注响应图,确定基础交互意图预测网络的第一训练代价值信息,基于第一交互意图预测数据、第二交互意图预测数据以及训练平台交互文本数据先验标注的交互意图标注数据,确定基础交互意图预测网络的第二训练代价值信息。
一种可替代的实施方式中,可以基于训练平台交互文本数据对应的第一文本关注响应图,以及语料增强处理后的迁移学习平台交互文本数据所对应的第二文本关注响应图,确定基础交互意图预测网络的第一训练代价值信息。上述第一训练代价值信息的确定过程可以包括:对第二文本关注响应图执行相同的语料增强处理,生成迁移学习文本关注响应图,进而可以对第一文本关注响应图和迁移学习文本关注响应图进行关联度分,确定该基础交互意图预测网络的第一训练代价值信息。训练平台交互文本数据和各个迁移学习平台交互文本数据中的参考交互用户为同一个交互用户,通常训练平台交互文本数据对应的第一文本关注响应图和上述迁移学习文本关注响应图应当具有相同的交互文本兴趣段信息,因此在训练基础交互意图预测网络时,可以为第一文本关注响应图和迁移学习文本关注响应图进行关联度分析,可以让可以学习不同交互页面节点的关注的交互文本兴趣段信息,从而提高后续交互文本兴趣段信息的确定准确性。
由于训练平台交互文本数据可以携带所包含参考交互用户对应的交互意图标注数据,无论上述训练平台交互文本数据和语料增强处理后的迁移学习平台交互文本数据,其包含的参考交互用户是相同的,因此参考交互用户和迁移学习平台交互文本数据中的交互页面节点的实际交互意图字段是相同的,且交互页面节点的实际交互意图字段为训练平台交互文本数据所先验标注的交互意图标注数据本实施例,可以获取第一交互意图预测数据和交互意图标注数据之间的第一特征误差值,基于该第一特征误差值可以确定基础交互意图预测网络的基础学习代价信息,第一特征误差值可以是指第一交互意图预测数据和交互意图标注数据之间的特征距离;同理,还可以获取第二交互意图预测数据与交互意图标注数据之间的第二特征误差值,基于第二特征误差值可以确定基础交互意图预测网络的迁移学习代价信息,第二特征误差值可以是指第二交互意图预测数据和交互意图标注数据之间的特征距离;基于基础学习代价信息和迁移学习代价信息,确定基础交互意图预测网络的第二训练代价值信息。例如,可以将基础学习代价信息Loss1和迁移学习代价信息Loss2相加,输出为基础交互意图预测网络的第二训练代价值信息;或者可以为基础学习代价信息Loss1设置权重a,为迁移学习代价信息Loss2设置权重b,可以将(a*Loss1+b*Loss2)作为基础交互意图预测网络的第二训练代价值信息;本申请对基础学习代价信息和迁移学习代价信息的组合形式不做限定。
Step104,依据第一训练代价值信息和第二训练代价值信息,对基础交互意图预测网络的功能函数层进行更新,生成目标交互意图预测网络;目标交互意图预测网络用于预测目标平台交互文本数据中的交互页面节点所对应的交互意图标签和交互文本兴趣段信息。
一种可替代的实施方式中,可以依据第一训练代价值信息和第二训练代价值信息,对基础交互意图预测网络的功能函数层进行更新,将训练完成的基础交互意图预测网络输出为目标交互意图预测网络。
一种可替代的实施方式中,可以基于第一训练代价值信息和第二训练代价值信息,确定基础交互意图预测网络对应的全局训练代价值信息,该全局训练代价值信息可以是指第一训练代价值信息和第二训练代价值信息之和,或者可以是指第一训练代价值信息和第二训练代价值信息进行加权计算获得的加权训练代价值信息。
示例性的,假设目标平台交互文本数据为:
用户输入: "我怀疑我的电脑被黑了,怎么办?"
"看起来你可能遇到了一些安全问题。首先,不要惊慌,可以按照以下步骤进行检查和处理..."
"我已经断开网络了,现在应该做什么?"。
那么,目标交互意图预测网络的任务是通过分析用户与AI之间的对话内容(即交互文本数据),来预测用户可能的意图和兴趣。
例如,如果用户输入了"我怀疑我的电脑被黑了,怎么办?",目标交互意图预测网络可能会预测出交互意图标签为"寻求解决电脑被黑的方法"。同时,交互文本兴趣段信息可能包括"电脑被黑"和"怎么办"等关键词或短语,因为它们是用户当前关注的焦点。
然后,当用户进一步提问:"我已经断开网络了,现在应该做什么?"时,网络可以再次进行预测。这次的交互意图标签可能是"寻求在断开网络后的处理方法",而兴趣段则可能包括"断开网络"和"现在应该做什么"。
所以,在这个场景中,目标交互意图预测网络能够帮助理解用户在每个交互页面节点上的需求和兴趣,从而生成更贴切、更有效的响应。
基于以上步骤,依据基础交互意图预测网络提取训练平台交互文本数据中的目标上下文语义结合向量,通过对目标上下文语义结合向量进行交互意图预测,生成目标上下文语义结合向量的第一交互意图预测数据,并依据第一交互意图预测数据和训练平台交互文本数据的训练文本语义向量获得第一文本关注响应图;与此同时,还可以对训练平台交互文本数据进行语料增强处理生成迁移学习平台交互文本数据,并依据基础交互意图预测网络提取迁移学习平台交互文本数据中的迁移学习上下文语义结合向量,基于迁移学习上下文语义结合向量的第二交互意图预测数据和迁移学习平台交互文本数据的迁移学习文本语义向量生成第二文本关注响应图;由此可针对第一文本关注响应图和第二文本关注响应图执行关联度分析(即第一训练代价值信息),以使得目标交互意图预测网络对平台交互文本数据中的交互页面节点的兴趣定位性能更强;并且,在训练基础交互意图预测网络时,不需要标注训练平台交互文本数据中的参考交互用户的各个交互页面节点的交互文本兴趣段信息,可以提高在训练过程中平台交互文本数据的学习速度。
下面介绍进一步的方法实施例,可以包括以下Step201-Step208:
Step201,获取训练平台交互文本数据,在基础交互意图预测网络中,获取训练平台交互文本数据中的参考交互用户对应的整体上下文语义结合向量,依据基础交互意图预测网络中的全连接网络层,生成整体上下文语义结合向量对应的整体交互意图预测数据。
一种可替代的实施方式中,获取到训练平台交互文本数据后,可以将训练平台交互文本数据加载到基础交互意图预测网络,经过基础交互意图预测网络可以得到训练平台交互文本数据中的参考交互用户所对应的整体上下文语义结合向量,该整体上下文语义结合向量可以用于描述训练平台交互文本数据中的参考交互用户的全局语义含义;依据基础交互意图预测网络的全连接网络层,对整体上下文语义结合向量进行意图预测,生成该整体上下文语义结合向量对应的整体交互意图预测数据。
下面以基础交互意图预测网络是自注意力组件为例,基础交互意图预测网络可以包括H个自注意力网络,每个自注意力网络可以包括至少一个语义编码单元,其中H为正整数,如H可以取值为1,2,……。上述整体上下文语义结合向量的提取过程可以包括:获取H个自注意力网络中的第x个自注意力网络的网络加载向量,当x为1时,该第x个自注意力网络的网络加载向量可以为上述训练平台交互文本数据,x可以为小于H的正整数;一种可替代的实施方式中,在基础交互意图预测网络的H个自注意力网络之前,该基础交互意图预测网络中还可以包括至少一个独立的语义编码单元,第1个语义编码单元(x为1)的网络加载向量可以为训练平台交互文本数据经过基础交互意图预测网络中的一个或两个独立的语义编码单元后生成的文本语义向量。
经过第x个自注意力网络中的至少一个语义编码单元,对第x个自注意力网络的网络加载向量进行文本语义编码,可以得到参考文本语义向量,进而可以对参考文本语义向量和第x个候选自注意力网络的网络加载向量进行组合生成第x个自注意力网络的自注意力编码向量,将第x个自注意力网络的自注意力编码向量作为第x+1个自注意力网络的网络加载向量,将第H个自注意力网络的自注意力编码向量,输出为训练平台交互文本数据中的参考交互用户所对应的整体上下文语义结合向量;其中,第x个自注意力网络与第x+1个自注意力网络级联。基础交互意图预测网络中的H个自注意力网络级联,前一个自注意力网络(例如,第x个自注意力网络)的自注意力编码向量,可以作为后一个自注意力网络(第x+1个自注意力网络)的网络加载向量,最终可以将末端自注意力网络(第H个自注意力网络)的自注意力编码向量作为训练平台交互文本数据中的参考交互用户对应的整体上下文语义结合向量。
一种可替代的实施方式中,整体上下文语义结合向量的数量为P个,P可以为正整数,此处的P可以认为是整体上下文语义结合向量的通道数,如P可以取值为1,2,……;可以统计P个整体上下文语义结合向量分别对应的文本连续语义向量,将P个整体上下文语义结合向量所对应的文本连续语义向量组合为目标语义向量序列;进而可以基于基础交互意图预测网络中的神经元输入映射层,将目标语义向量序列映射为待预测语义向量,将待预测语义向量加载到基础交互意图预测网络的全连接网络层,依据基础交互意图预测网络的全连接网络层,生成待预测语义向量对应的整体交互意图预测数据。
Step202,将整体交互意图预测数据和训练文本语义向量进行融合决策,生成训练平台交互文本数据对应的整体意图语句热力图,基于整体意图语句热力图对训练平台交互文本数据进行文本语句分段,生成K个平台交互文本分段数据;K为正整数。
一种可替代的实施方式中,可以将整体交互意图预测数据与训练平台交互文本数据的训练文本语义向量进行融合决策,生成训练平台交互文本数据对应的整体意图语句热力图,该整体意图语句热力图可以包括训练平台交互文本数据中的参考交互用户的各个交互页面节点所对应的类别激活映射图,也称为类热力图、显著性图等,具体可以参见Step101中的第一文本关注响应图的生成过程。
一种可替代的实施方式中,可以将各个交互页面节点的类别激活映射图,对训练平台交互文本数据进行文本语句分段,可以得到K个平台交互文本分段数据,其中K可以为正整数,如K可以取值为1,2,……。换言之,基于整体意图语句热力图可以对训练平台交互文本数据进行分段,生成各个文本所对应的平台交互文本分段数据。
Step203,将K个平台交互文本分段数据分别加载到基础交互意图预测网络,在基础交互意图预测网络中获取K个平台交互文本分段数据分别对应的段落分词语义连续向量。
一种可替代的实施方式中,可以将分段的K个平台交互文本分段数据重新加载到基础交互意图预测网络,依据基础交互意图预测网络可以获取细化的特征,即每个平台交互文本分段数据分别对应的段落分词语义连续向量。其中,利用基础交互意图预测网络对单个平台交互文本分段数据的操作方式可以参见Step201中对训练平台交互文本数据的操作方式。
Step204,将整体上下文语义结合向量与K个平台交互文本分段数据所对应的段落分词语义连续向量进行向量组合,生成训练平台交互文本数据中的参考交互用户对应的目标上下文语义结合向量。
一种可替代的实施方式中,可以将基础交互意图预测网络学习到的整体上下文语义结合向量和K个段落分词语义连续向量进行向量组合,如将整体上下文语义结合向量与K个段落分词语义连续向量进行融合,生成训练平台交互文本数据中的参考交互用户所对应的目标上下文语义结合向量;此处的目标上下文语义结合向量既可以包含参考交互用户的各个交互行为的段落分词语义连续向量,又可以包含参考交互用户的整体上下文语义结合向量。通过在基础交互意图预测网络中引入依据交互行为感知的分块学习,可以增强目标上下文语义结合向量的特征表征能力,进而可以提高交互文本兴趣段信息确定的精度。
Step205,基于基础交互意图预测网络中的全连接网络层,对目标上下文语义结合向量进行意图预测,生成训练平台交互文本数据对应的第一交互意图预测数据;基于第一交互意图预测数据和训练平台交互文本数据的训练文本语义向量获得第一文本关注响应图。
Step206,对训练平台交互文本数据进行语料增强处理生成迁移学习平台交互文本数据,依据基础交互意图预测网络生成迁移学习平台交互文本数据对应的第二交互意图预测数据,基于第二交互意图预测数据与迁移学习平台交互文本数据的迁移学习文本语义向量生成第二文本关注响应图;第二交互意图预测数据是由迁移学习平台交互文本数据中的参考交互用户对应的迁移学习上下文语义结合向量获得的,第二文本关注响应图表示参考交互用户的交互页面节点在迁移学习平台交互文本数据中的交互文本兴趣段信息。
Step207,基于第一文本关注响应图和第二文本关注响应图,确定基础交互意图预测网络的第一训练代价值信息,基于第一交互意图预测数据、第二交互意图预测数据以及训练平台交互文本数据先验标注的交互意图标注数据,确定基础交互意图预测网络的第二训练代价值信息。
Step208,依据第一训练代价值信息和第二训练代价值信息,对基础交互意图预测网络的功能函数层进行更新,生成目标交互意图预测网络;目标交互意图预测网络用于预测目标平台交互文本数据中的交互页面节点所对应的交互意图标签和交互文本兴趣段信息。
基于以上步骤,依据基础交互意图预测网络提取训练平台交互文本数据中的目标上下文语义结合向量,通过对目标上下文语义结合向量进行交互意图预测,生成目标上下文语义结合向量的第一交互意图预测数据,并依据第一交互意图预测数据和训练平台交互文本数据的训练文本语义向量获得第一文本关注响应图;与此同时,还可以对训练平台交互文本数据进行语料增强处理生成迁移学习平台交互文本数据,并依据基础交互意图预测网络提取迁移学习平台交互文本数据中的迁移学习上下文语义结合向量,基于迁移学习上下文语义结合向量的第二交互意图预测数据和迁移学习平台交互文本数据的迁移学习文本语义向量生成第二文本关注响应图;由此可针对第一文本关注响应图和第二文本关注响应图执行关联度分析(即第一训练代价值信息),以使得目标交互意图预测网络对平台交互文本数据中的交互页面节点的兴趣定位性能更强;并且,在训练基础交互意图预测网络时,不需要标注训练平台交互文本数据中的参考交互用户的各个交互页面节点的交互文本兴趣段信息,可以提高在训练过程中平台交互文本数据的学习速度;进一步地,在基础交互意图预测网络中引入依据交互行为感知的分段训练,可以学习到更细化的知识,由此生成对交互行为的交互文本兴趣段信息更为敏感的第一文本关注响应图,可以进一步提高交互文本兴趣段信息确定的精度。
下面介绍进一步的方法实施例,可以包括以下Step301-Step303:
Step301,获取目标平台交互文本数据,依据目标交互意图预测网络获取目标平台交互文本数据中的目标交互用户所对应的目标上下文语义结合向量,预测目标上下文语义结合向量对应的交互意图数据;交互意图数据表示目标交互用户的交互页面节点所对应的交互意图字段。
例如,在基础交互意图预测网络在完成训练后,可获得目标交互意图预测网络。在此基础上,可以获取目标平台交互文本数据,该目标平台交互文本数据中可以包含请求进行交互意图预测的目标交互用户。将目标平台交互文本数据加载到目标交互意图预测网络,经过目标交互意图预测网络可以获取目标平台交互文本数据中的目标交互用户所对应的目标上下文语义结合向量,依据目标交互意图预测网络的全连接网络层,可以输出目标上下文语义结合向量对应的交互意图数据,该交互意图数据可以表示目标交互用户的交互页面节点所对应的交互意图字段。其中,上述目标上下文语义结合向量可以为经过目标交互意图预测网络所提取到的针对目标交互用户的整体上下文语义结合向量,或者可以为目标交互用户所对应的整体上下文语义结合向量与局部上下文语义结合向量之间的融合向量。当目标上下文语义结合向量为目标平台交互文本数据中的目标交互用户所对应的整体上下文语义结合向量时,表明利用目标交互意图预测网络对目标平台交互文本数据进行知识抽取中,没有引入依据交互行为感知的分段训练;当目标上下文语义结合向量为目标平台交互文本数据中的目标交互用户所对应的整体上下文语义结合向量与局部上下文语义结合向量之间的融合特征时,表明利用目标交互意图预测网络对目标平台交互文本数据进行知识抽取中,引入了依据交互行为感知的分段训练。
一种可替代的实施方式中,在将目标平台交互文本数据加载到目标交互意图预测网络,在目标交互意图预测网络中获取目标平台交互文本数据中的目标交互用户对应的整体上下文语义结合向量,基于目标交互意图预测网络中的全连接网络层,生成整体上下文语义结合向量对应的整体用户交互意图图预测数据;获取目标交互意图预测网络中的目标语义编码单元生成的针对目标平台交互文本数据的目标文本语义向量,将整体用户交互意图图预测数据和目标文本语义向量进行融合决策,生成目标平台交互文本数据对应的整体用户意图语句热力图;基于整体用户意图语句热力图对目标平台交互文本数据进行文本语句分段,生成K个平台交互文本段落分割数据,基于目标交互意图预测网络获取K个平台交互文本段落分割数据分别对应的段落分词语义连续向量;K为正整数;将整体上下文语义结合向量和K个平台交互文本段落分割数据所对应的段落分词语义连续向量组合为目标上下文语义结合向量。
Step302,基于交互意图数据和目标平台交互文本数据的目标文本语义向量,生成目标意图语句热力图。
Step303,获取目标意图语句热力图对应的热度聚集特征区域,基于热度聚集特征区域确定目标交互用户中的交互页面节点在目标平台交互文本数据中的交互文本兴趣段信息,基于交互意图字段和交互文本兴趣段信息确定目标平台交互文本数据中的目标交互用户所对应的交互挖掘数据。
一种可替代的实施方式中,可以对目标意图语句热力图取热度聚集特征区域,并将热度聚集特征区域输出为目标交互用户中的交互页面节点在目标平台交互文本数据中的交互文本兴趣段信息,基于交互意图字段和交互文本兴趣段信息,可以确定目标平台交互文本数据中的目标交互用户的交互挖掘数据。
图2示出了本申请实施例提供的用于实现上述的应用于网络安全平台的交互挖掘方法的人工智能预测系统100的硬件结构意图,如图2所示,人工智能预测系统100可包括处理器110、机器可读存储介质120、总线130以及通信单元140。
一种可替代的实施例中,人工智能预测系统100可以是单个服务器,也可以是服务器组。所述服务器组可以是集中式的,也可以是分布式的(例如,人工智能预测系统100可以是分布式的系统)。一种可替代的实施例中,人工智能预测系统100可以是本地的,也可以是远程的。例如,人工智能预测系统100可以经由网络访问存储于机器可读存储介质120中的信息和/或数据。又例如,人工智能预测系统100可以直接连接到机器可读存储介质120以访问存储的信息和/或数据。一种可替代的实施例中,人工智能预测系统100可以在云平台上实施。仅作为示例,该云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。
机器可读存储介质120可以储存数据和/或指令。一种可替代的实施例中,机器可读存储介质120可以存储从外部终端获取的数据。一种可替代的实施例中,机器可读存储介质120可以储存人工智能预测系统100用来执行或使用来完成本申请中描述的示例性方法的数据及/或指令。一种可替代的实施例中,机器可读存储介质120可包括大容量存储器、可移动存储器、易失性读写存储器、只读存储器等或其任意组合。示例性的大容量存储器可以包括磁盘、光盘、固态磁盘等。示例性可移动存储器可以包括闪存驱动器、软盘、光盘、存储卡、压缩盘、磁带等。
在具体实现过程中,多个处理器110执行机器可读存储介质120存储的计算机可执行指令,使得处理器110可以执行如上方法实施例的应用于网络安全平台的交互挖掘方法,处理器110、机器可读存储介质120以及通信单元140通过总线130连接,处理器110可以用于控制通信单元140的收发动作。
处理器110的具体实现过程可参见上述人工智能预测系统100执行的各个方法实施例,其实现原理和技术效果类似,本实施例此处不再赘述。
此外,本申请实施例还提供一种可读存储介质,所述可读存储介质中预设有计算机可执行指令,当处理器执行所述计算机可执行指令时,实现如上应用于网络安全平台的交互挖掘方法。
同理,应当注意的是,为了简化本申请披露的表述,从而帮助对一个或以上发明实施例的理解,前文对本申请实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。同理,应当注意的是,为了简化本申请披露的表述,从而帮助对一个或以上发明实施例的理解,前文对本申请实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。
Claims (10)
1.一种应用于网络安全平台的交互挖掘方法,其特征在于,所述方法包括:
获取网络安全平台中的训练平台交互文本数据,依据基础交互意图预测网络生成所述训练平台交互文本数据对应的第一交互意图预测数据,基于所述第一交互意图预测数据和所述训练平台交互文本数据的训练文本语义向量获得第一文本关注响应图;所述第一交互意图预测数据是由所述训练平台交互文本数据中的参考交互用户对应的目标上下文语义结合向量获得的,所述第一文本关注响应图表示所述参考交互用户的交互页面节点在所述训练平台交互文本数据中的交互文本兴趣段信息;
对所述训练平台交互文本数据进行语料增强处理生成迁移学习平台交互文本数据,依据所述基础交互意图预测网络生成所述迁移学习平台交互文本数据对应的第二交互意图预测数据,基于所述第二交互意图预测数据与所述迁移学习平台交互文本数据的迁移学习文本语义向量生成第二文本关注响应图;所述第二交互意图预测数据是由所述迁移学习平台交互文本数据中的参考交互用户对应的迁移学习上下文语义结合向量获得的,所述第二文本关注响应图表示所述参考交互用户的交互页面节点在所述迁移学习平台交互文本数据中的交互文本兴趣段信息;
基于所述第一文本关注响应图和所述第二文本关注响应图,确定所述基础交互意图预测网络的第一训练代价值信息,基于所述第一交互意图预测数据、所述第二交互意图预测数据以及所述训练平台交互文本数据先验标注的交互意图标注数据,确定所述基础交互意图预测网络的第二训练代价值信息;
依据所述第一训练代价值信息和所述第二训练代价值信息,对所述基础交互意图预测网络的功能函数层进行更新,生成目标交互意图预测网络;所述目标交互意图预测网络用于预测目标平台交互文本数据中的交互页面节点所对应的交互意图标签和交互文本兴趣段信息。
2.根据权利要求1所述的应用于网络安全平台的交互挖掘方法,其特征在于,所述依据基础交互意图预测网络生成所述训练平台交互文本数据对应的第一交互意图预测数据,基于所述第一交互意图预测数据和所述训练平台交互文本数据的训练文本语义向量获得第一文本关注响应图,包括:
将所述训练平台交互文本数据加载到所述基础交互意图预测网络,基于所述基础交互意图预测网络,获取所述训练平台交互文本数据中的所述参考交互用户对应的目标上下文语义结合向量;
基于所述基础交互意图预测网络中的全连接网络层,对所述目标上下文语义结合向量进行意图预测,生成所述训练平台交互文本数据对应的第一交互意图预测数据;
获取所述基础交互意图预测网络中的目标语义编码单元生成的针对所述训练平台交互文本数据的训练文本语义向量,将所述第一交互意图预测数据和所述训练文本语义向量进行融合决策,生成所述训练平台交互文本数据对应的待定文本关注响应图;
对所述待定文本关注响应图进行注意力特征提取,生成与所述训练平台交互文本数据具有相同文本主题的第一文本关注响应图。
3.根据权利要求2所述的应用于网络安全平台的交互挖掘方法,其特征在于,所述基于所述基础交互意图预测网络,获取所述训练平台交互文本数据中的所述参考交互用户对应的目标上下文语义结合向量,包括:
在所述基础交互意图预测网络中,获取所述训练平台交互文本数据中的所述参考交互用户对应的整体上下文语义结合向量,依据所述基础交互意图预测网络中的全连接网络层,生成所述整体上下文语义结合向量对应的整体交互意图预测数据;
将所述整体交互意图预测数据和所述训练文本语义向量进行融合决策,生成所述训练平台交互文本数据对应的整体意图语句热力图,基于所述整体意图语句热力图对所述训练平台交互文本数据进行文本语句分段,生成K个平台交互文本分段数据;K为正整数;
将所述K个平台交互文本分段数据分别加载到所述基础交互意图预测网络,在所述基础交互意图预测网络中获取所述K个平台交互文本分段数据分别对应的段落分词语义连续向量;
将所述整体上下文语义结合向量与所述K个平台交互文本分段数据所对应的段落分词语义连续向量进行向量组合,生成所述训练平台交互文本数据中的所述参考交互用户对应的目标上下文语义结合向量。
4.根据权利要求3所述的应用于网络安全平台的交互挖掘方法,其特征在于,所述基础交互意图预测网络包括H个自注意力网络,每个自注意力网络包括至少一个语义编码单元,H为正整数;
所述在所述基础交互意图预测网络中,获取所述训练平台交互文本数据中的所述参考交互用户对应的整体上下文语义结合向量,包括:
获取所述H个自注意力网络中的第x个自注意力网络的网络加载向量;x为1时,所述第x个自注意力网络的网络加载向量为所述训练平台交互文本数据,x为小于H的正整数;
基于所述第x个自注意力网络中的至少一个语义编码单元,对第x个自注意力网络的网络加载向量进行文本语义编码,生成参考文本语义向量;
对所述参考文本语义向量和所述第x个自注意力网络的网络加载向量进行组合,生成所述第x个自注意力网络的自注意力编码向量,将所述第x个自注意力网络的自注意力编码向量作为第x+1个自注意力网络的网络加载向量;所述第x个自注意力网络与所述第x+1个自注意力网络相连接;
将第H个自注意力网络的自注意力编码向量,输出为所述训练平台交互文本数据中的所述参考交互用户对应的整体上下文语义结合向量。
5.根据权利要求3所述的应用于网络安全平台的交互挖掘方法,其特征在于,所述整体上下文语义结合向量的数量为P个,P为正整数;
所述依据所述基础交互意图预测网络中的全连接网络层,生成所述整体上下文语义结合向量对应的整体交互意图预测数据,包括:
统计P个整体上下文语义结合向量分别对应的文本连续语义向量,将所述P个整体上下文语义结合向量所对应的文本连续语义向量组合为目标语义向量序列;
基于所述基础交互意图预测网络中的神经元输入映射层,将所述目标语义向量序列映射为待预测语义向量;
将所述待预测语义向量加载到所述基础交互意图预测网络中的全连接网络层,依据所述基础交互意图预测网络中的全连接网络层,生成所述待预测语义向量对应的整体交互意图预测数据。
6.根据权利要求1所述的应用于网络安全平台的交互挖掘方法,其特征在于,所述基于所述第一文本关注响应图和所述第二文本关注响应图,确定所述基础交互意图预测网络的第一训练代价值信息,包括:
对所述第二文本关注响应图进行所述语料增强处理,生成迁移学习文本关注响应图;
对所述第一文本关注响应图和所述迁移学习文本关注响应图进行关联度分析,确定所述基础交互意图预测网络的第一训练代价值信息。
7.根据权利要求1所述的应用于网络安全平台的交互挖掘方法,其特征在于,所述基于所述第一交互意图预测数据、所述第二交互意图预测数据以及所述训练平台交互文本数据先验标注的交互意图标注数据,确定所述基础交互意图预测网络的第二训练代价值信息,包括:
获取所述第一交互意图预测数据与所述训练平台交互文本数据先验标注的交互意图标注数据之间的第一对比损失值,基于所述第一对比损失值确定所述基础交互意图预测网络的基础学习代价信息;
获取所述第二交互意图预测数据与所述交互意图标注数据之间的第二对比损失值,基于所述第二对比损失值确定所述基础交互意图预测网络的迁移学习代价信息;
基于所述基础学习代价信息和所述迁移学习代价信息,确定所述基础交互意图预测网络的所述第二训练代价值信息。
8.根据权利要求1所述的应用于网络安全平台的交互挖掘方法,其特征在于,所述依据所述第一训练代价值信息和所述第二训练代价值信息,对所述基础交互意图预测网络的功能函数层进行更新,生成目标交互意图预测网络,包括:
基于所述第一训练代价值信息和所述第二训练代价值信息,确定所述基础交互意图预测网络对应的全局训练代价值信息;
基于所述全局训练代价值信息对所述基础交互意图预测网络进行迭代训练,将训练后的基础交互意图预测网络输出为目标交互意图预测网络。
9.根据权利要求1所述的应用于网络安全平台的交互挖掘方法,其特征在于,所述方法还包括:
获取目标平台交互文本数据,依据目标交互意图预测网络获取目标平台交互文本数据中的目标交互用户所对应的目标上下文语义结合向量,预测所述目标上下文语义结合向量对应的交互意图数据;所述交互意图数据表示所述目标交互用户的交互页面节点所对应的交互意图字段;
基于所述交互意图数据和所述目标平台交互文本数据的目标文本语义向量,生成目标意图语句热力图;
获取所述目标意图语句热力图对应的热度聚集特征区域,基于所述热度聚集特征区域确定所述目标交互用户中的交互页面节点在所述目标平台交互文本数据中的交互文本兴趣段信息,基于所述交互意图字段和所述交互文本兴趣段信息确定所述目标平台交互文本数据中的所述目标交互用户所对应的交互挖掘数据;
所述依据目标交互意图预测网络获取目标平台交互文本数据中的目标交互用户所对应的目标上下文语义结合向量,包括:
将所述目标平台交互文本数据加载到所述目标交互意图预测网络,在所述目标交互意图预测网络中获取所述目标平台交互文本数据中的所述目标交互用户对应的整体上下文语义结合向量,基于所述目标交互意图预测网络中的全连接网络层,生成所述整体上下文语义结合向量对应的整体用户交互意图图预测数据;
获取所述目标交互意图预测网络中的目标语义编码单元生成的针对所述目标平台交互文本数据的目标文本语义向量,将所述整体用户交互意图图预测数据和所述目标文本语义向量进行融合决策,生成所述目标平台交互文本数据对应的整体用户意图语句热力图;
基于所述整体用户意图语句热力图对所述目标平台交互文本数据进行文本语句分段,生成K个平台交互文本段落分割数据,基于所述目标交互意图预测网络获取所述K个平台交互文本段落分割数据分别对应的段落分词语义连续向量;K为正整数;
将所述整体上下文语义结合向量和所述K个平台交互文本段落分割数据所对应的段落分词语义连续向量组合为所述目标上下文语义结合向量。
10.一种人工智能预测系统,其特征在于,所述人工智能预测系统包括处理器和机器可读存储介质,所述机器可读存储介质中存储有机器可执行指令,所述机器可执行指令由所述处理器加载并执行以实现权利要求1-9中任意一项所述的应用于网络安全平台的交互挖掘方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311170242.0A CN117575013A (zh) | 2023-09-12 | 2023-09-12 | 应用于网络安全平台的交互挖掘方法及人工智能预测系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311170242.0A CN117575013A (zh) | 2023-09-12 | 2023-09-12 | 应用于网络安全平台的交互挖掘方法及人工智能预测系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117575013A true CN117575013A (zh) | 2024-02-20 |
Family
ID=89886871
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311170242.0A Pending CN117575013A (zh) | 2023-09-12 | 2023-09-12 | 应用于网络安全平台的交互挖掘方法及人工智能预测系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117575013A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019144542A1 (en) * | 2018-01-26 | 2019-08-01 | Institute Of Software Chinese Academy Of Sciences | Affective interaction systems, devices, and methods based on affective computing user interface |
CN113408265A (zh) * | 2021-06-22 | 2021-09-17 | 平安科技(深圳)有限公司 | 基于人机交互的语义解析方法、装置、设备及存储介质 |
CN114424167A (zh) * | 2019-05-06 | 2022-04-29 | 强力物联网投资组合2016有限公司 | 用于促进工业物联网系统智能开发的平台 |
CN115248855A (zh) * | 2021-04-27 | 2022-10-28 | 腾讯科技(深圳)有限公司 | 文本处理方法及装置、电子设备、计算机可读存储介质 |
CN115827872A (zh) * | 2022-12-27 | 2023-03-21 | 北京百度网讯科技有限公司 | 一种意图识别模型的训练方法、意图识别方法及装置 |
CN116628177A (zh) * | 2023-05-22 | 2023-08-22 | 福建省网络与信息安全测评中心 | 针对网络安全平台的交互数据处理方法及系统 |
-
2023
- 2023-09-12 CN CN202311170242.0A patent/CN117575013A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019144542A1 (en) * | 2018-01-26 | 2019-08-01 | Institute Of Software Chinese Academy Of Sciences | Affective interaction systems, devices, and methods based on affective computing user interface |
CN114424167A (zh) * | 2019-05-06 | 2022-04-29 | 强力物联网投资组合2016有限公司 | 用于促进工业物联网系统智能开发的平台 |
CN115248855A (zh) * | 2021-04-27 | 2022-10-28 | 腾讯科技(深圳)有限公司 | 文本处理方法及装置、电子设备、计算机可读存储介质 |
CN113408265A (zh) * | 2021-06-22 | 2021-09-17 | 平安科技(深圳)有限公司 | 基于人机交互的语义解析方法、装置、设备及存储介质 |
CN115827872A (zh) * | 2022-12-27 | 2023-03-21 | 北京百度网讯科技有限公司 | 一种意图识别模型的训练方法、意图识别方法及装置 |
CN116628177A (zh) * | 2023-05-22 | 2023-08-22 | 福建省网络与信息安全测评中心 | 针对网络安全平台的交互数据处理方法及系统 |
Non-Patent Citations (1)
Title |
---|
王堃等: "端到端对话系统意图语义槽联合识别研究综述", 《计算机工程与应用》, 31 December 2020 (2020-12-31) * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Suhaili et al. | Service chatbots: A systematic review | |
Torfi et al. | Natural language processing advancements by deep learning: A survey | |
Zha et al. | AlignScore: Evaluating factual consistency with a unified alignment function | |
EP4089587A1 (en) | Data processing method and related device | |
US20220215259A1 (en) | Neural network training method, data processing method, and related apparatus | |
CN106973244A (zh) | 使用弱监督为图像配字幕 | |
CN110234018B (zh) | 多媒体内容描述生成方法、训练方法、装置、设备及介质 | |
CN114339450B (zh) | 视频评论生成方法、系统、设备及存储介质 | |
CN117521675A (zh) | 基于大语言模型的信息处理方法、装置、设备及存储介质 | |
US11645526B2 (en) | Learning neuro-symbolic multi-hop reasoning rules over text | |
JP2021192286A (ja) | モデル訓練、画像処理方法及びデバイス、記憶媒体、プログラム製品 | |
Xu et al. | Meta spatio-temporal debiasing for video scene graph generation | |
CN111666766A (zh) | 数据处理方法、装置和设备 | |
CN116324804A (zh) | 训练问答对话系统以避免对抗性攻击 | |
CN112949758A (zh) | 应答模型的训练方法、应答方法、装置、设备及存储介质 | |
CN114996511A (zh) | 一种针对跨模态视频检索模型的训练方法及装置 | |
CN114637850A (zh) | 异常行为识别及模型训练方法、装置、设备及存储介质 | |
CN117540023A (zh) | 基于模态融合图卷积网络的图像联合文本情感分析方法 | |
US20220147547A1 (en) | Analogy based recognition | |
Zhang et al. | Grammar guided embedding based Chinese long text sentiment classification | |
CN115358477B (zh) | 一种作战想定随机生成系统及其应用 | |
CN116955591A (zh) | 用于内容推荐的推荐语生成方法、相关装置和介质 | |
Liang et al. | Hierarchical hybrid code networks for task-oriented dialogue | |
CN117575013A (zh) | 应用于网络安全平台的交互挖掘方法及人工智能预测系统 | |
CN111723301B (zh) | 基于层次化主题偏好语义矩阵的关注关系识别及标注方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20240405 Address after: No. 52 Tianfu Road, Hedong New City, Wensheng District, Liaoyang City, Liaoning Province, 111018 Applicant after: Zhang Junhe Country or region after: China Address before: Room 817, No. 42 Shanghai Road, Zhongshan District, Dalian City, Liaoning Province, 116001 Applicant before: Dalian Ruiyifu Technology Co.,Ltd. Country or region before: China |
|
TA01 | Transfer of patent application right |