CN116384494B - 基于多模态孪生神经网络的rpa流程推荐方法及系统 - Google Patents

基于多模态孪生神经网络的rpa流程推荐方法及系统 Download PDF

Info

Publication number
CN116384494B
CN116384494B CN202310654764.1A CN202310654764A CN116384494B CN 116384494 B CN116384494 B CN 116384494B CN 202310654764 A CN202310654764 A CN 202310654764A CN 116384494 B CN116384494 B CN 116384494B
Authority
CN
China
Prior art keywords
entity
attribute
characterization
neural network
rpa
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310654764.1A
Other languages
English (en)
Other versions
CN116384494A (zh
Inventor
龚栎鑫
袁水平
王靖雄
李段腾川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Sigao Intelligent Technology Co ltd
Original Assignee
Anhui Sigao Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Sigao Intelligent Technology Co ltd filed Critical Anhui Sigao Intelligent Technology Co ltd
Priority to CN202310654764.1A priority Critical patent/CN116384494B/zh
Publication of CN116384494A publication Critical patent/CN116384494A/zh
Application granted granted Critical
Publication of CN116384494B publication Critical patent/CN116384494B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G06N5/025—Extracting rules from data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于多模态孪生神经网络的RPA流程推荐方法及系统，包括：S1：构建RPA业务流程的知识图谱，提取知识图谱中的第一实体集E和第二实体集E’，计算获得第一实体集的表征集和第二实体集的表征集；S2：构建孪生神经网络，通过第一实体集的表征集和第二实体集的表征集计算获得总损失，通过总损失循环训练孪生神经网络，获得训练好的孪生神经网络；S3：获取需求流程实体E*，通过训练好的孪生神经网络计算获得需求流程实体在知识图谱中的推荐路径，通过推荐路径获得RPA流程推荐方案。本发明可以在历史信息的支持下，针对RPA中新的业务需求提供一个基于相似度的业务流程路径推荐，使RPA应用更加智能化、自动化和高效化。

Description

基于多模态孪生神经网络的RPA流程推荐方法及系统
技术领域
本发明涉及RPA技术领域，尤其涉及一种基于多模态孪生神经网络的RPA流程推荐方法及系统。
背景技术
随着软件自动化等技术的迅速发展，RPA(Robotic Process Automation)已广泛应用于企业的自动化转型中。通过元素抓取和预先编制好的业务流程，RPA可以自动执行任务，取代人工操作，提高效率并降低成本。高效而精确的业务流程推荐是RPA应对频繁变更的业务需求时的必然要求，它有助于优化流程的设计，提高自动化生产的效率，并减少在RPA应用的开发成本。然而，RPA涉及到的业务流程往往具有高度复杂性，需要通过多模态信息进行综合分析和处理，因此RPA业务流程推荐更是一项极其复杂的任务。
现有的RPA业务流程推荐方法通常基于图结构，使用图挖掘和图匹配来推荐出最合适的候选节点。但是，业务流程通常会涉及到从不同的来源（例如文本、表格、图像等）获取数据，这些数据包含不同模态的信息，为RPA理解业务流程需求提供不同的视角和信息。仅基于图结构的方法无法全面建模业务领域知识图谱，整合当前流程片段的多模态信息，进而精确地推荐出符合实际业务需求的后续流程片段。因此，这类推荐方法的灵活性和扩展性有待提升。论文“On the Use of Knowledge Graph Completion Methods forActivityRecommendation in Business Process Modeling”从流程间的逻辑关系出发，使用知识图谱进行业务流程建模。然而，业务流程描述中多模态数据的对齐还需进一步研究。在多模态知识图谱领域，有相当多的工作致力于实体对齐，然而现有方法直接合并单模态特征嵌入，很大程度上忽略了多模态实体对齐中的模态之间的交互效应，如何在多模态实体对齐的知识学习中融入模态之间的交互效应仍然是一个巨大的挑战。
发明内容
为解决上述技术问题，本发明提供一种基于多模态孪生神经网络的RPA流程推荐方法，包括：
S1：构建RPA业务流程的知识图谱，提取知识图谱中的第一实体集E和第二实体集E’，计算获得第一实体集的表征集和第二实体集的表征集；
S2：构建孪生神经网络，通过第一实体集的表征集和第二实体集的表征集计算获得总损失，通过总损失循环训练孪生神经网络，获得训练好的孪生神经网络；
S3：获取需求流程实体E*，通过训练好的孪生神经网络计算获得需求流程实体在知识图谱中的推荐路径，通过推荐路径获得RPA流程推荐方案。
优选的，步骤S1具体为：
S11：将RPA业务流程中的各流程作为实体，以实体-关系-实体构建RPA业务流程的知识图谱，提取知识图谱中的第一实体集E和第二实体集E’；
S12：获得实体集中各实体的关系三元组、实体-图像对和属性三元组；
S13：通过实体-图像对获得实体的视觉模态表征，通过关系三元组获得实体的关系模态表征，通过属性三元组获得实体的属性模态表征；
S14：将视觉模态表征、关系模态表征和属性模态表征进行拼接获得全面表征；
S15：将视觉模态表征、关系模态表征、属性模态表征和全面表征作为实体的表征集；
S16：重复步骤S12-S15，获得第一实体集的表征集和第二实体集的表征集。
优选的：
第一实体集E中的实体表示为e∈E；视觉模态表征表示为eI∈EI；关系模态表征表示为eR∈ER；属性模态表征表示为eA∈EA；全面表征表示为eM∈EM，，||表示拼接操作；
第二实体集E’中的实体表示为e’∈E’；视觉模态表征表示为eI’∈E’I；关系模态表征表示为eR’∈E’R；属性模态表征表示为eA’∈E’A；全面表征表示为eM’∈E’M；
第一实体集E和第二实体集E’的各表征的计算过程相同。
优选的，视觉模态表征的获得过程为：
对于第一实体集E中的每个实体-图像对(e,i)，通过线性变换得到实体的视觉模态表征，表达式为：
其中，EfficientNet为特征提取函数，i为图像，e为实体，eI为实体e的视觉模态表征，EI为视觉模态表征集合，W1、b1均为嵌入操作的超参数。
优选的，属性模态表征的获得过程为：
对于第一实体集E中的属性三元组的描述属性的词的集合，使用ELECTRA学习每个词的嵌入，求嵌入平均值后采用线性变换作为属性嵌入a，表达式为：
其中，表示描述属性的词的集合，Aug()表示求平均，W3、b3均为嵌入操作的超参数；
获取属性三元组中属性的值，采用sigmoid函数进行归一化来形成嵌入v；
将属性嵌入a与值嵌入v拼接后进行线性变化得到总属性嵌入s，表达式为：
获得属性三元组中各词的总属性嵌入sj，j为词的编号，W4、b4均为嵌入操作的超参数；
计算获得各词的总属性嵌入的注意力权重，计算公式为：
其中exp()表示自然指数函数，c为词的编号，k为词的总数；
实体e的属性模态表征的计算公式为：
其中，为各词的总属性嵌入的注意力权重，sj为各词的总属性嵌入。
优选的，步骤S2具体为：
S21：调节孪生神经网络的参数；
S22：计算获得对比损失，表达式为：
其中，n为实体的编号，N为实体的总数，yn是实体对的标签，1代表正例，0代表负例；是超参数，en∈E和e’n∈E’分别代表来自RPA知识图谱G和G’的实体，d为不同知识图谱的实体嵌入的余弦相似度；
S23：计算获得全面表征对比损失，表达式为：，/>为损失计算函数；
S24：计算获得单模态表征对比损失，表达式为：
S25：计算获得孪生神经网络的总损失，表达式为：
其中，为第一边缘损失，/>为第二边缘损失；
S26：重复步骤S21-S25直至总损失小于预设值，获得训练好的孪生神经网络。
优选的，步骤S3具体为：
S31：通过训练好的孪生神经网络计算获得需求流程实体E*与知识图谱中各实体之间的余弦相似度，并将余弦相似度按从大到小的顺序排序，选择余弦相似度最大的前三个作为候选对齐实体；
S32：将候选对齐实体在知识图谱中的连线作为三条候选推荐路径；
S33：以候选对齐实体的实体信息作为流程节点，以候选推荐路径的关系三元组作为流程，获得三种RPA流程推荐方案。
一种基于多模态孪生神经网络的RPA流程推荐系统，包括：
表征集获取模块，用于构建RPA业务流程的知识图谱，提取知识图谱中的第一实体集E和第二实体集E’，计算获得第一实体集的表征集和第二实体集的表征集；
孪生神经网络训练模块，用于构建孪生神经网络，通过第一实体集的表征集和第二实体集的表征集计算获得总损失，通过总损失循环训练孪生神经网络，获得训练好的孪生神经网络；
流程推荐方案获取模块，用于获取需求流程实体E*，通过训练好的孪生神经网络计算获得需求流程实体在知识图谱中的推荐路径，通过推荐路径获得RPA流程推荐方案。
本发明具有以下有益效果：
1、充分利用了业务流程描述的多模态信息，包括关系信息、属性信息和图像信息，通过多模态信息的融合交互，RPA领域中的历史信息得以以知识图谱的形式进行有序组织，从而在提出新的业务需求时可以直接以实体的数据形式进行利用，而无需再进行由专业开发者提炼业务流程数据，对RPA应用的发展具有重要意义；
2、利用了模态之间的交互效应来丰富关系表示，通过多模态嵌入学习业务流程描述的关系模态表征、视觉模态表征和属性模态表征，整合不同模态的数据，生成全面的实体表示；特别地，考虑到多模态信息之间的交互效应，本发明一方面用视觉特征来丰富语义信息，指导实体的关系特征嵌入，另一方面用视觉特征自适应地分配属性的注意力权重，以捕捉有价值的对齐属性，实现了跨模态增强实体表示；
3、孪生神经网络可根据需求在知识图谱中获得推荐路径，基于多模态实体对齐，本发明可以在历史信息的支持下，针对RPA中新的业务需求提供一个基于相似度的业务流程路径推荐；开发人员可以在推荐的流程路径基础上进一步修改，能更好地辅助RPA中的业务流程建模工作，从而提高业务流程建模效率，使RPA应用更加智能化、自动化和高效化。
附图说明
图1为本发明实施例方法流程图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，本发明提供一种基于多模态孪生神经网络的RPA流程推荐方法，包括：
S1：构建RPA业务流程的知识图谱，提取知识图谱中的第一实体集E和第二实体集E’，计算获得第一实体集的表征集和第二实体集的表征集；
S2：构建孪生神经网络，通过第一实体集的表征集和第二实体集的表征集计算获得总损失，通过总损失循环训练孪生神经网络，获得训练好的孪生神经网络；
S3：获取需求流程实体E*，通过训练好的孪生神经网络计算获得需求流程实体在知识图谱中的推荐路径，通过推荐路径获得RPA流程推荐方案。
进一步的，步骤S1具体为：
S11：将RPA业务流程中的各流程作为实体，以实体-关系-实体构建RPA业务流程的知识图谱，提取知识图谱中的第一实体集E和第二实体集E’；
具体的，以头实体-关系-尾实体的形式组织RPA知识图谱的关系信息，例如业务流程前置/后置关系的描述；以实体-图像对形式，组织RPA知识图谱的图像信息；以实体-属性-值的形式组织RPA知识图谱的属性信息；
S12：获得实体集中各实体的关系三元组、实体-图像对和属性三元组；
具体的，根据TransR对RPA知识图谱中的关系三元组进行建模，具体如下：
关系三元组的L2范式得分函数定义为：
，
其中，hR，tR分别代表头尾实体的关系特征嵌入，r代表关系嵌入，用来表示L2范数归一化操作；
为了区分正负样本，采用边缘损失函数：
其中是边缘超参数，/>是负例三元组集合，负例三元组采用随机实体替代原头尾实体生成；
S13：通过实体-图像对获得实体的视觉模态表征，通过关系三元组获得实体的关系模态表征，通过属性三元组获得实体的属性模态表征；
S14：将视觉模态表征、关系模态表征和属性模态表征进行拼接获得全面表征；
S15：将视觉模态表征、关系模态表征、属性模态表征和全面表征作为实体的表征集；
S16：重复步骤S12-S15，获得第一实体集的表征集和第二实体集的表征集。
进一步的，第一实体集E中的实体表示为e∈E；视觉模态表征表示为eI∈EI；关系模态表征表示为eR∈ER；属性模态表征表示为eA∈EA；全面表征表示为eM∈EM，，||表示拼接操作；
第二实体集E’中的实体表示为e’∈E’；视觉模态表征表示为eI’∈E’I；关系模态表征表示为eR’∈E’R；属性模态表征表示为eA’∈E’A；全面表征表示为eM’∈E’M；
第一实体集E和第二实体集E’的各表征的计算过程相同。
具体的，将图像信息与关系三元组结合增强关系模态表征eR∈ER，对实体-图像对，使用线性变换将图像信息投影到相应的空间中，得到头尾实体的图像特征嵌入，分别记作：
；
接下来，采用与关系三元组建模相同的评分函数和损失函数，从而学习到更好的关系嵌入，进而增强实体的关系特征嵌入hR和tR，具体如下：
得分函数定义为：
边缘损失函数定义为：
。
进一步的，使用EfficientNet处理图像信息，进行线性变换得到实体的视觉模态表征eI∈EI；对每个实体-图像对(e,i)，用EfficientNet对图像i进行特征提取，在输出时的不经过全连接层和softmax层，直接通过线性变换得到实体的视觉模态表征；
视觉模态表征的获得过程为：
对于第一实体集E中的每个实体-图像对(e,i)，通过线性变换得到实体的视觉模态表征，表达式为：
其中，EfficientNet为特征提取函数，i为图像，e为实体，eI为实体e的视觉模态表征，EI为视觉模态表征集合，W1、b1均为嵌入操作的超参数。
进一步的，对属性三元组中的描述属性的词的集合，使用ELECTRA学习每个词的嵌入，求其平均值后采用线性变换作为属性的嵌入；
属性模态表征的获得过程为：
对于第一实体集E中的属性三元组的描述属性的词的集合，使用ELECTRA学习每个词的嵌入，求嵌入平均值后采用线性变换作为属性嵌入a，表达式为：
其中，表示描述属性的词的集合，Aug()表示求平均，W3、b3均为嵌入操作的超参数；
获取属性三元组中属性的值，采用sigmoid函数进行归一化来形成嵌入v；
将属性嵌入a与值嵌入v拼接后进行线性变化得到总属性嵌入s，表达式为：
获得属性三元组中各词的总属性嵌入sj，j为词的编号，W4、b4均为嵌入操作的超参数；
计算获得各词的总属性嵌入的注意力权重，计算公式为：
其中exp()表示自然指数函数，c为词的编号，k为词的总数；
实体e的属性模态表征的计算公式为：
其中，为各词的总属性嵌入的注意力权重，sj为各词的总属性嵌入。
进一步的，使用对比学习实现跨模态增强融合，包括从实体全面表征对比学习和实体单模态表征对比学习；
计算来自不同知识图谱的实体嵌入余弦相似度，记作d；采用对比损失来处理孪生神经网络中输入的实体对之间的关系，当正例实体对被编码为相似表征或负例实体对被编码为相异表征时最小化损失，将正例实体对作为已对齐的实体，将负例实体对作为无法对齐的实体；
步骤S2具体为：
S21：调节孪生神经网络的参数；
S22：计算获得对比损失，表达式为：
其中，n为实体的编号，N为实体的总数，yn是实体对的标签，1代表正例，0代表负例；是超参数，en∈E和e’n∈E’分别代表来自RPA知识图谱G和G’的实体，d为不同知识图谱的实体嵌入的余弦相似度；
S23：计算获得全面表征对比损失，表达式为：，/>为损失计算函数；
S24：计算获得单模态表征对比损失，表达式为：
S25：计算获得孪生神经网络的总损失，表达式为：
其中，为第一边缘损失，/>为第二边缘损失；
S26：重复步骤S21-S25直至总损失小于预设值，获得训练好的孪生神经网络。
进一步的，步骤S3具体为：
S31：通过训练好的孪生神经网络计算获得需求流程实体E*与知识图谱中各实体之间的余弦相似度，并将余弦相似度按从大到小的顺序排序，选择余弦相似度最大的前三个作为候选对齐实体；
S32：将候选对齐实体在知识图谱中的连线作为三条候选推荐路径；
具体的，对于候选对齐实体的每一个对齐实体，以关系三元组作为路径、遍历RPA知识图谱直到最后一个对齐实体，输出与RPA业务流程需求所关联的各模态信息作为流程推荐备选，得到三条候选推荐路径；
S33：以候选对齐实体的实体信息作为流程节点，以候选推荐路径的关系三元组作为流程，获得三种RPA流程推荐方案；
具体的，对每条候选推荐路径，从RPA第一个业务流程需求实体所对其的RPA知识图谱实体出发，输出实体信息作为流程节点，沿用关系三元组路径输出的关系作为流程，得到三种基于多模态信息相似度为度量标准的RPA流程推荐方案。
本发明提供一种基于多模态孪生神经网络的RPA流程推荐系统，包括：
表征集获取模块，用于构建RPA业务流程的知识图谱，提取知识图谱中的第一实体集E和第二实体集E’，计算获得第一实体集的表征集和第二实体集的表征集；
孪生神经网络训练模块，用于构建孪生神经网络，通过第一实体集的表征集和第二实体集的表征集计算获得总损失，通过总损失循环训练孪生神经网络，获得训练好的孪生神经网络；
流程推荐方案获取模块，用于获取需求流程实体E*，通过训练好的孪生神经网络计算获得需求流程实体在知识图谱中的推荐路径，通过推荐路径获得RPA流程推荐方案。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词语解释为标识。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (4)

1.一种基于多模态孪生神经网络的RPA流程推荐方法，其特征在于，包括：
S1：构建RPA业务流程的知识图谱，提取知识图谱中的第一实体集E和第二实体集E’，计算获得第一实体集的表征集和第二实体集的表征集；
S2：构建孪生神经网络，通过第一实体集的表征集和第二实体集的表征集计算获得总损失，通过总损失循环训练孪生神经网络，获得训练好的孪生神经网络；
S3：获取需求流程实体E*，通过训练好的孪生神经网络计算获得需求流程实体在知识图谱中的推荐路径，通过推荐路径获得RPA流程推荐方案；
步骤S1具体为：
S11：将RPA业务流程中的各流程作为实体，以实体-关系-实体构建RPA业务流程的知识图谱，提取知识图谱中的第一实体集E和第二实体集E’；
S12：获得实体集中各实体的关系三元组、实体-图像对和属性三元组；
S13：通过实体-图像对获得实体的视觉模态表征，通过关系三元组获得实体的关系模态表征，通过属性三元组获得实体的属性模态表征；
S14：将视觉模态表征、关系模态表征和属性模态表征进行拼接获得全面表征；
S15：将视觉模态表征、关系模态表征、属性模态表征和全面表征作为实体的表征集；
S16：重复步骤S12-S15，获得第一实体集的表征集和第二实体集的表征集；
第一实体集E中的实体表示为e∈E；视觉模态表征表示为eI∈EI；关系模态表征表示为eR∈ER；属性模态表征表示为eA∈EA；全面表征表示为eM∈EM，，||表示拼接操作；
第二实体集E’中的实体表示为e’∈E’；视觉模态表征表示为eI’∈E’I；关系模态表征表示为eR’∈E’R；属性模态表征表示为eA’∈E’A；全面表征表示为eM’∈E’M；
第一实体集E和第二实体集E’的各表征的计算过程相同；
视觉模态表征的获得过程为：
对于第一实体集E中的每个实体-图像对(e,i)，通过线性变换得到实体的视觉模态表征，表达式为：
其中，EfficientNet为特征提取函数，i为图像，e为实体，eI为实体e的视觉模态表征，EI为视觉模态表征集合，W1、b1均为嵌入操作的超参数；
属性模态表征的获得过程为：
对于第一实体集E中的属性三元组的描述属性的词的集合，使用ELECTRA学习每个词的嵌入，求嵌入平均值后采用线性变换作为属性嵌入a，表达式为：
其中，表示描述属性的词的集合，Aug()表示求平均，W3、b3均为嵌入操作的超参数；
获取属性三元组中属性的值，采用sigmoid函数进行归一化来形成嵌入v；
将属性嵌入a与值嵌入v拼接后进行线性变化得到总属性嵌入s，表达式为：
获得属性三元组中各词的总属性嵌入sj，j为词的编号，W4、b4均为嵌入操作的超参数；
计算获得各词的总属性嵌入的注意力权重，计算公式为：
其中exp()表示自然指数函数，c为词的编号，k为词的总数；
实体e的属性模态表征的计算公式为：
其中，为各词的总属性嵌入的注意力权重，sj为各词的总属性嵌入。
2.根据权利要求1所述的基于多模态孪生神经网络的RPA流程推荐方法，其特征在于，步骤S2具体为：
S21：调节孪生神经网络的参数；
S22：计算获得对比损失，表达式为：
其中，n为实体的编号，N为实体的总数，yn是实体对的标签，1代表正例，0代表负例；是超参数，en∈E和e’n∈E’分别代表来自RPA知识图谱G和G’的实体，d为不同知识图谱的实体嵌入的余弦相似度；
S23：计算获得全面表征对比损失，表达式为：，/>为损失计算函数；
S24：计算获得单模态表征对比损失，表达式为：
S25：计算获得孪生神经网络的总损失，表达式为：
其中，为第一边缘损失，/>为第二边缘损失；
S26：重复步骤S21-S25直至总损失小于预设值，获得训练好的孪生神经网络。
3.根据权利要求1所述的基于多模态孪生神经网络的RPA流程推荐方法，其特征在于，步骤S3具体为：
S31：通过训练好的孪生神经网络计算获得需求流程实体E*与知识图谱中各实体之间的余弦相似度，并将余弦相似度按从大到小的顺序排序，选择余弦相似度最大的前三个作为候选对齐实体；
S32：将候选对齐实体在知识图谱中的连线作为三条候选推荐路径；
S33：以候选对齐实体的实体信息作为流程节点，以候选推荐路径的关系三元组作为流程，获得三种RPA流程推荐方案。
4.一种基于多模态孪生神经网络的RPA流程推荐系统，其特征在于，包括：
表征集获取模块，用于构建RPA业务流程的知识图谱，提取知识图谱中的第一实体集E和第二实体集E’，计算获得第一实体集的表征集和第二实体集的表征集；
孪生神经网络训练模块，用于构建孪生神经网络，通过第一实体集的表征集和第二实体集的表征集计算获得总损失，通过总损失循环训练孪生神经网络，获得训练好的孪生神经网络；
流程推荐方案获取模块，用于获取需求流程实体E*，通过训练好的孪生神经网络计算获得需求流程实体在知识图谱中的推荐路径，通过推荐路径获得RPA流程推荐方案；
表征集获取模块的工作流程具体为：
S11：将RPA业务流程中的各流程作为实体，以实体-关系-实体构建RPA业务流程的知识图谱，提取知识图谱中的第一实体集E和第二实体集E’；
S12：获得实体集中各实体的关系三元组、实体-图像对和属性三元组；
S13：通过实体-图像对获得实体的视觉模态表征，通过关系三元组获得实体的关系模态表征，通过属性三元组获得实体的属性模态表征；
S14：将视觉模态表征、关系模态表征和属性模态表征进行拼接获得全面表征；
S15：将视觉模态表征、关系模态表征、属性模态表征和全面表征作为实体的表征集；
S16：重复步骤S12-S15，获得第一实体集的表征集和第二实体集的表征集；
第一实体集E中的实体表示为e∈E；视觉模态表征表示为eI∈EI；关系模态表征表示为eR∈ER；属性模态表征表示为eA∈EA；全面表征表示为eM∈EM，，||表示拼接操作；
第二实体集E’中的实体表示为e’∈E’；视觉模态表征表示为eI’∈E’I；关系模态表征表示为eR’∈E’R；属性模态表征表示为eA’∈E’A；全面表征表示为eM’∈E’M；
第一实体集E和第二实体集E’的各表征的计算过程相同；
视觉模态表征的获得过程为：
对于第一实体集E中的每个实体-图像对(e,i)，通过线性变换得到实体的视觉模态表征，表达式为：
其中，EfficientNet为特征提取函数，i为图像，e为实体，eI为实体e的视觉模态表征，EI为视觉模态表征集合，W1、b1均为嵌入操作的超参数；
属性模态表征的获得过程为：
对于第一实体集E中的属性三元组的描述属性的词的集合，使用ELECTRA学习每个词的嵌入，求嵌入平均值后采用线性变换作为属性嵌入a，表达式为：
其中，表示描述属性的词的集合，Aug()表示求平均，W3、b3均为嵌入操作的超参数；
获取属性三元组中属性的值，采用sigmoid函数进行归一化来形成嵌入v；
将属性嵌入a与值嵌入v拼接后进行线性变化得到总属性嵌入s，表达式为：
获得属性三元组中各词的总属性嵌入sj，j为词的编号，W4、b4均为嵌入操作的超参数；
计算获得各词的总属性嵌入的注意力权重，计算公式为：
其中exp()表示自然指数函数，c为词的编号，k为词的总数；
实体e的属性模态表征的计算公式为：
其中，为各词的总属性嵌入的注意力权重，sj为各词的总属性嵌入。
CN202310654764.1A 2023-06-05 2023-06-05 基于多模态孪生神经网络的rpa流程推荐方法及系统 Active CN116384494B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310654764.1A CN116384494B (zh) 2023-06-05 2023-06-05 基于多模态孪生神经网络的rpa流程推荐方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310654764.1A CN116384494B (zh) 2023-06-05 2023-06-05 基于多模态孪生神经网络的rpa流程推荐方法及系统

Publications (2)

Publication Number Publication Date
CN116384494A CN116384494A (zh) 2023-07-04
CN116384494B true CN116384494B (zh) 2023-08-08

Family

ID=86961948

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310654764.1A Active CN116384494B (zh) 2023-06-05 2023-06-05 基于多模态孪生神经网络的rpa流程推荐方法及系统

Country Status (1)

Country Link
CN (1) CN116384494B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116628228B (zh) * 2023-07-19 2023-09-19 安徽思高智能科技有限公司 一种rpa流程推荐方法以及计算机可读存储介质
CN117390090B (zh) * 2023-12-11 2024-04-12 安徽思高智能科技有限公司 一种rpa流程挖掘方法、存储介质、电子设备
CN117520406B (zh) * 2023-12-29 2024-03-26 安徽思高智能科技有限公司 一种rpa流程推荐方法、设备及存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110780965A (zh) * 2019-10-24 2020-02-11 深圳前海微众银行股份有限公司 基于视觉的流程自动化方法、设备及可读存储介质
CN111831989A (zh) * 2020-07-16 2020-10-27 清华大学 一种基于多模态ppg信号的身份认证方法及装置
CN112948594A (zh) * 2021-03-24 2021-06-11 深圳市卡牛科技有限公司 Rpa知识图谱建立方法、装置、服务器和存储介质
CN113192626A (zh) * 2021-04-13 2021-07-30 山东大学 基于孪生神经网络的用药方案推荐系统及方法
CN113298056A (zh) * 2021-07-27 2021-08-24 自然资源部国土卫星遥感应用中心 多模态遥感影像变化检测方法、模型生成方法和终端设备
CN113590900A (zh) * 2021-07-29 2021-11-02 南京工业大学 一种融合动态知识图谱的序列推荐方法
WO2022000426A1 (zh) * 2020-06-30 2022-01-06 中国科学院自动化研究所 基于孪生深度神经网络的动目标分割方法及系统
CN114090783A (zh) * 2021-10-15 2022-02-25 北京大学 一种异构知识图谱融合方法及系统
CN114238645A (zh) * 2021-09-08 2022-03-25 中科(厦门)数据智能研究院 一种基于bert孪生注意力网络与融合图嵌入特征的关系选择方法
CN114358150A (zh) * 2021-12-21 2022-04-15 中国电子科技集团公司第五十四研究所 一种sar-可见光遥感图像匹配方法
CN114494489A (zh) * 2022-01-05 2022-05-13 电子科技大学长三角研究院(衢州) 一种基于深度孪生网络的自监督属性可控图像生成方法
CN115269512A (zh) * 2022-07-26 2022-11-01 北京来也网络科技有限公司 结合rpa及ai实现ia的对象推荐方法、装置及存储介质
WO2023070732A1 (zh) * 2021-10-27 2023-05-04 深圳前海环融联易信息科技服务有限公司 一种基于深度学习的文本推荐方法、装置及相关介质
CN116090360A (zh) * 2023-04-12 2023-05-09 安徽思高智能科技有限公司 一种基于多模态实体对齐的rpa流程推荐方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110780965A (zh) * 2019-10-24 2020-02-11 深圳前海微众银行股份有限公司 基于视觉的流程自动化方法、设备及可读存储介质
WO2022000426A1 (zh) * 2020-06-30 2022-01-06 中国科学院自动化研究所 基于孪生深度神经网络的动目标分割方法及系统
CN111831989A (zh) * 2020-07-16 2020-10-27 清华大学 一种基于多模态ppg信号的身份认证方法及装置
CN112948594A (zh) * 2021-03-24 2021-06-11 深圳市卡牛科技有限公司 Rpa知识图谱建立方法、装置、服务器和存储介质
CN113192626A (zh) * 2021-04-13 2021-07-30 山东大学 基于孪生神经网络的用药方案推荐系统及方法
CN113298056A (zh) * 2021-07-27 2021-08-24 自然资源部国土卫星遥感应用中心 多模态遥感影像变化检测方法、模型生成方法和终端设备
CN113590900A (zh) * 2021-07-29 2021-11-02 南京工业大学 一种融合动态知识图谱的序列推荐方法
CN114238645A (zh) * 2021-09-08 2022-03-25 中科(厦门)数据智能研究院 一种基于bert孪生注意力网络与融合图嵌入特征的关系选择方法
CN114090783A (zh) * 2021-10-15 2022-02-25 北京大学 一种异构知识图谱融合方法及系统
WO2023070732A1 (zh) * 2021-10-27 2023-05-04 深圳前海环融联易信息科技服务有限公司 一种基于深度学习的文本推荐方法、装置及相关介质
CN114358150A (zh) * 2021-12-21 2022-04-15 中国电子科技集团公司第五十四研究所 一种sar-可见光遥感图像匹配方法
CN114494489A (zh) * 2022-01-05 2022-05-13 电子科技大学长三角研究院(衢州) 一种基于深度孪生网络的自监督属性可控图像生成方法
CN115269512A (zh) * 2022-07-26 2022-11-01 北京来也网络科技有限公司 结合rpa及ai实现ia的对象推荐方法、装置及存储介质
CN116090360A (zh) * 2023-04-12 2023-05-09 安徽思高智能科技有限公司 一种基于多模态实体对齐的rpa流程推荐方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于多模态数据的公共安全事件知识图谱构建研究;孙晓晴;《中国优秀硕士学位论文全文数据库社会科学Ⅰ辑》(第3期);第G110-286页 *

Also Published As

Publication number Publication date
CN116384494A (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
CN116384494B (zh) 基于多模态孪生神经网络的rpa流程推荐方法及系统
US11250255B2 (en) Systems and methods for generating and using semantic images in deep learning for classification and data extraction
CN108376267B (zh) 一种基于类别转移的零样本分类方法
US9965717B2 (en) Learning image representation by distilling from multi-task networks
CN107766873A (zh) 基于排序学习的多标签零样本分类方法
Ruiz et al. Information theory in computer vision and pattern recognition
Wang et al. Skill transfer support model based on deep learning
WO2016037844A1 (en) Method and apparatus for image retrieval with feature learning
CN111126464A (zh) 一种基于无监督域对抗领域适应的图像分类方法
CN117076693A (zh) 一种数字人教师多模态大语言模型预训练学科语料库的构建方法
CN112927783A (zh) 图像检索方法及装置
CN110377790B (zh) 一种基于多模态私有特征的视频自动标注方法
CN109255098B (zh) 一种基于重构约束的矩阵分解哈希方法
CN117173702A (zh) 基于深度特征图融合的多视图多标记学习方法
WO2023168818A1 (zh) 视频和文本相似度确定方法、装置、电子设备、存储介质
Tao et al. Semi-supervised online learning for efficient classification of objects in 3d data streams
CN114049165B (zh) 一种采购系统的商品比价方法、装置、设备和介质
Blount et al. Flukebook–Continuing growth and technical advancement for cetacean photo identification and data archiving, including automated fin, fluke, and body matching. 13
CN111259176B (zh) 融合有监督信息的基于矩阵分解的跨模态哈希检索方法
CN115269984A (zh) 一种专业情报推荐方法和系统
Ning et al. Optimized shape semantic graph representation for object understanding and recognition in point clouds
CN114372148A (zh) 一种基于知识图谱技术的数据处理方法及终端设备
CN110659962A (zh) 一种商品信息输出方法及相关装置
Sharma et al. Classification on Unsupervised Deep Hashing With Pseudo Labels Using Support Vector Machine for Scalable Image Retrieval
Hettiarachchi et al. Depth as attention to learn image representations for visual localization, using monocular images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant