CN116090360A - 一种基于多模态实体对齐的rpa流程推荐方法 - Google Patents
一种基于多模态实体对齐的rpa流程推荐方法 Download PDFInfo
- Publication number
- CN116090360A CN116090360A CN202310385293.9A CN202310385293A CN116090360A CN 116090360 A CN116090360 A CN 116090360A CN 202310385293 A CN202310385293 A CN 202310385293A CN 116090360 A CN116090360 A CN 116090360A
- Authority
- CN
- China
- Prior art keywords
- entity
- rpa
- image
- modal
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 239000013598 vector Substances 0.000 claims abstract description 47
- 230000006870 function Effects 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 16
- 238000012216 screening Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims 1
- 230000004927 fusion Effects 0.000 abstract description 5
- 230000007246 mechanism Effects 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 102100026735 Coagulation factor VIII Human genes 0.000 description 1
- 101000911390 Homo sapiens Coagulation factor VIII Proteins 0.000 description 1
- WOBHKFSMXKNTIM-UHFFFAOYSA-N Hydroxyethyl methacrylate Chemical compound CC(=C)C(=O)OCCO WOBHKFSMXKNTIM-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000004801 process automation Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
- G06N5/025—Extracting rules from data
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于多模态实体对齐的RPA流程推荐方法：对RPA知识图谱中的关系三元组、图像模态信息进行建模，得到实体的两种模态向量表示；使用包含注意力机制的多模态知识融合模块构建多模态知识表示的公共空间；计算客户新需求实体与RPA知识图谱中各个实体的距离，选择距离最小的三个作为候选对齐实体；对每一个候选对齐实体，以关系三元组作为路径，遍历RPA知识图谱，得到三条候选推荐路径；以实体信息为流程节点，沿三元组路径输出关系为流程边，得到三个RPA流程推荐方案。本发明提出的技术方案，不仅能消除不同模态信息之间的异构性，还使多模态信息可以根据具体知识图谱数据更好的融合，从而进一步提高实体对齐的精确性。
Description
技术领域
本发明属于RPA产品、实体对齐技术领域，具体涉及一种基于多模态实体对齐的RPA流程推荐方法。
背景技术
随着软件自动化、人工智能等数字技术的快速发展及应用普及，信息化与数字化技术正在重构传统企业的原有业务模式。RPA(RoboticProcess Automation机器人过程自动化)技术是指通过元素的抓取、工作流、操作函数定义等方式，按流程定义自动执行任务，代替或辅助人工实现鼠标键盘操作的模拟操作，实现工作流程的自动化的软件。RPA技术通过系统元素抓取于预先编制好的操作流程实现原有业务的自动化，将原本需要人为操作的工作变为机器自动执行，并且是7*24小时不间断执行。RPA技术在保持企业信息系统安全的基础上，实现了数字劳动力代替人工，将有助于公司提高效率、降低生产成本。因此，RPA技术自问世以来得到了广泛的关注，并且已经在世界范围内很多领域具备了实际的工程化应用。
RPA推荐是指根据历史的业务流程信息或者领域信息对当前新的用户操作流程需求给出可能的RPA方案推荐。RPA推荐既适用于对已有领域知识的应用，亦适用于在新的业务流程上，从而降低开发成本。目前RPA推荐并没有得到太多关注，中国移动研发的磐匠RPA平台在RPA领域图谱的基础上，对RPA的智能推荐与生成进行了初步的探索。磐匠RPA首先收集流程知识和业务知识并将其转换为对应三元组构建领域知识图谱。然后由用户将新的业务需求输入到系统中，通过TextCNN神经网络进行意图识别后得到业务意图，进而将业务意图输入到知识图谱中进行图遍历操作，最后得到相关联的业务流程。
论文“Multi-modal Entity Alignment in Hyperbolic Space”提出了一种双曲多模态实体对齐模型HMEA。作者认为现有的多模态实体对齐方法都是在学习欧几里空间的实体表示，并且主要采用VGG16来学习图像模态的表示。然而欧几里得空间的表示会导致真实KG的层次结构发生扭曲，而VGG16模型并不能从图像中充分提取到有用信息，这也会反过来抑制最终实体对齐的效果。所提出的HMEA将欧几里得表示扩展到双曲流形，并采用双曲图卷积网络（HGCNs）学习实体的结构表示。关于图像信息，HEMA使用densenet模型生成图像表示，并使用HGCNs将其投影到双曲空间。最后，我们在双曲空间中整合结构表示和图像表示以获得每一个实体的最终表示，并基于双曲距离计算对齐实体。
论文“基于联合知识表示学习的多模态实体对齐”提出了一种联合知识表示的多模态实体对齐方法ITMEA。ITMEA主要通过结合TransE和TransD两种知识表示学习模型中实体距离计算方法，并为这两种距离计算方法设置相应的权重超参，利用各自模型中的优点实现多模态知识的最优表示，并根据计算实体表示之间的距离来对齐实体。
基于以上分析，现有的多模态实体对齐方法都是基于知识表示的，不同模态的信息（例如关系三元组、数字三元组、图像等）会先被投影成表示，再基于所得到的表示进行后续的融合或对齐。在基于表示的方法利用多模态信息促进实体对齐的研究中，存在两个关键问题：（1）不能获得各个模态信息之间的高质量表示；（2）不能融合不同模态信息之间的表示。
发明内容
为了解决以上多模态实体对齐方法不能获得各个模态信息之间的高质量表示、不能融合不同模态信息之间的表示的问题，本发明提出一种基于多模态实体对齐的RPA流程推荐方法，包括以下步骤：
S1、构建多模态RPA知识图谱，以知识图谱三元组形式分别构建RPA文本模态信息和RPA图像模态信息；
S2、使用Levenshtein距离对文本模态信息进行处理，粗粒度地筛选实体中可对齐实体对，依次输出文本模态的可对齐实体集合，记为Eseed；对集合Eseed中的实体对进行人工标记，细粒度地筛选实体中可对齐实体对，得到对齐实体对集合；
S3、在对齐实体对集合中的实体对中添加对齐图像模态实体对，得到对齐的图像信息集合；
S4、根据平移距离模型TransE对RPA知识图谱中的关系三元组进行建模，使用VGG16模型对RPA知识图谱中的图像模态信息进行建模，获得文本和图像两种模态信息的向量表示，文本模态向量表示集合记为E(r)，图像模态向量表示集合记为E(i)；
S5、利用包含注意力机制的多模态知识融合模块将文本和图像两种模态信息的向量表示从独立的空间迁移到公共空间，获得公共空间的文本模态向量表示和图像模态向量表示；
S6、将用户新的需求按照S1的方法转化成文本模态信息和图像模态信息，按照S4和S5的方法对用户新需求的文本模态信息和图像模态信息进行处理，得到公共空间的用户新需求待对齐实体的两种模态的向量表示；
S7、利用集合和集合最小化对齐实体距离，根据S5中公共空间的文本模态向量表示和图像模态向量表示以及，计算客户新需求实体与S1中构建的RPA知识图谱中各个实体的距离，并将距离从小到大排序，选择距离最小的三个作为候选对齐实体；
S8、对于所述候选对齐实体的每一个对齐实体，以关系三元组作为路径，遍历S1中构建的RPA知识图谱直到最后一个对齐实体，输出与新需求个体对齐的实体所关联的文本模态和图像模态信息作为流程推荐备选，得到三条候选推荐路径；
S9、对于每一条候选路径，从用户第一个新需求实体所对齐的RPA图谱实体出发，输出实体信息作为流程节点，沿三元组路径输出关系作为流程边，得到三个基于多模态信息相似度为度量标准的RPA流程推荐方案。
本发明提供的技术方案带来的有益效果是：
（1）与现有技术相比，本发明提出的技术方案中充分利用了现实世界的多种模态信息，而不仅仅局限于一般的文本信息。多模态信息的利用，让RPA领域中的历史信息得以采用知识图谱的形式有序的组织起来，在用户提出新需求时可以利用实体形式的数据，而不是单纯地重复由专业开发者提炼业务流程数据的人工过程；
（2）本发明采用ECANet注意力机制对MMKF模块的损失函数进行优化，不仅可以消除不同模态信息之间的异构性，还可以使多模态信息能根据具体知识图谱数据更好的融合，从而进一步提高实体对齐的精确性；
（3）基于多模态实体对齐，本发明可以在历史信息的支持下对用户的新需求提供一个基于相似度的流程路径的推荐，开发人员可以在推荐的流程路径基础上进一步修改，大大减少从零开始构建的开发成本。
附图说明
图1是本发明一种基于多模态实体对齐的RPA流程推荐方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。
本发明实施例提供的一种基于多模态实体对齐的RPA流程推荐方法的流程图如图1所示，包括以下步骤：
S1、构建多模态RPA知识图谱，以知识图谱三元组形式分别构建RPA文本模态信息和RPA图像模态信息。
以知识图谱三元组形式：头实体-关系-尾实体，组织RPA文本模态信息，例如RPA项目节点的“项目描述”属性；以知识图谱三元组形式：实体-图像-图像路径，组织RPA的图像模态信息。
S2、使用Levenshtein距离对文本模态信息进行处理，粗粒度地筛选实体中可对齐实体对，其中实体包括：RPA项目实体、RPA流程图实体以及RPA子流程图实体。依次输出文本模态的可对齐实体集合，记为Eseed；对集合Eseed中的实体对进行人工标记，细粒度地筛选实体中可对齐实体对，得到对齐实体对集合。
具体来说，对于待对齐的两个RPA知识图谱KG1和KG2，计算KG1所有文本模态的实体与KG2的所有文本模态的实体的Levenshtein距离。KG1中的每一个实体与其对应的KG2中距离最小的实体组合成为实体对（实体1，实体a），其中实体1来自KG1，实体a来自KG2，依次输出得到文本模态的可对齐实体集合Eseed。为了更加细粒度的筛选RPA项目实体、RPA流程图实体以及RPA子流程图实体中的潜在可对齐实体对，需要对集合Eseed中的实体对进行人工标记，即人工地对Eseed中的实体对进行筛选。能够真实对齐的实体对保留，不能真实对齐的实体对删除。经过人工标注，得到一个对齐实体对集合记为。
S3、在对齐实体对集合中的实体对中添加对齐图像模态实体对，得到对齐的图像信息集合。
在RPA知识图谱中，图像模态信息，例如RPA流程图图像，以（实体，图像，图像路径）的三元组形式组织起来。为了合理利用图片模态信息，需要对图片模态的信息进行对齐。具体来说，对于对齐实体对集合中的实体对（实体1，实体a），添加对齐图片模态实体对（图像路径1，图像路径a），其中图像路径1源于KG1中的（实体1，图像，图像路径1），图像路径a源于KG2中的（实体a，图像，图像路径a）。此步骤旨在得到一个对齐的图像信息集合记为。
S4、根据平移距离模型TransE对RPA知识图谱中的关系三元组进行建模，使用VGG16模型对RPA知识图谱中的图像模态信息进行建模，获得文本和图像两种模态信息的向量表示，文本模态向量表示集合记为E(r)，图像模态向量表示集合记为E(i)。
根据平移距离模型TransE对RPA知识图谱中的关系三元组进行建模具体如下：
关系三元组（h,r,t）的L2范数评分函数为：
为了从三元组中学习实体的向量表示，在训练集上使用如下的损失函数：
其中，t为三元组，包括正例三元组和负例三元组，是边缘损失函数的参数，和分别代表RPA知识图谱中的正例集和负例集，的定义如下：
其中，表示实体集合，h’表示置换的新的头实体，t’表示置换的新的尾实体。
使用VGG16模型对RPA知识图谱中的图像模态信息进行建模具体为：
使用VGG16网络实现了图像的矢量化，将每个实体图像嵌入到一个矢量中，将图像向量投影到实体表示向量上，使用如下的评分函数处理图像信息：
在上述评分函数的基础上，使用如下的损失函数训练图像向量表示：
其中，V表示图像模态信息集合，i表示图像信息，e(i)表示i对应的实体向量，vec()表示投影，tanh()表示激活函数。
S5、利用包含注意力机制的多模态知识融合模块将文本和图像两种模态信息的向量表示从独立的空间迁移到公共空间，获得公共空间的文本模态向量表示和图像模态向量表示。
使用如下的损失函数对模型进行训练：
其中，E表示公共空间中的实体向量，α1、α2表示比率超参数。
S6、将用户新的需求按照S1的方法转化成文本模态信息和图像模态信息，按照S4和S5的方法对用户新需求的文本模态信息和图像模态信息进行处理，得到公共空间的用户新需求待对齐实体的两种模态的向量表示。
S7、基于集合和集合，使用基于向量距离的损失函数可以最小化对齐实体距离。根据S5中公共空间的文本模态向量表示和图像模态向量表示以及，计算客户新需求实体与S1中构建的RPA知识图谱中各个实体的距离，并将距离从小到大排序，选择距离最小的三个作为候选对齐实体。
具体来说，对齐实体之间的距离计算公式为，对于文本模态和图像模态都适用。在公共空间采用如下的对齐约束损失函数：
其中E1和E2的定义如下：
为了弥补不同类型知识之间的不平衡，设计了一个交互式培训阶段，学习不同模态（关系、图像）知识的向量，并在一个时期内反复优化公共空间学习。用L2规范化来约束所有实体向量，以正则化向量。
在每个步骤中，参数通过损失函数、、和进行更新。
按照如下的公式计算用户新需求实体与RPA图谱中各个实体的距离：
其中，表示RPA知识图谱中的实体，、分别表示实体的文本模态向量、图像模态向量，、是取最终模型完成训练后的最终优化后的值。
S8、对于所述候选对齐实体的每一个对齐实体，以关系三元组作为路径，遍历S1中构建的RPA知识图谱直到达到最后一个对齐实体，输出与新需求个体对齐的实体所关联的各个模态信息作为流程推荐备选，得到三条候选推荐路径；
S9、对于每一条候选路径，从用户第一个新需求实体所对齐的RPA图谱实体出发，输出实体信息作为流程节点，沿三元组路径输出关系作为流程边，得到三个基于多模态信息相似度为度量标准的RPA流程推荐方案。
不同模式下来自不同独立来源的信息会相互补充。通常情况下，多模态特征往往相互关联，从而提供额外的冗余以获得更好的鲁棒性。由于这三种模态中的特征不能直接提取到一个空间中，本发明实施例使用了一种多模态知识融合（MMKF）模块来集成来自多个模态的知识表示。MMKF将多模态知识表示从单独的空间迁移到公共空间。公共空间学习使多模态特征能够相互受益。它增强了多种模式的互补性，从而提高了实体对齐任务的准确性。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种基于多模态实体对齐的RPA流程推荐方法，其特征在于，包括以下步骤：
S1、构建多模态RPA知识图谱，以知识图谱三元组形式分别构建RPA文本模态信息和RPA图像模态信息；
S2、使用Levenshtein距离对文本模态信息进行处理，粗粒度地筛选实体中可对齐实体对，依次输出文本模态的可对齐实体集合，记为Eseed；对集合Eseed中的实体对进行人工标记，细粒度地筛选实体中可对齐实体对，得到对齐实体对集合；
S3、在对齐实体对集合中的实体对中添加对齐图像模态实体对，得到对齐的图像信息集合；
S4、根据平移距离模型TransE对RPA知识图谱中的关系三元组进行建模，使用VGG16模型对RPA知识图谱中的图像模态信息进行建模，获得文本和图像两种模态信息的向量表示，文本模态向量表示集合记为E(r)，图像模态向量表示集合记为E(i)；
S5、将文本和图像两种模态信息的向量表示从独立的空间迁移到公共空间，获得公共空间的文本模态向量表示和图像模态向量表示；
S6、将用户新的需求按照S1的方法转化成文本模态信息和图像模态信息，按照S4和S5的方法对用户新需求的文本模态信息和图像模态信息进行处理，得到公共空间的用户新需求待对齐实体的两种模态的向量表示；
S7、利用集合和集合最小化对齐实体距离，根据S5中公共空间的文本模态向量表示和图像模态向量表示以及，计算客户新需求实体与S1中构建的RPA知识图谱中各个实体的距离，并将距离从小到大排序，选择距离最小的三个作为候选对齐实体；
S8、对于所述候选对齐实体的每一个对齐实体，以关系三元组作为路径，遍历S1中构建的RPA知识图谱直到最后一个对齐实体，输出与新需求个体对齐的实体所关联的文本模态和图像模态信息作为流程推荐备选，得到三条候选推荐路径；
S9、对于每一条候选路径，从用户第一个新需求实体所对齐的RPA图谱实体出发，输出实体信息作为流程节点，沿三元组路径输出关系作为流程边，得到三个基于多模态信息相似度为度量标准的RPA流程推荐方案。
2.根据权利要求1所述的一种基于多模态实体对齐的RPA流程推荐方法，其特征在于，步骤S1中，以知识图谱三元组形式分别构建RPA文本模态信息和RPA图像模态信息具体为：
以知识图谱三元组形式：头实体-关系-尾实体，组织RPA文本模态信息；
以知识图谱三元组形式：实体-图像-图像路径，组织RPA的图像模态信息。
3.根据权利要求1所述的一种基于多模态实体对齐的RPA流程推荐方法，其特征在于，步骤S2中，粗粒度地筛选实体中可对齐实体对
具体为：
对于待对齐的两个RPA知识图谱KG1和KG2，计算KG1所有文本模态的实体与KG2的所有文本模态的实体的Levenshtein距离，KG1中的每一个实体与其对应的KG2中距离最小的实体组合成为实体对，依次输出得到文本模态的可对齐实体集合Eseed，其中的实体包括：RPA项目实体、RPA流程图实体以及RPA子流程图实体。
4.根据权利要求2所述的一种基于多模态实体对齐的RPA流程推荐方法，其特征在于，步骤S4中，根据平移距离模型TransE对RPA知识图谱中的文本模态信息进行建模具体如下：
关系三元组（h,r,t）的L2范数评分函数为：
在训练集上使用如下的损失函数：
其中，t为三元组，包括正例三元组和负例三元组，是边缘损失函数的参数，和分别代表RPA知识图谱中的正例集和负例集，的定义如下：
其中，表示实体集合，h’表示置换的新的头实体，t’表示置换的新的尾实体。
5.根据权利要求2所述的一种基于多模态实体对齐的RPA流程推荐方法，其特征在于，步骤S4中，使用VGG16模型对RPA知识图谱中的图像模态信息进行建模具体为：
使用VGG16网络实现了图像的矢量化，将每个实体图像嵌入到一个矢量中，将图像向量投影到实体表示向量上，使用如下的评分函数处理图像信息：
在上述评分函数的基础上，使用如下的损失函数训练图像向量表示：
其中，V表示视觉模态信息集合，i表示图像信息，e(i)表示i对应的实体向量，vec()表示投影，tanh()表示激活函数。
6.根据权利要求1所述的一种基于多模态实体对齐的RPA流程推荐方法，其特征在于，步骤S5中需要使用如下的损失函数对模型进行训练：
其中，E表示公共空间中的实体向量，α1、α2表示比率超参数。
7.根据权利要求3所述的一种基于多模态实体对齐的RPA流程推荐方法，其特征在于，步骤S7中，在公共空间采用如下的对齐约束损失函数最小化对齐实体距离：
其中E1和E2的定义为：
。
8.根据权利要求6所述的一种基于多模态实体对齐的RPA流程推荐方法，其特征在于，步骤S7中，按照如下的公式计算用户新需求实体与RPA图谱中各个实体的距离：
其中，，、分别表示实体的文本模态向量、图像模态向量，、是取最终模型完成训练后的最终优化后比率超参数的值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310385293.9A CN116090360B (zh) | 2023-04-12 | 2023-04-12 | 一种基于多模态实体对齐的rpa流程推荐方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310385293.9A CN116090360B (zh) | 2023-04-12 | 2023-04-12 | 一种基于多模态实体对齐的rpa流程推荐方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116090360A true CN116090360A (zh) | 2023-05-09 |
| CN116090360B CN116090360B (zh) | 2023-07-14 |
Family
ID=86199580
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310385293.9A Active CN116090360B (zh) | 2023-04-12 | 2023-04-12 | 一种基于多模态实体对齐的rpa流程推荐方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116090360B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116167530A (zh) * | 2023-04-25 | 2023-05-26 | 安徽思高智能科技有限公司 | 一种基于多流程节点对齐的rpa流程优化方法 |
| CN116384494A (zh) * | 2023-06-05 | 2023-07-04 | 安徽思高智能科技有限公司 | 基于多模态孪生神经网络的rpa流程推荐方法及系统 |
| CN116451785A (zh) * | 2023-06-16 | 2023-07-18 | 安徽思高智能科技有限公司 | 一种面向操作关系的rpa知识图谱构建与操作推荐方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112200317A (zh) * | 2020-09-28 | 2021-01-08 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 多模态知识图谱构建方法 |
| CN112836120A (zh) * | 2021-01-27 | 2021-05-25 | 深圳大学 | 一种基于多模态知识图谱的电影推荐方法、系统及终端 |
| CN113158033A (zh) * | 2021-03-19 | 2021-07-23 | 浙江工业大学 | 一种基于知识图谱偏好传播的协同推荐模型构建方法 |
| CN113407759A (zh) * | 2021-08-18 | 2021-09-17 | 中国人民解放军国防科技大学 | 一种基于自适应特征融合的多模态实体对齐方法 |
| CN113656596A (zh) * | 2021-08-18 | 2021-11-16 | 中国人民解放军国防科技大学 | 一种基于三元组筛选融合的多模态实体对齐方法 |
| CN114328980A (zh) * | 2022-03-14 | 2022-04-12 | 来也科技(北京)有限公司 | 结合rpa及ai的知识图谱构建方法、装置、终端及存储介质 |
| CN114547323A (zh) * | 2021-12-30 | 2022-05-27 | 杭州碧湾信息技术有限公司 | 一种二维重叠大样本数据源的细粒度知识图谱融合方法 |
| CN115099409A (zh) * | 2022-06-22 | 2022-09-23 | 南京航空航天大学 | 一种文本-图像增强的多模态知识图谱嵌入方法 |
| CN115238582A (zh) * | 2022-07-25 | 2022-10-25 | 中南大学 | 知识图谱三元组的可靠性评估方法、系统、设备及介质 |
| CN115269512A (zh) * | 2022-07-26 | 2022-11-01 | 北京来也网络科技有限公司 | 结合rpa及ai实现ia的对象推荐方法、装置及存储介质 |
| US20230100772A1 (en) * | 2021-05-18 | 2023-03-30 | Tencent Technology (Shenzhen) Company Limited | Training a knowledge graph alignment model based on predicted alignment probabilities and alignment difficulty degrees of entity pairs |
-
2023
- 2023-04-12 CN CN202310385293.9A patent/CN116090360B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112200317A (zh) * | 2020-09-28 | 2021-01-08 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 多模态知识图谱构建方法 |
| CN112836120A (zh) * | 2021-01-27 | 2021-05-25 | 深圳大学 | 一种基于多模态知识图谱的电影推荐方法、系统及终端 |
| CN113158033A (zh) * | 2021-03-19 | 2021-07-23 | 浙江工业大学 | 一种基于知识图谱偏好传播的协同推荐模型构建方法 |
| US20230100772A1 (en) * | 2021-05-18 | 2023-03-30 | Tencent Technology (Shenzhen) Company Limited | Training a knowledge graph alignment model based on predicted alignment probabilities and alignment difficulty degrees of entity pairs |
| CN113407759A (zh) * | 2021-08-18 | 2021-09-17 | 中国人民解放军国防科技大学 | 一种基于自适应特征融合的多模态实体对齐方法 |
| CN113656596A (zh) * | 2021-08-18 | 2021-11-16 | 中国人民解放军国防科技大学 | 一种基于三元组筛选融合的多模态实体对齐方法 |
| CN114547323A (zh) * | 2021-12-30 | 2022-05-27 | 杭州碧湾信息技术有限公司 | 一种二维重叠大样本数据源的细粒度知识图谱融合方法 |
| CN114328980A (zh) * | 2022-03-14 | 2022-04-12 | 来也科技(北京)有限公司 | 结合rpa及ai的知识图谱构建方法、装置、终端及存储介质 |
| CN115099409A (zh) * | 2022-06-22 | 2022-09-23 | 南京航空航天大学 | 一种文本-图像增强的多模态知识图谱嵌入方法 |
| CN115238582A (zh) * | 2022-07-25 | 2022-10-25 | 中南大学 | 知识图谱三元组的可靠性评估方法、系统、设备及介质 |
| CN115269512A (zh) * | 2022-07-26 | 2022-11-01 | 北京来也网络科技有限公司 | 结合rpa及ai实现ia的对象推荐方法、装置及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 唐浩;刘柏嵩;刘晓玲;黄伟明;: "基于协同知识图谱特征学习的论文推荐方法", 计算机工程, no. 09 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116167530A (zh) * | 2023-04-25 | 2023-05-26 | 安徽思高智能科技有限公司 | 一种基于多流程节点对齐的rpa流程优化方法 |
| CN116384494A (zh) * | 2023-06-05 | 2023-07-04 | 安徽思高智能科技有限公司 | 基于多模态孪生神经网络的rpa流程推荐方法及系统 |
| CN116384494B (zh) * | 2023-06-05 | 2023-08-08 | 安徽思高智能科技有限公司 | 基于多模态孪生神经网络的rpa流程推荐方法及系统 |
| CN116451785A (zh) * | 2023-06-16 | 2023-07-18 | 安徽思高智能科技有限公司 | 一种面向操作关系的rpa知识图谱构建与操作推荐方法 |
| CN116451785B (zh) * | 2023-06-16 | 2023-09-01 | 安徽思高智能科技有限公司 | 一种面向操作关系的rpa知识图谱构建与操作推荐方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116090360B (zh) | 2023-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116090360B (zh) | 一种基于多模态实体对齐的rpa流程推荐方法 | |
| CN109087303B (zh) | 基于迁移学习提升语义分割模型效果的框架 | |
| CN111488734A (zh) | 基于全局交互和句法依赖的情感特征表示学习系统及方法 | |
| CN112861995B (zh) | 基于模型无关元学习的无监督少样本图像分类方法、系统及存储介质 | |
| CN111626279B (zh) | 一种负样本标注训练方法及高度自动化的票据识别方法 | |
| CN111242233B (zh) | 一种基于融合网络的阿尔兹海默病分类方法 | |
| CN116384494B (zh) | 基于多模态孪生神经网络的rpa流程推荐方法及系统 | |
| WO2024051000A1 (zh) | 一种结构化仿真数据生成系统及生成方法 | |
| Ukwuoma et al. | Image inpainting and classification agent training based on reinforcement learning and generative models with attention mechanism | |
| CN114723037A (zh) | 一种聚合高阶邻居节点的异构图神经网络计算方法 | |
| CN114283315A (zh) | 一种基于交互式引导注意力和梯形金字塔融合的rgb-d显著性目标检测方法 | |
| WO2024104376A1 (zh) | 一种视听辅助的细粒度触觉信号重建方法 | |
| KR102562386B1 (ko) | 이미지 합성 시스템의 학습 방법 | |
| CN110489348B (zh) | 一种基于迁移学习的软件功能缺陷挖掘方法 | |
| CN110647917B (zh) | 一种模型复用方法与系统 | |
| CN113034388A (zh) | 一种古代绘画虚拟修复方法及修复模型的构建方法 | |
| CN116244473B (zh) | 一种基于特征解耦和图知识蒸馏的多模态情感识别方法 | |
| CN116628341A (zh) | 一种基于多类型视图知识对比学习模型的推荐方法 | |
| CN116563423A (zh) | 一种细粒度语义操控的场景渲染方法和装置 | |
| CN115600012A (zh) | 一种基于知识增强和结构对比的api推荐方法 | |
| US20230062484A1 (en) | Hand-drawn diagram recognition using visual arrow-relation detection | |
| CN114880527A (zh) | 一种基于多预测任务的多模态知识图谱表示方法 | |
| Wong et al. | GetWild: A VR Editing System with AI-Generated 3D Object and Terrain | |
| SENEM et al. | USING DEEP LEARNING TO GENERATE FRONT AND BACKYARDS IN LANDSCAPE ARCHITECTURE | |
| CN117058266B (zh) | 一种基于骨架和轮廓的书法字生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20230509 Assignee: HUBEI THINGO TECHNOLOGY DEVELOPMENT Co.,Ltd. Assignor: Anhui Sigao Intelligent Technology Co.,Ltd. Contract record no.: X2023980049572 Denomination of invention: A RPA process recommendation method based on multimodal entity alignment Granted publication date: 20230714 License type: Exclusive License Record date: 20231207 |
|
| EE01 | Entry into force of recordation of patent licensing contract |