CN116700583A - 一种流程自动化的实现方法、装置和存储介质 - Google Patents
一种流程自动化的实现方法、装置和存储介质 Download PDFInfo
- Publication number
- CN116700583A CN116700583A CN202210505683.0A CN202210505683A CN116700583A CN 116700583 A CN116700583 A CN 116700583A CN 202210505683 A CN202210505683 A CN 202210505683A CN 116700583 A CN116700583 A CN 116700583A
- Authority
- CN
- China
- Prior art keywords
- event
- execution instruction
- instruction information
- preset
- mouse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 113
- 238000003860 storage Methods 0.000 title claims abstract description 23
- 238000004801 process automation Methods 0.000 title claims description 18
- 238000012545 processing Methods 0.000 claims description 50
- 230000008569 process Effects 0.000 claims description 34
- 230000005856 abnormality Effects 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 20
- 238000005516 engineering process Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 11
- 238000005520 cutting process Methods 0.000 claims description 9
- 230000004048 modification Effects 0.000 claims description 9
- 238000012986 modification Methods 0.000 claims description 9
- 239000012634 fragment Substances 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 230000006399 behavior Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000001914 filtration Methods 0.000 description 8
- 230000003993 interaction Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 4
- 241000592183 Eidolon Species 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002688 persistence Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 1
- 240000003768 Solanum lycopersicum Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000004549 pulsed laser deposition Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种流程自动化的实现方法、装置和存储介质；所述方法包括：确定目标操作命令；根据所述目标操作命令查询预设的执行指令集合，确定所述目标操作命令对应的目标执行指令信息；所述执行指令集合包括至少一个操作命令和所述至少一个操作命令中每个所述操作命令对应的执行指令信息；所述执行指令信息为基于操作数据构建的知识图谱；根据所述目标执行指令信息进行操作。
Description
技术领域
本发明涉及业务支撑领域，尤其涉及一种流程自动化的实现方法、装置和存储介质。
背景技术
机器人流程自动化(RPA，Robotic Process Automation)系统是一种应用程序，它通过模仿最终用户在电脑的手动操作方式，提供了另一种方式来使最终用户手动操作流程自动化。RPA系统通常分为三部分：设计器、控制中心和执行器。设计器负责设计流程，控制中心负责分发流程到执行器，执行器负责最终的执行，从而完成某项设定的功能。RPA软件的目标是使符合某些适用性标准的基于桌面的业务流程和工作流程实现自动化，一般来说这些操作在很大程度上是重复的，数量比较多的，并且可以通过严格的规则和结果来定义。
相关技术提供一种办公自动化装置，如图1所示，其实现的方法为：通过数据采集模块1采集当前办公操作页面中的数据组，然后对依次其编号后传送到数据解析模块2中；数据解析模块2对写入的数据组逐个进行解析，得到数据组相应的待执行指令信息，然后从办公系统数据库5中调取相应的指令，通过按键精灵完成指令的执行。该过程中，执行指令信息是预设的，针对不同的办公自动化环境，预设内容不同，这使得方案的实现必然带来较大的工作量。另外，采用采集－解析－执行的闭环控制方式，根据下一阶段的状态来确定执行的指令，该过程是流程不透明的；即除了预设指令人员，其它人不知道流程将会如何执行，无法显式的感知流程的存在。
发明内容
有鉴于此，本发明的主要目的在于提供一种流程自动化的实现方法、装置和存储介质。
为达到上述目的，本发明的技术方案是这样实现的：
本发明实施例提供了一种流程自动化的实现方法，所述方法包括：
确定目标操作命令；
根据所述目标操作命令查询预设的执行指令集合，确定所述目标操作命令对应的目标执行指令信息；所述执行指令集合包括至少一个操作命令和所述至少一个操作命令中每个所述操作命令对应的执行指令信息；所述执行指令信息为基于操作数据构建的知识图谱；
根据所述目标执行指令信息进行操作。
上述方案中，所述方法还包括：构建所述执行指令信息；所述构建执行指令信息，包括：
检测操作事件；
根据检测到的操作事件，生成操作数据；
根据所述操作数据，构建三元组集合；所述三元组集合中包括至少一个三元组；所述至少一个三元组中每个所述三元组表征操作的任意一种信息；
将所述三元组集合以知识图谱的形式呈现。
上述方案中，所述操作事件包括：鼠标事件、键盘事件；所述鼠标事件包括：鼠标滑动事件、鼠标点击事件；
所述根据检测到的操作，生成操作数据，包括：
相应于所述操作事件为鼠标滑动事件，按照预设的第一规则获取所述鼠标滑动事件的操作数据；所述第一规则用于指示针对鼠标滑动事件所需获取的操作数据；
相应于所述操作事件为鼠标点击事件时，按照预设的第二规则截取所述鼠标点击事件发生时的桌面图像；所述第二规则至少用于指示针对鼠标点击事件进行桌面图像截取并保存；
相应于所述操作事件为键盘事件，按照预设的第三规则获取所述键盘事件的操作数据；所述第三规则用于指示针对键盘事件所需获取的操作数据。
上述方案中，所述操作数据包括：至少一个操作事件、所述至少一个操作事件中每个操作事件对应的资源实体；
所述根据所述操作数据，构建三元组集合，包括：
识别所述操作数据中的至少一个操作事件中每个所述操作事件对应的资源实体；
针对每个所述资源实体分配唯一的标识；所述标识至少用于表征每个资源实体与至少一个其他资源实体产生的先后顺序；
确定每个所述资源实体中的操作的主题、属性和属性值；
根据所述资源实体中的操作的主题、属性和属性值，构建至少一个三元组；
根据构建的至少一个三元组，构建所述三元组集合。
上述方案中，所述将所述三元组集合以知识图谱的形式呈现，包括：
运用预设的知识图谱模型识别所述三元组集合，得到所述三元组集合对应的知识图谱。
上述方案中，所述方法还包括：
接收编辑指令；所述编辑指令用于执行以下至少一种：裁剪知识图谱中的资源实体、向知识图谱新增资源实体、修改知识图谱中的资源实体；
根据所述编辑指令修改知识图谱。
上述方案中，所述方法还包括：
获取预设的图谱识别模型；所述图谱识别模型基于知识图谱训练集对神经网络训练得到；
运用所述图谱识别模型识别构建的知识图谱，得到识别结果并呈现；
所述识别结果包括以下至少之一：
是否存在错误、错误内容；
建议增加的知识图谱片段；
建议修改的知识图谱片段和修改方式。
上述方案中，所述知识图谱模型包括以下至少一个预设资源：条件切换子集、数值判断子集、定位异常处理子集、弹窗检测子集、弹窗处理子集；
所述方法还包括以下至少之一：
调用所述弹窗检测子集检测是否出现弹窗，相应于检测到弹窗时，调用所述弹窗处理子集关闭出现的弹窗；
相应于目标执行指令信息包括预设的第一类操作时，调用所述条件切换子集判断是否满足执行预设的第一类操作的条件，确定满足预设的第一类操作的条件时，执行所述目标执行指令信息；
相应于目标执行指令信息包括预设的第二类操作时，调用所述数值判断子集判断是否满足执行预设的第二类操作的条件，确定满足执行预设的第二类操作的条件时，执行所述目标执行指令信息；
执行目标执行指令信息的过程中检测是否存在异常，确定存在异常时，调用所述定位异常处理子集排除异常。
上述方案中，所述根据所述目标执行指令信息进行操作，包括：
确定所述目标执行指令信息包括鼠标点击事件时，获取所述鼠标点击事件对应存储的图像；
采集桌面图像；
运用图像识别技术识别所述桌面图像，确定所述桌面图像中与所述鼠标点击事件对应存储的图像中的相同的应用程序图标；
执行所述鼠标点击事件时，根据确定的应用程序图标执行鼠标点击操作。
本发明实施例提供了一种流程自动化的实现装置，包括：确定模块、第一处理模块、第二处理模块；其中，
所述确定模块，用于确定目标操作命令；
所述第一处理模块，用于根据所述目标操作命令查询预设的执行指令集合，确定所述目标操作命令对应的目标执行指令信息；所述执行指令集合包括至少一个操作命令和所述至少一个操作命令中每个所述操作命令对应的执行指令信息；所述执行指令信息为基于操作数据构建的知识图谱；
所述第二处理模块，用于根据所述目标执行指令信息进行操作。
上述方案中，所述装置还包括预处理模块，用于构建所述执行指令信息；
所述预处理模块，具体用于检测操作事件；根据检测到的操作事件，生成操作数据；根据所述操作数据，构建三元组集合；所述三元组集合中包括至少一个三元组；所述至少一个三元组中每个所述三元组表征操作的任意一种信息；
将所述三元组集合以知识图谱的形式呈现。
上述方案中，所述操作事件包括：鼠标事件、键盘事件；所述鼠标事件包括：鼠标滑动事件、鼠标点击事件；
所述预处理模块，具体用于相应于所述操作事件为鼠标滑动事件，按照预设的第一规则获取所述鼠标滑动事件的操作数据；所述第一规则用于指示针对鼠标滑动事件所需获取的操作数据；
相应于所述操作事件为鼠标点击事件时，按照预设的第二规则截取所述鼠标点击事件发生时的桌面图像；所述第二规则至少用于指示针对鼠标点击事件进行桌面图像截取并保存；
相应于所述操作事件为键盘事件，按照预设的第三规则获取所述键盘事件的操作数据；所述第三规则用于指示针对键盘事件所需获取的操作数据。
上述方案中，所述操作数据包括：至少一个操作事件、所述至少一个操作事件中每个操作事件对应的资源实体；
所述预处理模块，具体用于识别所述操作数据中的至少一个操作事件中每个所述操作事件对应的资源实体；
针对每个所述资源实体分配唯一的标识；所述标识至少用于表征每个资源实体与至少一个其他资源实体产生的先后顺序；
确定每个所述资源实体中的操作的主题、属性和属性值；
根据所述资源实体中的操作的主题、属性和属性值，构建至少一个三元组；
根据构建的至少一个三元组，构建所述三元组集合。
上述方案中，所述预处理模块，具体用于运用预设的知识图谱模型识别所述三元组集合，得到所述三元组集合对应的知识图谱。
上述方案中，所述预处理模块，还用于接收编辑指令；所述编辑指令用于执行以下至少一种：裁剪知识图谱中的资源实体、向知识图谱新增资源实体、修改知识图谱中的资源实体；
根据所述编辑指令修改知识图谱。
上述方案中，所述预处理模块，还用于获取预设的图谱识别模型；所述图谱识别模型基于知识图谱训练集对神经网络训练得到；
运用所述图谱识别模型识别构建的知识图谱，得到识别结果并呈现；
所述识别结果包括以下至少之一：
是否存在错误、错误内容；
建议增加的知识图谱片段；
建议修改的知识图谱片段和修改方式。
上述方案中，所述知识图谱模型包括以下至少一个预设资源：条件切换子集、数值判断子集、定位异常处理子集、弹窗检测子集、弹窗处理子集；
所述第二处理模块，还用于执行以下至少之一：
调用所述弹窗检测子集检测是否出现弹窗，相应于检测到弹窗时，调用所述弹窗处理子集关闭出现的弹窗；
相应于目标执行指令信息包括预设的第一类操作时，调用条件切换子集判断是否满足执行预设的第一类操作的条件，确定满足预设的第一类操作的条件时，执行所述目标执行指令信息；
相应于目标执行指令信息包括预设的第二类操作时，调用数值判断子集判断是否满足执行预设的第二类操作的条件，确定满足执行预设的第二类操作的条件时，执行所述目标执行指令信息；
执行目标执行指令信息的过程中检测是否存在异常，确定存在异常时，调用定位异常处理子集排除异常。
上述方案中，所述第二处理模块，用于确定所述目标执行指令信息包括鼠标点击事件时，获取所述鼠标点击事件对应存储的图像；
采集桌面图像；
运用图像识别技术识别所述桌面图像，确定所述桌面图像中与所述鼠标点击事件对应存储的图像中的相同的应用程序图标；
执行所述鼠标点击事件时，根据确定的应用程序图标执行鼠标点击操作。
本发明实施例提供了一种流程自动化的实现装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现服务端侧的任一项所述方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现服务端侧的任一项所述方法的步骤。
本发明实施例所提供的一种流程自动化的实现方法、装置和存储介质，所述方法包括：确定目标操作命令；根据所述目标操作命令查询预设的执行指令集合，确定所述目标操作命令对应的目标执行指令信息；所述执行指令集合包括至少一个操作命令和所述至少一个操作命令中每个所述操作命令对应的执行指令信息；所述执行指令信息为基于操作数据构建的知识图谱；根据所述目标执行指令信息进行操作。如此，利用知识图谱技术，提供了可视化、可编辑的知识图谱(即执行指令信息)，提高了流程透明度和可编辑性。
附图说明
图1为相关技术中的一种流程自动化的实现装置的结构示意图；
图2为本发明实施例提供的一种流程自动化的实现方法的流程示意图；
图3为本发明实施例提供的一种知识图谱片段的示意图；
图4为本发明实施例提供的一种基于知识图谱技术的流程自动化的实现装置的结构示意图；
图5为本发明实施例提供的一种子集分类的示意图；
图6为本发明实施例提供的一种基于知识图谱技术的流程自动化的实现方法的流程示意图；
图7为本发明实施例提供的一种流程自动化的实现装置的结构示意图；
图8为本发明实施例提供的另一种流程自动化的实现装置的结构示意图。
具体实施方式
下面结合实施例对本发明再作进一步详细的说明。
图2为本发明实施例提供的一种流程自动化的实现方法的流程示意图；如图2所示，所述方法可以应用于智能设备，如服务器、计算机等设备；所述智能设备安装有建立并执行按键精灵的应用程序；所述方法包括：
步骤201、确定目标操作命令；
步骤202、根据所述目标操作命令查询预设的执行指令集合，确定所述目标操作命令对应的目标执行指令信息；所述执行指令集合包括至少一个操作命令和所述至少一个操作命令中每个所述操作命令对应的执行指令信息；所述执行指令信息为基于操作数据构建的知识图谱；
步骤203、根据所述目标执行指令信息进行操作。
实际应用时，用户可以通过智能设备的人机交互模块(包括显示屏、鼠标、键盘等)，预先构建执行指令信息，并针对构建的执行指令信息对应设置调用此执行指令信息的操作命令，从而，在应用过程中可以通过操作命令触发相应的执行指令信息的操作。
基于此，在一些实施例中，所述方法还包括：构建所述执行指令信息。
构建所述执行指令信息，包括：
检测操作事件；
根据检测到的操作事件，生成操作数据；
根据所述操作数据，构建三元组集合；所述三元组集合中包括至少一个三元组；所述至少一个三元组中每个所述三元组表征操作的任意一种信息；
将所述三元组集合以知识图谱的形式呈现。所述知识图谱，用于通过按键精灵实现流程自动化。
具体地，所述操作事件包括：鼠标事件、键盘事件；所述鼠标事件包括：鼠标滑动事件、鼠标点击事件；
相应的，所述操作数据包括：鼠标事件数据、键盘事件数据；所述鼠标事件数据包括：鼠标滑动事件数据、鼠标点击事件数据、鼠标点击事件对应的图像(如点击的应用程序图标的图像)。
这里，可以采用包括但不限于PyHook3模块(Window系统中的全局鼠标和键盘事件提供回调的程序)，检测系统全局的鼠标键盘事件。
所述根据检测到的操作，生成操作数据，包括：
相应于所述操作事件为鼠标滑动事件，按照预设的第一规则获取所述鼠标滑动事件的操作数据；所述第一规则用于指示针对鼠标滑动事件所需获取的操作数据；
相应于所述操作事件为鼠标点击事件时，按照预设的第二规则截取所述鼠标点击事件发生时的桌面图像；所述第二规则至少用于指示针对鼠标点击事件进行桌面图像截取并保存；
相应于所述操作事件为键盘事件，按照预设的第三规则获取所述键盘事件的操作数据；所述第三规则用于指示针对键盘事件所需获取的操作数据。
具体来说，可以预先设定需要采集哪些操作数据并保存，即预设第一规则、第二规则、第三规则。
举例来说，第一规则用于指示针对鼠标滑动事件所需获取的操作数据，如，为获取鼠标的起始位置(可以用鼠标在屏幕的坐标标识)、结束位置等，可以获取鼠标的坐标，即下表1中的Position；
第二规则至少用于指示针对鼠标点击事件进行桌面图像截取并保存，如，在鼠标点击时利用Window的截图功能截取屏幕图像，并提取鼠标点击的图标的图像，保存在规定的位置；在构建关于图像的三元组时，可以用链接或快捷方式表示截取的图像；
第三规则用于指示针对键盘事件所需获取的操作数据，如，为获取键盘上哪些按键被操作、被操作按键的先后顺序等，可以获取表1中的Ascii。
关于操作数据的基本数据格式可以采用如下表1所示：
表1
实际应用时，考虑到操作数据中存在非必要或无效数据，如鼠标无意义的滑动等，为提升三元组集合构建的效率，提供一种对操作数据预先进行初步处理的方法。
基于此，在一些实施例中，根据所述操作数据，构建三元组集合之前，所述方法还包括：
合并同类事件、过滤简单事件、分类事件形成子集。
其中，合并同类事件，包括：依据预设的第四规则对检测到的操作进行分析，确定存在连续的重复操作时，对重复操作进行合并，得到第一目标操作；
过滤简单事件，包括：依据预设的第四规则对检测到的操作进行分析，确定存在无效操作时，对无效操作进行过滤，得到第二目标操作；
分类事件形成子集，包括：依据预设的第四规则对检测到的操作进行分析，确定存在至少两种操作类别时，对检测到的操作进行分类，得到至少两个操作类别中每个操作类别对应的子操作数据。
所述预设的第四规则用于说明对操作数据进行初步处理的方式，可以由开发人员预先设定并保存。举例来说，为达到检索的目的，需要执行以下操作：从文档中复制检索关键词、移动鼠标到浏览器、点击浏览器图标以打开浏览器、点击检索框(或访问检索网站)、粘贴检索关键词、点击搜索按键。此过程中，为找到浏览器鼠标可以在桌面随意挪动，此过程中可能并非直线，而对于定位到浏览器的过程最重要的起始位置和结束位置，中间过程的随意挪动可以认为是无意义的，即可以认为是需过滤的，此过滤过程为过滤简单事件。而在点击浏览器图标以打开浏览器的过程，可能存在点击两下、三下等情况，其目的仅为打开浏览器，因此，对于点击这一动作也可以合并达到打开浏览器的目的即可，此合并过程为合并同类事件。关于分类事件形成子集，由于上述操作涉及到文档、浏览器两个应用程序，可以按照不同的应用程序进行分类，如，在文档中的操作(如复制检索关键词)、在浏览器中的操作(如点击检索框(或访问检索网站)、粘贴检索关键词、点击搜索按键等)可以分类为两个子集，即得到两个操作类别分别对应的子操作数据；当然，关于分类实际还可以采用其他方式，这里仅仅提供一种示例，并非对其进行限定。
通过初步处理过程可以对操作数据进行过滤，得到有效的操作数据，以提高之后操作的效率。
在一些实施例中，所述操作数据包括：至少一个操作事件、所述至少一个操作事件中每个操作事件对应的资源实体；
所述根据所述操作数据，构建三元组集合，包括：
识别所述操作数据中的至少一个操作事件中每个所述操作事件对应的资源实体；
针对每个所述资源实体分配唯一的标识；所述标识至少用于表征每个资源实体与至少一个其他资源实体产生的先后顺序；
确定每个所述资源实体中的操作的主题、属性和属性值；
根据所述资源实体中的操作的主题、属性和属性值，构建至少一个三元组；
根据构建的至少一个三元组，构建所述三元组集合。
具体来说，如上检索示例，用户的执行某一任务可能涉及多个操作，而操作与操作之间也存在先后顺序，比如，必然需要先复制检索关键词，才会由粘贴检索关键词；因此，需要确定操作之间的先后关系。这里，对每个资源实体分配唯一的标识，通过分配的标识可以确定操作的先后顺序。
每个操作实体可能包括多个操作信息，每个操作信息包括：主题、属性、属性值；结合表1中的鼠标事件为例进行说明，对于某个鼠标事件，具体包括：鼠标滑动事件、鼠标点击事件；鼠标滑动事件、鼠标点击事件分别对应有一个资源实体；
鼠标滑动事件的资源实体可能包括以下：
操作信息1：主题(事件名称(message_name))、属性(is)、属性值(鼠标移动(mousemove))；
操作信息2：主题(窗口名(window_name))、属性(is)、属性值(文件夹查看(FolderView))。
鼠标点击事件的资源实体可能包括以下：
操作信息1：主题(图像(target))、属性(is)、属性值(图像位置指示，如test1\1545421218.png)；
操作信息2：主题(事件发生时相对于整个屏幕的坐标(position))、属性(is)、属性值(具体地坐标，如(1593,553))。
在一些实施例中，所述将所述三元组集合以知识图谱的形式呈现，包括：
运用预设的知识图谱模型识别所述三元组集合，得到所述三元组集合对应的知识图谱。
具体来说，知识图谱是一种显示知识发展进程与结构关系的一系列各种不同的图形，用可视化技术描述知识资源及其载体，挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。这里，利用预设的知识图谱模型将三元组集合转换为知识图谱的形式呈现，可以更直观的将操作数据呈现给用户以便于用户查看。
实际应用时，考虑到构建用于实现流程自动化的知识图谱的过程中可能需要进行调整的情况，提供了修改知识图谱的方法。
基于此，在一些实施例中，通过人机交互界面呈现所述知识图谱后，所述方法还包括：
接收编辑指令；所述编辑指令用于执行以下至少一种：裁剪知识图谱中的资源实体、向知识图谱新增资源实体、修改知识图谱中的资源实体；
根据所述编辑指令修改知识图谱。
其中，修改知识图谱中的资源实体，可以包括：修改资源实体的具体内容、修改资源实体之间的链接关系等。
具体来说，用户通过上述方式建立知识图谱的过程中，可能认为某一操作为无效或可删除操作，也可能认为需要添加某一操作以提高效率，因此，需要对知识图谱进行修改。
如图3所示，图3为本发明实施例提供的一种知识图谱片段的示意图，在得到知识图谱后，可以将知识图谱通过人机交互界面呈现，对于知识图谱的修改，如：删除选中虚线部分进行删除，以实现知识图谱的裁剪；再比如，可以建立资源实体“17821623”与资源实体“22012881”的链接关系；当然还可以添加其他资源实体或修改其他资源实体的链接关系等。
实际应用时，为提高知识图谱的构建效率，提供一种知识图谱的规则推理方法。
基于此，在一些实施例中，所述方法还包括：
获取预设的图谱识别模型；所述图谱识别模型基于知识图谱训练集对神经网络训练得到；
运用所述图谱识别模型识别构建的知识图谱，得到识别结果；所述识别结果包括以下至少之一：
是否存在错误、错误内容；
建议增加的知识图谱片段；
建议修改的知识图谱片段。
这里，本发明实施例中的流程自动化的实现方法，可以结合机器学习的方法，对知识图谱进行规则推理、搜索，从而提高异常处理能力，也可以帮助用户构建所需的知识图谱。
具体地，所述方法还包括：训练得到图谱识别模型；具体包括：
获取至少一个知识图谱训练样本和所述至少一个知识图谱训练样本中每个所述知识图谱训练样本的标签，作为知识图谱训练集；
利用所述知识图谱训练集和所述神经网络进行训练，得到训练后的神经网络作为所述图谱识别模型；
所述标签可以为以下至少之一：
相应知识图谱训练样本是否存在错误、错误内容；
相应知识图谱训练样本中建议增加的知识图谱片段；
相应知识图谱训练样本中建议修改的知识图谱片段和修改方式。
举例来说，在构建知识图谱时，根据操作数据可以得到一个简单的知识图谱，而其中可能存在异常；比如，检索为例，需要执行以下操作：点击浏览器图标以打开浏览器、点击检索框(或访问检索网站)、输入检索关键词、点击搜索按键。而实际构建得到的知识图谱为“点击浏览器图标以打开浏览器、点击检索框(或访问检索网站)、点击搜索按键、输入检索关键词”，此过程中，“点击搜索按键、输入检索关键词”顺序错误，通过图谱识别模型可以得到识别结果，该识别结果包括：相应知识图谱中建议修改的知识图谱片段为“点击搜索按键、输入检索关键词”，修改方式为“修改为输入检索关键词、点击搜索按键”。再比如，执行“输入检索关键词”后可能未执行“点击搜索按钮”，即该过程不完整，而实际是需要执行这一步的，通过上述图谱识别模型可以得到识别结果，该识别结果包括：相应知识图谱中建议增加的知识图谱片段、即点击搜索按钮。
以上示例仅说明可以利用图谱识别模型对知识图谱进行处理，以实现异常识别、图谱推测等，并不对得到图谱识别模型的方法进行限定。
实际应用时，为提升流程自动化的抗干扰性，提供对于干扰的处理方法。
基于此，在一些实施例中，所述知识图谱模型包括但不限于以下预设资源：条件切换子集、数值判断子集、定位异常处理子集、弹窗检测子集、弹窗处理子集等。
所述方法还包括以下至少之一：
调用所述弹窗检测子集检测是否出现弹窗，相应于检测到弹窗时，调用所述弹窗处理子集关闭出现的弹窗；
相应于目标执行指令信息包括预设的第一类操作时，调用条件切换子集判断是否满足执行预设的第一类操作的条件，确定满足预设的第一类操作的条件时，执行所述目标执行指令信息；
相应于目标执行指令信息包括预设的第二类操作时，调用数值判断子集判断是否满足执行预设的第二类操作的条件，确定满足执行预设的第二类操作的条件时，执行所述目标执行指令信息；
执行目标执行指令信息的过程中检测是否存在异常，确定存在异常时，调用定位异常处理子集排除异常。
以下针对条件切换子集、数值判断子集、定位异常处理子集、弹窗检测子集、弹窗处理子集分别举例说明。
在一种示例中，可以在目标执行指令信息(即目标操作命令对应的知识图谱)中插入一个从弹窗检测子集中获得的用于弹窗检测的图谱片段(该图谱片段包括一个三元组集)，用于检测是否出现弹窗；当确定出现弹窗时，从弹窗处理子集中获取一个用于弹窗处理的图谱片段，并插入到目标执行指令信息(即目标操作命令对应的知识图谱)，以处理弹窗，比如关闭弹窗、切换弹窗等。
在另一种示例中，确定目标执行指令信息包括预设的第一类操作时，如目标执行指令信息中包括了要求上传文件的操作，则需要判断需要上传的文件是否存在，因此，可以调用条件切换子集中用于判断文件是否存在的图谱片段以判断文件是否存在(即判断是否满足执行预设的第一类操作的条件)，确定满足预设的第一类操作的条件时，执行所述目标执行指令信息。
在再一种示例中，确定目标执行指令信息包括预设的第二类操作时，如目标执行指令信息中包括了要上传十个文件，则需要判断是否具有十个文件，因此，可以调用数值判断子集判断是否具有文件且文件数量为十个(即判断是否满足执行预设的第二类操作的条件)，确定满足执行预设的第二类操作的条件时，执行所述目标执行指令信息。
在还一种示例中，可以在目标执行指令信息中插入定位异常处理子集中的图谱片段，如检测按钮是否点击错误等，以检测并排除所述目标执行指令信息的操作过程中出现的异常。
以上示例仅用于说明提供有故障检测、排除等子集，并非对子集类型进行限定。上述预设资源以子集的形式存在，能够很方便地通过特定属性链接到图谱关键资源中，当执行到该资源时，遭遇特定的异常，就会根据特定属性去执行，从而解决异常，最后回到资源继续执行。知识图谱可以通过知识推理，一次性将子集链接到资源中。预设资源从程序的角度理解，可以认为是一系列写好了的异常处理函数，能够在特定的情况下触发执行，是系统实现鲁棒性、抗干扰性的关键。
实际应用时，考虑到应用程序的图标可能移动位置、放大、缩小、部分被遮挡等，为了精确的定位到应用程序，提供一种图像处理方法以实现精准定位。
基于此，在一些实施例中，所述根据所述目标执行指令信息进行操作，包括：
确定所述目标执行指令信息包括鼠标点击事件时，获取所述鼠标点击事件对应存储的图像；
采集桌面图像；
运用图像识别技术识别所述桌面图像，确定所述桌面图像中与所述鼠标点击事件对应存储的图像中的相同的应用程序图标；
执行所述鼠标点击事件时，根据确定的应用程序图标执行鼠标点击操作。
本发明实施例提供的方法，通过采集全局鼠标键盘事件，实现了用户操作行为的采集；利用知识图谱技术，根据采集的鼠标键盘事件预先构建执行指令信息，提出了图谱可视化、图谱编辑和推理引擎的方法来让用户编辑流程，具备了流程透明和逻辑实现灵活的优点；另外，借助于知识图谱搜索与推理，引入了预设资源和对应触发方法，同时具备了一定的异常处理能力，进而提高了系统鲁棒性。
图4为本发明应用实施例提供的一种基于知识图谱技术的流程自动化的实现系统的结构示意图；如图4所示，所述系统包括：学习模块、知识图谱模块、图像处理模块、执行模块。
所述学习模块，用于对用户的操作行为进行学习。具体地，用户的操作行为可以是用户通过人机交互模块执行的操作，操作行为可以包括以下操作事件：鼠标移动事件、鼠标点击事件、键盘事件等；学习模块用于按照操作事件的发生顺序记录事件；对每个事件的操作数据进行初步处理，得到操作数据。所述操作数据用于体现用户执行某一操作或完成某一功能的完整过程。所述操作数据的基本数据格式可以上表1所示。
例如，为实现某一任务，用户的操作行为可能同时涉及鼠标移动事件、鼠标点击事件、键盘事件等，例如，为了检索某一内容，涉及到的操作行为包括：移动鼠标到浏览器(即鼠标移动事件)、打开浏览器(即鼠标点击事件)、浏览器打开后移动鼠标到检索框(即鼠标移动事件)、点击检索框(即鼠标点击事件)、输入检索关键词(即键盘事件)；因此，学习模块需要对上述操作行为均进行记录并学习，且记录时需要按照时间发生顺序进行记录。
具体地，所述学习模块学习键盘鼠标事件的方法包括但不限于PyHook3模块(Window系统中的全局鼠标和键盘事件提供回调的程序)，其学习的是系统全局鼠标键盘事件。
所述初步处理方法包括但不限于：合并同类事件、过滤简单事件、分类事件形成子集等。
其中，其中，合并同类事件，包括：依据预设的第四规则对检测到的操作进行分析，确定存在连续的重复操作时，对重复操作进行合并，得到第一目标操作；
过滤简单事件，包括：依据预设的第四规则对检测到的操作进行分析，确定存在无效操作时，对无效操作进行过滤，得到第二目标操作；
分类事件形成子集，包括：依据预设的第四规则对检测到的操作进行分析，确定存在至少两种操作类别时，对检测到的操作进行分类，得到至少两个操作类别中每个操作类别对应的子操作数据。
所述预设的第四规则用于说明对操作数据进行初步处理的方式，可以由开发人员预先设定并保存。
举例来说，如图5所示，子集即将一些资源按照特定的属性归为一个集合，目的是方便用户对其进行管理。例如，子集A可以是鼠标移动事件的集合，子集B可以是鼠标点击事件的集合。每个子集中，左侧圆圈内的内容为事件名称 (message_name)，如“mouse move”指鼠标移动；右侧圆圈内的内容为事件的标识或标记，如“22012881”等，可以用于记录事件的先后顺序，如图中的数字可以由学习模块自动生成，生成的可以是唯一的、连续或非连续的数字，但不管数字是否连续，其相互之间存在先后顺序，也即，数字需能体现事件的先后顺序。
在学习鼠标事件时，所述学习模块，还用于对于鼠标点击事件，调用图像处理模块对鼠标点击位置进行图像截取(即图中的L2)，截取的图像会保存到系统磁盘中，并将图像路径与用户操作数据一同传入知识图谱模块(即图中的 L1、L3)。
所述图像处理模块，用于采用但不限于OpenCV和机器学习方法对图像进行截取，以获取准确的鼠标点击图标或按钮的图像。此外，图像处理模块后续在执行时将会被再次调用，其目的在于帮助执行模块根据第一次截取的图像在屏幕中获取定位，以便获得更好的系统鲁棒性。结合以上检索示例，若浏览器在屏幕的位置发生移动，可以利用图像处理模块识别浏览器的图标，在应用过程中，对屏幕存在各应用程序的图标进行识别，确定浏览器的图标，从而实现浏览器在屏幕中的定位。
所述知识图谱模块是整个系统中最重要的模块，其将用户的操作数据和图像路径以三元组的形式展现在图谱中，并且按照用户的操作的顺序相连，实现数据持久化。可以采用但不限于RDF操作库(rdflib库)进行知识图谱管理和持久化操作。
通过知识图谱模块，用户可以以可视化的方式对图谱进行编辑，包括但不限于裁剪、新增、链接。如图5所示，图5为本发明实施例提供的一种知识图谱片段的示意图；知识图谱模块可以在可视化的界面中呈现，并提供修改功能；即用户也可以通过该可视化的界面对知识图谱进行操作，如选中图中的虚线部分进行删除，以实现图谱的裁剪。
用户还可以制定推理规则，对知识图谱进行知识推理，从而产生更加丰富的图谱。知识图谱模块中还包含了许多预设资源，帮助用户在图谱编辑时实现更加灵活的功能。
具体地，三元组的形式表现为“主题-属性-属性值”，如“我吃西红柿”、“楼高50米”，其中，“我”和“楼”都是主题(subject)，“吃”和“高”都是认为是属性(relation)，后面接的为属性值(object)。知识图谱模块存储操作数据和图像路径的基本格式如下：
以上给出了知识图谱模块中的两个资源，资源是以<rdf:Description>元素包裹起来的，且资源的标识为rdf:about后面接的属性值，一个资源由多个三元组构成。上述资源中“<ns1:target>test1\1545421218.png</ns1:target>”记录了图像路径。上述资源中“ns1:next rdf:resource＝"http://www.press.spirit/48432298"”指出了该资源连接的下一资源，该有向元素标识体现了记录的操作数据的顺序，执行模块会按照这个顺序逐一解析资源，从而完整呈现用户操作。
知识图谱模块中的预设资源包括但不限于条件切换子集、数值判断子集、定位异常处理子集、弹窗检测子集、弹窗处理子集等。所述预设资源以子集的形式存在，能够很方便地通过特定属性链接到图谱关键资源中，当执行模块执行到该资源时，遭遇特定的异常，就会根据特定属性去执行，从而解决异常, 最后回到该资源继续执行。知识图谱模块可以通过知识推理，一次性将子集链接到资源中。
预设资源从程序的角度理解，可以认为是一系列写好了的异常处理函数，能够在特定的情况下触发执行，是系统实现鲁棒性的关键。例如，定位异常处理子集链接到资源中使用了“locate_exception”属性来声明。
所述执行模块，用于读取知识图谱模块中经过编辑优化的知识图谱(即图中的L4)，解析其中的资源，按照一定的规则来执行。在执行过程中，若遇到鼠标点击事件，采用坐标和图像定位相结合的方式实现灵活的定位，即当用户缩小操作窗口，改变了图标或按住坐标时，依然能够被定位到。图像定位的功能是执行模块调用图像处理模块来完成的(L5)。
所述执行模块采用但不限于PyAutoGUI(是一个可以用程序自动控制鼠标和键盘操作的自动化工具)来操纵系统鼠标键盘，完成鼠标键盘动作的还原。
图6为本发明实施例提供的一种基于知识图谱技术的流程自动化的实现方法的流程示意图；如图6所示，所述方法包括：
步骤601、学习模块学习用户的操作行为；
具体地，学习模块根据记录的系统全局鼠标键盘事件，学习鼠标键盘事件。
步骤602、学习模块检测是否为鼠标点击事件，确定为鼠标点击事件则进入步骤603，确定为非鼠标点击事件则进入步骤604。
步骤603、学习模块检测到当前事件为鼠标点击事件时，调用图像处理模块来进行图像截取并保存；
具体地，图像处理模块截取鼠标点击时的图像，例如，鼠标点击某一应用程序，则图像中可以呈现鼠标位于该应用程序的图标处。
步骤604、将操作数据发送到知识图谱模块，知识图谱模块根据操作数据构建RDF三元组，将构建的三元组通过知识图谱呈现；
具体地，所述操作数据包括：鼠标事件数据、键盘事件数据；所述鼠标事件数据包括：鼠标滑动事件数据、鼠标点击事件数据、鼠标点击事件对应的图像。对于鼠标移动事件和键盘事件，将鼠标移动事件数据和键盘事件数据发送到知识图谱模块；对于鼠标点击事件，将鼠标点击事件和图像处理模块对应该事件截取的图像发送到知识图谱模块。
步骤605、知识图谱模块提供人机交互界面，接收用户对知识图谱的编辑操作；
具体地，所述编辑操作，包括但不限于：裁剪、新增、链接。用户可以通过人机交互界面对知识图谱进行编辑，从而实现通过知识图谱对操作行为的可视化、对知识图谱的编辑等，提高了自动化流程的透明度和灵活性。
步骤606、知识图谱模块对图谱进行规则推理。
这里，知识图谱模块可以调用预设的图谱识别模型，运用所述图谱识别模型识别构建的知识图谱，得到识别结果；根据识别结果对得到的知识图谱进行调整。
关于图谱识别模型已在图2所示方法中说明，这里不再赘述。
步骤607、执行模块确定目标操作命令，根据目标操作命令读取所述目标操作命令对应的知识图谱，根据读取的知识图谱进行还原执行。
需要说明的是，在执行过程中，若存在鼠标点击操作，可以根据预先截取的图像调用图像处理模块配合进行元素定位。
图7为本发明实施例提供的一种流程自动化的实现装置的结构示意图；如图7所示，所述装置包括：包括：确定模块、第一处理模块、第二处理模块；其中，
所述确定模块，用于确定目标操作命令；
所述第一处理模块，用于根据所述目标操作命令查询预设的执行指令集合，确定所述目标操作命令对应的目标执行指令信息；所述执行指令集合包括至少一个操作命令和所述至少一个操作命令中每个所述操作命令对应的执行指令信息；所述执行指令信息为基于操作数据构建的知识图谱；
所述第二处理模块，用于根据所述目标执行指令信息进行操作。
在一些实施例中，所述装置还包括预处理模块，用于构建所述执行指令信息；
所述预处理模块，具体用于检测操作事件；根据检测到的操作事件，生成操作数据；根据所述操作数据，构建三元组集合；所述三元组集合中包括至少一个三元组；所述至少一个三元组中每个所述三元组表征操作的任意一种信息；
将所述三元组集合以知识图谱的形式呈现。
在一些实施例中，所述操作事件包括：鼠标事件、键盘事件；所述鼠标事件包括：鼠标滑动事件、鼠标点击事件；
所述预处理模块，具体用于相应于所述操作事件为鼠标滑动事件，按照预设的第一规则获取所述鼠标滑动事件的操作数据；所述第一规则用于指示针对鼠标滑动事件所需获取的操作数据；
相应于所述操作事件为鼠标点击事件时，按照预设的第二规则截取所述鼠标点击事件发生时的桌面图像；所述第二规则至少用于指示针对鼠标点击事件进行桌面图像截取并保存；
相应于所述操作事件为键盘事件，按照预设的第三规则获取所述键盘事件的操作数据；所述第三规则用于指示针对键盘事件所需获取的操作数据。
在一些实施例中，所述操作数据包括：至少一个操作事件、所述至少一个操作事件中每个操作事件对应的资源实体；
所述预处理模块，具体用于识别所述操作数据中的至少一个操作事件中每个所述操作事件对应的资源实体；
针对每个所述资源实体分配唯一的标识；所述标识至少用于表征每个资源实体与至少一个其他资源实体产生的先后顺序；
确定每个所述资源实体中的操作的主题、属性和属性值；
根据所述资源实体中的操作的主题、属性和属性值，构建至少一个三元组；
根据构建的至少一个三元组，构建所述三元组集合。
在一些实施例中，所述预处理模块，具体用于运用预设的知识图谱模型识别所述三元组集合，得到所述三元组集合对应的知识图谱。
在一些实施例中，所述预处理模块，还用于接收编辑指令；所述编辑指令用于执行以下至少一种：裁剪知识图谱中的资源实体、向知识图谱新增资源实体、修改知识图谱中的资源实体；
根据所述编辑指令修改知识图谱。
在一些实施例中，所述预处理模块，还用于获取预设的图谱识别模型；所述图谱识别模型基于知识图谱训练集对神经网络训练得到；
运用所述图谱识别模型识别构建的知识图谱，得到识别结果并呈现；
所述识别结果包括以下至少之一：
是否存在错误、错误内容；
建议增加的知识图谱片段；
建议修改的知识图谱片段和修改方式。
在一些实施例中，所述知识图谱模型包括以下至少一个预设资源：条件切换子集、数值判断子集、定位异常处理子集、弹窗检测子集、弹窗处理子集；
所述第二处理模块，还用于执行以下至少之一：
调用所述弹窗检测子集检测是否出现弹窗，相应于检测到弹窗时，调用所述弹窗处理子集关闭出现的弹窗；
相应于目标执行指令信息包括预设的第一类操作时，调用条件切换子集判断是否满足执行预设的第一类操作的条件，确定满足预设的第一类操作的条件时，执行所述目标执行指令信息；
相应于目标执行指令信息包括预设的第二类操作时，调用数值判断子集判断是否满足执行预设的第二类操作的条件，确定满足执行预设的第二类操作的条件时，执行所述目标执行指令信息；
执行目标执行指令信息的过程中检测是否存在异常，确定存在异常时，调用定位异常处理子集排除异常。
在一些实施例中，所述第二处理模块，用于确定所述目标执行指令信息包括鼠标点击事件时，获取所述鼠标点击事件对应存储的图像；
采集桌面图像；
运用图像识别技术识别所述桌面图像，确定所述桌面图像中与所述鼠标点击事件对应存储的图像中的相同的应用程序图标；
执行所述鼠标点击事件时，根据确定的应用程序图标执行鼠标点击操作。
需要说明的是：上述实施例提供的流程自动化的实现装置在实现相应流程自动化的实现方法时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将智能设备的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的装置与相应方法的实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图8为本发明实施例提供的另一种流程自动化的实现装置的结构示意图，如图8所示，所述流程自动化的实现装置80包括：处理器801和用于存储能够在所述处理器上运行的计算机程序的存储器802；所述处理器801用于运行所述计算机程序时，执行：确定目标操作命令；根据所述目标操作命令查询预设的执行指令集合，确定所述目标操作命令对应的目标执行指令信息；所述执行指令集合包括至少一个操作命令和所述至少一个操作命令中每个所述操作命令对应的执行指令信息；所述执行指令信息为基于操作数据构建的知识图谱；根据所述目标执行指令信息进行操作。
具体来说，所述流程自动化的实现装置还可以执行如图2所示的方法，与图2所示的流程自动化的实现方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
实际应用时，所述流程自动化的实现装置80还可以包括：至少一个网络接口803。所述流程自动化的实现装置80中的各个组件通过总线系统804耦合在一起。可理解，总线系统804用于实现这些组件之间的连接通信。总线系统804 除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图8中将各种总线都标为总线系统804。其中，所述处理器 801的个数可以为至少一个。网络接口803用于流程自动化的实现装置80与其他设备之间有线或无线方式的通信。
本发明实施例中的存储器802用于存储各种类型的数据以支持流程自动化的实现装置80的操作。
上述本发明实施例揭示的方法可以应用于处理器801中，或者由处理器801 实现。处理器801可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器801中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器801可以是通用处理器、数字信号处理器 (DSP，DiGital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器801可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器802，处理器801读取存储器802中的信息，结合其硬件完成前述方法的步骤。
在示例性实施例中，流程自动化的实现装置80可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable LogicDevice)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)、通用处理器、控制器、微控制器(MCU，Micro Controller Unit)、微处理器(Microprocessor)、或其他电子元件实现，用于执行前述方法。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序；所述计算机程序被处理器运行时，执行：确定目标操作命令；根据所述目标操作命令查询预设的执行指令集合，确定所述目标操作命令对应的目标执行指令信息；所述执行指令集合包括至少一个操作命令和所述至少一个操作命令中每个所述操作命令对应的执行指令信息；所述执行指令信息为基于操作数据构建的知识图谱；根据所述目标执行指令信息进行操作。具体来说，所述计算机程序还可以执行如图2所示的方法，与图2所示的流程自动化的实现方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一个计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是：“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
另外，本申请实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (12)
1.一种流程自动化的实现方法，其特征在于，所述方法包括：
确定目标操作命令；
根据所述目标操作命令查询预设的执行指令集合，确定所述目标操作命令对应的目标执行指令信息；所述执行指令集合包括至少一个操作命令和所述至少一个操作命令中每个所述操作命令对应的执行指令信息；所述执行指令信息为基于操作数据构建的知识图谱；
根据所述目标执行指令信息进行操作。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：构建所述执行指令信息；所述构建执行指令信息，包括：
检测操作事件；
根据检测到的操作事件，生成操作数据；
根据所述操作数据，构建三元组集合；所述三元组集合中包括至少一个三元组；所述至少一个三元组中每个所述三元组表征操作的任意一种信息；
将所述三元组集合以知识图谱的形式呈现。
3.根据权利要求2所述的方法，其特征在于，所述操作事件包括：鼠标事件、键盘事件；所述鼠标事件包括：鼠标滑动事件、鼠标点击事件；
所述根据检测到的操作，生成操作数据，包括：
相应于所述操作事件为鼠标滑动事件，按照预设的第一规则获取所述鼠标滑动事件的操作数据；所述第一规则用于指示针对鼠标滑动事件所需获取的操作数据；
相应于所述操作事件为鼠标点击事件时，按照预设的第二规则截取所述鼠标点击事件发生时的桌面图像；所述第二规则至少用于指示针对鼠标点击事件进行桌面图像截取并保存；
相应于所述操作事件为键盘事件，按照预设的第三规则获取所述键盘事件的操作数据；所述第三规则用于指示针对键盘事件所需获取的操作数据。
4.根据权利要求2所述的方法，其特征在于，所述操作数据包括：至少一个操作事件、所述至少一个操作事件中每个操作事件对应的资源实体；
所述根据所述操作数据，构建三元组集合，包括：
识别所述操作数据中的至少一个操作事件中每个所述操作事件对应的资源实体；
针对每个所述资源实体分配唯一的标识；所述标识至少用于表征每个资源实体与至少一个其他资源实体产生的先后顺序；
确定每个所述资源实体中的操作的主题、属性和属性值；
根据所述资源实体中的操作的主题、属性和属性值，构建至少一个三元组；
根据构建的至少一个三元组，构建所述三元组集合。
5.根据权利要求2所述的方法，其特征在于，所述将所述三元组集合以知识图谱的形式呈现，包括：
运用预设的知识图谱模型识别所述三元组集合，得到所述三元组集合对应的知识图谱。
6.根据权利要求2所述的方法，其特征在于，所述方法还包括：
接收编辑指令；所述编辑指令用于执行以下至少一种：裁剪知识图谱中的资源实体、向知识图谱新增资源实体、修改知识图谱中的资源实体；
根据所述编辑指令修改知识图谱。
7.根据权利要求2所述的方法，其特征在于，所述方法还包括：
获取预设的图谱识别模型；所述图谱识别模型基于知识图谱训练集对神经网络训练得到；
运用所述图谱识别模型识别构建的知识图谱，得到识别结果并呈现；
所述识别结果包括以下至少之一：
是否存在错误、错误内容；
建议增加的知识图谱片段；
建议修改的知识图谱片段和修改方式。
8.根据权利要求1所述的方法，其特征在于，所述知识图谱模型包括以下至少一个预设资源：条件切换子集、数值判断子集、定位异常处理子集、弹窗检测子集、弹窗处理子集；
所述方法还包括以下至少之一：
调用所述弹窗检测子集检测是否出现弹窗，相应于检测到弹窗时，调用所述弹窗处理子集关闭出现的弹窗；
相应于目标执行指令信息包括预设的第一类操作时，调用所述条件切换子集判断是否满足执行预设的第一类操作的条件，确定满足预设的第一类操作的条件时，执行所述目标执行指令信息；
相应于目标执行指令信息包括预设的第二类操作时，调用所述数值判断子集判断是否满足执行预设的第二类操作的条件，确定满足执行预设的第二类操作的条件时，执行所述目标执行指令信息；
执行目标执行指令信息的过程中检测是否存在异常，确定存在异常时，调用所述定位异常处理子集排除异常。
9.根据权利要求1所述的方法，其特征在于，所述根据所述目标执行指令信息进行操作，包括：
确定所述目标执行指令信息包括鼠标点击事件时，获取所述鼠标点击事件对应存储的图像；
采集桌面图像；
运用图像识别技术识别所述桌面图像，确定所述桌面图像中与所述鼠标点击事件对应存储的图像中的相同的应用程序图标；
执行所述鼠标点击事件时，根据确定的应用程序图标执行鼠标点击操作。
10.一种流程自动化的实现装置，其特征在于，包括：确定模块、第一处理模块、第二处理模块；其中，
所述确定模块，用于确定目标操作命令；
所述第一处理模块，用于根据所述目标操作命令查询预设的执行指令集合，确定所述目标操作命令对应的目标执行指令信息；所述执行指令集合包括至少一个操作命令和所述至少一个操作命令中每个所述操作命令对应的执行指令信息；所述执行指令信息为基于操作数据构建的知识图谱；
所述第二处理模块，用于根据所述目标执行指令信息进行操作。
11.一种流程自动化的实现装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至9任一项所述方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210505683.0A CN116700583A (zh) | 2022-05-10 | 2022-05-10 | 一种流程自动化的实现方法、装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210505683.0A CN116700583A (zh) | 2022-05-10 | 2022-05-10 | 一种流程自动化的实现方法、装置和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116700583A true CN116700583A (zh) | 2023-09-05 |
Family
ID=87829942
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210505683.0A Pending CN116700583A (zh) | 2022-05-10 | 2022-05-10 | 一种流程自动化的实现方法、装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116700583A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117708337A (zh) * | 2024-02-05 | 2024-03-15 | 杭州杰竞科技有限公司 | 一种面向复杂定域的人机交互方法和系统 |
-
2022
- 2022-05-10 CN CN202210505683.0A patent/CN116700583A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117708337A (zh) * | 2024-02-05 | 2024-03-15 | 杭州杰竞科技有限公司 | 一种面向复杂定域的人机交互方法和系统 |
| CN117708337B (zh) * | 2024-02-05 | 2024-04-26 | 杭州杰竞科技有限公司 | 一种面向复杂定域的人机交互方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106844217B (zh) | 对应用的控件进行埋点的方法及装置、可读存储介质 | |
| CN110928772B (zh) | 一种测试方法及装置 | |
| US7930636B2 (en) | Systems, methods and computer products to automatically complete a GUI task | |
| CN110515830A (zh) | 操作轨迹可视化方法、装置、设备及存储介质 | |
| US10990359B2 (en) | Use and advancements of assistive technology in automation for the visually-impaired workforce | |
| CN205247194U (zh) | 一种自动控制智能专家故障诊断系统 | |
| CN108595343A (zh) | 应用程序的测试方法及装置 | |
| CN111859047A (zh) | 一种故障解决方法及装置 | |
| CN113688288A (zh) | 数据关联分析方法、装置、计算机设备和存储介质 | |
| CN105574150A (zh) | 一种数据处理方法和装置 | |
| KR20210036167A (ko) | 어플리케이션의 테스트 자동화 | |
| CN113590454A (zh) | 测试方法、装置、计算机设备和存储介质 | |
| Sun et al. | Ui components recognition system based on image understanding | |
| CN116700583A (zh) | 一种流程自动化的实现方法、装置和存储介质 | |
| CN117573006B (zh) | 用于rpa屏幕界面元素批量拾取的方法及系统 | |
| CN114419631A (zh) | 一种基于rpa的网管虚拟系统 | |
| CN104571804A (zh) | 一种对跨应用程序的文档界面进行关联的方法和系统 | |
| CN112948594A (zh) | Rpa知识图谱建立方法、装置、服务器和存储介质 | |
| WO2024097232A1 (en) | Systems and methods for providing a timeline view of log information for a client application | |
| Tanaka et al. | Selenium based testing systems for analytical data generation of website user behavior | |
| CN115269101A (zh) | 一种基于RPA实现Excel数据透视表拾取的方法 | |
| CN115481025A (zh) | 自动化测试的脚本录制方法、装置、计算机设备及介质 | |
| CN115437621A (zh) | 基于机器人流程自动化的流程编辑方法、装置 | |
| CN111274143A (zh) | 埋点测试方法、装置、设备及存储介质 | |
| Liu et al. | Vision-driven Automated Mobile GUI Testing via Multimodal Large Language Model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |