CN116400907B - 基于知识学习的程式自动编写方法、存储介质及装置 - Google Patents

Abstract

本发明公开了一种基于知识学习的程式自动编写方法、存储介质及装置，涉及程式制作技术领域，所述方法包括任务学习阶段和任务执行阶段。本发明参考人类知识进步的行为进行设计，在任务学习阶段中，先人工地操作应用GUI，从而教导自动编写算法如何去操作上述应用GUI，自动编写算法学会每个按钮的意义、每个按钮的位置、操作流程、每个输入框的位置、输入框具体输入哪些输入参数，并将学习到的这些内容作为“知识”存储到工厂服务器所构建的知识库内；在任务执行阶段中，根据实际的工程生产需求，由自动编写算法从知识库调取任务关联的知识，模拟人类去操作鼠标和键盘，完成程式自动生成。本发明相比人工编程而言，提高了程式编写效率。

Description

基于知识学习的程式自动编写方法、存储介质及装置

技术领域

本发明属于程式制作技术领域，特别是制造型企业的生产程式制作技术领域，具体涉及一种基于知识学习的程式自动编写方法、存储介质及装置。

背景技术

目前在制造型企业生产的日常工作中，技术人员需要根据不同订单、不同产品、不同的生产品质要求去编写不同的生产程式，并且无论是在预备环节、制造环节还是检验环节，均需要根据该环节要求去制作不同的设备工作程式。通过对工厂工作环节的分析得知，在程式制作这个工作中存在以下三个困扰企业的痛点。首先，在程式制作中，不同产品的参数设置依赖于员工自身的经验，用不同的编程人员做出来的程式进行生产，最终产品的品质合格率参差不齐。其次，目前的大多数制造型企业并不局限于某些大批量订单的生产，当前出现最多的是小批量、多品种的生产模式；在这种生产模式下，每日对订单和产品的切换非常频繁，每条生产线每日都会切换十几甚至几十次产品，在这种情况下，人工编程存在耗时、费力、工作量大的现象。再者，由人工进行程式编写的工作量较大，技术人员往往需根据订单不停地、繁复地、高强度地进行程式的制作，从而导致技术人员或多或少的出现情绪上的波动或者造成精神意识上的疏忽，最终导致产品的生产质量出现问题。最后，一个环节的生产设备经常会覆盖多个不同的供应商，当切换供应商导致生产设备的型号变更或者生产设备自身软件发生升级或结构变化时，均需要人工地进行程式的重新编写，之后企业还需要根据新程式的导入而改变自身多年的操作方式，使得企业出现相应的导入空窗期，不利于持续化的生产制造，无形中也增加了企业的生产成本。

因此，生产程式制作领域技术人员已逐步开启了对生产程式自动编写的应用方案研究，目前已提出的一种自动编写思路主要是：解析设备软件的源文件或者按照设备软件的数据接口进行参数的注入。然而由于市场上有成百上千家的设备制造商，如果基于每个设备制造商均针对性的制作其独有的自动编程软件，会耗费大量的时间，同时适用性也很窄，当设备软件发生升级或结构变化后，还需要对算法进行重新的编写及测试，耗时、费力且应用非常局限。

由此可见，一种具备高兼容能力、高效且低成本的生产程式自动编写方案亟待提出。

发明内容

有鉴于此，本发明提出了一种基于知识学习的程式自动编写方法、存储介质及装置，用以解决依赖人工的程式编写方式所存在的效率低、易出错、兼容性差和成本高的技术问题，以及基于对设备软件的源文件解析或按照数据接口进行参数注入的自动编程方法所存在的效率低和兼容性差的技术问题。

本发明的目的是通过以下技术方案来实现的：

本发明的第一方面提出了一种基于知识学习的程式自动编写方法，所述方法包括以下步骤：

接收任务学习命令；

基于对应用GUI中鼠标点击事件的拦截，获取该鼠标点击事件对应的按钮在显示界面中的坐标位置P₁以及该鼠标点击事件的内容标签Tag₁；基于对应用GUI中键盘事件的拦截，获取该键盘事件对应的输入框在显示界面中的坐标位置P₂以及该键盘事件的内容标签Tag₂，该鼠标点击事件和键盘事件为人工发起；

记录鼠标点击事件和键盘事件的操作顺序；

采集输入框的输入参数，该输入参数为人工输入；

根据坐标位置P₁、内容标签Tag₁、坐标位置P₂、内容标签Tag₂、鼠标点击事件和键盘事件的操作顺序、采集到的输入参数生成该任务对应的知识；

将生成的知识发送至知识库进行存储；

接收任务编程命令；

自知识库获取到该任务对应的知识，并根据该知识在应用GUI中发起该任务对应的鼠标点击事件和键盘事件，以便于应用GUI对应的应用程序执行该鼠标点击事件和键盘事件。

进一步的，所述接收任务学习命令之前还包括：

确定当前操作系统的版本和分辨率。

进一步的，所述内容标签Tag₁为直接获取或在对该鼠标点击事件进行人工命名后生成；所述内容标签Tag₂为直接获取或在对该键盘事件进行人工命名后生成。

进一步的，所述将生成的知识发送至知识库进行存储之前还包括：

对本地缓存的坐标位置P₁、内容标签Tag₁、坐标位置P₂、内容标签Tag₂、鼠标点击事件和键盘事件的操作顺序、采集到的输入参数进行数据清洗。

本发明的第二方面提出了一种存储介质，所述存储介质用于与外部的处理器连接，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如本发明的第一方面所述的方法。

本发明的第三方面提出了一种基于知识学习的程式自动编写装置，包括存储器和处理器，所述存储器和处理器通信连接，所述存储器用于保存本发明的第一方面所述的方法，所述处理器用于调用存储器中保存的所述方法进行程式自动编写。

本发明具有的有益效果为：

（1）本发明参考人类知识进步的行为进行设计，将程式的自动编写算法分解为任务学习阶段和任务执行阶段（任务编程阶段）；在任务学习阶段中，先人工地操作应用GUI（应用程序GUI），从而教导自动编写算法如何去操作上述应用GUI，自动编写算法学会每个按钮的意义、每个按钮的位置、操作流程、每个输入框的位置、输入框具体输入哪些输入参数，并将学习到的这些内容作为“知识”存储到工厂服务器所构建的知识库内；在任务执行阶段中，根据实际的工程生产需求，由自动编写算法从知识库调取任务关联的知识，模拟人类去操作鼠标和键盘，从而完成程式的自动编程过程；

综上所述，基于知识学习的设计思路，本发明实现了程式的自动编写，相比人工编程而言，提高了程式的编写效率；

（2）基于知识学习的程式自动编写方法，其所搭载的硬件设备不受限制，适于搭载在制造型企业的各种设备上，例如生产设备周边的工控电脑、远程办公电脑等，适用性广；

（3）以虚拟机器人学习人类操作软件的流程及方式作为核心，实现了用于程式编写的虚拟机器人，其替代人工完成程式的编写工作，与此同时，企业无需因为程式编写软件的导入而改变自身保留多年的操作方式，因此不存在企业导入的空窗期，完全按照企业操作习惯及流程进行工作，从生产成本维度考虑，无软件导入空窗期也使得企业的生产成本得到了降低；

（4）由虚拟机器人编写出来的程式，确保了输入参数的统一，避免了因人员状态不佳或疏忽而产生的纰漏和出现的不良品，只要第一次教导的时候是完整的操作方式，之后企业生产过程中的每一个程式都能够以同样的方式完整的编写出来，可见，通过虚拟机器人编写出来的程式具备了高准确性；

（5）基于知识学习的程式自动编写方法，无需去解析设备软件的源文件或依据对应数据接口进行参数注入，相比于背景技术中提到的基于源文件解析或数据接口参数注入方式的自动编程方法而言，当更换了设备厂家或设备自身软件升级或结构发生变化时，只需要再重新执行一次任务学习（完成一次对虚拟机器人的教导）即可，无需进行整个编程算法的代码再编写、代码再调试和代码再测试，可见，基于知识学习的核心思想实现的自动编程过程具备了对设备更新、换代和升级等的高兼容性和高便捷性；

（6）本发明实现的算法只有任务学习和任务执行两个阶段，人机交互界面可做到非常简化，便于人员操作。

附图说明

图1为基于知识学习的程式自动编写方法的一种流程示意图；

图2为基于知识学习的程式自动编写方法的执行逻辑示意图；

图3为任务学习阶段的一种时序示意图；

图4为任务执行阶段的一种时序示意图。

具体实施方式

下面将结合实施例，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

下述实施例一至实施例三均需一并参阅图1至图4。

实施例一

本实施例提供了一种基于知识学习的程式自动编写方法，适用于加载在Windows系统之下进行程式的自动编写。

具体的，基于知识学习的程式自动编写方法包括如下步骤：

S100.确定当前操作系统的版本和分辨率。

S200.接收任务学习命令。

S300.基于对应用GUI中鼠标点击事件的拦截，获取该鼠标点击事件对应的按钮在显示界面中的坐标位置P₁以及该鼠标点击事件的内容标签Tag₁；基于对应用GUI中键盘事件的拦截，获取该键盘事件对应的输入框在显示界面中的坐标位置P₂以及该键盘事件的内容标签Tag₂；记录鼠标点击事件和键盘事件的操作顺序；该鼠标点击事件和键盘事件为人工发起。具体的，由学习操作人在应用GUI中发起该任务包含的鼠标点击事件和键盘事件，学习操作人可为产线的程式编写技术人员。

S400.采集输入框的输入参数，该输入参数为人工输入。具体的，由学习操作人在键盘事件中对应的输入框进行参数输入。

S500.根据坐标位置P₁、内容标签Tag₁、坐标位置P₂、内容标签Tag₂、鼠标点击事件和键盘事件的操作顺序、采集到的输入参数生成该任务对应的知识。

S600.将生成的知识发送至知识库进行存储。

S700.接收任务编程命令。

S800.自知识库获取到该任务对应的知识，并根据上述知识在应用GUI中发起该任务对应的鼠标点击事件和键盘事件，以便于应用GUI对应的应用程序执行该鼠标点击事件和键盘事件。

其中，步骤S100-S600构成程式自动编写方法的任务学习阶段，步骤S700-S800构成程式自动编写方法的任务执行阶段。

在一些实施例中，内容标签Tag₁可以为直接获取，或者在对该鼠标点击事件进行人工命名后生成。内容标签Tag₂可以为直接获取，或者在对该键盘事件进行人工命名后生成。

作为上述实施例的一种改进，步骤S600中，将生成的知识发送至知识库进行存储之前还包括：

对本地缓存的坐标位置P₁、内容标签Tag₁、坐标位置P₂、内容标签Tag₂、鼠标点击事件和键盘事件的操作顺序、采集到的输入参数进行数据清洗。此处的数据清洗采用普通实施例中的清洗过程，本实施例对此部分内容不再进行赘述。

图3示出了任务学习阶段的一种时序图。结合图3，学习操作人与基于本实施例所实现的程式自动编写方法的软件（以下简称自动编程软件）之间的交互过程描述如下：

学习操作人点击自动编程软件上的 “开始学习”，即自动编程软件接收到了任务学习命令，开始学习；

学习操作人在应用GUI上进行任务关联的鼠标点击和键盘操作，触发鼠标点击事件和键盘事件；

自动编程软件内的学习模块开始对鼠标点击事件和键盘事件进行拦截，从而获取到鼠标点击所对应的按钮在显示界面中的坐标位置P₁、鼠标点击的内容标签Tag₁、键盘操作所对应的输入框在显示界面中的坐标位置P₂、键盘操作的内容标签Tag₂，并记录鼠标点击和键盘操作的操作先后顺序；

结束学习；

自动编程软件内的数据采集模块采集输入框中的输入参数内容；

输入参数采集完成后，由坐标位置P₁、内容标签Tag₁、坐标位置P₂、内容标签Tag₂、鼠标点击事件和键盘事件的操作顺序、采集到的输入参数共同组成该任务对应的知识；

将上述知识进行数据清洗；

将清洗后的知识发送至服务器，由服务器中构建的知识库进行知识的存储；

任务学习阶段完成。

图4示出了任务执行阶段的一种时序图。结合图4，任务操作人与基于本实施例所实现的程式自动编写方法的软件（以下简称自动编程软件）之间的交互过程描述如下，其中任务操作人可为产线的设备操作人员：

任务操作人点击“自动编程”即自动编程软件接收到了任务编程命令，所需执行的任务由任务操作人设定，编程任务启动；

自动编程软件内的任务执行模块从知识库获取任务所需知识；

知识库返回所需的知识；

任务执行模块开始控制鼠标在操作系统内执行程式编写的每一个步骤，即为：根据知识库返回的知识，对应用GUI进行操作，所述操作包括：发起该任务对应的鼠标点击事件和键盘事件；

应用GUI对应的应用程序执行上述操作；

任务执行阶段完成。

为避免双击事件或多组合键形式的误判，自动编程软件运行时，优选将任务执行阶段各种操作的执行速度设定为任务学习阶段人为操作速度的2~3倍。

实施例二

本实施例提出了一种存储介质，存储介质用于与外部的处理器连接，存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，上述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现实施例一中的程式自动编写方法。

实施例三

本实施例提出了一种基于知识学习的程式自动编写装置，包括处理器和存储器，存储器内保存有实施例一实现的程式自动编写方法，处理器用于调用存储器中的程式自动编写方法进行程式的自动编写。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (3)

1.基于知识学习的程式自动编写方法，其特征在于，用于自动编写工厂生产程式，所述方法包括：

接收任务学习命令；

基于对应用GUI中鼠标点击事件的拦截，获取该鼠标点击事件对应的按钮在显示界面中的坐标位置P₁以及该鼠标点击事件的内容标签Tag₁；基于对应用GUI中键盘事件的拦截，获取该键盘事件对应的输入框在显示界面中的坐标位置P₂以及该键盘事件的内容标签Tag₂，该鼠标点击事件和键盘事件为人工发起；

记录鼠标点击事件和键盘事件的操作顺序；

采集输入框的输入参数，该输入参数为人工输入；

根据坐标位置P₁、内容标签Tag₁、坐标位置P₂、内容标签Tag₂、鼠标点击事件和键盘事件的操作顺序、采集到的输入参数生成该任务对应的知识；

将生成的知识发送至知识库进行存储；

所述将生成的知识发送至知识库进行存储之前还包括：

对本地缓存的坐标位置P₁、内容标签Tag₁、坐标位置P₂、内容标签Tag₂、鼠标点击事件和键盘事件的操作顺序、采集到的输入参数进行数据清洗；

接收任务编程命令；

自知识库获取到该任务对应的知识，并根据该知识在应用GUI中发起该任务对应的鼠标点击事件和键盘事件，以便于应用GUI对应的应用程序执行该鼠标点击事件和键盘事件；

所述接收任务学习命令之前还包括：

确定当前操作系统的版本和分辨率；

所述内容标签Tag₁为直接获取或在对该鼠标点击事件进行人工命名后生成；所述内容标签Tag₂为直接获取或在对该键盘事件进行人工命名后生成。

2.存储介质，其特征在于，所述存储介质用于与外部的处理器连接，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1所述的方法。

3.基于知识学习的程式自动编写装置，其特征在于，包括存储器和处理器，所述存储器和处理器通信连接，所述存储器用于保存权利要求1所述的方法，所述处理器用于调用存储器中保存的所述方法进行程式自动编写。