CN114647741A - 工艺自动决策和推理方法、装置、计算机设备及存储介质 - Google Patents

工艺自动决策和推理方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN114647741A
CN114647741A CN202210248263.9A CN202210248263A CN114647741A CN 114647741 A CN114647741 A CN 114647741A CN 202210248263 A CN202210248263 A CN 202210248263A CN 114647741 A CN114647741 A CN 114647741A
Authority
CN
China
Prior art keywords
knowledge
decision
time sequence
constructing
reasoning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210248263.9A
Other languages
English (en)
Inventor
廖丽平
朱柯
蔡君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Polytechnic Normal University
Original Assignee
Guangdong Polytechnic Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Polytechnic Normal University filed Critical Guangdong Polytechnic Normal University
Priority to CN202210248263.9A priority Critical patent/CN114647741A/zh
Publication of CN114647741A publication Critical patent/CN114647741A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本申请属于深度学习领域，涉及一种工艺自动决策和推理方法、装置、计算机设备及存储介质，方法包括步骤：构造零件生产工艺知识库模型；构建零件信息、工艺知识和设备信息三级信息模型，整合生产数据并构建工艺时序知识图谱；从工艺时序知识图谱中提取工艺知识特征；基于工艺知识特征，结合自动决策模型，对生产任务进行拆分，并提取子任务的空间特征，检索零件生产工艺知识库中符合空间特征及时序要求的工艺知识进行工艺决策；采用部分可观测马尔科夫决策过程算法，将工艺时序知识图谱定义为环境，进行工艺推理。对未知的生产工艺进行推理，得到其推理路径后经人工校验，进而更新到工艺时序知识图谱，使工艺知识更加完善。

Description

工艺自动决策和推理方法、装置、计算机设备及存储介质
技术领域
本申请涉及深度学习技术领域，尤其涉及一种工艺自动决策和推理方法、装置、计算机设备及存储介质。
背景技术
智能工艺决策在智能制造系统中的应用是一项具有挑战性的任务。首先，工艺设计是整个现代化产品开发过程中最耗时、最依赖知识积累的任务之一，设计一系列的决策行为。这些行为大多依赖于企业长期的生产积累与个人的知识积累。但是，由于传统的工艺知识组织形式多以关系数据库为主，难以与企业的设备资源和工艺知识相连接，大多数传统工艺决策往往缺乏工艺参数(切削速度、进给量、切削深度等)的支持，这导致传统的工艺决策往往停留在单一特征层面，而无法在生产任务层面进行决策。其次，来自不同领域、学科、企业的众多专家，采用不同的工艺设计系统，将生产知识输入企业工艺知识库中，这些知识有不同的结构和组织形式，这就导致大量异构的工艺知识存储在企业工艺知识库中，这对于计算机进行自动化自动工艺决策是非常困难的。
因此，大量的异构知识和计算资源的不足容易导致错误的工艺决策，从而影响实际生产效率。另外，现有时序知识推理方法大多是基于嵌入技术或者基于传统静态知识图谱推理技术。基于嵌入的技术往往仅在当前实体的附近寻找相似实体，缺乏灵活性，而基于传统静态知识图谱的知识推理无法获取知识间的时间相关性。多数推理算法仅在不同实体的边缘进行隐式推理，不能处理具体的推理路径。
发明内容
本申请实施例的目的在于提出一种工艺自动决策和推理方法、装置、计算机设备及存储介质，以解决大量的异构知识和计算资源的不足容易导致错误的工艺决策，从而影响实际生产效率的问题。
为了解决上述技术问题，本申请提供一种工艺自动决策和推理方法，采用了如下所述的技术方案，包括下述步骤：
构造工艺自动决策和推理相结合的零件生产工艺知识库模型；
构建零件信息、工艺知识和设备信息三级信息模型，整合生产数据并构建工艺时序知识图谱；
采用卷积神经网络CNN算法，从所述工艺时序知识图谱中提取工艺知识特征；
基于所述工艺知识特征，结合自动决策模型，对生产任务进行拆分，并提取子任务的空间特征，检索所述零件生产工艺知识库中符合所述空间特征及时序要求的工艺知识进行工艺决策；
采用部分可观测马尔科夫决策过程算法，将所述工艺时序知识图谱定义为环境，通过策略网络与环境交互，学习历史工艺路径信息，结合奖励函数，进行工艺推理。
优选地，所述构造工艺自动决策和推理相结合的零件生产工艺知识库模型的步骤具体包括：
根据实际生产过程数据，构建生产工艺时序知识图谱；
构造工艺自动决策模型，采用CNN算法提取工艺时序知识图谱四元组的空间特征，结合工艺自动决策模型，进行零件生产工艺自动决策；
构造工艺推理模型，采用POMDP算法进行工艺推理并通过人工校验动态更新工艺知识。
优选地，所述构建零件信息、工艺知识和设备信息三级信息模型，整合工艺知识生产数据并构建工艺时序知识图谱的步骤具体包括：
通过自然语言识别、词性标注和人工干预对零件生产工艺数据进行预处理；
采用STEP-NC对工艺知识进行分类，构建工艺时序知识图谱模式层；
构建零件信息、工艺知识和设备信息三级信息；
对实时生产数据、工艺文档和历史数据，进行命名实体识别以及关系提取，获取零件生产工艺知识；
结合工艺时序知识图谱模式层及所获取的零件生产工艺知识，构建工艺时序知识图谱。
优选地，所述采用卷积神经网络CNN算法，从所述工艺知识工艺时序知识图谱中提取工艺知识特征的步骤具体包括：将工艺时序知识图谱中的实体和关系通过词嵌入得到向量表示；
通过CNN算法提取工艺知识四元组的嵌入表示的空间特征。
优选地，所述基于所述工艺知识特征，结合自动决策模型，对生产任务进行拆分，并提取子任务的空间特征，检索所述零件生产工艺知识库中符合所述空间特征及时序要求的工艺知识进行工艺决策的步骤具体包括：
通过命名实体识别提取生产任务中的任务实体，将任务拆分成若干个子任务；
获取工艺时序知识图谱中的零件信息模型，检索零件特征及属性嵌入；
获取目标零件信息节点，通过Neo4j数据库检索对应零件生产工艺和设备信息并验证时序一致性。
优选地，所述采用部分可观测马尔科夫决策过程算法，将构建的工艺时序知识图谱定义为环境，通过策略网络与环境交互，学习历史工艺路径信息，结合奖励函数，进行工艺推理的步骤具体包括：
利用强化学习框架对工艺推理过程进行建模；
将工艺时序知识图谱定义为一个五元组(S，O，A，P，R)其中，S表示状态，O表示观测值，A表示动作，P表示转移概率，R表示奖励；
将奖励函数分为全局奖励和路径奖励，降低全局奖励，提高智能体探索新关系的可能性；
智能体采用长短期记忆网络将路径历史信息编码为连续向量；
采用蒙特卡洛策略梯度最大化累积奖励；
采用近似梯度更新策略网络参数。
为了解决上述技术问题，本申请还提供一种工艺自动决策和推理装置，采用了如下所述的技术方案，包括：
构造模块，用于构造工艺自动决策和推理相结合的零件生产工艺知识库模型；
整合模块，用于构建零件信息、工艺知识和设备信息三级信息模型，整合生产数据并构建工艺时序知识图谱；
提取模块，用于采用卷积神经网络CNN算法，从所述工艺时序知识图谱中提取工艺知识特征；
决策模块，用于基于所述工艺知识特征，结合自动决策模型，对生产任务进行拆分，并提取子任务的空间特征，检索所述零件生产工艺知识库中符合所述空间特征及时序要求的工艺知识进行工艺决策；
推理模块，用于采用部分可观测马尔科夫决策过程算法，将所述工艺时序知识图谱定义为环境，通过策略网络与环境交互，学习历史工艺路径信息，结合奖励函数，进行工艺推理。
优选地，所述构造模块具体包括：
知识图谱构建模块，用于根据实际生产过程数据，构建生产工艺时序知识图谱；
自动决策模型构造模块，用于构造工艺自动决策模型，采用CNN算法提取工艺时序知识图谱四元组的空间特征，结合工艺自动决策模型，进行零件生产工艺自动决策；
工艺推理模型构造模块，用于构造工艺推理模型，采用POMDP算法进行工艺推理并通过人工校验动态更新工艺知识。
为了解决上述技术问题，本申请还提供一种计算机设备，采用了如下所述的技术方案，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现上述的工艺自动决策和推理方法的步骤。
为了解决上述技术问题，本申请还提供一种计算机可读存储介质，采用了如下所述的技术方案，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现上述的工艺自动决策和推理方法的步骤。
与现有技术相比，本申请主要有以下有益效果：采用时序知识图谱对工艺数据进行整合，集成了海量工艺文档的工艺知识，在原有知识的基础上结合时间信息，使得工艺知识管理具有动态性；在自动决策阶段，采用CNN算法提取知识的特征，结合自动决策模型，将生产任务拆分并检索工艺时序知识图谱中符合生产任务的生产工艺及设备信息，在精确决策的同时能够有效提升系统决策相应速率；将基于深度学习的工艺自动决策方法和基于POMDP的工艺推理相结合，在基于工艺决策的基础上，对未知的生产工艺进行推理，得到其推理路径后经人工校验，进而更新到工艺时序知识图谱，使工艺知识更加完善。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性系统架构图；
图2是本申请的工艺自动决策和推理方法的一个实施例的流程图；
图3是本申请的工艺自动决策和推理方法架构示意图；
图4是本申请的工艺时序知识图谱PTKG卷积过程；
图5是本申请的工艺自动决策流程图；
图6是本申请的工艺时序知识图谱三级信息模型；
图7是本申请的部分可观察的马尔可夫决策过程算法模型；
图8是本申请的工艺自动决策和推理装置的一个实施例的结构示意图；
图9是本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示，系统架构100可以包括第一终端设备101、第二终端设备102、第三终端设备103，网络104和服务器105。网络104用以在第一终端设备101、第二终端设备102、第三终端设备103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用第一终端设备101、第二终端设备102、第三终端设备103通过网络104与服务器105交互，以接收或发送消息等。第一终端设备101、第二终端设备102、第三终端设备103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
第一终端设备101、第二终端设备102、第三终端设备103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture E工艺自动决策和推理perts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture E工艺自动决策和推理perts Group AudioLayer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对第一终端设备101、第二终端设备102、第三终端设备103上显示的页面提供支持的后台服务器。
需要说明的是，本申请实施例所提供的工艺自动决策和推理方法一般由服务器/终端设备执行，相应地，工艺自动决策和推理装置一般设置于服务器/终端设备中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
实施例一
继续参考图2，示出了本申请的工艺自动决策和推理方法的一个实施例的流程图。所述的工艺自动决策和推理方法，包括以下步骤：
步骤S201、构造工艺自动决策和推理相结合的零件生产工艺知识库模型。
在本实施例中，工艺自动决策和推理方法运行于其上的电子设备(例如图1所示的服务器/终端设备)可以通过有线连接方式或者无线连接方式接收工艺自动决策和推理请求。需要指出的是，上述无线连接方式可以包括但不限于3G/4G/5G连接、WiFi连接、蓝牙连接、WiMA工艺自动决策和推理连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
图3是本申请的工艺自动决策和推理方法架构示意图。如图3所示，工艺自动决策和推理方法架构，包括首先构造工艺自动决策和工艺推理相结合的工艺知识库；其次构建零件信息-工艺知识-设备信息三级信息模型整合工艺知识；再次采用卷积神经网络CNN算法提取工艺知识特征；再次基于工艺知识特征，结合自动决策模型，对生产任务进行拆分并提取特征，检索知识库中匹配的工艺知识进行工艺决策；最后采用POMDP算法，将构建的工艺时序知识图谱定义为环境，通过策略网络与环境交互，学习工艺历史路径信息，结合新的奖励函数，进行工艺推理。对实时生产数据、工艺文档和历史数据进行命名实体识别以及关系提取，获取其中的工艺知识，通过构建的零件信息-工艺知识-设备信息三级信息模型对工艺知识进行整合，得到工艺时序知识图谱。将工艺时序知识图谱中的四元组输入CNN算法提取其特征，结合工艺决策模型，检索符合实际生产任务需求和时序要求的工艺信息，实现工艺自动决策。基于工艺时序知识图谱，结合POMDP算法，将所有知识定义为环境，对给定四元组通过策略网络学习其路径信息，最终到达目的实体，实现工艺路径推理。
在本实施例的一些可选的实现方式中，步骤S201具体包括：
S2011、根据实际生产过程数据，构建生产工艺时序知识图谱。
实际生产过程中，会生产大量半结构化和非结构化的数据。这些大量半结构化和非结构化的数据具有极大的使用价值，可以转化为结构化知识。构建生产工艺时序知识图谱的目的在于整合生产工艺资源。首先，获取生产过程中的历史数据、工艺文件数据和实时工艺数据。其次，采用深度学习算法提取实体和关系，对工艺相关信息进行知识融合处理，建立工艺知识三级信息模型，对零件信息、工艺知识和设备资源进行重组，并结合时间信息构建一个工艺时序知识图谱(PTKG)。
将PTKG的本体形式化定义为：
O＝＜Mpart-inf，Mpocess-inf，Mdevice-inf，R，T＞
其含义如下：
定义1：零件信息模型(Mpart-inf)。零件信息模型本质上由n个加工特征组成。公式如下:
Figure BDA0003545915300000091
其中Fi表示模型中的第i个特征。Fi的公式如下所示：
Fi＝<Ginf，PRinf，PAinf，PRinf，FPTinf>
Ginf表示特征Fi的几何信息，包括主要特征和辅助特征；PRinf表示特征Fi的工艺需求信息，包括精度等级、表面粗糙度等属性；PAinf表示零件特征Fi的辅助信息，包括材料属性和其它属性；FRinf表示零件特征Fi与几何信息、工艺需求和辅助信息的关系；FPTinf表示零件特征Fi与其属性和工艺需求的时间关系。
定义2：工艺信息模型(Mpocess-inf)。是基于工艺文档中的专家经验知识与已有的设计标准，主要由零件成产工艺细节以及所需设备资源组成。公式如下：
Figure BDA0003545915300000101
其中Pi表示工艺信息模型的第i个工艺。Pi的公式如下所示：
Pi＝<POinf，PSinf，PDinf，PRinf，PTinf>。
POinf表示工艺Pi的具体操作，包括工具、夹具、量规和传感器等；PSinf表示工艺Pi的已经确定的设计标准；PDinf表示工艺Pi所需使用的设备；PRinf表示工艺Pi与具体操作和设备之间的关系；PDTinf表示工艺Pi与具体操作和设备之间的时间关系。
定义3：设备信息模型(Mdevice-inf)。是生产零件所需要的底层设备资源，如车床、数控铣床等。公式如下：
Figure BDA0003545915300000102
Di表示设备信息模型的第i个设备，Di的公式如下所示：
Di＝<MDinf，DOinf，DRinf，DTinf>
其中MDinf表示当前工艺下设备Di的参数信息和材料信息；DOinf表示设备Di的操作员信息；DRinf表示设备Di与其参数和操作员的关系；DTinf表示设备Di与其参数和操作员的时间关系。
R，T分别表示零件信息、工艺知识和设备资源的关系和时间信息。为了减少时间信息的冗余，同时利于进行时间感知的工艺决策，仅在零件信息与工艺知识，工艺知识与设备信息动态更新时间信息，而零件、工艺和设备的属性特征相对固定，故其时间信息设置为：“/”。
为了让计算机获得更好的知识提取效果，将工艺知识进行分类，具体分类如表1所示：
表1知识分类和示例
知识类别 符号表示 示例
零件特征 F 轴；孔；端面；槽
加工方法 M 粗加工；粗车削
设备 E 车床；钻床；铣床
切削元件 CE 进给量；后切深度
材料 MT 碳钢；白钢
特征属性 FA 精度等级；表面粗糙度
设备属性 EA 主轴转速；最大切割长度
材料属性 MTA 热传导性；光泽；硬度
工艺参数 PP 进给量；2mm
图4是本申请的PTKG卷积过程。如图4所示，基于PTKG的事实四元组输入到CNN的卷积层进行学习实体和关系嵌入，将实体和关系嵌入向量空间后到得了它们的矢量形式，对于每个嵌入的四元组(h,r,e,t)的嵌入表示为一个矩阵
Figure BDA0003545915300000111
k代表嵌入的维度，通过卷积核
Figure BDA0003545915300000112
滑动到输入的矩阵A上提取其高级特征，对矩阵A的每一行重复运算ω，生成一个特征映射
Figure BDA0003545915300000113
其中vi＝g(ω·Ai，:+b)，其中
Figure BDA0003545915300000114
为矩阵A的第i行，
Figure BDA0003545915300000115
为偏置，g为激活函数ReLU，最终通过向量点乘得到四元组(h,r,e,t)的嵌入特征。
S2012、构造工艺自动决策模型，采用CNN算法提取工艺时序知识图谱四元组的空间特征，结合工艺自动决策模型，进行零件生产工艺自动决策。
从语义及属性对节点进行相似匹配，本步骤充分考虑了节点语义和实际属性需求，能够解决知识库中的异构问题，并且能够提高工艺推理方案的准确性和效率。
图5是本申请的工艺自动决策流程图。如图5所示，为了进行准确的工艺决策，需要解决相关工艺知识节点的概念、语义匹配以及时序一致性等问题。因此，对于待决策的零件或者特征节点，从概念、属性等不同角度对节点进行初步的嵌入相似度评估，可以实现嵌入节点到工艺知识节点的正确映射。
第一步：任务概念嵌入，任务概念嵌入可以有效解决概念异构问题。首先使用开源工具BERT训练每个词的嵌入特征，然后采用CNN算法将任务嵌入向量空间，若无法找到空间中对应的零件实体，则将该任务新增为PTKG中的节点并添加其特征和属性。否则，进行下一步的特征和属性的嵌入判断。
第二步：属性判断。仅仅考虑简单的概念异构无法满足准确决策的要求，零件的属性也会影响工艺决策过程。因此，工艺决策应该考虑节点每个属性的要求，将每个属性嵌入向量空间并匹配到准确的零件知识节点。
第三步：工艺决策。匹配到准确的零件知识节点后通过图形数据库Neo4j的Cypher进行关系推理，并结合时序一致性判断，进一步得到零件所需的工艺知识与设备信息。
S2013、构造工艺推理模型，采用POMDP算法进行工艺推理并通过人工校验动态更新工艺知识。
首先利用强化学习框架对路径推理过程进行建模，把环境定义为工艺时序知识图谱上的部分可观察的马尔可夫决策过程(POMDP)，我们将POMDP定义为一个五元组(S，O，A，P，R)，其中每个组成部分如下所示：
S(状态)：有效连续状态空间S，每个状态s∈S表示为s＝(et，es，r，eo，t)，et表示当前实体，es和eo分别表示起始实体和目标实体，r表示es和eo在t时刻的关系。
O(观察值)：整体环境是不可观察的，智能体仅转移当前位置和任务。将观察函数定义为O(s(et，es，r，eo，t))＝(et，es，r，t)。
A(动作)：动作空间定义为状态s中的当前实体et的所有可能的关系和时间的集合，即As＝{(r，t|s)}，在此基础上添加一个自循环操作，当智能体选择到边界实体时，可以使智能体在给定步骤数内到达目标实体。
P(转移)：转译函数P，形式上P(s，a)＝(v，es，r，eO，t)，表示环境通过智能体将状态更新到新的状态节点，v为智能体当前所在的状态节点。
R(奖励)：本文将奖励函数定义为两部分：
第一部分为基本奖励：
Figure BDA0003545915300000131
第二部分为路径奖励：
R2＝σ(f(es，et))
其中σ(x)为tanh函数，f(x，y)表示实体x到实体y的推理路径，为实体点积，路径奖励对推理路径进行评分，适当降低了推理路径的整体奖励，进一步提高了探索新关系的概率。
结合两部分奖励：
R＝λ1R1+λ2R2 λ1，λ2∈[0，1]。
与环境交互的策略网络，在给定的PTKG中，定义实体对(es，eo)之间的多条推理路径：P＝{p1，p2，...，pm}，其中p＝{es，r0：t0，e1，r1：t10，，...，rk-1：tk-1，eO}，‘:’表示向量连接。
基于长短期记忆(LSTM)的智能体将历史信息Ht编码为连续向量ht，Ht＝(At-1，Ot，Ht-1)＝(rt-1：tt-1，Ot，Ht-1)是过去的动作和观察的序列。我们仍然采用基于CNN的实体和关系嵌入向量，分别定义为e，r，t。
动态更新LSTM：
h0＝LSTM(as；os，0)；
ht＝LSTM(at-1；ot，ht-1)，t＞0；
其中as为起始实体es的动作向量，os为起始观察值，at-1＝(rt-1，tt-1)为t-1时刻的关系和时间的向量表示。ot为t时刻的观察值。
基于当前观察值ot和当前历史向量ht，神经网络选择当前条件下的关系和时间作为输出动作。该神经网络为两层前馈网络，并使用softmax函数进行规范化。策略网络的定义如下：
πθ(at|ot)＝softmax(W1ReLU(W2[ot：ht]))
其中W1和W2为两层前馈网络的权重矩阵，ot，ht分别为r时刻的观察值向量和历史向量。
环境存储所有的包括实体向量、关系向量、时间向量等，给定一个缺失的四元组(e，r，h，t)，初始化当前向量s1，并将观察函数得到的观察值o1传递给策略网络中的智能体，智能体在环境中通过动作a1将状态转换为s2，计算该推理路径的奖励，形成环境和智能体的迭代，最后，训练过程将通过以下两个公式得到整个推理路径的奖励。
对于策略网络，我们使用蒙特卡洛策略梯度来来最大化累积奖励：
Figure BDA0003545915300000141
其中J(θ)为一次循环的奖励，第一个期望E为训练数据集的平均值，第二个期望E为多个训练样本的近似值。D代表PTKG中观察到的真实四元组(et，rc，v，tc)，
Figure BDA0003545915300000151
表示在状态s中采用动作a的整体奖励。
采用近似梯度更新策略网络参数：
Figure BDA0003545915300000152
步骤S202、构建零件信息、工艺知识和设备信息三级信息模型，整合生产数据并构建工艺时序知识图谱。
在本实施例中，步骤S202具体还可以包括步骤：
步骤S2021、通过自然语言识别、词性标注和人工干预对零件生产工艺数据进行预处理。
采用自然语言识别工具Langid对工艺文档进行语言识别。采用jieba分词的精确模式，对工艺文本进行分词处理。对分词结果进行人工审核，确保数据的完整性与准确性。
步骤S2022、采用STEP-NC对工艺知识进行分类，构建工艺时序知识图谱模式层。
可以以国际工业标准STEP-NC为基础，将标准中的加工工艺相关概念和关系映射到工艺时序知识图谱的模式层；采用BIO标注根据映射结果对工艺知识进行人工标注。
步骤S2023、构建零件信息、工艺知识和设备信息三级信息模型。
根据实际生产工艺流程，可将其分为：
1、确定目标零件的基本属性信息；
2、各属性所对应是生产工艺信息；
3、各生产工艺所需设备及其生产参数；
4、根据生产流程自上而下构建三级信息模型。
步骤S2024、对实时生产数据、工艺文档和历史数据，进行命名实体识别以及关系提取，获取零件生产工艺知识。
1、采用BERT-BiLSTM-CRF模型进行命名实体识别，得到实时生产数据、工艺文档和历史数据中的零件、工艺和设备相关实体；
2、采用BiLSTM-Attention模型进行关系提取，得到相关实体间的关系。
步骤S2025、结合工艺时序知识图谱模式层及所获取的零件生产工艺知识，构建工艺时序知识图谱。
工艺时序知识图谱模式层就是实体和关系的类别总和，例如：本专利包括的零件知识、工艺知识以及设备知识，将实体分为这三个大类；实体间的关系可以有属性、材料、加工方法等。将命名实体识别和关系提取得到的实体及其关系补充到模式层；通过知识映射将得到的工艺知识映射至图数据库Neo4j进行存储。
图6是本申请的工艺时序知识图谱三级信息模型。如图6所示，根据零件信息模型(Mpart-inf)、工艺信息模型(Mpocess-inf)和设备信息模型(Mdevice-inf)，建立了三级信息。如零件1的特征1、工艺1、设备1，特征1又具有尺寸、几何信息、材料、标识符等属性信息。工艺1又具有工具、操作、传感器、设计标准等属性信息。设备1又具有规格、属性、参数、做作业等属性信息。
面向机械加工领域，通过由矢量表达、双向长短期记忆(BiLSTM)层和条件随机场(CRF)层组成的多级神经网络BERT-BiLSTM-CRF协作实现加工领域的命名实体识别，和由BiLSTM和注意力机制(Attention)组成的关系提取模型，实现加工领域知识提取。此外，由于加工领域的工艺文档以散乱、复杂、不规则的形式排列，如果直接使用知识提取方法，很难获得满意的知识抽取结果。为此，与通用领域的自然语言处理一致，对数据文本进行预处理。具体步骤如下：
步骤1：在进行文本处理之前，有必要检查工艺文本是否是有意义的语言。我们使用Langid自然语言识别工具，其精度较高，但速度稍慢。
步骤2：分句/词性标注。系统使用了Jieba分词工具。此外，系统使用了SnowNLP和PkuSeg作为辅助工具，使标签更加准确。
步骤3：考虑了工艺文本中的一般情况，即无法确认数据集中是否存在敏感信息。因此，采用Cherry分类器对数据进行二次筛选，防止模型恶化。
步骤4：专家和工艺人员提供的工艺文档往往具有很强的时效性。因此，考虑到工艺文档能否实际应用，还需要结合实际生产车间的加工资源库，对加工工艺涉及的工艺设备进行检查，确保设备资源符合最新的生产工艺。
步骤S203，采用卷积神经网络CNN算法，从所述工艺时序知识图谱中提取工艺知识特征。
在本实施例中，步骤S203还可以包括步骤：
步骤S2031、将工艺时序知识图谱中的实体和关系通过词嵌入得到向量表示。
采用BERT模型将工艺知识图谱中的实体和关系转换为词向量表示。
步骤S2032、通过CNN算法提取工艺知识四元组的嵌入表示的空间特征。
1、将工艺时序知识图谱中的四元组转换为词向量并组合成4x4矩阵；
2、通过CNN算法对矩阵每行进行卷积运算，最后通过向量运算得到四元组的空间特征。
步骤S204，基于所述工艺知识特征，结合自动决策模型，对生产任务进行拆分，并提取子任务的空间特征，检索所述零件生产工艺知识库中符合所述空间特征及时序要求的工艺知识进行工艺决策。
在本实施例中，步骤S204还可以包括步骤：
步骤S2041、通过命名实体识别提取生产任务中的任务实体，将任务拆分成若干个子任务。
采用步骤S2024所提BERT-BiLSTM-CRF对生产任务进行命名实体识别，识别其中的零件实体及其时间信息，若识别多个零件实体则将任务拆分成若干个子任务。
步骤S2042、获取工艺时序知识图谱中的零件信息模型，检索零件特征及属性嵌入。
提取工艺时序知识图谱中的所有零件信息模型，模型中包括所有零件实体及其属性信息，在模型中检索目标零件信息，对比模型和任务中的零件特征和属性嵌入是否匹配，进而确认模型中是否包括生产任务中零件实体信息。
步骤S2043、获取目标零件信息节点，通过Neo4j数据库检索对应零件生产工艺和设备信息并验证时序一致性。
1、成功匹配生产任务中的零件实体后，得到其在数据库中的位置信息；
2、通过零件信息模型和工艺信息模型间的关系，在Neo4j数据库中检索对应的工艺信息，并验证时间信息是否匹配。
图数据库Neo4j是一个非关系型图数据库系统，使用图表示节点和节点之间的关系。节点代表实体，关系代表了实体之间的关联。Neo4j将现实世界场景中的关联数据表现为网络状图。可以使用Neo4j的Cypher语言，把上文中抽取的实体和实体关系数据进行存储和整合。
步骤S205、采用部分可观测马尔科夫决策过程算法，将所述工艺时序知识图谱定义为环境，通过策略网络与环境交互，学习历史工艺路径信息，结合奖励函数，进行工艺推理。
在本实施例的一些可选的实现方式中，步骤205具体还可以执行以下步骤：
步骤S2051、利用强化学习框架对工艺推理过程进行建模。
采用强化学习的思想，将工艺推理过程建模为一个智能体与环境交互的过程，智能体通过与环境交互，累计各个动作下得到的奖励，并记录最大奖励下的动作集合，得到最终的工艺推理路径。
步骤S2052、将工艺时序知识图谱定义为一个五元组(S，O，A，P，R)其中，S表示状态，O表示观测值，A表示动作，P表示转移概率，R表示奖励。
1、环境状态S：整个环境状态空间S是由问题、答案及当前推理的位置向量决定的，当前状态S＝(当前实体，起始实体，关系，目标实体)，其中的所有节点和关系均为工艺时序知识图谱嵌入向量表示；
2、观测值O：智能体只能看到当前的推理位置(即当前实体)和要回答的问题(起始实体，关系)，因此观测值O＝(当前实体，起始实体，关系)；
3、动作空间A：每一时刻t、状态S的动作空间A都是当前状态可以到达的节点与经过的关系的集合，A＝(当前实体，关系，可达到实体)；
4、转移概率矩阵P：表示智能体从当前实体转移到下一实体的概率；
5、奖励函数R：奖励分为全局奖励和路径奖励，如果达到目标实体则全局奖励为+，未达到为-，路径奖励是对当前推理路径的评分，适当降低全局路径，提高智能体探索新实体的可能性。
步骤S2053、将奖励函数分为全局奖励和路径奖励，降低全局奖励，提高智能体探索新关系的可能性。
全局奖励针对智能体是否达到目标实体，而路径奖励则针对智能体推理过程进行实时评分，二者结合既能实时获得智能体推理路径的好坏也能提高其探索新路径的可能性。
步骤S2054、智能体采用长短期记忆网络将路径历史信息编码为连续向量。
利用LSTM对时间序列数据的敏感性，能够有效结合当前状态与推理路径的历史信息，提升智能体对环境的感知能力，提高推理效率。
步骤S2055、采用蒙特卡洛策略梯度最大化累积奖励。
最大化累积推理路径的奖励，帮助智能体通过学习每种动作下的奖励，利于智能体针对各种状态做出最大奖励的动作，从而得到最优推理路径。
步骤S2056、采用近似梯度更新策略网络参数。
将智能体选择的动作得到的当前实体与目标实体计算loss，将loss通过神经网络的反向传播，实时更新网络参数，达到优化策略网络的效果。
图7是本申请的部分可观察的马尔可夫决策过程算法模型。如图7所示，输入：由实体向量集{e1，e2，...}、关系向量集{r1，r2，...}和时间向量集{t1，t2，...}组成的4元组向量(es，r，？，t)。
输出：完整推理路径p：{es，r0：t0，e1，r1：t10，，...，rk-1：tk-1，e0}和最大期望累积奖励g。
1、for episode←1 to N do N次循环，表示策略网络训练N次。；
2、初始化：状态向量S：si←s0将状态向量初始化为S0。
3、初始化：路径长度length←0初始化当前路径长度为0。
4、获取观察向量O：ot←o(st)通过状态向量获得当前观测值。
5、设置历史向量ht-1←0，动作向量at-1←0将历史向量和动作向量分别设置为0。
6、While length＜max_length do max_length为最大路径长度，length为当前路径长度。
7、更新历史向量：ht←LSTM(at-1；ot，ht-1)将动作向量和观测值输入LSTM得到当前历史向量。
8、获取动作向量：at(rt：tt)←πθ(at|ot)将动作向量和观测值输入策略网络，得到当前实体下的动作向量。
9、观察奖励R：Rt←λ1R1+λ2R2，下一状态st+1根据当前动作得到全局奖励和路径奖励并结合得到整体奖励R，根据t时刻的动作向量得到t+1时刻的状态向量。
10、获取观察向量：ot+1←o(st+1)根据当前状态向量得到当前观测值。
11、递增length推理路径长度+1。
12、更新参数θ根据预测实体和目标实体计算loss并将loss反向传播更新策略网络的参数。
13、
Figure BDA0003545915300000221
更新参数的计算方法。
14、end for结束训练。
采用本实施例，采用时序知识图谱对工艺数据进行整合，集成了海量工艺文档的工艺知识，在原有知识的基础上结合时间信息，使得工艺知识管理具有动态性；在自动决策阶段，采用CNN算法提取知识的特征，结合自动决策模型，将生产任务拆分并检索工艺时序知识图谱中符合生产任务的生产工艺及设备信息，在精确决策的同时能够有效提升系统决策相应速率；将基于深度学习的工艺自动决策方法和基于POMDP的工艺推理相结合，在基于工艺决策的基础上，对未知的生产工艺进行推理，得到其推理路径后经人工校验，进而更新到工艺时序知识图谱，使工艺知识更加完善。
本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
实施例二
进一步参考图8，作为对上述图2所示方法的实现，本申请提供了一种工艺自动决策和推理装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图8所示，本实施例所述的工艺自动决策和推理装置400包括：构造模块401、整合模块402、提取模块403、决策模块404和推理模块405。其中：
构造模块401，用于构造工艺自动决策和推理相结合的零件生产工艺知识库模型；
整合模块402，用于构建零件信息、工艺知识和设备信息三级信息模型，整合生产数据并构建工艺时序知识图谱；
提取模块403，用于采用卷积神经网络CNN算法，从所述工艺时序知识图谱中提取工艺知识特征；
决策模块404，用于基于所述工艺知识特征，结合自动决策模型，对生产任务进行拆分，并提取子任务的空间特征，检索所述零件生产工艺知识库中符合所述空间特征及时序要求的工艺知识进行工艺决策；
推理模块405，用于采用部分可观测马尔科夫决策过程算法，将所述工艺时序知识图谱定义为环境，通过策略网络与环境交互，学习历史工艺路径信息，结合奖励函数，进行工艺推理。
在本实施例中，所述构造模块401具体包括：
知识图谱构建模块，用于根据实际生产过程数据，构建生产工艺时序知识图谱；
自动决策模型构造模块，用于构造工艺自动决策模型，采用CNN算法提取工艺时序知识图谱四元组的空间特征，结合工艺自动决策模型，进行零件生产工艺自动决策；
工艺推理模型构造模块，用于构造工艺推理模型，采用POMDP算法进行工艺推理并通过人工校验动态更新工艺知识。
采用本实施例，采用时序知识图谱对工艺数据进行整合，集成了海量工艺文档的工艺知识，在原有知识的基础上结合时间信息，使得工艺知识管理具有动态性；在自动决策阶段，采用CNN算法提取知识的特征，结合自动决策模型，将生产任务拆分并检索工艺时序知识图谱中符合生产任务的生产工艺及设备信息，在精确决策的同时能够有效提升系统决策相应速率；将基于深度学习的工艺自动决策方法和基于POMDP的工艺推理相结合，在基于工艺决策的基础上，对未知的生产工艺进行推理，得到其推理路径后经人工校验，进而更新到工艺时序知识图谱，使工艺知识更加完善。
实施例三
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图9，图9为本实施例计算机设备基本结构框图。
所述计算机设备6包括通过系统总线相互通信连接存储器61、处理器62、网络接口63。需要指出的是，图中仅示出了具有组件存储器61、处理器62和网络接口63的计算机设备6，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器61至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或D工艺自动决策和推理存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器61可以是所述计算机设备6的内部存储单元，例如该计算机设备6的硬盘或内存。在另一些实施例中，所述存储器61也可以是所述计算机设备6的外部存储设备，例如该计算机设备6上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器61还可以既包括所述计算机设备6的内部存储单元也包括其外部存储设备。本实施例中，所述存储器61通常用于存储安装于所述计算机设备6的操作系统和各类应用软件，例如工艺自动决策和推理方法的计算机可读指令等。此外，所述存储器61还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器62在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器62通常用于控制所述计算机设备6的总体操作。本实施例中，所述处理器62用于运行所述存储器61中存储的计算机可读指令或者处理数据，例如运行所述工艺自动决策和推理方法的计算机可读指令。
所述网络接口63可包括无线网络接口或有线网络接口，该网络接口63通常用于在所述计算机设备6与其他电子设备之间建立通信连接。
采用本实施例，采用时序知识图谱对工艺数据进行整合，集成了海量工艺文档的工艺知识，在原有知识的基础上结合时间信息，使得工艺知识管理具有动态性；在自动决策阶段，采用CNN算法提取知识的特征，结合自动决策模型，将生产任务拆分并检索工艺时序知识图谱中符合生产任务的生产工艺及设备信息，在精确决策的同时能够有效提升系统决策相应速率；将基于深度学习的工艺自动决策方法和基于POMDP的工艺推理相结合，在基于工艺决策的基础上，对未知的生产工艺进行推理，得到其推理路径后经人工校验，进而更新到工艺时序知识图谱，使工艺知识更加完善。
实施例四
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的工艺自动决策和推理方法的步骤。
采用本实施例，采用时序知识图谱对工艺数据进行整合，集成了海量工艺文档的工艺知识，在原有知识的基础上结合时间信息，使得工艺知识管理具有动态性；在自动决策阶段，采用CNN算法提取知识的特征，结合自动决策模型，将生产任务拆分并检索工艺时序知识图谱中符合生产任务的生产工艺及设备信息，在精确决策的同时能够有效提升系统决策相应速率；将基于深度学习的工艺自动决策方法和基于POMDP的工艺推理相结合，在基于工艺决策的基础上，对未知的生产工艺进行推理，得到其推理路径后经人工校验，进而更新到工艺时序知识图谱，使工艺知识更加完善。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种工艺自动决策和推理方法，其特征在于，包括下述步骤：
构造工艺自动决策和推理相结合的零件生产工艺知识库模型；
构建零件信息、工艺知识和设备信息三级信息模型，整合生产数据并构建工艺时序知识图谱；
采用卷积神经网络CNN算法，从所述工艺时序知识图谱中提取工艺知识特征；
基于所述工艺知识特征，结合自动决策模型，对生产任务进行拆分，并提取子任务的空间特征，检索所述零件生产工艺知识库中符合所述空间特征及时序要求的工艺知识进行工艺决策；
采用部分可观测马尔科夫决策过程算法，将所述工艺时序知识图谱定义为环境，通过策略网络与环境交互，学习历史工艺路径信息，结合奖励函数，进行工艺推理。
2.根据权利要求1所述的工艺自动决策和推理方法，其特征在于，所述构造工艺自动决策和推理相结合的零件生产工艺知识库模型的步骤具体包括：
根据实际生产过程数据，构建生产工艺时序知识图谱；
构造工艺自动决策模型，采用CNN算法提取工艺时序知识图谱四元组的空间特征，结合工艺自动决策模型，进行零件生产工艺自动决策；
构造工艺推理模型，采用POMDP算法进行工艺推理并通过人工校验动态更新工艺知识。
3.根据权利要求1所述的工艺自动决策和推理方法，其特征在于，所述构建零件信息、工艺知识和设备信息三级信息模型，整合工艺知识生产数据并构建工艺时序知识图谱的步骤具体包括：
通过自然语言识别、词性标注和人工干预对零件生产工艺数据进行预处理；
采用STEP-NC对工艺知识进行分类，构建工艺时序知识图谱模式层；
构建零件信息、工艺知识和设备信息三级信息；
对实时生产数据、工艺文档和历史数据，进行命名实体识别以及关系提取，获取零件生产工艺知识；
结合工艺时序知识图谱模式层及所获取的零件生产工艺知识，构建工艺时序知识图谱。
4.根据权利要求1所述的工艺自动决策和推理方法，其特征在于，所述采用卷积神经网络CNN算法，从所述工艺知识工艺时序知识图谱中提取工艺知识特征的步骤具体包括：将工艺时序知识图谱中的实体和关系通过词嵌入得到向量表示；
通过CNN算法提取工艺知识四元组的嵌入表示的空间特征。
5.根据权利要求1所述的工艺自动决策和推理方法，其特征在于，所述基于所述工艺知识特征，结合自动决策模型，对生产任务进行拆分，并提取子任务的空间特征，检索所述零件生产工艺知识库中符合所述空间特征及时序要求的工艺知识进行工艺决策的步骤具体包括：
通过命名实体识别提取生产任务中的任务实体，将任务拆分成若干个子任务；
获取工艺时序知识图谱中的零件信息模型，检索零件特征及属性嵌入；
获取目标零件信息节点，通过Neo4j数据库检索对应零件生产工艺和设备信息并验证时序一致性。
6.根据权利要求1至5任意一项所述的工艺自动决策和推理方法，其特征在于，所述采用部分可观测马尔科夫决策过程算法，将构建的工艺时序知识图谱定义为环境，通过策略网络与环境交互，学习历史工艺路径信息，结合奖励函数，进行工艺推理的步骤具体包括：
利用强化学习框架对工艺推理过程进行建模；
将工艺时序知识图谱定义为一个五元组(S，O，A，P，R)其中，S表示状态，O表示观测值，A表示动作，P表示转移概率，R表示奖励；
将奖励函数分为全局奖励和路径奖励，降低全局奖励，提高智能体探索新关系的可能性；
智能体采用长短期记忆网络将路径历史信息编码为连续向量；
采用蒙特卡洛策略梯度最大化累积奖励；
采用近似梯度更新策略网络参数。
7.一种工艺自动决策和推理装置，其特征在于，包括：
构造模块，用于构造工艺自动决策和推理相结合的零件生产工艺知识库模型；
整合模块，用于构建零件信息、工艺知识和设备信息三级信息模型，整合生产数据并构建工艺时序知识图谱；
提取模块，用于采用卷积神经网络CNN算法，从所述工艺时序知识图谱中提取工艺知识特征；
决策模块，用于基于所述工艺知识特征，结合自动决策模型，对生产任务进行拆分，并提取子任务的空间特征，检索所述零件生产工艺知识库中符合所述空间特征及时序要求的工艺知识进行工艺决策；
推理模块，用于采用部分可观测马尔科夫决策过程算法，将所述工艺时序知识图谱定义为环境，通过策略网络与环境交互，学习历史工艺路径信息，结合奖励函数，进行工艺推理。
8.根据权利要求7所述的工艺自动决策和推理方法，其特征在于，所述构造模块具体包括：
知识图谱构建模块，用于根据实际生产过程数据，构建生产工艺时序知识图谱；
自动决策模型构造模块，用于构造工艺自动决策模型，采用CNN算法提取工艺时序知识图谱四元组的空间特征，结合工艺自动决策模型，进行零件生产工艺自动决策；
工艺推理模型构造模块，用于构造工艺推理模型，采用POMDP算法进行工艺推理并通过人工校验动态更新工艺知识。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至6中任一项所述的工艺自动决策和推理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至6中任一项所述的工艺自动决策和推理方法的步骤。
CN202210248263.9A 2022-03-14 2022-03-14 工艺自动决策和推理方法、装置、计算机设备及存储介质 Pending CN114647741A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210248263.9A CN114647741A (zh) 2022-03-14 2022-03-14 工艺自动决策和推理方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210248263.9A CN114647741A (zh) 2022-03-14 2022-03-14 工艺自动决策和推理方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN114647741A true CN114647741A (zh) 2022-06-21

Family

ID=81993704

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210248263.9A Pending CN114647741A (zh) 2022-03-14 2022-03-14 工艺自动决策和推理方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN114647741A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115640758A (zh) * 2022-12-23 2023-01-24 南京维拓科技股份有限公司 一种基于知识构建的三维模型数模质检方法
CN116629585A (zh) * 2023-07-24 2023-08-22 南昌大学 一种运用本体的工艺管理系统及其方法
CN116956750A (zh) * 2023-09-19 2023-10-27 山东山大华天软件有限公司 基于知识图谱的零件工艺设计方法、系统、介质及设备
CN117583653A (zh) * 2024-01-18 2024-02-23 北京航空航天大学 零件铣削工艺自动生成的数据处理方法、设备及存储介质
CN117612145A (zh) * 2023-12-15 2024-02-27 上海青翼工业软件有限公司 一种零件自动加工方法、装置、计算机设备及存储介质
CN117649107A (zh) * 2024-01-29 2024-03-05 上海朋熙半导体有限公司 自动决策节点创建方法、装置、系统及可读介质
CN117649107B (zh) * 2024-01-29 2024-05-14 上海朋熙半导体有限公司 自动决策节点创建方法、装置、系统及可读介质

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115640758A (zh) * 2022-12-23 2023-01-24 南京维拓科技股份有限公司 一种基于知识构建的三维模型数模质检方法
CN115640758B (zh) * 2022-12-23 2023-03-28 南京维拓科技股份有限公司 一种基于知识构建的三维模型数模质检方法
CN116629585A (zh) * 2023-07-24 2023-08-22 南昌大学 一种运用本体的工艺管理系统及其方法
CN116629585B (zh) * 2023-07-24 2023-09-19 南昌大学 一种运用本体的工艺管理系统及其方法
CN116956750A (zh) * 2023-09-19 2023-10-27 山东山大华天软件有限公司 基于知识图谱的零件工艺设计方法、系统、介质及设备
CN116956750B (zh) * 2023-09-19 2023-12-19 山东山大华天软件有限公司 基于知识图谱的零件工艺设计方法、系统、介质及设备
CN117612145A (zh) * 2023-12-15 2024-02-27 上海青翼工业软件有限公司 一种零件自动加工方法、装置、计算机设备及存储介质
CN117583653A (zh) * 2024-01-18 2024-02-23 北京航空航天大学 零件铣削工艺自动生成的数据处理方法、设备及存储介质
CN117583653B (zh) * 2024-01-18 2024-04-09 北京航空航天大学 零件铣削工艺自动生成的数据处理方法、设备及存储介质
CN117649107A (zh) * 2024-01-29 2024-03-05 上海朋熙半导体有限公司 自动决策节点创建方法、装置、系统及可读介质
CN117649107B (zh) * 2024-01-29 2024-05-14 上海朋熙半导体有限公司 自动决策节点创建方法、装置、系统及可读介质

Similar Documents

Publication Publication Date Title
CN110765265B (zh) 信息分类抽取方法、装置、计算机设备和存储介质
CN104834747B (zh) 基于卷积神经网络的短文本分类方法
CN114647741A (zh) 工艺自动决策和推理方法、装置、计算机设备及存储介质
CN110737758A (zh) 用于生成模型的方法和装置
CN113392209B (zh) 一种基于人工智能的文本聚类方法、相关设备及存储介质
CN114780727A (zh) 基于强化学习的文本分类方法、装置、计算机设备及介质
CN107688870B (zh) 一种基于文本流输入的深度神经网络的分层因素可视化分析方法及装置
CN111858940B (zh) 一种基于多头注意力的法律案例相似度计算方法及系统
Kim et al. SAO2Vec: Development of an algorithm for embedding the subject–action–object (SAO) structure using Doc2Vec
CN114357117A (zh) 事务信息查询方法、装置、计算机设备及存储介质
CN110674636A (zh) 一种用电行为分析方法
CN113505601A (zh) 一种正负样本对构造方法、装置、计算机设备及存储介质
CN112199512A (zh) 面向科技服务的事理图谱构建方法、装置、设备及存储介质
CN112085091A (zh) 基于人工智能的短文本匹配方法、装置、设备及存储介质
CN115730597A (zh) 多级语义意图识别方法及其相关设备
CN113988071A (zh) 一种基于金融知识图谱的智能对话方法及装置、电子设备
CN113822040A (zh) 一种主观题阅卷评分方法、装置、计算机设备及存储介质
CN116777646A (zh) 基于人工智能的风险识别方法、装置、设备及存储介质
CN116561338A (zh) 工业知识图谱生成方法、装置、设备及存储介质
CN115238077A (zh) 基于人工智能的文本分析方法、装置、设备及存储介质
CN112988699B (zh) 模型训练方法、数据标签的生成方法及装置
CN114398482A (zh) 一种词典构造方法、装置、电子设备及存储介质
CN114528378A (zh) 文本分类方法、装置、电子设备及存储介质
CN113469237A (zh) 用户意图识别方法、装置、电子设备及存储介质
US20230419195A1 (en) System and Method for Hierarchical Factor-based Forecasting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination