CN114637262B - 基于5g驱动的智能工厂数字孪生信息的决策控制方法及系统 - Google Patents
基于5g驱动的智能工厂数字孪生信息的决策控制方法及系统 Download PDFInfo
- Publication number
- CN114637262B CN114637262B CN202210236935.4A CN202210236935A CN114637262B CN 114637262 B CN114637262 B CN 114637262B CN 202210236935 A CN202210236935 A CN 202210236935A CN 114637262 B CN114637262 B CN 114637262B
- Authority
- CN
- China
- Prior art keywords
- network
- data
- digital twin
- edge
- decision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 230000006854 communication Effects 0.000 claims abstract description 75
- 238000004891 communication Methods 0.000 claims abstract description 69
- 238000004519 manufacturing process Methods 0.000 claims abstract description 60
- 230000002787 reinforcement Effects 0.000 claims abstract description 29
- 230000003993 interaction Effects 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims abstract description 11
- 238000013468 resource allocation Methods 0.000 claims abstract description 8
- 238000004088 simulation Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 85
- 238000012549 training Methods 0.000 claims description 39
- 239000011159 matrix material Substances 0.000 claims description 33
- 230000004927 fusion Effects 0.000 claims description 32
- 238000013528 artificial neural network Methods 0.000 claims description 25
- 238000004458 analytical method Methods 0.000 claims description 24
- 230000002776 aggregation Effects 0.000 claims description 17
- 238000004220 aggregation Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 16
- 230000009471 action Effects 0.000 claims description 15
- 238000005516 engineering process Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000015654 memory Effects 0.000 claims description 12
- 238000013135 deep learning Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000007499 fusion processing Methods 0.000 claims description 7
- 230000002452 interceptive effect Effects 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 6
- 238000011161 development Methods 0.000 claims description 5
- 238000007726 management method Methods 0.000 claims description 5
- 238000009825 accumulation Methods 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 4
- 238000012512 characterization method Methods 0.000 claims description 4
- 238000011217 control strategy Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000007405 data analysis Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims description 3
- 238000005265 energy consumption Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000006698 induction Effects 0.000 claims description 3
- 230000001939 inductive effect Effects 0.000 claims description 3
- 238000000691 measurement method Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000008878 coupling Effects 0.000 claims description 2
- 238000010168 coupling process Methods 0.000 claims description 2
- 238000005859 coupling reaction Methods 0.000 claims description 2
- 210000001503 joint Anatomy 0.000 claims description 2
- 241000287196 Asthenes Species 0.000 claims 1
- 206010063385 Intellectualisation Diseases 0.000 abstract description 5
- 238000013507 mapping Methods 0.000 abstract description 5
- 238000011144 upstream manufacturing Methods 0.000 abstract description 4
- 238000013439 planning Methods 0.000 abstract description 3
- 230000004044 response Effects 0.000 abstract 1
- 239000010410 layer Substances 0.000 description 49
- 238000010586 diagram Methods 0.000 description 15
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000003032 molecular docking Methods 0.000 description 2
- 238000012384 transportation and delivery Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 238000011031 large-scale manufacturing process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41885—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by modeling, simulation of the manufacturing system
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32339—Object oriented modeling, design, analysis, implementation, simulation language
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于5G驱动的智能工厂数字孪生信息的决策控制方法，包括：S1、多源异构孪生数据融合流程；S2、基于5G的数字孪生信息交互通信流程；以及S3、多源异构孪生数据信息的控制决策流程。本发明能够构建基于5G的数字孪生通信方式，实现实时孪生数据驱动的在线仿真，真正实现虚实映射和互动，保证决策与控制到达终端与应用的实时性和反应的自主、智能化，推动制造业产业链上下游协同合作，并在实际生产环境中利用强化学习、自监督学习的方法，学习输入网络中数据的紧凑和多模态表示，提高资源配置、生产计划、实时调度、供应链、物流等决策、控制的效率，适应动态因素扰动下的生产管控。
Description
技术领域
本发明涉及智能制造技术领域，尤其涉及一种基于5G驱动的智能工厂数字孪生信息的决策控制方法及系统。
背景技术
智能制造促使大型生产制造企业向智能化方向转型，其中，工厂拥有的海量数据，一方面给工厂智能化发展带来很大的压力，另外一方面，数据本身又是工厂智能化的核心驱动力。数字孪生与智能制造的耦合度越来越高，数字孪生技术的落地是推动智能制造发展的关键要素之一。将通信网络与云计算，数字孪生等基础技术相互结合，可构建或优化大量通用技术，通用技术与垂直行业场景的结合，可赋能智能工厂的不同领域的应用场景。
本发明人在实施本发明时发现，目前在智能制造领域里，进行信息交互所利用的通信技术主要围绕工业物联网、4G移动通信系统等，存在工厂间系统通信遇到的接入容量受限，通信时延久，拥堵严重，传输质量差等问题。另外，目前基于智能工厂数字孪生数据的控制与决策方法，主要是应用机器学习算法，不能保证决策与控制到达终端与应用的实时性和反应的自主、智能化。
发明内容
本发明的目的在于提供一种基于5G驱动的智能工厂数字孪生信息的决策控制方法及系统，够构建基于5G的数字孪生通信方式，实现实时孪生数据驱动的在线仿真，真正实现虚实映射和互动，保证决策与控制到达终端与应用的实时性和反应的自主、智能化，推动制造业产业链上下游协同合作，并在实际生产环境中利用强化学习、自监督学习的方法，学习输入网络中数据的紧凑和多模态表示，提高资源配置、生产计划、实时调度、供应链、物流等决策、控制的效率，适应动态因素扰动下的生产管控。
为了实现上述目的，本发明的一实施例提供了一种基于5G驱动的智能工厂数字孪生信息的决策控制方法，包括：
S1、多源异构孪生数据融合流程；
S2、基于5G的数字孪生信息交互通信流程，包括：
S21、5G环境下数字孪生的通信方式建立：通过网络互连实现5G网络切片功能：首先在同一物理网络基础设施上按照不同的业务场景和业务模型，利用软件定义网络和虚拟化技术，将资源和技术进行逻辑上的划分；其次进行网络功能裁剪制定，管理编排网络资源，根据任务不同形成多个独立的虚拟网络，从而实现孪生数据的端到端传输；将数据互连建立在终端感知层，包含在实际工厂中现场层的物理实体部分，其中多个传感器经过数据的采集、解析与处理，由数字孪生映射到虚拟实体中，与所述步骤S1的多源异构孪生数据融合流程中的异构多源孪生数据的语义解析，信息模型建立相对应，以实现在应用层孪生数据的通信；
S22、MEC系统在数字孪生通信中的性能分析:基于5G的数字孪生通信方式确立后，孪生数据的交互与通信，依赖于5G网络切片及MEC的性能，针对业务服务和系统损耗两方面进行性能仿真分析；
S3、多源异构孪生数据信息的控制决策流程，包括：
S31、基于深度强化学习竞争网络架构的决策方法建立：通过设置一个无模型强化学习的神经网络架构，该神经网络架构拥有两种独立的评估量：一个用于状态价值函数V(s)，一个用于状态依存动作优势函数A，从而能够在没有将任何变化强加于低层的强化学习算法的情况下，在动作间进行归纳学习，进而实现决策目的；
S32、物理实体中任务多模态表达的自监督学习：首先学习基于神经网络的多传感器数据特征表示；其次将得到的压缩特征向量用作通过强化学习学习到的策略的输入；最后通过自监督来训练表示模型。
较佳地，在所述步骤S21中，进一步通过以下方式实现5G环境下数字孪生的通信方式建立：
通过建立一种基于5G的数字孪生通信方式，该通信方式由现场层、边缘层、云计算三层构成；其中现场层是利用5G网络连接传感器、执行器、设备、控制系统和资产等现场节点；边缘层位于现场层与云计算层之间，包括边缘节点和边缘管理器两个主要部分；云计算层完成全局调度智能决策；具体如下：
(a)现场层
首先建立5G网络切片：利用SDN和虚拟化技术将5G网络物理基础设施资源根据实际工厂车间任务需求虚拟化为多个相互独立、平行的虚拟网络切片；其中，在每一个网络切片内，对虚拟资源进行分割，按需创建子网络；
其次根据工厂实际任务需求，分离SDN将控制面与转发面；其中，根据工厂不同车间任务不同，在SDN应用层进行任务安排和资源管理；在SDN的控制层，将对数据平面资源进行处理，维护网络状态、网络拓扑；在数据转发层处理和转发各类孪生数据，并收集设备状态；
然后连接现场节点与实体设备；现场节点通过工厂生产环境中各种类型的现场网络和工业总线、和5G网络切片，与边缘层中的边缘网关等设备相连接，实现现场层和边缘层之间数据流和控制流的连通；
最后进行网络结构拓扑化；利用边缘网关等设备，将各组现场节点彼此连接，并延伸连接到广域网络，实现不同层间通信的网络可以使用不同的拓扑结构，并允许来自边缘节点的数据流入和到边缘节点的控制命令流出；
(b)边缘计算
边缘计算的框架由云，边缘，现场设备及其相关功能，具体应用五部分组成；
根据工厂实际生产任务需求以及现场设备情况，通过边缘计算实现以下功能：
首先设计边缘层的连接结构：(1)向下支持各种现场设备的接入：包括生产工厂的机械手、机床、AGV，各种传感器，可以灵活地通过现场总线或者5G的网络切片计入边缘云中，通过时间敏感型网络TSN和SDN，实现智能感知、计算，进行数据分析、实时控制，或者对整个生产过程进行优化；(2)通过5G网络切片下上与云端对接，实现全局调度或智能决策的功能；
其次分配边缘计算节点的任务；根据生产任务侧重点和生产车间硬件特点的不同，安排边缘计算节点的具体任务分配，其中包括以网络协议处理和转换为重点的边缘网卡、以支持实时闭环控制业务为重点的边缘控制器、以大规模数据处理为重点的边缘云、以低功耗信息采集和处理为重点的边缘传感器；
最后设置边缘计算系统对资源的使用方式：(1)直接将计算、网络和存储资源进行封装，提供调用接口，边缘管理器以代码下载、网路配置和数据库操作方式使用边缘节点资源；(2)进一步将边缘基础资源按功能领域封装成功能模块，边缘管理器通过模型驱动的业务编排的方式组合和调用功能模块，实现边缘计算业务的一体化开发和敏捷部署。
较佳地，所述步骤S22具体包括：
(a)建立MEC系统通信网络
通过建立一个拥有两类服务业务的MEC通信系统，即URLLC服务用户和延迟容忍服务用户，并满足延迟、可靠性约束，以及延迟容忍服务的稳定性约束条件；
建立URLLC服务用户和延迟容忍服务用户；M个接入点AP为Ku个URLLC用户和Kb个延迟容忍用户提供服务，其中Ku和Kb分别取值于κu＝{1,···,κu}和κb＝{Ku+1,···,Ku+Kb}；用上标ξ＝{u,b}区别不同的服务用户；如果ξ＝u，则表明该参数用于URLLC用户；否则，用于延迟容忍用户；
将不同的连接点AP连接到负责用户关联的MME；为了建立数字孪生，MME将网络的参数和模型发送到一个中央服务器，并探索数字孪生的用户关联方案；利用一个深度神经网络DNN的输出值来近似最佳用户关联方案，其中DNN在数字孪生中进行离线训练；在训练阶段结束后，将一个用户关联的DNN输出结果发送给MME；根据给定的用户关联方案，将网络分解为单AP问题；对于每个单AP问题，AP为与之相关连的用户优化资源分配和负载任务转移；
为每个AP匹配MEC服务器，每个用户链接到一个本地服务器；将时间离散为时隙；每个时隙持续时间为Ts；第m个MEC和第k个用户的服务效率可以分别表示为Sm(CPU周/时隙)和
(CPU周/时隙)；第k个用户可以在
范围内调整
是用户的最大计算能力；
将系统中的非平稳参数分为两类；第一类参数是高度动态的，大规模的信道增益和平均任务到达率；另一类参数变化缓慢，任一地区的用户密度；对于第一类参数，将其直接作为DNN的输入；对于第二类参数，系统实时检测第二类参数的值，并在数字孪生中进行更新；然后，DNN从更新的数字孪生中学习；使用预训练良好的DNN初始化新的DNN网络，而不是从头开始训练新的DNN网络；通过这种方式，DNN的输出就会随着非平稳参数的变化而变化；
(b)MEC系统通信性能参数的DNN模型分析
利用DNN网络和数字孪生对MEC通信系统性能进行分析，包括：
首先计算用户连接方法的归一化能量损耗；深度神经网络DNN的输入是连接接入点的用户大范围信道增益、以及用户的平均任务的达到率，DNN输出是用户的连接方案；基于研究用户连接方案，定义DNN的直接输出为
可以从数字孪生模型中得到用户连接方案的归一化能量损耗；
其次最小化归一化能量损耗；对根据探究策略随机生成的用户连接方案，求取最小化的归一化能量消耗，进而从数字孪生模型中反馈得到经过优化更新的最佳用户连接方案
然后保存DNN的输入、输出参数；对将DNN输入的参数α，λ，和最佳输出
保存到存储器中，以进行下一次的DNN训练；
最后建立归一化能量损耗的规则；在上述数字孪生体中，拥有经DNN网络迭代输出的系统参数，孪生模型，以及对接入点AP设置的规则，如下所示：
其中，P表示对信道子载波分配和负载概率进行优化的策略，适用于所有的用户情况，优化规则如公式(6)所示。
其中，
表示标准的能量损耗，区间(N*，x*)和(α，λ，β)之间的最优关系，可以表示为π2：α，λ，β→N*，x*。π2表示最小归一化能量损耗，可以用Q*(α，λ，β|π2)来表示，表明归一化能量损耗依赖于用户连接关系。
较佳地，所述步骤S31具体包括：
(a)网络结构：
构建网络DQN的结构，把DQN中全连接层拆开成两部分，一条输出标量为V的关于状态的价值，另外一条输出关于策略价值函数A的值；其中V只有一维，表示该状态的得分，A和决策的维度一致，表示执行某个决策相对于该状态可以获得的额外得分；然后再由V和A通过公式计算得到和原来含义；
(b)V和A的组合：
由于策略价值函数A的期望为0，网络中的A其实是每个A减去所有A的均值，因此重新定义优势函数A，和奖励函数Q，如公式(7)所示
Aπ(s,a)＝Qπ(s,a)-Vπ(s) (7)
其中，V(s)作为价值函数，表明了状态的好坏程度。Q函数表明了当前状态下确定的某个决策的价值，A函数表明在这个状态下各个动作的相对好坏程度。
(c)固定V和A的差异函数
由于V(s)是一个标量，所以在网络中，该值可以左偏或者右偏，不影响最后得到的Q值。因此无法直接通过Q值解析出A和V的值。由于Dueling DQN是一个端到端的训练网络，不存在单独训练V或者A价值函数。对于该网络架构，在进行端到端的训练中，V和A值有存在一个常数的差异，为了避免该差异值摇摆不定，将其偏差函数固定为如公式(8)所示：
较佳地，在所述步骤S32中，以学习控制器执行需要操作任务的策略为目标，评估融合多传感器信息的价值以及多模态表示在跨任务传递中的能力；具体包括：
(a)任务操作的无模型强化学习建模
将工厂生产过程中具有不同任务的操作近似为一个无模型强化学习问题，分析其在依赖多模态反馈以及在几何、间隙和构型不确定情况下的性能；选择无模型，消除对精确动力学模型的需要，可以对实际生产环境和任务进行理想化近似；
将操作任务建模为一个有限时间的离散马尔科夫决策过程M，状态空间S，动作空间A，状态转移动力学T:S×A→S，初始状态分布ρ0，回报函数r:S×A→R，时间T，折扣系数γ∈(0,1)，为了确定最优随机策略π:S→P(A)，希望最大化期望折扣奖励如公式(9)所示：
(b)网络架构
利用自监督进行多模态表征学习的神经网络架构，该网络使用来自多个不同传感器的数据作为模型输入；分析基于强化学习的驱动神经网络的学习方法，将训练好的驱动神经网络拟合的控制策略应用在实际的物理系统中进行验证。
较佳地，所述步骤S1进一步包括：
S11、采集工厂在不同生产过程中多个传感器的传感器数据；
S12、基于分层特征聚集模型的数据分类与语义解析，包括：针对所述传感器数据，将其建模为传感器数据时序累积过程的网络拓扑图；将传感器节点之间的边定义为顺序事件，建立一个由节点与其邻居之间交互事件驱动的动态过程构成的时序动态拓扑图结构；根据所述时序动态拓扑图结构的特点，采用GCN-LSTM结构将结构信息与时间信息相结合，利用网络嵌入将节点嵌入到低维空间中，同时捕捉网络的结构和性质，采用分层特征聚集法以在不同深度的邻域上学习不同的特征聚合器；并使用LSTM聚合不同深度的信息，以确保信息从更高的深度流向节点；
S13、基于不完整多模态深度语义匹配融合模型建立：采用跨模态深度语义匹配机制，通过模态数据间多层非线性的相关性，建立不完整多模态的深度语义匹配融合模型；包括：构建模态间的共享特征子空间，以学习不完整多模态数据的共享；通过设置不变图规则化因子，保证共享子空间中各模态数据的局部相似特性；以及建立新的目标函数以描述不完整多模态数据深度语义匹配模型。
较佳地，所述步骤S12进一步包括：
S121、集合G＝(V,E,X,L)为异构多源传感器网络的数据拓扑图，其中V是传感器节点集合，E为节点之间的边的结合，
为节点特征的集合，同时L表示不同节点标签的集合；一个节点v与v相邻的节点的距离为k，可以表示为
已知该节点嵌入可以表示为
则每一个嵌入的深度为k节点嵌入可以表示为
S122、通过层次聚合框架学习节点嵌入：
首先，使用类似于GraphSAGE的聚集方法，将深度k邻域的特征集合成单个向量，如公式(1)所示:
其中s(x)给出邻域集合x中的节点样本，AGGREGATE是一种类似于GraphSAGE的特征聚合，并且k∈{1,···,K}，其中K为传感器数据网络能找到的最大深度；已学习到节点嵌入
是从距离深度为k的邻域节点v'捕获道的信息；
然后,结合LSTM元细胞，为每个节点v，学习其在不同深度
的嵌入，并将最后一个节点嵌入hv分配为v，则有公式(2)成立：
最后,将学习到的向量
反馈给全连接层，完成下游节点的分类任务、实现对数据的语义解析；
S123、训练监督多类节点分类任务：
利用分类交叉熵作为损失函数，训练监督多类节点分类任务(包括转换和归纳)的模型；使用相同的训练目标对模型进行端到端的训练；对于多标签、多类分类，对每一类使用二元交叉熵；在LSTM的每一步使用分类交叉熵损失函数，以提高训练效果。
较佳地，所述步骤S13具体包括：
S131、非负矩阵分解：
如公式(3)所示，
为矩阵分解中的基矩阵，
为不完整模态数据实例
在子空间中的潜在表示；如此公式(1)中限定的每个模态都具有相同完整的模态数据编码矩阵Pc，可以耦合及矩阵和模态偶编码矩阵来最小化目标函数；
S132、局部不变图规则化：
利用不变图模型对学习到的共享编码矩阵Pc进行规则化表示，来保证每个模态数据与其在子空间中的几何结构一致；通过构建每个模态的最近邻图G(v)描述数据点间的局部几何结构；模态v中的每一个数据实例
表示成G(v)中的一个点；W(v)为G(v)的权重邻接矩阵；在W(v)中
表示数据实例
和
间的相近程度；度量方法如下公式(4)：
其中，
为数据实例
和
间的欧式距离，
和
分别表示
和
的p个最近邻数据实例；
S133、不完整多模态深度语义匹配融合：
采用融合深度学习网络与不完整多模态深度语义匹配数据，联合挖掘任意模态孪生数据的深度语义匹配特征；该模型可以由公式(5)表示：
其中，
为模态私有深度网络的特征输出，f为非线性激活函数，此处为Sigmod函数，Wv、bv分别为相应的权重矩阵和偏置向量；
通过联合优化模态私有深度学习网络、基矩阵和一致编码矩阵，得到多模态深度语义共享子空间，并对多模态数据特征进行融合分析。
本发明实施例对应提供一种基于5G驱动的智能工厂数字孪生信息的决策控制系统，其包括：
多源异构孪生数据融合模块；
基于5G的数字孪生信息交互通信模块；以及
多源异构孪生数据信息的控制决策模块；
其中，所述基于5G驱动的智能工厂数字孪生信息的决策控制系统能够执行如上任一实施例所述的基于5G驱动的智能工厂数字孪生信息的决策控制方法。
本发明另一实施例对应提供一种设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上任一实施例所述的基于5G驱动的智能工厂数字孪生信息的决策控制方法。
本发明另一实施例对应提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，所述计算机程序运行时执行如上任一实施例所述的基于5G驱动的智能工厂数字孪生信息的决策控制方法。
与现有技术相比，本发明实施例提供的一种基于5G驱动的智能工厂数字孪生信息的决策控制方法及系统，能够构建基于5G的数字孪生通信方式，实现实时孪生数据驱动的在线仿真，真正实现虚实映射和互动，保证决策与控制到达终端与应用的实时性和反应的自主、智能化，推动制造业产业链上下游协同合作，并在实际生产环境中利用强化学习、自监督学习的方法，学习输入网络中数据的紧凑和多模态表示，提高资源配置、生产计划、实时调度、供应链、物流等决策、控制的效率，适应动态因素扰动下的生产管控。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于5G驱动的智能工厂数字孪生信息的决策控制方法的一个优选的实施方式的流程示意图。
图2和图3是本发明提供的基于5G驱动的智能工厂数字孪生信息的决策控制方法的流程示意图。
图4是本发明实施例提供的一种基于5G驱动的智能工厂数字孪生信息的决策控制方法的多源异构孪生数据融合流程的一个优选实施例的流程示意图。
图5是图4所示的多源异构孪生数据融合流程中的分层特征聚集法框图。
图6是图4所示的多源异构孪生数据融合流程中的步骤S12的流程示意图。
图7是图4所示的多源异构孪生数据融合流程中的不完整多模态深度语义匹配融合模型。
图8是图1中所示的基于5G的数字孪生信息交互通信流程的一个优选的实施方式的流程示意图。
图9是图1中所示的基于5G的数字孪生信息交互通信流程中涉及的基于5G的数字孪生通信系统框架。
图10是图1中所示的基于5G的数字孪生信息交互通信流程中涉及的5G网络切片的结构示意图。
图11是图1中所示的基于5G的数字孪生信息交互通信流程中涉及的SDN的结构示意图。
图12是图1中所示的基于5G的数字孪生信息交互通信流程中涉及的边缘计算的框架示意图。
图13是图1中所示的基于5G的数字孪生信息交互通信流程中涉及的智能工厂边缘计算功能的结构示意图。
图14是图1中所示的基于5G的数字孪生信息交互通信流程中涉及的基于MEC的MEC通信系统框图。
图15是图1中所示的基于5G的数字孪生信息交互通信流程中涉及的基于数字孪生的深度神经网络DNN模型的结构示意图。
图16是图1中所示的多源异构孪生数据信息的控制决策流程的一个优选的实施方式的流程示意图。
图17是图1中所示的多源异构孪生数据信息的控制决策流程中涉及的深度强化学习竞争网络架构示意图。
图18是图1中所示的多源异构孪生数据信息的控制决策流程中涉及的自监督进行多模态表征学习的神经网络架构示意图。
图19是本发明提供的基于5G驱动的智能工厂数字孪生信息的决策控制系统的一个优选的实施方式的流程示意图。
图20是本发明提供的设备的一个优选的实施方式的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，下面的实施例可以相互结合，对于相同或相似的内容，在不同的实施例中不再进行重复说明。
参考图1，为本发明实施例提供了一种基于5G驱动的智能工厂数字孪生信息的决策控制方法的一个优选的实施方式的流程示意图，包括步骤S1至S3，具体如下：
S1、多源异构孪生数据融合流程；
S2、基于5G的数字孪生信息交互通信流程；以及
S3、多源异构孪生数据信息的控制决策流程。
下面结合图2和图3，对本实施例提供的一种基于5G驱动的智能工厂数字孪生信息的决策控制方法的执行流程进行详细描述。
参考图4，为本发明实施例提供的一种基于5G驱动的智能工厂数字孪生信息的决策控制方法的多源异构孪生数据融合流程的一个优选实施例的流程示意图。具体的，上述步骤S1进一步包括步骤S11至S13，具体如下：
S11、采集工厂在不同生产过程中多个传感器的传感器数据；
S12、基于分层特征聚集模型的数据分类与语义解析，包括：
S121、针对所述传感器数据，将其建模为传感器数据时序累积过程的网络拓扑图；将传感器节点之间的边定义为顺序事件，建立一个由节点与其邻居之间交互事件驱动的动态过程构成的时序动态拓扑图结构；
S122、根据所述时序动态拓扑图结构的特点，采用GCN-LSTM结构将结构信息与时间信息相结合，利用网络嵌入将节点嵌入到低维空间中，同时捕捉网络的结构和性质，采用分层特征聚集法以在不同深度的邻域上学习不同的特征聚合器；并使用LSTM聚合不同深度的信息，以确保信息从更高的深度流向节点；
S13、基于不完整多模态深度语义匹配融合模型建立，采用跨模态深度语义匹配机制，通过模态数据间多层非线性的相关性，建立不完整多模态的深度语义匹配融合模型；包括：构建模态间的共享特征子空间，以学习不完整多模态数据的共享；通过设置不变图规则化因子，保证共享子空间中各模态数据的局部相似特性；以及建立新的目标函数以描述不完整多模态数据深度语义匹配模型。
其中，在所述步骤S12中，采用GCN-LSTM的结构将结构信息与时间信息相结合，利用网络嵌入将节点嵌入到低维空间中，同时捕捉网络的结构和性质，对传感器数据的拓扑图建立动态时序的图卷积神经网络模型，该模型的基本框架如图5所示。
具体的，所述步骤S121进一步通过以下方式构建异构多源传感器网络数据拓扑图：
集合G＝(V,E,X,L)为异构多源传感器网络的数据拓扑图，其中V是传感器节点集合，E为节点之间的边的结合，
为节点特征的集合，同时L表示不同节点标签的集合；一个节点v与v相邻的节点的距离为k，可以表示为
已知该节点嵌入可以表示为
则每一个嵌入的深度为k节点嵌入可以表示为
进一步的，参考图6，为本发明提供的一种多源异构孪生数据融合流程中的步骤S122的一个优选的实施方式的流程示意图，包括步骤S1222至S1223，具体如下：
S1222、通过层次聚合框架学习节点嵌入：
首先，使用类似于GraphSAGE的聚集方法，将深度k邻域的特征集合成单个向量，如公式(1)所示:
其中s(x)给出邻域集合x中的节点样本，AGGREGATE是一种类似于GraphSAGE的特征聚合，并且k∈{1,···,K}，其中K为传感器数据网络能找到的最大深度；已学习到节点嵌入
是从距离深度为k的邻域节点v'捕获道的信息；
然后,结合LSTM元细胞，为每个节点v，学习其在不同深度
的嵌入，并将最后一个节点嵌入hv分配为v，则有公式(2)成立：
最后,将学习到的向量
反馈给全连接层，完成下游节点的分类任务、实现对数据的语义解析；
S1223、训练监督多类节点分类任务：
利用分类交叉熵作为损失函数，训练监督多类节点分类任务(包括转换和归纳)的模型；使用相同的训练目标对模型进行端到端的训练；对于多标签、多类分类，对每一类使用二元交叉熵；在LSTM的每一步使用分类交叉熵损失函数，以提高训练效果。
进一步的，在所述步骤S13中，采用基于深度语义匹配的不完整多模态数据融合算法，利用多模态高层语义的相关，设计融合模态私有深度网络和模态共享特征的统一深度学习模型，以实现不完整多模态数据的深度相关融合，并降低模态共享特征的语义偏差。其中，不完整多模态深度语义匹配融合模型的算法流程如图7所示。具体的，上述步骤S13具体包括：
S131、非负矩阵分解：
如公式(3)所示，
为矩阵分解中的基矩阵，
为不完整模态数据实例
在子空间中的潜在表示；如此公式(1)中限定的每个模态都具有相同完整的模态数据编码矩阵Pc，可以耦合及矩阵和模态偶编码矩阵来最小化目标函数；
S132、局部不变图规则化：
利用不变图模型对学习到的共享编码矩阵Pc进行规则化表示，来保证每个模态数据与其在子空间中的几何结构一致；通过构建每个模态的最近邻图G(v)描述数据点间的局部几何结构；模态v中的每一个数据实例
表示成G(v)中的一个点；W(v)为G(v)的权重邻接矩阵；在W(v)中
表示数据实例
和
间的相近程度；度量方法如下公式(4)：
其中，
为数据实例
和
间的欧式距离，
和
分别表示
和
的p个最近邻数据实例；
S133、不完整多模态深度语义匹配融合：
采用融合深度学习网络与不完整多模态深度语义匹配数据，联合挖掘任意模态孪生数据的深度语义匹配特征；该模型可以由公式(5)表示：
其中，
为模态私有深度网络的特征输出，f为非线性激活函数，此处为Sigmod函数，Wv、bv分别为相应的权重矩阵和偏置向量；
通过联合优化模态私有深度学习网络、基矩阵和一致编码矩阵，得到多模态深度语义共享子空间，并对多模态数据特征进行融合分析。
可见，本发明实施例提供的基于5G驱动的智能工厂数字孪生信息的决策控制方法的多源异构孪生数据融合流程中，针对工厂在不同生产过程中多个传感器的传感器数据，将其建模为传感器数据时序累积过程的网络拓扑图；将传感器节点之间的边定义为顺序事件，建立一个由节点与其邻居之间交互事件驱动的动态过程构成的时序动态拓扑图结构；根据所述时序动态拓扑图结构的特点，采用GCN-LSTM结构将结构信息与时间信息相结合，利用网络嵌入将节点嵌入到低维空间中，同时捕捉网络的结构和性质，采用分层特征聚集法以在不同深度的邻域上学习不同的特征聚合器；并使用LSTM聚合不同深度的信息，以确保信息从更高的深度流向节点；并采用跨模态深度语义匹配机制，通过模态数据间多层非线性的相关性，建立不完整多模态的深度语义匹配融合模型。从而能够有效解决智能工厂在生产过程中由于多源异构孪生数据语义缺失、模态不完整，分布不均衡导致孪生数据融合失衡等问题，针对工厂在不同生产过程中多个传感器的异构类型孪生数据进行有效融合，进而为上层用户输出统一服务的需求，能够在一定程度上提高工厂生产过程的多源异构孪生数据融合间融合的有效性和精准性。
进一步的，参考图8，在所述步骤S2中，所述基于5G的数字孪生信息交互通信流程进一步包括步骤：
S21：5G环境下数字孪生的通信方式建立；以及
S22：MEC系统在数字孪生通信中的性能分析。
其中，在该步骤S21中，将数字孪生通信方式建立在5G网络的感知终端层和通信网络层，重点对应的两个功能体系：网络互联体系和数据互通体系。通过网络互连实现5G网络切片功能：首先在同一物理网络基础设施上按照不同的业务场景和业务模型，利用软件定义网络(SDN)和虚拟化技术(NFV)，将资源和技术进行逻辑上的划分；其次进行网络功能裁剪制定，管理编排网络资源，根据任务不同形成多个独立的虚拟网络，从而实现孪生数据的端到端传输。将数据互连建立在终端感知层，包含在实际工厂中现场层的物理实体部分，其中海量的传感器经过数据的采集、解析与处理，由数字孪生映射到虚拟实体中，与所述步骤S1中的异构多源孪生数据的语义解析，信息模型建立相对应，以实现在应用层孪生数据的通信。
具体的，如图9所示，在该步骤S821中，通过建立一种基于5G的数字孪生通信方式，该通信方式由现场层、边缘层、云计算三层构成。其中现场层是利用5G网络连接传感器、执行器、设备、控制系统和资产等现场节点。边缘层位于现场层与云计算层之间，包括边缘节点和边缘管理器两个主要部分。云计算层完成全局调度智能决策。具体的：
(a)现场层
首先建立5G网络切片。利用SDN和虚拟化技术将5G网络物理基础设施资源根据实际工厂车间任务需求虚拟化为多个相互独立、平行的虚拟网络切片。如图10所示，在每一个网络切片内，对虚拟资源进行分割，按需创建子网络。
其次根据工厂实际任务需求，分离SDN将控制面与转发面。如图11所示，根据工厂不同车间任务不同，在SDN应用层进行任务安排和资源管理。在SDN的控制层，将对数据平面资源进行处理，维护网络状态、网络拓扑等。在数据转发层处理和转发各类孪生数据，并收集设备状态。
然后连接现场节点与实体设备。现场节点通过工厂生产环境中各种类型的现场网络和工业总线、和5G网络切片，与边缘层中的边缘网关等设备相连接，实现现场层和边缘层之间数据流和控制流的连通。
最后进行网络结构拓扑化。利用边缘网关等设备，将各组现场节点彼此连接，并延伸连接到广域网络，实现不同层间通信的网络可以使用不同的拓扑结构，并允许来自边缘节点的数据流入和到边缘节点的控制命令流出。
(b)边缘计算
如图12所示，边缘计算的框架由云，边缘，现场设备及其相关功能，具体应用五部分组成。
根据工厂实际生产任务需求以及现场设备情况，依据图12中的边缘计算框架，通过边缘计算实现以下功能，具体如图13所示。
首先设计边缘层的连接结构：(1)向下支持各种现场设备的接入：如生产工厂的机械手、机床、AGV，各种传感器等，可以灵活地通过现场总线或者5G的网络切片计入边缘云中，通过时间敏感型网络TSN和SDN，实现智能感知、计算，进行数据分析、实时控制，或者对整个生产过程进行优化。(2)通过5G网络切片下上与云端对接，实现全局调度或智能决策的功能。
其次分配边缘计算节点的任务。根据生产任务侧重点和生产车间硬件特点的不同，安排边缘计算节点的具体任务分配，其中包括以网络协议处理和转换为重点的边缘网卡、以支持实时闭环控制业务为重点的边缘控制器、以大规模数据处理为重点的边缘云、以低功耗信息采集和处理为重点的边缘传感器等。
最后设置边缘计算系统对资源的使用方式。(1)直接将计算、网络和存储资源进行封装，提供调用接口，边缘管理器以代码下载、网路配置和数据库操作等方式使用边缘节点资源；(2)进一步将边缘基础资源按功能领域封装成功能模块，边缘管理器通过模型驱动的业务编排的方式组合和调用功能模块，实现边缘计算业务的一体化开发和敏捷部署。
进一步的，在上述步骤S22中，将实际工厂在生产过程中数据通信过程、传输状态以及质量服务情况进行物理实体化，依据建立的5G环境下的数字孪生通信方式，在孪生映射的虚拟实体中对其通信系统性能进行分析和测试，以解决孪生数据通信拥塞，延迟，质量不佳的问题。通过建立一个具有超可靠和低延迟的通信服务和延迟容忍服务的MEC系统，在满足URLLC服务的延迟、可靠性约束，以及延迟容忍服务的稳定性约束条件下，提高MEC系统中用户的能量效率(EE)。采用由实际工厂真实网络的测量参数，通过数字孪生体来训练深度学习(DL)的网络结构，实现最优资源分配的通信网络建设。
具体的，在上述步骤S22中，基于5G的数字孪生通信方式确立后，孪生数据的交互与通信，依赖于5G网络切片及MEC的性能，针对业务服务和系统损耗两方面进行性能仿真分析。具体包括：
(a)建立MEC系统通信网络
如图14所示，通过建立一个拥有两类服务业务的MEC通信系统，即URLLC服务用户和延迟容忍服务用户，并满足延迟、可靠性约束，以及延迟容忍服务的稳定性约束条件。
建立URLLC服务用户和延迟容忍服务用户。M个接入点AP为Ku个URLLC用户和Kb个延迟容忍用户提供服务，其中Ku和Kb分别取值于κu＝{1,···,κu}和κb＝{Ku+1,···,Ku+Kb}。用上标ξ＝{u,b}区别不同的服务用户。如果ξ＝u，则表明该参数用于URLLC用户。否则，用于延迟容忍用户。
将不同的连接点AP连接到负责用户关联的MME。为了建立数字孪生，MME将网络的参数和模型发送到一个中央服务器，并探索数字孪生的用户关联方案。利用一个深度神经网络DNN的输出值来近似最佳用户关联方案，其中DNN在数字孪生中进行离线训练。在训练阶段结束后，将一个用户关联的DNN输出结果发送给MME。根据给定的用户关联方案，将网络分解为单AP问题。对于每个单AP问题，AP为与之相关连的用户优化资源分配和负载任务转移。
为每个AP匹配MEC服务器，每个用户链接到一个本地服务器。将时间离散为时隙。每个时隙持续时间为Ts。第m个MEC和第k个用户的服务效率可以分别表示为Sm(CPU周/时隙)和
(CPU周/时隙)。第k个用户可以在
范围内调整
是用户的最大计算能力。
将系统中的非平稳参数分为两类。第一类参数是高度动态的，比如大规模的信道增益和平均任务到达率。另一类参数变化缓慢，如某一地区的用户密度。对于第一类参数，将其直接作为DNN的输入。对于第二类参数，系统实时检测它们的值，并在数字孪生中进行更新。然后，DNN从更新的数字孪生中学习。使用预训练良好的DNN初始化新的DNN网络，而不是从头开始训练新的DNN网络。通过这种方式，DNN的输出就会随着非平稳参数的变化而变化。
(b)MEC系统通信性能参数的DNN模型分析
利用DNN网络和数字孪生对图14中的MEC通信系统性能进行分析，具体方法如图15所示，包括：
首先计算用户连接方法的归一化能量损耗。深度神经网络DNN的输入是连接接入点的用户大范围信道增益、以及用户的平均任务的达到率，DNN输出是用户的连接方案。基于研究用户连接方案，定义DNN的直接输出为
可以从数字孪生模型中得到用户连接方案的归一化能量损耗。
其次最小化归一化能量损耗。对根据探究策略随机生成的用户连接方案，求取最小化的归一化能量消耗，进而从数字孪生模型中反馈得到经过优化更新的最佳用户连接方案
然后保存DNN的输入、输出参数。对将DNN输入的参数α，λ，和最佳输出
保存到存储器中，以进行下一次的DNN训练。
最后建立归一化能量损耗的规则。图17中的数字孪生体中，拥有经DNN网络迭代输出的系统参数，孪生模型，以及对接入点AP设置的规则，如表1所示。
表1归一化能量损耗规则
其中，P表示对信道子载波分配和负载概率进行优化的策略，适用于所有的用户情况，优化规则如公式(6)所示。
其中，
表示标准的能量损耗，区间(N*,x*)和(α，λ，β)之间的最优关系，可以表示为π2：α，λ，β→N*，x*。π2表示最小归一化能量损耗，可以用Q*(α，λ，β|π2)来表示，表明归一化能量损耗依赖于用户连接关系。
参考图16，在所述步骤S3中，所述多源异构孪生数据信息的控制决策流程进一步包括步骤：
S31、基于深度强化学习竞争网络架构的决策方法建立；以及
S32、物理实体中任务多模态表达的自监督学习。
其中，在步骤S31中，在数字孪生虚拟实体中，输入数据来自于物理实体的各个生产过程中海量传感器，不同的管理生产过程，数据模态分布不均衡，不完整，具有极大的高维性。在数字孪生虚拟实体中对该异构多模态的高维输入进行控制策略学习，研究内部自主循环的生产、管理操作的控制决策方案。通过设计一个无模型(Model Free)强化学习的神经网络架构，该竞争网络(Dueling Network)拥有两种独立的评估量：一个用于状态价值函数V(s)，一个用于状态依存动作优势函数A。该方法能够在没有将任何变化强加于低层的强化学习算法的情况下，在动作(Action)间进行归纳学习，进而实现决策目的。
具体的，针对智能工厂中数字孪生信息系统中，多源异构数据相似的问题，提出基于分开建模状态值和动作优势函数的方法，建立一个可供选择的用于深度Q网络(DQN)的架构和相关的学习方案。具体包括：
(a)网络结构：
如图17所示，为Dueling DQN的结构，把DQN中全连接层拆开成两部分，一条输出标量为V的关于状态的价值，另外一条输出关于策略价值函数A的值，即：图17中箭头所指示部分前面的两条数据流。最后通过箭头所指示部分合成Q价值函数。其中V只有一维，表示该状态的得分，A和决策的维度一致，表示执行某个决策相对于该状态可以获得的额外得分。然后再由V和A通过公式计算得到和原来含义。
(b)V和A的组合：
由于策略价值函数A的期望为0，网络中的A其实是每个A减去所有A的均值，因此重新定义优势函数A，和奖励函数Q，如公式(7)所示
Aπ(s,a)＝Qπ(s,a)-Vπ(s) (7)
其中，V(s)作为价值函数，表明了状态的好坏程度。Q函数表明了当前状态下确定的某个决策的价值，A函数表明在这个状态下各个动作的相对好坏程度。
(c)固定V和A的差异函数
由于V(s)是一个标量，所以在网络中，该值可以左偏或者右偏，不影响最后得到的Q值。因此无法直接通过Q值解析出A和V的值。由于Dueling DQN是一个端到端的训练网络，不存在单独训练V或者A价值函数。对于该网络架构，在进行端到端的训练中，V和A值有存在一个常数的差异，为了避免该差异值摇摆不定，将其偏差函数固定为如公式(8)所示：
该部分计划在图17的网络架构中箭头所指示部分实现，要求对所有状态和动作的进行统一标准的评估。
进一步的，在步骤S32中，对于物体实体中非结构化环境的特殊情况，需要控制的操作任务通常需要多源异构的传感器获取。由于样本复杂性，在物理实体中可以利用自监督来学习网络输入数据的紧凑和多模态表示，以用来提高策略学习的样本效率。为了提高样本效率，首先学习基于神经网络的多传感器数据特征表示。其次将得到的压缩特征向量用作通过强化学习学习到的策略的输入。最后通过自监督来训练表示模型。
具体的，以学习控制器执行需要操作任务的策略为目标，评估融合多传感器信息的价值以及多模态表示在跨任务传递中的能力。具体包括：
(a)任务操作的无模型强化学习建模
将工厂生产过程中具有不同任务的操作近似为一个无模型强化学习问题，分析其在依赖多模态反馈以及在几何、间隙和构型不确定情况下的性能。选择无模型，消除对精确动力学模型的需要，可以对实际生产环境和任务进行理想化近似。
将操作任务建模为一个有限时间的离散马尔科夫决策过程M，状态空间S，动作空间A，状态转移动力学T:S×A→S，初始状态分布ρ0，回报函数r:S×A→R，时间T，折扣系数γ∈(0,1)，为了确定最优随机策略π:S→P(A)，希望最大化期望折扣奖励如公式(9)所示：
(b)网络架构
利用自监督进行多模态表征学习的神经网络架构如图20所示，该网络使用来自多个不同传感器的数据作为模型输入(以视觉传感器、力矩传感器、速度传感器为例)。分析基于强化学习的驱动神经网络的学习方法，将训练好的驱动神经网络拟合的控制策略应用在实际的物理系统中进行验证。
参考图19，为本发明提供的一种基于5G驱动的智能工厂数字孪生信息的决策控制系统的一个优选的实施方式的结构框图，包括如下：
211、多源异构孪生数据融合模块；
212、基于5G的数字孪生信息交互通信模块；以及
213、多源异构孪生数据信息的控制决策模块。
本发明实施方式提供的一种基于5G驱动的智能工厂数字孪生信息的决策控制系统，能够实现上述任一实施例所述的基于5G驱动的智能工厂数字孪生信息的决策控制方法的所有流程，装置中的各个模块、单元的作用以及实现的技术效果分别与上述实施例所述的基于区块链的隐私保护异步联邦共享方法的作用以及实现的技术效果对应相同，这里不再赘述。
可见，本发明实施例提供的一种基于5G驱动的智能工厂数字孪生信息的决策控制方法及系统，不仅能够有效解决智能工厂在生产过程中由于多源异构孪生数据语义缺失、模态不完整，分布不均衡导致孪生数据融合失衡等问题，针对工厂在不同生产过程中多个传感器的异构类型孪生数据进行有效融合，进而为上层用户输出统一服务的需求，能够在一定程度上提高工厂生产过程的多源异构孪生数据融合间融合的有效性和精准性；还能够构建基于5G的数字孪生通信方式，实现实时孪生数据驱动的在线仿真，真正实现虚实映射和互动，保证决策与控制到达终端与应用的实时性和反应的自主、智能化，推动制造业产业链上下游协同合作，并在实际生产环境中利用强化学习、自监督学习的方法，学习输入网络中数据的紧凑和多模态表示，提高资源配置、生产计划、实时调度、供应链、物流等决策、控制的效率，适应动态因素扰动下的生产管控。
本发明还提供了一种设备。
如图20所示，为本发明提供的设备的一个优选的实施方式的结构示意图，包括处理器61、存储器62以及存储在所述存储器62中且被配置为由所述处理器61执行的计算机程序，所述处理器61执行所述计算机程序时实现如上任一实施方式所述的基于5G驱动的智能工厂数字孪生信息的决策控制方法。
需要说明的是，图20仅以该设备中的一个存储器和一个处理器相连接为例进行示意，在一些具体的实施方式中，该设备中还可以包括多个存储器和/或多个处理器，其具体的数目及连接方式可根据实际情况需要进行设置和适应性调整。
本发明还提供了一种计算机可读存储介质，具体包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上任一实施方式所述的基于5G驱动的智能工厂数字孪生信息的决策控制方法。
需要说明的是，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要进一步说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所揭露的仅为本发明一些较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。
Claims (9)
1.一种基于5G驱动的智能工厂数字孪生信息的决策控制方法，其特征在于，包括：
S1、多源异构孪生数据融合流程；
S2、基于5G的数字孪生信息交互通信流程，包括：
S21、5G环境下数字孪生的通信方式建立：通过网络互连实现5G网络切片功能：首先在同一物理网络基础设施上按照不同的业务场景和业务模型，利用软件定义网络和虚拟化技术，将资源和技术进行逻辑上的划分；其次进行网络功能裁剪制定，管理编排网络资源，根据任务不同形成多个独立的虚拟网络，从而实现孪生数据的端到端传输；将数据互连建立在终端感知层，包含在实际工厂中现场层的物理实体部分，其中多个传感器经过数据的采集、解析与处理，由数字孪生映射到虚拟实体中，与所述步骤S1的多源异构孪生数据融合流程中的异构多源孪生数据的语义解析，信息模型建立相对应，以实现在应用层孪生数据的通信；
S22、MEC系统在数字孪生通信中的性能分析:基于5G的数字孪生通信方式确立后，孪生数据的交互与通信，依赖于5G网络切片及MEC的性能，针对业务服务和系统损耗两方面进行性能仿真分析；
S3、多源异构孪生数据信息的控制决策流程，包括：
S31、基于深度强化学习竞争网络架构的决策方法建立：通过设置一个无模型强化学习的神经网络架构，该神经网络架构拥有两种独立的评估量：一个用于状态价值函数V(s)，一个用于状态依存动作优势函数A，从而能够在没有将任何变化强加于低层的强化学习算法的情况下，在动作间进行归纳学习，进而实现决策目的；
S32、物理实体中任务多模态表达的自监督学习：首先学习基于神经网络的多传感器数据特征表示；其次将得到的压缩特征向量用作通过强化学习学习到的策略的输入；最后通过自监督来训练表示模型；
所述步骤S1进一步包括：
S11、采集工厂在不同生产过程中多个传感器的传感器数据；
S12、基于分层特征聚集模型的数据分类与语义解析，包括：针对所述传感器数据，将其建模为传感器数据时序累积过程的网络拓扑图；将传感器节点之间的边定义为顺序事件，建立一个由节点与其邻居之间交互事件驱动的动态过程构成的时序动态拓扑图结构；根据所述时序动态拓扑图结构的特点，采用GCN-LSTM结构将结构信息与时间信息相结合，利用网络嵌入将节点嵌入到低维空间中，同时捕捉网络的结构和性质，采用分层特征聚集法以在不同深度的邻域上学习不同的特征聚合器；并使用LSTM聚合不同深度的信息，以确保信息从更高的深度流向节点；
S13、基于不完整多模态深度语义匹配融合模型建立：采用跨模态深度语义匹配机制，通过模态数据间多层非线性的相关性，建立不完整多模态的深度语义匹配融合模型；包括：构建模态间的共享特征子空间，以学习不完整多模态数据的共享；通过设置不变图规则化因子，保证共享子空间中各模态数据的局部相似特性；以及建立新的目标函数以描述不完整多模态数据深度语义匹配模型。
2.根据权利要求1所述的基于5G驱动的智能工厂数字孪生信息的决策控制方法，其特征在于，在所述步骤S21中，进一步通过以下方式实现5G环境下数字孪生的通信方式建立：
通过建立一种基于5G的数字孪生通信方式，该通信方式由现场层、边缘层、云计算三层构成；其中现场层是利用5G网络连接传感器、执行器、设备、控制系统和资产现场节点；边缘层位于现场层与云计算层之间，包括边缘节点和边缘管理器两个主要部分；云计算层完成全局调度智能决策；具体如下：
(a)现场层
首先建立5G网络切片：利用SDN和虚拟化技术将5G网络物理基础设施资源根据实际工厂车间任务需求虚拟化为多个相互独立、平行的虚拟网络切片；其中，在每一个网络切片内，对虚拟资源进行分割，按需创建子网络；
其次根据工厂实际任务需求，分离SDN控制面与转发面；其中，根据工厂不同车间任务不同，在SDN应用层进行任务安排和资源管理；在SDN的控制层，将对数据平面资源进行处理，维护网络状态、网络拓扑；在数据转发层处理和转发各类孪生数据，并收集设备状态；
然后连接现场节点与实体设备；现场节点通过工厂生产环境中各种类型的现场网络和工业总线、和5G网络切片，与边缘层中的边缘网关设备相连接，实现现场层和边缘层之间数据流和控制流的连通；
最后进行网络结构拓扑化；利用边缘网关设备，将各组现场节点彼此连接，并延伸连接到广域网络，实现不同层间通信的网络使用不同的拓扑结构，并允许来自边缘节点的数据流入和到边缘节点的控制命令流出；
(b)边缘计算
边缘计算的框架由云、边缘、现场设备、现场设备的相关功能及现场设备的应用五部分组成；
根据工厂实际生产任务需求以及现场设备情况，通过边缘计算实现以下功能：
首先设计边缘层的连接结构：(1)向下支持各种现场设备的接入：包括生产工厂的机械手、机床、AGV以及各种传感器，灵活地通过现场总线或者5G的网络切片计入边缘云中，通过时间敏感型网络TSN和SDN，实现智能感知、计算，进行数据分析、实时控制，或者对整个生产过程进行优化；(2)通过5G网络切片下上与云端对接，实现全局调度或智能决策的功能；
其次分配边缘计算节点的任务；根据生产任务侧重点和生产车间硬件特点的不同，安排边缘计算节点的具体任务分配，其中包括以网络协议处理和转换为重点的边缘网卡、以支持实时闭环控制业务为重点的边缘控制器、以大规模数据处理为重点的边缘云、以低功耗信息采集和处理为重点的边缘传感器；
最后设置边缘计算系统对资源的使用方式：(1)直接将计算、网络和存储资源进行封装，提供调用接口，边缘管理器以代码下载、网路配置和数据库操作方式使用边缘节点资源；(2)进一步将边缘基础资源按功能领域封装成功能模块，边缘管理器通过模型驱动的业务编排的方式组合和调用功能模块，实现边缘计算业务的一体化开发和敏捷部署。
3.根据权利要求1所述的基于5G驱动的智能工厂数字孪生信息的决策控制方法，其特征在于，所述步骤S22具体包括：
(a)建立MEC系统通信网络
通过建立一个拥有两类服务业务的MEC通信系统，即URLLC服务用户和延迟容忍服务用户，并满足延迟、可靠性约束，以及延迟容忍服务的稳定性约束条件；
建立URLLC服务用户和延迟容忍服务用户；M个接入点AP为Ku个URLLC用户和Kb个延迟容忍用户提供服务，其中Ku和Kb分别取值于κu＝{1,···,κu}和κb＝{Ku+1,···,Ku+Kb}；用上标ξ＝{u,b}区别不同的服务用户；如果ξ＝u，则表明该参数用于URLLC用户；否则，用于延迟容忍用户；
将不同的连接点AP连接到负责用户关联的MME；为了建立数字孪生，MME将网络的参数和模型发送到一个中央服务器，并探索数字孪生的用户关联方案；利用一个深度神经网络DNN的输出值来近似最佳用户关联方案，其中DNN在数字孪生中进行离线训练；在训练阶段结束后，将一个用户关联的DNN输出结果发送给MME；根据给定的用户关联方案，将网络分解为单AP问题；对于每个单AP问题，AP为与之相关连的用户优化资源分配和负载任务转移；
为每个AP匹配MEC服务器，每个用户链接到一个本地服务器；将时间离散为时隙；每个时隙持续时间为Ts；第m个MEC和第k个用户的服务效率分别表示为Sm和
第k个用户在
范围内调整
是用户的最大计算能力；
将系统中的非平稳参数分为两类；第一类参数是高度动态的，大规模的信道增益和平均任务到达率；另一类参数变化缓慢，任一地区的用户密度；对于第一类参数，将其直接作为DNN的输入；对于第二类参数，系统实时检测第二类参数的值，并在数字孪生中进行更新；然后，DNN从更新的数字孪生中学习；使用预训练良好的DNN初始化新的DNN网络，而不是从头开始训练新的DNN网络；通过这种方式，DNN的输出就会随着非平稳参数的变化而变化；
(b)MEC系统通信性能参数的DNN模型分析
利用DNN网络和数字孪生对MEC通信系统性能进行分析，包括：
首先计算用户连接方法的归一化能量损耗；深度神经网络DNN的输入是连接接入点的用户大范围信道增益、以及用户的平均任务的达到率，DNN输出是用户的连接方案；基于研究用户连接方案，定义DNN的直接输出为
从数字孪生模型中得到用户连接方案的归一化能量损耗；
其次最小化归一化能量损耗；对根据探究策略随机生成的用户连接方案，求取最小化的归一化能量消耗，进而从数字孪生模型中反馈得到经过优化更新的最佳用户连接方案
然后保存DNN的输入、输出参数；对将DNN输入的参数α，λ，和最佳用户连接方案
保存到存储器中，以进行下一次的DNN训练；
最后建立归一化能量损耗的规则；在上述数字孪生体中，拥有经DNN网络迭代输出的系统参数，孪生模型，以及对接入点AP设置的规则，如下所示：
其中，P表示对信道子载波分配和负载概率进行优化的策略，适用于所有的用户情况，优化规则如公式(6)所示：
其中，
表示标准的能量损耗，区间(N*,x*)和(α，λ，β)之间的最优关系，表示为π2：α，λ，β→N*，x*；π2表示最小归一化能量损耗，用Q*(α，λ，β|π2)来表示，表明归一化能量损耗依赖于用户连接关系。
4.根据权利要求1所述的基于5G驱动的智能工厂数字孪生信息的决策控制方法，其特征在于，所述步骤S31具体包括：
(a)网络结构：
构建网络DQN的结构，把DQN中全连接层拆开成两部分，一条输出标量为V的关于状态的价值，另外一条输出关于策略价值函数A的值；其中V只有一维，表示该状态的得分，A和决策的维度一致，表示执行某个决策相对于该状态获得的额外得分；然后再由V和A通过公式计算得到和原来含义；
(b)V和A的组合：
由于策略价值函数A的期望为0，网络中的A其实是每个A减去所有A的均值，因此重新定义优势函数A，和奖励函数Q，如公式(7)所示
Aπ(s,a)＝Qπ(s,a)-Vπ(s) (7)
其中，V(s)作为价值函数，表明了状态的好坏程度；Q函数表明了当前状态下确定的某个决策的价值，A函数表明在这个状态下各个动作的相对好坏程度；
(c)固定V和A的差异函数
由于V(s)是一个标量，所以在网络中，该值左偏或者右偏，不影响最后得到的Q值；因此无法直接通过Q值解析出A和V的值；由于Dueling DQN是一个端到端的训练网络，不存在单独训练V或者A价值函数；对于该网络架构，在进行端到端的训练中，V和A值有存在一个常数的差异，为了避免该差异值摇摆不定，将其奖励函数Q固定为如公式(8)所示：
5.根据权利要求1所述的基于5G驱动的智能工厂数字孪生信息的决策控制方法，其特征在于，在所述步骤S32中，以学习控制器执行需要操作任务的策略为目标，评估融合多传感器信息的价值以及多模态表示在跨任务传递中的能力；具体包括：
(a)任务操作的无模型强化学习建模
将工厂生产过程中具有不同任务的操作近似为一个无模型强化学习问题，分析其在依赖多模态反馈以及在几何、间隙和构型不确定情况下的性能；选择无模型，消除对精确动力学模型的需要，对实际生产环境和任务进行理想化近似；
将操作任务建模为一个有限时间的离散马尔科夫决策过程M，状态空间S，动作空间A，状态转移动力学T:S×A→S，初始状态分布ρ0，回报函数r:S×A→R，时间T，折扣系数γ∈(0,1)，为了确定最优随机策略π:S→P(A)，希望最大化期望折扣奖励如公式(9)所示：
(b)网络架构
利用自监督进行多模态表征学习的神经网络架构，该网络使用来自多个不同传感器的数据作为模型输入；分析基于强化学习的驱动神经网络的学习方法，将训练好的驱动神经网络拟合的控制策略应用在实际的物理系统中进行验证。
6.根据权利要求1所述的基于5G驱动的智能工厂数字孪生信息的决策控制方法，其特征在于，所述步骤S12进一步包括：
S121、集合G＝(V,E,X,L)为异构多源传感器网络的数据拓扑图，其中V是传感器节点集合，E为节点之间的边的结合，
为节点特征的集合，同时L表示不同节点标签的集合；一个节点v与v相邻的节点的距离为k，表示为
已知该节点嵌入表示为
则每一个嵌入的深度为k节点嵌入表示为
S122、通过层次聚合框架学习节点嵌入：
首先，使用类似于GraphSAGE的聚集方法，将深度k邻域的特征集合成单个向量，如公式(1)所示:
其中s(x)给出邻域集合x中的节点样本，AGGREGATE是一种类似于GraphSAGE的特征聚合，并且k∈{1,···,K}，其中K为传感器数据网络能找到的最大深度；已学习到节点嵌入
是从距离深度为k的邻域节点v'捕获到的信息；
然后,结合LSTM元细胞，为每个节点v，学习其在不同深度
的嵌入，并将最后一个节点嵌入hv分配为v，则有公式(2)成立：
最后,将学习到的向量
反馈给全连接层，完成下游节点的分类任务、实现对数据的语义解析；
S123、训练监督多类节点分类任务：
利用分类交叉熵作为损失函数，训练监督多类节点分类任务的模型，所述多类节点分类任务包括转换和归纳；使用相同的训练目标对模型进行端到端的训练；对于多标签、多类分类，对每一类使用二元交叉熵；在LSTM的每一步使用分类交叉熵损失函数，以提高训练效果。
7.根据权利要求6所述的基于5G驱动的智能工厂数字孪生信息的决策控制方法，其特征在于，所述步骤S13具体包括：
S131、非负矩阵分解：
如公式(3)所示，
为矩阵分解中的基矩阵，
为不完整模态数据实例
在子空间中的潜在表示；如此公式(1)中限定的每个模态都具有相同完整的模态数据编码矩阵Pc，耦合及矩阵和模态偶编码矩阵来最小化目标函数；
S132、局部不变图规则化：
利用不变图模型对学习到的共享编码矩阵Pc进行规则化表示，来保证每个模态数据与其在子空间中的几何结构一致；通过构建每个模态的最近邻图G(v)描述数据点间的局部几何结构；模态v中的每一个数据实例
表示成G(v)中的一个点；W(v)为G(v)的权重邻接矩阵；在W(v)中
表示数据实例
和
间的相近程度；度量方法如下公式(4)：
其中，
为数据实例
和
间的欧式距离，
和
分别表示
和
的p个最近邻数据实例；
S133、不完整多模态深度语义匹配融合：
采用融合深度学习网络与不完整多模态深度语义匹配数据，联合挖掘任意模态孪生数据的深度语义匹配特征；该模型由公式(5)表示：
其中，
为模态私有深度网络的特征输出，f为非线性激活函数，此处为Sigmod函数，Wv、bv分别为相应的权重矩阵和偏置向量；
通过联合优化模态私有深度学习网络、基矩阵和一致编码矩阵，得到多模态深度语义共享子空间，并对多模态数据特征进行融合分析。
8.一种基于5G驱动的智能工厂数字孪生信息的决策控制系统，其特征在于，包括：
多源异构孪生数据融合模块；
基于5G的数字孪生信息交互通信模块；以及
多源异构孪生数据信息的控制决策模块；
其中，所述基于5G驱动的智能工厂数字孪生信息的决策控制系统能够执行如权利要求1至7中任一项所述的基于5G驱动的智能工厂数字孪生信息的决策控制方法。
9.一种基于5G驱动的智能工厂数字孪生信息的决策控制设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，其中，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的基于5G驱动的智能工厂数字孪生信息的决策控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210236935.4A CN114637262B (zh) | 2022-03-10 | 2022-03-10 | 基于5g驱动的智能工厂数字孪生信息的决策控制方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210236935.4A CN114637262B (zh) | 2022-03-10 | 2022-03-10 | 基于5g驱动的智能工厂数字孪生信息的决策控制方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114637262A CN114637262A (zh) | 2022-06-17 |
| CN114637262B true CN114637262B (zh) | 2022-11-15 |
Family
ID=81947138
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210236935.4A Active CN114637262B (zh) | 2022-03-10 | 2022-03-10 | 基于5g驱动的智能工厂数字孪生信息的决策控制方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114637262B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024011376A1 (zh) * | 2022-07-11 | 2024-01-18 | 北京小米移动软件有限公司 | 人工智能ai网络功能服务的任务调度方法及装置 |
| CN115442315B (zh) * | 2022-07-25 | 2023-10-24 | 互赢科技(东莞)有限公司 | 一种基于深度学习的多源异构网络接入方法 |
| CN115237077A (zh) * | 2022-07-28 | 2022-10-25 | 广东鉴面智能科技有限公司 | 一种基于5g边缘计算的工业数字孪生系统 |
| CN115426319A (zh) * | 2022-08-30 | 2022-12-02 | 上海飞机制造有限公司 | 一种网络资源调度系统 |
| CN115238529B (zh) * | 2022-09-23 | 2022-12-16 | 北自所(北京)科技发展股份有限公司 | 基于数字孪生的化纤长丝工艺溯源方法、装置及存储介质 |
| CN115361301B (zh) * | 2022-10-09 | 2023-01-10 | 之江实验室 | 一种基于dqn的分布式计算网络协同流量调度系统与方法 |
| CN115311027B (zh) * | 2022-10-11 | 2022-12-27 | 工业云制造(四川)创新中心有限公司 | 一种基于数字孪生的供应链管理方法及系统 |
| CN116070975B (zh) * | 2023-04-03 | 2023-07-28 | 江苏为恒智能科技有限公司 | 基于数字孪生技术的园区能量管理系统及零碳运营方法 |
| CN116258420B (zh) * | 2023-05-11 | 2023-08-01 | 中南大学 | 一种产品质量检测方法、装置、终端设备及介质 |
| CN116506474B (zh) * | 2023-06-29 | 2023-11-21 | 国网江苏省电力有限公司信息通信分公司 | 一种基于云边协同的电力微服务分层系统 |
| CN117092977B (zh) * | 2023-10-19 | 2024-01-30 | 山东汇颐信息技术有限公司 | 工业数字孪生的数据空间构建方法、系统、设备及介质 |
| CN117441980B (zh) * | 2023-12-20 | 2024-03-22 | 武汉纺织大学 | 一种基于多传感信息智能计算的智能头盔系统及方法 |
| CN117692937B (zh) * | 2024-02-04 | 2024-05-14 | 江苏未来网络集团有限公司 | 一种5g全连接工厂设备网络拓扑结构及其构建、使用方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110519783A (zh) * | 2019-09-26 | 2019-11-29 | 东华大学 | 基于增强学习的5g网络切片资源分配方法 |
| CN111683381A (zh) * | 2020-04-28 | 2020-09-18 | 南京邮电大学 | 基于深度强化学习的端到端网络切片资源分配算法 |
| CN112770285A (zh) * | 2020-12-25 | 2021-05-07 | 朗坤智慧科技股份有限公司 | 基于5g网络的数字孪生工厂建模方法及装置 |
| CN113515098A (zh) * | 2021-07-30 | 2021-10-19 | 青岛海尔工业智能研究院有限公司 | 物流机器人数字孪生系统 |
| CN113965568A (zh) * | 2021-10-19 | 2022-01-21 | 南京莱斯网信技术研究院有限公司 | 一种面向城市道路c-v2x网络的边缘计算系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112560337B (zh) * | 2020-12-10 | 2023-12-01 | 东北大学 | 复杂工业过程数字孪生系统智能建模方法、装置、设备及存储介质 |
| CN113051830B (zh) * | 2021-04-01 | 2023-04-18 | 重庆大学 | 智能产线动态误差预测系统、控制系统、控制方法及数字孪生系统 |
| CN113356916B (zh) * | 2021-07-08 | 2022-09-16 | 长安大学 | 一种基于数字孪生技术的矿井风流调控虚拟系统及智能调控方法 |
-
2022
- 2022-03-10 CN CN202210236935.4A patent/CN114637262B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110519783A (zh) * | 2019-09-26 | 2019-11-29 | 东华大学 | 基于增强学习的5g网络切片资源分配方法 |
| CN111683381A (zh) * | 2020-04-28 | 2020-09-18 | 南京邮电大学 | 基于深度强化学习的端到端网络切片资源分配算法 |
| CN112770285A (zh) * | 2020-12-25 | 2021-05-07 | 朗坤智慧科技股份有限公司 | 基于5g网络的数字孪生工厂建模方法及装置 |
| CN113515098A (zh) * | 2021-07-30 | 2021-10-19 | 青岛海尔工业智能研究院有限公司 | 物流机器人数字孪生系统 |
| CN113965568A (zh) * | 2021-10-19 | 2022-01-21 | 南京莱斯网信技术研究院有限公司 | 一种面向城市道路c-v2x网络的边缘计算系统 |
Non-Patent Citations (1)
| Title |
|---|
| 面向电力物联网URLLC业务的智能网络切片管理方法;叶万余;《工业工程》;20220228;第129-135页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114637262A (zh) | 2022-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114637262B (zh) | 基于5g驱动的智能工厂数字孪生信息的决策控制方法及系统 | |
| CN114595773B (zh) | 基于工厂生产过程的多源异构孪生数据融合方法及系统 | |
| Pires et al. | Digital twin in industry 4.0: Technologies, applications and challenges | |
| Chen et al. | Approximating explicit model predictive control using constrained neural networks | |
| US10762424B2 (en) | Methods and systems for reinforcement learning | |
| US20240103460A1 (en) | AI-Based Energy Edge Platform, Systems, and Methods Having Interfaces to Modularize Heterogeneous Energy Storage Types | |
| US10860809B2 (en) | Word embeddings and virtual terms | |
| US11080602B1 (en) | Universal attention-based reinforcement learning model for control systems | |
| Hoang et al. | Collective model fusion for multiple black-box experts | |
| Stranders et al. | Decentralised control of continuously valued control parameters using the max-sum algorithm | |
| Sen et al. | An influence diagram based multi-criteria decision making framework for multirobot coalition formation | |
| Wang et al. | Network Meets ChatGPT: Intent Autonomous Management, Control and Operation | |
| Paul et al. | Efficient planning of multi-robot collective transport using graph reinforcement learning with higher order topological abstraction | |
| Angelov et al. | Evolving intelligent systems, eIS | |
| Lee | A novel hybrid algorithm for function approximation | |
| Robertazzi et al. | Machine learning in networking | |
| Macktoobian et al. | Learning optimal topology for ad-hoc robot networks | |
| Kubota et al. | Structured intelligence for self-organizing manufacturing systems | |
| Mozo et al. | Anticipatory analysis of AGV trajectory in a 5G network using machine learning | |
| Gebrekidan et al. | Deep reinforcement learning with coalition action selection for online combinatorial resource allocation with arbitrary action space | |
| Chen et al. | IoT-enabled product development method to support rapid manufacturing using a nature-inspired algorithm | |
| US11321954B1 (en) | Computer-vision techniques for time-series recognition and analysis | |
| Paul et al. | Bigraph Matching Weighted with Learnt Incentive Function for Multi-Robot Task Allocation | |
| Fahidhil et al. | Application of Deep neural network for an Effective user experience in an interactive platform | |
| Yitmen et al. | Enabling Technologies for Cognitive Digital Twins Towards Construction 4.0 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 300457 No. 9, 13th Street, economic and Technological Development Zone, Binhai New Area, Tianjin Applicant after: TIANJIN University OF SCIENCE AND TECHNOLOGY Applicant after: Jinan University Applicant after: Guangdong taiyunze Technology Co.,Ltd. Address before: 519031 room 105, No. 6, Baohua Road, Qinxin District, Zhuhai City, Guangdong Province Applicant before: Guangdong taiyunze Technology Co.,Ltd. Applicant before: TIANJIN University OF SCIENCE AND TECHNOLOGY Applicant before: Jinan University |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |