CN116776744A - 一种基于增强现实的装备制造控制方法及电子设备 - Google Patents
一种基于增强现实的装备制造控制方法及电子设备 Download PDFInfo
- Publication number
- CN116776744A CN116776744A CN202311021041.4A CN202311021041A CN116776744A CN 116776744 A CN116776744 A CN 116776744A CN 202311021041 A CN202311021041 A CN 202311021041A CN 116776744 A CN116776744 A CN 116776744A
- Authority
- CN
- China
- Prior art keywords
- production line
- line state
- network
- production
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 636
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 31
- 238000001514 detection method Methods 0.000 claims abstract description 177
- 230000008569 process Effects 0.000 claims abstract description 24
- 238000012512 characterization method Methods 0.000 claims description 140
- 239000011159 matrix material Substances 0.000 claims description 97
- 238000009826 distribution Methods 0.000 claims description 86
- 238000004458 analytical method Methods 0.000 claims description 68
- 230000006870 function Effects 0.000 claims description 61
- 230000002452 interceptive effect Effects 0.000 claims description 53
- 239000000463 material Substances 0.000 claims description 20
- 230000003993 interaction Effects 0.000 claims description 15
- 239000000203 mixture Substances 0.000 claims description 12
- 238000005265 energy consumption Methods 0.000 claims description 9
- 239000000969 carrier Substances 0.000 claims description 6
- 125000004122 cyclic group Chemical group 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 5
- 230000005856 abnormality Effects 0.000 claims description 4
- 230000005012 migration Effects 0.000 abstract description 5
- 238000013508 migration Methods 0.000 abstract description 5
- 230000004044 response Effects 0.000 abstract description 3
- 238000005457 optimization Methods 0.000 description 11
- 238000003860 storage Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 238000013526 transfer learning Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 4
- 230000001537 neural effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005065 mining Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013140 knowledge distillation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011958 production data acquisition Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Business, Economics & Management (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- Medical Informatics (AREA)
- Manufacturing & Machinery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种基于增强现实的装备制造控制方法及电子设备，通过数字孪生模型将真实生产线的生产状态进行可视化展现，并在数字孪生模型中展示生产状态，进行增强现实显示，能进一步突出生产线状态信息，提高生产管理水平，缩短响应时间。在对生产线状态识别的过程中，采用了人工智能模型进行识别，模型调试时，通过生产线状态识别网络在生产线状态检测教师模型中识别得到相关生产线状态信息，并基于识别出的生产线状态信息教授生产线状态检测学生模型的调试，实现知识迁移，采用生产线状态识别网络为媒介完成，迁移学习对网络架构的依赖性低，可配置性高，同时可以增加生产线状态检测学生模型的生产线状态识别的精确度。
Description
技术领域
本申请涉及智能制造、人工智能领域，具体而言，涉及一种基于增强现实的装备制造控制方法及电子设备。
背景技术
制造业作为全球经济发展重要支撑，我国先后出台了“互联网+”、“工业互联网”等制造业国家发展实施战略，把推动制造业高质量发展作为构建现代化经济体系的重要一环，推动制造业与新型ICT技术融合，实现制造业数字化、智能化转型。在智能制造浪潮下，数字孪生成为了最为关键和基础性技术之一，助力企业提升资源优化配置，有助于加快制造工艺数字化、生产系统模型化、服务能力生态化。在数字孪生中，涉及到多元化的技术结合，例如虚拟现实、增强现实、人工智能、大数据、物联网等等，其中，将数字孪生与人工智能相结合，可以减少产品制造过程中的“臆测”几率，降低因不合理的想法实施带来的损失。智能制造由于涉及的环节和设备种类多，产生的数据量大，对于算力要求高，因此人工智能模型需要轻量化，因此，增加模型可适配性是亟待解决的问题。
发明内容
本申请的目的在于提供一种基于增强现实的装备制造控制方法及电子设备。本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
第一方面，本申请实施例提供了一种基于增强现实的装备制造控制方法，包括：
获取数字孪生建模数据，并基于所述数字孪生建模数据建立装备制造孪生体模型，所述装备制造孪生体模型与真实装备制造生产线彼此映射；
获取所述真实装备制造生产线的实时生产数据，将所述实时生产数据共享至运行中的所述装备制造孪生体模型；
调取事先部署的生产线状态检测模型，并基于所述生产线状态检测模型对所述实时生产数据进行生产状态检测，得到生产状态推理结果；
在预设的增强现实素材库中调取所述生产状态推理结果对应的增强现实素材，并在所述装备制造孪生体模型中对应于所述生产状态推理结果的对象上融合所述增强现实素材；
其中，所述生产线状态检测模型通过以下操作进行调试得到：
获取生产数据学习样例集，其中，所述生产数据学习样例集中包括各生产数据学习样例；
将所述各生产数据学习样例加载至生产线状态检测教师模型，获得所述各生产数据学习样例的第一表征载体集合，基于所述第一表征载体集合，基于生产线状态识别网络，获得所述各生产数据学习样例的第一生产线状态识别结果，其中，所述生产线状态识别网络为通过所述生产线状态检测教师模型调试得到的；
将所述各生产数据学习样例加载至生产线状态检测学生模型，获得所述各生产数据学习样例的第二表征载体集合，基于所述第二表征载体集合和所述第一表征载体集合，基于所述生产线状态识别网络，获得所述各生产数据学习样例的第二生产线状态识别结果；
基于所述各生产数据学习样例的所述第二生产线状态识别结果和所述第一生产线状态识别结果，调试所述生产线状态检测学生模型，在符合设定要求时得到生产线状态检测模型。
本申请至少具有的有益效果：本申请通过数字孪生模型将真实生产线的生产状态进行可视化展现，并在数字孪生模型中展示生产状态，进行增强现实显示，能进一步突出生产线状态信息，提高生产管理水平，缩短响应时间。在对生产线状态识别的过程中，采用了人工智能模型进行识别，该模型在调试时，将生产数据学习样例集中各生产数据学习样例加载至生产线状态检测教师模型，通过生产线状态识别网络获得各生产数据学习样例的第一生产线状态识别结果，并将各生产数据学习样例加载至生产线状态检测学生模型，通过生产线状态识别网络获得各生产数据学习样例的第二生产线状态识别结果，进而基于各生产数据学习样例的第二生产线状态识别结果和第一生产线状态识别结果，调试生产线状态检测学生模型得到生产线状态检测模型，基于此，通过生产线状态识别网络在生产线状态检测教师模型中识别得到相关生产线状态信息，并基于识别出的生产线状态信息教授生产线状态检测学生模型的调试，实现知识迁移，进一步地，该调试过程采用生产线状态识别网络为媒介完成，不用约束生产线状态检测教师模型和生产线状态检测学生模型的网络组成架构，换言之，上述迁移学习对网络架构的依赖性低，可配置性高，同时可以增加生产线状态检测学生模型的生产线状态识别的精确度。
可选地，基于所述第一表征载体集合，基于生产线状态识别网络，获得所述各生产数据学习样例的第一生产线状态识别结果，包括：
基于所述生产线状态识别网络中目标原始矩阵和所述第一表征载体集合，基于所述生产线状态识别网络的第一目标交互聚焦分析算子，获得搜索矩阵；
基于所述搜索矩阵和所述第一表征载体集合，基于所述生产线状态识别网络的第二目标交互聚焦分析算子，获得所述第一生产线状态识别结果。
本申请实施例中，将目标原始矩阵和第一表征载体集合进行交互聚焦分析，实现了注意力特征的交叉，以确定彼此的依赖关系，获得搜索矩阵，再与第一表征载体集合进行交互聚焦分析，得到生产线状态检测教师模型中的相关生产线状态信息，依据交互聚焦分析能聚焦到生产数据学习样例中的目标信息，增加识别结果的精确度。
可选地，基于所述第二表征载体集合和所述第一表征载体集合，基于所述生产线状态识别网络，获得所述各生产数据学习样例的第二生产线状态识别结果，包括：
基于所述生产线状态识别网络中目标原始矩阵和所述第一表征载体集合，基于所述生产线状态识别网络的第一目标交互聚焦分析算子，获得搜索矩阵；
基于所述搜索矩阵和所述第二表征载体集合，基于所述生产线状态识别网络的第二目标交互聚焦分析算子，获得所述第二生产线状态识别结果。
本申请实施例中，通过生产线状态检测教师模型的输出以得到搜索矩阵，并通过该搜索矩阵和第二表征载体集合进行交互聚焦分析，获得生产线状态检测学生模型的第二生产线状态识别结果，增加了生产线状态检测学生模型学习生产线状态检测教师模型中生产线状态信息的效果和能力。
可选地，所述第一生产线状态识别结果包括第一目标状态识别结果和第一目标分布信息识别结果，所述第二生产线状态识别结果包括第二目标状态识别结果和第二目标分布信息识别结果；所述生产线状态识别网络包括第一子网络和第二子网络，所述第一子网络用于识别所述第一目标状态识别结果或所述第二目标状态识别结果，所述第一子网络的网络组成至少包括第一交互聚焦分析算子和第二交互聚焦分析算子；所述第二子网络用于识别所述第一目标分布信息识别结果或第二目标分布信息识别结果，所述第二子网络的网络组成至少包括第三交互聚焦分析算子和第四交互聚焦分析算子。
本申请实施例相关生产线状态信息包括状态识别信息和状态结果在数据中的分布信息，以及基于生产线状态识别网络的两个单独的第一子网络和第二子网络进行识别，能在生产线状态检测教师模型中识别出更加充足的相关生产线状态信息，从而增加对生产线状态检测学生模型调试的准确性。
可选地，所述符合设定要求，包括：模型循环调试的次数满足预设的最大次数，或者目标误差函数的误差达到最小；其中，所述目标误差函数至少包括第一误差函数和第二误差函数的融合结果，所述第一误差函数表示所述第一目标状态识别结果和所述第二目标状态识别结果之间的误差函数，所述第二误差函数表示所述第一目标分布信息识别结果和所述第二目标分布信息识别结果之间的误差函数。
本申请实施例中，生产线状态识别网络包括两个子网络，分别获得状态识别信息和状态结果在数据中的分布信息，这样通过两个子网络的误差函数的融合结果确定目标误差函数，增加了调试的精确度。
可选地，基于所述第一表征载体集合，基于生产线状态识别网络，获得所述各生产数据学习样例的第一生产线状态识别结果，包括：
将所述第一表征载体集合加载至所述第一子网络，基于所述第一子网络中第一原始矩阵和所述第一表征载体集合，基于所述第一交互聚焦分析算子，获得第一搜索矩阵，并基于所述第一搜索矩阵和所述第一表征载体集合，基于所述第二交互聚焦分析算子，获得所述第一目标状态识别结果；
将所述第一表征载体集合加载至所述第二子网络，基于所述第二子网络中第二原始矩阵和所述第一表征载体集合，基于所述第三交互聚焦分析算子，获得第二搜索矩阵，并基于所述第二搜索矩阵和所述第一表征载体集合，基于所述第四交互聚焦分析算子，获得所述第一目标分布信息识别结果，其中，所述第二原始矩阵与所述各生产数据学习样例中目标锁定标记的分布信息关联。
本申请实施例中，通过生产线状态识别网络的第一子网络和第二子网络分别识别生产线状态检测教师模型的第一目标状态识别结果和第二目标分布信息识别结果，增加了相关生产线状态信息识别的精确度，识别结果更加丰富。
可选地，基于所述第二表征载体集合和所述第一表征载体集合，基于所述生产线状态识别网络，获得所述各生产数据学习样例的第二生产线状态识别结果，包括：
将所述第一表征载体集合和所述第二表征载体集合加载至所述第一子网络，基于所述第一子网络中第一原始矩阵和所述第一表征载体集合，基于所述第一交互聚焦分析算子，获得第一搜索矩阵，并基于所述第一搜索矩阵和所述第二表征载体集合，基于所述第二交互聚焦分析算子，获得所述第二目标状态识别结果；
将所述第一表征载体集合和所述第二表征载体集合加载至所述第二子网络，基于所述第二子网络中第二原始矩阵和所述第一表征载体集合，基于所述第三交互聚焦分析算子，获得第二搜索矩阵，并基于所述第二搜索矩阵和所述第二表征载体集合，基于所述第四交互聚焦分析算子，获得所述第二目标分布信息识别结果，其中，所述第二原始矩阵与所述各生产数据学习样例中目标锁定标记的分布信息关联。
本申请实施例中，基于生产线状态检测教师模型的输出得到第一搜索矩阵和第二搜索矩阵，如此分别通过生产线状态识别网络的第一子网络和第二子网络得到生产线状态检测学生模型的第二目标状态识别结果和第二目标分布信息识别结果，令生产线状态检测学生模型学习生产线状态检测教师模型，以实现生产线状态检测学生模型的调试，此外增加了生产线状态检测学生模型调试的准确性。
可选地，所述生产线状态识别网络的调试方式，包括以下操作：
获取第二生产数据学习样例集，其中，所述第二生产数据学习样例集中包括各第二生产数据学习样例；
将所述各第二生产数据学习样例加载至所述生产线状态检测教师模型，获得所述各第二生产数据学习样例的第三表征载体集合，并基于所述第三表征载体集合，基于所述生产线状态识别网络，获得所述各第二生产数据学习样例的第三生产线状态识别结果；
基于所述第三生产线状态识别结果，调试所述生产线状态识别网络，在模型循环调试的次数满足预设的最大次数或者识别任务误差函数符合最小误差值时，获得调试完成后的生产线状态识别网络，其中，所述识别任务误差函数包括预估指示信息和实际指示信息之间的误差，所述预估指示信息为通过所述第三生产线状态识别结果进行生产线状态识别获得的结果。
本申请实施例可以将生产线状态识别网络衔接到生产线状态检测教师模型的输出算子，如此依据生产线状态检测教师模型调试获得生产线状态识别网络，能够令生产线状态识别网络挖掘出和状态识别任务关联的生产线状态信息。
可选地，所述第三生产线状态识别结果包括第三目标状态识别结果和第三目标分布信息识别结果，则基于所述第三表征载体集合，基于所述生产线状态识别网络，获得所述各第二生产数据学习样例的第三生产线状态识别结果，包括：
将所述第三表征载体集合加载至所述生产线状态识别网络的第一子网络，获得所述各第二生产数据学习样例的第三目标状态识别结果；将所述第三表征载体集合加载至所述生产线状态识别网络的第二子网络，获得所述各第二生产数据学习样例的第三目标分布信息识别结果。
本申请实施例中，生产线状态识别网络被划分成第一子网络和第二子网络，该两个子网络单独进行调试，那么彼此的网络参变量是不产生牵涉的，则可以提升对状态识别信息和状态结果在数据中的分布信息挖掘的精确度。
可选地，所述预估指示信息包括预估目标分布指示信息和预估状态指示信息，并所述预估目标分布指示信息和所述预估状态指示信息为通过所述第三目标状态识别结果或所述第三目标分布信息识别结果得到的，所述实际指示信息包括实际目标分布指示信息和实际目标状态指示信息；所述识别任务误差函数包括所述预估目标分布指示信息与所述实际目标分布指示信息之间的误差，以及所述预估状态指示信息与所述实际目标状态指示信息之间的误差的求和结果。
本申请实施例中，基于两个子网络的生产线状态识别网络的调试，误差函数包括分布信息误差函数和状态识别误差函数，可以增加调试的精确度。
可选地，所述生产状态推理结果包括以下结果中的至少一个：生产线设备的故障信息、预期使用寿命、剩余生产事件、生产线设备能耗；所述增强现实素材包括以下素材类型中的至少一种：能耗预警显示标签、设备异常显示标签、生产用时显示标签。
本申请实施例通过生产线状态识别网络获取生产线状态检测教师模型的第一生产线状态识别结果，以及得到生产线状态检测学生模型的第二生产线状态识别结果，从而调试得到生产线状态识别模型，通过调试后的生产线状态识别结果能对实时生产线数据进行生产线状态识别，基于此，生产线状态检测学生模型比生产线状态检测教师模型更小巧，但是拥有和生产线状态检测教师模型一样的生产线状态识别能力，则可以将生产线状态检测学生模型安排在对应的设备，生产线状态检测学生模型对硬件的依赖性小，部署更加灵活，确保生产线状态识别的能力。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种基于增强现实的装备制造控制方法的流程图。
图2是本申请实施例提供的一种生产线状态检测模型的调试过程的流程图。
图3是本申请实施例提供的装备制造控制装置的功能模块架构示意图。
图4是本申请实施例提供的一种电子设备的组成示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
本申请实施例提供的基于增强现实的装备制造控制方法应用于电子设备，该电子设备可以为设置在生产车间或云端的服务器，或者其他能够执行程序的计算机设备，请参照图1，本申请提供的基于增强现实的装备制造控制方法包括以下操作：
操作110，获取数字孪生建模数据，并基于数字孪生建模数据建立装备制造孪生体模型，装备制造孪生体模型与真实装备制造生产线彼此映射。
数字孪生建模数据为建立与装备制造生产线数字孪生体必要的数据，例如，数字孪生建模数据可以包括生产车间的生产要素数据，例如生产线中各个生产设备的处理器、电控机构、执行机构等，以及可以包括各个生产要素之间的关联数据，即彼此的生产关系等，基于数字孪生建模数据建立的装备制造孪生体模型，其与真实装备制造生产线中的实体，例如人员、设备、物料、方法、环境（简称人、机、料、法、环）彼此映射，完成镜像融合。
操作120，获取真实装备制造生产线的实时生产数据，将实时生产数据共享至运行中的装备制造孪生体模型。
基于此，建立了虚拟与现实之间的数据通道，例如共享连接关系、数据读取、通信，将虚拟的物联感测装置依据真实状态进行布置，完成同步。
操作130，调取事先部署的生产线状态检测模型，并基于生产线状态检测模型对实时生产数据进行生产状态检测，得到生产状态推理结果。
生产线状态检测模型为基于生产数据学习样例集对初始模型进行调试后得到的机器学习模型，例如深度神经网络，在后续内容中将对模型的调试过程进行介绍。实时生产数据包括生产线中各个设备的运行数据，例如运行时间、功率、电流、电压等，以及设备监测数据，如温度、压力、转速等数据，通过生产线状态检测模型对实时生产数据进行检测，得到的生产状态推理结果可以是生产线整体的生产状态，例如生产线中设备故障信息、设备预期寿命、当前生产任务剩余生产时间、生产线设备能耗等，针对不同需求进行适应性训练，可以训练多个模型，分别执行不同的预测需求，这多个模型可以作为主干模型的不同分支。本申请实施例中，不同的训练需求在模型调试过程中，挖掘的特征信息不同，但是使用的模型调试方法是一致的，换言之，本申请实施例在模型调试环节，重点为模型的调试方式，具体采用迁移学习以降低模型复杂度。通过事先准备的学习样例，也即训练样本数据对模型进行训练，以得到生产线状态检测模型。
操作140，在预设的增强现实素材库中调取生产状态推理结果对应的增强现实素材，并在装备制造孪生体模型中对应于生产状态推理结果的对象上融合增强现实素材。
增强现实素材例如包括以下素材类型中的至少一种：能耗预警显示标签、设备异常显示标签、生产用时显示标签，具体的，能耗预警显示标签可以是在数字孪生体模型上的预设位置按照标签的方式，对界面进行增强显示，例如通过颜色或数字进行能耗的展示，对于超过预设能耗的场景，能耗预警显示标签可以进行闪烁完成提醒，同理，异常显示标签和生产用时显示标签为按照标签对对应的信息在孪生体模型的界面上进行标签化增强显示。
本申请实施例中，通过数字孪生模型将真实生产线的生产状态进行可视化展现，并在数字孪生模型中展示生产状态，进行增强现实显示，能进一步突出生产线状态信息，提高生产管理水平，缩短响应时间。
下面对以上提及的生产线状态检测模型的调试过程进行详细介绍，请参照图2，具体地，该过程可以通过以下操作实现：
操作210，获取生产数据学习样例集，其中，生产数据学习样例集中包括各生产数据学习样例。
生产数据学习样例集中各生产数据学习样例可以是已经标记的生产数据，换言之，各生产数据学习样例包括已经标记的目标的分布指示信息（即在数据中的位置信息）和状态指示信息（即真实的生产线状态信息），用于生产线状态检测学生模型调试过程中的分布情况和状态误差函数的确定，因为本申请实施例中通过生产线状态检测教师模型教授调试生产线状态检测学生模型，还可以令生产线状态检测学生模型直接学习生产线状态检测教师模型的输出，那么，可将生产线状态检测学生模型输出的分布信息和状态信息确定为生产线状态检测学生模型调试过程中的分布指示信息和状态指示信息。
操作220，将各生产数据学习样例加载至生产线状态检测教师模型，获得各生产数据学习样例的第一表征载体集合，基于第一表征载体集合，基于生产线状态识别网络，获得各生产数据学习样例的第一生产线状态识别结果，其中，生产线状态识别网络为通过生产线状态检测教师模型调试得到的。
本申请实施例采用迁移学习方式，也即知识蒸馏，配置一个额外的生产线状态识别网络，该生产线状态识别网络先依据生产线状态检测教师模型进行调试，以挖掘生产线状态检测教师模型的相关生产线状态识别知识信息，接着，生产线状态识别网络连接到生产线状态检测学生模型，以通过在生产线状态检测教师模型挖掘的相关生产线状态识别知识信息去教授生产线状态检测学生模型调试。在调试生产线状态识别网络时，先锁定生产线状态检测教师模型的其它网络组成结构的参数，动态调试生产线状态识别网络，这样一来，相较调试整个生产线状态检测教师模型，能提高调试的速度。对于生产线状态识别网络，其可以是一个独立的网络，生产线状态识别网络的网络组成架构包含两个方面，一方面用于获得搜索矩阵，另一方面用于进行生产线状态识别结果的确定，两个方便分别对应不同的结构，前一结构为后一结构的输入，同时两个结构的架构相同，本申请对生产线状态识别网络的网络组成不做限定。可选地，生产线状态识别网络中，前一结构的网络组成为依次排列的输入算子、第一目标内部注意力算子（Self Attention）、梯度优化及标准化算子（ResNet and BatchNorm）、第一目标交互聚焦分析算子（用于进行交叉注意力，完成聚焦信息的交互）、梯度优化及标准化算子、前馈神经单元、梯度优化及标准化算子，后一结构的网络组成包括依次排列的第二目标内部注意力算子、梯度优化及标准化算子、第二目标交互聚焦分析算子、梯度优化及标准化算子、前馈神经单元、梯度优化及标准化算子和输出算子。其中，前一结构的输入算子为通过生产线状态检测教师模型得到的第一表征载体集合或生产线状态检测学生模型获得的第二表征载体集合，通过第一表征载体集合为例，接着基于第一目标内部注意力算子对目标原始矩阵进行特征的整合与挖掘，通过梯度优化及标准化算子，对第一目标内部注意力算子的输出与目标原始矩阵进行跨层恒等映射连接，然后进行标准化操作，如此基于第一目标交互聚焦分析算子将梯度优化及标准化算子的输出和第一表征载体集合进行特征指示的交叉，完成特征整合，接着基于一个梯度优化及标准化算子对第一目标交互聚焦分析算子的输入信息和输出进行跨层恒等映射连接并完成标准化，再基于前馈神经单元进行激活，然后基于一个梯度优化及标准化算子对前馈神经单元的输入输出进行跨层恒等映射连接，并进行标准化操作，得到搜索矩阵，该搜索矩阵为Query，将搜索矩阵加载至后一结构进行处理，得到第一生产线状态识别结果。
在操作220中，具体可以采用以下操作实现：
操作221，将各生产数据学习样例加载至生产线状态检测教师模型，获得各生产数据学习样例的第一表征载体集合。
例如，将各生产数据学习样例加载至生产线状态检测教师模型，通过生产线状态检测教师模型的主干网络（backbone），对各生产数据学习样例进行表征载体挖掘，获得各生产数据学习样例的第一表征载体集合，其中，本申请提到的表征载体挖掘，其过程为特征抽取的过程，得到的表征载体为表征特征信息的向量，相应的，表征载体集合可以理解为特征图（feature map）。
操作222，基于生产线状态识别网络中目标原始矩阵和第一表征载体集合，基于生产线状态识别网络的第一目标交互聚焦分析算子，获得搜索矩阵。
目标原始矩阵为生产线状态识别网络中进行前置调试（即预先训练）后的网络参变量。
操作223，基于搜索矩阵和第一表征载体集合，基于生产线状态识别网络的第二目标交互聚焦分析算子，获得第一生产线状态识别结果。
本申请实施例通过生产线状态检测教师模型调试生产线状态检测学生模型时，维持已调试的生产线状态检测教师模型和已调试的生产线状态识别网络的参数不变，以通过已调试的生产线状态识别网络确定生产线状态检测教师模型中的第一生产线状态识别结果。
操作230，将各生产数据学习样例加载至生产线状态检测学生模型，获得各生产数据学习样例的第二表征载体集合，基于第二表征载体集合和第一表征载体集合，基于生产线状态识别网络，获得各生产数据学习样例的第二生产线状态识别结果。
可选地，该操作230具体包括：
操作231，将各生产数据学习样例加载至生产线状态检测学生模型，获得各生产数据学习样例的第二表征载体集合。
例如，将各生产数据学习样例加载至生产线状态检测学生模型，通过生产线状态检测学生模型的主干网络对各生产数据学习样例进行表征载体抽取，得到各生产数据学习样例的第二表征载体集合。
操作232，基于生产线状态识别网络中目标原始矩阵和第一表征载体集合，基于生产线状态识别网络的第一目标交互聚焦分析算子，获得搜索矩阵。
本申请采用生产线状态检测教师模型输出的第一表征载体集合，获得搜索矩阵，用于生产线状态检测学生模型的生产线状态识别结果提取，令生产线状态检测学生模型学习生产线状态检测教师模型的中间层特征，有别于直接传播第一表征载体集合，本申请采用联合第一表征载体集合和交互聚焦分析，交互聚焦分析能更好表征主干网络的激活，帮助生产线状态检测学生模型在迁徙学习中进行能力提升。
操作233，基于搜索矩阵和第二表征载体集合，基于生产线状态识别网络的第二目标交互聚焦分析算子，获得第二生产线状态识别结果。
操作240，基于各生产数据学习样例的第二生产线状态识别结果和第一生产线状态识别结果，调试生产线状态检测学生模型，在符合设定要求时得到生产线状态检测模型。
作为一种实施方式，生产线状态识别网络为调试后的生产线状态检测学生模型，对生产线状态检测学生模型的调试过程是调试得到生产线状态检测学生模型的模型内部配置参数的过程，比如包括生产线状态检测学生模型的主干网络的参数，生产线状态检测学生模型比生产线状态检测教师模型更小巧简单，且因为通过生产线状态检测教师模型调试生产线状态检测学生模型，则生产线状态检测学生模型可以包含生产线状态检测教师模型的能力，这样可以将生产线状态检测学生模型投放到硬件环境更低的设备中，适应性强。
进一步而言，本申请实施例基于第一生产线状态识别结果和第二生产线状态识别结果，来调试生产线状态检测学生模型，令生产线状态检测学生模型能够在生产线状态检测教师模型中学习到识别信息的能力，学习生产线状态检测教师模型产出的第一生产线状态识别结果，第一生产线状态识别结果和第二生产线状态识别结果之间的误差函数为迁移学习误差函数，在调试生产线状态检测学生模型时，目标误差函数还包括识别算法的误差（分类识别误差、目标分布信息误差）。
本申请实施例在模型的调试过程中，通过获取生产数据学习样例集，将生产数据学习样例集中各生产数据学习样例加载至生产线状态检测教师模型，获得各生产数据学习样例的第一表征载体集合，基于第一表征载体集合，基于生产线状态识别网络获得各生产数据学习样例的第一生产线状态识别结果，并将各生产数据学习样例加载至生产线状态检测学生模型，获得各生产数据学习样例的第二表征载体集合，基于第二表征载体集合和第一表征载体集合，基于生产线状态识别网络，获得各生产数据学习样例的第二生产线状态识别结果，进而基于各生产数据学习样例的第二生产线状态识别结果和第一生产线状态识别结果，调试生产线状态检测学生模型得到生产线状态检测模型，基于此，采用生成生产线状态识别网络，基于生产线状态检测教师模型调试获得生产线状态识别网络，进而依据生产线状态识别网络识别生产线状态检测教师模型的第一生产线状态识别结果，再基于识别得到的第一生产线状态识别结果教授生产线状态检测学生模型的调试，基于此，能实现不同Detector结构（如R-CNN、SSD、RetinaNet、EfficientDet）和主干网络组成间的迁移学习，使得Detector在迁移学习对生产线状态检测教师模型和生产线状态检测学生模型的匹配要求，节约成本，同时提升生产线状态检测学生模型的准确性和能力。
从上述内容可以知道，本申请从生产线状态检测教师模型中进行相关生产线状态信息的抽取，再基于抽取的信息教授生产线状态检测学生模型的调试，可选地，抽取的第一生产线状态识别结果包括第一目标状态识别结果和第一目标分布信息识别结果，第二生产线状态识别结果包括第二目标状态识别结果和第二目标分布信息识别结果，也就是在生产线状态检测教师模型中抽取了状态识别信息和状态结果在数据中的分布信息，以教授生产线状态检测学生模型的调试，强化了迁移学习能力。
可选的实施方式中，本申请实施例的生产线状态识别网络包括第一子网络和第二子网络，第一子网络用于识别第一目标状态识别结果或第二目标状态识别结果，第一子网络的网络组成至少包括第一交互聚焦分析算子和第二交互聚焦分析算子；第二子网络用于识别第一目标分布信息识别结果或第二目标分布信息识别结果，第二子网络的网络组成至少包括第三交互聚焦分析算子和第四交互聚焦分析算子。
对于以上操作210中，基于第一表征载体集合，基于生产线状态检测教师模型中生产线状态识别网络，获得各生产数据学习样例的第一生产线状态识别结果，具体可以包括以下操作：
操作A：将第一表征载体集合加载至第一子网络，基于第一子网络中第一原始矩阵和第一表征载体集合，基于第一交互聚焦分析算子，获得第一搜索矩阵，并基于第一搜索矩阵和第一表征载体集合，基于第二交互聚焦分析算子，获得第一目标状态识别结果。
其中，第一表征载体集合为H，第一交互聚焦分析算子记作fo1（×），第二交互聚焦分析算子记为fo2（×），第一原始矩阵为M1，第一搜索矩阵为M2，第一目标状态识别结果为J1，那么：
第一搜索矩阵M2=fo1（M1，H；α）
第一目标状态识别结果J1=fo2（M2，H；β）
其中，α和β分别为第一交互聚焦分析算子和第二交互聚焦分析算子的参数，其和第一原始矩阵M1可以基于前置调试得到。
操作B：将第一表征载体集合加载至第二子网络，基于第二子网络中第二原始矩阵和第一表征载体集合，基于第三交互聚焦分析算子，获得第二搜索矩阵，并基于第二搜索矩阵和第一表征载体集合，基于第四交互聚焦分析算子，获得第一目标分布信息识别结果，其中，第二原始矩阵与各生产数据学习样例中目标锁定标记的分布信息关联。
例如，第一表征载体集合为FT，第三交互聚焦分析算子记作fo3（×），第四交互聚焦分析算子记作fo4（×），第二原始矩阵为M3，第二搜索矩阵为M4，第一目标分布信息识别结果记作J2，那么：
第二搜索矩阵M4=fo3（M3，H；γ）
第一目标分布信息识别结果J2=fo4（M4，H；μ）
其中，γ和μ分别为第三交互聚焦分析算子和第四交互聚焦分析算子的参数，可以基于前置调试得到，第二原始矩阵有异于第一原始矩阵，第二原始矩阵与分布信息识别结果相关，通过数据增强的实际目标锁定标记（用于框选出对应的数据）的分布位置，采用全连接网络生成得到。
本申请实施例采用参数不同的第一子网络和第二子网络，第一子网络中第一原始矩阵通过可学习参数得到，不包含目标分布信息识别结果，第二子网络中第二原始矩阵是和目标分布信息识别结果关联，但第一子网络和第二子网络的输出均应用于状态识别，得到识别出的锁定标记分布位置和对应的状态分类。
那么，对于操作230中，基于第二表征载体集合和第一表征载体集合，基于生产线状态识别网络，获得各生产数据学习样例的第二生产线状态识别结果，可以包括以下操作：
操作a：将第一表征载体集合和第二表征载体集合加载至第一子网络，基于第一子网络中第一原始矩阵和第一表征载体集合，基于第一交互聚焦分析算子，获得第一搜索矩阵，并基于第一搜索矩阵和第二表征载体集合，基于第二交互聚焦分析算子，获得第二目标状态识别结果。
本申请对于通过生产线状态检测学生模型抽取的第二目标状态识别结果和第二目标分布信息识别结果时，第一搜索矩阵和第二搜索矩阵均为基于生产线状态检测教师模型输出的第一表征载体集合得到，在调试生产线状态检测学生模型时，维持生产线状态识别网络的全部参数不变，旨在可以准确调试生产线状态检测学生模型，令生产线状态检测学生模型更精准学习生产线状态检测教师模型。
操作b：将第一表征载体集合和第二表征载体集合加载至第二子网络，基于第二子网络中第二原始矩阵和第一表征载体集合，基于第三交互聚焦分析算子，获得第二搜索矩阵，并基于第二搜索矩阵和第二表征载体集合，基于第四交互聚焦分析算子，获得第二目标分布信息识别结果，其中，第二原始矩阵与各生产数据学习样例中目标锁定标记的分布信息关联。
通过生产线状态识别网络包括的第一子网络和第二子网络调试生产线状态检测学生模型时，调试的停止要求可以是模型循环调试的次数满足预设的最大次数，或者目标误差函数的误差达到最小。目标误差函数至少包括第一误差函数和第二误差函数的融合结果，例如加权求和结果，第一误差函数为第一目标状态识别结果和第二目标状态识别结果之间的误差函数，第二误差函数为第一目标分布信息识别结果和第二目标分布信息识别结果之间的误差函数。譬如，调试生产线状态检测学生模型的目标误差函数中第一生产线状态识别结果和第二生产线状态识别结果之间的误差函数（迁移学习误差函数），该迁移学习误差函数为E，那么：
E=w1·E1+w2·E2
其中，E1为第一误差函数，w1为第一误差函数的权值，E2为第二误差函数，w2为第二误差函数的权值。
本申请采用第一搜索矩阵和第二搜索矩阵抽取状态识别的关联信息，即状态识别信息和状态结果在数据中的分布信息，同时在调试生产线状态检测学生模型时，维持生产线状态识别网络的参数不变，应用于生产线状态检测学生模型的特征输出，学习生产线状态检测教师模型的输出结果，这样提高调试的速度，此外，Detector在迁移学习对生产线状态检测教师模型和生产线状态检测学生模型的匹配要求，节约成本，同时提升生产线状态检测学生模型的准确性和能力。
接下来对本申请中生产线状态识别网络的调试方式进行介绍，本申请将生产线状态识别网络添加至生产线状态检测教师模型的输出，通过生产线状态检测教师模型进行调试，为保障生产线状态识别网络的调试速度和精确度，在调试生产线状态识别网络时，维持生产线状态检测教师模型的参数不变，例如，对于生产线状态识别网络的调试，包括：
操作I：获取第二生产数据学习样例集，其中，第二生产数据学习样例集中包括各第二生产数据学习样例。
操作II：将各第二生产数据学习样例加载至生产线状态检测教师模型，获得各第二生产数据学习样例的第三表征载体集合，并基于第三表征载体集合，基于生产线状态识别网络，获得各第二生产数据学习样例的第三生产线状态识别结果。
第三生产线状态识别结果包括第三目标状态识别结果和第三目标分布信息识别结果，即在生产线状态识别网络的调试时，也对生产线状态识别网络的第一子网络和第二子网络分别进行调试。那么，对于该操作，本申请具体可以是：将第三表征载体集合加载至生产线状态识别网络的第一子网络，获得各第二生产数据学习样例的第三目标状态识别结果；将第三表征载体集合加载至生产线状态识别网络的第二子网络，获得各第二生产数据学习样例的第三目标分布信息识别结果。其中，在调试生产线状态识别网络时，第一子网络和第二子网络提取第三目标状态识别结果和第三目标分布信息识别结果的方式与以上实施例调试生产线状态检测学生模型时抽取第一目标状态识别结果和第一目标分布信息识别结果的方式一致，区别在于当前生产线状态识别网络的参数为调试得到的，上述过程是维持不变的。
操作III：基于第三生产线状态识别结果，调试生产线状态识别网络，在模型循环调试的次数满足预设的最大次数或者识别任务误差函数符合最小误差值时，获得调试完成后的生产线状态识别网络，其中，识别任务误差函数包括预估指示信息和实际指示信息之间的误差，预估指示信息为通过第三生产线状态识别结果进行生产线状态识别获得的结果。
预估指示信息包括预估目标分布指示信息和预估状态指示信息，并预估目标分布指示信息和预估状态指示信息为通过第三目标状态识别结果或第三目标分布信息识别结果得到的，实际指示信息包括实际目标分布指示信息和实际目标状态指示信息；则识别任务误差函数包括预估目标分布指示信息与实际目标分布指示信息之间的误差，以及预估状态指示信息与实际目标状态指示信息之间的误差的求和结果，例如加权求和结果。
本申请实施例中，抽取得到第三生产线状态识别结果后，为了确保第三生产线状态识别结果与状态识别任务的关联度，可以基于第三目标状态识别结果和第三目标分布信息识别结果，采用生产线状态识别网络的感知机获得预设大小的多个预估结果（代表是否匹配到对应状态或者对应状态的分类与分布位置）。
本申请实施例中，基于生产线状态检测教师模型对生产线状态识别网络进行调试，令生产线状态识别网络能够在生产线状态检测教师模型中获取到和状态识别任务关联的生产线状态信息，同时在调试生产线状态识别网络时维持生产线状态检测教师模型的其它参数不变，这样提高了调试的速度。
为了便于理解，以下再对生产线状态识别网络的调试原理进行介绍，本申请实施例生产线状态识别网络的调试包括两个过程：生产线状态识别网络的调试和生产线状态检测学生模型的调试。
首先，生产线状态识别网络的调试过程中，获取第二生产数据学习样例集，将第二生产数据学习样例集中各第二生产数据学习样例加载至生产线状态检测教师模型，获得各生产数据学习样例的第三表征载体集合，在调试生产线状态识别网络时，维持生产线状态检测学生模型的其它参数不变，比如维持生产线状态检测教师模型的主干网络参数。
将第三表征载体集合加载至第一子网络，通过第一原始矩阵、第三表征载体集合和第一交互聚焦分析算子获得第一搜索矩阵，再基于第二交互聚焦分析算子获得第三目标状态识别结果。同理，将第三表征载体集合加载至第二子网络，通过第二原始矩阵、第三表征载体集合和第三交互聚焦分析算子，获得第二搜索矩阵，在第二子网络中，第二原始矩阵基于数据增强实际目标锁定标记得到的结果，联合全连接网络生成得到，接着基于第四交互聚焦分析算子得到第三目标分布信息识别结果。之后基于第三目标状态识别结果和第二目标分布信息识别结果进行状态识别任务的调试，得到状态识别结果，基于预估输出的预估分布位置和实际目标分布位置，同时基于预设状态指示信息和实际目标状态指示信息之间的误差函数，对生产线状态识别网络进行调试，得到调试后的生产线状态识别网络。
然后，对于生产线状态检测学生模型的调试，将生产数据学习样例集中各生产数据学习样例分别加载至生产线状态检测教师模型和生产线状态检测学生模型，获得各生产数据学习样例的第一表征载体集合，以及各生产数据学习样例的第二表征载体集合，其中，在生产线状态检测学生模型的调试时，维持生产线状态检测教师模型和生产线状态识别网络的参数，对生产线状态检测学生模型的参数进行调试。例如，将第一表征载体集合分别加载至生产线状态检测教师模型中生产线状态识别网络和生产线状态检测学生模型中生产线状态识别网络，基于第一表征载体集合分别获得第一搜索矩阵和第二搜索矩阵，接着第一搜索矩阵和第二搜索矩阵再分别和第一表征载体集合和第二表征载体集合进行交互聚焦分析，得到生产线状态检测教师模型的第一目标状态识别结果和第一目标分布信息识别结果，以及生产线状态检测学生模型的第二目标状态识别结果和第二目标分布信息识别结果，再通过第一目标状态识别结果和第二目标状态识别结果之间误差函数，以及第一目标分布信息识别结果和第二目标分布信息识别结果之间误差函数，调试生产线状态检测学生模型，如此得到调试后的生产线状态检测学生模型，即生产线状态识别网络。
在现有通用的迁移学习中，迁移学习的方法以生产线状态检测教师模型输出的第一表征信息和生产线状态检测学生模型的第二表征信息，获取迁移学习误差函数进行学习，如此需要生产线状态检测教师模型和生产线状态检测学生模型之间特征信息需要一一对应，这样就限制迁移学习的生产线状态检测教师模型和生产线状态检测学生模型的网络结构是相同的，一旦生产线状态检测教师模型和生产线状态检测学生模型的架构不同，因为语义上的误差，生产线状态检测学生模型从生产线状态检测教师模型进行学习的任务可能产生错误，对于本申请而言，通过生产线状态识别网络从生产线状态检测教师模型进行信息抽取，再基于生产线状态识别网络，依据在生产线状态检测教师模型抽取的信息教授生产线状态检测学生模型的调试，这样接触了生产线状态检测教师模型和生产线状态检测学生模型的网络组成的约束。
应当注意，尽管在附图中以特定顺序描述了本申请中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的基于增强现实的装备制造控制方法。图3示意性地示出了本申请实施例提供的装备制造控制装置的结构框图。如图3所示，装备制造控制装置200包括：
建模数据获取模块210，用于获取数字孪生建模数据，并基于所述数字孪生建模数据建立装备制造孪生体模型，所述装备制造孪生体模型与真实装备制造生产线彼此映射；
生产数据获取模块220，用于获取所述真实装备制造生产线的实时生产数据，将所述实时生产数据共享至运行中的所述装备制造孪生体模型；
检测模型调用模块230，用于调取事先部署的生产线状态检测模型，并基于所述生产线状态检测模型对所述实时生产数据进行生产状态检测，得到生产状态推理结果；
增强现实显示模块240，用于在预设的增强现实素材库中调取所述生产状态推理结果对应的增强现实素材，并在所述装备制造孪生体模型中对应于所述生产状态推理结果的对象上融合所述增强现实素材；
模型调试模块250，用于对所述生产线状态检测模型进行调试，在调试时，获取生产数据学习样例集，其中，所述生产数据学习样例集中包括各生产数据学习样例；
将所述各生产数据学习样例加载至生产线状态检测教师模型，获得所述各生产数据学习样例的第一表征载体集合，基于所述第一表征载体集合，基于生产线状态识别网络，获得所述各生产数据学习样例的第一生产线状态识别结果，其中，所述生产线状态识别网络为通过所述生产线状态检测教师模型调试得到的；
将所述各生产数据学习样例加载至生产线状态检测学生模型，获得所述各生产数据学习样例的第二表征载体集合，基于所述第二表征载体集合和所述第一表征载体集合，基于所述生产线状态识别网络，获得所述各生产数据学习样例的第二生产线状态识别结果；
基于所述各生产数据学习样例的所述第二生产线状态识别结果和所述第一生产线状态识别结果，调试所述生产线状态检测学生模型，在符合设定要求时得到生产线状态检测模型。
本申请各实施例中提供的装备制造控制装置的具体细节已经在对应的方法实施例中进行了详细的描述，此处不再赘述。
图4示意性地示出了用于实现本申请实施例的电子设备的计算机系统结构框图。
需要说明的是，图4示出的电子设备的计算机系统300仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图4所示，计算机系统300包括中央处理器301(Central Processing Unit，CPU)，其可以根据存储在只读存储器302(Read-Only Memory，ROM)中的程序或者从存储部分308加载到随机访问存储器303(Random Access Memory，RAM)中的程序而执行各种适当的动作和处理。在随机访问存储器303中，还存储有系统操作所需的各种程序和数据。中央处理器301、在只读存储器302以及随机访问存储器303通过总线304彼此相连。输入/输出接口305(Input/Output接口，即I/O接口)也连接至总线304。
以下部件连接至输入/输出接口305：包括键盘、鼠标等的输入部分306；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分307；包括硬盘等的存储部分308；以及包括诸如局域网卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至输入/输出接口305。可拆卸介质311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器310上，以便于从其上读出的计算机程序根据需要被安装入存储部分308。
特别地，根据本申请的实施例，各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分309从网络上被下载和安装，和/或从可拆卸介质311被安装。在该计算机程序被中央处理器301执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (10)
1.一种基于增强现实的装备制造控制方法，其特征在于，应用于电子设备，所述方法包括：
获取数字孪生建模数据，并基于所述数字孪生建模数据建立装备制造孪生体模型，所述装备制造孪生体模型与真实装备制造生产线彼此映射；
获取所述真实装备制造生产线的实时生产数据，将所述实时生产数据共享至运行中的所述装备制造孪生体模型；
调取事先部署的生产线状态检测模型，并基于所述生产线状态检测模型对所述实时生产数据进行生产状态检测，得到生产状态推理结果；
在预设的增强现实素材库中调取所述生产状态推理结果对应的增强现实素材，并在所述装备制造孪生体模型中对应于所述生产状态推理结果的对象上融合所述增强现实素材；
其中，所述生产线状态检测模型通过以下操作进行调试得到：
获取生产数据学习样例集，其中，所述生产数据学习样例集中包括各生产数据学习样例；
将所述各生产数据学习样例加载至生产线状态检测教师模型，获得所述各生产数据学习样例的第一表征载体集合，基于所述第一表征载体集合，基于生产线状态识别网络，获得所述各生产数据学习样例的第一生产线状态识别结果，其中，所述生产线状态识别网络为通过所述生产线状态检测教师模型调试得到的；
将所述各生产数据学习样例加载至生产线状态检测学生模型，获得所述各生产数据学习样例的第二表征载体集合，基于所述第二表征载体集合和所述第一表征载体集合，基于所述生产线状态识别网络，获得所述各生产数据学习样例的第二生产线状态识别结果；
基于所述各生产数据学习样例的所述第二生产线状态识别结果和所述第一生产线状态识别结果，调试所述生产线状态检测学生模型，在符合设定要求时得到生产线状态检测模型。
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一表征载体集合，基于生产线状态识别网络，获得所述各生产数据学习样例的第一生产线状态识别结果，包括：
基于所述生产线状态识别网络中目标原始矩阵和所述第一表征载体集合，基于所述生产线状态识别网络的第一目标交互聚焦分析算子，获得搜索矩阵；
基于所述搜索矩阵和所述第一表征载体集合，基于所述生产线状态识别网络的第二目标交互聚焦分析算子，获得所述第一生产线状态识别结果；
所述基于所述第二表征载体集合和所述第一表征载体集合，基于所述生产线状态识别网络，获得所述各生产数据学习样例的第二生产线状态识别结果，包括：
基于所述生产线状态识别网络中目标原始矩阵和所述第一表征载体集合，基于所述生产线状态识别网络的第一目标交互聚焦分析算子，获得搜索矩阵；
基于所述搜索矩阵和所述第二表征载体集合，基于所述生产线状态识别网络的第二目标交互聚焦分析算子，获得所述第二生产线状态识别结果。
3.根据权利要求1或2所述的方法，其特征在于，所述第一生产线状态识别结果包括第一目标状态识别结果和第一目标分布信息识别结果，所述第二生产线状态识别结果包括第二目标状态识别结果和第二目标分布信息识别结果；
所述生产线状态识别网络包括第一子网络和第二子网络，所述第一子网络用于识别所述第一目标状态识别结果或所述第二目标状态识别结果，所述第一子网络的网络组成至少包括第一交互聚焦分析算子和第二交互聚焦分析算子；
所述第二子网络用于识别所述第一目标分布信息识别结果或第二目标分布信息识别结果，所述第二子网络的网络组成至少包括第三交互聚焦分析算子和第四交互聚焦分析算子。
4.根据权利要求3所述的方法，其特征在于，所述符合设定要求，包括：
模型循环调试的次数满足预设的最大次数，或者目标误差函数的误差达到最小；
其中，所述目标误差函数至少包括第一误差函数和第二误差函数的融合结果，所述第一误差函数表示所述第一目标状态识别结果和所述第二目标状态识别结果之间的误差函数，所述第二误差函数表示所述第一目标分布信息识别结果和所述第二目标分布信息识别结果之间的误差函数。
5.根据权利要求3所述的方法，其特征在于，所述基于所述第一表征载体集合，基于生产线状态识别网络，获得所述各生产数据学习样例的第一生产线状态识别结果，包括：
将所述第一表征载体集合加载至所述第一子网络，基于所述第一子网络中第一原始矩阵和所述第一表征载体集合，基于所述第一交互聚焦分析算子，获得第一搜索矩阵，并基于所述第一搜索矩阵和所述第一表征载体集合，基于所述第二交互聚焦分析算子，获得所述第一目标状态识别结果；
将所述第一表征载体集合加载至所述第二子网络，基于所述第二子网络中第二原始矩阵和所述第一表征载体集合，基于所述第三交互聚焦分析算子，获得第二搜索矩阵，并基于所述第二搜索矩阵和所述第一表征载体集合，基于所述第四交互聚焦分析算子，获得所述第一目标分布信息识别结果，其中，所述第二原始矩阵与所述各生产数据学习样例中目标锁定标记的分布信息关联；
所述基于所述第二表征载体集合和所述第一表征载体集合，基于所述生产线状态识别网络，获得所述各生产数据学习样例的第二生产线状态识别结果，包括：
将所述第一表征载体集合和所述第二表征载体集合加载至所述第一子网络，基于所述第一子网络中第一原始矩阵和所述第一表征载体集合，基于所述第一交互聚焦分析算子，获得第一搜索矩阵，并基于所述第一搜索矩阵和所述第二表征载体集合，基于所述第二交互聚焦分析算子，获得所述第二目标状态识别结果；
将所述第一表征载体集合和所述第二表征载体集合加载至所述第二子网络，基于所述第二子网络中第二原始矩阵和所述第一表征载体集合，基于所述第三交互聚焦分析算子，获得第二搜索矩阵，并基于所述第二搜索矩阵和所述第二表征载体集合，基于所述第四交互聚焦分析算子，获得所述第二目标分布信息识别结果，其中，所述第二原始矩阵与所述各生产数据学习样例中目标锁定标记的分布信息关联。
6.根据权利要求1所述的方法，其特征在于，所述生产线状态识别网络的调试过程包括如下操作：
获取第二生产数据学习样例集，其中，所述第二生产数据学习样例集中包括各第二生产数据学习样例；
将所述各第二生产数据学习样例加载至所述生产线状态检测教师模型，获得所述各第二生产数据学习样例的第三表征载体集合，并基于所述第三表征载体集合，基于所述生产线状态识别网络，获得所述各第二生产数据学习样例的第三生产线状态识别结果；
基于所述第三生产线状态识别结果，调试所述生产线状态识别网络，在模型循环调试的次数满足预设的最大次数或者识别任务误差函数符合最小误差值时，获得调试后的生产线状态识别网络，其中，所述识别任务误差函数包括预估指示信息和实际指示信息之间的误差，所述预估指示信息为通过所述第三生产线状态识别结果进行生产线状态识别获得的结果。
7.根据权利要求6所述的方法，其特征在于，所述第三生产线状态识别结果包括第三目标状态识别结果和第三目标分布信息识别结果，则基于所述第三表征载体集合，基于所述生产线状态识别网络，获得所述各第二生产数据学习样例的第三生产线状态识别结果，包括：
将所述第三表征载体集合加载至所述生产线状态识别网络的第一子网络，获得所述各第二生产数据学习样例的第三目标状态识别结果；
将所述第三表征载体集合加载至所述生产线状态识别网络的第二子网络，获得所述各第二生产数据学习样例的第三目标分布信息识别结果。
8.根据权利要求7所述的方法，其特征在于，所述预估指示信息包括预估目标分布指示信息和预估状态指示信息，所述预估目标分布指示信息和所述预估状态指示信息为通过所述第三目标状态识别结果或所述第三目标分布信息识别结果得到的，所述实际指示信息包括实际目标分布指示信息和实际目标状态指示信息；
所述识别任务误差函数包括所述预估目标分布指示信息与所述实际目标分布指示信息之间的误差，以及所述预估状态指示信息与所述实际目标状态指示信息之间的误差的求和结果。
9.根据权利要求1所述的方法，其特征在于，所述生产状态推理结果包括以下结果中的至少一个：生产线设备的故障信息、预期使用寿命、剩余生产事件、生产线设备能耗；
所述增强现实素材包括以下素材类型中的至少一种：能耗预警显示标签、设备异常显示标签、生产用时显示标签。
10.一种电子设备，其特征在于，包括：
处理器；
以及存储器，用于存储所述处理器的可执行指令；
其中，所述处理器被配置为经由执行所述可执行指令来执行权利要求1至9中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311021041.4A CN116776744B (zh) | 2023-08-15 | 2023-08-15 | 一种基于增强现实的装备制造控制方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311021041.4A CN116776744B (zh) | 2023-08-15 | 2023-08-15 | 一种基于增强现实的装备制造控制方法及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116776744A true CN116776744A (zh) | 2023-09-19 |
| CN116776744B CN116776744B (zh) | 2023-10-31 |
Family
ID=88008373
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311021041.4A Active CN116776744B (zh) | 2023-08-15 | 2023-08-15 | 一种基于增强现实的装备制造控制方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116776744B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117668528A (zh) * | 2024-02-01 | 2024-03-08 | 成都华泰数智科技有限公司 | 基于物联网的天然气调压器故障检测方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021114840A1 (zh) * | 2020-05-28 | 2021-06-17 | 平安科技（深圳）有限公司 | 基于语义分析的评分方法、装置、终端设备及存储介质 |
| US20220067274A1 (en) * | 2020-09-02 | 2022-03-03 | Zhejiang Lab | Compression method and platform of pre-training language model based on knowledge distillation |
| US11409270B1 (en) * | 2021-02-18 | 2022-08-09 | Institute Of Automation, Chinese Academy Of Sciences | Optimization decision-making method of industrial process fusing domain knowledge and multi-source data |
| CN115311027A (zh) * | 2022-10-11 | 2022-11-08 | 工业云制造(四川)创新中心有限公司 | 一种基于数字孪生的供应链管理方法及系统 |
| WO2022257925A1 (zh) * | 2021-06-09 | 2022-12-15 | 五邑大学 | 基于数字孪生的故障预测方法、装置、服务器及存储介质 |
-
2023
- 2023-08-15 CN CN202311021041.4A patent/CN116776744B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021114840A1 (zh) * | 2020-05-28 | 2021-06-17 | 平安科技（深圳）有限公司 | 基于语义分析的评分方法、装置、终端设备及存储介质 |
| US20220067274A1 (en) * | 2020-09-02 | 2022-03-03 | Zhejiang Lab | Compression method and platform of pre-training language model based on knowledge distillation |
| US11409270B1 (en) * | 2021-02-18 | 2022-08-09 | Institute Of Automation, Chinese Academy Of Sciences | Optimization decision-making method of industrial process fusing domain knowledge and multi-source data |
| WO2022257925A1 (zh) * | 2021-06-09 | 2022-12-15 | 五邑大学 | 基于数字孪生的故障预测方法、装置、服务器及存储介质 |
| CN115311027A (zh) * | 2022-10-11 | 2022-11-08 | 工业云制造(四川)创新中心有限公司 | 一种基于数字孪生的供应链管理方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| BORGEN, KB等: "Assessment of Augmented Reality Technology\'s Impact on Speed of Learning and Task Performance in Aeronautical Engineering Technology Education", 《INTERNATIONAL JOURNAL OF AEROSPACE PSYCHOLOGY》, pages 219 - 229 * |
| 刘梦琪等: "基于交互式智能标注的装备操作键位样本集构建与识别", 《中国优秀硕士学位论文全文数据库》, no. 2, pages 1 - 78 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117668528A (zh) * | 2024-02-01 | 2024-03-08 | 成都华泰数智科技有限公司 | 基于物联网的天然气调压器故障检测方法及系统 |
| CN117668528B (zh) * | 2024-02-01 | 2024-04-12 | 成都华泰数智科技有限公司 | 基于物联网的天然气调压器故障检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116776744B (zh) | 2023-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Automatic detection and classification system of domestic waste via multimodel cascaded convolutional neural network | |
| CN109816032B (zh) | 基于生成式对抗网络的无偏映射零样本分类方法和装置 | |
| CN110533086B (zh) | 图像数据半自动标注方法 | |
| CN109034219B (zh) | 图像的多标签类别预测方法及装置、电子设备和存储介质 | |
| CN116776744B (zh) | 一种基于增强现实的装备制造控制方法及电子设备 | |
| KR102011788B1 (ko) | 계층적 시각 특징을 이용한 시각 질의 응답 장치 및 방법 | |
| CN107247952B (zh) | 基于深层监督的循环卷积神经网络的视觉显著性检测方法 | |
| CN114037653B (zh) | 基于二阶段知识蒸馏的工业机器视觉缺陷检测方法和系统 | |
| CN112508099A (zh) | 一种实时目标检测的方法和装置 | |
| Yao et al. | Cross-dataset training for class increasing object detection | |
| CN111160526B (zh) | 基于mape-d环形结构的深度学习系统在线测试方法与装置 | |
| CN117390407B (zh) | 变电站设备的故障识别方法、系统、介质和设备 | |
| CN113255701B (zh) | 一种基于绝对-相对学习架构的小样本学习方法和系统 | |
| CN114187534A (zh) | 输电导线悬挂异物的检测方法、装置、介质及终端设备 | |
| CN116246147A (zh) | 基于跨层特征融合和线性注意力优化的跨物种目标检测方法 | |
| CN113568831B (zh) | 基于蜕变测试的自监督深度学习型缺陷定位方法 | |
| CN115587358A (zh) | 一种二进制代码相似性检测方法、装置及存储介质 | |
| CN113869387B (zh) | 基于人工智能技术的异常医保报销识别方法及系统 | |
| CN116934555B (zh) | 一种基于物联网的安消一体化的管理方法及装置 | |
| CN115329906B (zh) | 一种基于图正则化网络的故障诊断方法及装置 | |
| Zhou et al. | MixSegNet: a novel crack segmentation network combining CNN and Transformer | |
| CN118411531A (zh) | 一种神经网络的训练方法、图像处理的方法以及装置 | |
| Sasikumar et al. | Evaluating the Impact of Tensor Cores on YOLOv8's Performance as a Pedestrian Detection System | |
| CN116977776A (zh) | 图像检测模型及其训练方法、装置、设备、存储介质 | |
| CN115049892A (zh) | 模型训练及图像检测方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |