CN114141079B - 智能产线mr虚拟训练系统、方法、电子设备及存储介质 - Google Patents

智能产线mr虚拟训练系统、方法、电子设备及存储介质 Download PDF

Info

Publication number
CN114141079B
CN114141079B CN202111348208.9A CN202111348208A CN114141079B CN 114141079 B CN114141079 B CN 114141079B CN 202111348208 A CN202111348208 A CN 202111348208A CN 114141079 B CN114141079 B CN 114141079B
Authority
CN
China
Prior art keywords
unit
equipment
training
production line
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111348208.9A
Other languages
English (en)
Other versions
CN114141079A (zh
Inventor
李海霞
鲁慧娟
于泓涵
吴声硕
易缘督
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cssc Education Technology Beijing Co ltd
Original Assignee
Cssc Education Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cssc Education Technology Beijing Co ltd filed Critical Cssc Education Technology Beijing Co ltd
Priority to CN202111348208.9A priority Critical patent/CN114141079B/zh
Publication of CN114141079A publication Critical patent/CN114141079A/zh
Application granted granted Critical
Publication of CN114141079B publication Critical patent/CN114141079B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Debugging And Monitoring (AREA)
  • Stored Programmes (AREA)

Abstract

本发明提供智能产线MR虚拟训练系统、方法、电子设备及存储介质,涉及MR技术智能产线训练技术领域,包括输入控制硬件、MR设备服务器和输出终端;输入控制硬件与MR设备服务器之间通信连接;输入控制硬件与MR设备服务器之间设有仿真转换平台,用于输入控制硬件与MR设备服务器之间全程进行信号实时交互通讯转换工作;MR设备服务器与输出终端之间通信连接。通过利用MR混合现实技术,将大型设备的智能产线虚拟化,用硬件驱动MR模型操作可以进行机电联调的控制训练,又可在虚拟现实中完成机械拆装,电气接线等训练,既解决了设备不足,无法满足全班授课实训的问题,可彻底避免设备拆装、接线、调试训练带来的隐患,还可以解决场地不足的问题。

Description

智能产线MR虚拟训练系统、方法、电子设备及存储介质
技术领域
本发明涉及MR技术智能产线训练技术领域,尤其涉及一种智能产线MR虚拟训练系统、方法、电子设备及存储介质。
背景技术
目前,MR技术是继VR、AR之后的一种新的虚拟模式。现阶段中的MR技术主要应用于医学、远程协同、机械结构、远程监控等场合,其主要通过虚实同步展示,在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路,身临其境的远程支持完成以上场合工作内容,以增强用户体验的真实感。
针对于现阶段职业教育中,大型设备(例如船舶呼叫机)智能制造领域的实训一直是各个学校比较难解决的问题,购置的智能制造产线基本上处于放置、简单认知教学、或者代工生产的状态,难以落实到复杂的实训应用,而实训应用难最主要的问题集中在,一是单条大型设备智能产线造价高,占地面积大,学校难以集中买多条应用于教学,二是单条产线涉及电气、机械、通讯、计算机等诸多领域的教学内容,属于综合实训体系,不能满足教学过程中一个班的实训需求,人多设备少,三是智能产线是协同作业设备,学员进行安装调试训练,很有可能设备被拆坏,这样一条产线就会瘫痪,训练代价比较高。因此,亟需开发一种MR智能产线实训系统以应对智能产线造价高、占地大、训练设备不足、安装调试对设备损坏大以及柔性工艺设计训练难实现等情况。
发明内容
为此,本发明提供了一种智能产线MR虚拟训练系统、方法、电子设备及存储介质,以解决现有技术中的船舶呼叫机智能产线造价高、占地大、训练设备不足、安装调试对设备损坏大以及柔性工艺设计训练难实现的技术问题。
为了实现上述目的,本发明提供如下技术方案:
根据本发明的第一方面,提供了一种智能产线MR虚拟训练系统,包括输入控制硬件、MR设备服务器和输出终端。
所述输入控制硬件与所述MR设备服务器之间通信连接。
且所述输入控制硬件与所述MR设备服务器之间设有仿真转换平台,用于输入控制硬件与MR设备服务器之间全程进行信号实时交互通讯转换工作。
所述MR设备服务器与所述输出终端之间通信连接。
所述MR设备服务器装有MR实训模组。
所述MR实训模组包括:
虚拟仿真单元,用于搭建智能产线虚拟教学场景技术系统;和
智能产线控制调试单元,用于配合输入控制硬件、虚拟仿真单元及输出终端进行智能产线柔性工艺规划设计的控制调试、验证训练教学;以及
沙盒单元,用于配合输入控制硬件、虚拟仿真单元及输出终端进行虚拟仿真单元的安装及接线调试教学。
进一步地,智能产线MR虚拟训练系统还包括:
解释说明单元,用于配合输入控制硬件与输出终端展现并解读虚拟仿真单元;和
同步演示单元,用于与输出终端之间通信相连进行同步演示;和
数据记录单元,用于对接虚拟仿真单元记录实训操作数据;以及
考试平台对接单元,用于对接数据记录单元调用虚拟仿真单元的实训操作数据并上传至考试平台。
其中,所述输入控制硬件包括计算机、控制器及MR设备操控手柄,所述输出终端包括MR设备头显硬件和显示屏硬件。
所述计算机与所述控制器之间通信连接,用于通过计算机完成对控制器的可编辑控制程序输入,并接收来自于控制器的信息反馈。
所述控制器与所述MR设备服务器之间设有通信模块,用于通过通信模块在控制器与MR设备服务器之间建立信息中转交互通信连接,并基于可编辑控制程序通过控制器驱动装于MR设备服务器的MR实训模组动作。
所述MR设备操控手柄与所述MR设备服务器之间通信连接,用于通过MR设备操控手柄向MR实训模组传递实训操作信息。
所述MR设备头显硬件与所述MR设备服务器之间通信连接,用于通过UI文字、语音方式对装于MR设备服务器的MR实训模组的结构/部件进行展示。
所述显示屏硬件与所述MR设备服务器之间通信连接,用于接入同一网络并基于同步演示单元同步显示MR设备头显硬件中的虚拟内容。
根据本发明的第二方面,提供了一种智能产线MR虚拟训练方法,利用所述的智能产线MR虚拟训练系统,通过输入控制硬件驱动装于MR设备服务器的MR实训模组动作来进行智能产线生产设备的控制调试、验证以及接线安装训练教学。
进一步地,具体过程为:
通过计算机向控制器输入可编辑控制程序,控制器基于可编辑控制程序向MR设备服务器发送控制信号。
通过位于控制器和MR设备服务器之间的仿真转换平台将控制器发出的电信号转换生成MR设备服务器识别的数字信号,来驱动MR实训模组中的智能产线控制调试单元工作,智能产线控制调试单元调动虚拟仿真单元产生控制信号下的相应动作,同时智能产线控制调试单元将虚拟仿真单元的动作过程同步传输展示至MR设备头显硬件,并由智能产线控制调试单元给出虚拟仿真单元动作的数字反馈信号,数字反馈信号通过仿真转换平台转换成电信号回传给控制器,并由控制器继续回传至计算机,完成输入控制硬件与MR设备服务器之间全程进行信号的实时交互通讯转换工作。
在电信号回传至输入控制硬件时,根据虚拟仿真单元的实时动作信息确定后续执行的控制内容,基于可编辑控制程序再次通过计算机向控制器输入新的可编辑控制程序,按步序完成智能产线控制调试单元对于智能产线柔性工艺规划设计的控制调试、验证训练教学。
进一步地,具体过程为:
通过沙盒单元针对虚拟仿真单元中不同的单元设备结构进行安装点录入、接线点录入,在每个单元设备结构配置唯一一条正确安装途径。
通过MR实训模组中的沙盒单元基于不同的单元设备结构分别提供可拆装的若干个单元结构部件与线,并通过MR设备头显硬件显示若干个单元结构部件与线的虚拟内容,通过MR设备操控手柄配合MR设备头显硬件对若干个单元结构部件基于安装点进行安装,并基于接线点相应接线进行调试。
通过安装与接线的调试找到唯一一条的正确安装途径,分别完成各个单元设备结构的安装及接线训练教学。
根据本发明的第三方面,提供了一种智能产线MR虚拟训练方法,利用所述的智能产线MR虚拟训练系统,通过MR设备操控手柄发出的射线指向虚拟仿真单元中不同的单元设备结构或一个单元设备结构拆解后的若干个单元结构部件。
基于解释说明单元,MR设备头显硬件中通过文字说明UI并提供语音解读展现射线指向的单元设备结构/单元结构部件的结构原理功能。
通过MR设备操控手柄操作,将单元设备结构拆解后的若干个单元结构部件之一从单元设备结构上拆除下来360度旋转观看教学。
根据本发明的第四方面,提供了一种智能产线MR虚拟训练方法,利用所述的智能产线MR虚拟训练系统,智能产线MR虚拟训练系统采用两种工作模式,具体为训练模式与考核模式,根据不同模式的需求,数据记录单元会自动记录操作的控制调试验证数据、设备安装及接线调试数据、考核结果数据、最终得分数据各项数据。
若为训练模式下,系统自动对接解释说明单元、智能产线控制调试单元以及沙盒单元。
若为考核模式下,系统自动对接考试平台对接单元,考试平台对接单元根据考试平台开放的接口与考试平台进行对接,用于对接数据记录单元将操作过程进行记录打分,并调用虚拟仿真单元的实训操作数据上传至考试平台。
考核模式下,系统还自动对接同步显示单元,显示屏硬件会自启动录制功能,对所有操作过程进行录像,作为评判复审依据。
可选的实施方案,考核模式下,系统还自动对接解释说明单元、智能产线控制调试单元以及沙盒单元。
具体地,考试平台对接单元根据操作过程打分的分值,筛选出失分点对应的失误操作过程,并将失误操作过程分别对接拟合至解释说明单元、智能产线控制调试单元及沙盒单元,在重新进入训练模式时,通过解释说明单元或智能产线控制调试单元或沙盒单元进行训练教学,优先进入对应失误操作过程的操作训练,并在操作训练正确完成后的过程与失误操作过程同屏在MR设备头显硬件显示,更直观地定位失误操作过程的逻辑判断起因及知识匮乏点。
根据本发明的第五方面,还提供了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现根据本发明的第二方面所述智能产线MR虚拟训练方法的步骤,或者,所述处理器执行所述计算机程序时实现根据本发明的第三方面所述智能产线MR虚拟训练方法的步骤,或者,所述处理器执行所述计算机程序时实现根据本发明的第四方面所述智能产线MR虚拟训练方法的步骤。
根据本发明的第六方面,还提供了一种非暂态计算机可读存储介质,其上存储有计算机程序,所述计算机程序被执行时实现根据本发明的第二方面所述智能产线MR虚拟训练方法的步骤,或者,所述计算机程序被执行时实现根据本发明的第三方面所述智能产线MR虚拟训练方法的步骤,或者,所述计算机程序被执行时实现根据本发明的第四方面所述智能产线MR虚拟训练方法的步骤。
本发明具有如下有益效果:
本发明提供的智能产线MR虚拟训练系统、方法、电子设备及存储介质,通过利用MR的混合现实技术,将大型设备的智能产线虚拟化,用硬件驱动MR模型操作可以进行机电联调的控制训练,又可以在虚拟现实中完成机械拆装,电气接线等训练,既解决了设备不足,无法满足全班授课实训的问题,又可以彻底避免设备拆装、接线、调试训练带来的隐患,还可以解决场地不足等问题。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案,下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍,本说明书所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,任何结构的修饰、比例关系的改变或大小的调整,在不影响本发明所能产生的功效及所能达成的目的下,均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为根据一个实施例提供的智能产线MR虚拟训练系统组成结构示意图。
图2为本发明提供的智能产线MR虚拟训练方法的一实施例流程图。
图3为本发明提供的智能产线MR虚拟训练方法的另一实施例流程图。
图4为本发明提供的智能产线MR虚拟训练方法的又一实施例流程图。
图5为根据一个实施例提供的电子设备实体结构示意图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它例子可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
本发明实施例的一个应用场景为船舶呼叫机的智能产线技术系统的应用教学,目的在于针对机械设备内部结构、医学骨骼、神经、肌肉等结构展示的功能,实现对学员的培训、训练、考核等功能,同时利用其远程同步显示功能,可以协同作业,针对设备故障诊断、医疗手术应急解决方案处理以及合作设计等方面充分应用。但所有的功能仅限于结构、原理、显示等功能的应用。
为了实现应用教学目的,一种可选的实施方式为:通过实际的船舶呼叫机智能产线技术系统进行实地应用教学。
在实现的过程中,发明人发现在购置智能制造产线进行实地应用教学的情况下,会存在智能制造产线基本上处于放置、简单认知教学、或者代工生产的状态,难以落实到复杂的实训应用的问题,而且实训应用难最主要的问题又集中在以下几点:一是单条大型设备智能产线造价高,占地面积大,学校难以集中买多条应用于教学,二是单条产线涉及电气、机械、通讯、计算机等诸多领域的教学内容,属于综合实训体系,不能满足教学过程中一个班的实训需求,人多设备少,三是智能产线是协同作业设备,学员进行安装调试训练,很有可能设备被拆坏,这样一条产线就会瘫痪,训练代价比较高。
针对以上实施方式存在的技术问题,本实施例提出了一种智能产线MR虚拟训练系统。图1为本发明提供的智能产线MR虚拟训练系统实施例的组成结构示意图,如图1所示,一种智能产线MR虚拟训练系统,包括:
输入控制硬件、MR设备服务器和输出终端。
所述输入控制硬件与所述MR设备服务器之间通信连接。
且所述输入控制硬件与所述MR设备服务器之间设有仿真转换平台,用于输入控制硬件与MR设备服务器之间全程进行信号实时交互通讯转换工作。
所述MR设备服务器与所述输出终端之间通信连接。
所述MR设备服务器装有MR实训模组。
所述MR实训模组包括虚拟仿真单元、智能产线控制调试单元和沙盒单元。
所述虚拟仿真单元,用于搭建智能产线虚拟教学场景技术系统。
所述智能产线控制调试单元,用于配合输入控制硬件、虚拟仿真单元及输出终端进行智能产线柔性工艺规划设计的控制调试、验证训练教学。
所述沙盒单元,用于配合输入控制硬件、虚拟仿真单元及输出终端进行虚拟仿真单元的安装及接线调试教学。
具体的,所述输入控制硬件包括计算机、控制器及MR设备操控手柄,所述输出终端包括MR设备头显硬件和显示屏硬件。
所述计算机与所述控制器之间通信连接,用于通过计算机完成对控制器的可编辑控制程序输入,并接收来自于控制器的信息反馈。
所述控制器与所述MR设备服务器之间设有通信模块,用于通过通信模块在控制器与MR设备服务器之间建立信息中转交互通信连接,并基于可编辑控制程序通过控制器驱动装于MR设备服务器的MR实训模组动作。
所述MR设备操控手柄与所述MR设备服务器之间通信连接,用于通过MR设备操控手柄向MR实训模组传递实训操作信息。
所述MR设备头显硬件与所述MR设备服务器之间通信连接,用于通过UI文字、语音方式对装于MR设备服务器的MR实训模组的结构/部件进行展示。
所述显示屏硬件与所述MR设备服务器之间通信连接,用于接入同一网络并基于同步演示单元同步显示MR设备头显硬件中的虚拟内容。
实际应用中,智能产线MR虚拟训练系统先以实际船舶呼叫机的生产制作为原型搭建智能产线虚拟教学场景技术系统,对包括供料单元、检测与分类单元、程序烧录装配单元、工业机器人打磨单元、激光雕刻单元、仓储单元分拣等在内的多个单元对象,采用3DsMax对单元对象进行建模,V-Ray渲染器对建模模型进行渲染,通过Unity3D三维引擎开发平台完成虚拟仿真单元的构建。
通过通信模块实现PLC控制器(S7-1200、S7-1500)与虚拟仿真单元之间的通信。即读取西门子S7-1200、S7-1500的信号指令,并将读取编辑指令后同步传入MR设备服务器中。该指令接口作为PLC控制器的信号中转工具会进行开放。经过对多个虚拟仿真单元的控制实验测试,系统可稳定运行。
学员通过输入控制硬件编辑控制程序,将程序烧录至PLC控制器(S7-1200、S7-1500)中,再通过通信模块将中转后的PLC控制器程序控制信号传递给MR设备头显硬件中的MR设备服务器,与MR设备服务器实现通讯。MR设备服务器中的虚拟仿真单元可根据输入的PLC程序控制信号,直观展示被控单元对象的运行,并将仿真传感器信号通过通信模块回传递给PLC控制器(S7-1200、S7-1500),实现智能产线的控制调试功能。
需要说明的是,被控单元对象包括但不限于:供料单元、检测与分类单元、程序烧录装配单元、工业机器人打磨单元、激光雕刻单元、仓储单元。
利用PLC控制器驱动MR设备服务器中的虚拟仿真单元的动作,可以设计不同的柔性加工工艺,例如整条线的六个模块当只有四个模块工作时,怎样设计控制程序及通讯,并验证,同时可以验证整条线的排产,调试等。MR设备服务器中的仿真转换平台,可根据外部输入的信号进行控制调试,PLC控制器传输出来的电信号需要通过仿真转换平台生成MR设备服务器识别的数字信号,来驱动设备运动,同时MR设备服务器中要给出运动的反馈信号(数字信号),通过仿真转换平台转换成电信号传给PLC控制器,再通过判断执行后续的控制内容;整个训练过程PLC控制器与MR设备服务器之间一直在进行信号通讯转换的工作,实时交互。
虚拟仿真单元中的每个单元对象都可由若干个可拆解模块,通过MR设备操控手柄拼装成相应单元设备并接线进行调试。
为了给用户带来更好的教学体验及效果,该实施例中,所述MR实训模组还包括解释说明单元、同步演示单元、考试平台对接单元以及数据记录单元。
所述解释说明单元,用于配合输入控制硬件与输出终端展现并解读虚拟仿真单元,MR设备头显硬件会通过UI、文字、语音等方式对虚拟仿真单元的结构或部件进行展示。
所述同步演示单元,用于与输出终端之间通信相连进行同步演示。在同一网络下,可使用智能终端的显示屏硬件同步显示MR设备头显硬件中的虚拟内容,便于远程协同作业,并指导作业。智能终端可以以各种形式来实施。例如,本发明中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。
所述数据记录单元,用于根据不同模式需求,对接虚拟仿真单元记录学员各项实训操作数据。
所述考试平台对接单元,根据考试平台开放的接口与考试平台进行对接,用于对接数据记录单元将操作过程进行记录打分,并调用虚拟仿真单元的实训操作数据上传至考试平台。
基于上述任一实施例中的智能产线MR虚拟训练系统,本发明还公开了一智能产线MR虚拟训练方法。图2为本发明提供的智能产线MR虚拟训练方法的一实施例流程图,如图2所示,包括以下步骤:
通过输入控制硬件驱动装于MR设备服务器的MR实训模组动作来进行智能产线生产设备的控制调试、验证以及接线安装训练教学。
通过输入控制硬件驱动装于MR设备服务器的MR实训模组动作来进行智能产线生产设备的控制调试、验证训练教学的具体过程为:
通过计算机向控制器输入可编辑控制程序,控制器基于可编辑控制程序向MR设备服务器发送控制信号。
通过位于控制器和MR设备服务器之间的仿真转换平台将控制器发出的电信号转换生成MR设备服务器识别的数字信号,来驱动MR实训模组中的智能产线控制调试单元工作,智能产线控制调试单元调动虚拟仿真单元产生控制信号下的相应动作,同时智能产线控制调试单元将虚拟仿真单元的动作过程同步传输展示至MR设备头显硬件,并由智能产线控制调试单元给出虚拟仿真单元动作的数字反馈信号,数字反馈信号通过仿真转换平台转换成电信号回传给控制器,并由控制器继续回传至计算机,完成输入控制硬件与MR设备服务器之间全程进行信号的实时交互通讯转换工作。
在电信号回传至输入控制硬件时,根据虚拟仿真单元的实时动作信息确定后续执行的控制内容,基于可编辑控制程序再次通过计算机向控制器输入新的可编辑控制程序,按步序完成智能产线控制调试单元对于智能产线柔性工艺规划设计的控制调试、验证训练教学。
可选的实施方案,计算机内部预先配置有若干个可编辑控制程序,且若干个可编辑控制程序之间能够基于控制器任意组合方式执行,在信号回传至输入控制硬件,并根据虚拟仿真单元的实时动作信息确定后续执行的控制内容后,基于控制内容,通过计算机选择由若干个可编辑控制程序分别组合形成的不同程序模组,向控制器分别发送验证是否能够完成控制内容,以此深化了解调试、验证实现虚拟仿真单元的同一动作可选择的不同控制程序形式,使控制程序的编辑选择过程更为灵活且不单一,提升在解决特殊问题的应变能力。
通过输入控制硬件驱动装于MR设备服务器的MR实训模组动作来进行智能产线生产设备的接线安装训练教学的具体过程为:
通过沙盒单元针对虚拟仿真单元中不同的单元设备结构进行安装点录入、接线点录入,在每个单元设备结构配置唯一一条正确安装途径。
通过MR实训模组中的沙盒单元基于不同的单元设备结构分别提供可拆装的若干个单元结构部件与线,并通过MR设备头显硬件显示若干个单元结构部件与线的虚拟内容,通过MR设备操控手柄配合MR设备头显硬件对若干个单元结构部件基于安装点进行安装,并基于接线点相应接线进行调试。
通过安装与接线的调试找到唯一一条的正确安装途径,分别完成各个单元设备结构的安装及接线训练教学。
基于上述任一实施例中的智能产线MR虚拟训练系统,本发明还公开了另一智能产线MR虚拟训练方法。图3为本发明提供的智能产线MR虚拟训练方法的另一实施例流程图,如图3所示,包括以下步骤:
通过MR设备操控手柄发出的射线指向虚拟仿真单元中不同的单元设备结构或一个单元设备结构拆解后的若干个单元结构部件。
基于解释说明单元,MR设备头显硬件中通过文字说明UI并提供语音解读展现射线指向的单元设备结构/单元结构部件的结构原理功能。例如当MR设备操控手柄射线指向某一单元的结构件时MR设备头显硬件中会呈现出该结构件的文字说明UI并提供语音解读;通过MR设备操控手柄操作,将单元设备结构拆解后的若干个单元结构部件之一从单元设备结构上拆除下来360度旋转观看教学,针对不同的单元进行解读,加深对单元设备的结构认知。
基于上述任一实施例中的智能产线MR虚拟训练系统,本发明还公开了又一智能产线MR虚拟训练方法。图4为本发明提供的智能产线MR虚拟训练方法的又一实施例流程图,如图4所示,包括以下步骤:
智能产线MR虚拟训练系统采用两种工作模式,具体为训练模式与考核模式,根据不同模式的需求,数据记录单元会自动记录操作的控制调试验证数据、设备安装及接线调试数据、考核结果数据、最终得分数据各项数据。
若为训练模式下,系统自动对接解释说明单元、智能产线控制调试单元以及沙盒单元。
若为考核模式下,系统自动对接考试平台对接单元,考试平台对接单元根据考试平台开放的接口与考试平台进行对接,用于对接数据记录单元将操作过程进行记录打分,并调用虚拟仿真单元的实训操作数据上传至考试平台。
考核模式下,系统还自动对接同步显示单元,显示屏硬件会自启动录制功能,对所有操作过程进行录像,作为评判复审依据。
可选的实施方案,考核模式下,系统还自动对接解释说明单元、智能产线控制调试单元以及沙盒单元。
具体地,考试平台对接单元根据操作过程打分的分值,筛选出失分点对应的失误操作过程,并将失误操作过程分别对接拟合至解释说明单元、智能产线控制调试单元及沙盒单元,在重新进入训练模式时,通过解释说明单元或智能产线控制调试单元或沙盒单元进行训练教学,优先进入对应失误操作过程的操作训练,并在操作训练正确完成后的过程与失误操作过程同屏在MR设备头显硬件显示,更直观地定位失误操作过程的逻辑判断起因及知识匮乏点。
图5为根据一个实施例提供的电子设备实体结构示意图,如图5所示,所述电子设备10包括:处理器(processor)101、存储器(memory)102和总线103;
其中,所述处理器101、存储器102通过总线103完成相互间的通信;
所述处理器101用于调用所述存储器102中的程序指令,以执行上述各方法实施例所提供的智能产线MR虚拟训练方法,例如包括:通过输入控制硬件驱动装于MR设备服务器的MR实训模组动作来进行智能产线生产设备的控制调试、验证以及接线安装训练教学。
或者,包括:通过MR设备操控手柄发出的射线指向虚拟仿真单元中不同的单元设备结构或一个单元设备结构拆解后的若干个单元结构部件;基于解释说明单元,MR设备头显硬件中通过文字说明UI并提供语音解读展现射线指向的单元设备结构/单元结构部件的结构原理功能;通过MR设备操控手柄操作,将单元设备结构拆解后的若干个单元结构部件之一从单元设备结构上拆除下来360度旋转观看教学。
或者,包括:智能产线MR虚拟训练系统采用两种工作模式,具体为训练模式与考核模式,根据不同模式的需求,数据记录单元会自动记录操作的设备安装及接线调试数据、考核结果数据、最终得分数据各项数据;若为考核模式下,显示屏硬件会自启动录制功能,对所有操作过程进行录像,作为评判复审依据。
本实施例公开一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的方法,例如包括:通过输入控制硬件驱动装于MR设备服务器的MR实训模组动作来进行智能产线生产设备的控制调试、验证以及接线安装训练教学。
或者,包括:通过MR设备操控手柄发出的射线指向虚拟仿真单元中不同的单元设备结构或一个单元设备结构拆解后的若干个单元结构部件;基于解释说明单元,MR设备头显硬件中通过文字说明UI并提供语音解读展现射线指向的单元设备结构/单元结构部件的结构原理功能;通过MR设备操控手柄操作,将单元设备结构拆解后的若干个单元结构部件之一从单元设备结构上拆除下来360度旋转观看教学。
或者,包括:智能产线MR虚拟训练系统采用两种工作模式,具体为训练模式与考核模式,根据不同模式的需求,数据记录单元会自动记录操作的设备安装及接线调试数据、考核结果数据、最终得分数据各项数据;若为考核模式下,显示屏硬件会自启动录制功能,对所有操作过程进行录像,作为评判复审依据。
本实施例提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行上述各方法实施例所提供的方法,例如包括:通过输入控制硬件驱动装于MR设备服务器的MR实训模组动作来进行智能产线生产设备的控制调试、验证以及接线安装训练教学。
或者,包括:通过MR设备操控手柄发出的射线指向虚拟仿真单元中不同的单元设备结构或一个单元设备结构拆解后的若干个单元结构部件;基于解释说明单元,MR设备头显硬件中通过文字说明UI并提供语音解读展现射线指向的单元设备结构/单元结构部件的结构原理功能;通过MR设备操控手柄操作,将单元设备结构拆解后的若干个单元结构部件之一从单元设备结构上拆除下来360度旋转观看教学。
或者,包括:智能产线MR虚拟训练系统采用两种工作模式,具体为训练模式与考核模式,根据不同模式的需求,数据记录单元会自动记录操作的设备安装及接线调试数据、考核结果数据、最终得分数据各项数据;若为考核模式下,显示屏硬件会自启动录制功能,对所有操作过程进行录像,作为评判复审依据。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的服务器和终端实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种智能产线MR虚拟训练方法,利用智能产线MR虚拟训练系统,所述智能产线MR虚拟训练系统,包括输入控制硬件、MR设备服务器和输出终端;所述输入控制硬件与所述MR设备服务器之间通信连接;且所述输入控制硬件与所述MR设备服务器之间设有仿真转换平台,用于输入控制硬件与MR设备服务器之间全程进行信号实时交互通讯转换工作;所述MR设备服务器与所述输出终端之间通信连接;所述MR设备服务器装有MR实训模组;
所述MR实训模组包括:
虚拟仿真单元,用于搭建智能产线虚拟教学场景技术系统;和
智能产线控制调试单元,用于配合输入控制硬件、虚拟仿真单元及输出终端进行智能产线柔性工艺规划设计的控制调试、验证训练教学;以及
沙盒单元,用于配合输入控制硬件、虚拟仿真单元及输出终端进行虚拟仿真单元的安装及接线调试教学;
所述智能产线MR虚拟训练系统,还包括:
解释说明单元,用于配合输入控制硬件与输出终端展现并解读虚拟仿真单元;和
同步演示单元,用于与输出终端之间通信相连进行同步演示;和
数据记录单元,用于对接虚拟仿真单元记录实训操作数据;以及
考试平台对接单元,用于对接数据记录单元调用虚拟仿真单元的实训操作数据并上传至考试平台;
所述输入控制硬件包括计算机、控制器及MR设备操控手柄,所述输出终端包括MR设备头显硬件和显示屏硬件;
所述计算机与所述控制器之间通信连接,用于通过计算机完成对控制器的可编辑控制程序输入,并接收来自于控制器的信息反馈;所述控制器与所述MR设备服务器之间设有通信模块,用于通过通信模块在控制器与MR设备服务器之间建立信息中转交互通信连接,并基于可编辑控制程序通过控制器驱动装于MR设备服务器的MR实训模组动作;所述MR设备操控手柄与所述MR设备服务器之间通信连接,用于通过MR设备操控手柄向MR实训模组传递实训操作信息;所述MR设备头显硬件与所述MR设备服务器之间通信连接,用于通过UI文字、语音方式对装于MR设备服务器的MR实训模组的结构/部件进行展示;所述显示屏硬件与所述MR设备服务器之间通信连接,用于接入同一网络并基于同步演示单元同步显示MR设备头显硬件中的虚拟内容;
其特征在于,通过输入控制硬件驱动装于MR设备服务器的MR实训模组动作来进行智能产线生产设备的控制调试、验证以及接线安装训练教学;
具体过程为:
通过计算机向控制器输入可编辑控制程序,控制器基于可编辑控制程序向MR设备服务器发送控制信号;
通过位于控制器和MR设备服务器之间的仿真转换平台将控制器发出的电信号转换生成MR设备服务器识别的数字信号,来驱动MR实训模组中的智能产线控制调试单元工作,智能产线控制调试单元调动虚拟仿真单元产生控制信号下的相应动作,同时智能产线控制调试单元将虚拟仿真单元的动作过程同步传输展示至MR设备头显硬件,并由智能产线控制调试单元给出虚拟仿真单元动作的数字反馈信号,数字反馈信号通过仿真转换平台转换成电信号回传给控制器,并由控制器继续回传至计算机,完成输入控制硬件与MR设备服务器之间全程进行信号的实时交互通讯转换工作;
在电信号回传至输入控制硬件时,根据虚拟仿真单元的实时动作信息确定后续执行的控制内容,基于可编辑控制程序再次通过计算机向控制器输入新的可编辑控制程序,按步序完成智能产线控制调试单元对于智能产线柔性工艺规划设计的控制调试、验证训练教学;
通过沙盒单元针对虚拟仿真单元中不同的单元设备结构进行安装点录入、接线点录入,在每个单元设备结构配置唯一一条正确安装途径;
通过MR实训模组中的沙盒单元基于不同的单元设备结构分别提供可拆装的若干个单元结构部件与线,并通过MR设备头显硬件显示若干个单元结构部件与线的虚拟内容,通过MR设备操控手柄配合MR设备头显硬件对若干个单元结构部件基于安装点进行安装,并基于接线点相应接线进行调试;
通过安装与接线的调试找到唯一一条的正确安装途径,分别完成各个单元设备结构的安装及接线训练教学。
2.根据权利要求1所述的智能产线MR虚拟训练方法,其特征在于,通过MR设备操控手柄发出的射线指向虚拟仿真单元中不同的单元设备结构或一个单元设备结构拆解后的若干个单元结构部件;
基于解释说明单元,MR设备头显硬件中通过文字说明UI并提供语音解读展现射线指向的单元设备结构/单元结构部件的结构原理功能;
通过MR设备操控手柄操作,将单元设备结构拆解后的若干个单元结构部件之一从单元设备结构上拆除下来360度旋转观看教学。
3.根据权利要求1所述的智能产线MR虚拟训练方法,其特征在于,智能产线MR虚拟训练系统采用两种工作模式,具体为训练模式与考核模式,根据不同模式的需求,数据记录单元会自动记录操作的控制调试验证数据、设备安装及接线调试数据、考核结果数据、最终得分数据各项数据;
若为训练模式下,系统自动对接解释说明单元、智能产线控制调试单元以及沙盒单元;
若为考核模式下,系统自动对接考试平台对接单元,考试平台对接单元根据考试平台开放的接口与考试平台进行对接,用于对接数据记录单元将操作过程进行记录打分,并调用虚拟仿真单元的实训操作数据上传至考试平台;
考核模式下,系统还自动对接同步显示单元,显示屏硬件会自启动录制功能,对所有操作过程进行录像,作为评判复审依据;
考核模式下,系统还自动对接解释说明单元、智能产线控制调试单元以及沙盒单元;
考试平台对接单元根据操作过程打分的分值,筛选出失分点对应的失误操作过程,并将失误操作过程分别对接拟合至解释说明单元、智能产线控制调试单元及沙盒单元,在重新进入训练模式时,通过解释说明单元或智能产线控制调试单元或沙盒单元进行训练教学,优先进入对应失误操作过程的操作训练,并在操作训练正确完成后的过程与失误操作过程同屏在MR设备头显硬件显示,更直观地定位失误操作过程的逻辑判断起因及知识匮乏点。
4.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-3任一项所述智能产线MR虚拟训练方法的步骤。
5.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被执行时实现如权利要求1-3任一项所述智能产线MR虚拟训练方法的步骤。
CN202111348208.9A 2021-11-15 2021-11-15 智能产线mr虚拟训练系统、方法、电子设备及存储介质 Active CN114141079B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111348208.9A CN114141079B (zh) 2021-11-15 2021-11-15 智能产线mr虚拟训练系统、方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111348208.9A CN114141079B (zh) 2021-11-15 2021-11-15 智能产线mr虚拟训练系统、方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114141079A CN114141079A (zh) 2022-03-04
CN114141079B true CN114141079B (zh) 2023-12-15

Family

ID=80393239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111348208.9A Active CN114141079B (zh) 2021-11-15 2021-11-15 智能产线mr虚拟训练系统、方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114141079B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09213756A (ja) * 1996-02-07 1997-08-15 Hitachi Ltd 半導体製造方法及びその製造ライン
CN203210066U (zh) * 2013-04-09 2013-09-25 三一重工股份有限公司 变位夹紧工装、自动变位上下料系统及生产线
CN106444616A (zh) * 2016-11-28 2017-02-22 启东威艾信息技术有限公司 一种基于虚拟现实技术的灌装生产线控制系统及实现方法
CN107122045A (zh) * 2017-04-17 2017-09-01 华南理工大学 一种基于混合现实技术的虚拟人机示教系统及方法
EP3318945A2 (en) * 2016-11-08 2018-05-09 Rockwell Automation Technologies, Inc. Virtual reality and augmented reality for industrial automation
CN108510866A (zh) * 2018-04-04 2018-09-07 广东机电职业技术学院 一种智能制造技术的综合实践教学系统
CN109903624A (zh) * 2019-02-28 2019-06-18 南京金信通信息服务有限公司 一种沙盒虚拟化在线培训系统
CN110069037A (zh) * 2019-03-30 2019-07-30 广东利元亨智能装备股份有限公司 基于智能装备制造的联合虚拟仿真调试系统及其方法
CN111724486A (zh) * 2020-06-16 2020-09-29 重庆鑫泺源智能科技有限公司 基于混合现实技术的电力装表接电实训系统
CN111832061A (zh) * 2019-04-18 2020-10-27 天津五八到家科技有限公司 沙盒文件读取方法、装置及终端
CN112258921A (zh) * 2020-11-12 2021-01-22 胡玥 基于虚拟、混合现实的针灸互动教学系统和方法
KR20210107250A (ko) * 2020-02-24 2021-09-01 주식회사 한화 가상 현실을 기반으로 하는 정비 교육 훈련 결과를 평가하는 장치 및 그 방법
CN113485549A (zh) * 2021-06-29 2021-10-08 中国航空规划设计研究总院有限公司 基于混合现实技术的航空生产线人工操作指引系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11392112B2 (en) * 2019-09-26 2022-07-19 Rockwell Automation Technologies, Inc. Virtual design environment

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09213756A (ja) * 1996-02-07 1997-08-15 Hitachi Ltd 半導体製造方法及びその製造ライン
CN203210066U (zh) * 2013-04-09 2013-09-25 三一重工股份有限公司 变位夹紧工装、自动变位上下料系统及生产线
EP3318945A2 (en) * 2016-11-08 2018-05-09 Rockwell Automation Technologies, Inc. Virtual reality and augmented reality for industrial automation
CN106444616A (zh) * 2016-11-28 2017-02-22 启东威艾信息技术有限公司 一种基于虚拟现实技术的灌装生产线控制系统及实现方法
CN107122045A (zh) * 2017-04-17 2017-09-01 华南理工大学 一种基于混合现实技术的虚拟人机示教系统及方法
CN108510866A (zh) * 2018-04-04 2018-09-07 广东机电职业技术学院 一种智能制造技术的综合实践教学系统
CN109903624A (zh) * 2019-02-28 2019-06-18 南京金信通信息服务有限公司 一种沙盒虚拟化在线培训系统
CN110069037A (zh) * 2019-03-30 2019-07-30 广东利元亨智能装备股份有限公司 基于智能装备制造的联合虚拟仿真调试系统及其方法
CN111832061A (zh) * 2019-04-18 2020-10-27 天津五八到家科技有限公司 沙盒文件读取方法、装置及终端
KR20210107250A (ko) * 2020-02-24 2021-09-01 주식회사 한화 가상 현실을 기반으로 하는 정비 교육 훈련 결과를 평가하는 장치 및 그 방법
CN111724486A (zh) * 2020-06-16 2020-09-29 重庆鑫泺源智能科技有限公司 基于混合现实技术的电力装表接电实训系统
CN112258921A (zh) * 2020-11-12 2021-01-22 胡玥 基于虚拟、混合现实的针灸互动教学系统和方法
CN113485549A (zh) * 2021-06-29 2021-10-08 中国航空规划设计研究总院有限公司 基于混合现实技术的航空生产线人工操作指引系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于开放式架构的手机装配线快速虚拟换线技术研究;李宽元;《CNKI中国优秀硕士学位论文全文数据库》(第02期);全文 *

Also Published As

Publication number Publication date
CN114141079A (zh) 2022-03-04

Similar Documents

Publication Publication Date Title
US11227439B2 (en) Systems and methods for multi-user virtual reality remote training
Tzafestas et al. Virtual and remote robotic laboratory: Comparative experimental evaluation
CN108492661A (zh) 一种三维虚拟实验培训系统
KR100929252B1 (ko) 3차원 입체 콘텐츠 기반 실감형 인터랙티브 기술교육 방법
Numfu et al. Virtual reality based digital chain for maintenance training
CN103513992A (zh) 一种通用的教育娱乐机器人应用软件研制平台
KR101520855B1 (ko) 교육용 공작기계 시뮬레이션 시스템
US10198957B2 (en) Computer-based virtual trainer
Crespo et al. Virtual reality simulator for robotics learning
Smith et al. Development and analysis of virtual reality technician-training platform and methods
Numfu et al. Virtual reality technology for maintenance training
CN115270402A (zh) 基于虚拟仿真的机电一体化综合实训考核教学方法
Li et al. CNC partner: a novel training system for NC machining
CN114141079B (zh) 智能产线mr虚拟训练系统、方法、电子设备及存储介质
CN103116286A (zh) 基于网络的机器人开发平台的实现方法和设备
Mohamed VFST: Virtual and fully software based toolchain for PC interfacing education and research
CN103778812A (zh) 一种面向职业教育的远程共享实训系统
CN112233208B (zh) 机器人状态处理方法、装置、计算设备和存储介质
KR101241830B1 (ko) 학습 구동체 조립 테스트 시스템
Fernández-Mireles et al. Design and Implementation of an Augmented Reality-based App for Assembly Lines in Industry 4.0
Zgoda et al. Virtual and augmented reality technologies in training architecture and civil engineering specialists
Javaid et al. Virtual Reality Applications in the Manufacturing Field
Li et al. Design of Teaching System of Industrial Robots Using Mixed Reality Technology.
Covanich et al. Using ANSI/ISA-S88 in reconfigurable immersive learning: A pathway from substation operation simulator to reconfigurable product and production demo line for learning factory
Bai et al. Virtual simulation teaching system of electronic product development process

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant