CN112506347B - 面向加工过程监控的混合现实交互方法 - Google Patents
面向加工过程监控的混合现实交互方法 Download PDFInfo
- Publication number
- CN112506347B CN112506347B CN202011453994.4A CN202011453994A CN112506347B CN 112506347 B CN112506347 B CN 112506347B CN 202011453994 A CN202011453994 A CN 202011453994A CN 112506347 B CN112506347 B CN 112506347B
- Authority
- CN
- China
- Prior art keywords
- machine tool
- machine
- mixed reality
- scene
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000003993 interaction Effects 0.000 title claims abstract description 31
- 238000012544 monitoring process Methods 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 title claims abstract description 24
- 230000008569 process Effects 0.000 title claims abstract description 14
- 239000011521 glass Substances 0.000 claims abstract description 40
- 238000003754 machining Methods 0.000 claims abstract description 7
- 230000000007 visual effect Effects 0.000 claims abstract description 6
- 239000013598 vector Substances 0.000 claims description 26
- 238000009877 rendering Methods 0.000 claims description 20
- 238000013519 translation Methods 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 8
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 3
- 238000013500 data storage Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000012795 verification Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- Numerical Control (AREA)
Abstract
本发明涉及面向加工过程监控的混合现实交互方法。尤其涉及在数控加工过程中，通过配带混合现实眼镜设备，能够实现虚拟机床设备在车间固定位置处摆放以实现车间布局验证，以及在真实机床旁边的固定位置处全息显示加工过程监控数据，并可以实现随操作者视向移动而移动。设计一组多个机床三维模型并生成多个机床模型文件。创建一个场景工程文件，混合现实显示信息写入该文件中。将该场景工程文件和对应的多个机床模型文件上传至混合现实眼镜设备中并进行解析。对场景工程文件包括的一组多个机床三维模型进行全息显示。采用本发明，能够在真实的车间现场设备旁，直观的观看该机床的加工数据，可以将虚拟机床放置于真实车间空间内，便于布局的验证。
Description
技术领域
本发明涉及一种混合现实交互技术，具体涉及一种面向加工过程监控的混合现实交互方法。
背景技术
增强现实是虚拟现实的一个分支，其区别在于能够将虚拟世界和真实世界融合在一起，提升可视化和人机交互的水平。混合现实又是增强现实的一种增强形式，其区别与传统的虚拟物体与真实世界视频简单叠加，能够通过摄像头和深度传感器，感知周围空间和重构空间网格结构，并将虚拟实体放入重构的空间结构中，即相当于放入真实的世界空间中，形成虚实高度融合的增强现实模式。典型设备是以微软公司的Hololens眼镜为例，通过混合现实设备和应用软件的配合，能够形成新型人机交互和可视化方法，可应用于工业制造领域。通过头戴式混合现实眼镜可将生产线的数控机床三维模型，全息的放置在真实车间内，仿真验证车间设备布局的合理性；也可在车间巡检过程中，在真实机床空间处全息显示该机床的加工过程数据，如机床运行状态、主轴倍率、进给率、报警信息等，在现实车间场景中增强信息并易于交互。为实现上述需求，需要应用模型数据交互、空间坐标变换等技术。
发明内容
针对上述技术要求，本发明目是提供一种面向加工过程监控的混合现实交互方法。
采用本方法并使用可穿戴式混合现实眼镜设备，能够将采用CAD系统产生的标准格式数控机床三维模型文件(如STL、FBX等文件)，导入混合现实眼镜中以实现机床虚拟模型的全息显示，并实现虚拟机床模型与真实车间空间的高度融合，可将机床模型固定放置在真实车间的任意位置处，也可以跟随操作者视向移动，可对全息模型进行缩放、自由移动、自由旋转等操作。同时可将机床加工过程监控数据以全息UI形式固定在对应的真实机床处，可将通用的操作菜单始终显示与眼前，并可以随着操作者视向而移动。
本发明解决其技术问题所采用的技术方案是：面向加工过程监控的混合现实交互方法，包括以下步骤：
采用CAD系统构建一组多个机床三维模型并生成多个机床模型文件；创建场景工程文件，将一组多个机床的混合现实显示信息写入该文件中；
将该场景工程文件和对应的多个机床模型文件上传至混合现实眼镜设备中，并对该场景工程文件进行解析，得到混合现实显示信息；
通过混合现实显示信息，混合现实眼镜设备对场景工程文件含有的一组多个机床三维模型进行全息显示，实现混合现实的交互。
所述对该场景工程文件进行解析包括以下步骤：
通过解析场景工程文件中的XML结构，将场景中的机床及其属性加载至混合现实眼镜内存中的场景树结构中；
所述场景树结构为一个多叉树的数据结构，多叉树根节点表示场景，其属性为该场景包含的机床模型数量、全息显示的定位模式以及每个机床模型的存储地址。
所述混合现实显示信息包括该含有机床或显示面板对象的编号id及其对应的属性信息，属性包括，该含有机床或显示面板对象对应的模型文件名字name、相对路径path、文件大小size、渲染的颜色color、渲染的初始比例scale、渲染的初始位置变换tanslation、场景中的名称objectName和中心点标志centerFlg。根据场景工程文件中的定位模式，对机床三维模型和加工过程监控数据UI面板进行定位显示。
所述定位模式为世界定位模式，所述世界定位模式为机床模型固定在真实环境的某一位置，其位置不随佩戴混合现实眼镜设备的操作者视向移动而改变；所述世界定位模式具体如下：
在世界坐标系中的位置为Ooperator(xoperator,yoperator,zoperator)；在场景树中找到中心点标志centerFlg属性为enable的唯一的机床对象，计算该机床的AABB包围盒，求出该包围盒中心点Ocenter，计算Odelta＝Ooperator-Ocenter得到混合现实眼镜与中心点的偏差；
若全息机床为{obj1,obj2,…,objn}，偏差Odelta为(xdelta,ydelta,zdelta)，将{obj1,obj2,…,objn}的所有顶点V的坐标与偏差向量进行如下的运算，得到新的坐标为Vdelta，并设置V＝Vdelta，得到机床在混合现实设备中的显示位置
所述定位模式为跟随定位模式，所述跟随定位模式为机床模型始终在佩戴混合现实眼镜的操作者眼前显示，随着操作者的视向变化而同步变化；所述跟随定位模式具体如下：
首先进行世界定位模式的处理，仅当眼镜佩戴者位置发生移动时，进行如下的处理：
混合现实眼镜移动的位移量为Odeviation(xdeviation,ydeviation,zdeviation)，则将{machine1,machine2,machine3,…,machinen}的所有顶点V的坐标与位移量进行如下的运算，得到新的坐标为Vnew，并设置V＝Vnew；得到机床在混合现实设备中的显示位置：
当混合现实眼镜识别到设定手势1，通过手势交互对机床三维模型进行缩放操作，包括以下步骤：
全息机床为{machine1,machine2,machine3,…,machinen}，缩放时缩放比例向量为(iscale,jscale,kscale)，将{machine1,machine2,machine3,…,machinen}的所有顶点V的坐标与缩放比例向量进行如下的运算，缩放变换后新的坐标为Vscale，并设置V＝Vscale；
当混合现实眼镜识别到设定手势2，通过手势交互对机床三维模型进行移动操作，包括以下步骤：
全息机床为{machine1,machine2,machine3,…,machinen}，自由移动的向量为(xtranslation,jtranslation,ktranslation)，将{machine1,machine2,machine3,…,machinen}的所有顶点V的坐标与自由移动的向量进行如下的运算，自由移动后新的坐标为Vtranslation，并设置V＝Vtranslation；
当混合现实眼镜识别到设定手势3，通过手势交互对机床三维模型进行旋转操作，包括以下步骤：
全息机床为{machine1,machine2,…,machinen}，自由旋转的向量为(xrotation,yrotaion,zrotation)，将{machine1,machine2,machine3,…,machinen}的所有顶点V的坐标与自由旋转的向量进行如下的运算，绕x轴自由旋转后新的坐标为Vrotationx，并设置V＝Vrotationx；
绕y轴自由旋转后新的坐标为Vrotationy，并设置V＝Vrotationy；
绕z轴自由旋转后新的坐标为Vrotationz，并设置V＝Vrotationz；
全息显示具体是将机床网格体数据存储链表中的对象顶点坐标和对应的法向量发送到渲染管线中，按照场景树中节点的机床属性值，包括颜色color、比例scale、位置变换translation进行计算处理并渲染。
本发明具有以下有益效果及优点：
1.本发明能够自定义多个三维模型机床和其颜色、大小等属性并组成全息场景，可将场景导入混合现实设备中全息的观看；
2.本发明能够将全息显示的机床模型固定位置的放置于真实世界空间中；
3.本发明能够在混合现实眼镜佩戴者移动时，将全息显示的三维机床跟随佩戴者视向同步移动；
4.本发明能够将全息显示的三维机床进行缩放、自由移动和自由旋转操作。
5.采用本发明，能够在真实的车间现场设备旁，直观的观看该机床的加工数据，可以将虚拟机床放置于真实车间空间内，便于布局的验证。
附图说明
图1面向加工过程监控的混合现实交互方法流程图；
图2场景树结构图；
图3机床网格体数据的存储链表示意图；
图4世界定位模式示意图；
图5跟随定位模式示意图；
图6加工过程监控数据UI面板进行定位显示示意图。
具体实施方式
下面结合实施例对本发明做进一步的详细说明。
如图1所示，本发明涉及面向加工过程监控的混合现实交互方法。尤其涉及在数控加工过程中，通过配带混合现实眼镜设备，能够实现虚拟机床设备在车间固定位置处摆放以实现车间布局验证，以及在真实机床旁边的固定位置处全息显示加工过程监控数据，并可以实现随操作者视向移动而移动。面向加工过程监控的混合现实交互方法，其主要的步骤分为以下：
采用CAD系统设计一组多个机床三维模型并生成多个机床模型文件。
创建一个场景工程文件，将一组多个机床的混合现实显示信息写入该文件中。
将该场景工程文件和对应的多个机床模型文件上传至混合现实眼镜设备中，并对该场景工程文件进行解析。
对场景工程文件包括的一组多个机床三维模型进行全息显示。
根据场景工程文件中的定位模式，对机床三维模型和加工过程监控数据UI面板进行定位显示。
通过手势交互对机床三维模型进行移动、旋转和放大操作。
所述模型文件是指STL、FBX等标准格式的三维模型文件。
所述场景工程文件是指符合XML标准的文件。
所述机床的混合现实显示信息是指该机床的编号(id)及其对应的属性信息，属性包括，该机床对应的模型文件名字(name)、相对路径(path)、文件大小(size)、渲染的颜色(color)、渲染的初始比例(scale)、渲染的初始位置变换(tanslation)、场景中的名称(objectName)和中心点标志(centerFlg)。
所述将一组多个机床的混合现实显示信息写入该文件中是指，场景工程文件中按照XML格式的要求写入需要全息显示的机床编号(Machine id)及其属性，包括该机床对应的模型文件名字(name)、相对路径(path)、文件大小(size)、渲染时的颜色(color)、渲染时的初始比例(scale)、渲染时的初始位置变换(tanslation)、在场景中的名称(objectName)和中心点标志(centerFlg)。
一个场景工程文件如下所示。
所述将将该场景工程文件和对应的多个机床模型文件上传至混合现实眼镜设备中是指，采用FTP或Socket等通信协议将场景工程文件和对应的多个机床模型文件从一台计算机中上传至混合现实眼镜的存储器中。
所述对该场景工程文件进行解析是指，通过解析场景工程文件中的XML结构，将场景中的机床及其属性加载至混合现实眼镜内存中的场景树结构中。
所述场景树结构是指，一个多叉树的数据结构，多叉树根节点表示场景，其属性为该场景包含的机床模型数量、全息显示的定位模式以及每个机床模型的存储地址。多叉树子节点表示场景中对应的机床模型，其属性包括模型文件名字(name)、相对路径(path)、文件大小(size)、渲染的颜色(color)、渲染的初始比例(scale)、渲染的初始位置变换(translation)、场景中的机床名称(machineName)、中心点标志(centerFlg)、机床网格体数据的存储链表地址。场景树结构如图2所示。
所述对场景工程文件包括的一组多个机床三维模型进行全息显示是指，对表示机床三维模型的STL、FBX文件中解析出机床网格体数据，并使用混合现实眼镜设备实现全息显示。
所述机床网格体数据是指按照模型文件名(name)和相对路径(path)读取STL、FBX等文件，并对STL、FBX等文件进行解析，解析出组成机床Machinek(k＝1,……,m)的n个三角面片的数据，数据为三角面片i(i＝1,2,...,n)的顶点坐标vi(xi,yi,zi)和法向量ni(ai,bi,ci)。将n个三角面片数据存入机床网格体数据的存储链表地址中。链表的结构如图3所示。
所述定位模式是指，世界定位模式、跟随定位模式。
所述世界定位模式是指，机床模型可以固定在真实环境的某一位置，其位置不随佩戴混合现实眼镜的操作者视向移动而改变。如图4所示。在世界坐标系中的位置为Ooperator(xoperator,yoperator,zoperator)。在场景树中找到中心点标志(centerFlg)属性为enable的唯一的机床对象，计算该机床的AABB包围盒，求出该包围盒中心点Ocenter，计算Odelta＝Ooperator-Ocenter得到混合现实眼镜与中心点的偏差。若全息机床为{obj1,obj2,…,objn}，偏差Odelta为(xdelta,ydelta,zdelta)，将{obj1,obj2,…,objn}的所有顶点V的坐标与偏差向量进行如下的运算，得到新的坐标为Vdelta，并设置V＝Vdelta。
即场景将在混合现实设备初始开机位置面前0.5米处显示，当眼镜佩戴者位置发生移动时，场景仍然在该位置处而不移动，直到操作者使用自由移动交互操作场景。
所述跟随定位模式是指，机床模型始终在佩戴混合现实眼镜的操作者眼前显示，随着操作者的视向变化而同步变化。如图5所示。跟随定位模式是指场景跟随混合现实眼镜佩戴者移动而移动，如图5所示。首先进行世界定位模式的处理，仅当眼镜佩戴者位置发生移动时，进行如下的处理：
混合现实眼镜移动的位移量为Odeviation(xdeviation,ydeviation,zdeviation)，则将{machine1,machine2,machine3,…,machinen}的所有顶点V的坐标与位移量进行如下的运算，得到新的坐标为Vnew，并设置V＝Vnew。
所述对机床三维模型和加工过程监控数据UI面板进行定位显示是指，将包含有机床加工过程监控数据(如进给率、运动状态、转速等)的显示面板以世界定位模式放置在其对应的真实机床旁边全息显示。如图6所示。
所述手势交互是指，混合现实眼镜提供的手势交互功能，如点击、拖拽等。
所述对机床三维模型进行缩放、自由移动和自由旋转操作是指，
缩放操作。若全息机床为{machine1,machine2,machine3,…,machinen}，缩放时缩放比例向量为(iscale,jscale,kscale)，将{machine1,machine2,machine3,…,machinen}的所有顶点V的坐标与缩放比例向量进行如下的运算，缩放变换后新的坐标为Vscale，并设置V＝Vscale。
自由移动。若全息机床为{machine1,machine2,machine3,…,machinen}，自由移动的向量为(xtranslation,jtranslation,ktranslation)，将{machine1,machine2,machine3,…,machinen}的所有顶点V的坐标与自由移动的向量进行如下的运算，自由移动后新的坐标为Vtranslation，并设置V＝Vtranslation。
自由旋转。若全息机床为{machine1,machine2,machine3,…,machinen}，自由旋转的向量为(xrotation,yrotaion,zrotation)，将{machine1,machine2,machine3,…,machinen}的所有顶点V的坐标与自由旋转的向量进行如下的运算，绕x轴自由旋转后新的坐标为Vrotationx，并设置V＝Vrotationx。
绕y轴自由旋转后新的坐标为Vrotationy，并设置V＝Vrotationy。
绕z轴自由旋转后新的坐标为Vrotationz，并设置V＝Vrotationz。
混合现实眼镜应用程序按照混合现实场景树数据对场景进行渲染，将机床网格体数据存储链表中的处理后的顶点坐标和法向量发送到渲染管线中，按照场景树中节点的机床属性值，包括颜色(color)、比例(scale)、位置变换(translation)进行渲染。
Claims (7)
1.面向加工过程监控的混合现实交互方法，其特征在于，包括以下步骤：
采用CAD系统构建一组多个机床三维模型并生成多个机床模型文件；创建场景工程文件，将一组多个机床的混合现实显示信息写入该文件中；
将该场景工程文件和对应的多个机床模型文件上传至混合现实眼镜设备中，并对该场景工程文件进行解析，得到混合现实显示信息；
通过混合现实显示信息，混合现实眼镜设备对场景工程文件含有的一组多个机床三维模型进行全息显示，实现混合现实的交互；
所述对该场景工程文件进行解析包括以下步骤：
通过解析场景工程文件中的XML结构，将场景中的机床及其属性加载至混合现实眼镜内存中的场景树结构中；
所述场景树结构为一个多叉树的数据结构，多叉树根节点表示场景，其属性为该场景包含的机床模型数量、全息显示的定位模式以及每个机床模型的存储地址；多叉树子节点表示场景中对应的机床模型，其属性包括模型文件名字name、相对路径path、文件大小size、渲染的颜色color、渲染的初始比例scale、渲染的初始位置变换tanslation、场景中的机床名称objectName、中心点标志centerFlg、机床网格体数据的存储链表地址；
所述对场景工程文件含有的一组多个机床三维模型进行全息显示：对表示机床三维模型的STL或FBX文件中解析出机床网格体数据，并使用混合现实眼镜设备实现全息显示；
所述机床网格体数据是按照模型文件名字和相对路径读取STL或FBX文件，并对STL或FBX文件进行解析，解析出组成机床Machinek的n个三角面片的数据，k＝1,……,m，数据为三角面片i的顶点坐标vi(xi,yi,zi)和法向量ni(ai,bi,ci)，i＝1,2,...,n；将n个三角面片数据存入机床网格体数据的存储链表地址中；
所述定位模式为世界定位模式，所述世界定位模式为机床模型固定在真实环境的某一位置，其位置不随佩戴混合现实眼镜设备的操作者视向移动而改变；所述世界定位模式具体如下：
在世界坐标系中的位置为Ooperator(xoperator,yoperator,zoperator)；在场景树中找到中心点标志centerFlg属性为enable的唯一的机床对象，计算该机床的AABB包围盒，求出该包围盒中心点Ocenter，计算Odelta＝Ooperator-Ocenter得到混合现实眼镜与中心点的偏差；
若全息机床为{obj1,obj2,…,objn}，偏差Odelta为(xdelta,ydelta,zdelta)，将{obj1,obj2,…,objn}的所有顶点V的坐标与偏差向量进行如下的运算，得到新的坐标为Vdelta，并设置V＝Vdelta，得到机床在混合现实设备中的显示位置
所述定位模式为跟随定位模式，所述跟随定位模式为机床模型始终在佩戴混合现实眼镜的操作者眼前显示，随着操作者的视向变化而同步变化；所述跟随定位模式具体如下：
首先进行世界定位模式的处理，仅当眼镜佩戴者位置发生移动时，进行如下的处理：
混合现实眼镜移动的位移量为Odeviation(xdeviation,ydeviation,zdeviation)，则将{machine1,machine 2,machine 3,…,machine n}的所有顶点V的坐标与位移量进行如下的运算，得到新的坐标为Vnew，并设置V＝Vnew；得到机床在混合现实设备中的显示位置：
2.根据权利要求1所述的面向加工过程监控的混合现实交互方法，其特征在于，所述混合现实显示信息包括该含有机床或显示面板对象的编号id及其对应的属性信息，属性包括，该含有机床或显示面板对象对应的模型文件名字name、相对路径path、文件大小size、渲染的颜色color、渲染的初始比例scale、渲染的初始位置变换tanslation、场景中的名称objectName和中心点标志centerFlg。
3.根据权利要求1所述的面向加工过程监控的混合现实交互方法，其特征在于，根据场景工程文件中的定位模式，对机床三维模型和加工过程监控数据UI面板进行定位显示。
4.根据权利要求1所述的面向加工过程监控的混合现实交互方法，其特征在于，当混合现实眼镜识别到设定手势1，通过手势交互对机床三维模型进行缩放操作，包括以下步骤：
全息机床为{machine1,machine2,machine3,…,machinen}，缩放时缩放比例向量为(iscale,jscale,kscale)，将{machine1,machine2,machine3,…,machinen}的所有顶点V的坐标与缩放比例向量进行如下的运算，缩放变换后新的坐标为Vscale，并设置V＝Vscale；
5.根据权利要求1所述的面向加工过程监控的混合现实交互方法，其特征在于，当混合现实眼镜识别到设定手势2，通过手势交互对机床三维模型进行移动操作，包括以下步骤：
全息机床为{machine1,machine2,machine3,…,machinen}，自由移动的向量为(xtranslation,jtranslation,ktranslation)，将{machine1,machine2,machine3,…,machinen}的所有顶点V的坐标与自由移动的向量进行如下的运算，自由移动后新的坐标为Vtranslation，并设置V＝Vtranslation；
6.根据权利要求1所述的面向加工过程监控的混合现实交互方法，其特征在于，当混合现实眼镜识别到设定手势3，通过手势交互对机床三维模型进行旋转操作，包括以下步骤：
全息机床为{machine1,machine2,…,machinen}，自由旋转的向量为(xrotation,yrotaion,zrotation)，将{machine1,machine2,machine3,…,machinen}的所有顶点V的坐标与自由旋转的向量进行如下的运算，绕x轴自由旋转后新的坐标为Vrotationx，并设置V＝Vrotationx；
绕y轴自由旋转后新的坐标为Vrotationy，并设置V＝Vrotationy；
绕z轴自由旋转后新的坐标为Vrotationz，并设置V＝Vrotationz；
7.根据权利要求1所述的面向加工过程监控的混合现实交互方法，其特征在于，全息显示具体是将机床网格体数据存储链表中的对象顶点坐标和对应的法向量发送到渲染管线中，按照场景树中节点的机床属性值，包括颜色color、比例scale、位置变换translation进行计算处理并渲染。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011453994.4A CN112506347B (zh) | 2020-12-10 | 2020-12-10 | 面向加工过程监控的混合现实交互方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011453994.4A CN112506347B (zh) | 2020-12-10 | 2020-12-10 | 面向加工过程监控的混合现实交互方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112506347A CN112506347A (zh) | 2021-03-16 |
| CN112506347B true CN112506347B (zh) | 2024-06-11 |
Family
ID=74973303
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011453994.4A Active CN112506347B (zh) | 2020-12-10 | 2020-12-10 | 面向加工过程监控的混合现实交互方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112506347B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117456550B (zh) * | 2023-12-21 | 2024-03-15 | 绘见科技(深圳)有限公司 | 基于mr的cad文件查看方法、装置、介质和设备 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102150434A (zh) * | 2008-09-18 | 2011-08-10 | 松下电器产业株式会社 | 立体视觉再现影像内容的再现装置、再现方法及再现程序 |
| CN106066633A (zh) * | 2015-04-24 | 2016-11-02 | Jpw工业有限公司 | 与机床一起使用的可穿戴显示装置 |
| CN106292542A (zh) * | 2016-09-26 | 2017-01-04 | 北京航空航天大学 | 一种带c轴车加工的通用后置处理方法和装置 |
| CN107193911A (zh) * | 2017-05-14 | 2017-09-22 | 北京比目鱼工程咨询有限公司 | 一种基于bim模型的三维可视化引擎及web应用程序调用方法 |
| CN107340870A (zh) * | 2017-07-13 | 2017-11-10 | 深圳市未来感知科技有限公司 | 一种融合vr和ar的虚拟现实展示系统及其实现方法 |
| CN107942942A (zh) * | 2017-12-12 | 2018-04-20 | 科德数控股份有限公司 | 一种机床设备应用于相交倾斜面的倾斜坐标系建立方法 |
| CN108398921A (zh) * | 2017-02-07 | 2018-08-14 | 发那科株式会社 | 坐标信息变换装置以及计算机可读介质 |
| CN108415386A (zh) * | 2018-03-12 | 2018-08-17 | 范业鹏 | 用于智能车间的增强现实系统及其工作方法 |
| CN109360262A (zh) * | 2018-10-23 | 2019-02-19 | 东北大学 | 基于cad图生成三维模型的室内定位系统及方法 |
| CN110383274A (zh) * | 2018-09-27 | 2019-10-25 | 西门子股份公司 | 识别设备的方法、装置、系统、存储介质、处理器和终端 |
| CN111627521A (zh) * | 2020-06-04 | 2020-09-04 | 常州市第二人民医院 | 增强现实在放疗中的应用 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4679661B1 (ja) * | 2009-12-15 | 2011-04-27 | 株式会社東芝 | 情報提示装置、情報提示方法及びプログラム |
| US9235921B2 (en) * | 2011-11-08 | 2016-01-12 | Imagination Technologies Limited | Profiling ray tracing renderers |
-
2020
- 2020-12-10 CN CN202011453994.4A patent/CN112506347B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102150434A (zh) * | 2008-09-18 | 2011-08-10 | 松下电器产业株式会社 | 立体视觉再现影像内容的再现装置、再现方法及再现程序 |
| CN106066633A (zh) * | 2015-04-24 | 2016-11-02 | Jpw工业有限公司 | 与机床一起使用的可穿戴显示装置 |
| CN106292542A (zh) * | 2016-09-26 | 2017-01-04 | 北京航空航天大学 | 一种带c轴车加工的通用后置处理方法和装置 |
| CN108398921A (zh) * | 2017-02-07 | 2018-08-14 | 发那科株式会社 | 坐标信息变换装置以及计算机可读介质 |
| CN107193911A (zh) * | 2017-05-14 | 2017-09-22 | 北京比目鱼工程咨询有限公司 | 一种基于bim模型的三维可视化引擎及web应用程序调用方法 |
| CN107340870A (zh) * | 2017-07-13 | 2017-11-10 | 深圳市未来感知科技有限公司 | 一种融合vr和ar的虚拟现实展示系统及其实现方法 |
| CN107942942A (zh) * | 2017-12-12 | 2018-04-20 | 科德数控股份有限公司 | 一种机床设备应用于相交倾斜面的倾斜坐标系建立方法 |
| CN108415386A (zh) * | 2018-03-12 | 2018-08-17 | 范业鹏 | 用于智能车间的增强现实系统及其工作方法 |
| CN110383274A (zh) * | 2018-09-27 | 2019-10-25 | 西门子股份公司 | 识别设备的方法、装置、系统、存储介质、处理器和终端 |
| CN109360262A (zh) * | 2018-10-23 | 2019-02-19 | 东北大学 | 基于cad图生成三维模型的室内定位系统及方法 |
| CN111627521A (zh) * | 2020-06-04 | 2020-09-04 | 常州市第二人民医院 | 增强现实在放疗中的应用 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112506347A (zh) | 2021-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102249577B1 (ko) | Ｈｕｄ 객체 설계 및 방법 | |
| Ong et al. | Virtual and augmented reality applications in manufacturing | |
| US9415509B2 (en) | Robot teach device with 3-D display | |
| Nee et al. | Virtual and augmented reality applications in manufacturing | |
| EP2486462B1 (en) | Method, computer system and computer program product for machining simulation and for visually presenting such simulation | |
| Pai et al. | Virtual planning, control, and machining for a modular-based automated factory operation in an augmented reality environment | |
| US7403835B2 (en) | Device and method for programming an industrial robot | |
| CN107168516A (zh) | 基于vr及手势交互技术的全球气候矢量场数据可视化方法 | |
| CN112506347B (zh) | 面向加工过程监控的混合现实交互方法 | |
| CN102999657A (zh) | 用于在计算机辅助设计系统中设计对象组合件的方法和系统 | |
| CN106980378A (zh) | 虚拟显示方法和系统 | |
| Bellalouna | VR Based Design Process of Industrial Products | |
| Minoufekr et al. | Modelling of CNC Machine Tools for Augmented Reality Assistance Applications using Microsoft Hololens. | |
| US20220398427A1 (en) | Context-Based Social Agent Interaction | |
| Wang et al. | Key technique of assembly system in an augmented reality environment | |
| Zhu et al. | Design and realization of virtual classroom | |
| CN111210525A (zh) | 三维模型交互编辑的方法、平台、设备及可读存储介质 | |
| JP3413145B2 (ja) | 仮想空間の編集方法及び仮想空間の編集装置 | |
| Kuester et al. | 3DIVS: 3-dimensional immersive virtual sculpting | |
| Bocevska et al. | Implementation of interactive augmented reality in 3D assembly design presentation | |
| Yap et al. | Development of an augmented reality-based G-code generator in a virtual Cnc milling simulation | |
| Novak-Marcincin et al. | Interactive monitoring of production process with use of augmented reality technology | |
| Fukusato et al. | View-dependent formulation of 2.5 d cartoon models | |
| Lechner et al. | Evaluation of simulation results using augmented reality | |
| Xu et al. | Man-machine interaction in virtual machining center |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |