CN113034668B - 一种ar辅助的机械模拟操作方法和系统 - Google Patents

一种ar辅助的机械模拟操作方法和系统 Download PDF

Info

Publication number
CN113034668B
CN113034668B CN202110224421.2A CN202110224421A CN113034668B CN 113034668 B CN113034668 B CN 113034668B CN 202110224421 A CN202110224421 A CN 202110224421A CN 113034668 B CN113034668 B CN 113034668B
Authority
CN
China
Prior art keywords
dimensional
mechanical
model
goods
mechanical equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110224421.2A
Other languages
English (en)
Other versions
CN113034668A (zh
Inventor
许子桢
于涛
孙宏翔
宋超
刘磊
梁邦永
龙君凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Data Qingdao Technology Information Co ltd
Original Assignee
Zhongke Data Qingdao Technology Information Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Data Qingdao Technology Information Co ltd filed Critical Zhongke Data Qingdao Technology Information Co ltd
Priority to CN202110224421.2A priority Critical patent/CN113034668B/zh
Publication of CN113034668A publication Critical patent/CN113034668A/zh
Application granted granted Critical
Publication of CN113034668B publication Critical patent/CN113034668B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Business, Economics & Management (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提出一种基于LightHouse室内定位技术的AR辅助的机械模拟操作方法和系统，机械模拟操作方法包括机械数字孪生步骤，生成一机械设备的机械三维模型，基于一通信协议实时读取机械设备的运行数据，并在一三维渲染环境中将运行数据与机械三维模型结合；虚拟货物实现步骤，将机械设备可支持的货物进行三维建模，生成一货物三维模型并放入三维渲染环境中；三维模拟展示步骤，根据货物三维模型的信息操作机械设备，并在三维渲染环境中根据运行数据将机械三维模型进行重合操作展示。本发明解决了现有智能机械设备实训教学场景中抓取物种类单一、难以与真实生产环境相结合的问题，以及AR图片识别在定位识别上准确度差和局限性高的问题。

Description

一种AR辅助的机械模拟操作方法和系统
技术领域
本发明属于增强现实领域，尤其涉及一种AR辅助的机械模拟操作方法和系统。
背景技术
在高端智能制造设备操作的实训教学场景中，现有技术通过机械手抓取以及采用图像识别程序，对真实抓取物进行抓取操作,其缺点在于抓取物种类单一,从而难以与真实生产环境相结合，同时在实际使用中发现，在高端智能制造设备操作的实训教学场景中使用的增强现实图片识别,还存在有精度低,易被遮挡,距离近等问题。
发明内容
本申请实施例提供了一种AR辅助的机械模拟操作方法和系统，以至少解决现有智能机械设备实训教学场景中抓取物种类单一、难以与真实生产环境相结合的问题。
第一方面，本申请实施例提供了一种AR辅助的机械模拟操作方法，包括：机械数字孪生步骤，生成一机械设备的机械三维模型，基于一通信协议实时读取所述机械设备的运行数据，并在一三维渲染环境中将所述运行数据与所述机械三维模型结合；虚拟货物实现步骤，将所述机械设备可支持的货物进行三维建模，生成一货物三维模型并放入所述三维渲染环境中；三维模拟展示步骤，根据所述货物三维模型的信息操作所述机械设备，并在所述三维渲染环境中根据所述运行数据将所述机械三维模型进行重合操作展示。
优选的，所述机械数字孪生步骤包括：基于OpcUA标准通信协议实时读取所述机械设备的运行数据。
优选的，其特征在于，所述虚拟货物实现步骤还包括：在所述三维渲染环境中，根据需求对所述货物三维模型进行虚拟摆放。
优选的，所述三维模拟展示步骤包括：运动模拟步骤，获取所述货物三维模型的图像信息，根据所述图像信息对所述机械设备进行操作，并将所述机械三维模型进行重合操作；画面融合步骤，获取所述机械设备的操作画面，在所述三维渲染环境中将所述机械三维模型、所述货物三维模型和所述机械设备的操作画面进行融合展示。
优选的，所述运动模拟步骤还包括：在所述机械设备上安装一覆盖所述机械设备运行全流程的摄像头，并在所述三维渲染环境中，于所述机械三维模型的相应位置构建一虚拟摄像头。
优选的，所述运动模拟步骤还包括：通过所述虚拟摄像头模拟拍摄所述货物三维模型的的图像信息，并将所述图像信息传输至所述机械设备。
优选的，所述运动模拟步骤还包括：所述机械设备根据所述图像信息，在真实环境中进行虚拟抓取摆放操作，并将所述虚拟抓取摆放操作实时读取至所述机械三维模型，所述机械三维模型在所述三维渲染环境中通过碰撞检测对所述货物三维模型进行所述重合操作。
优选的，所述画面融合步骤还包括：通过所述摄像头获取所述机械设备在真实环境中进行所述虚拟抓取摆放操作的实际画面，并将所述实际画面与所述三维渲染环境进行画面融合。
第二方面，本申请实施例提供了一种AR辅助的机械模拟操作系统，适用于上述一种AR辅助的机械模拟操作方法，包括：机械数字孪生单元，生成一机械设备的机械三维模型，基于一通信协议实时读取所述机械设备的运行数据，并在一三维渲染环境中将所述运行数据与所述机械三维模型结合；虚拟货物实现单元，将所述机械设备可支持的货物进行三维建模，生成一货物三维模型并放入所述三维渲染环境中；三维模拟展示单元，根据所述货物三维模型的信息操作所述机械设备，并在所述三维渲染环境中根据所述运行数据将所述机械三维模型进行重合操作展示。
在其中一些实施例中，所述三维模拟展示单元包括：运动模拟模块，获取所述货物三维模型的图像信息，根据所述图像信息对所述机械设备进行操作，并将所述机械三维模型进行重合操作；画面融合模块，获取所述机械设备的操作画面，在所述三维渲染环境中将所述机械三维模型、所述货物三维模型和所述机械设备的操作画面进行融合展示。
相比于相关技术，本申请实施例提供的一种AR辅助的机械模拟操作方法结合真实机械设备及虚拟货物,运用数字孪生技术,将虚拟货物与现实机械环境进行数据同步，通过AR展示,在不影响编程学习的前提下提供了真实丰富的抓取物模拟，为教学环境中机械编程的学习提供无限类型的虚拟货物，并利用增强现实技术,将虚拟货物与真实环境进行融合展示,提供准确的显示结果。本发明通过AR显示设备将真实机械与虚拟货物融合显示,能自主任意添加各类虚拟抓取物,如汽车零件等,克服机械臂编程学习中抓取物的内容单调简单,难以与实际应用相关联等问题，成本低、复用性及可扩展性强。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明的AR辅助的机械模拟操作方法流程图；
图2为图1中步骤S3的分步骤流程图；
图3为本发明的AR辅助的机械模拟操作系统的框架图；
图4为本发明实施例提供的一电子设备的框架图；
图5为本发明的AR辅助的机械模拟操作系统的结构示意图。
以上图中：
1、机械数字孪生单元；2、虚拟货物实现单元；3、三维模拟展示单元；31、运动模拟模块；32、画面融合模块；60、总线；61、处理器；62、存储器；63、通信接口。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例提供的AR辅助的机械模拟操作方法，适用于对图像中某一具体事物的辨别，本发明具有基于增强现实展示的数字孪生的虚拟货物同步，具体地说，在三维空间内一比一将机械单元制作,并通过数据连接实时获取机械的运动状态,货物并非真实而是虚拟的,在PAD等设备上添加摆放.然后将虚拟货物的坐标传给真实设备的控制系统,让其模拟摆放，同时PAD上显示真实机械设备和虚拟货物的叠加效果；同时本发明还具有基于Lighthouse室内定位技术，具体地说虚拟环境中建立虚拟摄像机,真实环境中的PAD设备家装定位模块,通过Lighthouse技术高精度获取区域范围内PAD的三方向坐标,旋转,并实时传递给虚拟环境,让虚拟相机与实际位置完全同步,因此虚拟相机看到的虚拟场景和实际相机看到的机械单元位置旋转都是完全一样的。以此为基础进行增强现实展示。
以下，结合附图详细介绍本发明的实施例：
图1为本发明的AR辅助的机械模拟操作方法流程图，请参见图1，本发明AR辅助的机械模拟操作方法包括如下步骤：
S1：生成一机械设备的机械三维模型，基于一通信协议实时读取所述机械设备的运行数据，并在一三维渲染环境中将所述运行数据与所述机械三维模型结合。
可选的，基于OpcUA标准通信协议实时读取所述机械设备的运行数据。
在具体实施中，将1:1的机械设备工业三维模型放入三维渲染程序环境中,通过OpcUA标准协议实时读取机械设备的运行数据，用以将二者结合在三维环境中模拟运动碰撞，
在具体实施中，工业三维模型的曲面方式转换成为标准三维引擎支持的实体模型，文件类型为标准支持的.OBJ及.FBX格式，其中，模型的来源为标准的机械模型源文件，大小比例与实际1:1相符，可选的，误差小于5毫米。
在具体实施中，基于OpcUA标准通信协议实时读取所述机械设备的运行数据，用以结合标准的机械模型将机械各轴、夹手、拍照启动等数据进行同步处理的三维虚拟展示。
S2：将所述机械设备可支持的货物进行三维建模，生成一货物三维模型并放入所述三维渲染环境中。
可选的，在所述三维渲染环境中，根据需求对所述货物三维模型进行虚拟摆放。
在具体实施中，将机械设备支持的货物进行三维建模，并放入三维渲染环境中，根据用户需求进行虚拟摆放，用以在后续步骤中，在设备运行过程中提供货物颜色点位信息，实现虚拟抓取摆放。
在具体实施中，依据目标机械设备运动轨迹及夹手的执行，制作符合视觉程序识别性及机械程序可达成性的虚拟货物三维模型，并集成于三维渲染程序环境中。在具体实施中，货物并非真实，而是虚拟的，可选的，在PAD等设备上添加摆放，后续可将虚拟货物的坐标传给真实设备的控制系统，让其模拟摆放，同时，PAD上显示真实机械设备和虚拟货物的叠加效果。
S3：根据所述货物三维模型的信息操作所述机械设备，并在所述三维渲染环境中根据所述运行数据将所述机械三维模型进行重合操作展示。
可选的，图2为图1中步骤S3的分步骤流程图，请参见图3：
S31：获取所述货物三维模型的图像信息，根据所述图像信息对所述机械设备进行操作，并将所述机械三维模型进行重合操作。
可选的，在所述机械设备上安装一覆盖所述机械设备运行全流程的摄像头，并在所述三维渲染环境中，于所述机械三维模型的相应位置构建一虚拟摄像头。
在具体实施中，在机械设备的合理的位置安装固定摄像头(视野覆盖机械设备运行全流程)，并在三维渲染环境中按照实际摄像头位置及参数进行相机模拟，在具体实施中，于虚拟环境中构建位置完全相同的虚拟相机，并根据真实相机的相关参数，包括焦距、视野等调节虚拟相机参数使其对应最终在显示端，将摄像头拍摄到的真实环境与虚拟环境中的货物进行增强现实融合显示。
可选的，通过所述虚拟摄像头模拟拍摄所述货物三维模型的的图像信息，并将所述图像信息传输至所述机械设备。
在具体实施中，虚拟相机拍摄虚拟货物将图像信息传达给一视觉程序，视觉程序根据图像信息计算并执行机械臂及夹手运动轨迹。
可选的，所述机械设备根据所述图像信息，在真实环境中进行虚拟抓取摆放操作，并将所述虚拟抓取摆放操作实时读取至所述机械三维模型，所述机械三维模型在所述三维渲染环境中通过碰撞检测对所述货物三维模型进行所述重合操作。
在具体实施中，虚拟环境中的机械与真实环境的机械同步运动，通过碰撞检测对虚拟环境中的虚拟货物进行操作。
在具体实施中，虚拟环境中建立虚拟摄像机，可选的，真实环境中的PAD设备加装定位模块，通过Lighthouse技术高精度获取区域范围内PAD的三方向坐标，旋转并实时传递给虚拟环境，让虚拟相机与实际位置完全同步，具体地说，请参照图5，图5为本发明的AR辅助的机械模拟操作系统的结构示意图，如图5所示，机械模拟操作系统通过定位器与接收器获取AR设备的精确三维坐标后，与三维渲染环境的坐标进行误差小于1cm的精确匹配。因此虚拟相机看到的虚拟场景和实际相机看到的机械单元位置旋转完全一致，以此为基础进行增强现实展示。
S32：获取所述机械设备的操作画面，在所述三维渲染环境中将所述机械三维模型、所述货物三维模型和所述机械设备的操作画面进行融合展示。
可选的，通过所述摄像头获取所述机械设备在真实环境中进行所述虚拟抓取摆放操作的实际画面，并将所述实际画面与所述三维渲染环境进行画面融合。
在具体实施中，利用增强现实技术将虚拟环境中的机械臂与真实环境中的机械臂进行重合展示，将虚拟环境中的货物叠加于屏幕中的实际画面，形成虚拟货物与真实机械臂结合的增强现实融合显示。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例提供了一种AR辅助的机械模拟操作系统，适用于上述的一种AR辅助的机械模拟操作方法。如以下所使用的，术语“单元”、“模块”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件、或者软件和硬件的组合的实现也是可能并被构想的。
图3为根据本发明的AR辅助的机械模拟操作系统的框架图，请参见图3，包括：
机械数字孪生单元1：生成一机械设备的机械三维模型，基于一通信协议实时读取所述机械设备的运行数据，并在一三维渲染环境中将所述运行数据与所述机械三维模型结合。
可选的，基于OpcUA标准通信协议实时读取所述机械设备的运行数据。
虚拟货物实现单元2：将所述机械设备可支持的货物进行三维建模，生成一货物三维模型并放入所述三维渲染环境中。
可选的，在所述三维渲染环境中，根据需求对所述货物三维模型进行虚拟摆放。
三维模拟展示单元3：根据所述货物三维模型的信息操作所述机械设备，并在所述三维渲染环境中根据所述运行数据将所述机械三维模型进行重合操作展示。
其中，运动模拟模块31：获取所述货物三维模型的图像信息，根据所述图像信息对所述机械设备进行操作，并将所述机械三维模型进行重合操作。
可选的，在所述机械设备上安装一覆盖所述机械设备运行全流程的摄像头，并在所述三维渲染环境中，于所述机械三维模型的相应位置构建一虚拟摄像头。
可选的，通过所述虚拟摄像头模拟拍摄所述货物三维模型的的图像信息，并将所述图像信息传输至所述机械设备。
可选的，所述机械设备根据所述图像信息，在真实环境中进行虚拟抓取摆放操作，并将所述虚拟抓取摆放操作实时读取至所述机械三维模型，所述机械三维模型在所述三维渲染环境中通过碰撞检测对所述货物三维模型进行所述重合操
画面融合模块32：获取所述机械设备的操作画面，在所述三维渲染环境中将所述机械三维模型、所述货物三维模型和所述机械设备的操作画面进行融合展示。
可选的，通过所述摄像头获取所述机械设备在真实环境中进行所述虚拟抓取摆放操作的实际画面，并将所述实际画面与所述三维渲染环境进行画面融合。
本系统所适用的上述的一种AR辅助的机械模拟操作方法，已在前文进行详细说明。
另外，结合图1、图2描述的一种AR辅助的机械模拟操作方法可以由电子设备来实现。图4为本发明实施例提供的一电子设备的框架图。
电子设备可以包括处理器61以及存储有计算机程序指令的存储器62。
具体地，上述处理器61可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器62可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器62可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器62可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器62可在数据处理装置的内部或外部。在特定实施例中，存储器62是非易失性(Non-Volatile)存储器。在特定实施例中，存储器62包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。
存储器62可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器61所执行的可能的计算机程序指令。
处理器61通过读取并执行存储器62中存储的计算机程序指令，以实现上述实施例中的任意一种AR辅助的机械模拟操作方法。
在其中一些实施例中，电子设备还可包括通信接口63和总线60。其中，如图4所示，处理器61、存储器62、通信接口63通过总线60连接并完成相互间的通信。
通信端口63可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线60包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。总线60包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(ControlBus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线60可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(FrontSide Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、外围组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线60可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
该电子设备可以执行本申请实施例中的一种AR辅助的机械模拟操作方法。
另外，结合上述实施例中的一种AR辅助的机械模拟操作方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种AR辅助的机械模拟操作方法。
而前述的存储介质包括：U盘、移动硬盘、只读存储器(ReadOnly Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
综上所述，本发明基于HTC的Lighthouse定位技术来实现区域范围内的毫米级定位，结合增强现实展示实现机械单元15*15米范围内的内任意角度任意位置的高精度增强现实展示，且没有局限性，由此本发明具有精度高，不易被遮挡以及使用距离更远的优点。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种AR辅助的机械模拟操作方法，其特征在于，基于LightHouse室内定位技术，所述机械模拟操作方法包括：
机械数字孪生步骤，生成一机械设备的机械三维模型，基于一通信协议实时读取所述机械设备的运行数据，并在一三维渲染环境中将所述运行数据与所述机械三维模型结合；
虚拟货物实现步骤，将所述机械设备可支持的货物进行三维建模，生成一货物三维模型并放入所述三维渲染环境中；
三维模拟展示步骤，根据所述货物三维模型的信息操作所述机械设备，并在所述三维渲染环境中根据所述运行数据将所述机械三维模型进行重合操作展示；
其中，所述三维模拟展示步骤包括：获取所述货物三维模型的图像信息，以所述图像信息做为虚拟货物，通过AR显示将所述机械设备与所述虚拟货物融合显示在显示端中，所述机械设备在真实空间中对所述虚拟货物进行虚拟抓取摆放操作，并将所述虚拟抓取摆放操作实时读取至所述机械三维模型，所述机械三维模型在所述三维渲染环境中通过碰撞检测对所述货物三维模型进行所述重合操作。
2.如权利要求1所述的AR辅助的机械模拟操作方法，其特征在于，所述机械数字孪生步骤包括：基于OpcUA标准通信协议实时读取所述机械设备的运行数据。
3.如权利要求1或2所述的AR辅助的机械模拟操作方法，其特征在于，所述虚拟货物实现步骤还包括：在所述三维渲染环境中，根据需求对所述货物三维模型进行虚拟摆放。
4.如权利要求3所述的AR辅助的机械模拟操作方法，其特征在于，所述三维模拟展示步骤包括：
运动模拟步骤，获取所述货物三维模型的图像信息，根据所述图像信息对所述机械设备进行操作，并将所述机械三维模型进行重合操作；
画面融合步骤，获取所述机械设备的操作画面，在所述三维渲染环境中将所述机械三维模型、所述货物三维模型和所述机械设备的操作画面进行融合展示。
5.如权利要求4所述的AR辅助的机械模拟操作方法，其特征在于，所述运动模拟步骤还包括：在所述机械设备上安装一覆盖所述机械设备运行全流程的摄像头，并在所述三维渲染环境中，于所述机械三维模型的相应位置构建一虚拟摄像头。
6.如权利要求5所述的AR辅助的机械模拟操作方法，其特征在于，所述运动模拟步骤还包括：通过所述虚拟摄像头模拟拍摄所述货物三维模型的图像信息，并将所述图像信息传输至所述机械设备。
7.如权利要求6所述的AR辅助的机械模拟操作方法，其特征在于，所述画面融合步骤还包括：通过所述摄像头获取所述机械设备在真实环境中进行所述虚拟抓取摆放操作的实际画面，并将所述实际画面与所述三维渲染环境进行画面融合。
8.一种AR辅助的机械模拟操作系统，其特征在于，基于LightHouse室内定位技术，所述机械模拟操作系统包括：
机械数字孪生单元，生成一机械设备的机械三维模型，基于一通信协议实时读取所述机械设备的运行数据，并在一三维渲染环境中将所述运行数据与所述机械三维模型结合；
虚拟货物实现单元，将所述机械设备可支持的货物进行三维建模，生成一货物三维模型并放入所述三维渲染环境中；
三维模拟展示单元，根据所述货物三维模型的信息操作所述机械设备，并在所述三维渲染环境中根据所述运行数据将所述机械三维模型进行重合操作展示；
其中，所述三维模拟展示单元获取所述货物三维模型的图像信息，以所述图像信息做为虚拟货物，通过AR显示将所述机械设备与所述虚拟货物融合显示在显示端中，所述机械设备在真实空间中对所述虚拟货物进行虚拟抓取摆放操作，并将所述虚拟抓取摆放操作实时读取至所述机械三维模型，所述机械三维模型在所述三维渲染环境中通过碰撞检测对所述货物三维模型进行所述重合操作。
9.如权利要求8所述的AR辅助的机械模拟操作系统，其特征在于，所述三维模拟展示单元包括：
运动模拟模块，获取所述货物三维模型的图像信息，根据所述图像信息对所述机械设备进行操作，并将所述机械三维模型进行重合操作；
画面融合模块，获取所述机械设备的操作画面，在所述三维渲染环境中将所述机械三维模型、所述货物三维模型和所述机械设备的操作画面进行融合展示。
CN202110224421.2A 2021-03-01 2021-03-01 一种ar辅助的机械模拟操作方法和系统 Active CN113034668B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110224421.2A CN113034668B (zh) 2021-03-01 2021-03-01 一种ar辅助的机械模拟操作方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110224421.2A CN113034668B (zh) 2021-03-01 2021-03-01 一种ar辅助的机械模拟操作方法和系统

Publications (2)

Publication Number Publication Date
CN113034668A CN113034668A (zh) 2021-06-25
CN113034668B true CN113034668B (zh) 2023-04-07

Family

ID=76464909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110224421.2A Active CN113034668B (zh) 2021-03-01 2021-03-01 一种ar辅助的机械模拟操作方法和系统

Country Status (1)

Country Link
CN (1) CN113034668B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115064020B (zh) * 2022-08-18 2023-01-17 安徽宝信信息科技有限公司 基于数字孪生技术的智慧教学方法、系统及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107223271A (zh) * 2016-12-28 2017-09-29 深圳前海达闼云端智能科技有限公司 一种显示数据处理方法及装置
CN108510592A (zh) * 2017-02-27 2018-09-07 亮风台（上海）信息科技有限公司 真实物理模型的增强现实展示方法
CN109065147A (zh) * 2018-07-30 2018-12-21 广州狄卡视觉科技有限公司 医学数字化3d模型人体手术模拟人机互动系统及方法
CN109241964A (zh) * 2018-08-17 2019-01-18 上海非夕机器人科技有限公司 机械臂的抓取点的获取方法及设备
CN109426783A (zh) * 2017-08-29 2019-03-05 深圳市掌网科技股份有限公司 基于增强现实的手势识别方法及系统
CN109448456A (zh) * 2018-11-20 2019-03-08 北京农业智能装备技术研究中心 一种基于vr的生物防治教学系统及其应用
CN110216671A (zh) * 2019-05-14 2019-09-10 苏州软体机器人科技有限公司 一种基于计算机仿真的机械抓手训练方法及系统
JP2020037475A (ja) * 2018-09-05 2020-03-12 前田建設工業株式会社 建設機械制御システム、建設機械制御方法、及びプログラム
WO2020098462A1 (zh) * 2018-11-16 2020-05-22 Oppo广东移动通信有限公司 Ar虚拟人物绘制方法、装置、移动终端及存储介质
CN111401154A (zh) * 2020-02-29 2020-07-10 同济大学 一种基于ar的物流精准配送透明化辅助作业装置
CN111640195A (zh) * 2020-06-08 2020-09-08 浙江商汤科技开发有限公司 一种历史场景的复现方法、装置、电子设备及存储介质
CN111651047A (zh) * 2020-06-05 2020-09-11 浙江商汤科技开发有限公司 一种虚拟物体展示方法、装置、电子设备及存储介质
CN112015275A (zh) * 2020-08-29 2020-12-01 南京翱翔智能制造科技有限公司 基于数字孪生ar交互方法和系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020024517A1 (en) * 2000-07-14 2002-02-28 Komatsu Ltd. Apparatus and method for three-dimensional image production and presenting real objects in virtual three-dimensional space
US20020133264A1 (en) * 2001-01-26 2002-09-19 New Jersey Institute Of Technology Virtual reality system for creation of design models and generation of numerically controlled machining trajectories
US8576253B2 (en) * 2010-04-27 2013-11-05 Microsoft Corporation Grasp simulation of a virtual object
CN103870665B (zh) * 2014-04-08 2017-06-06 哈尔滨工业大学 空间机械臂辅助对接过程三维动态仿真方法
CN106027855B (zh) * 2016-05-16 2019-06-25 深圳迪乐普数码科技有限公司 一种虚拟摇臂的实现方法和终端
CN106781941A (zh) * 2016-11-24 2017-05-31 北京理工大学 一种用于模拟微创穿刺手术的方法及其系统
CN108492356A (zh) * 2017-02-13 2018-09-04 苏州宝时得电动工具有限公司 增强现实系统及其控制方法
CN107331235A (zh) * 2017-07-28 2017-11-07 西南交通大学 集装箱门式起重机模拟操作全景仿真系统及方法
CN109483526A (zh) * 2017-09-13 2019-03-19 北京猎户星空科技有限公司 虚拟环境和真实环境下机械臂的控制方法和系统
CN108161904B (zh) * 2018-01-09 2019-12-03 青岛理工大学 基于增强现实的机器人在线示教装置、系统、方法、设备
CN108177149B (zh) * 2018-02-08 2023-09-15 苏州融萃特种机器人有限公司 基于mr和运动规划技术的可移动机械臂控制系统及方法
CN108724183B (zh) * 2018-05-29 2024-03-26 广东工业大学 一种搬运机械臂的控制方法、系统及相关装置
WO2020055903A1 (en) * 2018-09-10 2020-03-19 Fanuc America Corporation Robot calibration for ar and digital twin
CN109719730B (zh) * 2019-01-25 2021-10-15 温州大学 一种断路器柔性化装配过程的数字孪生机器人
CN110405775A (zh) * 2019-05-07 2019-11-05 中国地质大学（武汉） 一种基于增强现实技术的机器人示教系统及方法
CN110599603A (zh) * 2019-09-20 2019-12-20 上海大学 基于增强现实的机械设备可视化交互与设备状态监控系统及其方法
CN111015655B (zh) * 2019-12-18 2022-02-22 深圳市优必选科技股份有限公司 机械臂抓取方法、装置、计算机可读存储介质及机器人

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107223271A (zh) * 2016-12-28 2017-09-29 深圳前海达闼云端智能科技有限公司 一种显示数据处理方法及装置
CN108510592A (zh) * 2017-02-27 2018-09-07 亮风台（上海）信息科技有限公司 真实物理模型的增强现实展示方法
CN109426783A (zh) * 2017-08-29 2019-03-05 深圳市掌网科技股份有限公司 基于增强现实的手势识别方法及系统
CN109065147A (zh) * 2018-07-30 2018-12-21 广州狄卡视觉科技有限公司 医学数字化3d模型人体手术模拟人机互动系统及方法
CN109241964A (zh) * 2018-08-17 2019-01-18 上海非夕机器人科技有限公司 机械臂的抓取点的获取方法及设备
JP2020037475A (ja) * 2018-09-05 2020-03-12 前田建設工業株式会社 建設機械制御システム、建設機械制御方法、及びプログラム
WO2020098462A1 (zh) * 2018-11-16 2020-05-22 Oppo广东移动通信有限公司 Ar虚拟人物绘制方法、装置、移动终端及存储介质
CN109448456A (zh) * 2018-11-20 2019-03-08 北京农业智能装备技术研究中心 一种基于vr的生物防治教学系统及其应用
CN110216671A (zh) * 2019-05-14 2019-09-10 苏州软体机器人科技有限公司 一种基于计算机仿真的机械抓手训练方法及系统
CN111401154A (zh) * 2020-02-29 2020-07-10 同济大学 一种基于ar的物流精准配送透明化辅助作业装置
CN111651047A (zh) * 2020-06-05 2020-09-11 浙江商汤科技开发有限公司 一种虚拟物体展示方法、装置、电子设备及存储介质
CN111640195A (zh) * 2020-06-08 2020-09-08 浙江商汤科技开发有限公司 一种历史场景的复现方法、装置、电子设备及存储介质
CN112015275A (zh) * 2020-08-29 2020-12-01 南京翱翔智能制造科技有限公司 基于数字孪生ar交互方法和系统

Also Published As

Publication number Publication date
CN113034668A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN109584295B (zh) 对图像内目标物体进行自动标注的方法、装置及系统
CN104574267B (zh) 引导方法和信息处理设备
JP6223122B2 (ja) 拡張現実のための自動基準フレーム較正
US9904664B2 (en) Apparatus and method providing augmented reality contents based on web information structure
CN109155078A (zh) 样本图像的集合的生成方法、装置、电子设备和存储介质
CN112258589B (zh) 一种手眼标定的方法及装置
CN101865667B (zh) 线束外观检查用图像的生成装置及生成方法
CN104881860A (zh) 基于照片进行定位的方法和装置
CN107563959B (zh) 全景图生成方法及装置
CN109615655A (zh) 一种确定物体姿态的方法及装置、电子设备及计算机介质
CN110568934B (zh) 一种低误差高效率的多标记图增强现实系统
CN113034668B (zh) 一种ar辅助的机械模拟操作方法和系统
CN109961471A (zh) 一种图像中物体位置的标注方法、装置及电子设备
CN110060354B (zh) 真实图像在虚拟空间中的定位和交互方法
CN111899349B (zh) 一种模型呈现方法、装置、电子设备及计算机存储介质
CN112017242B (zh) 显示方法及装置、设备、存储介质
CN113178017A (zh) Ar数据展示方法、装置、电子设备及存储介质
CN109816791B (zh) 用于生成信息的方法和装置
CN110977987B (zh) 机械臂手眼标定方法、装置及系统
CN108845669B (zh) 一种ar/mr交互方法和装置
WO2020067204A1 (ja) 学習用データ作成方法、機械学習モデルの生成方法、学習用データ作成装置及びプログラム
CN108932088B (zh) 虚拟物件收集方法及可携式电子装置
CN105843372A (zh) 相对位置判断方法、显示器控制方法、及其系统
CN112819884B (zh) 坐标修正方法及装置、电子设备、计算机可读介质
CN115277996A (zh) 一种实时电影生产方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant