CN115060271A - 一种基于增强现实的物流装备导航方法以及交互维护系统 - Google Patents

一种基于增强现实的物流装备导航方法以及交互维护系统 Download PDF

Info

Publication number
CN115060271A
CN115060271A CN202210748253.1A CN202210748253A CN115060271A CN 115060271 A CN115060271 A CN 115060271A CN 202210748253 A CN202210748253 A CN 202210748253A CN 115060271 A CN115060271 A CN 115060271A
Authority
CN
China
Prior art keywords
logistics equipment
equipment
fault
module
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210748253.1A
Other languages
English (en)
Inventor
李岩
王勇
徐慧
刘泽锐
郑刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beizisuo Beijing Technology Development Co ltd
Original Assignee
Beizisuo Beijing Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beizisuo Beijing Technology Development Co ltd filed Critical Beizisuo Beijing Technology Development Co ltd
Priority to CN202210748253.1A priority Critical patent/CN115060271A/zh
Publication of CN115060271A publication Critical patent/CN115060271A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/206Instruments for performing navigational calculations specially adapted for indoor navigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种基于增强现实的物流装备导航方法以及交互维护系统,包括:通过获取厂房物流装备的三维点云地图并转化为二维栅格地图,将二维栅格地图在厂房布局图上进行展示得到融合地图,通过获取厂房中各个物流装备的特征,将物流装备的特征与融合地图上表示各个物流装备的点位进行匹配,形成混合点云地图,再获取用户也就是维修操作人员的自身位置,将自身位置在混合点云地图上进行转化,根据用户的目标物流装备,生成导航路线,帮助用户第一时间赶到现场物流装备进行维修检查。

Description

一种基于增强现实的物流装备导航方法以及交互维护系统
技术领域
本发明涉及虚拟现实技术领域,具体涉及一种基于增强现实的物流装备导航方法以及交互维护系统。
背景技术
随着工业的发展,由于物流仓储行业具有装备种类繁多、日益复杂、学科范围跨度大的特点,一旦装备出现故障,专业维修人员无法第一时间赶到现场,普通的维修手册资料无法让工厂检修人员快速排查装备故障,将直接影响企业或用户的生产制造效益。
现有技术中,并没有相关技术没有实现工厂环境下的装备定位、当前位置定位和路径导航等功能,由于物流装备厂房的面积大,内部的物流装备众多,当其中某装备出现故障时,不能第一时间对物流装备进行快速排查。
发明内容
有鉴于此,本发明的目的在于提供一种基于增强现实的物流装备导航方法以及交互维护系统,以解决现有技术中,物流装备厂房的面积大,内部的物流装备众多,不能对工厂环境下的装备进行定位、当前位置定位和路径导航,导致专业维修人员无法第一时间赶到现场,影响企业或用户的生产制造效益的问题。
根据本发明实施例的第一方面,提供一种基于增强现实的物流装备导航方法,包括:
获取厂房物流装备的三维点云地图,将所述三维点云地图转化为二维栅格地图;
将所述二维栅格地图在厂房布局图上进行展示得到融合地图;
获取厂房中各个物流装备的特征,将所述各个物流装备的特征与所述融合地图上表示各个物流装备的点位进行匹配,形成混合点云地图;
获取用户当前位置坐标和目标物流装备,根据用户当前位置坐标获取用户在混合点云地图上的坐标,根据用户在混合点云地图上的位置坐标和目标物流装备在混合点云地图上的点位坐标生成路线,根据路线对用户进行导航。
进一步的,获取厂房物流装备的三维点云地图包括:通过厂房内安装的激光雷达对厂房进行扫描,获取到厂房内物流装备的点位信息,通过激光里程计算法对点位信息进行处理,得到厂房物流装备的三维点云地图。
进一步的,
获取厂房中各个物流装备的特征包括:获取厂房中各个物流装备的图像信息,通过CNN神经网络模型对所述各个物流装备的图像信息进行自适应特征提取,获取各个物流装备的特征。
进一步的,所述根据路线对用户进行导航包括:将各个物流装备的特征以及混合点云地图输入到深度强化学习网络模型中,所述深度强化学习网络模型中预设的导航路线的奖励函数,通过深度强化学习后在混合点云地图上给出基于用户当前位置的路线。
根据本发明实施例的第二方面,提供一种基于增强现实的物流装备交互维护系统,包括:
AR构建模块:用于获取物流装备的基本信息并构建物流装备的数字孪生模型;
还用于获取厂房内物流装备的实时参数,以构建数字孪生模型与物流装备的等价映射,完成厂房内物流装备的虚拟场景构建,实现物流装备的监测数据的可视化;
交互模块:基于AR构建模块获得的物流装备的虚拟场景,实现用户与物流装备的交互;
所述交互模块包括:
服务模块:用于实现上述的一种基于增强现实的物流装备无标记导航方法;
维修模块:用于存储并显示物流装备的故障信息;
专家模块:用于实现AR终端扫描到的物流装备与专家端的数字孪生模型之间的联动,以及用于AR终端与专家端的信息传输。
进一步的,
所述服务模块还用于通过AR构建模块构建的数字孪生模型进行物流装备的信息识别与查询。
进一步的,所述维修模块包括:
装备实时状态信息显示模块:用于显示各个物流装备的编号、名称、尺寸、安装日期、理论报废日期、当前作业情况,以及各个物流装备中各零件的名称、类别、数量、安装时间、下次维修时间、状态和零件的各项参数;
装备当前故障信息显示模块:用于显示物流装备的故障代码,以及对装备的故障现象进行描述;
装备历史故障信息查询模块:用于查询物流装备的历史故障信息,所述故障信息包括:故障部位、故障现象、故障原因、故障解决方法、故障发生时间、故障结束时间以及故障维修时长;
装备维护策略推荐模块:用于根据物流装备的不同故障部位以及原因,显示物流装备中各零件、操作工具及零件的拆装流程;
故障上传模块:用于将故障物流装备、故障类型、故障时间以及对应的故障维修方案信息上传至云端。
进一步的,包括:
所述数字孪生模型包括:几何模型、物理模型、行为模型、规则模型以及数据模型;
所述几何模型用于描述装备的几何形状;
所述物理模型用于明确装备受力变化;
所述行为模型用于明确装备在运行过程中的运动状态;
所述规则模型用于明确装备的约束条件与范围;
所述数据模型包括装备的基本信息、历史数据和实时工作状态信息。
本发明的实施例提供的技术方案可以包括以下有益效果:
本申请通过获取厂房物流装备的三维点云地图并转化为二维栅格地图,将二维栅格地图在厂房布局图上进行展示得到融合地图,通过获取厂房中各个物流装备的特征,将物流装备的特征与融合地图上表示各个物流装备的点位进行匹配,形成混合点云地图,再获取用户也就是维修操作人员的自身位置,将自身位置在混合点云地图上进行转化,根据用户的目标物流装备,生成导航路线,帮助用户第一时间赶到现场。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种基于增强现实的物流装备导航方法的流程示意图;
图2是根据另一示例性实施例示出的一种基于增强现实的物流装备交互维护系统的系统示意图;
图3是根据另一示例性实施例示出的增强现实系统结构示意图;
图4是根据另一示例性实施例示出的维修模块的系统示意图;
附图中:1-AR构建模块,2-交互模块,201-服务模块,202-维修模块,203-专家模块,2021-装备实时状态信息显示模块,2022-装备当前故障信息显示模块,2023-装备历史故障信息查询模块,2024-装备维护策略推荐模块,2025-故障上传模块。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
实施例一
图1是根据一示例性实施例示出的一种基于增强现实的物流装备导航方法,如图1所示,该方法包括:
S1,获取厂房物流装备的三维点云地图,将所述三维点云地图转化为二维栅格地图;
S2,将所述二维栅格地图在厂房布局图上进行展示得到融合地图;
S3,获取厂房中各个物流装备的特征,将所述各个物流装备的特征与所述融合地图上表示各个物流装备的点位进行匹配,形成混合点云地图;
S4,获取用户当前位置坐标和目标物流装备,根据用户当前位置坐标获取用户在混合点云地图上的坐标,根据用户在混合点云地图上的位置坐标和目标物流装备在混合点云地图上的点位坐标生成路线,根据路线对用户进行导航;
可以理解的是,本申请通过获取厂房物流装备的三维点云地图并转化为二维栅格地图,将二维栅格地图在厂房布局图上进行展示得到融合地图,通过获取厂房中各个物流装备的特征,将物流装备的特征与融合地图上表示各个物流装备的点位进行匹配,形成混合点云地图,再获取用户也就是维修操作人员的自身位置,将自身位置在混合点云地图上进行转化,根据用户的目标物流装备,生成导航路线,帮助用户第一时间赶到现场。
值得强调的是,获取用户当前位置坐标包括:获取用户当前位置坐标(是通过AR装备上的摄像头进行定位的)以及四元数中的方向数据,从四元数到旋转矩阵的进一步转换可以表示为如下等式所示:
Figure BDA0003720237120000061
其中R表示旋转矩阵,qx、qy、qz和qw是表示空间方向和旋转的四元数,在该步骤中获得的旋转矩阵R用于定位导航;
计算出了自身所处位置坐标,还需要在混合点云地图上进行自身坐标位置定位。(也是根据摄像头在混合点云地图上的相对位置进行判定);
Figure BDA0003720237120000062
上式中的u和v是代表像素坐标,其中u是X轴上的像素坐标,v是Y轴上的像素坐标。AR设备上的摄像头参数表示为fX、fY、cx、cy,fX和fY是相机的焦距长度;cx和cy代表相机的中心位置;fX、fY、cx、cy可以通过摄像头校准过程获得;r11-r33是旋转矩阵参数,可以通过四元数转化为旋转矩阵得到;t1-t3代表相机从原点的平移,是相机的位置坐标;t1是在X轴上、t2是在Y轴上、t3是在Z轴上。
进一步的,
获取厂房物流装备的三维点云地图包括:通过厂房内安装的激光雷达对厂房进行扫描,获取到厂房内物流装备的点位信息,通过激光里程计算法对点位信息进行处理,得到厂房物流装备的三维点云地图;
可以理解的是,厂房地图的获取这里需要为AR终端设备配置一个小型激光雷达,它可以提供高频范围测量,并且误差相对恒定,利用激光里程计算法(LOAM)构建厂房三维点云地图。
进一步的,
获取厂房中各个物流装备的特征包括:获取厂房中各个物流装备的图像信息,通过CNN神经网络模型对所述各个物流装备的图像信息进行自适应特征提取,获取各个物流装备的特征;
可以理解的是,在融合地图上,只能观察到厂房的整体轮廓与装备的大概位置,但并不清楚各点所代表的装备名称,所以事先需对各个装备进行拍照,将照片图像输入到CNN网络上进行自适应特征提取,可获取各个装备的特征,将各个装备的特征与融合地图上的各点匹配对应形成混合点云地图。
进一步的,
所述根据路线对用户进行导航包括:将各个物流装备的特征以及混合点云地图输入到深度强化学习网络模型中,所述深度强化学习网络模型中预设的导航路线的奖励函数,通过深度强化学习后在混合点云地图上给出基于用户当前位置的路线;
可以理解的是,完成当前位置定位后,即可根据当前位置与目标点位进行二维地图导航,为了使导航正确不出现位置偏差这里所使用深度强化学习,强化学习主要是学习如何从一个状态映射到一个行为,来最大化累积奖励信号的数值,智能体得到环境反馈的状态信息并做出相应的决策,每一步决策后会得到反馈信号即奖励,通过最大化累积回报来不断优化动作策略,最终实现目标或学习到局部最优策略,这里使用通过上面CNN获取得到的图像特征以及混合地图作为深度强化学习网络的输入,深度强化学习的奖励函数的设定是一个重要环节,本方法奖励函数设定为:
Figure BDA0003720237120000071
式中,Pnow表示当前位置,Pgoal表示终点位置,||Pnow-Pgoal||2表示当前位置和终点的欧氏距离,Rs表示到达终点后的奖赏,Rm表示时间惩罚参数,Rf表示导航失败后的惩罚;
通过深度强化学习后可以在混合点云地图上给出基于当前位置的路径规划,在全局地图上可以观察到整体路径,通过交互技能可以对全局地图进行放大,放大后的指示路径通过箭头显示,最终指引操作人到达目标位置。
实施例二
根据本实施例示出的一种基于增强现实的物流装备交互维护系统,如附图2所示,包括:
AR构建模块1:用于获取物流装备的基本信息并构建物流装备的数字孪生模型;
还用于获取厂房内物流装备的实时参数,以构建数字孪生模型与物流装备的等价映射,完成厂房内物流装备的虚拟场景构建,实现物流装备的监测数据的可视化;
交互模块2:基于AR构建模块获得的物流装备的虚拟场景,实现用户与物流装备的交互;
所述交互模块1包括:
服务模块201:用于实现上述的一种基于增强现实的物流装备无标记导航方法;
维修模块202:用于存储并显示物流装备的故障信息;
专家模块203:用于实现AR终端扫描到的物流装备与专家端的数字孪生模型之间的联动,以及用于AR终端与专家端的信息传输;
可以理解的是,本申请需要先搭建增强现实系统,增强现实系统也就是虚拟现实场景的搭建如附图3所示,需要通过AR构建模块1先构建数字孪生模型,通过AR终端的摄像机获取物流装备的真实场景,获取厂房车间内的装备实时参数,以构建数字孪生模型与装备的等价映射,实现装备物理世界与信息世界之间的交互与融合,对于AR系统,本系统选择凝视,手势,语音三种交互方式为主要交互方式。其中手势作为系统内的主要交互方式,用于模型的交互,功能菜单唤醒,选择等操作。凝视和语音作为辅助交互方式,主要用于检修人员双手正在进行操作或者需要进行大量文字输入的情况下;交互模块2是基于AR系统的远程交互维护模块,包括服务模块201、维修模块202以及专家模块203,其中服务模块201主要用于实现上述的一种基于增强现实的物流装备无标记导航方法,维修模块202包括实时故障排除和故障上传两部分,主要用于存储并现实信息,辅助维修操作人员完成维修排故等;专家模块203主要包括装备环境信息交互、装备零部件同步交互、文字语音视频传输。主要解决真实维修场景与专家端虚拟维修场景的远程协同问题,以保证真实维修状况内容能以高实时性、高精确度地被专家端解析和呈现,当现场维修操作人员需要通过专家端实现远程交互时,通过AR终端所扫描到的装备会与专家端的孪生模型联动,并且双方可建立语音、视频联动。现场维修人员可以提交故障视频或音频供专家技术人员进行故障分析或者专家技术人员直接通过装备的数字孪生模型进行诊断又或者专家技术人员直接接管AR终端视角,当专家技术人员诊断出装备某零部件出现问题后,通过选择孪生模型中的零部件或者口述零部件名称来和AR终端场景关联,所选择的零部件会在AR场景中红光高亮闪烁,然后推送故障排除步骤或维修动画,并通过语音或视频指导现场维修人员进行维修操作。
进一步的,包括:
所述服务模块201还用于通过AR构建模块1构建的数字孪生模型进行物流装备的信息识别与查询;
可以理解的是,服务模块201还用于实现对装备的基本信息识别以及查询,装备识别包括装备扫描识别和装备语音识别,用户可通过AR终端上的摄像机扫描各个装备上的二维码或者由用户口述装备名称加编号,实现对目标区域的现实图像数据进行虚实融合处理,得到融合后的叠加场景;装备介绍包括装备文字介绍与装备语音介绍,用户可以通过凝视、手势、语音等交互方式对场景中的不同装备进行选取,选取装备后可选择通过文字或者语音的形式,对装备的结构与功能有所认知。
进一步的,
所述维修模块202包括:
装备实时状态信息显示模块2021:用于显示各个物流装备的编号、名称、尺寸、安装日期、理论报废日期、当前作业情况,以及各个物流装备中各零件的名称、类别、数量、安装时间、下次维修时间、状态和零件的各项参数;
装备当前故障信息显示模块2022:用于显示物流装备的故障代码,以及对装备的故障现象进行描述;
装备历史故障信息查询模块2023:用于查询物流装备的历史故障信息,所述故障信息包括:故障部位、故障现象、故障原因、故障解决方法、故障发生时间、故障结束时间以及故障维修时长;
装备维护策略推荐模块2024:用于根据物流装备的不同故障部位以及原因,显示物流装备中各零件、操作工具及零件的拆装流程;
故障上传模块2025:用于将故障物流装备、故障类型、故障时间以及对应的故障维修方案信息上传至云端。
可以理解的是,如附图4所示,维修模块203包括实时故障排除和故障上传两部分,主要用于辅助维修操作人员完成维修排故。
实时故障排除包括装备实时状态信息显示模块2021、装备当前故障信息显示模块2022、装备历史故障信息查询模块2023以及装备维护策略推荐模块2024。
实时故障排故是建立在维修知识的基础上,是实现AR智能引导的基础,为了满足维修人员应用维修端完成多设备的维修维护工作,需要以一种通用化的方式定义维修知识,同时要减少不必要的重复,满足不同设备的信息储存和方便维修人员对知识的获取。
本系统的维修知识主要存储于AR系统的数据库中,主要数据信息包括装备汇总信息、零件信息、拆卸流程信息、装配流程信息以及故障案例信息等。
装备实时状态信息现实模块2021用于显示装备的编号、名称、尺寸、安装日期、理论报废日期、当前作业情况、以及其中各零件的名称、类别、数量、安装时间、下次维修时间、状态等信息、展示零件的各项参数。
装备当前故障信息显示模块2022会显示装备的故障代码、对装备的故障现象进行描述。
装备历史故障信息查询模块2023用于查询过往装备的故障信息,故障部位、故障现象、故障原因、故障解决方法、故障发生时间、故障结束时间以及故障维修时长。
装备维护策略推荐模块2024通过动画的形式根据装备的不同故障部位以及原因,展现装备中各零件的拆、装流程、操作工具及零件拆、装操作维护等信息。
故障上传模块2025用于故障装备上传、故障类型上报、故障时间上报和故障维修方案上传,维修工作人员可通过故障上传模块2025以文字、语音的形式将装备的故障、检查、维修信息以及检修人员信息生成相关日志记录并上传云端。
进一步的,包括:
所述数字孪生模型包括:几何模型、物理模型、行为模型、规则模型以及数据模型;
所述几何模型用于描述装备的几何形状;
所述物理模型用于明确装备受力变化;
所述行为模型用于明确装备在运行过程中的运动状态;
所述规则模型用于明确装备的约束条件与范围;
所述数据模型包括装备的基本信息、历史数据和实时工作状态信息;
可以理解的是,装备数字孪生模型构建,对厂房车间内的装备进行数字孪生建模,包括数据模型、几何模型、物理模型、行为模型和规则模型;数据模型包括装备的基本信息、历史数据和实时工作状态信息;几何模型精准描述装备的几何形状;物理模型明确装备受力变化;行为模型明确装备在运行过程中的运动状态;规则模型明确装备的约束条件与范围。
可以理解的是,上述各实施例中相同或相似部分可以相互参考,在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是,在本发明的描述中,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本发明的描述中,除非另有说明,“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种基于增强现实的物流装备导航方法,其特征在于,包括:
获取厂房物流装备的三维点云地图,将所述三维点云地图转化为二维栅格地图;
将所述二维栅格地图在厂房布局图上进行展示得到融合地图;
获取厂房中各个物流装备的特征,将所述各个物流装备的特征与所述融合地图上表示各个物流装备的点位进行匹配,形成混合点云地图;
获取用户当前位置坐标和目标物流装备,根据用户当前位置坐标获取用户在混合点云地图上的坐标,根据用户在混合点云地图上的位置坐标和目标物流装备在混合点云地图上的点位坐标生成路线,根据路线对用户进行导航。
2.根据权利要求1所述的方法,其特征在于,
获取厂房物流装备的三维点云地图包括:通过厂房内安装的激光雷达对厂房进行扫描,获取到厂房内物流装备的点位信息,通过激光里程计算法对点位信息进行处理,得到厂房物流装备的三维点云地图。
3.根据权利要求2所述的方法,其特征在于,
获取厂房中各个物流装备的特征包括:获取厂房中各个物流装备的图像信息,通过CNN神经网络模型对所述各个物流装备的图像信息进行自适应特征提取,获取各个物流装备的特征。
4.根据权利要求3所述的方法,其特征在于,
所述根据路线对用户进行导航包括:将各个物流装备的特征以及混合点云地图输入到深度强化学习网络模型中,所述深度强化学习网络模型中预设的导航路线的奖励函数,通过深度强化学习后在混合点云地图上给出基于用户当前位置的路线。
5.一种基于增强现实的物流装备交互维护系统,其特征在于,包括:
AR构建模块:用于获取物流装备的基本信息并构建物流装备的数字孪生模型;
还用于获取厂房内物流装备的实时参数,以构建数字孪生模型与物流装备的等价映射,完成厂房内物流装备的虚拟场景构建,实现物流装备的监测数据的可视化;
交互模块:基于AR构建模块获得的物流装备的虚拟场景,实现用户与物流装备的交互;
所述交互模块包括:
服务模块:用于实现权利要求1-4任一项所述的一种基于增强现实的物流装备无标记导航方法;
维修模块:用于存储并显示物流装备的故障信息;
专家模块:用于实现AR终端扫描到的物流装备与专家端的数字孪生模型之间的联动,以及用于AR终端与专家端的信息传输。
6.根据权利要求5所述的系统,其特征在于,所述服务模块还用于通过AR构建模块构建的数字孪生模型进行物流装备的信息识别与查询。
7.根据权利要求5所述的系统,其特征在于,
所述维修模块包括:
装备实时状态信息显示模块:用于显示各个物流装备的编号、名称、尺寸、安装日期、理论报废日期、当前作业情况,以及各个物流装备中各零件的名称、类别、数量、安装时间、下次维修时间、状态和零件的各项参数;
装备当前故障信息显示模块:用于显示物流装备的故障代码,以及对装备的故障现象进行描述;
装备历史故障信息查询模块:用于查询物流装备的历史故障信息,所述故障信息包括:故障部位、故障现象、故障原因、故障解决方法、故障发生时间、故障结束时间以及故障维修时长;
装备维护策略推荐模块:用于根据物流装备的不同故障部位以及原因,显示物流装备中各零件、操作工具及零件的拆装流程;
故障上传模块:用于将故障物流装备、故障类型、故障时间以及对应的故障维修方案信息上传至云端。
8.根据权利要求5所述的系统,其特征在于,
所述数字孪生模型包括:几何模型、物理模型、行为模型、规则模型以及数据模型;
所述几何模型用于描述装备的几何形状;
所述物理模型用于明确装备受力变化;
所述行为模型用于明确装备在运行过程中的运动状态;
所述规则模型用于明确装备的约束条件与范围;
所述数据模型包括装备的基本信息、历史数据和实时工作状态信息。
CN202210748253.1A 2022-06-29 2022-06-29 一种基于增强现实的物流装备导航方法以及交互维护系统 Pending CN115060271A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210748253.1A CN115060271A (zh) 2022-06-29 2022-06-29 一种基于增强现实的物流装备导航方法以及交互维护系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210748253.1A CN115060271A (zh) 2022-06-29 2022-06-29 一种基于增强现实的物流装备导航方法以及交互维护系统

Publications (1)

Publication Number Publication Date
CN115060271A true CN115060271A (zh) 2022-09-16

Family

ID=83204127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210748253.1A Pending CN115060271A (zh) 2022-06-29 2022-06-29 一种基于增强现实的物流装备导航方法以及交互维护系统

Country Status (1)

Country Link
CN (1) CN115060271A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115980062A (zh) * 2022-12-30 2023-04-18 南通诚友信息技术有限公司 基于5g的工业产线全过程视觉巡检方法
CN116843831A (zh) * 2023-06-20 2023-10-03 成都信息工程大学 一种农产品仓储保鲜库孪生数据管理方法及系统
CN117978950A (zh) * 2024-02-19 2024-05-03 国网湖北省电力有限公司信息通信公司 一种基于ar的实地视频会议方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115980062A (zh) * 2022-12-30 2023-04-18 南通诚友信息技术有限公司 基于5g的工业产线全过程视觉巡检方法
CN116843831A (zh) * 2023-06-20 2023-10-03 成都信息工程大学 一种农产品仓储保鲜库孪生数据管理方法及系统
CN116843831B (zh) * 2023-06-20 2024-03-15 成都信息工程大学 一种农产品仓储保鲜库孪生数据管理方法及系统
CN117978950A (zh) * 2024-02-19 2024-05-03 国网湖北省电力有限公司信息通信公司 一种基于ar的实地视频会议方法和装置

Similar Documents

Publication Publication Date Title
CN115060271A (zh) 一种基于增强现实的物流装备导航方法以及交互维护系统
Golparvar-Fard et al. Visualization of construction progress monitoring with 4D simulation model overlaid on time-lapsed photographs
US12066979B2 (en) Intelligent and automated review of industrial asset integrity data
CN101939765B (zh) 用于远程检查工业过程的由计算机实施的方法和系统
EP3635619A1 (en) System and method for construction 3d modeling and analysis
US10423669B2 (en) Manufacturing process visualization apparatus and method
CN113222184A (zh) 基于增强现实ar的设备巡检系统及方法
CN114237192B (zh) 一种基于物联网的数字化工厂智能控制方法及系统
CN112799369A (zh) 一种产品装配过程管控方法和装置
CN111104473A (zh) 可视化信息管理系统、方法及服务器
JP2006302192A (ja) 設計支援方法及びシステム
KR100976829B1 (ko) 선박의 설계 디자인 리뷰 방법 및 그 서비스 시스템
CN110705199B (zh) 一种基于可穿戴设备的智能电装系统及方法
CN118052522A (zh) 一种施工作业进度可视化管理方法及系统
CN114326517A (zh) 一种基于虚拟现实的远程管理方法和系统
CN112506155A (zh) 一种pc构件生产仿真及智能控制系统
CN112004063A (zh) 一种基于多相机联动的卸油油管连接正确性的监控方法
KR20230056006A (ko) 3차원 모델을 통한 인공지능 기반 안전진단 장치 및 그 방법
US20120019553A1 (en) Non-linear time scale optimization for mechanical-electrical machine behavior model visualization
CN115982824A (zh) 施工现场工人空间管理方法、装置、电子设备及存储介质
US20230221709A1 (en) System and method for manufacturing and maintenance
CN113836337A (zh) Bim的展示方法、装置、设备及存储介质
KR101958199B1 (ko) 중소형 플랜트의 유지보수 엔지니어링 역량 강화를 위한 모델기반의 형상관리시스템
US20240265647A1 (en) Content display device, content display program, content display method, and content display system
US20240126934A1 (en) Virtual performance compatibility checking and management for modular construction and related methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination