CN110750190B - 基于ar设备的人工智能物体注册识别后虚拟提示信息的叠加方法 - Google Patents

Abstract

本发明涉及一种基于AR设备的人工智能物体注册识别后虚拟提示信息的叠加方法，其技术要点是：基于AR设备自带的空间定位技术和校准控制器识别注册目标物体。实现虚拟信息的精准叠加，精度达到厘米级，方便工作人员进行精细化的维修检查操作，同时在不借助互联网的情况下，实现精准导航，在不借助传感设备的情况下，实现对危险区域的提示。

Description

基于AR设备的人工智能物体注册识别后虚拟提示信息的叠加 方法

技术领域

本发明涉及人工智能物体注册识别技术，特别是一种基于AR设备的人工智能物体注册识别后虚拟提示信息的叠加方法及应用。

背景技术

当前AR设备主要应用于医疗、工业维修等方面，其中经常会用到物体识别的技术，物体识别种类繁多，基本分为图像(2D)识别、三维物体(3D)识别等，但在识别物体成功后想要将虚拟提示信息准确叠加在目标物体上却是困难重重，主要原因在于：

在使用unity3D程序开发过程中，AR设备分为世界坐标和相对坐标，在打开AR设备后呈现在画面中的虚拟物体都是以世界坐标存在的，当识别注册物体成功后识别的物体和所要叠加的虚拟物体却是以相对坐标存在的，由于识别物体的随机性，相对坐标是实时改变的，以上情况导致了在识别注册物体成功后精准叠加虚拟信息的困难性。

目前的解决方法是：采用简单的手动调节。然后在现场测试，根据实际情况再进行修改，再进行调试如此不断重复，直至大概准确叠加在物体上位置。此方法调节效率低、费时且调节不准确，环境稍有变化，叠加的虚拟物体位置就跟着改变、还需接着再手动调节，接着再测试重复上述步骤，如此循环，给开发项目带来很大的成本和时间需求，同时也导致一些要求精度很高的维修工作无法很好的完成。如图2所示，飞机起落架检查中一项，在识别出轴孔后需标示出轴孔位置，且动画演示搭地线准确的插入轴孔内，如此则需要识别出轴孔后标示圈很准确的叠加在轴孔上，才可以直观的让维修人员准确进行操作。否则，检查和维护工作则不能顺利高效的进行。

发明内容

本发明的目的是为了提供一种基于AR设备的人工智能物体注册识别后虚拟提示信息的叠加方法，实现虚拟信息的精准叠加，精度达到厘米级，方便工作人员进行精细化的维修检查操作，同时在不借助互联网的情况下，实现精准导航，在不借助传感设备的情况下，实现对危险区域的提示。

本发明的技术方案是：

一种基于AR设备的人工智能物体注册识别后虚拟提示信息的叠加方法，其技术要点是：基于AR设备自带的空间定位技术和校准控制器识别注册目标物体，打开AR设备后，识别注册目标物体，识别注册成功后将提前制作的虚拟提示叠加信息赋值于校准控制器，当前校准控制器坐标记录当前虚拟提示叠加信息初始世界坐标，同时将其实时世界坐标赋值于校准控制器目标物体坐标，此刻当前校准控制器坐标与目标物体坐标相同，然后通过校准控制器预先设计的“上、下、前、后、左、右”按钮实时移动虚拟提示叠加信息，此刻目标物体坐标和坐标差是在不断实时变化的，将虚拟提示叠加信息准确移动到预设目标位置后，记录当前坐标差，回到开发程序内，将程序内的虚拟提示叠加信息坐标根据坐标差分别相加或者相减，即可将虚拟提示叠加信息准确的叠加在预设目标位置上；

所述当前校准控制器坐标为，需要叠加的虚拟提示信息的初始坐标，即当识别注册物体成功后弹出虚拟叠加提示信息的同时将其当前世界坐标赋值给校准控制器；

所述目标物体坐标为，将虚拟叠加提示信息绑定在校准控制器上且实时记录其世界坐标信息，此坐标信息是随着虚拟叠加提示信息的移动实时变化的；

所述坐标差为，目标物体坐标与当前校准控制器坐标之差。

本发明的有益效果是：

1、目前AR设备导航一般都基于gps或者北斗定位系统导航，且精度在3米左右，对于精细化的导航根本不能满足，如图3所示案例，且目前AR设备导航还需连接互联网，因此在无互联网环境下达到一定精度的导航依然困难重重，本发明利用零件相对空间位置不变的原理，通过校准控制器和AR设备自带的空间定位技术实现了既定场景在无互联网环境条件下的导航功能，实现了人工智能检测维修中不依赖互联网的精准导航。

2、本发明可以实现虚拟信息的精准叠加，精度能达到厘米级，方便维修检查人员进行精细化的维修检查操作。

3、目前针对危险区域报警提醒通常需安装传感器等感知设备才可实现，本发明借助AR设备可以在危险区域不放置任何传感器等感知设备的情况下，利用零件相对空间位置不变的原理，实现既定场景在无互联网环境条件下的危险区域报警提醒功能，节省成本，提高了工作效率。

4、本发明是基于AR人工智能实现的，不仅大大缩减了特殊岗位如飞机维修岗位培训人员的时间，上手操作快，还准确定位了故障点，方便了飞机维修人员及时准确的排故，更加的智能化与便利化。

附图说明

图1是本发明校准控制器的原理图；

图2是搭地线插入飞机起落架前轮轴孔前示意图（对应实施例1）；

图3是采用本发明方法将虚拟轴孔标示圈叠加在起落架前轮轴孔处的示意图；

图4是采用本发明方法利用导航箭头提示下一步工作位置（对应实施例2）；

图5是利用本发明方法提示飞机机尾处危险区域的示意图（对应实施例3）；

图6是本发明方法应用于飞机机尾处危险区域提示时校准控制器的工作原理示意图（对应实施例3）。

具体实施方式

该基于AR设备的人工智能物体注册识别后虚拟提示信息的叠加方法，基于AR设备自带的空间定位技术和校准控制器识别注册目标物体。

打开AR设备后，识别注册目标物体，识别注册成功后将提前制作的虚拟提示叠加信息赋值于校准控制器，当前校准控制器坐标记录当前虚拟提示叠加信息初始世界坐标，同时将其实时世界坐标赋值于校准控制器目标物体坐标，此刻当前校准控制器坐标与目标物体坐标相同，然后通过校准控制器预先设计的“上、下、前、后、左、右”按钮实时移动虚拟提示叠加信息，此刻目标物体坐标和坐标差是在不断实时变化的，将虚拟提示叠加信息准确移动到预设目标位置后，记录当前坐标差，回到开发程序内，将程序内的虚拟提示叠加信息坐标根据坐标差分别相加或者相减，即可将虚拟提示叠加信息准确的叠加在预设目标位置上；所述当前校准控制器坐标为，需要叠加的虚拟提示信息的初始坐标，即当识别注册物体成功后弹出虚拟叠加提示信息的同时将其当前世界坐标赋值给校准控制器；所述目标物体坐标为，将虚拟叠加提示信息绑定在校准控制器上且实时记录其世界坐标信息，此坐标信息是随着虚拟叠加提示信息的移动实时变化的；所述坐标差为，目标物体坐标与当前校准控制器坐标之差。参见图1。

实施例1，用于识别注册物体精准叠加。

参见图2、图3，虚拟标示圈标识轴孔案例：打开AR设备，识别轴孔，识别成功后弹出虚拟轴孔标示圈，当前校准控制器坐标记录当前虚拟轴孔标示圈世界坐标，同时将虚拟轴孔标示圈赋值于校准控制器，将其实时世界坐标赋值于校准控制器目标物体坐标；此刻当前校准控制器坐标与目标物体坐标应是一样的。通过校准控制器“上、下、前、后、左、右”按钮实时移动虚拟轴孔标示圈，此刻目标物体坐标和坐标差是在不断实时变化的，将其准确移动到轴孔正上方后停止移动， 记录当前坐标差，回到unity3D开发程序内，将程序内的虚拟轴孔标示圈坐标根据校准控制器坐标差分别相加或者相减，即可将虚拟轴孔标示圈准确的叠加在轴孔上。

具体在识别注册轴孔过程中表现为：识别注册轴孔成功后弹出虚拟轴孔标示圈，同时虚拟轴孔标示圈准确的叠加在了轴孔上，如图3所示。

实施例2，用于识别注册物体精准导航。

虚拟标示圈标识轴孔完成后下一步工作精准导航案例：原理同实施例1，虚拟标示圈标识轴孔完成后，将程序中已创建好的导航指示箭头也赋值给校准控制器，识别注册轴孔成功后，同理移动导航指示箭头让其精准指向下一步工作的位置即可，如图4所示。具体在案例中表现为：识别轴孔成功后弹出虚拟标示圈，维修人员按照三维动画演示准确将搭地线插入轴孔后，旁边提示“是否完成轴孔工作”单击“是”后，以上轴孔维护虚拟内容消失，弹出导航指示箭头，指向下一步要工作的位置并有文字提示，如此即可达到精准导航要求。

实施例3，用于识别注册物体精准定位危险区域报警

飞机发动机危险区域报警案例：如图5所示，打开AR设备，识别整机，识别成功后将提前制作的扇形危险区域模型赋值于校准控制器，原理同上，将其精准移至飞机发动机尾部，与飞机尾部完全重合，之后获取虚拟扇形的世界坐标假设a，AR设备第一视角的实时移动坐标假设b，通过在程序内计算其坐标差c=(a-b)，当c<0或c=0时表示进入了危险区域，此刻可以以文字、图片、视频、声音等形式报警，如图5、图6所示。

Claims (1)

1.一种基于AR设备的人工智能物体注册识别后虚拟提示信息的叠加方法，其特征在于：基于AR设备自带的空间定位技术和校准控制器识别注册目标物体，打开AR设备后，识别注册目标物体，识别注册成功后将提前制作的虚拟提示叠加信息赋值于校准控制器，当前校准控制器坐标记录当前虚拟提示叠加信息初始世界坐标，同时将其实时世界坐标赋值于校准控制器目标物体坐标，此刻当前校准控制器坐标与目标物体坐标相同，然后通过校准控制器预先设计的“ 上、下、前、后、左、右”按钮实时移动虚拟提示叠加信息，此刻目标物体坐标和坐标差是在不断实时变化的，将虚拟提示叠加信息准确移动到预设目标位置后，记录当前坐标差，回到开发程序内，将程序内的虚拟提示叠加信息坐标根据坐标差分别相加或者相减，即可将虚拟提示叠加信息准确的叠加在预设目标位置上；所述当前校准控制器坐标为，需要叠加的虚拟提示信息的初始坐标，即当识别注册物体成功后弹出虚拟叠加提示信息的同时将其当前世界坐标赋值给校准控制器；所述目标物体坐标为，将虚拟叠加提示信息绑定在校准控制器上且实时记录其世界坐标信息，此坐标信息是随着虚拟叠加提示信息的移动实时变化的；所述坐标差为，目标物体坐标与当前校准控制器坐标之差；

用于虚拟标示圈标识轴孔：打开AR设备，识别轴孔，识别成功后弹出虚拟轴孔标示圈，当前校准控制器坐标记录当前虚拟轴孔标示圈世界坐标，同时将虚拟轴孔标示圈赋值于校准控制器，将其实时世界坐标赋值于校准控制器目标物体坐标；此刻当前校准控制器坐标与目标物体坐标应是一样的，通过校准控制器“上、下、前、后、左、右”按钮实时移动虚拟轴孔标示圈，此刻目标物体坐标和坐标差是在不断实时变化的，将其准确移动到轴孔正上方后停止移动， 记录当前坐标差，回到unity3D开发程序内，将程序内的虚拟轴孔标示圈坐标根据校准控制器坐标差分别相加或者相减，即可将虚拟轴孔标示圈准确的叠加在轴孔上；

用于虚拟标示圈标识轴孔完成后下一步工作精准导航：虚拟标示圈标识轴孔完成后，将程序中已创建好的导航指示箭头也赋值给校准控制器，识别注册轴孔成功后，同理移动导航指示箭头让其精准指向下一步工作的位置即可，具体表现为，识别轴孔成功后弹出虚拟标示圈，维修人员按照三维动画演示准确将搭地线插入轴孔后，旁边提示“ 是否完成轴孔工作”，单击“ 是”后，以上轴孔维护虚拟内容消失，弹出导航指示箭头，指向下一步要工作的位置并有文字提示，如此即可达到精准导航要求；

用于识别飞机发动机危险区域报警：打开AR设备，识别整机，识别成功后将提前制作的扇形危险区域模型赋值于校准控制器，原理同上，将其精准移至飞机发动机尾部，与飞机尾部完全重合，之后获取虚拟扇形的世界坐标假设a，AR设备第一视角的实时移动坐标假设b，通过在程序内计算其坐标差c=(a-b)，当c<0或c=0时表示进入了危险区域，此刻可以以文字、图片、视频、声音形式报警。