CN114299260A - 一种基于ar眼镜的产品配件检测定位引导组装方法及系统 - Google Patents

Abstract

本申请公开了一种基于AR眼镜的产品配件检测定位引导组装方法及系统，包括以下步骤：获得安装基座的位置数据；获取安装基座的深度图像数据流和视频数据流；将深度图像数据流转换为点云数据；将视频数据流传输至台式机服务端；接收台式机服务端发送的与安装基座相匹配的配件的识别数据；将配件的识别数据与点云数据进行比对，并得到配件的三维坐标数据；识别配件上的二维码，并得到配件的序号；配件的模拟模型与安装基座的模拟模型之间建立模拟引导线。本申请实现了采用三维点云的目标识别，并结合二维码识别辅助，能够快速定位目标配件的三维空间位置，得到较为精确的三维坐标，将物件与物件之间能够进行虚拟模型引导，以便于快速安装。

Description

一种基于AR眼镜的产品配件检测定位引导组装方法及系统

技术领域

本申请涉及目标检测技术的领域，尤其是涉及一种基于AR眼镜的产品配件检测定位引导组装方法及系统。

背景技术

随着社会生活的发展，产品的复杂程度越来越高，在复杂产品的装配过程中，存在大量各类型号的配件，如何确保这些配件能够正确的被安装到合适的位置至关重要。然而配件的安装过程往往存在各种误差，安装的质量因人而异，这就给质量一致性保障带来了挑战。这些误差不仅有损产品性能、影响商业用途，而且严重的表观质量甚至会造成后期使用的安全隐患。

目前复杂产品配件安装检测技术主要依靠人工目测和手触判断的方法，工作量大，容易遗漏缺陷，造成很大安全隐患，需要多次检测，极不方便。

发明内容

本申请实施例通过提供一种基于AR眼镜的产品配件检测定位引导组装方法，解决了现有技术中依靠人工目测和手触判断配件安装位置，导致需要多次判断，容易遗漏缺陷的技术问题，实现了采用三维点云的目标识别，并结合二维码识别辅助，能够快速定位目标配件的三维空间位置，得到较为精确的三维坐标，将物件与物件之间能够进行虚拟模型引导，以便于快速安装。

本申请实施例提供了一种基于AR眼镜的产品配件检测定位引导组装方法，包括以下步骤：对安装基座上的二维码进行识别定位，得到所述安装基座的位置数据；获取所述安装基座的深度图像数据流和视频数据流；将所述深度图像数据流转换为点云数据；将所述视频数据流传输至台式机服务端；接收所述台式机服务端发送的与所述安装基座相匹配的配件的识别数据，所述配件的识别数据是由所述台式机服务端基于所述视频数据流对所述安装基座进行目标识别匹配得到的；将所述配件的识别数据与所述点云数据进行比对，并得到所述配件的三维坐标数据；识别所述配件上的二维码，并得到所述配件的序号；根据所述配件的三维坐标数据、所述配件的识别数据、所述配件的序号、所述配件安装基座的位置数据，将所述配件的模拟模型与所述安装基座的模拟模型之间建立模拟引导线。

进一步地，在对安装基座上的二维码进行识别定位后，放置所述配件安装基座的虚拟模型，并与所述配件安装基座重合。

进一步地，所述将所述配件的识别数据与所述点云数据进行比对，并得到所述配件的三维坐标数据，包括以下步骤：将所述配件的二维坐标数据进行坐标转换，得到配件转换数据；将所述配件转换数据与所述点云数据进行比对；若所述配件转换数据在相应的点云区域内有数据，则认定为所述配件三维坐标数据。

进一步地，所述将所述配件的识别数据与所述点云数据进行比对，并得到所述配件的三维坐标数据，还包括以下步骤：对所述配件转换数据相应的点云区域内的点云数据进行预处理；所述预处理包括以下步骤：对所述配件转换数据相应的点云区域内的点云数据取均值；将所述配件边缘的交界点深度值过大的异常点过滤掉。

进一步地，所述预处理之后还包括：将所述预处理后的点云数据的矢量坐标值作为一组数组，取的所述数组的平均值点作为显示配件虚拟模型的空间锚点。

本申请还提供了一种基于AR眼镜的产品配件检测定位引导组装系统，所述系统包括：识别定位单元，被配置为对安装基座上的二维码进行识别定位，得到所述安装基座的位置数据；获取单元，被配置为获取所述安装基座的深度图像数据流和视频数据流；虚拟模型匹配单元，被配置为放置所述配件安装基座的虚拟模型，并与所述配件安装基座重合；转换单元，被配置为将所述深度图像数据流转换为点云数据；传输单元，被配置为将所述视频数据流传输至台式机服务端；接收单元，被配置为接收所述台式机服务端发送的与所述安装基座相匹配的配件的识别数据；比对单元，被配置为将所述配件的识别数据与所述点云数据进行比对，并得到所述配件的三维坐标数据；配件识别单元，被配置为识别所述配件上的二维码，并得到所述配件的序号；模拟引导单元，被配置为根据所述配件的三维坐标数据、所述配件的识别数据、所述配件的序号、所述配件安装基座的位置数据，将所述配件的模拟模型与所述安装基座的模拟模型之间建立模拟引导线。

进一步地，所述比对单元包括：转换子单元，被配置为将所述配件的二维坐标数据进行坐标转换，得到配件转换数据；比对子单元，被配置为将所述配件转换数据与所述点云数据进行比对；认定子单元，被配置为若所述配件转换数据在相应的点云区域内有数据，则认定为所述配件三维坐标数据。

进一步地，所述比对单元还包括预处理子单元，所述预处理子单元被配置为对所述配件转换数据相应的点云区域内的点云数据进行预处理，所述预处理子单元包括：取均值极单元，被配置为对所述配件转换数据相应的点云区域内的点云数据取均值；过滤极单元，被配置为将所述配件边缘的交界点深度值过大的异常点过滤掉。

本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

1、采用三维点云的目标识别，并结合二维码识别辅助，能够快速定位目标配件的三维空间位置，得到较为精确的三维坐标，将物件与物件之间能够进行虚拟模型引导，以便于快速安装。

附图说明

图1为本申请实施例中一种基于AR眼镜的产品配件检测定位引导组装方法的流程图；

图2为本申请实施例中配件的识别数据与点云数据的比对步骤的流程图；

图3为本申请实施例中预处理的步骤的流程图；

图4为本申请实施例中一种基于AR眼镜的产品配件检测定位引导组装系统的结构示意图；

图5为本申请实施例中比对单元的结构示意图；

图6为本申请实施例中预处理子单元的结构示意图。

具体实施方式

本申请实施例公开了一种基于AR眼镜的产品配件检测定位引导组装方法及系统，解决了现有技术中依靠人工目测和手触判断配件安装位置，导致需要多次判断，容易遗漏缺陷的技术问题。

针对上述技术问题，本申请提供的技术方案总体思路如下：

本申请实施例提供了一种基于AR眼镜的产品配件检测定位引导组装方法，所示方法包括：对安装基座进行识别定位；获取深度图像数据流和视频数据流；将深度图像数据流转换为点云数据；将视频数据流传输至台式机服务端；接收安装基座相匹配的配件的识别数据；将配件的识别数据与点云数据进行比对；识别配件的上的二维码；根据配件的三维坐标数据、配件的识别数据、配件的序号、配件安装基座的位置数据，将配件的模拟模型与安装基座的模拟模型之间建立模拟引导线。

为使本申请实施例的上述基本方法能够更为明显易懂，下面结合附图对本申请的具体实施例做详细的说明。

实施例一

图1是本申请实施例中一种基于AR眼镜的产品配件检测定位引导组装方法，以下通过具体步骤进行详细说明。

S11，对安装基座上的二维码进行识别定位，得到所述安装基座的位置数据。

在具体实施中，安装基座可以是插座、器件底座等，每个安装基座都有与其相匹配的配件，且可以在安装基座上贴上二维码，二维码上可以包含安装基座的型号类别等基本信息。

在具体实施中，可以利用HoloLens眼睛端上的灰度摄像头来识别安装基座上的二维码，对安装基座进行识别定位，并获取得到安装基座的位置数据；

在具体实施中，在对安装基座进行识别定位后，可以调取眼睛端中存储的安装基座的虚拟模型，并使得安装基座的虚拟模型与安装基座进行重合。

S12，获取所述安装基座的深度图像数据流和视频数据流。

在具体实施中，可以通过眼睛端获取安装基座的深度图像数据流和视频数据流。其中，深度图像数据流由深度传感器获得，其数据主要包括帧时间戳、帧分辨率、曝光、增益等，深度传感器使用模式为AHAT模式，通过处理传感器帧可以得到对应的深度图像。视频数据流由图片视频传感器获得，同样包括帧时间戳、帧分辨率、曝光、增益等，主要提供视频流数据。

S13，将所述深度图像数据流转换为点云数据；

在具体实施中，深度图像数据流可以在眼睛端通过坐标转换原理转换为点云数据。

在具体实施中，深度图像数据转换为点云数据的计算过程主要是多视图几何的知识，其原理是根据内外参矩阵变换公式得到：

其中对外参矩阵的设置：由于世界坐标原点和相机原点是重合的，即没有旋转和平移，所以

因为相机坐标系和世界坐标系的坐标原点重合，因此相机坐标和世界坐标下的同一个物体具有相同的深度，即

从以上的变换矩阵公式，可以计算得到图像点

因此通过连续的深度图像可得到实时的点云信息。

S14，将所述视频数据流传输至台式机服务端。

在具体实施中，可以通过socket模块将视频数据流传输至台式机服务端。

S15，接收所述台式机服务端发送的与所述安装基座相匹配的配件的识别数据。

在具体实施中，配件的识别数据是由台式机服务端基于视频数据流对安装基座进行目标识别匹配得到的，其中，识别数据可以包括配件的二维坐标位置、种类、置信度等数据。

S16，将所述配件的识别数据与所述点云数据进行比对，并得到所述配件的三维坐标数据。

在具体实施中，如图2所示，配件的识别数据与点云数据的比对步骤可以如下所示：

S161，将所述配件的二维坐标数据进行坐标转换，得到配件转换数据。

S162，将所述配件转换数据与所述点云数据进行比对；

S163，若所述配件转换数据在相应的点云区域内有数据，则认定为所述配件三维坐标数据。

S164，对所述配件转换数据相应的点云区域内的点云数据进行预处理。

在具体实施中，如图3所示，预处理的步骤可以如下所示：

S1641，对所述配件转换数据相应的点云区域内的点云数据取均值；

S1642，将所述配件边缘的交界点深度值过大的异常点过滤掉。

对配件转换数据相应的点云区域内的点云数据进行预处理可以减少误差，并过滤掉异常点，此外，在预处理之后，可以将所述预处理后的点云数据的矢量坐标值作为一组数组，取的所述数组的平均值点作为显示配件虚拟模型的空间锚点。

S17，识别所述配件上的二维码，并得到所述配件的序号。

在具体实施中，当获取配件的三维坐标数据后，可以再通过眼睛端的灰度摄像头获取配件上的二维码，并可以得到配件的序号，以分辨同种配件的不同个体满足多个同类配件的安装需要。

S18，将所述配件的模拟模型与所述安装基座的模拟模型之间建立模拟引导线。

在具体实施中，根据所述配件的三维坐标数据、所述配件的识别数据、所述配件的序号、所述配件安装基座的位置数据，将所述配件的模拟模型与所述安装基座的模拟模型之间建立模拟引导线，利用建立的模拟引导线，可以便于操作人员对配件和安装基座之间进行引导连接，且当配件与安装基座足够近时，关闭引导连线，并等待下次识别。

综上所述，实现了在混合虚拟现实中实现对配件种类以及配件位置信息的读取，首先识别安装基座的位置，接着通过在HoloLens眼镜端得到的图片信息，将图片传入台式机端利用预先训练好的模型，进行产品配件的识别与定位，完成配件的安装引导。利用混合虚拟现实结合深度学习目标检测与二维码识别，能够比较好地帮助人工进行产品配件位置与种类分辨，并辅助安装，进而能够实现再实际的工程应用中，达到高准确率、高稳定性的要求，满足实际工业生产需求。

为使本领域技术人员更好地理解和实现本申请实施例，以下参照图4对一种基于AR眼镜的产品配件检测定位引导组装系统进行相应介绍。

实施例二

参照图4所示，本申请实施例提供了一种基于AR眼镜的产品配件检测定位引导组装系统，所述系统包括：

识别定位单元，被配置为对安装基座上的二维码进行识别定位，得到所述安装基座的位置数据；

获取单元，被配置为获取所述安装基座的深度图像数据流和视频数据流；

虚拟模型匹配单元，被配置为放置所述配件安装基座的虚拟模型，并与所述配件安装基座重合；

转换单元，被配置为将所述深度图像数据流转换为点云数据；

传输单元，被配置为将所述视频数据流传输至台式机服务端；

接收单元，被配置为接收所述台式机服务端发送的与所述安装基座相匹配的配件的识别数据；

比对单元，被配置为将所述配件的识别数据与所述点云数据进行比对，并得到所述配件的三维坐标数据；

配件识别单元，被配置为识别所述配件上的二维码，并得到所述配件的序号；

模拟引导单元，被配置为根据所述配件的三维坐标数据、所述配件的识别数据、所述配件的序号、所述配件安装基座的位置数据，将所述配件的模拟模型与所述安装基座的模拟模型之间建立模拟引导线。

在具体实施中，如图5所示，所述比对单元包括：

转换子单元，被配置为将所述配件的二维坐标数据进行坐标转换，得到配件转换数据；

比对子单元，被配置为将所述配件转换数据与所述点云数据进行比对；

认定子单元，被配置为若所述配件转换数据在相应的点云区域内有数据，则认定为所述配件三维坐标数据；

预处理子单元，被配置为对所述配件转换数据相应的点云区域内的点云数据进行预处理。

在具体实施中，如图6所示，所述预处理子单元包括：

取均值极单元，被配置为对所述配件转换数据相应的点云区域内的点云数据取均值；

过滤极单元，被配置为将所述配件边缘的交界点深度值过大的异常点过滤掉。

前述实施例一中的一种基于AR眼镜的产品配件检测定位引导组装方法的各种变化方式和具体实施同样适用于本实施例的一种基于AR眼镜的产品配件检测定位引导组装系统，通过前述对一种基于AR眼镜的产品配件检测定位引导组装方法的详细描述，本领域技术人员可以清楚的知道本实施例中一种基于AR眼镜的产品配件检测定位引导组装系统，所以为了说明书的简洁，在此不在详述。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的系统。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令系统的制造品，该指令系统实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (8)

1.一种基于AR眼镜的产品配件检测定位引导组装方法，其特征在于，包括以下步骤：

对安装基座上的二维码进行识别定位，得到所述安装基座的位置数据；

获取所述安装基座的深度图像数据流和视频数据流；

将所述深度图像数据流转换为点云数据；

将所述视频数据流传输至台式机服务端；

接收所述台式机服务端发送的与所述安装基座相匹配的配件的识别数据，所述配件的识别数据是由所述台式机服务端基于所述视频数据流对所述安装基座进行目标识别匹配得到的；

将所述配件的识别数据与所述点云数据进行比对，并得到所述配件的三维坐标数据；

识别所述配件上的二维码，并得到所述配件的序号；

根据所述配件的三维坐标数据、所述配件的识别数据、所述配件的序号、所述配件安装基座的位置数据，将所述配件的模拟模型与所述安装基座的模拟模型之间建立模拟引导线。

2.如权利要求1所述的一种基于AR眼镜的产品配件检测定位引导组装方法，其特征在于，在对安装基座上的二维码进行识别定位后，放置所述配件安装基座的虚拟模型，并与所述配件安装基座重合。

3.如权利要求1所述的一种基于AR眼镜的产品配件检测定位与引导组装方法，其特征在于，所述将所述配件的识别数据与所述点云数据进行比对，并得到所述配件的三维坐标数据，包括以下步骤：

将所述配件的二维坐标数据进行坐标转换，得到配件转换数据；

将所述配件转换数据与所述点云数据进行比对；

若所述配件转换数据在相应的点云区域内有数据，则认定为所述配件三维坐标数据。

4.如权利要求3所述的一种基于AR眼镜的产品配件检测定位引导组装方法，其特征在于，所述将所述配件的识别数据与所述点云数据进行比对，并得到所述配件的三维坐标数据，还包括以下步骤：对所述配件转换数据相应的点云区域内的点云数据进行预处理；

所述预处理包括以下步骤：

对所述配件转换数据相应的点云区域内的点云数据取均值；

将所述配件边缘的交界点深度值过大的异常点过滤掉。

5.如权利要求4所述的一种基于AR眼镜的产品配件检测定位引导组装方法，其特征在于，所述预处理之后还包括：将所述预处理后的点云数据的矢量坐标值作为一组数组，取的所述数组的平均值点作为显示配件虚拟模型的空间锚点。

6.一种基于AR眼镜的产品配件检测定位引导组装系统，其特征在于，所述系统包括：

识别定位单元，被配置为对安装基座上的二维码进行识别定位，得到所述安装基座的位置数据；

获取单元，被配置为获取所述安装基座的深度图像数据流和视频数据流；

虚拟模型匹配单元，被配置为放置所述配件安装基座的虚拟模型，并与所述配件安装基座重合；

转换单元，被配置为将所述深度图像数据流转换为点云数据；

传输单元，被配置为将所述视频数据流传输至台式机服务端；

接收单元，被配置为接收所述台式机服务端发送的与所述安装基座相匹配的配件的识别数据；

比对单元，被配置为将所述配件的识别数据与所述点云数据进行比对，并得到所述配件的三维坐标数据；

配件识别单元，被配置为识别所述配件上的二维码，并得到所述配件的序号；

模拟引导单元，被配置为根据所述配件的三维坐标数据、所述配件的识别数据、所述配件的序号、所述配件安装基座的位置数据，将所述配件的模拟模型与所述安装基座的模拟模型之间建立模拟引导线。

7.如权利要求6所述的一种基于AR眼镜的产品配件检测定位引导组装系统，其特征在于，所述比对单元包括：

转换子单元，被配置为将所述配件的二维坐标数据进行坐标转换，得到配件转换数据；

比对子单元，被配置为将所述配件转换数据与所述点云数据进行比对；

认定子单元，被配置为若所述配件转换数据在相应的点云区域内有数据，则认定为所述配件三维坐标数据。

8.如权利要求7所述的一种基于AR眼镜的产品配件检测定位引导组装系统，其特征在于，所述比对单元还包括预处理子单元，所述预处理子单元被配置为对所述配件转换数据相应的点云区域内的点云数据进行预处理，所述预处理子单元包括：

取均值极单元，被配置为对所述配件转换数据相应的点云区域内的点云数据取均值；

过滤极单元，被配置为将所述配件边缘的交界点深度值过大的异常点过滤掉。

Images