CN110705199B - 一种基于可穿戴设备的智能电装系统及方法 - Google Patents

Abstract

本发明公开了一种基于可穿戴设备的智能电装系统及方法，属于电子装备智能制造技术领域，包括三维电装结构设计模块、三维电装工艺设计与发布模块与电装操作智能引导与预警模块。本发明将增强现可穿戴头盔和基于模型的三维电装工艺技术引入到电装生产过程中，通过基于模型、所见所得、人机混合的增强可视化作业方式，实现对装配工人操作过程的有效指导，解决了传统电装生产过程中存在的装配工艺指导性差、装配效率低、差错率高、产品质量检测费时费力等问题，显著提高了军工电子产品的装配效率和准确性，缩短了研制周期，提高了产品质量。

Description

一种基于可穿戴设备的智能电装系统及方法

技术领域

本发明涉及电子装备智能制造技术领域，具体涉及一种基于可穿戴设备的智能电装系统及方法。

背景技术

电装是指将电子元器件/芯片/PCB板/散热器/导线/连接器等各类零部件组装成电路板(板级装配)、再将电路板组装成模块(模块装配)、模块组装成整机(机箱装配)的设计、装配和检验工作。电装是各类军工电子产品的主要制造手段。电装过程中，把成百上千的元器件、PCB、模块、机箱按照严格的要求装配在一起，装配质量直接决定了军工电子产品的质量和可靠性。很多情况下，错装、漏装、漏焊、虚焊等装配缺陷会导致各类质量事故。

电装的工作流程与普通制造装配有很大不同，主要体现在以下几个方面：首先，电子装配的数据源头来自于电子设计，结构设计、工艺设计、电装作业指导、安装质量检查等所有的后续环节都需要以电子设计输出的PCB排版图作为依据；其次，电装作业执行时，需要将成百上千元器件准确无误、高效率地安装到PCB板上，工艺设计对现场安装的指导变的非常重要；最后，电装完成后安装质量的检测方式与机械产品装配有很大不同。

针对以上的电装生产特点，传统电装作业模式中，装配工人主要进行的工作有：安装工人进行元器件、结构件的装配时，需要同时参考几份设计文件，一是结构设计人员的机箱、模块、接插件的设计图纸；二是电路设计人员提供的PCB排版图；三是工艺设计人员提供的安装作业要求；生产过程中，需要在纸质的表格中记录各种作业数据，例如：温度、湿度、检测数据等，还需要手工拍照留存各个工序的安装照片；电装作业完成后，需要人工检测错装、漏装、安装参数不符合设计要求等情况。

在上述工作中，主要存在的问题有：制作的电装作业指导书基于文字加图片的方式，不直观，检索元器件安装位置和要求非常麻烦，指导性差，差错率高；手工记录电装作业生产数据效率低，容易丢失，无法进行电子化的快速分析和追溯；人工检验电装质量，容易出现错检、漏检的情况。

显然，传统电装作业模式严重影响了军工电子产品的装配质量、效率和可靠性，因此，提出一种基于可穿戴设备的智能电装系统及方法。

发明内容

本发明所要解决的技术问题在于：如何有效地解决传统电装生产过程中存在的装配工艺指导性差与装配效率低的问题，提供了一种基于可穿戴设备的智能电装系统，该系统将增强现实(AR)可穿戴头盔和基于模型的三维电装工艺技术引入到电装生产过程中，通过基于模型、所见所得、人机混合的增强可视化作业方式，实现对装配工人操作过程的有效指导，解决了传统电装生产过程中存在的装配工艺指导性差、装配效率低、差错率高、产品质量检测费时费力等问题，显著提高了军工电子产品的装配效率和准确性，缩短了研制周期，提高了产品质量。

本发明是通过以下技术方案解决上述技术问题的，本发明包括三维电装结构设计模块、三维电装工艺设计与发布模块与电装操作智能引导与预警模块；

所述三维电装结构设计模块包括PCB板三维建模模块、元器件三维建模模块、结构件三维建模模块与模型自动装配模块；

所述PCB板三维建模模块，用于通过接口工具识别和提取PCB排版原理图，自动获取其中的PCB板轮廓信息以及元器件型号、安装位置等信息；

所述元器件三维建模模块，用于构建各元器件的基础三维模板模型，然后通过参数化快速重构出系列化的三维模型，各元器件分别为电阻器、电位器、电容器、二极管、芯片、晶体管等；

所述结构件三维建模模块，用于构建各结构件的基础三维模板模型，然后通过参数化快速重构出系列化的三维模型，各结构件分别为连接器、散热器、导线、盒体、机箱等；

所述模型自动装配模块，用于基于识别的元器件安装位置以及元器件、结构件三维模型，利用空间装配语义关系，自动实现PCB板/模块/机箱的装配工作；

所述三维电装工艺设计与发布模块包括三维电装工艺设计模块与三维电装工艺发布模块；

所述三维电装工艺设计模块，用于基于三维模型，并利用模型定义技术，直观交互式完成工艺设计；

所述三维电装工艺发布模块，用于通过三维化和网络化等手段，将结构化工艺信息进行可视化关联发布；

所述电装操作智能引导与预警模块用于将电装工艺信息可视化、将虚实模型高精度匹配定位、在电装过程中在线智能引导与操作预警。

基于AR头盔的装配模式可以以所见即所得的方式引导工人操作，出错的概率大大降低，同时在出错时，系统还会进行智能识别和提示，因此产品装配的质量和可靠性得到显著提升，基于AR头盔的装配模式下，该智能电装系统会自动记录元器件、PCB板、模块、机箱、机柜之间的装配对应关系，有利于构建军工电子产品面向全生命周期的数据库。

更进一步的，所述装配空间语义关系为各个元器件及结构件上的安装标识信息及之间的关系，包括相对坐标、旋转角度、安装面等等，其原理如下：

PCB电路板绘图软件都可以导出.emn和.emp文件，其中emn文件中记录了PCB主板的轮廓信息以及其元器件在PCB板上的放置位置信息(相对坐标、旋转角度、放在哪一面)，emp文件中记录了每一个型号的元器件的包围盒轮廓信息。在生成电路板时，先根据emn文件中记录的主板信息(元器件轮廓及板子厚度)生成电路板，然后遍历emn文件中的每一个元器件放置信息，先根据元器件型号从元器件库中查找，如果能找到则将元器件模型从库中拷贝出来并根据位置信息装配到主板上，否则根据emp中对应元器件包围盒的信息生成一个用于占位的长方体模型用于占位，然后装配到主板上，以便之后建立缺失的元器件模型来进行填补。这样，实现了自动装配，PCB板便生成完毕。

更进一步地，所述元器件与所述结构件上均设置有条码，条码用于扫描识别所述元器件。基于AR头盔的装配模式可以有效解决装配工人需要手工查找PCB图、结构图和装配作业指导书的问题，通过扫码方式快速确定待装元器件并在实物上显示其装配位置、装配路径、安装要求等信息，装配效率大幅提升。

更进一步的，工艺设计包括可视化工艺规程树的构建、各工序/工步装配动画的定义、各工序/工步装配注意事项等的标识与标注以及各工序/工步节点与相关结构化工艺信息的挂接关联。

更进一步的，结构化工艺信息为设计好的元器件位置、型号、工艺步骤、装配过程、器件明细表等信息。

更进一步的，结构化工艺信息是以中性文档格式进行可视化关联发布。

更进一步的，所述电装操作智能引导与预警模块包括工艺信息可视化模块、虚实模型匹配定位模块、引导与预警模块；

所述工艺信息可视化模块，用于在可穿戴增强现实环境下，识别与增强显示轻量化工序/工步模型、动画以及可视化全三维工艺规程卡与结构化工艺规程信息；

所述虚实模型匹配定位模块，用于实现轻量化电装工艺模型与即时扫描的装配场景进行虚实融合注册，达到宏观层面的虚实叠加，从而实现虚拟装配工艺模型与真实装配场景边界信息的高精度匹配定位；

所述引导与预警模块，在装配前，用于在将待装配元器件虚拟模型投射到实际待安装位置，并显示相关的安装路径、要求、注意事项和装配工具；在装配中，用于在实际安装位置附近显示装配路径，从而智能引导装配者进行元器件装配；在装配完成后，用于读取待装配元器件位置、姿态和安装路线信息，检测装配完成的元器件类型和位置与设计模型是否存在偏差超过设计要求，是则自动向装配者发出预警，否则不做预警提示。

更进一步的，轻量化电装工艺模型与即时扫描的装配场景进行虚实融合注册是基于即时定位与地图构建算法实现的。

更进一步的，所述即时定位与地图构建(SLAM)算法包括以下步骤：

S101：首先提取当前图像中的特征；

S102：然后根据相邻帧图像的特征去匹配，识别出场景中特征点的位置；

S103：最后通过特征点的变化反向计算出相机的运动。

本发明还提供了一种基于可穿戴设备的智能电装方法，包括以下步骤：

S1：根据PCB原理图读取信息

基于电路设计人员设计的PCB排版原理图，通过接口工具识别和提取，获取其中的PCB板轮廓信息以及元器件的型号参数、安装位置等信息；

S2：构建元器件、结构件模型

构建各元器件的基础三维模板模型，并通过参数化快速重构出系列化的三维模型，同时构建各结构件的基础三维模板模型，并通过参数化快速重构出系列化的三维模型；

S3：定义工艺信息

三维模型构建完毕后，在三维模型上定义电装的工艺路线，输入每个工序/工步的结构化工艺信息，并基标注安装位置、注意事项等内容，再将三维模型输出为交互式电装工艺模型，将结构化工艺信息以中性文档格式存储起来并进行可视化关联发布；

S4：识别待装配件

扫描待装配件上的条码，智能电装系统显示该待装配件的三维安装动画，并显示其结构化工艺信息；

S5：在线指导与操作预警

在焊装待装配件时，利用增强现实设备，识别待装配件实时扫描装配环境/对象，进行虚实模型注册融合，在线高亮提示引导工人进行装配操作，然后根据增强可视化的结构化工艺信息完成电装操作，最后智能电装系统进行确认并实时对错误操作做出预警提示。

本发明相比现有技术具有以下优点：该基于可穿戴设备的智能电装系统，首先，可以大幅提升军工电子产品的装配效率，缩短装配周期，基于AR头盔的装配模式可以有效解决装配工人需要手工查找PCB图、结构图和装配作业指导书的问题，通过扫码方式快速确定待装元器件并在实物上显示其装配位置、装配路径、安装要求等信息，装配效率大幅提升；其次，可以显著提高军工电子产品的质量和可靠性，传统工作模式下，因为反复的查找和对照，很容易造成元器件错装和漏装的发生，而基于AR头盔的装配模式可以以所见即所得的方式引导工人操作，出错的概率大大降低，同时在出错时，系统还会进行智能识别和提示，因此产品装配的质量和可靠性得到显著提升；最后，有利于实现军工电子产品全生命周期的数据管理，基于AR头盔的装配模式下，系统会自动记录元器件、PCB板、模块、机箱、机柜之间的装配对应关系，有利于构建军工电子产品面向全生命周期的数据库，值得被推广使用。

附图说明

图1是本发明实施例一中智能电装系统的实施流程框图；

图2是本发明实施例二中智能电装系统的工作流程示意图；

图3是本发明实施例二中光学透射式AR显示原理图；

图4是本发明实施例二中基于SLAM算法的视觉里程计原理图；

图5是本发明实施例二中智能电装实施流程示意图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例一

如图1所示，本实施例提供一种技术方案：一种基于可穿戴设备的智能电装系统，包括三维电装结构设计模块、三维电装工艺设计与发布模块与电装操作智能引导与预警模块；

所述三维电装结构设计模块包括PCB板三维建模模块、元器件三维建模模块、结构件三维建模模块与模型自动装配模块；

所述PCB板三维建模模块，用于通过接口工具识别和提取PCB排版原理图，自动获取其中的PCB板轮廓信息以及元器件型号、安装位置等信息；

所述元器件三维建模模块，用于构建各元器件的基础三维模板模型，然后通过参数化快速重构出系列化的三维模型，各元器件分别为电阻器、电位器、电容器、二极管、芯片、晶体管等；

所述结构件三维建模模块，用于构建各结构件的基础三维模板模型，然后通过参数化快速重构出系列化的三维模型，各结构件分别为连接器、散热器、导线、盒体、机箱等；

所述模型自动装配模块，用于基于识别的元器件安装位置以及元器件、结构件三维模型，利用空间装配语义关系，自动实现PCB板/模块/机箱的装配工作；

所述三维电装工艺设计与发布模块包括三维电装工艺设计模块与三维电装工艺发布模块；

所述三维电装工艺设计模块，用于基于三维模型，并利用模型定义技术，直观交互式完成工艺设计；

所述三维电装工艺发布模块，用于通过三维化和网络化等手段，将结构化工艺信息进行可视化关联发布；

所述电装操作智能引导与预警模块用于将电装工艺信息可视化、将虚实模型高精度匹配定位、在电装过程中在线智能引导与操作预警。

基于AR头盔的装配模式可以以所见即所得的方式引导工人操作，出错的概率大大降低，同时在出错时，系统还会进行智能识别和提示，因此产品装配的质量和可靠性得到显著提升，基于AR头盔的装配模式下，该智能电装系统会自动记录元器件、PCB板、模块、机箱、机柜之间的装配对应关系，有利于构建军工电子产品面向全生命周期的数据库。

需要说明的是，上述装配空间语义关系为各个元器件及结构件上的安装标识信息及之间的关系，包括相对坐标、旋转角度、安装面等等，其原理如下：

PCB电路板绘图软件都可以导出.emn和.emp文件，其中emn文件中记录了PCB主板的轮廓信息以及其元器件在PCB板上的放置位置信息(相对坐标、旋转角度、放在哪一面)，emp文件中记录了每一个型号的元器件的包围盒轮廓信息。在生成电路板时，先根据emn文件中记录的主板信息(元器件轮廓及板子厚度)生成电路板，然后遍历emn文件中的每一个元器件放置信息，先根据元器件型号从元器件库中查找，如果能找到则将元器件模型从库中拷贝出来并根据位置信息装配到主板上，否则根据emp中对应元器件包围盒的信息生成一个用于占位的长方体模型用于占位，然后装配到主板上，以便之后建立缺失的元器件模型来进行填补。这样，实现了自动装配，PCB板便生成完毕。

所述元器件与所述结构件上均设置有条码，条码用于扫描识别所述元器件。基于AR头盔的装配模式可以有效解决装配工人需要手工查找PCB图、结构图和装配作业指导书的问题，通过扫码方式快速确定待装元器件并在实物上显示其装配位置、装配路径、安装要求等信息，装配效率大幅提升。

工艺设计包括可视化工艺规程树的构建、各工序/工步装配动画的定义、各工序/工步装配注意事项等的标识与标注以及各工序/工步节点与相关结构化工艺信息的挂接关联。

结构化工艺信息为设计好的元器件位置、型号、工艺步骤、装配过程、器件明细表等信息。

结构化工艺信息是以中性文档格式进行可视化关联发布。

所述电装操作智能引导与预警模块包括工艺信息可视化模块、虚实模型匹配定位模块、引导与预警模块；

所述工艺信息可视化模块，用于在可穿戴增强现实环境下，识别与增强显示轻量化工序/工步模型、动画以及可视化全三维工艺规程卡与结构化工艺规程信息；

所述虚实模型匹配定位模块，用于实现轻量化电装工艺模型与即时扫描的装配场景进行虚实融合注册，达到宏观层面的虚实叠加，从而实现虚拟装配工艺模型与真实装配场景边界信息的高精度匹配定位；

所述引导与预警模块，在装配前，用于在将待装配元器件虚拟模型投射到实际待安装位置，并显示相关的安装路径、要求、注意事项和装配工具；在装配中，用于在实际安装位置附近显示装配路径，从而智能引导装配者进行元器件装配；在装配完成后，用于读取待装配元器件位置、姿态和安装路线信息，检测装配完成的元器件类型和位置与设计模型是否存在偏差超过设计要求，是则自动向装配者发出预警，否则不做预警提示。

轻量化电装工艺模型与即时扫描的装配场景进行虚实融合注册是基于即时定位与地图构建算法实现的。

所述SLAM算法包括以下步骤：

S101：首先提取当前图像中的特征；

S102：然后根据相邻帧图像的特征去匹配，识别出场景中特征点的位置；

S103：最后通过特征点的变化反向计算出相机的运动。

本实施例还提供了一种基于可穿戴设备的智能电装方法，包括以下步骤：

S1：根据PCB原理图读取信息

基于电路设计人员设计的PCB排版原理图，通过接口工具识别和提取，获取其中的PCB板轮廓信息以及元器件的型号参数、安装位置等信息；

S2：构建元器件、结构件模型

构建各元器件的基础三维模板模型，并通过参数化快速重构出系列化的三维模型，同时构建各结构件的基础三维模板模型，并通过参数化快速重构出系列化的三维模型；

S3：定义工艺信息

三维模型构建完毕后，在三维模型上定义电装的工艺路线，输入每个工序/工步的结构化工艺信息，并基标注安装位置、注意事项等内容，再将三维模型输出为交互式电装工艺模型，将结构化工艺信息以中性文档格式存储起来并进行可视化关联发布；

需要说明的是，交互式电装工艺模型就是把模型及其触发动作、状态变化整合到一块，随着使用者的操作，工艺路线在三维数字空间展现出来；其输出过程为：在三维软件中打开PCB模型，然后打开工艺软件，工艺制作工具首先加载模型信息，将每一个元器件的信息加载进来并形成模型树，然后用户点击每一个模型结点，指定模型动画的结束位置(根据初始位置和指定位置生成模型动画信息)，并输入其他工艺信息；当所有模型的工艺信息输入完成后，把工艺信息用XML文件输出，然后发布软件用模型和XML信息发布，最终可以在网页查看。这些文件即为其交互式工艺模型；XML是一种标识性强、可读性高的标记语言，通过它可以记录PCB板的整个工艺路线，可以实现工艺回放，工艺调取等功能，非常适合用于交互式电装工艺模型的制作；

S4：识别待装配件

扫描待装配件上的条码，智能电装系统显示该待装配件的三维安装动画，并显示其结构化工艺信息；

S5：在线指导与操作预警

在焊装待装配件时，利用HoloLens(AR头盔)等可穿戴设备识别待装配件实时扫描装配环境/对象，进行虚实模型注册融合，在线高亮提示引导工人进行装配操作，然后根据增强可视化的结构化工艺信息完成电装操作，最后智能电装系统进行确认并实时对错误操作做出预警提示。

实施例二

本实施例提供一种技术方案：一种基于可穿戴设备的智能电装系统，包括三维电装快速结构设计、三维电装工艺设计与发布以及电装操作智能引导与预警三个功能模块，三个功能模块相互协同迭代工作。

如图2所示，具体实施工作流程为：

第一步：首先，将电路人员设计的PCB原理图，通过接口软件，自动导入到三维设计软件中；

第二步：结构设计人员通过自动建模与装配软件，构建机箱、模块、PCB的三维模型；

第三步：工艺设计人员在三维模型上定义电装的工艺路线，输入每个工序/工步的结构化工艺信息，并基于相应的国家和行业标准规范化标注安装位置、注意事项等内容；

第四步：系统自动将三维工艺模型输出为网络化、电子化、三维化、轻量化的交互式电装工艺模型，结构化工艺信息以中性XML等格式存储，建立相关的电装作业指导书访问网站；

需要说明的是，交互式电装工艺模型就是把模型及其触发动作、状态变化整合到一块，随着使用者的操作，工艺路线在三维数字空间展现出来；其输出过程为：在三维软件中打开PCB模型，然后打开工艺软件，工艺制作工具首先加载模型信息，将每一个元器件的信息加载进来并形成模型树，然后用户点击每一个模型结点，指定模型动画的结束位置(根据初始位置和指定位置生成模型动画信息)，并输入其他工艺信息；当所有模型的工艺信息输入完成后，把工艺信息用XML文件输出，然后发布软件用模型和XML信息发布，最终可以在网页查看。这些文件即为其交互式工艺模型；XML是一种标识性强、可读性高的标记语言，通过它可以记录PCB板的整个工艺路线，可以实现工艺回放，工艺调取等功能，非常适合用于交互式电装工艺模型的制作；

第五步：车间作业工人首先扫描芯片或元器件上的条码，系统自动显示该芯片或者元器件的三维安装动画，并显示其结构化工艺指导信息；

第六步：车间作业工人在焊装配元器件时，基于HoloLens(AR头盔)等可穿戴设备，实时扫描装配环境/对象，进行虚实模型注册融合，在线高亮提示引导工人进行装配操作；

第七步：最后，车间作业工人基于增强可视化的电装工艺信息，完成电装操作，进行系统确认，过程中系统会实时给出错误操作预警。

对于三维电装快速设计模块的实施，具体包含以下几个子模块和对应的实施过程：

PCB板快速三维建模

基于电路设计人员设计的PCB排版原理图，通过接口识别和提取，自动获取其中的PCB板轮廓信息以及元器件的型号参数、安装位置等信息；

元器件快速三维建模

规范化构建电阻器、电位器、电容器等元件以及二极管、芯片和晶体管等器件的基础模板模型，以及基于参数化技术快速派生出其系列化模型；

结构件快速三维建模

规范化构建连接器、散热器、导线、盒体以及机箱等结构件的基础模板模型，以及基于参数化技术快速派生构建其系列化模型；

模型自动装配

基于识别的元器件安装位置以及元器件、结构件三维模型，利用装配语义关系，自动实现完整PCB板/模块/机箱的装配。

需要说明的是，上述装配语义关系为各个元器件及结构件上的安装标识信息及之间的关系，包括相对坐标、旋转角度、安装面等等，其原理如下：

PCB电路板绘图软件都可以导出.emn和.emp文件，其中emn文件中记录了PCB主板的轮廓信息以及其元器件在PCB板上的放置位置信息(相对坐标、旋转角度、放在哪一面)，emp文件中记录了每一个型号的元器件的包围盒轮廓信息。在生成电路板时，先根据emn文件中记录的主板信息(元器件轮廓及板子厚度)生成电路板，然后遍历emn文件中的每一个元器件放置信息，先根据元器件型号从元器件库中查找，如果能找到则将元器件模型从库中拷贝出来并根据位置信息装配到主板上，否则根据emp中对应元器件包围盒的信息生成一个用于占位的长方体模型用于占位，然后装配到主板上，以便之后建立缺失的元器件模型来进行填补。这样，实现了自动装配，PCB板便生成完毕。

对于三维电装工艺设计与发布模块的实施，具体包含有以下子模块的对应过程：

三维电装工艺设计

基于三维电装结构模型，利用基于模型定义技术，直观交互式完成工艺设计，包括可视化工艺规程的构建、创建并关联挂接各工序/工步的装配对象、装配动画、装配注意事项和所用工具等内容；

三维电装工艺发布

通过三维化和网络化等手段，将设计好的元器件位置、型号、工艺步骤、装配过程、器件明细表等工艺信息，以轻量化动画模型和XML等中性文档格式进行可视化关联发布。

对于电装操作智能引导与预警模块的实施，具体包含有以下子模块的实施过程：

可穿戴环境电装工艺信息可视化

如图3所示，在可穿戴增强现实环境下，识别与增强显示轻量化工序/工步模型、动画以及可视化全三维工艺规程卡与结构化工艺规程信息，把装配的相关信息导入到穿戴设备中，通过光学透射式穿戴式设备把现实世界同数字世界结合起来，从图中可以看出，眼睛看到来自真实世界同PCB板模型两部分的混合信息，通过设备中的传感器采集到的头部信息结合PCB及元器件信息在监视器中显示，并结合真实世界的锚点坐标，把两部分内容融为一体。

电装虚实模型高精度匹配定位

基于SLAM技术，实现轻量化电装工艺模型与即时扫描的装配场景进行虚实融合注册，达到宏观层面的虚实叠加；借助锚点定位技术，实现虚拟装配工艺模型与真实装配场景边界信息的高精度匹配定位；

电装过程在线智能引导与操作预警

装配前，系统将待装配元器件虚拟模型投射到实际待安装位置(高亮显示)，并显示相关的安装路径、要求、注意事项和装配工具；安装过程中，系统在实际安装位置附近显示装配路径，智能引导装配者进行元器件装配；安装完成后，系统通过双目相机读取待装配元器件位置、姿态和安装路线信息，如果出现差错(装配的元器件类型和位置与设计模型存在偏差超过设计要求)，系统会自动向装配者预警。

如图4所示，SLAM算法主要原理是利用设备上的摄像头，包括普通摄像头和深度摄像头，能够对空间中的一点进行定位，实现空间的识别，基于历史点及现在点得到摄像机设备的运动数据，从而实现真实物理世界同数字世界的匹配。

SLAM技术的实现过程如下：

首先提取当前图像中的特征；

然后根据相邻帧图像的特征去匹配，识别出场景中特征点的位置；

并通过特征点的变化反向计算出相机的运动。

如图5所示，在电装过程中，首先，智能电装人员带上AR眼镜，扫描PCB板上二维码或者条形码，此操作人员就可以通过眼镜看到此PCB板上各个元器件或结构件正确的安装位置，如图中中间部分的上半部分为待装配的PCB板，下半部分为眼镜中看到的虚拟的装配好的PCB板，对照眼镜中虚拟的放在真实PCB板旁边的PCB装配结构，指导实际装配，当装配出错时，该系统能够通过眼镜识别装配错误的地方并报警提示。

综上所述，上述两组实施例的基于可穿戴设备的智能电装系统及方法，首先，可以大幅提升军工电子产品的装配效率，缩短装配周期，基于AR头盔的装配模式可以有效解决装配工人需要手工查找PCB图、结构图和装配作业指导书的问题，通过扫码方式快速确定待装元器件并在实物上显示其装配位置、装配路径、安装要求等信息，装配效率大幅提升；其次，可以显著提高军工电子产品的质量和可靠性，传统工作模式下，因为反复的查找和对照，很容易造成元器件错装和漏装的发生，而基于AR头盔的装配模式可以以所见即所得的方式引导工人操作，出错的概率大大降低，同时在出错时，系统还会进行智能识别和提示，因此产品装配的质量和可靠性得到显著提升；最后，有利于实现军工电子产品全生命周期的数据管理，基于AR头盔的装配模式下，系统会自动记录元器件、PCB板、模块、机箱、机柜之间的装配对应关系，有利于构建军工电子产品面向全生命周期的数据库，值得被推广使用。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种基于可穿戴设备的智能电装系统，其特征在于：包括三维电装结构设计模块、三维电装工艺设计与发布模块与电装操作智能引导与预警模块；

所述三维电装结构设计模块包括PCB板三维建模模块、元器件三维建模模块、结构件三维建模模块与模型自动装配模块；

所述PCB板三维建模模块，用于通过接口工具识别和提取PCB排版原理图，获取其中的PCB板轮廓信息以及元器件型号、安装位置信息；

所述元器件三维建模模块，用于构建各元器件的基础三维模板模型，然后通过参数化重构出系列化的三维模型；

所述结构件三维建模模块，用于构建各结构件的基础三维模板模型，然后通过参数化重构出系列化的三维模型；

所述模型自动装配模块，用于基于识别的元器件安装位置以及元器件、结构件三维模型，利用空间装配语义关系，完成待装配件的装配工作；

所述三维电装工艺设计与发布模块包括三维电装工艺设计模块与三维电装工艺发布模块；

所述三维电装工艺设计模块，用于对三维模型进行定义，从而完成工艺设计；

所述三维电装工艺发布模块，用于通过三维化和网络化手段，将结构化工艺信息进行可视化关联发布；

所述电装操作智能引导与预警模块用于将电装工艺信息可视化、实现虚实模型高精度匹配定位、在电装过程中进行在线智能引导与操作预警。

2.根据权利要求1所述的一种基于可穿戴设备的智能电装系统，其特征在于：所述元器件与所述结构件上均设置有条码，条码用于扫描识别所述元器件。

3.根据权利要求1所述的一种基于可穿戴设备的智能电装系统，其特征在于：工艺设计为可视化工艺规程树的构建、各工序/工步装配动画的定义、各工序/工步装配注意事项的标识与标注以及各工序/工步节点与相关结构化工艺信息的挂接关联工作。

4.根据权利要求1所述的一种基于可穿戴设备的智能电装系统，其特征在于：结构化工艺信息为设计好的元器件位置信息、型号信息、工艺步骤信息、装配过程信息、器件明细表。

5.根据权利要求1所述的一种基于可穿戴设备的智能电装系统，其特征在于：结构化工艺信息是以中性文档格式进行可视化关联发布的。

6.根据权利要求1所述的一种基于可穿戴设备的智能电装系统，其特征在于：所述电装操作智能引导与预警模块包括工艺信息可视化模块、虚实模型匹配定位模块、引导与预警模块；

所述工艺信息可视化模块，用于在可穿戴增强现实环境下，识别与增强显示轻量化工序/工步模型、动画以及可视化全三维工艺规程卡与结构化工艺规程信息；

所述虚实模型匹配定位模块，用于实现轻量化电装工艺模型与即时扫描的装配场景进行虚实融合注册，从而实现虚拟装配工艺模型与真实装配场景边界信息的高精度匹配定位；

所述引导与预警模块，在装配前，用于在将待装配元器件虚拟模型投射到实际待安装位置，并显示相关的安装路径、要求、注意事项和装配工具；在装配中，用于在实际安装位置附近显示装配路径，从而智能引导装配者进行元器件装配；在装配完成后，用于读取待装配元器件位置、姿态和安装路线信息，检测装配完成的元器件类型和位置与设计模型是否存在偏差超过设计要求，是则向装配者发出预警，否则不做预警提示。

7.根据权利要求6所述的一种基于可穿戴设备的智能电装系统，其特征在于：轻量化电装工艺模型与即时扫描的装配场景进行虚实融合注册是基于即时定位与地图构建算法实现的。

8.根据权利要求7所述的一种基于可穿戴设备的智能电装系统，其特征在于，所述即时定位与地图构建算法包括以下步骤：

S101：首先提取当前图像中的特征；

S102：然后根据相邻帧图像的特征去匹配，识别出场景中特征点的位置；

S103：最后通过特征点的变化反向计算出相机的运动。

9.一种基于可穿戴设备的智能电装方法，其特征在于，利用如权利要求1～8任一项所述的智能电装系统进行电装工作，包括以下步骤：

S1：根据PCB原理图读取信息

通过接口工具识别和提取PCB排版原理图，获取其中的PCB板轮廓信息以及元器件的型号参数、安装位置信息；

S2：构建元器件、结构件模型

构建各元器件的基础三维模板模型，并通过参数化重构出系列化的三维模型，同时构建各结构件的基础三维模板模型，并通过参数化重构出系列化的三维模型；

S3：定义工艺信息

三维模型构建完毕后，在三维模型上定义电装的工艺路线，输入每个工序/工步的结构化工艺信息，并标注安装位置、注意事项内容，再将三维模型输出为交互式电装工艺模型，将结构化工艺信息以中性文档格式存储起来并进行可视化关联发布；

S4：识别待装配件

扫描待装配件上的条码，智能电装系统显示该待装配件的三维安装动画，并显示其结构化工艺信息；

S5：在线指导与操作预警

在焊装待装配件时，利用增强现实设备，识别待装配件实时扫描装配环境/对象，进行虚实模型注册融合，在线高亮提示引导工人进行装配操作，然后根据增强可视化的结构化工艺信息完成电装操作，最后智能电装系统进行确认并实时对错误操作做出预警提示。

Images