CN105741290A - 一种基于增强现实技术的印制电路板信息指示方法及装置 - Google Patents

Abstract

本发明公开一种基于增强现实技术的印制电路板信息指示方法及装置，该方法步骤包括：1)采集目标印制电路板的实景图像；2)获取目标印制电路板的理论设计模型，计算理论设计模型与实景图像之间的图像映射关系；3)获取目标印制电路板上指定部件的理论设计坐标位置，计算指定部件在实景图像中的图像坐标位置；4)将指定部件对应的指示信息投影显示至投影位置处，投影位置为目标印制电路板上与指定部件的图像坐标位置所对应的位置；该装置包括对应的图像采集模块、图像映射关系计算模块、图像位置计算模块以及指示信息显示模块。本发明具有实现方法简单、能够将印制电路板的信息直接显示在对应位置上，便于部件的快速查找及辨识等优点。

Description

一种基于增强现实技术的印制电路板信息指示方法及装置

技术领域

本发明涉及电路板技术领域，尤其涉及一种基于增强现实技术的印制电路板信息指示方法及装置。

背景技术

印制电路板(以下简称电路板)是各类电子设备的核心部件，因而随着人类社会科技的发展，电路板数量巨大，而且电路结构日趋复杂，最为具体的表现就是电路板上的元器件数量越来越多，而元器件的体积则越来越小。在电路板的手工装焊阶段、研发调试阶段和发生故障的返修阶段，经常需要工作人员在电路板上反复寻找某个指定元器件、管脚和焊盘等，而目前只能通过工作人员用人眼在电路板实物与电路板设计图纸之间反复查找对应关系，这种费时费力的操作大大降低了电路板的装焊和调试等效率。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种实现方法简单、能够将印制电路板的信息直接显示在对应位置，实现部件的快速查找及辨识的基于增强现实技术的印制电路板信息指示方法及装置。

为解决上述技术问题，本发明提出的技术方案为：

一种基于增强现实技术的印制电路板信息指示方法，步骤包括：

1)图像采集：采集目标印制电路板的实景图像；

2)图像映射关系计算：获取目标印制电路板的理论设计模型，计算所述理论设计模型与所述实景图像之间的图像映射关系；

3)图像位置计算：获取目标印制电路板上指定部件的理论设计坐标位置，根据所述图像映射关系计算所述指定部件在所述实景图像中的图像坐标位置；

4)指示信息显示：将所述指定部件对应的指示信息投影显示至对应的投影位置处，所述投影位置为所述目标印制电路板上与指定部件的所述图像坐标位置所对应的位置。

作为本发明方法的进一步改进，所述步骤2)中的具体实施步骤为：

2.1)对采集到的实景图像进行图像处理，获取目标印制电路板的平面外轮廓，得到实体外轮廓图形；所述平面外轮廓由四周边缘线段连接构成，且所述四周边缘线段通过角点连接；

2.2)获取目标印制电路板的理论设计模型中理论外轮廓图形，分别提取所述理论外轮廓图形、实体外轮廓图形的角点坐标，其中理论外轮廓图形的理论角点坐标分别为(Xi,Yi)，实体外轮廓图形的实体角点坐标为(X’i,Y’i)，其中i＝0、1、2、3；

2.3)计算理论设计模型与实景图像之间的映射矩阵Q，使实体角点坐标与理论角点坐标满足(X’i,Y’i)＝(Xi,Yi)Q，得到理论设计模型与实景图像之间的图像映射关系。

作为本发明方法的进一步改进，所述步骤2.1)中获取目标印制电路板的平面外轮廓的具体实施步骤为：

2.11)将采集到的实景图像进行二值化处理，得到二值化处理后图像；

2.12)提取所述二值化处理后图像中的四周边缘数据，并从所述四周边缘数据中检测四周边缘线段；

2.13)将检测到的所述四周边缘线段连接起来，得到目标印制电路板的平面外轮廓。

作为本发明方法的进一步改进，所述步骤3)中图像坐标位置的计算公式为：

U’(xu’,yu’)＝U(xu,yu)Q

其中，U(xu,yu)为指定部件U的理论设计坐标位置，U’(xu’,yu’)为指定部件U在实景图像中的图像坐标位置，Q为理论设计模型与实景图像之间的映射矩阵。

作为本发明方法的进一步改进：所述步骤4)中投影位置具体按照下式计算得到；

U”(xu”,yu”)＝U’(xu’,yu’)P

其中，U’(xu’,yu’)为指定部件U在实景图像中的图像坐标位置，U”(xu”,yu”)为投影位置，P为目标印制电路板的实景图像与投影场景空间之间的映射矩阵。

作为本发明方法的进一步改进，所述步骤1)前还包括预先计算目标印制电路板的实景图像与投影场景空间之间的映射矩阵步骤，具体实施步骤为：

1.1)布置安装图像采集装置以及投影装置；

1.2)绘制一幅由4条等长直线段组成的方格图像并通过所述投影装置进行投射，得到一副投影图像，所述方格图像的四个原始顶点坐标为(xi,yi)，其中i＝0、1、2、3；

1.3)通过所述图像采集装置采集所述投影图像，并获取采集到的图像中的顶点坐标，得到四个投影顶点坐标(x’i,y’i)，其中i＝0、1、2、3；

1.4)根据原始顶点坐标(xi,yi)、投影顶点坐标(x’i,y’i)的对应关系计算映射矩阵P’，使(x’i,y’i)＝(xi,yi)P’，并将计算得到的映射矩阵P’作为目标印制电路板的实景图像与投影场景空间之间的映射矩阵。

作为本发明方法的进一步改进，所述步骤1.3)中获取采集到的图像中的顶点坐标具体采用角点提取算法。

一种基于增强现实技术的印制电路板信息指示装置，包括：

图像采集模块，用于采集目标印制电路板的实景图像；

图像映射关系计算模块，用于获取目标印制电路板的理论设计模型，计算所述理论设计模型与所述实景图像之间的图像映射关系；

图像位置计算模块，用于获取目标印制电路板上指定部件的理论设计坐标位置，根据所述图像映射关系计算所述指定部件在所述实景图像中的图像坐标位置；

指示信息显示模块，用于将所述指定部件对应的指示信息投影显示至目标印制电路板上对应的投影位置处，所述投影位置为所述目标印制电路板上与所述图像坐标位置对应的位置。

作为本发明装置的进一步改进：还包括指示指令输入模块，所述指示指令输入模块连接所述图像位置计算模块；所述指示指令输入模块用于接收对指定部件的指定指令，输出至所述图像位置计算模块。

作为本发明装置的进一步改进：所述指示指令输入模块采用语音采集及识别部件。

与现有技术相比，本发明的优点在于：

1)本发明通过采集印制电路板的实景图像，获取实景图像与理论设计模型之间的映射关系，从而在获取到指定部件的理论设计坐标位置后，根据映射关系可计算得到指定部件在实景图像中的位置，也即是指定部件在真实世界的实际位置，再根据该实际位置投影显示对应的指示信息，能够将印制电路板的信息直接显示在对应位置，从而实现部件的快速查找及辨识，有效提高查找及辨识效率。

2)本发明进一步通过对实景图像的图像处理获取得到印制电路板的实体外轮廓，由实体外轮廓图像与理论外轮廓图形角点之间的坐标映射关系得到理论设计模型与实景图像之间的映射矩阵，实现方法简单，有效表征了理论设计模型与实景图像之间的关系，同时避免了复杂的图像处理及计算过程。

3)本发明进一步通过图像坐标位置与投影位置之间的映射关系，将指定部件在实景图像中的图像坐标位置转换映射为对应的投影位置，从而在获取得到指定部件的理论设计坐标后，能够准确的查找指示信息的投影位置，确保指示信息准确的显示在印制电路板的指定部件上。

附图说明

图1是本实施例基于增强现实技术的印制电路板信息指示方法的实现流程示意图。

图2是本发明在具体应用实施例中的结构原理示意图。

图例说明：

1、主控制器；2、投影仪；3、摄像头；4、印制电路板；5、指示信息；6、指定元件；7、语音识别和文字输入设备。

具体实施方式

以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。

如图1所示，本实施例基于增强现实技术的印制电路板信息指示方法，步骤包括：

1)图像采集：采集目标印制电路板的实景图像；

2)图像映射关系计算：获取目标印制电路板的理论设计模型，计算理论设计模型与实景图像之间的图像映射关系；

3)图像位置计算：获取目标印制电路板上指定部件的理论设计坐标位置，根据图像映射关系计算指定部件在实景图像中的图像坐标位置；

4)指示信息显示：将指定部件对应的指示信息投影显示对应的投影位置处，投影位置为目标印制电路板上与指定部件的图像坐标位置对应的位置。

本实施例中指定部件具体包括电路板上的元器件、元器件管脚、焊盘、连接线、过孔、定位孔、探测点等；指示信息具体可以为表示部件的位置、名称、属性等的符号、文字信息。

增强现实技术是通过投影仪或显示器等设备在真实物体或真实物体影像的特定位置叠加显示虚拟信息的技术，例如叠加显示符号、文字等，适合于需要反复寻找虚拟世界与现实世界之间的空间对应关系的应用需求。本实施例结合增强现实技术将指定部件的指示信息直接显示在印制电路板的对应位置上，便于快速的查找、辨识指定部件在电路板上的位置，极大的方便用户进行电路板装焊或调试等，从而有效提高查找、辨识效率。

本实施例中，步骤2)中的具体实施步骤为：

2.1)对采集到的实景图像进行图像处理，获取目标印制电路板的平面外轮廓，得到实体外轮廓图形；平面外轮廓由四周边缘线段连接构成，且四周边缘线段通过角点连接；

2.2)获取目标印制电路板的理论设计模型中理论外轮廓图形，分别提取理论外轮廓图形、实体外轮廓图形的角点坐标，其中理论外轮廓图形的理论角点坐标分别为(Xi,Yi)，实体外轮廓图形的实体角点坐标为(X’i,Y’i)，其中i＝0～3；

2.3)计算理论设计模型与实景图像之间的映射矩阵Q，使实体角点坐标与理论角点坐标满足(X’i,Y’i)＝(Xi,Yi)Q，得到理论设计模型与实景图像之间的图像映射关系。

目标印制电路板的理论设计模型具体可以通过读取电路板设计过程中生成的电路板设计文件获得，在电路板设计文件中记录了电路板的理论设计尺寸，以及各个元件在电路板中的位置坐标。本实施例通过读取的电路板设计文件获取理论外轮廓图形的理论设计形状后，分别提取理论外轮廓图形与实体外轮廓图形在左上角、右上角、左下角和右下角的四个角点坐标，由该四个角点坐标的对应关系即可计算得到映射矩阵Q。本实施例通过实体外轮廓图形与理论外轮廓图形角点之间的坐标映射关系，即理论设计外轮廓图形所在坐标系MN与实体外轮廓图形所在坐标系EF的变换关系，得到理论设计模型与实景图像之间的映射矩阵，实现方法简单，有效表征了理论设计模型与实景图像之间的关系，同时避免了复杂的图像处理及计算过程。

本实施例中，步骤2.1)中获取目标印制电路板的平面外轮廓的具体实施步骤为：

2.11)将采集到的实景图像进行二值化处理，得到二值化处理后图像；

2.12)提取二值化处理后图像中的四周边缘数据，并从四周边缘数据中检测四周边缘线段；

2.13)将检测到的所述四周边缘线段连接起来，得到目标印制电路板的外轮廓图形。

本实施例中，步骤3)中图像坐标位置的计算公式为：

U’(xu’,yu’)＝U(xu,yu)Q(1)

其中，U(xu,yu)为指定部件U的理论设计坐标，U’(xu’,yu’)为指定部件U在实景图像中的图像位置坐标，Q为理论设计模型与实景图像之间的映射矩阵。

在获得指定部件的理论设计坐标后，由理论设计模型与实景图像之间的映射矩阵Q，即可直接计算得到指定部件在实景图像中的坐标位置，即指定部件在真实世界中的坐标位置，因而能够方便快速的查找到印制电路板上各部件。

计算得到指定部件在实景图像的坐标位置后，则需要对应的查找到投射指示信息的投影位置，以将指定信息准确的投射至投影场景空间中的印制电路板上对应位置。本实施例中，步骤4)中投影位置具体按照下式计算得到；

U”(xu”,yu”)＝U’(xu’,yu’)P(2)

其中，U’(xu’,yu’)为指定部件U在实景图像中的图像坐标，U’(xu’,yu’)为投影位置，P为目标印制电路板的实景图像与投影场景空间之间的映射矩阵。

对于某个指定部件U，从电路板设计文件中读取理论设计坐标U(xu,yu)后，根据计算出的坐标系变换关系得到投影位置U”(xu”,yu”)，即指定部件U在投影输出图像中的对应坐标为U”(xu”,yu”)，其中U”(xu”,yu”)＝U(xu,yu)QP，Q为理论设计模型与实景图像之间的映射矩阵，P为目标印制电路板的实景图像与投影场景空间之间的映射矩阵。在投影图像的投影位置U”(xu”,yu”)附近叠加指示位置、名称或属性的指示信息，再将该投影图像投射到目标印制电路板上，在指定部件U的位置附近即被投射出相同的指示信息。

本实施例中，步骤1)前还包括预先计算目标印制电路板的实景图像与投影场景空间之间的映射矩阵步骤，具体实施步骤为：

1.1)布置安装图像采集装置以及投影装置；

1.2)绘制一幅由4条等长直线段组成的方格图像并通过投影装置进行投射，得到一副投影图像，方格图像的四个原始顶点坐标为(xi,yi)，其中i＝0、1、2、3；

1.3)通过图像采集装置采集所述投影图像，并获取采集到的图像中的顶点坐标，得到四个投影顶点坐标(x’i,y’i)，其中i＝0、1、2、3；

1.4)根据原始顶点坐标(xi,yi)、投影顶点坐标(x’i,y’i)的对应关系计算映射矩阵P’，使(x’i,y’i)＝(xi,yi)P’，并将计算得到的映射矩阵P’作为目标印制电路板的实景图像与投影场景空间之间的映射矩阵。

本实施例中，步骤1.3)中获取采集到的图像中的顶点坐标具体采用角点提取算法。

本实施例中，需要将指示信息对应的投影至真实场景空间中的印制电路板上，则印制电路板的实景图像与投影场景空间之间的映射关系，也即为图像采集装置采集的图像的坐标系XY与投影装置投射的图像的坐标系IJ之间的变换关系，其详细计算步骤为：布置安装时，将图像采集装置和投影装置安装于目标印制电路板的正上方，使得图像采集装置能够采集到完整的电路板图像、投影装置的投射图像能够完整覆盖目标印制电路板；布置完成后，移走目标印制电路板；通过计算机绘图板绘制由4条等长直线段组成的方格图像，由投影装置投射出该方格图像，得到原始顶点坐标为(xi,yi)；图像采集装置采集该方格图像，采用角点提取算法，获得交点坐标作为投影图像的顶点坐标(x’i,y’i)；假设两个坐标系之间的2×2变换矩阵为P’，则有(x’i,y’i)＝(xi,yi)P’，i＝0～3；根据(xi,yi)和(x’i,y’i)共四组的对应坐标，得到包含四个变量的矩阵P’，即得到XY与IJ之间的坐标系变换关系，矩阵P’即为目标印制电路板的实景图像与投影场景空间之间的映射矩阵。

本实施例通过图像坐标位置与投影位置之间的映射关系，将指定部件在实景图像中的图像坐标位置转换映射为对应的投影位置，从而在获取得到指定部件的理论设计坐标后，能够准确的查找指示信息的投影位置，确保指示信息准确的显示在印制电路板的指定部件上。

本实施例中，指定部件可通过语音输入或文字输入等方式指定某一个或多个部件，语音输入时通过采集用户的语音命令进行识别，获得指定命令。

本实施例还提供基于增强现实技术的印制电路板信息指示装置，包括：

图像采集模块，用于采集目标印制电路板的实景图像；

图像映射关系计算模块，用于获取目标印制电路板的理论设计模型，计算理论设计模型与实景图像之间的图像映射关系；

图像位置计算模块，用于获取目标印制电路板上指定部件的理论设计坐标位置，根据图像映射关系计算指定部件在实景图像中的图像坐标位置；

指示信息显示模块，用于将所述指定部件对应的指示信息投影显示至目标印制电路板上对应的投影位置处，所述投影位置为所述目标印制电路板上与所述图像坐标位置对应的位置。

本实施例中，还包括指示指令输入模块，指示指令输入模块连接实际位置计算模块；指示指令输入模块用于接收对指定部件的指定指令。

本实施例中，指示指令输入模块采用语音采集及识别部件，通过语音采集及识别部件采集语音指令信号，识别出对应的指示指令后输出至实际位置计算模块。

如图2所示，本发明在具体应用实施例中包括主控制器1、投影仪2、摄像头3以及语音识别和文字输入设备7，其中主控制器1为处理和控制核心，摄像头3采集印制电路板4的实景图像、投影仪2投影显示出印制电路板4上各部件的名称、标号、管脚等指示信息。印制电路板4为任意一块电路板，且印制电路板4正向水平放置，摄像头3和投影仪2放置于印制电路板4的正上方，且摄像头3和投影仪2的光轴均垂直于印制电路板4所在的平面(物平面)，即使得摄像头3能够拍摄到完整的印制电路板4的图像、投影仪2的投射图像能够完整覆盖印制电路板4。当然在其他实施例中，摄像头3和投影仪2的位置也可以根据实际需求进行调整。

主控制器1预先从电路板设计文件中读取印制电路板4的理论外轮廓图形、各个部件的理论位置信息，计算出每个部件的理论设计坐标位置；再通过摄像头3采集印制电路板4的图像，由此计算出印制电路板4的实体外轮廓图形，并根据印制电路板4的理论外轮廓图形和实体外轮廓图形计算出两者的对应坐标映射关系；根据该坐标映射关系以及指定部件的理论设计坐标位置计算在实景图像中的图像坐标位置，得到在真实世界的坐标位置；最后控制投影仪2根据计算得到的坐标位置投射出指示信息，投射位置正好是指定部件所在的位置，通过指示信息准确指示各个部件的位置、名称和属性。如图2所示，对于指定元件6，通过投影仪2将对应的元件标号的指示信息5，即“D10”，投影至指定元件6的表面上。指定部件的指定指令则可以通过语音识别和文字输入设备7输入，以控制主控制器1在相应位置投影出指示信息。

本实施例中，主控制器1为能采集、处理和输出图像的计算机，可采用个人电脑或平板电脑实现，且主控制器1通过USB接口或HDMI接口或网络或视频采集卡同摄像头3连接，通过VGA、HDMI、DVI等接口同投影仪2连接。摄像头3可采用USB2.0接口的罗技摄像头，其分辨率不低于640×480，帧频不低于1fps。投影仪2可采用VGA接口的明基高清投影仪，其分辨率不低于640×480，刷新频率不低于20Hz。语音识别和文字输入设备7则可直接采用主控制器1附带的麦克风和键盘，其中语音识别采用“科大讯飞”公司的云语音识别平台实现。

上述只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。

Claims (10)

1.一种基于增强现实技术的印制电路板信息指示方法，其特征在于步骤包括：

1)图像采集：采集目标印制电路板的实景图像；

2)图像映射关系计算：获取目标印制电路板的理论设计模型，计算所述理论设计模型与所述实景图像之间的图像映射关系；

3)图像位置计算：获取目标印制电路板上指定部件的理论设计坐标位置，根据所述图像映射关系计算所述指定部件在所述实景图像中的图像坐标位置；

4)指示信息显示：将所述指定部件对应的指示信息投影显示至对应的投影位置处，所述投影位置为所述目标印制电路板上与指定部件的所述图像坐标位置所对应的位置。

2.根据权利要求1所述的基于增强现实技术的印制电路板信息指示方法，其特征在于，所述步骤2)的具体实施步骤为：

2.1)对采集到的实景图像进行图像处理，获取目标印制电路板的平面外轮廓，得到实体外轮廓图形；所述平面外轮廓由四周边缘线段连接构成，且所述四周边缘线段通过角点连接；

2.2)获取目标印制电路板的理论设计模型中理论外轮廓图形，分别提取所述理论外轮廓图形、实体外轮廓图形的角点坐标，其中理论外轮廓图形的理论角点坐标分别为(Xi,Yi)，实体外轮廓图形的实体角点坐标为(X’i,Y’i)，其中i＝0、1、2、3；

2.3)计算理论设计模型与实景图像之间的映射矩阵Q，使实体角点坐标与理论角点坐标满足(X’i,Y’i)＝(Xi,Yi)Q，得到理论设计模型与实景图像之间的图像映射关系。

3.根据权利要求2所述的基于增强现实技术的印制电路板信息指示方法，其特征在于，所述步骤2.1)中获取目标印制电路板的平面外轮廓的具体实施步骤为：

2.11)将采集到的实景图像进行二值化处理，得到二值化处理后图像；

2.12)提取所述二值化处理后图像中的四周边缘数据，并从所述四周边缘数据中检测四周边缘线段；

2.13)将检测到的所述四周边缘线段连接起来，得到目标印制电路板的平面外轮廓。

4.根据权利要求1或2或3所述的基于增强现实技术的印制电路板信息指示方法，其特征在于，所述步骤3)中指定部件在所述实景图像中的图像坐标位置的计算公式为：

U’(xu’,yu’)＝U(xu,yu)Q

其中，U(xu,yu)为指定部件U的理论设计坐标位置，U’(xu’,yu’)为指定部件U在实景图像中的图像坐标位置，Q为理论设计模型与实景图像之间的映射矩阵。

5.根据权利要求4所述的基于增强现实技术的印制电路板信息指示方法，其特征在于，所述步骤4)中投影位置具体按照下式计算得到；

U”(xu”,yu”)＝U’(xu’,yu’)P

其中，U’(xu’,yu’)为指定部件U在实景图像中的图像坐标位置，U”(xu”,yu”)为投影位置，P为目标印制电路板的实景图像与投影场景空间之间的映射矩阵。

6.根据权利要求5所述的基于增强现实技术的印制电路板信息指示方法，其特征在于，所述步骤1)前还包括预先计算目标印制电路板的实景图像与投影场景空间之间的映射矩阵步骤，具体实施步骤为：

1.1)布置安装图像采集装置以及投影装置；

1.2)绘制一幅由4条等长直线段组成的方格图像并通过所述投影装置进行投射，得到一副投影图像，所述方格图像的四个原始顶点坐标为(xi,yi)，其中i＝0、1、2、3；

1.3)通过所述图像采集装置采集所述投影图像，并获取采集到的图像中的顶点坐标，得到四个投影顶点坐标(x’i,y’i)，其中i＝0、1、2、3；

1.4)根据原始顶点坐标(xi,yi)、投影顶点坐标(x’i,y’i)的对应关系计算映射矩阵P’，使(x’i,y’i)＝(xi,yi)P’，并将计算得到的映射矩阵P’作为目标印制电路板的实景图像与投影场景空间之间的映射矩阵。

7.根据权利要求6所述的基于增强现实技术的印制电路板信息指示方法，其特征在于，所述步骤1.3)中获取采集到的图像中的顶点坐标具体采用角点提取算法。

8.一种基于增强现实技术的印制电路板信息指示装置，其特征在于，包括：

图像采集模块，用于采集目标印制电路板的实景图像；

图像映射关系计算模块，用于获取目标印制电路板的理论设计模型，计算所述理论设计模型与所述实景图像之间的图像映射关系；

图像位置计算模块，用于获取目标印制电路板上指定部件的理论设计坐标位置，根据所述图像映射关系计算所述指定部件在所述实景图像中的图像坐标位置；

指示信息显示模块，用于将所述指定部件对应的指示信息投影显示对应的投影位置处，所述投影位置为所述目标印制电路板上与指定部件的所述图像坐标位置所对应的位置。

9.根据权利要求8所述的基于增强现实技术的印制电路板信息指示装置，其特征在于，还包括指示指令输入模块，所述指示指令输入模块连接所述图像位置计算模块；所述指示指令输入模块用于接收对指定部件的指定指令，输出至所述图像位置计算模块。

10.根据权利要求8或9所述的基于增强现实技术的印制电路板信息指示装置，其特征在于：所述指示指令输入模块包括语音采集及识别部件以及文字输入及处理部件。