CN110133808A - 多模光模块耦合方法和系统 - Google Patents

Abstract

本发明涉及一种多模光模块耦合方法和系统。该多模光模块耦合方法包括获取摄像模块采集到的包含待耦合产品的图像数据、并对所述图像数据进行预处理；将处理后的所述图像数据与预设的图像模板进行匹配以对所述待耦合产品进行位置校正、并获取校正偏差值；根据所述校正偏差值对所述待耦合产品进行耦合对准。本申请可使整个耦合过程无需员工的参与，从而实现自动的耦合对准工序；相应地，也会减少对操作员工熟练度的依赖，并且还能避免员工误操作所带来的物料损失。

Description

多模光模块耦合方法和系统

技术领域

本发明涉及光学领域，特别是涉及一种多模光模块耦合方法和系统。

背景技术

光路耦合对准工序是多模光模块产品生产过程中的一道重要工序。通常， 操作员工采用手动的位移平台通过光功率计的反馈进行光路对准。多模单通道 产品虽耦合较为容易，但耦合效率要求较高。

现有的耦合工序主要采用手动耦合台，通常需要员工记住对应位置光功率 值，然后进行图像对比后拧动位移台去找光。整体耗时较长，且一致性不高。 对于不太熟练的员工，在操作位移平台时可能由于拧动距离过大而损坏物料。

发明内容

基于此，有必要针对上述问题，提供一种多模光模块耦合方法和系统。

一种多模光模块耦合方法，所述方法包括：

获取摄像模块采集到的包含待耦合产品的图像数据、并对所述图像数据进 行预处理；

将处理后的所述图像数据与预设的图像模板进行匹配以对所述待耦合产品 进行位置校正、并获取校正偏差值；

根据所述校正偏差值对所述待耦合产品进行耦合对准。

在其中一个实施例中，所述待耦合产品为PCBA芯片和透镜。

在其中一个实施例中，所述摄像模块采用分辨率为3856×2765的紧凑型工 业相机。

在其中一个实施例中，所述对所述图像数据进行预处理的步骤，包括：

对所述图像数据进行灰度化处理、并对处理后的图像数据进行区域屏蔽；

对屏蔽后的所述图像数据作均值滤波处理；

调节滤波处理后的所述图像数据的亮度和对比度。

在其中一个实施例中，所述将处理后的所述图像数据与预设的图像模板进 行匹配以对所述待耦合产品进行位置校正、并获取校正偏差值的步骤，包括：

在预设的图像模板范围内对所述图像数据进行模板匹配以确认所述图像数 据的相似度；

以所述图像模板的几何中心为坐标原点建立三维成像坐标系；

对处理后的所述图像数据限定的范围内进行圆弧边界寻找；

获取所述圆弧对应圆的圆心在所述三维成像坐标系下的坐标值；

根据所述坐标值与预设的坐标值获取校正偏差值。

在其中一个实施例中，所述多模光模块耦合方法还包括：

根据寻找到的圆弧的数量判定所述待耦合产品是否存在。

在其中一个实施例中，所述获取摄像模块采集到的包含待耦合产品的图像 数据、并对所述图像数据进行预处理的步骤之前，还包括：

调整摄像模块的拍摄参数值。

在其中一个实施例中，所述多模光模块耦合方法还包括：

获取耦合对准后的光功率值、并判断所述光功率值是否满足预设要求；

响应于所述光功率值满足预设要求，则控制点胶控制器在所述待耦合产品 的结合处点胶；

采用UV光源对点胶处进行照射以使点胶固化。

基于同样的发明构思，本申请还提供一种多模光模块耦合系统，所述系统 包括控制模块、显示装置及摄像模块；

所述控制模块用于获取摄像模块采集到的包含待耦合产品的图像数据、并 对所述图像数据进行预处理；所述控制模块还用于将处理后的所述图像数据与 预设的图像模板进行匹配以对所述待耦合产品进行位置校正、并获取校正偏差 值；所述控制模块还用于根据所述校正偏差值对所述待耦合产品进行耦合对准；

所述摄像模块用于采集待耦合产品的图像数据；

所述显示装置与所述控制模块连接，用于显示所述待耦合产品的图像数据。

在其中一个实施例中，所述多模光模块耦合系统还包括：

电动位移平台，与所述控制模块连接，用于根据所述控制模块的指示带动 所述待耦合产品进行移动；

功率计，与所述控制模块连接，用于获取耦合对准后的待耦合产品的功率 值；

激光位移传感器，与所述控制模块连接，用于测量所述待耦合产品的高度。

上述多模光模块耦合方法和系统，通过先获取待耦合产品的图像数据、并 对所述图像数据进行预处理，然后将处理后的所述图像数据与预设的图像模板 进行匹配以对所述待耦合产品进行位置校正、并获取校正偏差值，最后根据所 述校正偏差值对所述待耦合产品进行耦合对准的方式，可使整个耦合过程无需 员工的参与，从而实现自动的耦合对准工序；相应地，也会减少对操作员工熟 练度的依赖，并且还能避免员工误操作所带来的物料损失。

附图说明

图1为一实施例中的多模光模块耦合方法流程示意图；

图2为图1中步骤S10的子步骤示意图；

图3为图1中步骤S20的子步骤示意图；

图4为另一实施例中的多模光模块耦合方法流程示意图；

图5为一实施例中的多模光模块耦合系统结构示意图。

具体实施方式

为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。 附图中给出了本申请的较佳实施方式。但是，本申请可以以许多不同的形式来 实现，并不限于本文所描述的实施方式。相反地，提供这些实施方式的目的是 使对本申请的公开内容理解的更加透彻全面。

需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个 元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它 可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语 “垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的，并不表 示是唯一的实施方式。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术 领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术 语只是为了描述具体的实施方式的目的，不是旨在于限制本申请。

请参阅图1，为本申请所提供的一实施例中的多模光模块耦合方法的流程示 意图。该方法可以包括步骤S10-S30。

步骤S10，获取摄像模块采集到的包含待耦合产品的图像数据、并对所述图 像数据进行预处理。

具体地，待耦合产品包括但不限于PCBA(Printed Circuit Board Assembly， 装配印刷电路板)芯片和透镜，本申请的PCBA芯片可以为25G和100G多模 光模块产品的PCBA，并且PCBA的最大尺寸可以为45mm×15mm，有效尺寸可 以为35mm×15mm，在耦合的过程中，需要待耦合产品保持较好的清洁度，避 免尘埃等外部环境因素的影响。

进一步地，摄像模块可以采用高清的工业相机，可以理解，高清的工业相 机的主要功能就是将光信号转变成有序的电信号。在一实施例中，摄像模块具 体可以采用分辨率为3856×2765的紧凑型工业相机，并搭配X4高清远心镜头。 可以理解，摄像模块采集到的图像数据中既包含了PCBA芯片的图像数据也包 含了透镜的图像数据。

更进一步地，本步骤还可以包括子步骤S10a-S10c。

步骤S10a，对所述图像数据进行灰度化处理、并对处理后的图像数据进行 区域屏蔽。

步骤S10b，对屏蔽后的所述图像数据作均值滤波处理。

步骤S10c，调节滤波处理后的所述图像数据的亮度和对比度。

具体地，为了减少光照不均匀等外部因素的影响以及提升图像的处理速度， 可先对彩色图像进行灰度化处理；可以理解，若该工业相机拍摄的不是彩色图 像，可以省略该步骤；为了进一步提高算法的运行效率，还可以对灰度化处理 之后的图像数据进行区域屏蔽，也即是说，去除元器件以外的干扰信息，仅留 下感兴趣的区域有效信息；对区域屏蔽之后的图像数据进行适当强度的均值滤 波处理，可以理解，对PCBA芯片和透镜的图像数据的强度应当是不一致的， 通过进行均值滤波处理可以降低感兴趣的图像数据区域的噪声，去除比较明显 的干扰因素，使其边界更加的平滑；最后调节图像数据的亮度和对比度，增强图像数据的边界对比对，方便后续的圆弧边界找寻。

在一个实施例中，步骤S10之前，还可以包括步骤：

调整摄像模块的拍摄参数值。

具体地，可先调整工业相机与待耦合产品之间的距离以达到合适的工作高 度，并根据环境因素来调整工业相机的拍摄参数值，使该拍摄参数值达到最佳 化，此时可以拍摄到待耦合产品在全视野情况下的清晰图像。其中，拍摄参数 值可以包括图像像素、图像显示区域、图像亮度和色度、图像的拍摄频率和数 量等。在拍摄的过程中，工业相机可以采取单张取像的方式(亦可根据实际需 要每次获取多张照片)，在一个实施例中，由于取像来源的工业相机为彩色相机， 每一张的RGB(Red、Green、Blue)图像需要3×8bit的空间来存储，因此图像 的存储类别选择RGB U32，且在单张取像之后停止取像并结束相机设定，释放 相机资源。

步骤S20，将处理后的所述图像数据与预设的图像模板进行匹配以对所述待 耦合产品进行位置校正、并获取校正偏差值。

具体地，该步骤可以包括子步骤S20a-S20e。

步骤S20a，在预设的图像模板范围内对所述图像数据进行模板匹配以确认 所述图像数据的相似度。

具体地，在进行耦合对准之前，通常都会存储有标准的图像数据模板，通 常包括PCBA模板和透镜模板，由于前述对采集的图像数据进行了区域屏蔽， 所以在本步骤中，需要将区域屏蔽之后的图像数据与标准的图像模板进行模板 匹配，以获取图像数据之间的相似度。可以理解，对于图像的相似度的获取方 法可以根据现有的图像技术进行，在此不做进一步地赘述。获取相似度的目的 主要是便于后续的位置校正，也便于校正偏差值的理论计算。

步骤S20b，以所述图像模板的几何中心为坐标原点建立三维成像坐标系。

具体地，在确定当前的待耦合产品的图像数据与标准或者已知的图像模板 的相似度之后，以该标准或者已知的图像模板的几何中心为坐标原点建立三维 成像坐标系，当然，还可以将图像模板的其他位置作为坐标原点来建立三维成 像坐标系。

步骤S20c，对处理后的所述图像数据限定的范围内进行圆弧边界寻找。

由于透镜的边界为圆弧状的，而PCBA芯片中的圆弧边界需要放大到很大 的倍数才能看见，通常在耦合对准的时候，可以保持其中一个产品的位置不变， 而去移动另外一个产品。所以本申请此处以透镜的图像为例，可以通过对图像 数据中是否存在圆弧状的边界进行寻找，因为前述进行了区域屏蔽，有可能将 圆弧边界给屏蔽掉。

在步骤S20c之后，还可以包括步骤：

根据寻找到的圆弧的数量判定所述待耦合产品是否存在。

由于一张图像里面只有一个产品，所以，可以根据前述圆弧边界寻找到的 圆弧的数量来判定区域屏蔽后的透镜图像中是否存在透镜，如果查找到的圆弧 的数量为1，则表明透镜存在；如果查找到的圆弧的数量为0，则表明透镜不存 在，则应当对此次耦合的物料(PCBA和透镜)进行更换，启动下一步的耦合操 作。

步骤S20d，获取所述圆弧对应圆的圆心在所述三维成像坐标系下的坐标值。

步骤S20e，根据所述坐标值与预设的坐标值获取校正偏差值。

基于同一个三维成像坐标系，可以获取到实时取像的数据与标准的图像数 据之间的偏差值，以透镜的图像数据为例，通常，标准的透镜图像模板中几何 中心就是透镜的几何中心，由于透镜的外廓通常为圆，所以，几何中心也就是 圆心，在以此圆心为坐标原点作的三维成像坐标系下，将区域屏蔽之后的透镜 的图像数据中寻找到的圆弧边界的圆心与标准的透镜图像模板中的圆心进行比 较，例如，以标准的透镜图像模板中的圆心为(0，0，0)为例，通过寻找圆弧 边界得到的圆心坐标为(1，2，0)，则此时的偏差值即为(1，2，0)，该偏差 值也即是为本申请中的校正偏差值。

步骤S30，根据所述校正偏差值对所述待耦合产品进行耦合对准。

具体地，当获取到上述偏差值后，可通过控制电动位移平台移动来完成对 待耦合产品的耦合对准，以偏差值为(1，2，0)为例，说明电动位移平台需要 将透镜沿三位成像坐标系下的X轴的正半轴方向移动一个单位，再沿Y轴的正 半轴方向移动两个单位，移动的顺序不固定，也可以交换。取像校正以及耦合 对准的过程可能需要循环进行多次，直至达到要求。

上述多模光模块耦合方法，通过先获取待耦合产品的图像数据、并对所述 图像数据进行预处理，然后将处理后的所述图像数据与预设的图像模板进行匹 配以对所述待耦合产品进行位置校正、并获取校正偏差值，最后根据所述校正 偏差值对所述待耦合产品进行耦合对准的方式，可使整个耦合过程无需员工的 参与，从而实现自动的耦合对准工序；相应地，也会减少对操作员工熟练度的 依赖，并且还能避免员工误操作所带来的物料损失。

在一个实施例中，为了进一步确认是否耦合成功，该多模光模块耦合方法 还可以包括步骤：S40-S50(可参阅图4)。

步骤S40，获取耦合对准后的光功率值、并判断所述光功率值是否满足预设 要求。

步骤S50，响应于所述光功率值满足预设要求，则控制点胶控制器在所述待 耦合产品的结合处点胶。

步骤S60，采用UV光源对点胶处进行照射以使点胶固化。

通常来讲，光模块产品中会包含一个发射的模块和一个接收的模块，发射 模块和接收模块都要耦合相应的透镜，本具体实施例中，仅以发射模块处耦合 的透镜为例进行说明，当耦合对准后，可通过检测光功率值的方式来进一步判 断是否合格，光功率值可通过光功率计来获取，如果获取到的光功率值满足预 设的光功率值的要求，则视为合格。那么就可以控制点胶控制器在所述待耦合 产品的结合处点胶，从而完成待耦合产品的耦合。该胶水包括但不限于UV胶 水。同理，当透镜为接收模块的透镜时，可以通过检测ADC值是否合格的方式 来进行判断。

进一步地，当在待耦合产品的结合处点上胶水之后，可以采用UV光源对 点胶处进行照射以使胶水固化。具体地，可通过电动位移平台将UV导管移动 到胶点上方，控制UV光源打开，照射30秒后自动退出并进入下一耦合流程。

基于同样的发明构思，请参阅图5，本申请还提供一种多模光模块耦合系统， 该耦合系统可以包括控制模块20，显示装置30及摄像模块40，其中，所述控 制模块20用于获取摄像模块40采集到的包含待耦合产品10的图像数据、并对 所述图像数据进行预处理；所述控制模块20还用于将处理后的所述图像数据与 预设的图像模板进行匹配以对所述待耦合产品10进行位置校正、并获取校正偏 差值；所述控制模块20还用于根据所述校正偏差值对所述待耦合产品10进行 耦合对准；所述摄像模块40用于采集待耦合产品10的图像数据；所述显示装 置30与所述控制模块20连接，用于显示所述待耦合产品10的图像数据。

待耦合产品10包括但不限于PCBA(Printed Circuit Board Assembly，装配 印刷电路板)芯片和透镜，本申请的PCBA芯片可以为25G和100G多模光模 块产品的PCBA，并且PCBA的最大尺寸为45mm×15mm，有效尺寸可以为 35mm×15mm，在耦合的过程中，需要待耦合产品保持较好的清洁度，避免尘埃 等外部环境因素的影响。

进一步地，摄像模块40可以采用高清的工业相机，可以理解，高清的工业 相机的主要功能就是将光信号转变成有序的电信号。在一实施例中，摄像模块 40具体可以采用分辨率为3856×2765的紧凑型工业相机，并搭配X4高清远心 镜头。可以理解，摄像模块40采集到的图像数据中既包含了PCBA芯片的图像 数据也包含了透镜的图像数据。

本系统有两个操作界面(可通过所述显示装置30中进行显示)，手动调试 界面，自动运行界面(主界面)。可通过右下角的按钮进行切换。

(1)主界面：

“TX功率值显示”：TX(Transmit，发射)端从USBG光功率计中读出并 显示。

“RX ADC值显示”：RX(Receive，接收)端从PCBA的MCU中读出 ADC(Analog toDigital Converter)值并显示

“图像显示窗口”：上方为芯片取像显示，下方为LENS取像显示。

“耦合模式选择“”：进行TX或者RX耦合模式的切换复选框。

“上料位置”：上料时点击上料位置按钮，将滑台移动到上料位置并开启 LENS真空吸附。

“开始耦合”：上料完成后点击开始耦合按钮，滑台运动到取像位置，开始 进行取像定位和校正耦合动作。

(2)手动调试界面：

“点动界面”：用于电动轴的点动动作，点击“点动开关”按钮控制打开关 闭，可使用键盘快捷键操作。

“系统复位”：用于手动复位系统。

“校正功能区”：用于对TX/RX在功率最佳值和空间位置的偏差值进行设 置。

“针头校位”：用于设置点胶针头位置的偏差，修正每次更换胶筒的位置偏 差。

本系统的操作步骤如下：

确保真空泵与系统各个设备供电正常后打开自动耦合软件并运行。在设置 选择合适的“图像源”以及“芯片引脚检测”的开关。在“耦合模式选择”复 选框中勾选“TX”，再点击“上料位置”按钮，等待滑台到位后进行上料。点击 检测按钮进行检测。确定PCBA芯片与透镜清晰且无脏污，勾选“点胶”复选 框，并将点胶头手动推到最左端。再点击“开始耦合”按钮。点击“保存”按 钮可对当前图片和FAIL信息进行保存。当软件界面运行状态提示框中显示“校 正完成”时，再手动将UV灯头手动推到最左端。观察软件上显示的光功率值 /ADC值是否符合规定，若合格则踩下脚踏板进行UV。UV完成后，再点击"完 成"按钮，电动位移平台将自动退回到下一步位置。TX耦合完成后，进入下一 步骤继续进行RX端的耦合。RX端耦合完成后取下物料，电动位移平台将自动 移动到TX上料位置进行下一个物料的耦合。

进一步地，该多模光模块耦合系统还可以包括电动位移平台50，功率计60 及激光位移传感器70。其中，所述电动位移平台50与所述控制模块20连接， 用于根据所述控制模块20的指示带动所述待耦合产品10进行移动；所述功率 计与所述控制模块20连接，用于获取耦合对准后的待耦合产品10的功率值； 所述激光位移传感器70与所述控制模块20连接，用于测量所述待耦合产品10 的高度。

更进一步地，电动位移平台50可以采用步进电机，通过将需要移动的单位 转换成相应的脉冲数来驱动步进电机进行运动校正。电动位移平台50可以沿 X/Y/Z轴移动，并且，电动位移平台50上放置有待耦合产品(PCBA芯片和透 镜)，PCBA芯片和透镜可以分别置于两个电动位移平台50上，从而能够进行位 置校正。激光位移传感器70用来对PCBA芯片和透镜的高度进行测量补偿，其 测量的精度可以选用1微米。当获取到位置校正得到的校正偏差值时，可借助 激光位移传感器70和电动位移平台50来完成运动校正。可以理解，该多模光 模块耦合系统还可以包括点胶控制器、UV光源、光源控制器等模块。

上述多模光模块耦合系统，通过设置摄像模块来获取获取待耦合产品的图 像数据；通过设置控制模块来对所述图像数据进行预处理，然后将处理后的所 述图像数据与预设的图像模板进行匹配以对所述待耦合产品进行位置校正、并 获取校正偏差值，最后通过电动位移平台根据所述校正偏差值对所述待耦合产 品进行耦合对准的方式，可使整个耦合过程无需员工的参与，从而实现自动的 耦合对准工序；相应地，也会减少对操作员工熟练度的依赖，并且还能避免员 工误操作所带来的物料损失。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程， 是可以通过计算机程序来指令相关的硬件来完成，所述程序可以存储于一计算 机可读取存储介质中，如本发明实施例中，该程序可存储于计算机系统的存储 介质中，并被该计算机系统中的至少一个处理器执行，以实现包括如上述各方 法的实施例的流程。其中，存储介质可以为磁碟、光盘、只读存储器(Read-Only Memory，ROM)或随机存储器(Random-AccessMemory，RAM)等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对 上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技 术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细， 但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的 普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改 进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权 利要求为准。

Claims (10)

1.一种多模光模块耦合方法，其特征在于，所述方法包括：

获取摄像模块采集到的包含待耦合产品的图像数据、并对所述图像数据进行预处理；

将处理后的所述图像数据与预设的图像模板进行匹配以对所述待耦合产品进行位置校正、并获取校正偏差值；

根据所述校正偏差值对所述待耦合产品进行耦合对准。

2.根据权利要求1所述的多模光模块耦合方法，其特征在于，所述待耦合产品为PCBA芯片和透镜。

3.根据权利要求2所述的多模光模块耦合方法，其特征在于，所述摄像模块采用分辨率为3856×2765的紧凑型工业相机。

4.根据权利要求1-3任一项所述的多模光模块耦合方法，其特征在于，所述对所述图像数据进行预处理的步骤，包括：

对所述图像数据进行灰度化处理、并对处理后的图像数据进行区域屏蔽；

对屏蔽后的所述图像数据作均值滤波处理；

调节滤波处理后的所述图像数据的亮度和对比度。

5.根据权利要求4所述的多模光模块耦合方法，其特征在于，所述将处理后的所述图像数据与预设的图像模板进行匹配以对所述待耦合产品进行位置校正、并获取校正偏差值的步骤，包括：

在预设的图像模板范围内对所述图像数据进行模板匹配以确认所述图像数据的相似度；

以所述图像模板的几何中心为坐标原点建立三维成像坐标系；

对处理后的所述图像数据限定的范围内进行圆弧边界寻找；

获取所述圆弧对应圆的圆心在所述三维成像坐标系下的坐标值；

根据所述坐标值与预设的坐标值获取校正偏差值。

6.根据权利要求5所述的多模光模块耦合方法，其特征在于，还包括：

根据寻找到的圆弧的数量判定所述待耦合产品是否存在。

7.根据权利要求4所述的多模光模块耦合方法，其特征在于，所述获取摄像模块采集到的包含待耦合产品的图像数据、并对所述图像数据进行预处理的步骤之前，还包括：

调整摄像模块的拍摄参数值。

8.根据权利要求1所述的多模光模块耦合方法，其特征在于，还包括：

获取耦合对准后的光功率值、并判断所述光功率值是否满足预设要求；

响应于所述光功率值满足预设要求，则控制点胶控制器在所述待耦合产品的结合处点胶；

采用UV光源对点胶处进行照射以使点胶固化。

9.一种多模光模块耦合系统，其特征在于，所述系统包括控制模块、显示装置及摄像模块；

所述控制模块用于获取摄像模块采集到的包含待耦合产品的图像数据、并对所述图像数据进行预处理；所述控制模块还用于将处理后的所述图像数据与预设的图像模板进行匹配以对所述待耦合产品进行位置校正、并获取校正偏差值；所述控制模块还用于根据所述校正偏差值对所述待耦合产品进行耦合对准；

所述摄像模块用于采集待耦合产品的图像数据；

所述显示装置与所述控制模块连接，用于显示所述待耦合产品的图像数据。

10.根据权利要求9所述的多模光模块耦合系统，其特征在于，还包括：

电动位移平台，与所述控制模块连接，用于根据所述控制模块的指示带动所述待耦合产品进行移动；

功率计，与所述控制模块连接，用于获取耦合对准后的待耦合产品的功率值；

激光位移传感器，与所述控制模块连接，用于测量所述待耦合产品的高度。