CN109936696A - 基于神经网络的光纤端面自动对焦的方法和相关装置 - Google Patents
基于神经网络的光纤端面自动对焦的方法和相关装置 Download PDFInfo
- Publication number
- CN109936696A CN109936696A CN201910151409.6A CN201910151409A CN109936696A CN 109936696 A CN109936696 A CN 109936696A CN 201910151409 A CN201910151409 A CN 201910151409A CN 109936696 A CN109936696 A CN 109936696A
- Authority
- CN
- China
- Prior art keywords
- face
- fiber end
- neural network
- focusing
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000000835 fiber Substances 0.000 title claims abstract description 145
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 68
- 239000013307 optical fiber Substances 0.000 claims description 31
- 238000012549 training Methods 0.000 claims description 24
- 238000006073 displacement reaction Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 8
- 230000009194 climbing Effects 0.000 claims description 7
- 238000003475 lamination Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 4
- 210000005036 nerve Anatomy 0.000 claims 1
- 230000006870 function Effects 0.000 description 21
- 230000008859 change Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 101000871498 Homo sapiens m7GpppX diphosphatase Proteins 0.000 description 2
- MIQYPPGTNIFAPO-CABCVRRESA-N PS(6:0/6:0) Chemical compound CCCCCC(=O)OC[C@@H](OC(=O)CCCCC)COP(O)(=O)OC[C@H](N)C(O)=O MIQYPPGTNIFAPO-CABCVRRESA-N 0.000 description 2
- 239000000571 coke Substances 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 102100033718 m7GpppX diphosphatase Human genes 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 241001156002 Anthonomus pomorum Species 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000012459 cleaning agent Substances 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 230000003412 degenerative effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004519 grease Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007517 polishing process Methods 0.000 description 1
- 231100000241 scar Toxicity 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Abstract
本发明公开了一种基于神经网络的光纤端面自动对焦方法，通过获取初始位置的光纤端面图像和以预设步进移动至第二位置的光纤端面图像，输入到训练好的神经网络中进行判断，神经网络根据两张输入图片的清晰度变化状态生成的对应的移动方向标签，根据移动方向标签，判断光纤夹具的下一次移动方向和移动步进，连续循环地调用神经网络，对不同轴向位置的光纤端面图像进行清晰度变化状态的连续判断，并结合对焦方式，直至达到对焦清晰的程度，最终实现快速准确地找到最佳对焦位置，本发明无需进行人工调焦，即可能够实现高效高精度的自动对焦，而且对焦窗口具有针对性，能够更好的对抗背景带来的干扰。
Description
技术领域
本发明涉及计算机软件领域，尤其是一种基于神经网络的光纤端面自动对焦的方法、装置、设备和存储介质。
背景技术
光纤作为信息的载体，是光纤通信系统的重要组成部分，光纤被广泛地应用于通信等领域中，在光纤通信中，光纤的活动连接都是通过光纤连接器实现的，而光纤端面的洁净程度对连接器的性能有决定性的影响，例如在抛光过程中或者在光纤插拔等在线业务操作过程中产生的光纤端面永久性损伤，如划伤、裂痕等，光纤端面还会受到各种各样的临时性污染，如污垢、油渍、水或清洗剂的残留，从而影响其传输性能，不仅会使连接损耗变大，通信性能下降，严重时纤芯被堵不能传输光信号，导致纤芯被高功率激光烧坏。因此，为了保证光纤通信的稳定与高效，在光纤活动连接前对光纤端面进行瑕疵检测有极大的必要性。
传统的光纤端面瑕疵检测通常采用人工检测和传统图像处理算法自动对焦的方法，首先由人工调焦获得光纤端面的清晰图像，然后用肉眼观察进行人工判定，这种检测方式效率低，检测结果主观性很强，采用手动调焦，既无法保证对焦的精度，也不利于对焦过程的自动化，另外，采用传统图像处理算法进行自动对焦，其对焦效果较大受限于具体应用场景下的设备环境参数，其对焦速度慢，对焦精度较低，对焦窗口固定，容易被对焦背景干扰，而且传统对焦方法通用性差，需要针对具体的成像环境选择合适的对焦评价函数。
因此提供一种能够提高光纤端面对焦精度和对焦速度的自动对焦方法是很有必要的。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的目的是提供一种基于神经网络算法来提高光纤端面对焦精度和对焦速度的自动对焦方法、装置、设备和存储介质。
本发明所采用的技术方案是：
第一方面，本发明提供一种基于神经网络的光纤端面自动对焦方法，光纤固定在光纤夹具上，包括步骤：
设置光纤的当前位置作为初始位置，采集获取所述初始位置的第一光纤端面图像；
以预设步进移动光纤夹具至第二位置，采集获取所述第二位置的第二光纤端面图像；
将所述第一光纤端面图像和所述第二光纤端面图像按照采集顺序输入至训练后的神经网络中，所述神经网络包括以下一种：BP网络、CNN网络或ResNet网络；
获得所述神经网络的输出结果，所述输出结果为根据两张输入图片的清晰度变化状态生成的对应的移动方向标签，所述移动方向标签包括：正确方向标签或错误方向标签；
根据所述移动方向标签和对焦策略调整光纤夹具的位置，直至所述光纤的端面到达清晰对焦位置，所述对焦策略包括以下至少一种：遍历法、变步长法和爬山法。
进一步地，所述对焦策略为变步长法，具体是：根据所述移动方向标签调整所述光纤夹具下一次移动的移动方向并调整预设步进的大小，直至所述光纤的端面到达清晰对焦位置。
进一步地，所述神经网络的训练过程包括步骤：
对多种类型的光纤端面，均获取在对焦场景中清晰对焦成像的少量光纤端面图像作为每个类型光纤端面的基础图像；
对所述基础图像进行扩充形成大量相关图像，组成每个种类光纤端面的类型图像库；
对所述类型图像库中所述相关图像通过离焦的方式，生成一组对应的光纤端面在不同离焦位置的离焦图像序列，并对所述离焦图像序列中的图像进行两两排列组合，构成图像样本；
比较所述图像样本分别对应的离焦位置和对应的基础图像的清晰对焦成像位置，生成指示移动方向的移动方向标签；
将所述图像样本和对应的移动方向标签作为训练样本，输入神经网络中，对所述神经网络进行训练，得到训练后的神经网络。
进一步地，所述扩充的具体方式包括以下至少一种：翻转、缩放、旋转或对比度拉伸。
进一步地，所述离焦的方式为通过圆盘离焦模型进行离焦。
进一步地，所述神经网络为CNN网络，所述CNN网络的结构为：包括四个卷积层，分别为第一卷积层、第二卷积层、第三卷积层和第四卷积层，每一个卷积层后面连接对应的池化层，所述第一卷积层和第二卷积层的卷积核大小为64，所述第三卷积层的卷积核大小为32，所述第四卷积层的卷积核大小为16，所述第四卷积层对应的池化层后还包括两个全连接层。
进一步地，所述CNN网络的损失函数为：交叉熵损失函数。
第二方面，本发明提供一种基于神经网络的光纤端面自动对焦的装置，包括：
第一采集装置，用于在设置光纤的当前位置作为初始位置后，采集获取所述初始位置的第一光纤端面图像；
第二采集装置，用于在以预设步进移动光纤夹具至第二位置后，采集获取所述第二位置的第二光纤端面图像；
神经网络输出装置，用于将所述第一光纤端面图像和所述第二光纤端面图像按照采集顺序输入至训练后的神经网络中，获得所述神经网络的输出结果，所述输出结果为根据两张输入图片的清晰度变化状态生成的对应的移动方向标签，所述移动方向标签包括：正确方向标签或错误方向标签；
调整对焦装置，用于根据所述移动方向标签和对焦策略调整光纤夹具的位置，直至所述光纤的端面到达清晰对焦位置，所述对焦策略包括以下至少一种：遍历法、变步长法和爬山法。
第三方面，本发明提供一种基于神经网络的光纤端面自动对焦的设备，包括：位移平台、光纤夹具、数控模块、控制装置和图像采集装置；
所述光纤夹具与所述位移平台刚性连接，用于固定光纤端面，所述位移平台为高精度单轴位移平台；
所述图像采集装置用于采集光纤端面的图像，并将采集的图像发送给所述控制装置；
所述控制装置根据如第一方面任一项所述的一种基于神经网络的光纤端面自动对焦方法发送位移控制信号至所述数控模块；
所述数控模块用于根据所述位移控制信号，控制所述位移平台的移动，实现对光纤端面的自动对焦。
第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面任一项所述的方法。
本发明的有益效果是：
本发明通过获取初始位置的光纤端面图像和以预设步进移动至第二位置的光纤端面图像，输入到训练好的神经网络中进行判断，神经网络根据两张输入图片的清晰度变化状态生成的对应的移动方向标签，根据移动方向标签，判断光纤夹具的下一次移动方向和移动步进，连续循环地调用神经网络，对不同轴向位置的光纤端面图像进行清晰度变化状态的连续判断，并结合对焦方式，直至达到对焦清晰的程度，最终实现快速准确地找到最佳对焦位置，克服了现有技术进行光纤端面对焦过程中对焦精度低、对焦速度慢且对焦精度受限于对焦环境的缺点，本发明无需进行人工调焦，即可能够实现高效高精度的自动对焦，而且对焦窗口具有针对性，能够更好的对抗背景带来的干扰。
另外，本发明通过收集少量的图片便可生成大量数据集进行神经网络模型训练，在投入的时间成本和方法的普适性的对立中取得较好的均衡。
附图说明
图1是本发明中基于神经网络的光纤端面自动对焦方法的一具体实施例的实现流程图；
图2是本发明中基于神经网络的光纤端面自动对焦方法的一具体实施例的神经网络一种结构示意图；
图3是本发明中基于神经网络的光纤端面自动对焦方法的一具体实施例的选取训练样本集过程示意图；
图4是本发明中基于神经网络的光纤端面自动对焦方法的一具体实施例的具体流程图；
图5是本发明中基于神经网络的光纤端面自动对焦装置的一具体实施例的结构框图；
图6是本发明中基于神经网络的光纤端面自动对焦设备的一具体实施例的结构示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
实施例一：
本发明基于神经网络算法实现对光纤端面的快速准确的自动对焦，本发明实施例一提供一种基于神经网络的光纤端面自动对焦方法，图1为本发明实施例提供的一种基于神经网络的光纤端面自动对焦方法的实现流程图，如图1所示，该方法可以包括以下步骤：
S1：采集输入图像，输入图像包括两个，具体是，首先设置光纤的当前位置作为初始位置，采集获取初始位置的光纤端面图像作为第一光纤端面图像，然后以预设步进按轴向方向移动光纤夹具至第二位置，采集获取第二位置的光纤端面图像作为第二光纤端面图像。
S2：输入采集的图像至训练好的神经网络中，指将采集的第一光纤端面图像和第二光纤端面图像按照采集顺序输入至训练后的神经网络中。
S3：获取神经网络的输出结果，本实施例中，神经网络的输出结果为根据两张输入图片的清晰度变化状态生成的对应的移动方向标签，其中移动方向标签包括：正确方向标签或错误方向标签，例如当后一个位置的图像清晰度比头一个图像清晰度高，则认为本次的移动方式是正确的，则输出正确方向标签，反之输出错误方向标签。
S4：根据神经网络输出结果调整光纤位置直至对焦成功，指根据获得的移动方向标签和对焦策略调整光纤夹具的位置，直至光纤的端面到达清晰对焦位置，对焦策略包括以下几种：遍历法、变步长法和爬山法，本实施例以变步长法为例，变步长法的对焦策略具体是：根据移动方向标签调整光纤夹具下一次移动的移动方向并调整预设步进的大小，直至光纤的端面到达清晰对焦位置。
本实施例中，将自动对焦问题转化为深度学习中二分类问题，由于目前常用的多种神经网络模型：如BP网络(back propagationNetwork)、CNN网络(Convolutional NeuralNetworks)和ResNet网络(Residual Neural Network)等，均能实现分类任务，因此都可以用于本实施例中，下面以CNN网络为例对本实施例中搭建的神经网络进行详细解释。
如图2所示，为本实施例中神经网络的一种结构示意图，图中仅仅示出了神经网络的一种可行结构，并不代表本实施例的神经网络仅能通过这种结构实现。本实施例中CNN网络的一种可行结构为：包括四个卷积层，分别为第一卷积层、第二卷积层、第三卷积层和第四卷积层，每一个卷积层后面连接对应的池化层，其中具体的设置如下所述：
第一卷积层(Conv2d_1)：卷积核大小为k＝3×3×3，卷积核个数n＝64，滑动窗口步长大小为1×1，填充方式为SAME填充，使用ReLU函数激活；
第一池化层(Max_pooling2d_1)：池化窗口大小为3×3，滑动窗口步长大小为2×2，池化方式为最大池化方式，填充方式为SAME填充；
第二卷积层(Conv2d_2)：卷积核大小为k＝3×3×64，卷积核个数n＝64，滑动窗口步长大小为1×1，填充方式为SAME填充，使用ReLU函数激活；
第二池化层(Max_pooling2d_2)：池化窗口大小为3×3，滑动窗口步长大小为1×1，池化方式为最大池化，填充方式为SAME填充；
第三卷积层(Conv2d_3)：卷积核大小为k＝3×3×64，卷积核个数n＝32，滑动窗口步长大小为1×1，填充方式为SAME填充，使用ReLU函数激活；
第三池化层(Max_pooling2d_3)：池化窗口大小为3×3，滑动窗口步长大小为1×1，池化方式为最大池化，填充方式为SAME填充；
第四卷积层(Conv2d_4)：卷积核大小为k＝3×3×32，卷积核个数n＝16，滑动窗口步长大小为1×1，填充方式为SAME填充，使用ReLU函数激活；
第四池化层(Max_pooling2d_4)：池化窗口大小为3×3，滑动窗口步长大小为1×1，池化方式为最大池化，填充方式为SAME填充；
第一全连接层(FC_1)：包含128个全连接神经元节点；
第二全连接层(FC_2)：包含128个全连接神经元节点；
采用Softmax层分类器：将输入128个节点通过全连接层输出为两类，即二分类过程。
本实施例中神经网络，将自动对焦问题转化为深度学习中的二分类问题，使用的损失函数为分类问题常用的损失函数：交叉熵损失(Cross Entropy Loss)函数。交叉熵定义为实际输出(概率)与期望输出(概率)的距离，也就是两个概率分布之间的距离，当交叉熵越小说明，两个概率分布越接近，模型输出与标签之间越接近，公式定义为：
其中，H(p,q)表示交叉熵，p(x)表示期望输出，q(x)表示实际输出。
下面说明本实施例的神经网络训练过程，首先是训练样本集的选取，以下是本实施例的训练样本集的一种获取方式，但是本实施例不限于这一种方式，也可以采用其他方式生成训练样本集。
如图3所示，为本实施例选取训练样本集过程示意图，根据该示意图可见，训练样本集的选取包括下面步骤：
1)对多种类型的光纤端面，均获取在对焦场景中清晰对焦成像的少量光纤端面图像作为每个类型光纤端面的基础图像；
2)对每一个基础图像进行扩充，形成大量相关图像，组成每个种类光纤端面的类型图像库，扩充的具体方式包括：翻转、缩放、旋转或对比度拉伸等数据增强操作方式。
3)对类型图像库中相关图像通过离焦的方式，由一张图片计算仿真生成一组对应的光纤端面在不同离焦位置的离焦图像序列，并对离焦图像序列中的图像进行两两排列组合，作为对应光纤移动前后的两个位置所采集的图片，构成图像样本，光纤移动前后即类似于本实施例中从初始位置移动到第二位置。
4)比较两个图像样本分别对应的离焦位置和对应的基础图像的清晰对焦成像位置，生成指示移动方向的移动方向标签，即正确方向标签：代表移动方向正确，经过移动之后得到第二位置的图像相比较初始位置，图像正处于变清晰的过程，此次移动光纤端面在靠近焦点位置，错误方向标签代表移动方向错误，图像正处于变模糊的过程，此次移动光纤端面在远焦点位置，用于指示移动方向和移动步进的准确性。
5)将图像样本和对应的移动方向标签作为训练样本，构成本实施例神经网络的训练样本集。
步骤3)中离焦的方式为通过圆盘离焦模型进行离焦，由离焦产生的退化过程可表示如下：
d(x,y)＝f(x,y)*h(x,y)+n(x,y)
其中，d(x,y)表示退化图像，f(x,y)表示输入图像，h(x,y)表示点扩散函数，n(x,y)表示加性噪声函数。
对应的频域表达式为：
D(u,v)＝F(u,v)*H(u,v)+N(u,v)
由于采用的是圆盘离焦模型，因此其点扩散函数可以近似为一个圆盘函数：
其中：r为离焦模糊半径，其大小决定图像的离焦程度。
对点扩散函数进行傅里叶变换得到：
其中，J1为一阶第一类Bessel函数，M*N是二维傅里叶变换的尺寸。
本实施例中由退化函数的频域表达式，可以生成相应的频域滤波器，即可通过该频域滤波器得出原图像退化后的频域表达式，再经过反傅里叶变化就可以得到退化图像的时域表达式。
根据上述方式得到训练样本集之后，即通过训练样本集对本实施例中神经网络进行训练，神经网络训练完成，收敛后将具备判断光纤端面移动前后清晰度变化的能力，即可根据神经网络的输出对光纤端面下一次移动的方向和预设步进进行自动控制，继而控制位移平台移动光纤端面到达正确对焦位置。
对图像清晰度变化评价指标常用基于梯度的对焦评价函数，例如Tenengrad梯度函数、Brenner梯度函数、Laplacian梯度函数等。本实施例中，采用本方法使用离焦模糊公式，对一张清晰的光纤端面正确对焦图片引入不同程度的离焦量，形成离焦图像序列，用Roberts算子计算梯度作为辅助的清晰度评价指标，其可以验证本实施例的自动对焦算法在仿真生成的离焦图像序列上的单峰性和单调性，其中Reboerts算子是一种利用局部差分，即计算对角方向相邻两像素值之差来寻找边缘的算子，Reboerts梯度计算公式如下：
其中，Gx＝f(i,j)-f(i-1,j-1)，Gy＝f(i-1,j)-f(i,j-1)。
本实施例的神经网络在训练的过程中，使得神经网络收敛后具备判断位移前后采集到的光纤端面清晰度变化的能力，以此作为光纤端面下一次移动的方向和预设步进的依据，从而实现由神经网络指示位移平台移动光纤端面到达正确对焦位置。
下面结合图4说明本实施例的一种基于神经网络的光纤端面自动对焦方法具体流程。
如图4所示，为本实施例的一个具体流程图。
需要指出的是，本实施例在选择对焦策略以实现对焦的过程中，具有较大的灵活性，可以根据实际应用需求，将训练好的神经网络与一种或多种不同的对焦策略进行结合，以满足不同的对焦速度和对焦精度的需求，可以采用的对焦策略包括如遍历法、变步长法、爬山法等，本实施例以变步长法为例进行解释。
S11：首先设置当前位置为起始位置，进行初始位置的图像采集，即第一光纤端面图像，作为输入神经网络的前一张图像；
S12：以预设步进移动光纤夹具至第二位置，停在第二位置并记录当前位置信息；
S13：采集当前位置图像，即第二光纤端面图像，并与上一位置图像(第一光纤端面图像)按采集顺序输入训练好的神经网络，得到神经网络的输出，输出为一个移动方向标签；
S14：根据神经网络的输出标签判断此次移动过程中：光纤端面是否处于变清晰的过程，如果神经网络输出为正确方向标签，则继续按目前方向继续移动并重复步骤S12～S13；
S15：如果神经网络输出为错误方向标签，则改变移动方向，并通过减小预设步进的方式，更新缩小后的搜索区域，重复步骤S12、S13和S14；
S16：如果已经达到了系统最小步长，则确定此时的上一位置为清晰对焦位置，使光纤停留在该位置，结束对焦过程。
本实施例通过深度学习的方法实现对光纤端面的快速准确的自动对焦，无需进行人工调焦，使用少量正确对焦位置的图片通过离焦公式，仿真出对应的离焦图像序列，通过排列组合的方式，生成大量的图像样本对神经网络进行训练，神经网络会自动仿真生成的图像样本和对应的移动方向标签，对比不同的两张图片在不同轴向位置的清晰度，在此过程中自动学习到针对不同目标物体的有效对焦窗口位置以及清晰度的评价指标，只需要循环调用训练好的神经网络模型就能找到正确对焦的位置，在投入的时间成本和方法的普适性的对立中取得较好的均衡。
实施例二：
如图5所示，为本实施例的一种基于神经网络的光纤端面自动对焦的装置结构框图，包括：
第一采集装置，用于在设置光纤的当前位置作为初始位置后，采集获取初始位置的第一光纤端面图像；
第二采集装置，用于在以预设步进移动光纤夹具至第二位置后，采集获取第二位置的第二光纤端面图像；
神经网络输出装置，用于将第一光纤端面图像和第二光纤端面图像按照采集顺序输入至训练后的神经网络中，获得神经网络的输出结果，输出结果为根据两张输入图片的清晰度变化状态生成的对应的移动方向标签，移动方向标签包括：正确方向标签或错误方向标签；
调整对焦装置，用于根据移动方向标签和对焦策略调整光纤夹具的位置，直至光纤的端面到达清晰对焦位置，对焦策略包括以下至少一种：遍历法、变步长法和爬山法。
实施例三：
如图6所示，为本实施例的一种基于神经网络的光纤端面自动对焦的设备结构示意图，包括：位移平台、光纤夹具、数控模块、控制装置、图像采集装置和环形电源。
其中光纤夹具与位移平台刚性连接，用于固定光纤端面，位移平台为高精度单轴位移平台，高精度单轴位移平台与光纤夹具刚性连接，用于定量、精确地改变物距。
图像采集装置包括显微系统、摄像机，用于采集光纤端面的图像，显微系统由显微物镜和镜筒组成，能够获得光纤端面的清晰图像，并由摄像机实时地采集当前位置图像，并将采集的图像发送给控制装置进行分析和处理，传输图像可以采用USB3.0数据传输线高速传输模式，控制装置可以为PC机。
环形电源用于为光纤端面提供均匀的照明，以便对光纤端面的瑕疵进行检测。
控制装置(PC机)上安装软件，能够根据如实施例一描述的一种基于神经网络的光纤端面自动对焦方法分析不同轴向位置采集到的光纤端面图像有效窗口内清晰度的变化，计算得出位移平台的下一次移动的方向和步长，并将位移控制信号通过串口传输到数控模块。
数控模块用于根据位移控制信号，控制位移平台的移动，实现对光纤端面的自动对焦，本实施例中数控模块指数控电源，由数控电源通过DC电流电压变化伺服控制位移平台带动光纤夹具和光纤一起进行精确的单轴运动。
实施例四：
另外，本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，其中计算机可执行指令用于使计算机执行如实施例一所述的方法。
本发明通过获取初始位置的光纤端面图像和以预设步进移动至第二位置的光纤端面图像，输入到训练好的神经网络中进行判断，神经网络根据两张输入图片的清晰度变化状态生成的对应的移动方向标签，根据移动方向标签，判断光纤夹具的下一次移动方向和移动步进，连续循环地调用神经网络，对不同轴向位置的光纤端面图像进行清晰度变化状态的连续判断，并结合对焦方式，直至达到对焦清晰的程度，最终实现快速准确地找到最佳对焦位置，克服了现有技术进行光纤端面对焦过程中对焦精度低、对焦速度慢且对焦精度受限于对焦环境的缺点，本发明无需进行人工调焦，即可能够实现高效高精度的自动对焦，而且对焦窗口具有针对性，能够更好的对抗背景带来的干扰。
另外，本发明通过收集少量的图片便可生成大量数据集进行神经网络模型训练，在投入的时间成本和方法的普适性的对立中取得较好的均衡。
以上各实施例仅用以说明本发明的技术方案，而非对其限制，尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (10)
1.一种基于神经网络的光纤端面自动对焦方法，其特征在于，光纤固定在光纤夹具上，包括步骤：
设置光纤的当前位置作为初始位置，采集获取所述初始位置的第一光纤端面图像；
以预设步进移动光纤夹具至第二位置，采集获取所述第二位置的第二光纤端面图像；
将所述第一光纤端面图像和所述第二光纤端面图像按照采集顺序输入至训练后的神经网络中，所述神经网络包括以下一种：BP网络、CNN网络或ResNet网络；
获得所述神经网络的输出结果，所述输出结果为根据两张输入图片的清晰度变化状态生成的对应的移动方向标签，所述移动方向标签包括：正确方向标签或错误方向标签；
根据所述移动方向标签和对焦策略调整光纤夹具的位置，直至所述光纤的端面到达清晰对焦位置，所述对焦策略包括以下至少一种：遍历法、变步长法和爬山法。
2.根据权利要求1所述的一种基于神经网络的光纤端面自动对焦方法，其特征在于，所述对焦策略为变步长法，具体是：根据所述移动方向标签调整所述光纤夹具下一次移动的移动方向并调整预设步进的大小，直至所述光纤的端面到达清晰对焦位置。
3.根据权利要求1所述的一种基于神经网络的光纤端面自动对焦方法，其特征在于，所述神经网络的训练过程包括步骤：
对多种类型的光纤端面，均获取在对焦场景中清晰对焦成像的少量光纤端面图像作为每个类型光纤端面的基础图像；
对所述基础图像进行扩充形成大量相关图像，组成每个种类光纤端面的类型图像库；
对所述类型图像库中所述相关图像通过离焦的方式，生成一组对应的光纤端面在不同离焦位置的离焦图像序列，并对所述离焦图像序列中的图像进行两两排列组合，构成图像样本；
比较所述图像样本分别对应的离焦位置和对应的基础图像的清晰对焦成像位置，生成指示移动方向的移动方向标签；
将所述图像样本和对应的移动方向标签作为训练样本，输入神经网络中，对所述神经网络进行训练，得到训练后的神经网络。
4.根据权利要求3所述的一种基于神经网络的光纤端面自动对焦方法，其特征在于，所述扩充的具体方式包括以下至少一种：翻转、缩放、旋转或对比度拉伸。
5.根据权利要求4所述的一种基于神经网络的光纤端面自动对焦方法，其特征在于，所述离焦的方式为通过圆盘离焦模型进行离焦。
6.根据权利要求1所述的一种基于神经网络的光纤端面自动对焦方法，其特征在于，所述神经网络为CNN网络，所述CNN网络的结构为：包括四个卷积层，分别为第一卷积层、第二卷积层、第三卷积层和第四卷积层，每一个卷积层后面连接对应的池化层，所述第一卷积层和第二卷积层的卷积核大小为64，所述第三卷积层的卷积核大小为32，所述第四卷积层的卷积核大小为16，所述第四卷积层对应的池化层后还包括两个全连接层。
7.根据权利要求6所述的一种基于神经网络的光纤端面自动对焦方法，其特征在于，所述CNN网络的损失函数为：交叉熵损失函数。
8.一种基于神经网络的光纤端面自动对焦的装置，其特征在于，包括：
第一采集装置，用于在设置光纤的当前位置作为初始位置后，采集获取所述初始位置的第一光纤端面图像；
第二采集装置，用于在以预设步进移动光纤夹具至第二位置后，采集获取所述第二位置的第二光纤端面图像；
神经网络输出装置，用于将所述第一光纤端面图像和所述第二光纤端面图像按照采集顺序输入至训练后的神经网络中，获得所述神经网络的输出结果，所述输出结果为根据两张输入图片的清晰度变化状态生成的对应的移动方向标签，所述移动方向标签包括：正确方向标签或错误方向标签；
调整对焦装置，用于根据所述移动方向标签和对焦策略调整光纤夹具的位置，直至所述光纤的端面到达清晰对焦位置，所述对焦策略包括以下至少一种：遍历法、变步长法和爬山法。
9.一种基于神经网络的光纤端面自动对焦的设备，其特征在于，包括：位移平台、光纤夹具、数控模块、控制装置和图像采集装置；
所述光纤夹具与所述位移平台刚性连接，用于固定光纤端面，所述位移平台为高精度单轴位移平台；
所述图像采集装置用于采集光纤端面的图像，并将采集的图像发送给所述控制装置；
所述控制装置根据如权利要求1至7任一项所述的一种基于神经网络的光纤端面自动对焦方法发送位移控制信号至所述数控模块；
所述数控模块用于根据所述位移控制信号，控制所述位移平台的移动，实现对光纤端面的自动对焦。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910151409.6A CN109936696B (zh) | 2019-02-28 | 2019-02-28 | 基于神经网络的光纤端面自动对焦的方法和相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910151409.6A CN109936696B (zh) | 2019-02-28 | 2019-02-28 | 基于神经网络的光纤端面自动对焦的方法和相关装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109936696A true CN109936696A (zh) | 2019-06-25 |
| CN109936696B CN109936696B (zh) | 2020-09-29 |
Family
ID=66986036
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910151409.6A Active CN109936696B (zh) | 2019-02-28 | 2019-02-28 | 基于神经网络的光纤端面自动对焦的方法和相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109936696B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110749974A (zh) * | 2019-11-04 | 2020-02-04 | 中南大学 | 全载玻片成像扫描仪的自动聚焦方法及其图像获取方法 |
| CN110826476A (zh) * | 2019-11-02 | 2020-02-21 | 国网浙江省电力有限公司杭州供电公司 | 识别目标物体的图像检测方法、装置、电子设备和存储介质 |
| CN110913129A (zh) * | 2019-11-15 | 2020-03-24 | 浙江大华技术股份有限公司 | 基于bp神经网络的聚焦方法、装置、终端及存储装置 |
| CN111007661A (zh) * | 2019-12-02 | 2020-04-14 | 湖南国科智瞳科技有限公司 | 一种基于深度学习的显微图像自动聚焦方法及装置 |
| CN111629147A (zh) * | 2020-06-04 | 2020-09-04 | 中国科学院长春光学精密机械与物理研究所 | 基于卷积神经网络的自动调焦方法及系统 |
| CN112135048A (zh) * | 2020-09-23 | 2020-12-25 | 创新奇智(西安)科技有限公司 | 一种目标对象的自动对焦方法以及装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060151679A1 (en) * | 2005-01-11 | 2006-07-13 | Nikon Corporation | Measuring device and adjustment method thereof |
| CN101536020A (zh) * | 2005-07-18 | 2009-09-16 | 微软公司 | 用任意费用函数训练学习系统 |
| CN101852587A (zh) * | 2009-03-30 | 2010-10-06 | 浙江师范大学 | 光纤连接器端面检测方法及装置 |
| US20140175269A1 (en) * | 2012-12-20 | 2014-06-26 | Fujitsu Limited | Optical fiber orientation detection method and apparatus |
| CN105067104A (zh) * | 2015-09-17 | 2015-11-18 | 天津大学 | 一种复合型光纤传感系统和传感方法 |
| CN105319655A (zh) * | 2014-06-30 | 2016-02-10 | 北京世维通科技发展有限公司 | 一种光学集成芯片与光纤组件的自动耦合方法及系统 |
| CN107992131A (zh) * | 2017-12-11 | 2018-05-04 | 浙江工业大学 | 基于卷积神经网络的光照度测量及光照度智能控制系统 |
| CN108983412A (zh) * | 2018-07-09 | 2018-12-11 | 北京邮电大学 | 一种无波前检测自适应光学系统及光束相位调整方法 |
| KR20190083455A (ko) * | 2018-01-04 | 2019-07-12 | 목포대학교산학협력단 | 레이저유도 플라즈마 분광 분석기에서 시료 표면의 높이 최적화 및 변화를 모니터링하는 장치 및 방법 |
-
2019
- 2019-02-28 CN CN201910151409.6A patent/CN109936696B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060151679A1 (en) * | 2005-01-11 | 2006-07-13 | Nikon Corporation | Measuring device and adjustment method thereof |
| CN101536020A (zh) * | 2005-07-18 | 2009-09-16 | 微软公司 | 用任意费用函数训练学习系统 |
| CN101852587A (zh) * | 2009-03-30 | 2010-10-06 | 浙江师范大学 | 光纤连接器端面检测方法及装置 |
| US20140175269A1 (en) * | 2012-12-20 | 2014-06-26 | Fujitsu Limited | Optical fiber orientation detection method and apparatus |
| CN105319655A (zh) * | 2014-06-30 | 2016-02-10 | 北京世维通科技发展有限公司 | 一种光学集成芯片与光纤组件的自动耦合方法及系统 |
| CN105067104A (zh) * | 2015-09-17 | 2015-11-18 | 天津大学 | 一种复合型光纤传感系统和传感方法 |
| CN107992131A (zh) * | 2017-12-11 | 2018-05-04 | 浙江工业大学 | 基于卷积神经网络的光照度测量及光照度智能控制系统 |
| KR20190083455A (ko) * | 2018-01-04 | 2019-07-12 | 목포대학교산학협력단 | 레이저유도 플라즈마 분광 분석기에서 시료 표면의 높이 최적화 및 변화를 모니터링하는 장치 및 방법 |
| CN108983412A (zh) * | 2018-07-09 | 2018-12-11 | 北京邮电大学 | 一种无波前检测自适应光学系统及光束相位调整方法 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110826476A (zh) * | 2019-11-02 | 2020-02-21 | 国网浙江省电力有限公司杭州供电公司 | 识别目标物体的图像检测方法、装置、电子设备和存储介质 |
| CN110749974A (zh) * | 2019-11-04 | 2020-02-04 | 中南大学 | 全载玻片成像扫描仪的自动聚焦方法及其图像获取方法 |
| CN110749974B (zh) * | 2019-11-04 | 2021-06-01 | 中南大学 | 全载玻片成像扫描仪的自动聚焦方法及其图像获取方法 |
| CN110913129A (zh) * | 2019-11-15 | 2020-03-24 | 浙江大华技术股份有限公司 | 基于bp神经网络的聚焦方法、装置、终端及存储装置 |
| CN110913129B (zh) * | 2019-11-15 | 2021-05-11 | 浙江大华技术股份有限公司 | 基于bp神经网络的聚焦方法、装置、终端及存储装置 |
| CN111007661A (zh) * | 2019-12-02 | 2020-04-14 | 湖南国科智瞳科技有限公司 | 一种基于深度学习的显微图像自动聚焦方法及装置 |
| CN111007661B (zh) * | 2019-12-02 | 2022-02-22 | 湖南国科智瞳科技有限公司 | 一种基于深度学习的显微图像自动聚焦方法及装置 |
| CN111629147A (zh) * | 2020-06-04 | 2020-09-04 | 中国科学院长春光学精密机械与物理研究所 | 基于卷积神经网络的自动调焦方法及系统 |
| CN112135048A (zh) * | 2020-09-23 | 2020-12-25 | 创新奇智(西安)科技有限公司 | 一种目标对象的自动对焦方法以及装置 |
| CN112135048B (zh) * | 2020-09-23 | 2022-02-15 | 创新奇智(西安)科技有限公司 | 一种目标对象的自动对焦方法以及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109936696B (zh) | 2020-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109936696A (zh) | 基于神经网络的光纤端面自动对焦的方法和相关装置 | |
| US10178321B2 (en) | Machine vision inspection system and method for obtaining an image with an extended depth of field | |
| CN105578029B (zh) | 一种多尺度变步长的自动对焦搜索算法 | |
| CN109714519B (zh) | 一种自动调整图像画面的方法和系统 | |
| Xie et al. | Wavelet-based focus measure and 3-d surface reconstruction method for microscopy images | |
| CN109873948A (zh) | 一种光学显微镜智能自动聚焦方法、设备及存储设备 | |
| CN105675266A (zh) | 无限共轭光路测量光学镜头的调制传递函数的装置及方法 | |
| CN109612689A (zh) | 一种光纤端面检测方法及系统 | |
| CN110531484B (zh) | 一种对焦过程模型可设定的显微镜自动对焦方法 | |
| CN111429433A (zh) | 一种基于注意力生成对抗网络的多曝光图像融合方法 | |
| US10613313B2 (en) | Microscopy system, microscopy method, and computer-readable recording medium | |
| CN108051897A (zh) | 一种显微成像系统及实时对焦方法 | |
| CN107077722A (zh) | 图像捕获装置及图像捕获方法 | |
| TWI811758B (zh) | 用於自動對焦顯微鏡系統之深度學習模組、自動對焦一顯微鏡系統之方法及非暫時性電腦可讀媒體 | |
| CN106873142A (zh) | 一种结核杆菌检测仪的高质量图像获取装置及方法 | |
| CN102595049B (zh) | 一种自动聚焦控制系统及方法 | |
| CN107743194A (zh) | 一种基于图像处理的舞台灯自动对焦系统及方法 | |
| Xu et al. | A comparison of contrast measurements in passive autofocus systems for low contrast images | |
| CN109671031A (zh) | 一种基于残差学习卷积神经网络的多光谱图像反演方法 | |
| CN113705298A (zh) | 图像采集方法、装置、计算机设备及存储介质 | |
| WO2019104670A1 (zh) | 深度值确定方法和装置 | |
| CN103168265A (zh) | 成像系统和其关联的方法 | |
| CN109003228A (zh) | 一种暗场显微大视场自动拼接成像方法 | |
| CN110290313B (zh) | 一种引导自动对焦设备失焦的方法 | |
| CN1491030A (zh) | 矩阵像素器件投影显示器的三色会聚方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |