CN113280906A - 基于计算机视觉的泡生法籽晶最佳接种时机振动感知方法 - Google Patents

Abstract

本发明基于计算机视觉的泡生法籽晶最佳接种时机振动感知方法，属于计算机视觉感知领域；所要解决的技术问题为：提供基于计算机视觉的泡生法籽晶最佳接种时机振动感知方法的改进；解决上述技术问题采用的技术方案为：包括如下步骤：步骤一：通过高速相机捕捉泡生法制备蓝宝石单晶接种前、中、后三个阶段液面的微振图像数据；步骤二：建立可变形卷积神经网络并进行学习，得到能自我捕捉液面微振数据的可变形卷积神经网络，所述可变形卷积神经网络包括可变形卷积模块和可变形感兴趣区域池化模块；步骤三：将获取的液面图像数据输入至已学习完成的可变形卷积神经网络，判断并输出该液面微振图像当前所处的接种阶段；本发明应用于泡生法籽晶接种。

Description

基于计算机视觉的泡生法籽晶最佳接种时机振动感知方法

技术领域

本发明基于计算机视觉的泡生法籽晶最佳接种时机振动感知方法，属于计算机视觉智能感知技术领域。

背景技术

蓝宝石单晶具有周期性排列构成的特殊六方晶格结构，单纯蓝宝石是无色透明固体，具备优良的透波性、突出的机械性和力学性能，除此之外，蓝宝石单晶还具有热传导性、耐高温、耐腐蚀等优良特性，蓝宝石晶体在电子设备、航空航天、半导体、光学等领域有着广泛应用。天然蓝宝石是由于基性岩浆过饱和析出氧化铝形成，由于其在储备量、开采量、晶体尺寸和纯净程度等方面受限，无法满足市场的需求，因此需要通过人工生产高纯度的蓝宝石以应各领域生产需要。

人工制备蓝宝石晶体的方法有熔融法、提拉法、热交换法、泡生法等，其中泡生法是现阶段制备蓝宝石的主流方法。泡生法制备蓝宝石单晶时，温度场的控制是决定蓝宝石良品率的重要因素，然而加热器的热损耗会导致电压、电流的精度无法得到保障。其次，接种时熔体自由面的温度达2050℃以上，而在实际应用中，直接使用硬件红外辐射仪器测量温度的过程成本高昂，不易在生产线上展开。

现阶段已引入人工智能领域深度学习技术对接种时图像数据的相关研究，通过建立映射关系，形成间接的温度感知模型。在研人员已经实现通过CCD工业相机匹配前置镜头和中性衰减滤波片，捕捉接种阶段液面图像，并应用直方图均衡化、图像阈值分割、滤波变换等图像处理方法来捕捉接种时熔体自由面辐条图案的运动特征，并取得了一定程度上的最佳接种点感知理论与实践成果。

但上述图像处理技术因液面辐条图案和液面背景接近，对比度差、动态观测区域小、伴随图像噪声数据等影响，精度仍达不到工业生产蓝宝石单晶的标准。且在实际生产中，需依靠人工经验来判断接种时机，从而完成后续蓝宝石单晶制备的“程序化”步骤，故仍无法满足自动化生产的标准。

在实验过程中，我们发现制备蓝宝石单晶过程中存在马兰戈尼效应。即泡生法制备蓝宝石单晶满足马兰戈尼效应在晶体生长方面的晶格结构组成、生长出纯晶体的过程包含净化过程、这一工艺首先将固体熔化，然后在净化过程中，必须在液相中产生对流，从而杂质就能在一段时间后被分离出来等特征。

为了进一步充实计算机视觉在泡生法制备蓝宝石单晶中的理论与实践，提高泡生法制备蓝宝石单晶在籽晶最佳接种时机感知的精度，实现蓝宝石单晶“高纯度、远端化、智能自动化”制备，本发明提出了一种基于计算机视觉的泡生法籽晶最佳接种时机振动感知方法。

发明内容

本发明为了克服现有技术中存在的不足，所要解决的技术问题为：提供基于计算机视觉的泡生法籽晶最佳接种时机振动感知方法的改进。

为了解决上述技术问题，本发明采用的技术方案为：基于计算机视觉的泡生法籽晶最佳接种时机振动感知方法，包括如下步骤：

步骤一：通过高速相机捕捉泡生法制备蓝宝石单晶接种前、中、后三个阶段液面的微振图像数据；

步骤二：建立可变形卷积神经网络并进行学习，得到能自我捕捉液面微振数据的可变形卷积神经网络，所述可变形卷积神经网络包括可变形卷积模块和可变形感兴趣区域池化模块；

步骤三：将步骤一获取的液面图像数据输入至已学习完成的可变形卷积神经网络，判断并输出该液面微振图像当前所处的接种阶段。

所述步骤一中的高速相机具体采用型号为FASTCAM Nova R2、帧率2660-100000帧/秒的高速相机；

所述步骤一中的微振图像数据具体为液面图像像素点级的形变图像数据。

所述步骤二具体过程为：

步骤2.1：建立一个平行网络用于学习偏移，使得卷积核在输入特征图的采样点发生偏移，剥离外在干扰因素，所述平行网络为常规的卷积神经网络，其中非线性激活函数为sigmoid，计算公式为：

步骤2.2：在基于可变形卷积模块、可变形感兴趣区域池化模块中增加额外偏移量的空间采样位置和从剥离外在干扰因素后提取的微振特征中学习到偏移量；

步骤2.3：新的可变形卷积模块、可变形感兴趣区域池化模块取代现有的卷积神经网络中的普通卷积模块和池化模块，并且利用反向传播进行端到端的训练，产生可变形的卷积神经网络。

所述可变形卷积模块包括正常卷积核和可变形卷积核，可变形卷积的操作具体为：

对常规卷积网络中的感受野R内的每一个点增加偏移量Δp_n进行扩张形成可变形卷积层，可变形卷积层的输出值y(p₀)的计算公式为：

上式中：p_n是网络R中的n个点，w(p_n)是点n处的权值，计算x(p)的值采用双线性插值。

所述可变形感兴趣区域池化模块的结构为：

首先完成没有偏移下的pooling过程，得到一个特征图，然后使这个特征图通过一个反向传播学习参数的全连接层，生成每一个位置的偏移量Δp_ij，偏移量Δp_ij的计算公式为：

上式中：γ是增益率，

表示点乘；

在可变形池化的操作中，对常规卷积网络中的感受野R内的每一个点增加偏移量Δp_ij进行扩张形成可变形感兴趣区域池化层，可变形感兴趣区域池化层的输出值y(i，j)的计算公式为：

上式中：Δp_ij是针对整个bin且一个bin中每一个点的Δp_ij值都相同，n_ij是bin中像素的数量。

本发明相对于现有技术具备的有益效果为：本发明提供的基于计算机视觉的泡生法籽晶最佳接种时机振动感知方法克服了现有籽晶接种时机需技术人员人工感知的“滞后性、干预性、不确定性”问题，通过采集充实籽晶最优接种时机图像特征感知依据，利用高速相机捕捉微振信息，实现籽晶最优接种时机的“高帧率、复合型、非接触式”的振动感知。

附图说明

下面结合附图对本发明做进一步说明：

图1为泡生法制备蓝宝石的坩埚炉热场分布图；

图2为泡生法制备蓝宝石过程中马兰戈尼效应仿真图；

图3为可变形卷积核对籽晶接种时机感知的示意图；

图4为本发明的可变形卷积神经网络的架构图。

具体实施方式

如图1至图4所示，本发明基于计算机视觉的泡生法籽晶最佳接种时机振动感知方法，包括如下步骤：

步骤一：通过高速相机捕捉泡生法制备蓝宝石单晶接种前、中、后三个阶段液面的微振图像数据；

步骤二：建立可变形卷积神经网络并进行学习，得到能自我捕捉液面微振数据的可变形卷积神经网络，所述可变形卷积神经网络包括可变形卷积模块和可变形感兴趣区域池化模块；

步骤三：将步骤一获取的液面图像数据输入至已学习完成的可变形卷积神经网络，判断并输出该液面微振图像当前所处的接种阶段。

所述步骤一中的高速相机具体采用型号为FASTCAM Nova R2、帧率2660-100000帧/秒的高速相机；

所述步骤一中的微振图像数据具体为液面图像像素点级的形变图像数据。

所述步骤二具体过程为：

步骤2.1：建立一个平行网络用于学习偏移，使得卷积核在输入特征图的采样点发生偏移，剥离外在干扰因素，所述平行网络为常规的卷积神经网络，其中非线性激活函数为sigmoid，计算公式为：

步骤2.2：在基于可变形卷积模块、可变形感兴趣区域池化模块中增加额外偏移量的空间采样位置和从剥离外在干扰因素后提取的微振特征中学习到偏移量；

步骤2.3：新的可变形卷积模块、可变形感兴趣区域池化模块取代现有的卷积神经网络中的普通卷积模块和池化模块，并且利用反向传播进行端到端的训练，产生可变形的卷积神经网络。

所述可变形卷积模块包括正常卷积核和可变形卷积核，可变形卷积的操作具体为：

对常规卷积网络中的感受野R内的每一个点增加偏移量Δp_n进行扩张形成可变形卷积层，可变形卷积层的输出值y(p₀)的计算公式为：

上式中：p_n是网络R中的n个点，w(p_n)是点n处的权值，计算x(p)的值采用双线性插值。

所述可变形感兴趣区域池化模块的结构为：

首先完成没有偏移下的pooling过程，得到一个特征图，然后使这个特征图通过一个反向传播学习参数的全连接层，生成每一个位置的偏移量Δp_ij，偏移量Δp_ij的计算公式为：

上式中：γ是增益率，

表示点乘；

在可变形池化的操作中，对常规卷积网络中的感受野R内的每一个点增加偏移量Δp_ij进行扩张形成可变形感兴趣区域池化层，可变形感兴趣区域池化层的输出值y(i，j)的计算公式为：

上式中：Δp_ij是针对整个bin且一个bin中每一个点的Δp_ij值都相同，n_ij是bin中像素的数量。

本发明提供的基于计算机视觉的泡生法籽晶最佳接种时机振动感知方法的目的是克服现有籽晶接种时机需技术人员人工感知的“滞后性、干预性、不确定性”问题，充实籽晶最优接种时机图像特征感知依据，增加计算机视觉在泡生法制备蓝宝石单晶的过程中籽晶最佳接种时机感知的振动模型理论与实践基础，提出一种基于计算机视觉的泡生法籽晶最佳接种时机振动感知方法。

由于泡生法生长炉炉内引发液面微振的不确定因素繁杂且微小振动不易捕捉，普通工业CCD相机无法捕捉微振特征，故采用高速相机捕捉接种“前中后”三阶段液面图像像素点级的微小形变，应用可变形卷积神经网络分析和拟合引发微振的干扰因素，最终获得液面微振与籽晶接种最佳时机的映射模型，其中籽晶接种最佳时机为接种中这个阶段，通过可变形卷积神经网络能够输出液面微振处于哪个接种阶段。

常规卷积神经网络对大型、未知形状变换的建模存在固有的缺陷，而这种缺陷来源于固有的几何结构，即卷积单元对输入特征图的固定位置进行采样，池化层以固定的比例进行池化。

由于上述这种固有结构，导致同一卷积层中，所有的激活单元的感受野是一样的，但不同位置可能对应着不同尺度或变形的物体。

为解决或者减轻这个问题的干扰，本发明提出可变形卷积模块来提高对泡生法制备蓝宝石单晶该工艺中籽晶接种最佳时机感知的特征提取，从而为实现蓝宝石单晶制备智能数字化奠定技术基础。

下面结合附图介绍本发明的具体实施方法。

本发明一种基于计算机视觉的泡生法籽晶最佳接种时机振动感知方法，采用“可变形卷积+可变形感兴趣区域池化”的卷积神经网络组合分析技术，结合高速相机采集的相关图像数据，实现高帧率复合型的泡生法制备蓝宝石单晶过程中籽晶接种最佳时机的振动感知方法。

硬件设施包括：1-高速摄像机、2-含有双RTX2080显卡的塔式服务器；高速相机型号采用FASTCAM Nova R2、帧率2660-100000帧/秒的高速相机。

本发明所采用的“可变形”的卷积神经网络组合分析技术的最终目的是建立“接种-温度-微振”映射间接模型，确定最佳的接种时机。

实验过程中，发现马兰戈尼效应产生的作用力会影响晶体生长，导致晶体结构内部出现故障，这些故障会降低材料的半导体性能，从而使器件存在缺陷。

除此之外，熔融态的液面密度较大，导致“黏性”较大，而由马兰戈尼效应引起的液面形变量极小，故应用高速相机通过采用合适的焦距以及帧率，捕捉泡生法制备蓝宝石单晶接种三个阶段液面的微振图像数据。

目前引发液面振动的主要外在干扰因素有：电机间发出的声波相互干扰、生产车间内的噪音干扰、观察时需要拨开液面上方的蒸腾物质。

因此，需要建立一个平行网络用于学习偏移，使得卷积核在输入特征图的采样点发生偏移，剥离外在干扰因素，集中于感兴趣的马兰戈尼效应产生的作用力引起的熔融态液面微振目标。

上述平行网络即为常规的卷积神经网络，其中非线性激活函数为sigmoid，具体公式为：

在基于可变形卷积模块中增加额外偏移量的空间采样位置和从剥离外在干扰因素后提取的微振特征中学习到偏移量且不需要额外的监督。

这些新的模块易于取代现有的卷积神经网络中的普通模块并且利用反向传播进行端到端的训练，产生可变形的卷积神经网络。

在具体的可变形卷积神经网络中，可变形卷积和池化的操作均是二维且在同一个channel上进行。

在可变形卷积的操作中，需要对常规卷积网络中的感受野R内的每一个点增加偏移量Δp_n进行扩张，常规的卷积神经网络中该卷积层中输出值y(p₀)由此将变成：

其中p_n是网络R中的n个点，w(p_n)是点n处的权值，计算x(p)的值需运用到双线性插值，本实施例中设置感受野R为3×3，因此R＝{(-1,-1),(-1,0),(-1,1),(0,-1),(0,0),(0,1),(1,-1),(1,0),(1,1)}。

对于可变形池化而言，与可变形卷积操作基本相同，需要增加一个偏移量，改进后的公式为：

其中，Δp_ij是针对整个bin且一个bin中每一个点的Δp_ij值都相同，n_ij是bin中像素的数量。

可变形池化的过程为：首先要完成没有偏移下的pooling过程，得到一个特征图，然后使这个特征图通过一个可以反向传播学习参数的全连接层，生成每一个位置的偏移量Δp_ij且

其中γ是增益率且取值为0.1，

表示点乘，目的在于使得偏移量的调整幅度可以适配液面微振的区域，h为步长。

最终，通过采用“可变形卷积+可变形感兴趣区域池化”的卷积神经网络组合分析技术，有效剔除外在干扰因素，获得由马兰戈尼效应引起的液面微振与籽晶最佳接种时机二者之间的映射模型，为实现泡生法制备蓝宝石单晶的智能数字化奠定基础。

关于本发明具体结构需要说明的是，本发明采用的各部件模块相互之间的连接关系是确定的、可实现的，除实施例中特殊说明的以外，其特定的连接关系可以带来相应的技术效果，并基于不依赖相应软件程序执行的前提下，解决本发明提出的技术问题，本发明中出现的部件、模块、具体元器件的型号、连接方式除具体说明的以外，均属于本领域技术人员在申请日前可以获取到的已公开专利、已公开的期刊论文、或公知常识等现有技术，无需赘述，使得本案提供的技术方案是清楚、完整、可实现的，并能根据该技术手段重现或获得相应的实体产品。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.基于计算机视觉的泡生法籽晶最佳接种时机振动感知方法，其特征在于：包括如下步骤：

步骤一：通过高速相机捕捉泡生法制备蓝宝石单晶接种前、中、后三个阶段液面的微振图像数据；

步骤二：建立可变形卷积神经网络并进行学习，得到能自我捕捉液面微振数据的可变形卷积神经网络，所述可变形卷积神经网络包括可变形卷积模块和可变形感兴趣区域池化模块；

步骤三：将步骤一获取的液面图像数据输入至已学习完成的可变形卷积神经网络，判断并输出该液面微振图像当前所处的接种阶段。

2.根据权利要求1所述的基于计算机视觉的泡生法籽晶最佳接种时机振动感知方法，其特征在于：所述步骤一中的高速相机具体采用型号为FASTCAM Nova R2、帧率2660-100000帧/秒的高速相机；

所述步骤一中的微振图像数据具体为液面图像像素点级的形变图像数据。

3.根据权利要求1所述的基于计算机视觉的泡生法籽晶最佳接种时机振动感知方法，其特征在于：所述步骤二具体过程为：

步骤2.1：建立一个平行网络用于学习偏移，使得卷积核在输入特征图的采样点发生偏移，剥离外在干扰因素，所述平行网络为常规的卷积神经网络，其中非线性激活函数为sigmoid，计算公式为：

步骤2.2：在基于可变形卷积模块、可变形感兴趣区域池化模块中增加额外偏移量的空间采样位置和从剥离外在干扰因素后提取的微振特征中学习到偏移量；

步骤2.3：新的可变形卷积模块、可变形感兴趣区域池化模块取代现有的卷积神经网络中的普通卷积模块和池化模块，并且利用反向传播进行端到端的训练，产生可变形的卷积神经网络。

4.根据权利要求3所述的基于计算机视觉的泡生法籽晶最佳接种时机振动感知方法，其特征在于：所述可变形卷积模块包括正常卷积核和可变形卷积核，可变形卷积的操作具体为：对常规卷积网络中的感受野R内的每一个点增加偏移量Δp_n进行扩张形成可变形卷积层，可变形卷积层的输出值y(p₀)的计算公式为：

上式中：p_n是网络R中的n个点，w(p_n)是点n处的权值，计算x(p)的值采用双线性插值。

5.根据权利要求3所述的基于计算机视觉的泡生法籽晶最佳接种时机振动感知方法，其特征在于：所述可变形感兴趣区域池化模块的结构为：

首先完成没有偏移下的pooling过程，得到一个特征图，然后使这个特征图通过一个反向传播学习参数的全连接层，生成每一个位置的偏移量Δp_ij，偏移量Δp_ij的计算公式为：

上式中：γ为增益率，

表示点乘，h为步长；

在可变形池化的操作中，对常规卷积网络中的感受野R内的每一个点增加偏移量Δp_ij进行扩张形成可变形感兴趣区域池化层，可变形感兴趣区域池化层的输出值y(i，j)的计算公式为：

上式中：Δp_ij是针对整个bin且一个bin中每一个点的Δp_ij值都相同，n_ij是bin中像素的数量。

Images