CN111754516B

CN111754516B - 基于计算机视觉反馈的金红石单晶体生长智能控制方法

Info

Publication number: CN111754516B
Application number: CN202010447557.5A
Authority: CN
Inventors: 赵韦仑; 毕孝国; 赵琰; 王艳; 张东; 唐坚; 董颖男
Original assignee: Shenyang Institute of Engineering
Current assignee: Shenyang Institute of Engineering
Priority date: 2020-05-25
Filing date: 2020-05-25
Publication date: 2023-06-30
Anticipated expiration: 2040-05-25
Also published as: CN111754516A

Abstract

本发明属于新材料领域，具体地来讲为一种基于计算机视觉反馈的金红石单晶体生长智能控制方法，包括：利用高清视频采集系统完成图像信息的采集，并通过高清视频采集系统对图像预处理；由计算机使用OPENCV对图像特征进行分析，实现图像分割和特征点定位；对处理后的图像使用卷积神经网络对晶体生长状态特征进行晶体生长当前实时形态的分析；根据分析结果与机器学习得到的晶体生长的健康形态的边缘坐标曲线进行比较后判断晶体形态是否正常；若是，则继续使用原给定函数曲线进行生长控制，若否，则通过自助调节，对燃烧台位置，给料参数进行调节，并实施反馈图像。能够精确控制晶体生长的各个参数，保障生长室内的温度分布、组成分布和力学分布。

Description

基于计算机视觉反馈的金红石单晶体生长智能控制方法

技术领域

本发明属于新材料领域，具体地来讲为一种基于计算机视觉反馈的金红石单晶体生长智能控制方法。

背景技术

金红石单晶体因具有高的双折射率和化学稳定性，在制备光隔离器、光环形器、起偏器等器件中有不可替代的优势。像金红石等高温氧化物单晶体，传统上是使用传统焰熔法晶体生长炉生长的。

高温氧化物单晶体具有特殊的理化性质，在科学研究和现代社会生活中发挥着重要作用。比如，金红石(TiO2)单晶体双折射大，折射率大，用于光谱棱镜、偏振器件，如光隔离器、光环形器、分束器等。目前用于光学通信的上述器件均采用钒酸钇(YVO4)晶体，而高端产品必须使用金红石(TiO2)单晶体。目前使用传统的晶体生长炉，由于诸多生长工艺参数无法精确的控制，只能通过人工观察晶体生长速度，生长形态，以及整个生长室内的温度分布、组成分布，进而手动调节控制参数，在输入参数调节上主要以操作者的经验为主，没有形成严格的数据关系，导致晶体生长成功率偏低，并且这样会导致所生长的晶体存在结构完整性问题，比如位错密度高、应力大、不均匀等。由于在晶体生长过程中要实时观测晶体形态，调节原料给定速度，致使每名设备操作人员最多操作2部晶体生长炉，边观察边操作设备，而且往往会手忙脚乱，导致晶体生长初期出现“流淌”现象，影响了晶体生长的成功率，增加控制晶体生长的劳动强度。

目前，金红石晶体市场由日本企业垄断，而且晶体生长成功率不高，约为 30％左右，且无法批量生产，极大的限制了金红石晶体的应用。

发明内容

本发明所要解决的技术问题在于提供一种基于计算机视觉反馈的金红石单晶体生长智能控制方法，能够精确控制晶体生长的各个参数，保障生长室内的温度分布、组成分布和力学分布，为微观结构完整的高品质的高温下特别是熔体状态下具有分解倾向的高温氧化物单晶体，如钛酸锶、金红石等单晶体提供良好的生长控制环境。

本发明是这样实现的，

一种基于计算机视觉反馈的金红石单晶体生长智能控制方法，包括：

步骤1，利用高清视频采集系统完成图像信息的采集，并通过高清视频采集系统对图像预处理；

步骤2，由计算机使用OPENCV对图像特征进行分析，实现图像分割和特征点定位；

步骤3，对处理后的图像使用卷积神经网络对晶体生长状态特征进行晶体生长当前实时形态的分析；

步骤4，根据步骤3的分析结果与机器学习得到的晶体生长的健康形态的边缘坐标曲线进行比较后判断晶体形态是否正常；若是，则继续使用原给定函数曲线进行生长控制；

步骤5，若否，则通过自助调节，对燃烧台位置，给料参数进行调节，并实施反馈图像。

进一步地，所述步骤4的所述机器学习为使用python构建模型通过对实验模板的匹配完成图像知识的机器学习，通过实时采集晶体边缘生长情况数据，构建机器学习视觉智能控制模型。

进一步地，对于晶体生长初期出现的液态边缘不清晰情况，采用双分类器集成学习迭代法，对含有不同对象的图像建立分类器，然后以投票机制来进行分类特征信息综合汇总，形成最终分类器。

进一步地，使用OPENCV对图像特征进行分析，实现图像分割和特征点定位，包括：通过OPENCV得到采集图片的灰度直方图，用以计算各个像素点的灰度级别和各个灰度级别的像素在图像中出现的次数或概率，采用Canny 边缘检测算法检测晶体生长边沿。

进一步地，采用Canny边缘检测算法检测晶体生长边沿包括：求出晶体图像坐标曲线P的一阶导数沿着晶体生长形态的横截面，一阶导数为： p′[v]＝p[v]-p[v-1]；

在点v处的导数写为对称的一阶差分：

将点v处的导数写为对称的一阶差分与一维互相关核进行互相关运算；

运算结果中，非0项为晶体生长边缘坐标，得到晶体生长图中高水平梯度的竖直边缘。

进一步地，步骤4步骤3的分析结果与机器学习得到的晶体生长的健康形态的边缘坐标曲线进行比较对得到是否是边缘的识别分数，如果分数超过阈值则视为晶体健康成长，如果分数没有超过阈值则不视为晶体健康成长，此时需要调整晶体生长平台来对晶体外形进行调整。

进一步地，构建机器学习视觉智能控制模型的具体过程包括：

定义x＝(x₁,x₂,...,x_d)为摄像头采集到的样本图片的特征，提取图片的R,G,B 值、灰度平均值、对比度值、及该像素点在画面中的分布区域作为晶体形体维度，thd为晶体生长是否健康的判断阈值，设定每一个维度的权重为w_i；图片中的如果晶体生长健康可设

thd为晶体生长是否健康的判断阈值，此时保持给定参数稳定。图中如果晶体生长不健康，相对的/>

从而可得晶体形态识别感知器为：/>

通过晶体三维生长参数的数据挖掘，为感知器提供样本数据，以感知器的训练结果做为晶体生长多轴伺服控制台的输入参数，智能调节氢气、氧气、粉体的给定参数。

进一步地，步骤5包括：将图像特征闭环作为外环，燃烧台位置环和运动速度环作为内环，当前图像特征以视觉反馈作为指标，将视觉反馈分成图像采集部分和特征提取部分；根据给定的希望图像特征与当前图像特征相比较之后产生的差异图像边进行调整，根据这个偏差来策划燃烧台末端的微分运动来调整策略，使其实现从图像空间差异调整到笛卡儿空间偏差；通过步进电机的逆运动学算出给定的燃烧台空间的位置；通过6坐标位置控制器，为向每一个给料的期望位置提供策略。

进一步地，具体包括：

对图像中晶体的位置和姿态进行数字描述：

位置描述：在相机直角坐标系C中，空间任意一点P的位置用3×1列向量表示：^CP＝[P_xP_yP_z]^T；

姿态描述：空间物体W的方位由某个固定于此物体的坐标系{W}的三个坐标向量相对于相机直角坐标系{C}的方向组成的3×3的矩阵描述。

^Cx＝^Wxcosθ-^Wysinθ

^Cy＝^Wxsinθ+^Wycosθ

^Cz＝^Wz_P

上式化为：

其中：

由此可知坐标系{C}可由坐标系{W}，通过绕{C}某一坐标轴旋转获得，则绕x,y,z三轴的旋转矩阵为：

通写为：

该矩阵为旋转矩阵，且正交，即

旋转矩阵

作为坐标变换矩阵，使得坐标系{W}中的P的坐标^WP变换为 {C}中点的坐标^CP，/>

作为算子，将{W}中的矢量或物体变换到{C}中。从而得到晶体位置、及姿态的空间状态，通过机器学习算法得到晶体健康生长时的实时位置、形态参数。当晶体生长状态不健康时，同过3维空间坐标差值反馈来调节高精度超低速3轴联动燃烧台位置控制系统的输入参数，从而调节晶体位置。

进一步地，燃烧台位置控制系统包括模糊控制和一阶惯性环节相结合，当差值大于一个步长时，按模糊控制的算法进行控制，当差值小于一个步长时，则采用一阶惯性环节连续控制算法进行控制。

本发明与现有技术相比，有益效果在于：

本发明用计算机视觉反馈控制方式，在控制模型构建上采用人工智能深度学习的方法，使用卷积神经网络对晶体生长状态特征进行分析，构成燃烧台运动视觉反馈图像知识、图像特征、图像数据3个闭环，其中利用高清视频采集系统完成图像信息的采集，并通过摄像系统本事对图像预处理；由计算机使用 OPENCV对图像特征进行分析，实现图像分割和特征点定位；使用phthyn构建模型通过对实验模板的匹配完成图像知识的机器学习。旨在能够精确控制晶体生长的各个参数，保障生长室内的温度分布、组成分布和力学分布，为微观结构完整的高品质的高温下特别是熔体状态下具有分解倾向的高温氧化物单晶体，如钛酸锶、金红石等单晶体提供良好的生长控制环境。通过构建深度学习人工智能视觉控制模型，实现精密的温度分布(结晶生长)和组分分布(防止组分分解)控制，旨在解决在高温溶体状态下具有分解倾向的高品质氧化物单晶体的制备这一单晶领域长期以来存在的共性问题，提高晶体生长成功率和纯度，实现高纯度金红石晶体自动化批量生产。

用于特种高温氧化物单晶体的生长控制。系统通过计算机视觉反馈实现对晶体生长参数的精确调节，提高熔点在1600℃以上、高温熔融状态下具有组分分解倾向的氧化物单晶体生长成功率。实时调节晶体生长所需要的温度、原料给定和力学条件，期望能够实现晶体生长速度在2-50mm/h区间的精确控制，提高晶体生长成功率。该系统主要用于高温氧化物单晶体生长，如金红石单晶体、钛酸锶单晶体等，广泛应用于制作光隔离器、光环形器、超导器件等诸多领域。目前，金红石晶体市场由日本企业垄断，而且晶体生长成功率不高，约为30％左右，且无法批量生产，极大的限制了金红石晶体的应用。

附图说明

图1为本发明方法的流程图；

图2为本发明方法视觉控制的框架；

图3为本发明方法目标边缘处才出现明显的非零响应。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参见图1结合图2所示：一种基于计算机视觉反馈的金红石单晶体生长智能控制方法，包括：

其中步骤4的所述机器学习为使用python构建模型通过对实验模板的匹配完成图像知识的机器学习，通过实时采集晶体边缘生长情况数据，构建机器学习视觉智能控制模型。对于晶体生长初期出现的液态边缘不清晰情况，采用双分类器集成学习迭代法，对含有不同对象的图像建立分类器，然后以投票机制来进行分类特征信息综合汇总，形成最终分类器，具体的通过卷积分神经网络算法，是将输入样本参数的权重经行分类，对晶体生长形态影响较大的样本参数赋予较大权重，也就是“票数”多，对深度学习结果影响大。

使用phthyn构建模型通过对实验模板的匹配完成图像知识的机器学习，采用卷积分神经网络算法对图像特征进行分析，通过实时采集晶体边缘生长情况数据，构建机器学习视觉智能控制模型。对这些图片进行图像特征进行分析得到是否是边缘的识别分数，如果分数超过阈值则视为晶体健康成长，如果分数没有超过阈值则不视为晶体健康成长，此时需要调整晶体生长平台来对晶体外形进行调整。

构建机器学习视觉智能控制模型的具体过程包括：

定义x＝(x₁,x₂,...,x_d)为摄像头采集到的样本图片的特征，提取图片的R,G,B值、灰度平均值、对比度值、及该像素点在画面中的分布区域作为晶体形体维度，thd为晶体生长是否健康的判断阈值，设定每一个维度的权重为w_i。图片中的如果晶体生长健康可设

此时保持给定参数稳定。图中如果晶体生长不健康，相对的/>

从而可得晶体形态识别感知器为：/>

通过晶体三维生长参数的数据挖掘，为感知器提供样本数据，以感知器的训练结果做为晶体生长多轴伺服控制台的输入参数，智能调节氢气、氧气、粉体的给定参数，保证晶体健康生长。

步骤2中使用OPENCV对图像特征进行分析，实现图像分割和特征点定位，包括：通过OPENCV得到采集图片的灰度直方图，用以计算各个像素点的灰度级别和各个灰度级别的像素在图像中出现的次数或概率，采用Canny边缘检测算法检测晶体生长边沿。

采用Canny边缘检测算法检测晶体生长边沿包括：求出晶体图像坐标曲线 P的一阶导数沿着晶体生长形态的横截面，一阶导数为：p′[v]＝p[v]-p[v-1]；如图3所示,一阶导数信号在一般情况下为0，只有在目标边缘处才出现明显的非零响应，即在晶体边缘。

在点v处的导数写为对称的一阶差分：

将点v处的导数写为对称的一阶差分与一维互相关核进行互相关运算，维互相关核为：

指的是边缘检测算子，将图像与这个核求互相关，运算结果中，非0项为晶体生长边缘坐标，从而得到晶体生长图中高水平梯度的竖直边缘。

步骤4中步骤3的分析结果与机器学习得到的晶体生长的健康形态的边缘坐标曲线进行比较对得到是否是边缘的识别分数，如果分数超过阈值则视为晶体健康成长，如果分数没有超过阈值则不视为晶体健康成长，此时需要调整晶体生长平台来对晶体外形进行调整。

步骤5包括：将图像特征闭环作为外环，燃烧台位置环和运动速度环作为内环，当前图像特征以视觉反馈作为指标，将视觉反馈分成图像采集部分和特征提取部分；根据给定的希望图像特征与当前图像特征相比较之后产生的差异图像边进行调整，根据这个偏差来策划燃烧台末端的微分运动来调整策略，使其实现从图像空间差异调整到笛卡儿空间偏差；通过步进电机的逆运动学算出给定的燃烧台空间的位置；通过6坐标位置控制器，为向每一个给料的期望位置提供策略。

具体包括：

对图像中晶体的位置和姿态进行数字描述：

^Cx＝^Wxcosθ-^Wysinθ

^Cy＝^Wxsinθ+^Wycosθ

^Cz＝^Wz_P

上式化为：

其中：

通写为：

该矩阵为旋转矩阵，且正交，即

旋转矩阵

由于摄相机模型描述的图像特征和燃烧台位置为非线性关系，为能够使燃烧台位置控制环节能够迅速动作，并保证系统的稳定性，系统在小范围内采取 PID控制算法，尽量将基于图像的视觉控制系统简化为由一阶惯性环节和非线性环节所构成的单闭环系统，在保证控制精度的同时加快系统动态响应速度。

具体方法为采用将传统的PID分解为一阶惯性环节和模糊控制方法，使系统既具有模糊控制的智能性和自学习性的特点，又具有PID控制的稳定性和能够消除稳态误差的优势，同时在保证系统的控制精度的前提下，降低系统模糊矩阵的维数，简化模糊控制规则，减少算法对控制器系统资源的占有率，增强系统的稳定性和控制效率。算法在差值信号变化比较大的时候采用模糊控制，在差值变化比较小的时候采用连续控制，原因是由于模糊控制的控制动作的最小执行值就是一个步长，如果控制信号的偏差值小于一个步长，则控制器不发生动作，这就造成了在模糊控制中存在死区，由于死区的无法控制的特性，所以同PID控制算法相比，模糊控制的控制输出无法达到消除稳态误差的控制效果，而在模糊控制中缩小稳态误差的方法通常是采用增加策略矩阵的维数或是采用遗传算法等高级的控制算法，而这样就无形的增加了模糊控制器的运算负担。以至于小型的PLC根本无法完成对系统的控制。而本系统是把模糊控制和一阶惯性环节相结合，当差值大于一个步长时，按模糊控制的算法进行控制，当差值小于一个步长时，则采用一阶惯性环节连续控制算法进行控制。

具体步骤为：

1.设定生长高度差e和控制量U_K

2.模糊化设高度差e的模糊子集为e＝{负大，负中，负小，零，正小，正中，正大}设定其相应的语言变量，并记作：

NB(Negative Big)＝负大

NM(Negativ Middle)＝负中

NS(Negative Small)＝负小

ZO(Zero)＝零

PS(Positive Small)＝正小

PM(Positive Middle)＝正中

PB(Positive Big)＝正大

并将高度差e的大小化为七个等级，分别表示为-3，-2，-1，0，+1，+2， +3，则其论域E为：

E＝{-3,-2,-1,0,1,2,3}

如果把控制量U_K的大小也量化为上述七个等级(其等级数可以和e不同)，则其论域U_K也与E相同(但量化当量不一定相同)。若根据专家经验，求出这些等级对于模糊集

的隶属度，则可以得到相应的隶属函数。

3.模糊控制规则库：模糊控制器的规则是基于专家知识或手动操作熟练人员长期积累的经验，它是按人的直觉推理的一种语言表示形式。模糊规则通常由一系列的关键词连接而成，如if—then、else、also、end、or等。关系词必须经过“翻译”，才能将模糊规则数值化，最常用的关系词为if—then、also(或or)，对于多变量模糊控制系统还有and。如果模糊控制给定系统的输入变量为流量差e和流量差变化率ec，它们相对应的语言变量为E与EC，对于控制变量U，给出下述模糊控制规则：

(1)If E is NB and EC is NB then U_K is PB

(2)If E is NB and EC is NM then U_Kis PS

(3)If E is NB and EC is NS then U_K is PM

(4)If E is NB and EC is NZ then U_K is PM

(5)If E is NM and EC is NB then U_K is PB

(6)If E is NM and EC is NM then U_K is PB

(7)If E is NM and EC is NS then U_K is PM

(8)If E is NM and EC is NZ then U_K is PM

(9)If E is NS and EC is NB then U_K is PB

(10)If E is NS and EC is NM then U_K is PB

(11)If E is NS and EC is NS then U_K is PM

(12)If E is NS and EC is NZ then U_K is PS

(13)If E is NZ and EC is NB then U_K is PB

(14)If E is NZ and EC is NM then U_K is PM

(15)If E is NZ and EC is NS then U_K is PM

(16)If E is NZ and EC is NZ then U_K is PZ

4.模糊关系上述的模糊控制规则，实际上是一个多重模糊条件语句，根据其规则可以得出模糊关系

5.模糊推理模糊控制器的输出控制量是由差值模糊矢量

与模糊关系/>

按推理的合成规则来决定的。若取差值模糊矢量/>

则控制量U_K为：/>

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于计算机视觉反馈的金红石单晶体生长智能控制方法，其特征在于，包括：

步骤5，若否，则通过自助调节，对燃烧台位置，给料参数进行调节，并实施反馈图像；

所述步骤4的所述机器学习为使用python构建模型通过对实验模板的匹配完成图像知识的机器学习，通过实时采集晶体边缘生长情况数据，构建机器学习视觉智能控制模型；

对于晶体生长初期出现的液态边缘不清晰情况，采用双分类器集成学习迭代法，对含有不同对象的图像建立分类器，然后以投票机制来进行分类特征信息综合汇总，形成最终分类器；

使用OPENCV对图像特征进行分析，实现图像分割和特征点定位，包括：通过OPENCV得到采集图片的灰度直方图，用以计算各个像素点的灰度级别和各个灰度级别的像素在图像中出现的次数或概率，采用Canny边缘检测算法检测晶体生长边沿；

构建机器学习视觉智能控制模型的具体过程包括：

定义x＝(x₁,x₂,...,x_d)为摄像头采集到的样本图片的特征，提取图片的R,G,B值、灰度平均值、对比度值、及像素点在画面中的分布区域作为晶体形体维度，thd为晶体生长是否健康的判断阈值，设定每一个维度的权重为w_i；图片中如果晶体生长健康可设

thd为晶体生长是否健康的判断阈值，此时保持给定参数稳定，图中如果晶体生长不健康，相对的/>

从而可得晶体形态识别感知器为：/>

通过晶体三维生长参数的数据挖掘，为感知器提供样本数据，以感知器的训练结果做为晶体生长多轴伺服控制台的输入参数，智能调节氢气、氧气、粉体的给定参数；

步骤5包括：将图像特征闭环作为外环，燃烧台位置环和运动速度环作为内环，当前图像特征以视觉反馈作为指标，将视觉反馈分成图像采集部分和特征提取部分；根据给定的希望图像特征与当前图像特征相比较之后产生的差异图像边进行调整，根据这个偏差来策划燃烧台末端的微分运动来调整策略，使其实现从图像空间差异调整到笛卡儿空间偏差；通过步进电机的逆运动学算出给定的燃烧台空间的位置；通过6坐标位置控制器，为向每一个给料的期望位置提供策略；

具体包括：

对图像中晶体的位置和姿态进行数字描述：

姿态描述：空间物体W的方位由某个固定于此物体的坐标系{W}的三个坐标向量相对于相机直角坐标系{C}的方向组成的3×3的矩阵描述：

^Cx＝^Wxcosθ-^Wysinθ

^Cy＝^Wxsinθ+^Wycosθ

C W

z＝z_P

上式化为：

其中：

由此可知坐标系{C}可由坐标系{W}，通过绕{C}某一坐标轴旋转获得，

则绕x,y,z三轴的旋转矩阵为：

通写为：

该矩阵为旋转矩阵，且正交，即

旋转矩阵

作为坐标变换矩阵，使得坐标系{W}中的P的坐标^WP变换为{C}中点的坐标^CP，/>

作为算子，将{W}中的矢量或物体变换到{C}中，从而得到晶体位置、及姿态的空间状态，通过机器学习算法得到晶体健康生长时的实时位置、形态参数，当晶体生长状态不健康时，同过3维空间坐标差值反馈来调节高精度超低速3轴联动燃烧台位置控制系统的输入参数，从而调节晶体位置。

2.按照权利要求1所述的基于计算机视觉反馈的金红石单晶体生长智能控制方法，其特征在于，采用Canny边缘检测算法检测晶体生长边沿包括：求出晶体图像坐标曲线P的一阶导数沿着晶体生长形态的横截面，一阶导数为：p′[v]＝p[v]-p[v-1]；

在点v处的导数写为对称的一阶差分：

3.按照权利要求1所述的基于计算机视觉反馈的金红石单晶体生长智能控制方法，其特征在于，步骤4中步骤3的分析结果与机器学习得到的晶体生长的健康形态的边缘坐标曲线进行比较对得到是否是边缘的识别分数，如果分数超过阈值则视为晶体健康成长，如果分数没有超过阈值则不视为晶体健康成长，此时需要调整晶体生长平台来对晶体外形进行调整。

4.按照权利要求1所述的基于计算机视觉反馈的金红石单晶体生长智能控制方法，其特征在于，燃烧台位置控制系统包括模糊控制和一阶惯性环节相结合，当差值大于一个步长时，按模糊控制的算法进行控制，当差值小于一个步长时，则采用一阶惯性环节连续控制算法进行控制。