CN109506569B - 一种基于双目视觉监测结晶过程方块状和柱状晶体三维尺寸的方法 - Google Patents

Abstract

一种基于双目视觉监测结晶过程方块状和柱状晶体三维尺寸的方法属于工业过程控制技术领域。该方法首先，通过在反应釜外两个不同角度上分别放置一个相机同步实时采集图像，针对采集的双目图像，建立一种计算关键角点的图像分析方法，包括图像预处理、角点检测和角点匹配。其次，针对不同形状的晶体(方块状和柱状)，提出两种不同的角点检测算法以分别识别其关键角点，并根据同一晶体在双目图像采集系统中识别出的关键角点提出一种三维几何计算模型来近似重建晶体立体形状。最后，通过三维几何模型来对每一个识别出的晶体进行三维形状的近似重构，由此定量评估其三维尺寸。本发明可操作性强，能够达到自动测量晶体三维尺寸的效果。

Description

一种基于双目视觉监测结晶过程方块状和柱状晶体三维尺寸 的方法

技术领域

本发明属于工业过程控制技术领域，涉及到工业结晶过程的图像检测技术，尤其涉及一种基于双目视觉监测结晶过程方块状和柱状晶体三维尺寸的方法，具体是指一种利用两台高分辨率摄像头在线测量结晶反应釜内方块状和柱状晶体三维尺寸的方法。

背景技术

结晶过程的工艺与控制技术对我国先进制造领域的高质量发展具有非常重要的作用和意义。在结晶阶段对晶体生长的实时监测与调控优化，对于生产具有期望尺寸规格的晶体至关重要。如果特定形状的晶体尺寸分布达到期望的指标，则说明产品质量合格。国内外很少有文献和专利介绍能推广使用的基于原位采集图像在线测量反应釜结晶过程晶体三维尺寸的标准化方法。

目前虽已发展有测量二维晶体尺寸的少量方法，但是二维图像分析方法所提供的信息明显少于三维成像方法，不能完全准确或可靠地测量晶体长宽尺寸，尤其是在不同视角下会产生较大的测量偏差。如何对结晶过程中晶体三维尺寸进行实时检测是目前的研究和应用难题。如美国过程分析技术领域专家Z.K.Nagy等在近期文献“Recent advances inthe monitoring,modeling and control of crystallization systems”(简译：结晶系统的监测、建模和控制进展，发表在化工领域国际重要刊物Chemical EngineeringResearch&Design,2013,91(10),1903–1922)中指出，二维或三维的图像分析策略对结晶过程控制起到关键作用，其可提供可靠直观的结晶过程信息，但仍有待于发展准确和可靠的原位实时检测方法。

发明内容

本发明要解决的技术问题是针对反应釜结晶过程中常见的方块状和柱状晶体的三维尺寸测量问题。为解决上述这一问题，系统地提出分别对结晶反应釜内方块状和柱状晶体的三维尺寸进行测量的技术方法，以实现实时在线检测这两种形状的晶体三维尺寸和体积。

为了达到上述目的，本发明采用的技术方案为：

一种基于双目视觉监测结晶过程方块状和柱状晶体三维尺寸的方法，该方法基于非接触性高分辨率的图像采集设备实现，保证两台相机同步采集反应釜内晶体图像，从而测量晶体的三维尺寸。首先，通过在反应釜外两个不同角度上分别放置一个相机同步实时采集图像，该图像称为双目图像(包括左视图和右视图)。其次，针对采集的双目图像，建立一种计算关键角点的图像分析方法，包括图像预处理、角点检测和角点匹配。其中，针对不同形状的晶体(方块状和柱状)，提出两种不同的角点检测算法以分别识别其关键角点。最后，通过建立相应的三维几何模型来对每一个识别出的晶体进行三维形状的近似重构，由此定量评估其三维尺寸。该方法包括以下步骤：

第一步，晶体图像角点检测

通过在反应釜外两个不同角度上分别放置一个相机同步实时采集双目图像，双目图像包括左视图和右视图；并针对方块状晶体和柱状晶体，分别建立两种不同的关键角点检测方法。

(1)对采集的图像进行预处理：首先，采用中值滤波法从采集的图像中复原可检测的图像，消除噪声影响。其次，采用基于Canny算子的多尺度边缘检测方法，从一个去噪图像中检测出晶体的形状边缘。最后，利用形态学方法对图像的晶体边缘进行闭操作，填充相邻边缘点之间的间隙，确定每个晶体图像的轮廓边缘。

(2)基于上述预处理，首先在每个晶体的图像轮廓中检测关键角点。

通过内距描述子来区分晶体形状。所述的方块状晶体的轮廓边缘包括外部边缘和内部边缘，在一侧投影面包含8个关键角点，分别为4个外部和4个内部的关键角点。所述的柱状晶体的关键角点位于晶体两端。提出两种不同的算法分别检测这两种形状的关键角点。

对于方块状晶体的关键角点检测如下：

所有轮廓边缘点的坐标(x_n,y_n),n＝1,2,…,N，N为所有边缘点数量，K为单边的边缘点数量；因此，质心坐标(x_c,y_c)为：

从质心到边缘点的内距d_n为：

根据上式计算结果绘制所有边缘点的内距图，其峰值点为轮廓线的极值点。每个边的点集合是由每两个极值点之间的边缘点组成的。通过最小二乘方法对每个边的点集合进行直线拟合，然后计算每两个边的拟合直线交点为关键角点。

对于柱状晶体的关键角点检测如下：

首先基于曲率尺度空间方法选择候选角点。所述的关键角点通过指定一个标准来确定，即当一个候选角点的内部距离大于晶体形状长度的三分之一，则该角点为关键角点。

(3)在关键角点检测后，采用BRIEF描述子对双目图像的关键角点进行描述与匹配。通过汉明距离衡量两个视图中角点特征描述子的相似度，根据最大相似度的标准来确定两个视图中关键角点的匹配对。

第二步，晶体图像三维重构

根据同一晶体在双目图像中识别出的关键角点，提出一种三维几何计算模型来近似重建晶体立体形状。晶体的三维尺寸和体积是基于三维几何信息测量的。该模型的三维坐标系原点设置在左视图的中心。对于三维形状重建，空间点P的三维坐标(X,Y,Z)表达式是一个二维坐标P_l和P_r的函数。P_l(u_l,v_l)和P_r(u_r,v_r)分别表示P在左视图和右视图的成像点，两者尺寸L_m×W_m相同，其中，u_l为左视图中成像点的横坐标，v_l为左视图中成像点的纵坐标，u_r为右视图中成像点的横坐标，v_r为右视图中成像点的纵坐标，L_m为图像长度，W_m为图像宽度。

空间点P的三维坐标(X,Y,Z)为：

其中，γ为不放大时的像素当量；f为焦距；b为基线长度；0<θ<90°，2θ为立体角度；参数a_l和a_r依赖于u_l和u_r的成像位置，如下：

式(4)-(5)的参数：左视图倾角τ_l＝arctan(x_l/f)，右视图倾角τ_r＝arctan(x_r/f)，左视图成像点偏移距离

右视图成像点偏移距离

κ为放大系数；符号参数p与q为：

因此，可以计算出每个晶体轮廓中所有关键角点的三维坐标，并用于近似重建每个晶体形状的三维几何模型。注意，该模型适用于两相机平行情况，否则，容易出现误差。

第三步，晶体三维尺寸测量

为定量评估晶体的三维尺寸，针对两种不同的形状分别给出两种三维尺寸的计算方法。此外，引入一种基于四面体的算法来评估晶体的体积。

使用每个晶体的重建三维几何模型可用于测量三维尺寸(即长度、宽度和高度)和晶体体积。方块状和柱状晶体的三维几何模型明显不同。根据两种不同的形状，分别提出相应的两种尺寸测量算法。

对于方块状晶体，有4个外部和4个内部的关键角点。设{P_e ⁿ(X_e ⁿ,Y_e ⁿ,Z_e ⁿ),n＝1,2,3,4}和{P_i ⁿ(X_i ⁿ,Y_i ⁿ,Z_i ⁿ),n＝1,2,3,4}分别表示外部的关键角点(即外角点)和内部的关键角点(即内角点)。方块状型晶体的长度为：

L_a＝max(d_l ⁿ),n＝1,2,3,4 (8)

其中，d_l ⁿ,n＝1,2,3,4分别表示线段P_e ¹P_e ²，P_e ²P_e ³，P_e ³P_e ⁴和P_e ¹P_e ⁴的长度。

方块状晶体的宽度为：

W_a＝min(d_w ⁿ),n＝1,2,3,4 (9)

其中，d_w ⁿ,n＝1,2,3,4分别表示点P_e ¹与线段P_e ³P_e ⁴的距离，点P_e ²与线段P_e ¹P_e ⁴的距离，点P_e ³与线段P_e ¹P_e ²的距离，和点P_e ⁴与线段P_e ²P_e ³的距离。

为了计算重构三维几何模型的高度，分别确定外角点和内角点的最优拟合平面方程。考虑到外角点的拟合平面可能与内角点的拟合平面不平行，晶体的高度尺寸为：

其中，d_h ⁿ，n＝1,2,...,8为每个关键角点与其非拟合平面之间的距离。注意，这里需要考虑到方块状晶体的对称性。

对于柱状晶体，采用最小体积边界盒算法，使用关键角点来重建一个长方体形状的三维几何模型。进而，通过计算出其长方体的三维尺寸来近似得出柱状晶体的三维尺寸。

另外，在测量晶体体积时，利用Delaunay三角剖分理论，晶体的三维形状可被细分为N_s个四面体，V_n为第n个四面体的体积，则计算晶体的体积V的公式为：

本发明的有益效果为：本发明可以实现对反应釜内方块状和柱状晶体的三维尺寸测量，较为准确地分析结晶过程晶体的生长状态。该方法可操作性强，对经验技术要求较低，能够达到自动测量晶体三维尺寸的效果，便于实际工业应用。

附图说明

图1为本发明的设备装置示意图；

图2为本发明的晶体三维尺寸测量过程实现图；

图3为本发明中的方块状和柱状晶体形状图，其中，图3(a)为方块状和柱状晶体图，图3(b)为方块状和柱状简化图。

具体实施方式

为了更好地理解本发明的技术方案，以下将结合附图对本发明的实施方式作详细描述。

该方法首先，通过在反应釜外两个不同角度上分别设置一个相机同步实时采集图像，基于双目图像来重构晶体三维形状。其次，建立一种确定晶体形状的关键角点图像分析方法，包括图像预处理、角点检测和角点匹配。再次，针对方块状和柱状的晶体，提出两种不同的角点检测算法以分别识别其关键角点。最后，通过建立相应的三维几何模型来对每一个识别出的晶体进行三维形状的近似重构，由此定量评估其三维尺寸。

该方法是基于非接触性高分辨率的图像采集设备实现的，如图1所示。示例采用4升结晶玻璃反应釜，反应釜内置与计算机相连的4叶搅拌桨，反应釜内注入了2升的晶体水溶液。一个非接触式图像采集设备配置在反应釜外，其包括两个与计算机相连的高速高分辨率的工业级相机，还包括以下LED光源，设于反应釜外，用于辅助成像。其它工具包括：温控设备、温度探头和计算机等，其装置图详见图1：循环域温控设备设置在反应釜外，用于控制釜体内的温度；温度探头插入釜体内，与计算机相连，用于实时得到釜内温度。通过在反应釜外两个不同角度上分别放置一个相机同步采集结晶过程的双目图像，双目图像包括左视图和右视图。针对方块状和柱状的晶体，实现基于双目视觉的晶体三维尺寸测量，测量全过程如图2所示。

该方法具体包括以下步骤：

第一步，晶体图像角点检测

为有效克服实际工况引起的图像背景不均等因素影响，给出了一种图像分割方法有效提取晶体图像。针对方块状和柱状的晶体，分别建立了两种不同的关键角点检测方法。

为了消除噪声影响，采用常用的中值滤波来有效地从采集的图像中复原到可检测的图像。然后，采用基于Canny算子的多尺度边缘检测方法，从一个去噪图像中检测出晶体的形状边缘。最后，利用形态学方法对图像的晶体边缘进行闭操作，以填充相邻边缘点之间的间隙，确定每个晶体图像的轮廓边缘。

基于上述预处理，首先需要在每个晶体的图像轮廓中检测关键角点。如图3(a)所示，以L-谷氨酸晶体(该晶体有方块状和柱状两种形状)为例，这两种形状可以通过使用给出的内距描述子来区分。然而，两种形状的关键角点在三维几何位置上是不同的，如图3(b)所示。为便于后续分析，这里定义方块状晶体的轮廓边缘，包括外部边缘和内部边缘。相应地，在一侧投影面应该包含8个关键角点，分别为4个外部和4个内部的关键角点。相比之下，柱状晶体的关键角点位于晶体的两端。因此，提出两种不同的算法分别检测这两种形状的关键角点。

对于方块状晶体的关键角点检测，所有轮廓边缘点的坐标(x_n,y_n),n＝1,2,…,N，N为边缘点数量，因此，定义的质心坐标(x_c,y_c)为：

从质心到边缘点的内距d_n定义为：

根据上式计算结果绘制所有边缘点的内距图，其峰值点被定义为轮廓线的极值点。每个边的点集合是由每两个极值点之间的边缘点组成的。通过最小二乘方法对每个边的点集合进行直线拟合，然后计算每两个边的拟合直线交点为关键角点。

对于柱状晶体的关键角点检测，首先采用基于曲率尺度空间方法选择候选角点，该方法具有良好的鲁棒性与噪声。考虑到角点应该在晶体的两端，如图3(b)所示。关键角点是通过指定一个标准来确定的，即当一个候选角点的内部距离大于晶体形状长度的三分之一，则该角点为关键角点。

在关键角点检测后，通过使用具有鲁棒性和快速性的BRIEF描述子，对双目图像的关键角点进行描述与匹配。为避免对噪声敏感，每个区域都经过高斯平滑处理。由汉明距离来衡量两个视图中角点特征描述子的相似度，它根据最大相似度的标准来确定两个视图中关键角点的匹配对。

第二步，晶体图像三维重构

根据同一晶体在双目图像采集系统中识别出的关键角点，提出一种三维几何计算模型来近似重建晶体立体形状。晶体的三维尺寸和体积是基于三维几何信息测量的。该模型的三维坐标系原点设置在左视图的中心。对于三维形状重建，空间点P的三维坐标(X,Y,Z)表达式是一个二维坐标P_l和P_r的函数。P_l(u_l,v_l)和P_r(u_r,v_r)分别表示P在左视图和右视图的成像点，两者尺寸L_m×W_m相同，其中，u_l为左视图中成像点的横坐标，v_l为左视图中成像点的纵坐标，u_r为右视图中成像点的横坐标，v_r为右视图中成像点的纵坐标，L_m为图像长度，W_m为图像宽度。γ为不放大时的像素当量，f为焦距，κ为放大系数，b为基线长度，0<θ<90°，2θ为立体角度。

空间点P的三维坐标(X,Y,Z)为：

其中，参数a_l和a_r依赖于u_l和u_r的成像位置，如下：

式(4)-(5)的参数：左视图倾角τ_l＝arctan(x_l/f)，右视图倾角τ_r＝arctan(x_r/f)，左视图成像点偏移距离

右视图成像点偏移距离

和符号参数p与q为：

因此，可以计算出每个晶体轮廓中所有关键角点的三维坐标，并用于近似重建每个晶体形状的三维几何模型。注意，该模型适用于两相机平行情况，否则，容易出现误差。

第三步，晶体三维尺寸测量

为定量评估晶体的三维尺寸，针对两种不同的形状分别给出两种三维尺寸的计算方法。此外，引入一种基于四面体的算法来评估晶体的体积。

使用每个晶体的重建三维几何模型可用于测量三维尺寸(即长度、宽度和高度)和晶体体积。从图3中可以看出，方块状和柱状晶体的三维几何模型明显不同。根据两种不同的形状，分别提出相应的两种尺寸测量算法。

对于方块状晶体，从图3(b)可以看出，有4个外部和4个内部的关键角点。设{P_e ⁿ(X_e ⁿ,Y_e ⁿ,Z_e ⁿ),n＝1,2,3,4}和{P_i ⁿ(X_i ⁿ,Y_i ⁿ,Z_i ⁿ),n＝1,2,3,4}分别表示外部的关键角点(即外角点)和内部的关键角点(即内角点)，见图3(b)。方块状型晶体的长度计算公式为：

L_a＝max(d_l ⁿ),n＝1,2,3,4 (8)

其中，d_l ⁿ,n＝1,2,3,4分别表示线段P_e ¹P_e ²，P_e ²P_e ³，P_e ³P_e ⁴和P_e ¹P_e ⁴的长度。

方块状晶体的宽度计算公式为：

W_a＝min(d_w ⁿ),n＝1,2,3,4 (9)

其中，d_w ⁿ,n＝1,2,3,4分别表示点P_e ¹与线段P_e ³P_e ⁴的距离，点P_e ²与线段P_e ¹P_e ⁴的距离，点P_e ³与线段P_e ¹P_e ²的距离，和点P_e ⁴与线段P_e ²P_e ³的距离。

为了计算重构三维几何模型的高度，分别构造内外角点的两个拟合平面。通常假设一个平面方程的形式c₁X+c₂Y+c₃Z＝b，其中，b是坐标原点到该平面的距离，c₁,c₂,c₃是平面的单位法向量，满足c₁ ²+c₂ ²+c₃ ²＝1和b≥0。对于任意4个空间点{P_n(X_n,Y_n,Z_n),n＝1,2,3,4}，引用基于特征值的空间点平面拟合法来确定最优的平面参数(c₁,c₂,c₃,b)，有：

为求解上述最优方案，设s_n＝|c₁X_n+c₂Y_n+c₃Z_n-b|，引入拉格朗日乘子法，设拉格朗日乘子为λ，有惩罚函数F：

对公式(11)的b求导，如下：

设定公式(12)为0，则有

同样，设公式(11)的c₁,c₂,c₃导数为0，如下：

其中，

和

公式(14)系数的特征值方程定义如下：

Rc＝λc (15)

其中，

c＝(c₁,c₂,c₃)^T (16)

其特征值如下：

其中，(,)表示两个向量的内积。

的最小值对应于R的最小特征值，该最小特征值决定了最优特征向量。这里容易求得该最优特征向量，即平面的参数(c₁,c₂,c₃)。由以上方法可以分别确定外角点和内角点的最优拟合平面方程。

确定外角点和内角点的拟合平面后，考虑到外角点的拟合平面可能与内角点的拟合平面不平行，则晶体的高度计算公式为：

其中，d_h ⁿ,n＝1,2,...,8为每个关键角点与其非拟合平面之间的距离。注意，这里需要考虑到方块状晶体的对称性。

对于柱状晶体，采用最小体积边界盒算法，使用关键角点来重建一个长方体形状的三维几何模型。进而，通过计算出其长方体的三维尺寸来近似得出柱状晶体的三维尺寸。

在测量晶体体积时，可以使用上述测量的三维尺寸来进行简单的估算。然而，如果晶体非长方体，特别是对于方块状晶体，体积计算可能会引起误差。因此，利用Delaunay三角剖分理论，凸包可以被细分为N_s个四面体。{(X_t,n,Y_t,n,Z_t,n),t＝1,...,4；n＝1,...,N_s}表示由4个顶点坐标的第n个四面体。因此，第n个四面体的体积计算公式为：

则计算体积的公式为：

以上所述实施例仅表达本发明的实施方式，但并不能因此而理解为对本发明专利的范围的限制，应当指出，对于本领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些均属于本发明的保护范围。

Claims (2)

1.一种基于双目视觉监测结晶过程方块状和柱状晶体三维尺寸的方法，其特征在于，该方法包括以下步骤：

第一步，晶体图像角点检测

通过在反应釜外两个不同角度上分别放置一个相机同步实时采集双目图像，双目图像包括左视图和右视图；并针对方块状晶体和柱状晶体，分别建立两种不同的关键角点检测方法；

(1)对采集的图像进行预处理，确定每个晶体图像的轮廓边缘：

(2)基于上述预处理，在每个晶体的图像轮廓中检测关键角点；

通过内距描述子区分晶体形状；方块状晶体的轮廓边缘包括外部边缘和内部边缘，在一侧投影面包含8个关键角点，分别为4个外部和4个内部的关键角点；柱状晶体的关键角点位于晶体两端；提出两种不同的算法分别检测这两种形状的关键角点；

对于方块状晶体的关键角点检测如下：

所有轮廓边缘点的坐标(x_n,y_n),n＝1,2,…,N，N为所有边缘点数量，K为单边的边缘点数量；因此，质心坐标(x_c,y_c)为：

从质心到边缘点的内距d_n为：

根据上式计算结果绘制所有边缘点的内距图，其峰值点为轮廓线的极值点；每个边的点集合是由每两个极值点之间的边缘点组成的；通过最小二乘方法对每个边的点集合进行直线拟合，计算每两个边的拟合直线交点为关键角点；

对于柱状晶体的关键角点检测如下：

基于曲率尺度空间方法选择候选角点，当一个候选角点的内部距离大于晶体形状长度的三分之一，则该角点为关键角点；

(3)在关键角点检测后，采用BRIEF描述子对双目图像的关键角点进行描述与匹配；通过汉明距离衡量两个视图中角点特征描述子的相似度，根据最大相似度的标准确定两个视图中关键角点的匹配对；

第二步，晶体图像三维重构

根据同一晶体在双目图像中识别出的关键角点，提出一种三维几何计算模型来近似重建晶体立体形状；晶体的三维尺寸和体积是基于三维几何信息测量的；该模型的三维坐标系原点设置在左视图的中心；对于三维形状重建，空间点P的三维坐标(X,Y,Z)表达式是一个二维坐标P_l和P_r的函数；P_l(u_l,v_l)和P_r(u_r,v_r)分别表示P在左视图和右视图的成像点，两者尺寸L_m×W_m相同，其中，u_l为左视图中成像点的横坐标，v_l为左视图中成像点的纵坐标，u_r为右视图中成像点的横坐标，v_r为右视图中成像点的纵坐标，L_m为图像长度，W_m为图像宽度；

空间点P的三维坐标(X,Y,Z)为：

其中，γ为不放大时的像素当量；f为焦距；b为基线长度；0<θ<90°，2θ为立体角度；参数a_l和a_r依赖于u_l和u_r的成像位置，如下：

式(4)-(5)的参数：左视图倾角τ_l＝arctan(x_l/f)，右视图倾角τ_r＝arctan(x_r/f)，左视图成像点偏移距离

右视图成像点偏移距离

κ为放大系数；符号参数p与q为：

因此，计算出每个晶体轮廓中所有关键角点的三维坐标，并用于近似重建每个晶体形状的三维几何模型；

第三步，晶体三维尺寸测量

对于方块状晶体，有4个外部和4个内部的关键角点；设{P_e ⁿ(X_e ⁿ,Y_e ⁿ,Z_e ⁿ),n＝1,2,3,4}和{P_i ⁿ(X_i ⁿ,Y_i ⁿ,Z_i ⁿ),n＝1,2,3,4}分别表示外部的关键角点和内部的关键角点；

方块状型晶体的长度为：

L_a＝max(d_l ⁿ),n＝1,2,3,4 (8)

其中，d_l ⁿ,n＝1,2,3,4分别表示线段P_e ¹P_e ²，P_e ²P_e ³，P_e ³P_e ⁴和P_e ¹P_e ⁴的长度；

方块状晶体的宽度为：

W_a＝min(d_w ⁿ),n＝1,2,3,4 (9)

其中，d_w ⁿ,n＝1,2,3,4分别表示点P_e ¹与线段P_e ³P_e ⁴的距离，点P_e ²与线段P_e ¹P_e ⁴的距离，点P_e ³与线段P_e ¹P_e ²的距离，和点P_e ⁴与线段P_e ²P_e ³的距离；

方块状型晶体的高度尺寸为：

其中，d_h ⁿ，n＝1,2,...,8为每个关键角点与其非拟合平面之间的距离；

对于柱状晶体，采用最小体积边界盒算法，使用关键角点来重建一个长方体形状的三维几何模型；进而，通过计算出其长方体的三维尺寸来近似得出柱状晶体的三维尺寸。

2.根据权利要求1所述的一种基于双目视觉监测结晶过程方块状和柱状晶体三维尺寸的方法，其特征在于，第一步所述的步骤(1)中的预处理为：首先，采用中值滤波法从采集的图像中复原可检测的图像，消除噪声影响；其次，采用基于Canny算子的多尺度边缘检测方法，从一个去噪图像中检测出晶体的形状边缘；最后，利用形态学方法对图像的晶体边缘进行闭操作，填充相邻边缘点之间的间隙，确定每个晶体图像的轮廓边缘。

Images