CN113838114B - 一种基于边缘散焦追踪的高炉料面深度估计方法及系统 - Google Patents

Abstract

本发明公开了一种基于边缘散焦追踪的高炉料面深度估计方法及系统，通过建立内窥镜成像模型，估计料面图像的散焦模糊，根据散焦测距原理构建料面图像边缘深度与散焦模糊的关系模型，估计料面图像边缘的稀疏深度，对料面图像进行区域划分，获得深度变化规律一致的料面子区域，提取料面子区域的边缘图，并绘制边缘轨迹线，基于边缘轨迹线和深度梯度模板对料面图像边缘的稀疏深度进行扩展，得到整幅料面图像的深度图，进而获得高炉料面深度，解决了现有技术无法实时准确获取高炉料面深度的技术问题，实现了恶劣环境下的料面深度实时准确获取，提高了高炉料面深度提取的准确度和可靠性，能够为高炉炉顶布料操作提供连续、准确的料面深度反馈信息。

Description

一种基于边缘散焦追踪的高炉料面深度估计方法及系统

技术领域

本发明主要涉及高炉料面深度检测领域，特指一种基于边缘散焦追踪的高炉料面深度估计方法及系统。

背景技术

高炉炼铁是一个连续鼓风、周期性加料和周期性出铁，在炉内发生复杂物理化学反应的生产过程，也是钢铁制造过程中能耗最高、排放量最大的一个环节，其CO₂排放量占钢铁工业总排量的90％。在高炉冶炼过程中，炉料(铁矿石、焦炭、含铁原料)从炉顶进入高炉，在炉内受到自身的重力和向上的热风的浮力等作用力，并形成由炉料和中心火焰组成的料面。高炉料面各个位置的深度是判断炉况、指导布料操作，进而改善煤气流分布、降低能耗、保障高炉安全绿色运行的关键信息。

然而，由于高炉内部高温高压、强粉尘、密闭弱光的恶劣环境，目前料面深度的检测手段十分有限且普遍精度不高，主要包括机械探尺检测法、雷达在线检测法、激光扫描法、炉顶视频采集法等。机械探尺检测法受限于炉内布局，其机械结构只能安装在固定的几个位置，只能测得2～3处料面的位置，无法对料面进行大区域深度的测量。雷达在线检测法、激光扫描法在原理上可以测得料面多点处的深度信息，但在实际工作中，由于炉内高粉尘区的遮挡，使得所得到的料面深度出现了比较大的误差。炉顶视频采集法包括红外摄像仪成像、炉顶可见光成像和内窥式光学成像，其中红外图像损失了料面丰富的纹理信息和色彩信息，无法获得料面深度；安装在炉顶的可见光摄像头无法克服炉顶多尘、弱光环境，几乎得不到任何图像信息；高温工业内窥镜采用内窥式近距离成像方式能够比较清晰地获得冶炼过程不同形貌特征的料面图像，但是在二维图像上缺乏深度信息，无法直接用于现场分析和指导高炉操作。本发明提出了一种基于单目图像的高炉料面深度检测方法，能够从料面图像中提取料面深度信息，为现场工人进行布料操作提供重要反馈信息。

中国专利CN109541590A《一种高炉料面点云成像的方法》公开了一种高炉料面点云成像的方法，利用高炉现场雷达回波信号生成频谱点云矩阵，对点云矩阵进行料面的形态、液态化特征提取以及点云峰脊的锐化，最终得到实际料面线、料面点云曲面与光滑料面。但是该方法只能得到的径向上料面高度，无法准确获得其他位置的高度，且可能会受到粉尘的干扰影响精度。

中国专利CN108842015A《一种判断高炉的炉内料面位置的方法》公开了一种能够判断高炉的炉内料面位置的方法，通过计算已消耗的停炉料的体积和高炉的内型尺寸来判断炉内料面的位置，可以在不安装探测设备的前提下得到料面的位置信息，但是只能获取高炉停炉过程中高炉料面位置，且无法获得料面上不同位置的深度。

中国专利CN109493426A《一种基于单目成像的高炉料面三维重构方法及系统》公开了一种基于单目成像的高炉料面三维重构方法及系统，根据料面图像的纹理和模糊度，获得料面图像的深度特征，根据深度特征计算了料面图像高度，并拟合获得高炉三维料面，但是该方法只提取了单目图像的深度特征，当料面图像深度特征不明显时，精度会受到影响。

发明内容

本发明提供的基于边缘散焦追踪的高炉料面深度估计方法及系统，解决了现有技术无法实时准确获取高炉料面深度的技术问题。

为解决上述技术问题，本发明提出的基于边缘散焦追踪的高炉料面深度估计方法包括：

建立内窥镜成像模型，估计料面图像的散焦模糊；

根据散焦测距原理构建料面图像边缘深度与散焦模糊的关系模型，估计料面图像边缘的稀疏深度；

根据料面分布特征和中心煤气流边缘轮廓对料面图像进行区域划分，获得深度变化规律一致的料面子区域；

提取料面子区域的边缘图，并根据料面子区域的边缘图绘制边缘轨迹线；

基于边缘轨迹线和深度梯度模板对料面图像边缘的稀疏深度进行扩展，得到整幅料面图像的深度图；

基于整幅料面图像的深度图，利用现场采集的机械探尺数据，基于内窥镜安装位置和坐标变换，获得最终的高炉料面深度。

进一步地，根据散焦测距原理构建料面图像边缘深度与散焦模糊的关系模型，估计料面图像边缘的稀疏深度包括：

基于已知标准差的高斯函数对料面图像进行模糊处理，获得模糊料面图像；

计算模糊料面图像和料面图像的边缘梯度比，并基于散焦测距原理，获得料面图像边缘的稀疏深度，且料面图像边缘的稀疏深度的具体计算公式为：

其中，u(x,y)表示料面图像边缘中像素点坐标为(x,y)的深度值，f表示获取料面图像的内窥镜的焦距，s表示透镜到成像平面的距离，F表示孔径光阑,σ₁(x,y)表示料面图像中像素点坐标为(x,y)的高斯标准差,k为常数。

进一步地，根据料面分布特征和中心煤气流边缘轮廓对料面图像进行区域划分，获得深度变化规律一致的料面子区域包括：

对料面图像进行二值化，获得煤气流区域；

基于煤气流区域，提取中心煤气流边缘轮廓；

基于中心煤气流边缘轮廓，计算煤气流水平轮廓的宽度，并基于煤气流水平轮廓的宽度获得竖直方向划分直线方程；

提取料面图像的料面边缘图，并根据料面边缘图中的水平方向极低点获得水平方向划分直线方程，其中水平方向极低点具体为与料面边缘图中水平方向垂直的垂直直线与料面边缘图相交点中凹陷处最内侧的点；

基于竖直方向划分直线方程和水平方向划分直线方程，将料面图像划分为四个料面子区域。

进一步地，提取料面子区域的边缘图，并根据料面子区域的边缘图绘制边缘轨迹线包括：

采用canny算子提取料面子区域的边缘图；

根据料面子区域的边缘图，绘制料面子区域的水平边缘轨迹线、垂直边缘轨迹线和对角线边缘轨迹线。

进一步地，根据料面子区域的边缘图，绘制料面子区域的水平边缘轨迹线包括：

预设水平边缘轨迹线的数目、相邻水平边缘轨迹线的间距以及初始水平边缘轨迹线上初始点的纵坐标；

在料面子区域的边缘图中最左边选取预设数目的初始点，依次从左到右以相同的步长沿着料面子区域的边缘图进行追踪，直到追踪到料面子区域的边缘图的最右端，得到预设数目的轨迹线组成的水平不交叉的水平边缘轨迹线，其中轨迹线上满足约束方程：

其中，(x,y)表示料面子区域上像素点的坐标，E_t(x,y)表示边缘追踪约束，E_s(x,y)表示平滑约束，E_e(x,y)表示弹性约束，E_d(x,y)表示深度追踪约束，e(x,y)表示料面子区域的边缘图中边缘点坐标为(x,y)的灰度值，其最大值和最小值分别取1和0，d_s(x,y)表示当前像素点与下一追踪位置的像素点的垂直距离，d_e(x,y)表示左边始点像素和候选像素点位置的垂直距离，s(x,y)表示料面子区域的边缘图中边缘点(x,y)的稀疏深度值，a,b,c,d分别是四个约束方程对应的控制参数。

进一步地，基于边缘轨迹线和深度梯度模板对料面图像边缘的稀疏深度进行扩展，得到整幅料面图像的深度图包括：

定义表征料面分布变化的深度梯度模板，具体为：

其中，d_h、d_v和d_d分别表示水平、垂直和对角线深度梯度模板，l₁、l₂和l₃分别表示水平、垂直和对角线方向的轨迹线条数，k₁、k₂和k₃分别表示第k₁条水平边缘轨迹线、k₂条垂直边缘轨迹线以及k₃条对角线边缘轨迹线；

采用深度梯度模板，分别对边缘轨迹线中的水平边缘轨迹线、垂直边缘轨迹线和对角线边缘轨迹线进行深度扩展，得到整幅料面图像的深度图。

进一步地，采用深度梯度模板，对边缘轨迹线中的水平边缘轨迹线进行深度扩展包括：

对于水平边缘轨迹线上的点，采用水平边缘轨迹线上相邻边缘点的深度梯度进行赋值，具体为：

其中，d_i,d_j,d_k分别表示像素点i、j、k的深度值，E是由水平边缘点组成的集合，j和k表示水平边缘轨迹线上相邻的两个边缘点，x_i表示像素点i的横坐标，x_j和x_k分别表示像素点j和k的横坐标；

对于水平边缘轨迹线之间的点，通过垂直深度梯度模板方向上边缘点的梯度分配深度，具体为：

其中，d_p表示像素点p的深度值，y_p表示像素点p的纵坐标，d_n、d_m分别表示垂直方向上相邻两个边缘点n、m的深度值，y_n,y_m分别是n、m的纵坐标。

进一步地，获得整幅料面图像的深度图之后还包括：

对整幅料面图像的深度图进行双边滤波。

本发明提供的基于边缘散焦追踪的高炉料面深度估计系统包括：

存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现本发明提供的基于边缘散焦追踪的高炉料面深度估计方法的步骤。

与现有技术相比，本发明的优点在于：

本发明提供的基于边缘散焦追踪的高炉料面深度估计方法及系统，通过建立内窥镜成像模型，估计料面图像的散焦模糊，根据散焦测距原理构建料面图像边缘深度与散焦模糊的关系模型，估计料面图像边缘的稀疏深度，根据料面分布特征和中心煤气流边缘轮廓对料面图像进行区域划分，获得深度变化规律一致的料面子区域，提取料面子区域的边缘图，并根据料面子区域的边缘图绘制边缘轨迹线，基于边缘轨迹线和深度梯度模板对料面图像边缘的稀疏深度进行扩展，得到整幅料面图像的深度图以及基于整幅料面图像的深度图，利用现场采集的机械探尺数据，基于内窥镜安装位置和坐标变换，获得最终的高炉料面深度，解决了现有技术无法实时准确获取高炉料面深度的技术问题，实现了恶劣环境下的料面深度实时准确获取，提高了高炉料面深度提取的准确度和可靠性，能够为高炉炉顶布料操作提供连续、准确的料面深度反馈信息。

本发明的目的：

为了解决高炉料面深度难以实时准确获取的问题和弥补现有方法的不足，本发明提出一种基于边缘散焦追踪的高炉料面深度估计方法及系统，实现了恶劣环境下的料面深度实时准确获取。采用高温工业内窥镜近距离拍摄高炉冶炼过程中的料面视频，获得料面图像，基于单目散焦测距方法得到稀疏的料面深度图，然后根据高炉料面分布特征将图像划分为具有相同深度变化规律的子区域，并提出了深度梯度模板和边缘轨迹线绘制方法，基于深度梯度模板和边缘轨迹线对稀疏深度进行校正和扩展，获取了整幅图像的深度信息，采用现场采集的机械探尺数据进行定标，最终得到连续、准确的料面深度。

本发明的关键点包括：

(1)采用已知的高斯函数对料面图像进行模糊处理，计算模糊料面图像与原始图像的边缘梯度比，并结合散焦测距原理获得稀疏的深度图；

(2)结合料面分布规律和中心煤气流边缘轮廓的大小，对料面图像进行区域划分，得到深度变化规律相同的子区域；

(3)绘制了水平、垂直和对角线方向的轨迹线以及料面子区域对应的深度梯度模板，制定了深度扩展规则；

(4)基于边缘轨迹线和深度梯度模板对稀疏深度进行扩展，获得了整幅图像的深度；

(5)本发明首次结合深度线索和图像深度分布特征，建立了基于边缘散焦追踪的料面图像深度分块估计模型，定量估计了料面深度。

附图说明

图1为本发明实施例二的基于边缘散焦追踪的高炉料面深度估计方法的流程图；

图2为本发明实施例二的相机散焦模型；

图3为本发明实施例二的料面子区域划分结果；

图4为本发明实施例二的边缘轨迹线绘制方法的流程图；

图5为本发明实施例三的内窥镜安装示意图；

图6为本发明实施例三的高炉料面深度估计结果；

图7为本发明实施例的基于边缘散焦追踪的高炉料面深度估计系统的结构框图。

附图标记：

10、存储器；20、处理器。

具体实施方式

为了便于理解本发明，下文将结合说明书附图和较佳的实施例对本发明作更全面、细致地描述，但本发明的保护范围并不限于以下具体的实施例。

以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。

实施例一

本发明实施例一提供的基于边缘散焦追踪的高炉料面深度估计方法，包括：

步骤S101，建立内窥镜成像模型，估计料面图像的散焦模糊；

步骤S102，根据散焦测距原理构建料面图像边缘深度与散焦模糊的关系模型，估计料面图像边缘的稀疏深度；

步骤S103，根据料面分布特征和中心煤气流边缘轮廓对料面图像进行区域划分，获得深度变化规律一致的料面子区域；

步骤S104，提取料面子区域的边缘图，并根据料面子区域的边缘图绘制边缘轨迹线；

步骤S105，基于边缘轨迹线和深度梯度模板对料面图像边缘的稀疏深度进行扩展，得到整幅料面图像的深度图；

步骤S106，基于整幅料面图像的深度图，利用现场采集的机械探尺数据，基于内窥镜安装位置和坐标变换，获得最终的高炉料面深度。

本发明实施例提供的基于边缘散焦追踪的高炉料面深度估计方法，通过建立内窥镜成像模型，估计料面图像的散焦模糊，根据散焦测距原理构建料面图像边缘深度与散焦模糊的关系模型，估计料面图像边缘的稀疏深度，根据料面分布特征和中心煤气流边缘轮廓对料面图像进行区域划分，获得深度变化规律一致的料面子区域，提取料面子区域的边缘图，并根据料面子区域的边缘图绘制边缘轨迹线，基于边缘轨迹线和深度梯度模板对料面图像边缘的稀疏深度进行扩展，得到整幅料面图像的深度图以及基于整幅料面图像的深度图，利用现场采集的机械探尺数据，基于内窥镜安装位置和坐标变换，获得最终的高炉料面深度，解决了现有技术无法实时准确获取高炉料面深度的技术问题，实现了恶劣环境下的料面深度实时准确获取，提高了高炉料面深度提取的准确度和可靠性，能够为高炉炉顶布料操作提供连续、准确的料面深度反馈信息。

实施例二

参照图1，本发明实施例二提供的基于边缘散焦追踪的高炉料面深度估计方法，包括以下步骤：

(1)建立内窥镜成像模型，估计料面图像的散焦模糊

高温工业内窥镜拍摄高炉运行过程的料面视频可以看成一个透镜成像模型，如图2所示，可得其中焦距f，像距v，物距u的关系

当内窥镜的图像传感器在像平面上，会形成一个清晰的料面图像；否则，物体将会形成模糊的光斑，用R表示光斑的半径，根据三角形的相似定理可以得到光斑大小计算公式：

其中，F＝(2r)^-1f表示孔径光阑，s表示透镜到成像平面的距离，可知物距与光斑半径R有关，当r、s、f已知时，计算出光斑半径R，即可得到深度信息。

一般来说，物体在成像平面形成的模糊光斑的亮度分布接近于二维高斯分布：

式(3)中，σ表示高斯标准差，可以表征料面图像的模糊程度，其与模糊光斑半径具有线性关系，即σ＝kR，其中k是一个已知的常数，因此，若计算出σ可以估计料面图像散焦模糊。

(2)构建料面图像边缘深度与散焦模糊的关系模型，估计料面稀疏深度。

图像边缘是亮度变化明显的区域，是图像的高频信号，包含了重要的信息，图像边缘很有可能高度发生变化，为提取料面深度信息提供了一个依据。对于大多数图像，其边缘是阶跃边缘，可将图像表示为

e(x)＝αu(x)+β (4)

其中，u(x)表示单位阶跃函数，当x＝0，此时为边缘所在的位置，α和β分别表示幅值和偏移量。

为了估计料面边缘的散焦模糊程度，可以将料面图像看成是聚焦时的清晰图像与一个点扩散函数的卷积的结果，其中点扩散函数选取二维高斯函数。

为了简化运算，考虑一维情况，结合(4)和(5)，计算图像的梯度强度：

基于已知标准差σ₂的高斯函数对料面图像进行模糊处理，可得模糊后的图像的梯度强度：

计算原始料面图像和再模糊料面图像的边缘梯度强度之比，可得

显然，当x＝0，即在边缘区域，梯度强度取值最大：

对于二维料面图像，可以计算x和y方向的梯度，得到原始模糊图像和再模糊图像的边缘梯度比：

在获得料面图像的边缘梯度比之后，可以根据公式(9)计算原始料面图像的散焦模糊程度：

利用散焦模糊与深度的关系，将散焦模糊转化为深度：

结合公式(11)和公式(12)可以获得料面图像边缘的稀疏深度图。

(3)根据料面分布特征和中心煤气流边缘轮廓进行区域划分，将料面图像划分成深度变化规律一致的子区域。

在高炉冶炼过程中，将料面到零料位的垂直距离记为料线，料线越深，距离零料位越远，料线越浅，距离零料线位越近。考虑到高炉的环形布料方式，由于布料档位的不同且炉料在炉内受力不均，在炉内不同位置的炉料具有不同的速度，导致料面不同的位置具有不同的深度，在图像中体现为高低起伏的形态。一般来说，高炉料面满足“中心低、两边高”的分布规律，且炉内中心煤气流处于料面的中心，而这一区域的料面料线往往是最深的。

在本发明中，料面图像根据料面分布特征被划分为四个区域，如图3所示。具体划分步骤如下：

高炉料面图像的煤气流区域与料面区域具有比较明显的分界线，为去除料面区域对煤气流区域边缘提取的影响，对料面图像进行二值化处理，其中二值化的阈值采用最大类间方差法确定。

采用canny算子提取中心煤气流边缘轮廓，为了获取中心煤气流轮廓宽度，对煤气流轮廓进行坐标化，得到每个轮廓上的像素点的坐标。在煤气流边缘轮廓坐标系中，画一条与水平方向平行的直线，与煤气流边缘轮廓水平边缘线分别交于M(x₁,y₁)、N(x₂,y₂)，由此可以得到煤气流水平轮廓的宽度，得到竖直方向划分位置如下：

y＝x_t＝|x₂-x₁|/2 (14)

为了剔除中心煤气流区域对水平区域划分的影响，采用水平及垂直方向算子提取料面图像边缘，获得料面区域的边缘图。

式中，方向算子f(i,j)表示料面图像上坐标为(i,j)的像素点灰度值。

在获得料面区域的边缘图后，对料面区域的边缘图进行坐标化。在该坐标系中绘制一条与水平方向垂直的直线，与料面交于P(x₃,y₃)点，其中P点为料面边缘凹陷处最内侧的点，将该点作为水平方向极低点，过P点做与水平方向平行的直线，则该直线为水平方向划分的边界线。

x＝x₃ (16)

在获取水平和垂直方向的分界线后，可以将料面图像划分成四个区域。其中，四个区域的深度关系定义如下：

其中，x和y取0或者1，区域A从左到右深度递减，从上到下深度递减，从左上角到右下角深度递减；区域B为从左到右深度递增，从下到上深度递增，从左下角到右上角深度递增；区域C从左到右深度递减，从下到上深度递减，从左下角到右上角深度递减；区域D从左到右深度递增，从上到下深度递增，从左上角到右下角深度递增。

(4)提取料面边缘图，绘制边缘轨迹线。

在对料面进行区域划分后，为了表征每个区域的深度变化关系，需要分别绘制水平、垂直和对角线方向的边缘轨迹线，边缘轨迹追踪是将深度从边缘扩展到整幅图像的关键。参照图4，本实施例采用canny算子提取料面边缘轮廓图后，对边缘点进行追踪并得到轨迹线，具体步骤如下：

Step 1：定义水平边缘轨迹线的数目为l₁、相邻轨迹线的间距为d、初始轨迹线上初始点的纵坐标y_k0；

其中H表示图像高度，m根据图像的高的大小选定，一般来说为了保证准确度和运算速度，10≤l₁≤100，k表示第k条轨迹线，满足1≤k≤l₁(m为正整数)。

Step 2：在边缘图中最左边选取l₁个初始点，其初始纵坐标按照式(18)确定，依次从左到右以相同的步长沿着边缘图进行追踪，直到追踪到边缘线的最右端，得到由l₁条轨迹线组成的水平不交叉的轨迹线图，其中轨迹线需要满足以下方程：

其中E_t(x,y)表示边缘追踪约束，可以追踪明显的边缘，其取值范围为(0,1]；E_s(x,y)表示平滑约束，用以避免垂直方向的畸变；E_e(x,y)表示弹性约束，避免同一条轨迹线在垂直方向发生显著的变化，防止当前位置远离初始的垂直位置；E_d(x,y)表示深度追踪约束，用以选择具有相同或者相近的深度值的像素点，避免同一轨迹线上深度值相差太大。e(x,y)表示图像边缘点(x,y)的值，其最大值和最小值分别取1和0，d_s(x,y)表示当前像素点与下一追踪位置的像素点的垂直距离，d_e(x,y)表示左边始点像素和候选像素点位置的垂直距离，s(x,y)表示稀疏的深度值a,b,c,d分别是四个约束方程对应的控制参数。

式(19)可以理解为轨迹线上的点的边缘值大，且垂直方向不能变化太快，距离初始点不能太远，深度值相同或者相近。当像素点位置满足式(18)时，认为该点是轨迹线上的点，具体位置可根据上述四个约束方程的加权和最小来确定：

p＝arg min_y{αE_t(x,y)+βE_s(x,y)+γE_e(x,y)+δE_d(x,y)} (20)

其中p表示轨迹线点的纵坐标，α,β,γ,δ表示权重，满足α+β+γ+δ＝1，且在计算过程中为常量，x可以取到整行像素的横坐标，这里取步长为1个像素点，即x_i+1＝x_i+1。

Step 3：在绘制完水平边缘轨迹线后，采用相同的方法得到垂直和对角线方向的轨迹线。

(5)基于边缘轨迹线和深度梯度模板对料面图像进行深度扩展，估计整幅图像的深度。

在得到具有相同深度变化规律的料面区域、边缘轨迹线图后，为了表征子区域料面分布变化，定义深度梯度模板如下：

其中l₁、l₂和l₃分别表示水平、垂直和对角线方向的轨迹线条数，k₁,k₂,k₃分别表示第k₁条水平方向轨迹线、k₂条垂直方向轨迹线以及k₃条对角线方向轨迹线。

采用相应的梯度模板对稀疏深度进行扩展，基于初始的深度模板对每个子区域的稀疏深度进行校正，若子区域的深度变化关系满足深度模板变化，则保留；若子区域的深度变化关系不满足深度模板变化，则剔除。

分别对A、B、C、D四个区域采用相应的深度模板进行深度扩展。以水平轨迹线的深度扩展为例：

对于在轨迹线上的点，采用轨迹线上相邻边缘点的深度梯度进行赋值。

其中，d_i,d_j,d_k分别表示像素点i、j和k的深度值；E是由边缘点组成的集合，j和k表示轨迹线上相邻的两个边缘点，x_i表示像素点i的横坐标，x_j和x_k分别表示像素点j和k的横坐标。

对于轨迹线之间的点，通过垂直深度梯度模板方向上边缘点的梯度来分配深度。

其中，d_p表示像素点p的深度值，y_p表示像素点p的纵坐标d_n,d_m分别表示垂直方向上相邻两个边缘点n和m的深度值，y_n,y_m分别是其纵坐标。

对于垂直和对角线方向轨迹线的深度扩展采用相同的，考虑到相同位置的深度分别被水平、垂直和对角线方向的模板赋值，本发明采用三次深度赋值的最大值作为料面的深度值：

对轨迹线图深度赋值后，可以获得料面的相对深度图，但此时得到深度值是断续的，且存在毛刺和噪声，为此，采用双边滤波对图像进行滤波。

(6)根据高温内窥镜安装位置和坐标变换，将料面到相机的深度转化为垂直深度。

高温工业内窥镜在高炉休风期间通过窥孔插入炉内，内窥镜安装示意图如图5所示，其中O点为机械探尺零点，P点为机械探尺所测得的料位点，是真实坐标下存在的点。D点为安装点，A点为内窥镜前端探头位置，距离炉壁距离为d，距离标准料位线距离为h，安装角度与水平方向夹角为，这些参数在安装的时候都可以确定，由于所拍摄到的料面是在相机坐标系下的图像，获得的深度值是料面相对内窥镜的深度，需要将深度转化为世界坐标系下的深度。

P_w＝RP_c+t (26)

写成齐次坐标形式为：

其中，P_w是机械探尺检测到的料面上的点的世界坐标，P_c是该点在相机坐标系下的坐标,R表示正交旋转矩阵，t表示内窥镜相对世界坐标的平移矩阵,H表示如下：

其中，θ为高温工业内窥镜的视场角，t_x,t_y,t_z为根据内窥镜的安装位置计算得到的坐标平移值。

本发明为提取高炉运行过程中的料面深度信息，采集了高温工业内窥镜拍摄的高炉运行过程中的料面图像，根据散焦测距原理得到稀疏深度图；为了获得整幅图像的深度，基于料面分布特征及煤气流边缘轮廓对料面图像进行区域划分，得到具有相同变化规律的料面子区域，并基于边缘追踪方法获取料面图像深度；实现高炉冶炼过程的料面深度值的计算，提高了高炉料面深度提取的准确度和可靠性，能够为高炉炉顶布料操作提供连续、准确的料面深度反馈信息。

实施例三

本发明实施例三以某炼铁厂2650m³高炉为实验平台，通过安装在炉顶的高温工业内窥镜拍摄运行过程中的料面图像，利用提出的基于单目图像的料面深度估计方法，得到准确可靠的料面深度，为炉顶布料操作提供指导数据。具体实施步骤如下：

1、在高炉炉顶安装了高温工业内窥镜，并通过光纤将料面视频信号传输到显示器，采样频率为30帧/秒，获得了高炉冶炼过程的料面图像。

2、通过一个已知标准差的高斯函数对料面图像进行模糊处理，计算模糊料面图像和原始料面图像的边缘梯度比，并基于散焦测距原理，得到边缘的稀疏深度图。

3、根据料面分布特征和中心煤气流边缘轮廓，对料面图像进行区域划分，得到具有相同深度变化规律的料面子区域。

4、提取料面图像边缘信息，定义轨迹线的约束条件，绘制水平、垂直、对角线方向边缘轨迹线图。

5、结合边缘轨迹线和深度梯度模板，对稀疏深度进行校正和扩展，对轨迹线图进行赋值，以扩展稀疏深度图，得到整幅图像的深度。

6、采集机械探尺的数据，并根据内窥镜安装的位置和坐标变换，将深度转化为世界坐标系下的绝对深度，得到最终的料面深度值，深度估计结果如图6所示。

参照图7，本发明实施例提出的基于边缘散焦追踪的高炉料面深度估计系统，包括：

存储器10、处理器20以及存储在存储器10上并可在处理器20上运行的计算机程序，其中，处理器20执行计算机程序时实现本实施例提出的基于边缘散焦追踪的高炉料面深度估计方法的步骤。

本实施例的基于边缘散焦追踪的高炉料面深度估计系统的具体工作过程和工作原理可参照本实施例中的基于边缘散焦追踪的高炉料面深度估计方法的工作过程和工作原理。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于边缘散焦追踪的高炉料面深度估计方法，其特征在于，所述方法包括：

建立内窥镜成像模型，估计料面图像的散焦模糊；

根据散焦测距原理构建料面图像边缘深度与散焦模糊的关系模型，估计料面图像边缘的稀疏深度；

根据料面分布特征和中心煤气流边缘轮廓对料面图像进行区域划分，获得深度变化规律一致的料面子区域，其中根据料面分布特征和中心煤气流边缘轮廓对料面图像进行区域划分，获得深度变化规律一致的料面子区域包括：

对料面图像进行二值化，获得煤气流区域；

基于煤气流区域，提取中心煤气流边缘轮廓；

基于中心煤气流边缘轮廓，计算煤气流水平轮廓的宽度，并基于煤气流水平轮廓的宽度获得竖直方向划分直线方程，其中计算煤气流水平轮廓的宽度包括：

对中心煤气流边缘轮廓进行坐标化，得到每个轮廓上的像素点的坐标；

在中心煤气流边缘轮廓坐标系中，画一条与水平方向平行的直线，与中心煤气流边缘轮廓水平边缘线分别交于M(x₁,y₁)、N(x₂,y₂)，从而得到煤气流水平轮廓的宽度，且基于煤气流水平轮廓的宽度获得竖直方向划分直线方程具体为：

y＝x_t＝|x₂-x₁|/2；

提取料面图像的料面边缘图，并根据料面边缘图中的水平方向极低点获得水平方向划分直线方程，其中所述水平方向极低点具体为与料面边缘图中水平方向垂直的垂直直线与料面边缘图相交点中凹陷处最内侧的点；

基于竖直方向划分直线方程和水平方向划分直线方程，将料面图像划分为四个料面子区域；

提取料面子区域的边缘图，并根据料面子区域的边缘图绘制边缘轨迹线，其中提取料面子区域的边缘图，并根据料面子区域的边缘图绘制边缘轨迹线包括：

采用canny算子提取料面子区域的边缘图；

根据料面子区域的边缘图，绘制料面子区域的水平边缘轨迹线、垂直边缘轨迹线和对角线边缘轨迹线，其中根据料面子区域的边缘图，绘制料面子区域的水平边缘轨迹线包括：

预设水平边缘轨迹线的数目、相邻水平边缘轨迹线的间距以及初始水平边缘轨迹线上初始点的纵坐标；

在料面子区域的边缘图中最左边选取预设数目的初始点，依次从左到右以相同的步长沿着料面子区域的边缘图进行追踪，直到追踪到料面子区域的边缘图的最右端，得到预设数目的轨迹线组成的水平不交叉的水平边缘轨迹线，其中轨迹线上满足约束方程：

其中，(x,y)表示料面子区域上像素点的坐标，E_t(x,y)表示边缘追踪约束，E_s(x,y)表示平滑约束，E_e(x,y)表示弹性约束，E_d(x,y)表示深度追踪约束，e(x,y)表示料面子区域的边缘图中边缘点坐标为(x,y)的灰度值，其最大值和最小值分别取1和0，d_s(x,y)表示当前像素点与下一追踪位置的像素点的垂直距离，d_e(x,y)表示左边始点像素和候选像素点位置的垂直距离，s(x,y)表示料面子区域的边缘图中边缘点(x,y)的稀疏深度值，a,b,c,d分别是四个约束方程对应的控制参数；

根据约束方程，确定水平边缘轨迹线点的纵坐标，具体计算公式为：

p＝arg min_y{αE_t(x,y)+βE_s(x,y)+γE_e(x,y)+δE_d(x,y)}，

其中，p表示水平边缘轨迹线点的纵坐标，α,β,γ,δ表示权重，满足α+β+γ+δ＝1，且在计算过程中为常量，x可以取到整行像素的横坐标，这里取步长为1个像素点；绘制完水平边缘轨迹线后，采用与绘制水平边缘轨迹线相同的方法绘制垂直边缘轨迹线和对角线边缘轨迹线；

基于边缘轨迹线和深度梯度模板对料面图像边缘的稀疏深度进行扩展，得到整幅料面图像的深度图，其中基于边缘轨迹线和深度梯度模板对料面图像边缘的稀疏深度进行扩展，得到整幅料面图像的深度图包括：

定义表征料面分布变化的深度梯度模板，具体为：

其中，d_h、d_v和d_d分别表示水平、垂直和对角线深度梯度模板，l₁、l₂和l₃分别表示水平、垂直和对角线方向的轨迹线条数，k₁、k₂和k₃分别表示第k₁条水平边缘轨迹线、k₂条垂直边缘轨迹线以及k₃条对角线边缘轨迹线；

采用深度梯度模板，分别对边缘轨迹线中的水平边缘轨迹线、垂直边缘轨迹线和对角线边缘轨迹线进行深度扩展，得到整幅料面图像的深度图，其中采用深度梯度模板，对边缘轨迹线中的水平边缘轨迹线进行深度扩展包括：

对于水平边缘轨迹线上的点，采用水平边缘轨迹线上相邻边缘点的深度梯度进行赋值，具体为：

其中，d_i,d_j,d_k分别表示像素点i、j、k的深度值，E是由水平边缘点组成的集合，j和k表示水平边缘轨迹线上相邻的两个边缘点，x_i表示像素点i的横坐标，x_j和x_k分别表示像素点j和k的横坐标；

对于水平边缘轨迹线之间的点，通过垂直深度梯度模板方向上边缘点的梯度分配深度，具体为：

其中，d_p表示像素点p的深度值，y_p表示像素点p的纵坐标，d_n、d_m分别表示垂直方向上相邻两个边缘点n、m的深度值，y_n,y_m分别是n、m的纵坐标；

基于整幅料面图像的深度图，利用现场采集的机械探尺数据，基于内窥镜安装位置和坐标变换，获得最终的高炉料面深度。

2.根据权利要求1所述的基于边缘散焦追踪的高炉料面深度估计方法，其特征在于，根据散焦测距原理构建料面图像边缘深度与散焦模糊的关系模型，估计料面图像边缘的稀疏深度包括：

基于已知标准差的高斯函数对料面图像进行模糊处理，获得模糊料面图像；

计算模糊料面图像和料面图像的边缘梯度比，并基于散焦测距原理，获得料面图像边缘的稀疏深度，且料面图像边缘的稀疏深度的具体计算公式为：

其中，u(x,y)表示料面图像边缘中像素点坐标为(x,y)的深度值，f表示获取料面图像的内窥镜的焦距，s表示透镜到成像平面的距离，F表示孔径光阑,σ₁(x,y)表示料面图像中像素点坐标为(x,y)的高斯标准差,k为常数。

3.根据权利要求2所述的基于边缘散焦追踪的高炉料面深度估计方法，其特征在于，获得整幅料面图像的深度图之后还包括：

对整幅料面图像的深度图进行双边滤波。

4.一种基于边缘散焦追踪的高炉料面深度估计系统，所述系统包括：

存储器(10)、处理器(20)以及存储在存储器(10)上并可在处理器(20)上运行的计算机程序，其特征在于，所述处理器(20)执行所述计算机程序时实现上述权利要求1至3任一所述方法的步骤。