CN109493426B - 一种基于单目成像的高炉料面三维重构方法及系统 - Google Patents

Abstract

本发明公开了一种基于单目成像的高炉料面三维重构方法及系统，该方法通过基于相机成像机理，建立料面图像的料面深度与料面高度的几何模型，根据料面图像的纹理和模糊度，获得料面图像的深度特征，根据料面图像的深度特征和几何模型，获得料面图像的料面高度，以及根据料面高度，拟合获得三维高炉料面，解决了现有基于料面数据拟合高炉料面模型时，由于特征点少且误差大，导致拟合出的高炉料面模型精度差的技术问题，从拍摄的料面图像角度出发，通过计算料面图像的深度特征，可以获得大量的精准度高的用于拟合获得三维高炉料面的料面高度数据，从而大大提高了三维高炉料面的模型精度。

Description

一种基于单目成像的高炉料面三维重构方法及系统

技术领域

本发明主要涉及高炉料面检测技术领域，特指一种基于单目成像的高炉料面三维重构方法及系统。

背景技术

钢铁工业中,高炉是炼铁系统中最重要的组成部分，也是能耗最高、排放量最大的部分，其直接和相关能量、排放分别占钢铁工业总值的70％和90％。高炉料面作为能够直接反映高炉炉内生产状况的对象，其三维信息对辅助炉顶布料，进而降低能耗、减少排放量、避免炉况恶化、提高生产效率有着重要的作用，高炉料面三维信息的获取也成为了亟待解决的一步。

现有常用的获取高炉料面三维信息的方法有基于动力学的离散单元法、基于料面运动规律建模法、基于检测数据直接拟合法。大致分为布料机理建模与检测数据拟合两个方面。对于布料机理建模：离散单元模型法从动力学角度分析炉料颗粒受力和运动，其动力学机理建模方法计算复杂，实现难度大，单纯从理论上得到三维料面使得模型精度低。基于料面运动规律建模法根据力学原理及高炉解剖研究，但没考虑炉料各部分消耗速率不均导致的料面下降不均匀的问题，模型精度不够，模型鲁棒性不够，时间越久精度越差。

对于基于料面数据拟合料面模型：由于高炉内部高温、高压、高粉尘的特殊环境，目前只有机械探尺、雷达探尺、十字测温仪、红外测温仪等几种检测手段，机械探尺受干扰小，数据准确但覆盖面太小，具体参照图1，图1为高炉示意图，其中只能放置L1和L2两个检测点；雷达与激光扫描仪覆盖面广但受干扰程度大，数据不够准确；红外检测仪等得到的图像不清楚，只能做定性观察；温度检测仪可直接反映料位高低以及料面的分布情况，但只能为料位变化的估算提供定性参考。因此，数据建模中采用这些数据得到的料面三维模型不仅特征点少且误差大。

发明内容

本发明提供的基于单目成像的高炉料面三维重构方法及系统，解决了现有基于料面数据拟合高炉料面模型时，由于特征点少且误差大，导致拟合出的高炉料面模型精度差的技术问题。

为解决上述技术问题，本发明提出的基于单目成像的高炉料面三维重构方法包括：

基于相机成像机理，建立料面图像的料面深度与料面高度的几何模型；

根据料面图像的纹理和模糊度，获得料面图像的深度特征；

根据料面图像的深度特征和几何模型，获得料面图像的料面高度；

根据料面高度，拟合获得三维高炉料面。

可选地，基于相机成像机理，建立料面图像的料面深度与料面高度的几何模型包括：

将料面图像均分成M*N个相同大小的子料面图像，其中M、N为大于1的整数；

基于相机成像机理，获得每一个子料面图像的平均料面高度为：

其中，h_j,i为第(j,i)个子料面图像的平均料面高度，l_j,i为第(j,i)个子料面图像的平均料面深度，θ为内窥镜镜头的视场角，θ₁为相机与炉壁的夹角，h_o为内窥镜镜头安装的位置距离机械探尺水平面的距离，1≤j≤M，1≤i≤N。

可选地，根据料面图像的纹理和模糊度，获得料面图像的深度特征包括：

计算料面图像的纹理和模糊度；

融合纹理和模糊度，获得料面图像的深度特征。

可选地，根据料面图像的深度特征和几何模型，获得料面图像的料面高度包括：

根据机械探尺实际测量的料面高度数据，计算单位时间内实际料面下降高度与料面图像点垂直下降像素值的系数比：

基于深度特征和系数比，采用多项式拟合获得料面图像的深度函数；

根据料面图像的深度函数和几何模型，获得料面图像的料面高度。

可选地，计算料面图像的模糊度包括：

对料面图像进行卷积窗处理，并将卷积窗处理后的料面图像的方差作为第一模糊度；

根据料面图像的非相似度、熵、逆差矩、能量，获得第二模糊度；

对第一模糊度和第二模糊度进行加权计算，获得料面图像的模糊度。

可选地，根据料面图像的非相似度、熵、逆差矩、能量，获得第二模糊度的计算公式为:

T₂(f,L,d)＝max(T_Bi(f,L,d,θ_i))

T₃(f,L,d)＝max(T_Ci(f,L,d,θ_i))

T₄(f,L,d)＝max(T_Di(f,L,d,θ_i))

T₅(f,L,d)＝max(T_Ei(f,L,d,θ_i))

其中，S₂为第二模糊度，f为料面图像，L为料面图像的灰度级数，d为距离，T_Bi(f,L,d,θ_i),T_Ci(f,L,d,θ_i),T_Di(f,L,d,θ_i),T_Ei(f,L,d,θ_i)为料面图像的非相似度、熵、逆差矩、能量在不同计算方向θ_i＝0°,45°,90°,135°计算得到的值，α₂＝α₄＝α₅＝1，α₃＝-1。

本发明提出的基于单目成像的高炉料面三维重构系统，包括：

存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述基于单目成像的高炉料面三维重构方法的步骤。

与现有技术相比，本发明的优点在于：

本发明提供的基于单目成像的高炉料面三维重构方法及系统，通过基于相机成像机理，建立料面图像的料面深度与料面高度的几何模型，根据料面图像的纹理和模糊度，获得料面图像的深度特征，根据料面图像的深度特征和几何模型，获得料面图像的料面高度，以及根据料面高度，拟合获得三维高炉料面，解决了现有基于料面数据拟合高炉料面模型时，由于特征点少且误差大，导致拟合出的高炉料面模型精度差的技术问题，从拍摄的料面图像角度出发，通过计算料面图像的深度特征，可以获得大量的精准度高的用于拟合获得三维高炉料面的料面高度数据，从而大大提高了三维高炉料面的模型精度。

附图说明

图1为高炉示意图；

图2为本发明实施例一的基于单目成像的高炉料面三维重构方法的流程图；

图3为本发明实施例二的基于单目成像的高炉料面三维重构方法的流程图；

图4本发明实施例二的内窥镜拍摄的料面图像；

图5为本发明实施例二的相机拍摄高炉中心示意图；

图6为本发明实施例二的料面下降几何示意图；

图7为本发明实施例二的料面下降切面示意图；

图8为本发明实施例二的小孔成像模型；

图9为本发明实施例二在不同成像距离处单位图像面积内料面颗粒大小示意图；

图10为本发明实施例二获得的料面三维重构图；

图11为本发明实施例的基于单目成像的高炉料面三维重构系统的结构框图。

附图标记：

10、存储器；20、处理器。

具体实施方式

为了便于理解本发明，下文将结合说明书附图和较佳的实施例对本发明作更全面、细致地描述，但本发明的保护范围并不限于以下具体的实施例。

以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。

实施例一

参照图2，本发明实施例一提供的基于单目成像的高炉料面三维重构方法，包括：

步骤S101，基于相机成像机理，建立料面图像的料面深度与料面高度的几何模型；

步骤S102，根据料面图像的纹理和模糊度，获得料面图像的深度特征；

步骤S103，根据料面图像的深度特征和几何模型，获得料面图像的料面高度；

步骤S104，根据料面高度，拟合获得三维高炉料面。

本发明实施例提供的基于单目成像的高炉料面三维重构方法，通过基于相机成像机理，建立料面图像的料面深度与料面高度的几何模型，根据料面图像的纹理和模糊度，获得料面图像的深度特征，根据料面图像的深度特征和几何模型，获得料面图像的料面高度，以及根据料面高度，拟合获得三维高炉料面，解决了现有基于料面数据拟合高炉料面模型时，由于特征点少且误差大，导致拟合出的高炉料面模型精度差的技术问题，从拍摄的料面图像角度出发，通过计算料面图像的深度特征，可以获得大量的精准度高的用于拟合获得三维高炉料面的料面高度数据，从而大大提高了三维高炉料面的模型精度。

具体地，本实施例通过深度特征与实际高度的强相关性，可以得到料面每点实际高度，从而可以通过计算得到大量料面高度数据对高炉料面进行三维拟合，且拟合获得的三维料面不仅精度高，还能充放反应料面的高低起伏变化。也即本实施例通过从图像的角度去重构三维料面拥有更多的拟合数据，比之前纯理论推导重构以及利用机械探尺、雷达探尺等数据拟合重构有着更高的精度。

实施例二

参照图3，本发明实施例二提供的基于单目成像的高炉料面三维重构方法，包括：

步骤S201，基于相机成像机理，建立料面图像的料面深度与料面高度的几何模型。

具体地，本发明实施例基于相机成像机理，建立料面图像的料面深度与料面高度的几何模型包括：

将料面图像均分成M*N个相同大小的子料面图像，其中M、N为大于1的整数；

基于相机成像机理，获得每一个子料面图像的平均料面高度为：

其中，h_j,i为第(j,i)个子料面图像的平均料面高度，l_j,i为第(j,i)个子料面图像的平均料面深度，θ为内窥镜镜头的视场角，θ₁为相机与炉壁的夹角，h_o为内窥镜镜头安装的位置距离机械探尺水平面的距离，1≤j≤M，1≤i≤N。

由于本发明实施例研究的对象为高炉内料面，需要从高炉内窥镜所拍摄的料面图像(如图4所示)中获取深度信息，并建立图像特征与深度的函数关系。需求得真实的料面到内窥镜镜头的距离OP(后用深度l表示)与不同位置料面的高度h_p的关系。对高炉内部建立几何模型，得到OP，h_p。

参考图5，图5为相机拍摄的高炉炉内料面中心点示意图，图5中炉内料面中心点H下降高度为h_HH′。高炉内窥镜安装在炉壁上的O点处，其中θ₁为相机与炉壁的夹角，选定内窥镜镜头的视场角为θ＝90°，安装角度为θ₁，POP′对应的夹角为α₁，如图6，图7所述。图6为料面下降几何示意图，图7为料面下降切面示意图，其中料面中心H点在下降过程中两个点的高度分别为h₁，h₂，P点、P′点分别不同时刻料面同一点下降的位置，本实施例将料面图像分为72X48(以图像左下角为原点，x轴为72，y轴为48)个相同大小的小图像，设每张小图像的高度和深度为h_x(j),y(i)、l_x(j),y(i)。

具体地，图7中点H是图像中位线处的顶点，为图像中心点(36,24)处，镜头安装的位置距离顶高为h_O＝l_oh-OH·cosθ₁，那么在中线上每一点的高度为:

推广计算，计算面上每一点的高度时，先应该将其他点位置的op投影回到中线处，即

可以得到每一块料面的平均高度信息

本实施例根据内窥镜安装时安装参数与高炉的结构参数结合相机成像的原理，得到炉内料面块的平均高度与内窥镜拍摄得到料面块图像的平均深度具有强相关性，并建立几何模型得到两者精确的函数关系，使得基于该函数关系获得的料面高度信息具有较高的精准性，从而能精准拟合获得三维高炉料面。

步骤202，计算料面图像的纹理和模糊度。

为求取图像特征与深度信息关系模型，首先使用自定义的深度特征E对图像深度进行定量描述，然后选定样本图像，对高炉内部进行几何建模根据机械探尺获取的数据求得样本图像中料面深度l，同时计算对应位置料面图像的深度特征E，最终使用大量数据拟合得到料面图像特征与深度的函数关系l＝f(E)。

一般来说，能够体现图像深度信息有图像模糊度与纹理信息两个方面，下面分别对图像模糊度与纹理信息进行定量描述。

对图像模糊度信息的定量描述：

(1)计算第一模糊度：

先计算其方向性：采用梯度算子得到每个点四个方向的变化梯度。计算局部的模糊度：将一张图片拆分为若干张小图片，对每张小图片分别计算方差，去掉极值误差后对剩余部分求均值。计算步骤如式(5)-式(7):

g(x,y)＝f(x,y)*h₁(x,y) (5)

其中h₁(x,y)是梯度算子。

(2)计算第二模糊度

图像f(x,y)的灰度共生矩阵是由图像灰度级之间的联合概率密度[p(i,j|d,θ)]_L×L所构成的矩阵。其中θ为方向，d为距离，L为图像的灰度级数，θ可以选择4个离散的方向0°,45°,90°和135°，d的选择通常是d＝{1,2,3,4}。灰度共生矩阵中元素(i,j)的值表示以灰度值为i为起点，在给定θ方向上，空间距离为d，灰度值为j的像素出现的概率。根据不同的d,θ值可以计算出多个灰度共生矩阵。

根据灰度共生矩阵，有以下几个定义：

对比度：

非相似度：

熵：

逆差矩：

能量：

对于一幅图像，其越模糊，对比度、非相似度和熵越小；而逆差矩和能量越大。这里用后四种属性定义模糊度，考虑到方向性，所以四个方向都应该考虑并且取梯度下降最快的方向作为最终计算的方向。

T₂(f,L,d)＝max(T_B1(f,L,d,θ₁),T_B2(f,L,d,θ₂),T_B3(f,L,d,θ₃),T_B4(f,L,d,θ₄))

T₃(f,L,d)＝max(T_C1(f,L,d,θ₁),T_C2(f,L,d,θ₂),T_C3(f,L,d,θ₃),T_C4(f,L,d,θ₄))

T₄(f,L,d)＝max(T_D1(f,L,d,θ₁),T_D2(f,L,d,θ₂),T_D3(f,L,d,θ₃),T_D4(f,L,d,θ₄))

T₅(f,L,d)＝max(T_E1(f,L,d,θ₁),T_E2(f,L,d,θ₂),T_E3(f,L,d,θ₃),T_E4(f,L,d,θ₄))

θ＝0°,45°,90°,135°

定义第二模糊度函数：

其中，S₂为第二模糊度，f为料面图像，L为料面图像的灰度级数，d为距离，T_Bi(f,L,d,θ_i),T_Ci(f,L,d,θ_i),T_Di(f,L,d,θ_i),T_Ei(f,L,d,θ_i)为料面图像的非相似度、熵、逆差矩、能量在不同计算方向θ_i＝0°,45°,90°,135°计算得到的值，α₂＝α₄＝α₅＝1，α₃＝-1。

最后，对第一模糊度和第二模糊度进行加权计算，获得料面图像的模糊度为：

S＝ω₁S₁+ω₂S₂ (14)

其中S为模糊度，S₁为第一模糊度，S₂为第二模糊度，ω₁、ω₂为权值，0<ω₁<1，0<ω₂<1，ω₁+ω₂＝1。

对图像纹理信息的定量描述：

本文引入纹理能量E_s对一张图的纹理信息进行定量描述，原始图像为f(x,y)，使用边缘检测算法得到图像的纹理信息，使用数学语言描述为：对原始图像进行高斯滤波，

g₁(x,y)＝f(x,y)*h₁(x,y) (15)

使用边缘检测算子对图像进行处理，

g₂(x,y)＝g₁(x,y)*h₂(x,y) (16)

最后使用阈值W_g将图像转变为二值图像：

得到纹理能量为：

不考虑对焦过程由于距离出现的模糊问题，建立小孔成像模型，如图8所示。

S＝(2R)·(2R)＝4R²

由上式可以得到，距离u越大，单个焦矿在图像中显示的面积越大，在一副图中显示的料面颗粒变少，总的纹理能量E_s变少。反之变多。在实际的拟合过程中，呈现很强的相关性，如图9所示，图9为本实施例在不同成像距离处单位图像面积内料面颗粒大小示意图。本发明实施例根据相机成像原理对内窥镜拍摄建立成像模型，从成像机理的角度去证明：针对矿料颗粒为不规则多边形且大小接近、料面不平坦且不在一个成像平面等高炉内特殊的环境，高炉料面图像纹理信息、图像模糊度信息与图像深度有强相关性。

步骤203，融合纹理和模糊度，获得料面图像的深度特征。

综合步骤S202获得的模糊度信息与纹理能量，分配权值使两种融合，得到深度特征函数

E＝α₁E_s+α₂S (20)

本发明实施例分别将能体现图像深度的图像特征如图像的模糊度、纹理信息进行量化，对两者赋予不同的权值同一为深度特征，从数据的角度拟合得到图像特征与深度的函数关系。

步骤204，根据机械探尺实际测量的料面高度数据，计算单位时间内实际料面下降高度与料面图像点垂直下降像素值的系数比。

查询数据得到机械探尺实际的测量数据，参照表1。

表1像素位移与实际位移对应关系

根据表1，不难获得系数比：

步骤205，基于深度特征和系数比，采用多项式拟合获得料面图像的深度函数。

计算得到K_p后，便可计算得到料面图像中线处的高度与深度分别为：

I₁P＝10K_p.|i-24| (22)

根据对应料面位置深度l与深度特征E采用多项式拟合求取l＝f(E)。

步骤206，根据料面图像的深度函数和几何模型，获得料面图像的料面高度。

由此可见，从拍摄的料面图像角度出发，通过计算料面图像的深度特征，可以获得大量的精准度高的用于拟合获得三维高炉料面的料面高度数据，比仅靠机械探尺得到的两个数据与雷达探尺得到十几个精度不够的数据拥有更好的重构效果(能反应料面的高低起伏变化)。

步骤207，根据料面高度，拟合获得三维高炉料面。

具体地，本实施例通过从数据库中获取料面视频，通过上述的模型的计算，得到料面中每点的高度数据，通过这些点的高度数据，使用matlab进行拟合，得到三维料面图像，如图10所示。本实施例通过机械探尺测得的实际高度数据与内窥镜拍摄到的实际图片，采用大量真实数据进行多项式拟合，所计算得到高度数据与机械探尺测得的数据误差不大，具体见表2。由表2不难看出，本实施例获得的仿真数据，远好于雷达探尺数据和其它方式测得的数据。总之，在与机械探尺精度差不多的情况下，从图像的角度去重构三维料面不仅能拥有更多的拟合数据，而且比之前纯理论推导重构以及利用机械探尺、雷达探尺等数据拟合重构有着更高的精度。

表2三维料面仿真数据

本发明实施例提供的基于单目成像的高炉料面三维重构方法，通过基于相机成像机理，建立料面图像的料面深度与料面高度的几何模型，根据料面图像的纹理和模糊度，获得料面图像的深度特征，根据料面图像的深度特征和几何模型，获得料面图像的料面高度，以及根据料面高度，拟合获得三维高炉料面，解决了现有基于料面数据拟合高炉料面模型时，由于特征点少且误差大，导致拟合出的高炉料面模型精度差的技术问题，从拍摄的料面图像角度出发，通过计算料面图像的深度特征，可以获得大量的精准度高的用于拟合获得三维高炉料面的料面高度数据，从而大大提高了三维高炉料面的模型精度。

具体地，本发明实施例利用内窥镜的安装参数，高炉的结构参数与高炉的内有限的检测数据，建立了炉内几何关系模型、内窥镜成像模型(本实施例采用简单的小孔成像来描述该成像模型)与图像深度函数模型三个模型。分别得到了炉内料面块的平均高度与内窥镜拍摄得到料面块图像深度、料面图像特征(纹理和模糊度)与料面图像深度的函数关系。最终通过得到的数据重构料面三维图像。该模型可以实时真实地反应高炉炉喉内料面的情况，并能够动态的显示料面的变化，为高炉炉内精确、有效的布料奠定了基础。根据料面的实际形状以及不同时刻下的变化状态，能够实时指导高炉现场操作人员进行准确的布料，可以辅助高炉操判断发生崩料、悬料等异常情况，适度地采取调整措施，避免炉况的进一步恶化，减少停产休风、设备损坏等不良后果，提高高炉寿命，实现高炉长期稳定、高效运行，挖掘生产潜力，提髙生产效率。

参照图11，本发明实施例提出的基于单目成像的高炉料面三维重构系统，包括：

存储器10、处理器20以及存储在存储器10上并可在处理器20上运行的计算机程序，其中，处理器20执行计算机程序时实现本发明实施例的基于单目成像的高炉料面三维重构方法的步骤。

本实施例的基于单目成像的高炉料面三维重构系统的具体工作过程和工作原理可参照本实施例中的基于单目成像的高炉料面三维重构方法的工作过程和工作原理。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于单目成像的高炉料面三维重构方法，其特征在于，所述方法包括：

基于相机成像机理，建立料面图像的料面深度与料面高度的几何模型，所述几何模型具体为：

其中，所述料面图像被均分成M*N个相同大小的子料面图像，h_j,i为第(j,i)个子料面图像的平均料面高度，l_j,i为第(j,i)个子料面图像的平均料面深度，θ为内窥镜镜头的视场角，θ₁为相机与炉壁的夹角，h_o为内窥镜镜头安装的位置距离机械探尺水平面的距离，1≤j≤M，1≤i≤N，M、N为大于1的整数；

对所述料面图像进行卷积窗处理，并将卷积窗处理后的料面图像的方差作为第一模糊度；

根据所述料面图像的非相似度、熵、逆差矩、能量，获得第二模糊度；

对所述第一模糊度和第二模糊度进行加权计算，获得所述料面图像的模糊度；

计算所述料面图像的纹理，并融合所述纹理和所述模糊度，获得所述料面图像的深度特征；

根据机械探尺实际测量的料面高度数据，计算单位时间内实际料面下降高度与料面图像点垂直下降像素值的系数比；

基于所述深度特征和所述系数比，采用多项式拟合获得所述料面图像的深度函数；

根据所述料面图像的深度函数和所述几何模型，获得所述料面图像的料面高度；

根据所述料面高度，拟合获得三维高炉料面。

2.根据权利要求1所述的基于单目成像的高炉料面三维重构方法，其特征在于，根据所述料面图像的非相似度、熵、逆差矩、能量，获得第二模糊度的计算公式为:

T₂(f,L,d)＝max(T_Bi(f,L,d,θ_i))

T₃(f,L,d)＝max(T_Ci(f,L,d,θ_i))

T₄(f,L,d)＝max(T_Di(f,L,d,θ_i))

T₅(f,L,d)＝max(T_Ei(f,L,d,θ_i))

其中，S₂为第二模糊度，f为所述料面图像，L为所述料面图像的灰度级数，d为距离，T_Bi(f,L,d,θ_i),T_Ci(f,L,d,θ_i),T_Di(f,L,d,θ_i),T_Ei(f,L,d,θ_i)为所述料面图像的非相似度、熵、逆差矩、能量在不同计算方向θ_i＝0°,45°,90°,135°计算得到的值，α₂＝α₄＝α₅＝1，α₃＝-1。

3.一种基于单目成像的高炉料面三维重构系统，其特征在于，所述系统包括：

存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至2任一所述方法的步骤。

Images