CN112288852A - 煤场三维重建方法及系统、火电机组智能控制方法 - Google Patents

Abstract

本发明公开了一种煤场三维重建方法及系统，首先对煤场获取多幅图像，并从获得的图像中选取多组图像对，同一组图像对的各幅图像具有对应煤场相匹配的像素，然后利用同一组图像对的各幅图像中多对相匹配像素的坐标，获得同一组图像对的各幅图像之间进行空间变换的变换参量，进一步根据同一组图像对的各幅图像中相匹配像素的坐标以及各幅图像之间的变换参量，获得煤场上点的空间坐标，从而建立出煤场的三维模型。本发明通过获取煤场的图像即可建立出煤场的三维模型，与现有技术相比避免了使用激光测距技术，相比可以降低成本。本发明还公开一种火电机组智能控制方法。

Description

煤场三维重建方法及系统、火电机组智能控制方法

技术领域

本发明涉及三维建模技术领域，特别是涉及一种煤场三维重建方法及系统。本发明还涉及一种火电机组智能控制方法。

背景技术

煤场管理是火力发电厂管理的重要组成部分，采用传统的人工管理模式无法及时更新煤场管理信息，这将增加煤场管理的难度。影响了配煤掺烧的准确性，增大了煤炭的损失，不利于电厂的生产经营。

而数字化的煤场管理能大幅节约发电成本，提高电厂经济效益。通过建设数字化煤场，电厂能实现精准的煤场数据管理，能优化燃烧经济性能和改进燃料管理，电厂工作人员能实时掌握煤场中各类煤炭的存储量，从而实现精准的配煤掺烧，大幅提高效率，降低成本，并且能为煤场的自动化、数字化及一体化作业奠定基础。

数字化煤场建设的前提是获取料堆的三维形状与数据，并进行三维重建之后在计算机上显示。近年来，由于激光测距技术的发展，该技术在煤场三维重建中有所应用，但是激光系统成本较高，不利于在实际煤场中进行推广。

发明内容

本发明的目的是提供一种煤场三维重建方法及系统，能够获得煤场三维模型，并且成本相对较低。本发明还提供一种火电机组智能控制方法。

为实现上述目的，本发明提供如下技术方案：

一种煤场三维重建方法，包括：

对煤场获取多幅图像；

从获得的图像中选取图像对，同一组图像对的各幅图像具有对应煤场相匹配的像素；

利用同一组图像对的各幅图像中多对相匹配像素的坐标，获得同一组图像对的各幅图像之间进行空间变换的变换参量；

根据同一组图像对的各幅图像中相匹配像素的坐标以及各幅图像之间的所述变换参量，获得煤场上点的空间坐标，以建立煤场的三维模型。

优选的，从获得的图像中选取多组图像对包括：

对获得的图像提取特征信息；

根据从图像提取的特征信息，从两幅图像中找出相匹配的像素；

若两幅图像中相匹配的像素数量满足第一预设要求，则该两幅图像属于同一组图像对。

优选的，根据从图像提取的特征信息，从两幅图像中找出相匹配的像素包括：

计算其中一幅图像的各个特征点与另一幅图像的任一特征点的欧式距离；

找出最小欧式距离和次小欧式距离并计算两者的比值，若比值小于预设阈值，则最小欧式距离对应的特征点对为相匹配的像素。

优选的，从一组图像对的各幅图像中找出对应煤场相匹配的像素包括：

从已找出的相匹配的像素对中随机取出四个像素对，四个像素对之间不共线，建立以下模型M：

其中，S表示尺度参数，(x，y，1)表示已找出的相匹配像素对的其中一个像素的坐标，(x′，y′，1)表示已找出的相匹配像素对的另一个像素的坐标；

根据以下公式，计算已找出的相匹配像素对中任一像素对与模型M的投影误差，若投影误差满足第三预设要求，则将相应的像素对加入内点集：

其中，n表示已找出的相匹配像素对的个数，(x_i，y_i，1)表示已找出的第i对相匹配像素对的其中一个像素的坐标，(x_i′，y_i′，1)表示已找出的第i对相匹配像素对的另一个像素的坐标；

如果当前内点集I的元素个数大于最优内点集I_best的元素个数，则更新I_best＝I；如果迭代次数k大于K，则退出，否则迭代次数k加1，并重复上述步骤。

优选的，利用同一组图像对的各幅图像中多对相匹配像素的坐标，获得同一组图像对的各幅图像之间进行空间变换的变换参量包括：

利用同一组图像对的各幅图像中多对相匹配像素的坐标，根据以下公式计算获得同一组图像对的基础矩阵：

其中，(x，y，1)和(x′，y′，1)分别表示同一组图像对的两幅图像中相匹配像素的坐标，F表示所述基础矩阵；

根据获得的所述基础矩阵以及以下公式获得本征矩阵：

其中，E表示所述本征矩阵，K₁表示同一组图像对中的一幅图像拍摄时使用的摄像装置的内参数矩阵，K₂表示同一组图像对中的另一幅图像拍摄时使用的摄像装置的内参数矩阵；

根据获得的所述本征矩阵获得同一组图像对的各幅图像之间进行空间变换的变换参量。

优选的，对获得的本征矩阵E进行奇异值分解，得到旋转矩阵R和单位平移量t，具体计算方法为：

E＝U*diag(1,1,0)*V^T；

其中，U、V分别为单位正交矩阵，旋转矩阵R和单位平移量t的两组分解形式如下：

t＝UZU^T，R＝UW^TV^T；

t＝-UZU^T，R＝UWV^T；

优选的，通过以下过程对获得的煤场上点的空间坐标进行优化：

建立目标函数：

其中，k表示空间点的数量，n表示图像的数量，m_ij表示第i个空间点在第j幅图像中对应的点坐标，ν_ij表示第i个空间点在第j幅图像上是否有投影，如果有则ν_ij＝1，没有则ν_ij＝0，P_j表示第j幅图像对应的外参数向量，M_i表示第i个空间点的坐标，Q表示重投影函数，d表示距离度量函数；

对上述目标函数进行迭代求解，继续添加捕获的图像，选择与已知坐标的点匹配最多的图像进行添加，直到没有新的图像可以添加，迭代求解结束。

优选的，对煤场获取多幅图像包括：从不同的角度对煤场获取多幅图像，在相邻的不同角度对煤场获取的图像中具有重叠区域。

一种煤场三维重建系统，用于执行以上所述的煤场三维重建方法。

一种火电机组智能控制方法，包括：

根据煤场实时的三维模型，获得煤场存储的燃煤种类和存储量，其中煤场的三维模型通过以上所述的煤场三维重建方法获得；

根据煤场存储的燃煤种类和存储量以及火电机组的运行状态，确定出向机组锅炉投放的燃煤种类和煤量，以向机组锅炉投放燃煤。

由上述技术方案可知，本发明所提供的一种煤场三维重建方法及系统，首先对煤场获取多幅图像，并从获得的图像中选取多组图像对，同一组图像对的各幅图像具有对应煤场相匹配的像素，然后利用同一组图像对的各幅图像中多对相匹配像素的坐标，获得同一组图像对的各幅图像之间进行空间变换的变换参量，进一步根据同一组图像对的各幅图像中相匹配像素的坐标以及各幅图像之间的变换参量，获得煤场上点的空间坐标，从而建立出煤场的三维模型。本发明的煤场三维重建方法及系统，通过获取煤场的图像即可建立出煤场的三维模型，与现有技术相比避免了使用激光测距技术，相比可以降低成本。

本发明提供的一种火电机组智能控制方法，能够达到上述有益效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种煤场三维重建方法的流程图；

图2为本发明实施例中从获得的图像中选取图像对的方法流程图；

图3为本发明实施例提供的一种火电机组智能控制方法的流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

请参考图1，图1为本发明实施例提供的一种煤场三维重建方法的流程图，由图可知，所述煤场三维重建方法包括以下步骤：

S10：对煤场获取多幅图像。

捕获得到煤场的多幅图像，至少相邻的两幅图像具有重叠部分。

S11：从获得的图像中选取多组图像对，同一组图像对的各幅图像具有对应煤场相匹配的像素。

属于同一组图像对的各幅图像具有对应煤场相匹配的像素，即若两幅图像属于同一组图像对，则两幅图像具有相匹配的像素，相匹配的像素是指两幅图像中相匹配的像素对应煤场上同一位置。

S12：利用同一组图像对的各幅图像中多对相匹配像素的坐标，获得同一组图像对的各幅图像之间进行空间变换的变换参量。

图像中像素的坐标是指在图像坐标系中像素的坐标。两幅图像之间进行空间变换是指将两幅图像的一幅图像在空间中移动与另一幅图像配准，使得两幅图像中相匹配的像素重合。

S13：根据同一组图像对的各幅图像中相匹配像素的坐标以及各幅图像之间的所述变换参量，获得煤场上点的空间坐标，以建立煤场的三维模型。

点的空间坐标是指点在实际空间的坐标。根据获得的煤场上多个点的空间坐标，从而建立出煤场的三维模型。

本实施例的煤场三维重建方法，通过获取煤场的图像即可建立出煤场的三维模型，与现有技术相比避免了使用激光测距技术，相比可以降低成本。并且，激光测距技术使用的设备对应用环境要求严苛，还需要人工移动设备，使用场景受限较大，而本方法能够捕获到煤场图像即可，相比能够避免上述问题。

下面结合具体实施方式对本发明方法进行详细说明。请参考图1，所述煤场三维重建方法包括以下步骤：

S10：对煤场获取多幅图像。

优选的，在实际应用中对煤场捕获具有良好纹理特征的图像，以便能从图像提取到有效的、较精确的特征信息，有助于提高对煤场建模的准确性。在各次捕获煤场图像时，尽量在相接近的照明条件下拍摄图像，避免高动态范围的场景，避免在较光滑的表面上出现镜面反射。另外，需要从不同的角度对煤场获取多幅图像，在相邻的不同角度对煤场获取图像时，优选捕获到视觉重叠度较高的图像。可选的，可使用摄像装置对煤场捕获图像，摄像装置可以是彩色相机。

S11：从获得的图像中选取多组图像对，同一组图像对的各幅图像具有对应煤场相匹配的像素。

可选的，从获得的图像中选取出图像对可通过以下过程进行，请参考图2，图2为本实施例中从获得的图像中选取图像对的方法流程图，包括以下步骤：

S110：对获得的图像提取特征信息。

可选的，可以使用尺度不变特征变换(Scale-Invariant Feature Transform，SIFT)提取算法对图像提取特征信息，该算法在不同的尺度空间上查找特征点，这些特征点是一些十分突出，不会因光照、噪声等因素而变化的“稳定”特征点，比如角点、边缘点、暗区的亮点以及亮区的暗点等，计算这些关键特征点的大小、方向、尺度信息，利用这些信息对特征点进行描述。但不限于此，也可以通过其它特征提取方法对图像提取特征信息。

S111：根据从图像提取的特征信息，从两幅图像中找出相匹配的像素。

可选的，可根据图像像素包含的特征信息，若两幅图像中相应的两个像素之间的欧式距离满足第二预设要求，则两幅图像的该两个像素相匹配。优选的，可基于kd-tree模型进行像素的匹配，具体过程为：首先计算其中一幅图像的各个特征点与另一幅图像的任一特征点的欧式距离，然后，找出最小欧式距离和次小欧式距离并计算两者的比值，若比值小于预设阈值，则最小欧式距离对应的特征点对为相匹配的像素。在本发明其它实施例中，也可以通过其它方法从两幅图像中找出相匹配的像素，包括但不限于相关系数法、豪斯多夫距离(Hausdorff Distance)法。

在实际应用中，通过上述方法找出的匹配像素对中会存在误匹配的像素对，优选的，可以进一步采用随机抽样一致性(Random Sample Consensus，RANSAC)算法剔除错误匹配点，从而找出相匹配像素对的数量达到要求的图像对。采用随机抽样一致性方法排除误匹配像素对的过程为：

从已找出的相匹配的像素对中随机取出四个像素对，四个像素对之间不共线，计算出单应性矩阵H，建立以下模型M，表示为：

其中，

S表示尺度参数，(x，y，1)表示已找出的相匹配像素对的其中一个像素的坐标，(x′，y′，1)表示已找出的相匹配像素对的另一个像素的坐标。

根据以下公式，计算已找出的相匹配像素对中任一像素对与模型M的投影误差，若投影误差满足第三预设要求，则将相应的像素对加入内点集：

其中，n表示已找出的相匹配像素对的个数，(x_i，y_i，1)表示已找出的第i对相匹配像素对的其中一个像素的坐标，(x_i′，y_i′，1)表示已找出的第i对相匹配像素对的另一个像素的坐标。

如果当前内点集I的元素个数大于最优内点集I_best的元素个数，则更新I_best＝I；如果迭代次数k大于K，则退出，否则迭代次数k加1，并重复上述步骤，不断迭代优化上述计算投影误差的公式，直到得到较为准确的相匹配的像素对。最优内点集I_best的初始状态是内点集I。其中第三预设要求可以是计算出的投影误差小于预设阈值。

S112：若两幅图像中相匹配的像素数量满足第一预设要求，则该两幅图像属于同一组图像对。从而根据上述方法过程从获得的图像中选取出图像对。

S12：利用同一组图像对的各幅图像中多对相匹配像素的坐标，获得同一组图像对的各幅图像之间进行空间变换的变换参量。

可选的，可根据以下过程获得同一组图像对的各幅图像之间的变换参量，包括以下步骤：

S120：利用同一组图像对的各幅图像中多对相匹配像素的坐标，根据以下公式计算获得同一组图像对的基础矩阵：

其中，(x，y，1)和(x′，y′，1)分别表示同一组图像对的两幅图像中相匹配像素的坐标，F表示所述基础矩阵。

基础矩阵F可以把两幅图像之间的像素坐标联系起来，并包含摄像装置的外参数信息以及摄像装置的内参数信息，摄像装置的外参数信息是指表征两幅图像拍摄时相互之间的空间关系的信息，包括两个摄像装置之间进行空间变换的旋转信息和平移信息，摄像装置的内参数信息包括焦距、像主点坐标等。可以采用八点估计法计算基础矩阵，即根据同一组图像对的各幅图像中8对相匹配像素的坐标，根据上述公式计算获得对应于一组图像对的基础矩阵。

S121：根据获得的所述基础矩阵以及以下公式获得本征矩阵：

其中，E表示所述本征矩阵，K₁表示同一组图像对中的一幅图像拍摄时使用的摄像装置的内参数矩阵，K₂表示同一组图像对中的另一幅图像拍摄时使用的摄像装置的内参数矩阵。

S122：根据获得的所述本征矩阵获得同一组图像对的各幅图像之间进行空间变换的变换参量。

同一组图像对的各幅图像之间进行空间变换的变换参量包括旋转矩阵R和单位平移量t，可通过对获得的本征矩阵E进行奇异值(Singular Value Decomposition，SVD)分解而得到旋转矩阵R和单位平移量t。具体计算方法为：

E＝U*diag(1,1,0)*V^T；

其中，U、V分别为单位正交矩阵，旋转矩阵R和单位平移量t的两组分解形式如下：

t＝UZU^T，R＝UW^TV^T；

t＝-UZU^T，R＝UWV^T；

找到特征点在两幅图像对应摄像装置位姿下均为正的解，从而得到两幅图像对应摄像装置位姿之间的旋转矩阵R和单位平移量t。具体可通过手性验证找到特征点在两摄像装置位姿下均为正的解。

S13：根据同一组图像对的各幅图像中相匹配像素的坐标以及各幅图像之间的所述变换参量，获得煤场上点的空间坐标，以建立煤场的三维模型。

根据同一组图像对的各幅图像中相匹配像素的坐标以及各幅图像之间的变换参量，能够还原得到煤场上点的空间坐标。进一步优选的，可利用光束平差(BundleAdjustment)方法对获得的煤场上点的空间坐标进行优化。具体过程为：

建立目标函数：

其中，k表示空间点的数量，n表示图像的数量，m_ij表示第i个空间点在第j幅图像中对应的点坐标，ν_ij表示第i个空间点在第j幅图像上是否有投影，如果有则ν_ij＝1，没有则ν_ij＝0，P_j表示第j幅图像对应的外参数向量，M_i表示第i个空间点的坐标，Q表示重投影函数，d表示距离度量函数。

对上述目标函数进行泰勒展开后进行迭代求解。然后继续添加对煤场捕获的图像，选择与已知坐标的点匹配最多的图像来进行添加，继续用BA方法进行优化来最小化重复投影误差，直到没有新煤场图像可以添加，光束平差法优化结束。

当将所有的认为确定了空间坐标的空间点连接起来之后就形成特征点的初步运动轨迹，即为稀疏的三维点云，在CUDA平台上，对图像进行去畸变处理后可利用COLMAP进行稠密重建和表面重建。

相应的，本发明实施例还提供一种煤场三维重建系统，用于执行以上所述的煤场三维重建方法。

本实施例的煤场三维重建系统，首先对煤场获取多幅图像，并从获得的图像中选取多组图像对，同一组图像对的各幅图像具有对应煤场相匹配的像素，然后利用同一组图像对的各幅图像中多对相匹配像素的坐标，获得同一组图像对的各幅图像之间进行空间变换的变换参量，进一步根据同一组图像对的各幅图像中相匹配像素的坐标以及各幅图像之间的变换参量，获得煤场上点的空间坐标，从而建立出煤场的三维模型。本实施例的煤场三维重建系统，通过获取煤场的图像即可建立出煤场的三维模型，与现有技术相比避免了使用激光测距技术，相比可以降低成本。

相应的，请参考图3，图3为本发明实施例提供的一种火电机组智能控制方法的流程图，由图可知，所述火电机组智能控制方法包括以下步骤：

S20：根据煤场实时的三维模型，获得煤场存储的燃煤种类和存储量，其中煤场的三维模型通过以上所述的煤场三维重建方法获得。

S21：根据煤场存储的燃煤种类和存储量以及火电机组的运行状态，确定出向机组锅炉投放的燃煤种类和煤量，以向机组锅炉投放燃煤。

本实施例的火电机组智能控制方法，根据建立的煤场实时的三维模型，获得煤场存储的燃煤种类和存储量，来控制向机组投放燃煤，控制机组运行，实现了对火电机组的智能化控制。其中建立煤场的三维模型的方法与现有技术相比避免了使用激光测距技术，相比可以降低成本。

以上对本发明所提供的煤场三维重建方法及系统、火电机组智能控制方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种煤场三维重建方法，其特征在于，包括：

对煤场获取多幅图像；

从获得的图像中选取图像对，同一组图像对的各幅图像具有对应煤场相匹配的像素；

利用同一组图像对的各幅图像中多对相匹配像素的坐标，获得同一组图像对的各幅图像之间进行空间变换的变换参量；

根据同一组图像对的各幅图像中相匹配像素的坐标以及各幅图像之间的所述变换参量，获得煤场上点的空间坐标，以建立煤场的三维模型。

2.根据权利要求1所述的煤场三维重建方法，其特征在于，从获得的图像中选取多组图像对包括：

对获得的图像提取特征信息；

根据从图像提取的特征信息，从两幅图像中找出相匹配的像素；

若两幅图像中相匹配的像素数量满足第一预设要求，则该两幅图像属于同一组图像对。

3.根据权利要求2所述的煤场三维重建方法，其特征在于，根据从图像提取的特征信息，从两幅图像中找出相匹配的像素包括：

计算其中一幅图像的各个特征点与另一幅图像的任一特征点的欧式距离；

找出最小欧式距离和次小欧式距离并计算两者的比值，若比值小于预设阈值，则最小欧式距离对应的特征点对为相匹配的像素。

4.根据权利要求1所述的煤场三维重建方法，其特征在于，从一组图像对的各幅图像中找出对应煤场相匹配的像素包括：

从已找出的相匹配的像素对中随机取出四个像素对，四个像素对之间不共线，建立以下模型M：

其中，S表示尺度参数，(x，y，1)表示已找出的相匹配像素对的其中一个像素的坐标，(x′，y′，1)表示已找出的相匹配像素对的另一个像素的坐标；

根据以下公式，计算已找出的相匹配像素对中任一像素对与模型M的投影误差，若投影误差满足第三预设要求，则将相应的像素对加入内点集：

其中，n表示已找出的相匹配像素对的个数，(x_i，y_i，1)表示已找出的第i对相匹配像素对的其中一个像素的坐标，(x_i′，y_i′，1)表示已找出的第i对相匹配像素对的另一个像素的坐标；

如果当前内点集I的元素个数大于最优内点集I_best的元素个数，则更新I_best＝I；如果迭代次数k大于K，则退出，否则迭代次数k加1，并重复上述步骤。

5.根据权利要求1-4任一项所述的煤场三维重建方法，其特征在于，利用同一组图像对的各幅图像中多对相匹配像素的坐标，获得同一组图像对的各幅图像之间进行空间变换的变换参量包括：

利用同一组图像对的各幅图像中多对相匹配像素的坐标，根据以下公式计算获得同一组图像对的基础矩阵：

其中，(x，y，1)和(x′，y′，1)分别表示同一组图像对的两幅图像中相匹配像素的坐标，F表示所述基础矩阵；

根据获得的所述基础矩阵以及以下公式获得本征矩阵：E＝K₁ ^TFK₂，其中，E表示所述本征矩阵，K₁表示同一组图像对中的一幅图像拍摄时使用的摄像装置的内参数矩阵，K₂表示同一组图像对中的另一幅图像拍摄时使用的摄像装置的内参数矩阵；

根据获得的所述本征矩阵获得同一组图像对的各幅图像之间进行空间变换的变换参量。

6.根据权利要求5所述的煤场三维重建方法，其特征在于，对获得的本征矩阵E进行奇异值分解，得到旋转矩阵R和单位平移量t，具体计算方法为：

E＝U*diag(1,1,0)*V^T；

其中，U、V分别为单位正交矩阵，旋转矩阵R和单位平移量t的两组分解形式如下：

t＝UZU^T，R＝UW^TV^T；

t＝-UZU^T，R＝UWV^T；

7.根据权利要求1-5任一项所述的煤场三维重建方法，其特征在于，通过以下过程对获得的煤场上点的空间坐标进行优化：

建立目标函数：

其中，k表示空间点的数量，n表示图像的数量，m_ij表示第i个空间点在第j幅图像中对应的点坐标，ν_ij表示第i个空间点在第j幅图像上是否有投影，如果有则ν_ij＝1，没有则ν_ij＝0，P_j表示第j幅图像对应的外参数向量，M_i表示第i个空间点的坐标，Q表示重投影函数，d表示距离度量函数；

对上述目标函数进行迭代求解，继续添加捕获的图像，选择与已知坐标的点匹配最多的图像进行添加，直到没有新的图像可以添加，迭代求解结束。

8.根据权利要求1-5任一项所述的煤场三维重建方法，其特征在于，对煤场获取多幅图像包括：从不同的角度对煤场获取多幅图像，在相邻的不同角度对煤场获取的图像中具有重叠区域。

9.一种煤场三维重建系统，其特征在于，用于执行权利要求1-8任一项所述的煤场三维重建方法。

10.一种火电机组智能控制方法，其特征在于，包括：

根据煤场实时的三维模型，获得煤场存储的燃煤种类和存储量，其中煤场的三维模型通过权利要求1-8任一项所述的煤场三维重建方法获得；

根据煤场存储的燃煤种类和存储量以及火电机组的运行状态，确定出向机组锅炉投放的燃煤种类和煤量，以向机组锅炉投放燃煤。

Images