CN112561887A - 基于深度迁移学习的带式输送机煤流量双目视觉测量方法 - Google Patents

基于深度迁移学习的带式输送机煤流量双目视觉测量方法 Download PDF

Info

Publication number
CN112561887A
CN112561887A CN202011509023.7A CN202011509023A CN112561887A CN 112561887 A CN112561887 A CN 112561887A CN 202011509023 A CN202011509023 A CN 202011509023A CN 112561887 A CN112561887 A CN 112561887A
Authority
CN
China
Prior art keywords
image
coal
coal material
camera
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011509023.7A
Other languages
English (en)
Other versions
CN112561887B (zh
Inventor
杨春雨
顾振
张鑫
周林娜
代伟
马磊
王国庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN202011509023.7A priority Critical patent/CN112561887B/zh
Publication of CN112561887A publication Critical patent/CN112561887A/zh
Application granted granted Critical
Publication of CN112561887B publication Critical patent/CN112561887B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度迁移学习的带式输送机煤流量双目视觉测量方法，依据Bouguet图像校正算法、直方图均衡化图像增强算法以及霍夫变换图像分割算法，进行煤料图像预处理；依据煤料立体匹配数据集，对预训练PSM‑Net模型进行迁移学习，建立针对煤料立体匹配任务的深度学习模型，并运用双目视觉测量原理进行煤料三维信息计算；采用三棱柱网格化微分遍历求和计算负载胶带体积，并通过空载胶带与负载胶带差分计算获取运载煤流量。本发明采用双目视觉采集数据实现了非接触式测量，且通过深度迁移学习立体匹配模型PSM‑Net、GPU加速计算以及差分计算，实现了稳定、准确以及快速地进行带式输送机运载煤流量计算，同时提高了该方法使用的简便性和实用性。

Description

基于深度迁移学习的带式输送机煤流量双目视觉测量方法
技术领域
本发明涉及一种带式输送机煤流量智能视觉测量方法，具体是一种基于深度迁移学习的带式输送机煤流量双目视觉测量方法。
背景技术
带式输送机是煤矿生产的重要设备之一，是一种借助于摩擦力进行运输的设备，其具有输送能力强、输送距离远、连续运输的特点。
井下综采工作面的煤经过顺槽带式输送机、主运带式输送机、主井带式输送机和上仓带式输送机输送到地面，其中矿用带式输送机的长度可从几百米到近千米。矿用带式输送机作为煤矿企业中重要的耗能设备，其总装机负荷能够占到煤矿企业总负荷的30％，其技术创新在煤炭行业关键技术上的创新占据了重要的比重。
受矿井下采煤工作面地质变化以及采集设备不稳定的影响，煤炭的产量会产生波动，这导致带式输送机运载煤料量具有极大的不均衡性、带式输送机处于“以大拉小”的满功率运行状态和大量的电能损耗。
国内外煤厂采用的带式输送机煤流量测量方法有电子胶带秤、核子秤和三维激光测量仪。电子胶带秤属于接触式测量，其测量精度受到安装位置等人为因素的影响，同时电子胶带秤容易受到皮带张力、抖动等因素的影响，导致电子胶带称测量不准确；核子秤属于非接触式测量，但是由于放射性物质的放射源会随着时间自然衰减，导致核子秤使用时间较长后会测量不准确；三维激光测量仪属于非接触式测量，其安装位置会对最终的测量准确性产生很大的影响，同时三维激光测量仪价格昂贵，很难普及应用。
专利公开号CN107424143B公开一种基于双目立体视觉深度感知的矿用带式输送机煤量检测方法，以双目摄像头采集运载煤料图像，通过煤料识别、煤料三维信息提取、煤料量计算，最终实现煤流量测量。专利公开号CN105841614A公开一种带式输送机输送煤量视觉扫描测距检测方法，以一个线光源和一个CCD相机获得参照物轮廓图，确定分析物料横截面积，通过对时间积分获得在测量时间内带式输送机运载煤流量。专利公开号CN107101683A公开一种基于激光雷达与速度信息的煤流量监测系统，通过二维激光雷达获取煤料上截面轮廓曲线、速度传感器获取皮带运行速度，最终通过积分运算获取运载煤流量。
上述已有专利的方法利用了非接触式测量煤流量方式，通过双目相机、线性激光以及二维激光进行煤料三维信息获取。但利用双目相机测量时，忽略了煤矿企业井下光照复杂多变、煤料图像颜色灰暗和外界干扰因素影响；同时，传统图像立体匹配算法在煤料立体匹配任务中的可适应性差。煤料图像颜色纹理重复单一，而传统的图像立体匹配算法需要依据图像像素信息进行滑动窗口匹配，导致煤料图像立体匹配失败，进而产生双目视觉测量煤流量计算误差；以及需要进行运载煤料与胶带进行图像分割，此过程计算复杂、影响系统运行效率。
发明内容
针对上述现有技术存在的问题，本发明提供一种基于深度迁移学习的带式输送机煤流量双目视觉测量方法，能在矿井下光照复杂多变、煤料图像颜色灰暗的环境影响下，精准的进行带式输送机运载煤流量实时测量，为带式输送机实时转速优化节能、智慧矿山建设提供数据支撑。
为了实现上述目的，本发明采用的技术方案是：一种基于深度迁移学习的带式输送机煤流量双目视觉测量方法，具体步骤为：
步骤1：利用双目相机采集带式输送机运载煤料的左右目视频图像，并对运载煤料图像进行图像预处理，所述图像预处理的具体过程为：
步骤1-1：运用Bouguet图像校正算法进行煤料图像校正处理，具体为：
步骤1-1-1：依据张正友相机标定算法获取双目相机的旋转矩阵R和平移矩阵T；
步骤1-1-2：依据步骤1-1-1获得的旋转矩阵R和平移矩阵T，运用Bouguet算法将双目相机的左右目煤料图像进行图像校正处理，使图像满足极线约束；
步骤1-2：运用直方图均衡化图像增强算法对步骤1-1获得的校正图像进行煤料图像增强处理，具体步骤为：
步骤1-2-1：统计灰度图每个灰度级出现的频数，所用公式为：
Figure BDA0002845814770000031
式中，p(k)为灰度级为k的像素在整幅图像中出现的概率，n(k)为灰度级为k的像素个数，L代表图像灰度级，width为原始图像宽度，height为原始图像高度；
步骤1-2-2：计算各灰度级的像素频数以得到灰度级累计直方图，所用公式为：
Figure BDA0002845814770000032
式中，c(k)为灰度级为k的像素在整幅图像中出现的累积分布概率值；
步骤1-2-3：取整计算并确定像素映射关系，所用公式为：
f(k)＝(L-1)×c(k)
式中，f(k)为灰度级为k的像素映射出对应新的像素值；
步骤1-2-4：进行灰度变换并作出新的直方图；
步骤1-3：运用霍夫变换算法对步骤1-2获得的增强图像进行煤料图像分割处理，具体为：
步骤1-3-1：依据Canny边缘检测算法进行煤料边缘检测；
步骤1-3-2：将步骤1-3-1获得的煤料边缘图像进行直线霍夫空间变换，从图像笛卡尔坐标系统转换到图像极坐标霍夫空间系统，所用公式为：
x×cos(theta)+y×sin(theta)＝r
式中，theta为r与X轴之间的夹角，r为到直线几何垂直距离，x为像素点坐标横坐标，y为像素点坐标纵坐标；
步骤1-3-3：依据图像极坐标霍夫空间系统，设置阈值，输出最大霍夫值；
步骤1-3-4：依据步骤1-3-3获得的霍夫值，进行煤料图像分割，所用公式为：
Figure BDA0002845814770000033
式中，Gray为变换之后煤料灰度图像像素值，gray为变换之前煤料灰度图像像素值，cols为图像像素所在列数，colsleft为步骤1-3-3获得的图像左霍夫值所在列数，colsright为步骤1-3-3获得的图像右霍夫值所在列数；
步骤2：对步骤1获得的预处理煤料图像，设计针对煤料立体匹配任务的深度学习模型，实现煤料深度图生成以及三维信息获取，具体过程为：
步骤2-1：制作煤料立体匹配数据集，具体为：
步骤2-1-1：使用Kinect SR300结构光深度相机进行煤料立体匹配数据集制作；
步骤2-1-2：利用SR300深度相机获取煤料RGB图像，并保存；
步骤2-1-3：利用SR300深度相机获取煤料视差图像，并保存；
步骤2-1-4：对步骤2-1-2获得的煤料RGB图像进行处理，获取双目相机的左右目煤料图像，并保存；
步骤2-1-5：对步骤2-1-3获得的煤料视差图像进行处理，使之符合步骤2-1-4制作的左右两侧煤料图像的视差图像要求，并保存；
步骤2-1-6：调整SR300相机视野范围内煤料位置、大小、规格，重复2-1-1、2-1-2、2-1-3、2-1-4和2-1-5步骤，最终完成煤料图像立体匹配数据集制作；
步骤2-2：依据虚拟动画Scene Flow立体匹配数据集和真实驾驶场景KITTI 2015立体匹配数据集对PSM-Net进行模型预训练，具体为：
步骤2-2-1：Scene Flow立体匹配数据集具有3万多对训练图像，PSM-Net先在Scene Flow数据集上进行模型一次预训练，使得模型收敛；
步骤2-2-2：KITTI 2015数据集具有200对训练图像，PSM-Net在KITTI 2015数据集上进行二次预训练；
步骤2-3：依据步骤2-1煤料立体匹配数据集对步骤2-2经过一次、二次预训练的PSM-Net模型进行模型微调，加载PSM-Net预训练权重，进行PSM-Net模型深度迁移学习；
步骤2-4：依据步骤2-3离线训练的PSM-Net模型进行煤料立体匹配，获取煤料深度图；
步骤2-5：依据双目相机参数旋转矩阵R和平移矩阵T以及步骤2-4获得的煤料深度图，获取煤料相对于双目相机的三维信息，具体为：
步骤2-5-1：双目相机测量利用三角形相似原理，所用公式为：
Figure BDA0002845814770000051
式中，b是双目相机左右光心之间的距离，f是相机焦距，XL是左目图像成像平面距离图像左边缘的距离，XR是右目图像成像平面距离图像左边缘的距离，z为物体距离相机的距离；
步骤2-5-2：依据步骤2-5-1，能得到煤料的三维数据信息，所用公式为：
Figure BDA0002845814770000052
式中，(x,y,z)为煤料的三维数据信息，d为煤料视差，(Xa，Ya)为经过图像校正之后的图像坐标值；
步骤3：依据步骤2获得的煤料三维信息，通过带式输送机运载煤流量计算模型进行煤流量计算，具体为：
步骤3-1：运用三棱柱微分遍历求和计算双目视觉测量范围内煤料量，具体包括：
步骤3-1-1：依据步骤2获得煤料三维数据，用一个滑窗遍历整个三维数据；
步骤3-1-2：利用滑窗围成的三角形三个顶点(xw,yw,zw)中的xw和yw值计算其对应的三角形的面积Si，三角形三个顶点的三维坐标zw值的平均值作为三棱柱的高hi，所用公式为：
Figure BDA0002845814770000053
Figure BDA0002845814770000054
式中，(xw1,yw1,zw1)、(xw2,yw2,zw2)、(xw3,yw3,zw3)分别为滑窗围成的三角形的三个顶点三维坐标；
步骤3-1-3：依据步骤3-1-2获得的三棱柱微元面积Si和高hi，依据三棱柱微元体积vi以及积分求和思想进行视野测量范围内煤料体量计算，所用公式为：
Figure BDA0002845814770000061
式中，V煤料为视野测量范围内煤料体积，n为滑窗围成的三角形个数；
步骤3-2：通过计算同一位置、不同时刻的煤料量，获取时间T内，整条皮带的运载煤料量，所用公式为：
Figure BDA0002845814770000062
式中，Δt＝L/v0为采样时间，L为皮带长度，v0为胶带转速，ρ为煤料密度，Vi为视野测量范围内运载煤料体积；
步骤3-3：运用差分计算，通过空载胶带与负载胶带差分计算，获取带式输送机运载煤流量，所用公式为：
M煤料＝M负载-M空载。
进一步，所述步骤1-1-2具体为：
①将右目图像平面相对于左目图像平面的旋转矩阵R分解成为两个矩阵l和r，叫做左右相机的合成旋转矩阵，其中l和r分别为：
Figure BDA0002845814770000063
②依据合成旋转矩阵l和r，将左右相机各旋转一半，使得左右相机的光轴平行；
③通过右相机相对于左相机的平移矩阵构造变换矩阵Rrect使得相机基线与成像平面平行，具体包括：
1)构造与平移向量T同方向的向量e1：
Figure BDA0002845814770000064
式中，T＝[Tx Ty Tz]T,Tx、Ty、Tz分别为x、y和z方向的平移向量；
2)构造与主光轴方向正交、沿图像方向的向量e2：
Figure BDA0002845814770000071
3)构造垂直于向量e1和向量e2所在平面的向量e3：
e3＝e1×e2
4)构造变换矩阵Rrect：
Figure BDA0002845814770000072
④通过合成旋转矩阵和变换矩阵相乘构造左右相机的整体旋转矩阵Rl和Rr：
Figure BDA0002845814770000073
⑤通过整体旋转矩阵Rl和Rr对煤料图像进行校正处理，获取校正后的煤料图像。
进一步，所述步骤1-3-1具体为：
①输入图像依靠卷积模板进行高斯平滑处理，卷积模板越靠近中位置，其权值越高，所用公式为：
Figure BDA0002845814770000074
式中，G(x,y)为卷积模板不同位置的权值，σ为标准偏差，x为卷积模板权值所在横坐标，y为卷积模板权值所在纵坐标；
②Sobel算子边缘检测：依据Sobel水平算子和垂直算子与图像卷积计算进行图像边缘检测，所用公式为：
Figure BDA0002845814770000075
式中，Sobelx为水平算子，Sobely为垂直算子；
③依据梯度方向，对梯度幅值进行非极大值抑制：在每一图像边缘检测点上，中心像素与沿着其对应梯度方向的两个像素进行比较，若中心像素为最大值，则保留，否则中心像素置为零；
④双阈值处理和边缘连接：运用一个高阈值和一个低阈值来区分边缘像素，并进行边缘连接，完成煤料边缘检测过程。
与现有技术相比，本发明先通过双目相机采集带式输送机运载煤料的左右目视频图像，并对采集的图像进行校正处理，接着采用直方图均衡化对校正图像进行增强处理，并通过霍夫变换完成对煤料图像分割处理实现对煤料的识别，提升了煤料图像可见性以及去除了外界干扰因素的影响；然后建立基于深度迁移学习的PSM-Net煤料立体匹配模型，通过模型离线训练与GPU加速计算，获得的煤料深度图，进而得到煤料相对于双目相机的三维信息，提升了煤料图像立体匹配获得深度图像的稳定性、准确性与快速性；最后根据获得的煤料三维信息，采用空载胶带与负载胶带差分计算求得实时运载煤流量，该过程能保证计算效率；因此本发明能在矿井下光照复杂多变、煤料图像颜色灰暗的环境影响下，精准的进行带式输送机运载煤流量实时测量，为带式输送机实时转速优化节能、智慧矿山建设提供数据支撑。
附图说明
图1为本发明中智能视觉测量系统的结构示意图；
图2为本发明测量方法的流程原理图；
图3为本发明中深度立体匹配模型PSM-Net的结构图；
图4为本发明中的负载胶带三维图。
具体实施方式
下面将对本发明作进一步说明。
如图1至图4所示，本发明采用的智能视觉测量系统，通过在带式输送机垂直于胶带正上方位置安装双目摄像头用于采集带式输送机实时运载煤料视频图像、安装速度传感器用于进行实时胶带转速测量，并将煤料视频图像与胶带转速传输至服务器进行图像分析获取运载煤流量，具体测量步骤为：
步骤1：利用双目相机采集带式输送机运载煤料的左右目视频图像，并对运载煤料图像进行图像预处理，所述图像预处理的具体过程为：
步骤1-1：运用Bouguet图像校正算法进行煤料图像校正处理，具体为：
步骤1-1-1：依据张正友相机标定算法获取双目相机的旋转矩阵R和平移矩阵T；
步骤1-1-2：依据步骤1-1-1获得的旋转矩阵R和平移矩阵T，运用Bouguet算法将双目相机的左右目煤料图像进行图像校正处理，使图像满足极线约束，具体为：
①将右目图像平面相对于左目图像平面的旋转矩阵R分解成为两个矩阵l和r，叫做左右相机的合成旋转矩阵，其中l和r分别为：
Figure BDA0002845814770000091
②依据合成旋转矩阵l和r，将左右相机各旋转一半，使得左右相机的光轴平行；
③通过右相机相对于左相机的平移矩阵构造变换矩阵Rrect使得相机基线与成像平面平行，具体包括：
1)构造与平移向量T同方向的向量e1：
Figure BDA0002845814770000092
式中，T＝[Tx Ty Tz]T,Tx、Ty、Tz分别为x、y和z方向的平移向量；
2)构造与主光轴方向正交、沿图像方向的向量e2：
Figure BDA0002845814770000093
3)构造垂直于向量e1和向量e2所在平面的向量e3：
e3＝e1×e2
4)构造变换矩阵Rrect：
Figure BDA0002845814770000094
④通过合成旋转矩阵和变换矩阵相乘构造左右相机的整体旋转矩阵Rl和Rr：
Figure BDA0002845814770000095
⑤通过整体旋转矩阵Rl和Rr对煤料图像进行校正处理，获取校正后的煤料图像。
步骤1-2：运用直方图均衡化图像增强算法对步骤1-1获得的校正图像进行煤料图像增强处理，具体步骤为：
步骤1-2-1：统计灰度图每个灰度级出现的频数，所用公式为：
Figure BDA0002845814770000101
式中，p(k)为灰度级为k的像素在整幅图像中出现的概率，n(k)为灰度级为k的像素个数，L代表图像灰度级，width为原始图像宽度，height为原始图像高度；
步骤1-2-2：计算各灰度级的像素频数以得到灰度级累计直方图，所用公式为：
Figure BDA0002845814770000102
式中，c(k)为灰度级为k的像素在整幅图像中出现的累积分布概率值；
步骤1-2-3：取整计算并确定像素映射关系，所用公式为：
f(k)＝(L-1)×c(k)
式中，f(k)为灰度级为k的像素映射出对应新的像素值；
步骤1-2-4：进行灰度变换并作出新的直方图；
步骤1-3：运用霍夫变换算法对步骤1-2获得的增强图像进行煤料图像分割处理，具体为：
步骤1-3-1：依据Canny边缘检测算法进行煤料边缘检测，具体为：
①输入图像依靠卷积模板进行高斯平滑处理，卷积模板越靠近中位置，其权值越高，所用公式为：
Figure BDA0002845814770000103
式中，G(x,y)为卷积模板不同位置的权值，σ为标准偏差，x为卷积模板权值所在横坐标，y为卷积模板权值所在纵坐标；
②Sobel算子边缘检测：依据Sobel水平算子和垂直算子与图像卷积计算进行图像边缘检测，所用公式为：
Figure BDA0002845814770000111
式中，Sobelx为水平算子，Sobely为垂直算子；
③依据梯度方向，对梯度幅值进行非极大值抑制：在每一图像边缘检测点上，中心像素与沿着其对应梯度方向的两个像素进行比较，若中心像素为最大值，则保留，否则中心像素置为零；
④双阈值处理和边缘连接：运用一个高阈值和一个低阈值来区分边缘像素，并进行边缘连接，完成煤料边缘检测过程。
步骤1-3-2：将步骤1-3-1获得的煤料边缘图像进行直线霍夫空间变换，从图像笛卡尔坐标系统转换到图像极坐标霍夫空间系统，所用公式为：
x×cos(theta)+y×sin(theta)＝r
式中，theta为r与X轴之间的夹角，r为到直线几何垂直距离，x为像素点坐标横坐标，y为像素点坐标纵坐标；
步骤1-3-3：依据图像极坐标霍夫空间系统，设置阈值，输出最大霍夫值；
步骤1-3-4：依据步骤1-3-3获得的霍夫值，进行煤料图像分割，所用公式为：
Figure BDA0002845814770000112
式中，Gray为变换之后煤料灰度图像像素值，gray为变换之前煤料灰度图像像素值，cols为图像像素所在列数，colsleft为步骤1-3-3获得的图像左霍夫值所在列数，colsright为步骤1-3-3获得的图像右霍夫值所在列数；
步骤2：对步骤1获得的预处理煤料图像，设计针对煤料立体匹配任务的深度学习模型，实现煤料深度图生成以及三维信息获取，具体过程为：
步骤2-1：制作煤料立体匹配数据集，具体为：
步骤2-1-1：使用Kinect SR300结构光深度相机进行煤料立体匹配数据集制作；
步骤2-1-2：利用SR300深度相机获取煤料RGB图像，并保存；
步骤2-1-3：利用SR300深度相机获取煤料视差图像，并保存；
步骤2-1-4：对步骤2-1-2获得的煤料RGB图像进行处理，获取双目相机的左右目煤料图像，并保存；
步骤2-1-5：对步骤2-1-3获得的煤料视差图像进行处理，使之符合步骤2-1-4制作的左右两侧煤料图像的视差图像要求，并保存；
步骤2-1-6：调整SR300相机视野范围内煤料位置、大小、规格，重复2-1-1、2-1-2、2-1-3、2-1-4和2-1-5步骤，最终完成煤料图像立体匹配数据集制作；
步骤2-2：依据虚拟动画Scene Flow立体匹配数据集和真实驾驶场景KITTI 2015立体匹配数据集对PSM-Net进行模型预训练，具体为：
步骤2-2-1：Scene Flow立体匹配数据集具有3万多对训练图像，PSM-Net先在Scene Flow数据集上进行模型一次预训练，使得模型收敛；
步骤2-2-2：KITTI 2015数据集具有200对训练图像，PSM-Net在KITTI 2015数据集上进行二次预训练；
步骤2-3：依据步骤2-1煤料立体匹配数据集对步骤2-2经过一次、二次预训练的PSM-Net模型进行模型微调，加载PSM-Net预训练权重，进行PSM-Net模型深度迁移学习；
步骤2-4：依据步骤2-3离线训练的PSM-Net模型进行煤料立体匹配，获取煤料深度图；
步骤2-5：依据双目相机参数旋转矩阵R和平移矩阵T以及步骤2-4获得的煤料深度图，获取煤料相对于双目相机的三维信息，具体为：
步骤2-5-1：双目相机测量利用三角形相似原理，所用公式为：
Figure BDA0002845814770000121
式中，b是双目相机左右光心之间的距离，f是相机焦距，XL是左目图像成像平面距离图像左边缘的距离，XR是右目图像成像平面距离图像左边缘的距离，z为物体距离相机的距离；
步骤2-5-2：依据步骤2-5-1，能得到煤料的三维数据信息，所用公式为：
Figure BDA0002845814770000131
式中，(x,y,z)为煤料的三维数据信息，d为煤料视差，(Xa，Ya)为经过图像校正之后的图像坐标值；
步骤3：依据步骤2获得的煤料三维信息，通过带式输送机运载煤流量计算模型进行煤流量计算，具体为：
步骤3-1：运用三棱柱微分遍历求和计算双目视觉测量范围内煤料量，具体包括：
步骤3-1-1：依据步骤2获得煤料三维数据，用一个滑窗遍历整个三维数据；
步骤3-1-2：利用滑窗围成的三角形三个顶点(xw,yw,zw)中的xw和yw值计算其对应的三角形的面积Si，三角形三个顶点的三维坐标zw值的平均值作为三棱柱的高hi，所用公式为：
Figure BDA0002845814770000132
Figure BDA0002845814770000133
式中，(xw1,yw1,zw1)、(xw2,yw2,zw2)、(xw3,yw3,zw3)分别为滑窗围成的三角形的三个顶点三维坐标；
步骤3-1-3：依据步骤3-1-2获得的三棱柱微元面积Si和高hi，依据三棱柱微元体积vi以及积分求和思想进行视野测量范围内煤料体量计算，所用公式为：
Figure BDA0002845814770000134
式中，V煤料为视野测量范围内煤料体积，n为滑窗围成的三角形个数；
步骤3-2：通过计算同一位置、不同时刻的煤料量，获取时间T内，整条皮带的运载煤料量，所用公式为：
Figure BDA0002845814770000141
式中，Δt＝L/v0为采样时间，L为皮带长度，v0为胶带转速，ρ为煤料密度，Vi为视野测量范围内运载煤料体积；
步骤3-3：运用差分计算，通过空载胶带与负载胶带差分计算，获取带式输送机运载煤流量，所用公式为：
M煤料＝M负载-M空载。

Claims (3)

1.一种基于深度迁移学习的带式输送机煤流量双目视觉测量方法，其特征在于，具体步骤为：
步骤1：利用双目相机采集带式输送机运载煤料的左右目视频图像，并对运载煤料图像进行图像预处理，所述图像预处理的具体过程为：
步骤1-1：运用Bouguet图像校正算法进行煤料图像校正处理，具体为：
步骤1-1-1：依据张正友相机标定算法获取双目相机的旋转矩阵R和平移矩阵T；
步骤1-1-2：依据步骤1-1-1获得的旋转矩阵R和平移矩阵T，运用Bouguet算法将双目相机的左右目煤料图像进行图像校正处理，使图像满足极线约束；
步骤1-2：运用直方图均衡化图像增强算法对步骤1-1获得的校正图像进行煤料图像增强处理，具体步骤为：
步骤1-2-1：统计灰度图每个灰度级出现的频数，所用公式为：
Figure FDA0002845814760000011
式中，p(k)为灰度级为k的像素在整幅图像中出现的概率，n(k)为灰度级为k的像素个数，L代表图像灰度级，width为原始图像宽度，height为原始图像高度；
步骤1-2-2：计算各灰度级的像素频数以得到灰度级累计直方图，所用公式为：
Figure FDA0002845814760000012
式中，c(k)为灰度级为k的像素在整幅图像中出现的累积分布概率值；
步骤1-2-3：取整计算并确定像素映射关系，所用公式为：
f(k)＝(L-1)×c(k)
式中，f(k)为灰度级为k的像素映射出对应新的像素值；
步骤1-2-4：进行灰度变换并作出新的直方图；
步骤1-3：运用霍夫变换算法对步骤1-2获得的增强图像进行煤料图像分割处理，具体为：
步骤1-3-1：依据Canny边缘检测算法进行煤料边缘检测；
步骤1-3-2：将步骤1-3-1获得的煤料边缘图像进行直线霍夫空间变换，从图像笛卡尔坐标系统转换到图像极坐标霍夫空间系统，所用公式为：
x×cos(theta)+y×sin(theta)＝r
式中，theta为r与X轴之间的夹角，r为到直线几何垂直距离，x为像素点坐标横坐标，y为像素点坐标纵坐标；
步骤1-3-3：依据图像极坐标霍夫空间系统，设置阈值，输出最大霍夫值；
步骤1-3-4：依据步骤1-3-3获得的霍夫值，进行煤料图像分割，所用公式为：
Figure FDA0002845814760000021
式中，Gray为变换之后煤料灰度图像像素值，gray为变换之前煤料灰度图像像素值，cols为图像像素所在列数，colsleft为步骤1-3-3获得的图像左霍夫值所在列数，colsright为步骤1-3-3获得的图像右霍夫值所在列数；
步骤2：对步骤1获得的预处理煤料图像，设计针对煤料立体匹配任务的深度学习模型，实现煤料深度图生成以及三维信息获取，具体过程为：
步骤2-1：制作煤料立体匹配数据集，具体为：
步骤2-1-1：使用Kinect SR300结构光深度相机进行煤料立体匹配数据集制作；
步骤2-1-2：利用SR300深度相机获取煤料RGB图像，并保存；
步骤2-1-3：利用SR300深度相机获取煤料视差图像，并保存；
步骤2-1-4：对步骤2-1-2获得的煤料RGB图像进行处理，获取双目相机的左右目煤料图像，并保存；
步骤2-1-5：对步骤2-1-3获得的煤料视差图像进行处理，使之符合步骤2-1-4制作的左右两侧煤料图像的视差图像要求，并保存；
步骤2-1-6：调整SR300相机视野范围内煤料位置、大小、规格，重复2-1-1、2-1-2、2-1-3、2-1-4和2-1-5步骤，最终完成煤料图像立体匹配数据集制作；
步骤2-2：依据虚拟动画Scene Flow立体匹配数据集和真实驾驶场景KITTI 2015立体匹配数据集对PSM-Net进行模型预训练，具体为：
步骤2-2-1：Scene Flow立体匹配数据集具有3万多对训练图像，PSM-Net先在SceneFlow数据集上进行模型一次预训练，使得模型收敛；
步骤2-2-2：KITTI 2015数据集具有200对训练图像，PSM-Net在KITTI 2015数据集上进行二次预训练；
步骤2-3：依据步骤2-1煤料立体匹配数据集对步骤2-2经过一次、二次预训练的PSM-Net模型进行模型微调，加载PSM-Net预训练权重，进行PSM-Net模型深度迁移学习；
步骤2-4：依据步骤2-3离线训练的PSM-Net模型进行煤料立体匹配，获取煤料深度图；
步骤2-5：依据双目相机参数旋转矩阵R和平移矩阵T以及步骤2-4获得的煤料深度图，获取煤料相对于双目相机的三维信息，具体为：
步骤2-5-1：双目相机测量利用三角形相似原理，所用公式为：
Figure FDA0002845814760000031
式中，b是双目相机左右光心之间的距离，f是相机焦距，XL是左目图像成像平面距离图像左边缘的距离，XR是右目图像成像平面距离图像左边缘的距离，z为物体距离相机的距离；
步骤2-5-2：依据步骤2-5-1，能得到煤料的三维数据信息，所用公式为：
Figure FDA0002845814760000032
式中，(x,y,z)为煤料的三维数据信息，d为煤料视差，(Xa，Ya)为经过图像校正之后的图像坐标值；
步骤3：依据步骤2获得的煤料三维信息，通过带式输送机运载煤流量计算模型进行煤流量计算，具体为：
步骤3-1：运用三棱柱微分遍历求和计算双目视觉测量范围内煤料量，具体包括：
步骤3-1-1：依据步骤2获得煤料三维数据，用一个滑窗遍历整个三维数据；
步骤3-1-2：利用滑窗围成的三角形三个顶点(xw,yw,zw)中的xw和yw值计算其对应的三角形的面积Si，三角形三个顶点的三维坐标zw值的平均值作为三棱柱的高hi，所用公式为：
Figure FDA0002845814760000041
Figure FDA0002845814760000042
式中，(xw1,yw1,zw1)、(xw2,yw2,zw2)、(xw3,yw3,zw3)分别为滑窗围成的三角形的三个顶点三维坐标；
步骤3-1-3：依据步骤3-1-2获得的三棱柱微元面积Si和高hi，依据三棱柱微元体积vi以及积分求和思想进行视野测量范围内煤料体量计算，所用公式为：
Figure FDA0002845814760000043
式中，V煤料为视野测量范围内煤料体积，n为滑窗围成的三角形个数；
步骤3-2：通过计算同一位置、不同时刻的煤料量，获取时间T内，整条皮带的运载煤料量，所用公式为：
Figure FDA0002845814760000044
式中，Δt＝L/v0为采样时间，L为皮带长度，v0为胶带转速，ρ为煤料密度，Vi为视野测量范围内运载煤料体积；
步骤3-3：运用差分计算，通过空载胶带与负载胶带差分计算，获取带式输送机运载煤流量，所用公式为：
M煤料＝M负载-M空载。
2.根据权利要求1所述的一种基于深度迁移学习的带式输送机煤流量双目视觉测量方法，其特征在于，所述步骤1-1-2具体为：
①将右目图像平面相对于左目图像平面的旋转矩阵R分解成为两个矩阵l和r，叫做左右相机的合成旋转矩阵，其中l和r分别为：
Figure FDA0002845814760000051
②依据合成旋转矩阵l和r，将左右相机各旋转一半，使得左右相机的光轴平行；
③通过右相机相对于左相机的平移矩阵构造变换矩阵Rrect使得相机基线与成像平面平行，具体包括：
1)构造与平移向量T同方向的向量e1：
Figure FDA0002845814760000052
式中，T＝[Tx Ty Tz]T,Tx、Ty、Tz分别为x、y和z方向的平移向量；
2)构造与主光轴方向正交、沿图像方向的向量e2：
Figure FDA0002845814760000053
3)构造垂直于向量e1和向量e2所在平面的向量e3：
e3＝e1×e2
4)构造变换矩阵Rrect：
Figure FDA0002845814760000054
④通过合成旋转矩阵和变换矩阵相乘构造左右相机的整体旋转矩阵Rl和Rr：
Figure FDA0002845814760000055
⑤通过整体旋转矩阵Rl和Rr对煤料图像进行校正处理，获取校正后的煤料图像。
3.根据权利要求1所述的一种基于深度迁移学习的带式输送机煤流量双目视觉测量方法，其特征在于，所述步骤1-3-1具体为：
①输入图像依靠卷积模板进行高斯平滑处理，卷积模板越靠近中位置，其权值越高，所用公式为：
Figure FDA0002845814760000061
式中，G(x,y)为卷积模板不同位置的权值，σ为标准偏差，x为卷积模板权值所在横坐标，y为卷积模板权值所在纵坐标；
②Sobel算子边缘检测：依据Sobel水平算子和垂直算子与图像卷积计算进行图像边缘检测，所用公式为：
Figure FDA0002845814760000062
式中，Sobelx为水平算子，Sobely为垂直算子；
③依据梯度方向，对梯度幅值进行非极大值抑制：在每一图像边缘检测点上，中心像素与沿着其对应梯度方向的两个像素进行比较，若中心像素为最大值，则保留，否则中心像素置为零；
④双阈值处理和边缘连接：运用一个高阈值和一个低阈值来区分边缘像素，并进行边缘连接，完成煤料边缘检测过程。
CN202011509023.7A 2020-12-18 2020-12-18 基于深度迁移学习的带式输送机煤流量双目视觉测量方法 Active CN112561887B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011509023.7A CN112561887B (zh) 2020-12-18 2020-12-18 基于深度迁移学习的带式输送机煤流量双目视觉测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011509023.7A CN112561887B (zh) 2020-12-18 2020-12-18 基于深度迁移学习的带式输送机煤流量双目视觉测量方法

Publications (2)

Publication Number Publication Date
CN112561887A true CN112561887A (zh) 2021-03-26
CN112561887B CN112561887B (zh) 2021-06-29

Family

ID=75031892

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011509023.7A Active CN112561887B (zh) 2020-12-18 2020-12-18 基于深度迁移学习的带式输送机煤流量双目视觉测量方法

Country Status (1)

Country Link
CN (1) CN112561887B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256511A (zh) * 2021-04-26 2021-08-13 长沙理工大学 一种烟花爆竹装药量图像识别检测方法
CN113379743A (zh) * 2021-08-12 2021-09-10 山东中都机器有限公司 基于计算机视觉的输送机异常检测方法及系统
CN113445709A (zh) * 2021-07-02 2021-09-28 北京建筑大学 一种瓷砖定位和铺贴方法以及自动瓷砖铺贴设备
CN113959502A (zh) * 2021-11-09 2022-01-21 北京华能新锐控制技术有限公司 非接触式皮带流量估算方法及系统
CN114021983A (zh) * 2021-11-05 2022-02-08 宁夏广天夏电子科技有限公司 一种三维跑仓监测方法和系统
CN114772220A (zh) * 2022-06-23 2022-07-22 力博重工科技股份有限公司 一种带式输送机物料负载的实时检测方法
CN115880644A (zh) * 2023-01-06 2023-03-31 华夏天信物联科技有限公司 一种基于人工智能的煤量识别的方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105841614A (zh) * 2016-04-13 2016-08-10 太原理工大学 一种带式输送机输送煤量视觉扫描测距检测方法
CN107101683A (zh) * 2017-06-15 2017-08-29 西安科技大学 一种基于激光雷达与速度信息的煤流量监测系统
CN107424143A (zh) * 2017-04-13 2017-12-01 中国矿业大学 一种基于双目立体视觉深度感知的矿用带式输送机煤量检测方法
CN108664874A (zh) * 2018-02-14 2018-10-16 北京广天夏科技有限公司 基于图像识别的井下煤流量检测方法
US20200273192A1 (en) * 2019-02-26 2020-08-27 Baidu Usa Llc Systems and methods for depth estimation using convolutional spatial propagation networks
CN112040174A (zh) * 2020-07-20 2020-12-04 西安科技大学 一种用于井下的煤流量视觉检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105841614A (zh) * 2016-04-13 2016-08-10 太原理工大学 一种带式输送机输送煤量视觉扫描测距检测方法
CN107424143A (zh) * 2017-04-13 2017-12-01 中国矿业大学 一种基于双目立体视觉深度感知的矿用带式输送机煤量检测方法
CN107101683A (zh) * 2017-06-15 2017-08-29 西安科技大学 一种基于激光雷达与速度信息的煤流量监测系统
CN108664874A (zh) * 2018-02-14 2018-10-16 北京广天夏科技有限公司 基于图像识别的井下煤流量检测方法
US20200273192A1 (en) * 2019-02-26 2020-08-27 Baidu Usa Llc Systems and methods for depth estimation using convolutional spatial propagation networks
CN112040174A (zh) * 2020-07-20 2020-12-04 西安科技大学 一种用于井下的煤流量视觉检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIA-REN CHANG.ETC.: ""Pyramid Stereo Matching Network"", 《ARXIV:1803.08669V1》 *
代伟等: ""基于双目视觉深度感知的带式输送机煤量检测方法"", 《煤炭学报》 *
张少宾等: ""矿用带式输送机输送量测量方法现状及发展趋势"", 《工矿自动化》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256511A (zh) * 2021-04-26 2021-08-13 长沙理工大学 一种烟花爆竹装药量图像识别检测方法
CN113445709A (zh) * 2021-07-02 2021-09-28 北京建筑大学 一种瓷砖定位和铺贴方法以及自动瓷砖铺贴设备
CN113379743A (zh) * 2021-08-12 2021-09-10 山东中都机器有限公司 基于计算机视觉的输送机异常检测方法及系统
CN114021983A (zh) * 2021-11-05 2022-02-08 宁夏广天夏电子科技有限公司 一种三维跑仓监测方法和系统
CN113959502A (zh) * 2021-11-09 2022-01-21 北京华能新锐控制技术有限公司 非接触式皮带流量估算方法及系统
CN114772220A (zh) * 2022-06-23 2022-07-22 力博重工科技股份有限公司 一种带式输送机物料负载的实时检测方法
CN114772220B (zh) * 2022-06-23 2022-10-14 力博重工科技股份有限公司 一种带式输送机物料负载的实时检测方法
CN115880644A (zh) * 2023-01-06 2023-03-31 华夏天信物联科技有限公司 一种基于人工智能的煤量识别的方法及系统

Also Published As

Publication number Publication date
CN112561887B (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
CN112561887B (zh) 基于深度迁移学习的带式输送机煤流量双目视觉测量方法
CN107424143B (zh) 一种基于双目立体视觉深度感知的矿用带式输送机煤量检测方法
CN100557379C (zh) 空间圆几何参数的双目立体视觉测量方法
CN103559711B (zh) 基于三维视觉系统图像特征和三维信息的运动估计方法
CN104156536B (zh) 一种盾构机刀具磨损的可视化定量标定及分析方法
CN106996748A (zh) 一种基于双目视觉的轮径测量方法
CN106969706A (zh) 基于双目立体视觉的工件检测与三维测量系统及检测方法
CN107392929B (zh) 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法
CN109410207A (zh) 一种基于ncc特征的无人机巡线图像输电线路检测方法
CN102495026B (zh) 一种用于线激光扫描视觉测量系统的光带中心线提取方法
CN105046743A (zh) 一种基于全局变分技术的超高分辨率三维重建方法
CN105488816A (zh) 一种基于三维视觉信息的矿物浮选泡沫流速在线检测装置及方法
CN104809738A (zh) 一种基于双目视觉的安全气囊轮廓尺寸检测方法
CN102441581A (zh) 基于机器视觉的型钢断面尺寸在线检测的装置及方法
CN111768417B (zh) 基于单目视觉3d重建技术的铁路货车超限检测方法
CN108665468B (zh) 一种提取直线塔绝缘子串的装置及方法
CN115482195A (zh) 一种基于三维点云的列车部件变形检测方法
CN106183995A (zh) 一种基于立体视觉的可视倒车方法
CN115063472A (zh) 基于深度学习的行李识别测量方法及装置
CN106570877A (zh) 基于采煤机虚拟样机与真实图像配准的采煤机位姿定位系统及方法
CN109671109A (zh) 密集点云生成方法及系统
CN110458785B (zh) 一种基于图像传感的磁悬浮球悬浮间隙检测方法
CN114842340A (zh) 一种机器人双目立体视觉障碍物感知方法与系统
CN104614372B (zh) 一种太阳能硅片检测方法
Ilchev et al. A Stereo Line Sensor System to High Speed Capturing of Surfaces in Color and 3D Shape.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant