CN114842015A - 一种煤流量检测方法及条件生成对抗网络的训练方法 - Google Patents

一种煤流量检测方法及条件生成对抗网络的训练方法 Download PDF

Info

Publication number
CN114842015A
CN114842015A CN202210779444.4A CN202210779444A CN114842015A CN 114842015 A CN114842015 A CN 114842015A CN 202210779444 A CN202210779444 A CN 202210779444A CN 114842015 A CN114842015 A CN 114842015A
Authority
CN
China
Prior art keywords
coal flow
target
image
coal
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210779444.4A
Other languages
English (en)
Other versions
CN114842015B (zh
Inventor
郝博南
张立亚
孟庆勇
吴文臻
姜玉峰
杨志方
崔竟成
李晨鑫
李标
杨国伟
赵青
彭丽
王超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CCTEG China Coal Research Institute
Original Assignee
CCTEG China Coal Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CCTEG China Coal Research Institute filed Critical CCTEG China Coal Research Institute
Priority to CN202210779444.4A priority Critical patent/CN114842015B/zh
Publication of CN114842015A publication Critical patent/CN114842015A/zh
Application granted granted Critical
Publication of CN114842015B publication Critical patent/CN114842015B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本申请公开了一种煤流量检测方法及条件生成对抗网络的训练方法，涉及煤矿开采技术领域，其中煤流量检测方法包括：获取煤流的第一采集图像、第一煤流模型数据和预设的第二煤流模型数据；基于目标条件生成对抗网络，根据所述第一采集图像、所述第一煤流模型数据和所述第二煤流模型数据，生成所述煤流对应的目标图像；根据所述目标图像，获取所述煤流对应的瞬时煤流量，以得到预设时间内的煤流总量。本申请的煤流量检测方法结构简单，能够适用于煤矿环境中对煤流量进行检测，且结合煤流的模型数据和采集图像生成目标图像，使得目标图像能够更加清晰地表征煤流的信息，增强煤流量识别的效果。

Description

一种煤流量检测方法及条件生成对抗网络的训练方法
技术领域
本申请涉及煤矿开采技术领域，尤其涉及一种煤流量检测方法及条件生成对抗网络的训练方法。
背景技术
在煤矿开采中，煤流量检测是带式输送机实现智能调速的前提，由于输送线路长且连续运转，作业环境恶劣，常常伴随有粉尘、烟雾等干扰因素。目前带式运输机煤流量检测大多使用摄像机、激光雷达和毫米波雷达等设备来获得煤流量信息，其中毫米波雷达对光的依赖性较差，而且可以穿透粉尘、烟雾等，为煤流量检测提供了更多有利的特性，然而使用毫米波雷达进行成像时存在分辨率较低且存在多路径反射和镜面反射的问题，相关技术中毫米波成像系统使用人体尺寸的机械可控阵列来提高分辨率，它们隔离了近场中成像的物体以消除多路径反射，并围绕物体旋转阵列以解决镜面反射问题。然而这种设计非常地笨重，对于煤矿环境来说并不适用。
因此，如何在适用于煤矿环境的同时增强煤流量检测的效果成为亟待解决的问题。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请的第一个目的在于提出一种煤流量检测方法。
本申请的第二个目的在于提出一种条件生成对抗网络的训练方法。
本申请的第三个目的在于提出一种煤流量检测装置。
本申请的第四个目的在于提出一种条件生成对抗网络的训练装置。
本申请的第五个目的在于提出一种电子设备。
为了实现上述目的，本申请第一方面实施例提供了一种煤流量检测方法，该方法包括：获取煤流的第一采集图像、第一煤流模型数据和预设的第二煤流模型数据；基于目标条件生成对抗网络，根据所述第一采集图像、所述第一煤流模型数据和所述第二煤流模型数据，生成所述煤流对应的目标图像；根据所述目标图像，获取所述煤流对应的瞬时煤流量，以得到预设时间内的煤流总量。
另外，根据本申请上述实施例的一种煤流量检测方法，还可以具有如下附加的技术特征：
根据本申请的一个实施例，所述基于目标条件生成对抗网络，根据所述第一采集图像、所述第一煤流模型数据和所述第二煤流模型数据，生成所述煤流对应的目标图像，包括：将所述第一煤流模型数据和所述第二煤流模型数据确定为条件输入信息；将所述第一采集图像确定为随机噪声信息；将所述条件输入信息和所述随机噪声信息输入所述目标条件生成对抗网络，生成所述目标图像。
根据本申请的一个实施例，所述第一采集图像为基于毫米波雷达采集的三维毫米波热图，所述目标图像为深度图。
根据本申请的一个实施例，所述第一煤流模型数据中包括所述煤流的三维模型信息，所述第二煤流模型数据中包括预设煤流的三维模型信息。
根据本申请的一个实施例，所述根据所述目标图像，获取所述煤流对应的瞬时煤流量，包括：根据所述目标图像，得到所述煤流对应的三维点云；获取所述三维点云表征的煤堆的体积；根据所述体积，得到所述煤流对应的瞬时煤流量。
为了实现上述目的，本申请第二方面实施例提供了一种条件生成对抗网络的训练方法，该方法包括：基于第一样本图像、第一模型样本数据和煤流假图，迭代训练所述条件生成对抗网络中的判别器，以得到目标判别器，使得所述目标判别器将所述第一样本图像判定为真，且将所述煤流假图判定为假，其中，所述第一样本图像为煤流的深度图，所述煤流假图为所述条件生成对抗网络中的条件生成器生成的深度图，所述第一模型样本数据中包括煤流的三维模型信息；基于第二样本图像和第二模型样本数据，迭代训练所述条件生成器，以得到目标条件生成器，使得所述目标条件生成器生成的煤流假图被所述目标判别器判定为真，其中，所述第二样本图像为煤流的三维毫米波热图，所述第二模型样本数据中包括煤流的三维模型信息；基于所述目标判别器和所述目标条件生成器，得到目标条件生成对抗网络。
另外，根据本申请上述实施例的一种条件生成对抗网络的训练方法，还可以具有如下附加的技术特征：
根据本申请的一个实施例，所述第一样本图像、所述第一模型样本数据和所述煤流假图对应于同一煤流样本，所述第二样本图像和所述第二模型样本数据对应于同一煤流样本。
为了实现上述目的，本申请第三方面实施例提供了一种煤流量检测装置，该装置包括：第一获取模块，用于获取煤流的第一采集图像、第一煤流模型数据和预设的第二煤流模型数据；生成模块，用于基于目标条件生成对抗网络，根据所述第一采集图像、所述第一煤流模型数据和所述第二煤流模型数据，生成所述煤流对应的目标图像；第二获取模块，用于根据所述目标图像，获取所述煤流对应的瞬时煤流量，以得到预设时间内的煤流总量。
另外，根据本申请上述实施例的一种煤流量检测装置，还可以具有如下附加的技术特征：
根据本申请的一个实施例，所述生成模块，进一步用于：将所述第一煤流模型数据和所述第二煤流模型数据确定为条件输入信息；将所述第一采集图像确定为随机噪声信息；将所述条件输入信息和所述随机噪声信息输入所述目标条件生成对抗网络，生成所述目标图像。
根据本申请的一个实施例，所述第一采集图像为基于毫米波雷达采集的三维毫米波热图，所述目标图像为深度图。
根据本申请的一个实施例，所述第一煤流模型数据中包括所述煤流的三维模型信息，所述第二煤流模型数据中包括预设煤流的三维模型信息。
根据本申请的一个实施例，所述第二获取模块，进一步用于：根据所述目标图像，得到所述煤流对应的三维点云；获取所述三维点云表征的煤堆的体积；根据所述体积，得到所述煤流对应的瞬时煤流量。
为了实现上述目的，本申请第四方面实施例提供了一种条件生成对抗网络的训练装置，该装置包括：第一训练模块，用于基于第一样本图像、第一模型样本数据和煤流假图，迭代训练所述条件生成对抗网络中的判别器，以得到目标判别器，使得所述目标判别器将所述第一样本图像判定为真，且将所述煤流假图判定为假，其中，所述第一样本图像为煤流的深度图，所述煤流假图为所述条件生成对抗网络中的条件生成器生成的深度图，所述第一模型样本数据中包括煤流的三维模型信息；第二训练模块，用于基于第二样本图像和第二模型样本数据，迭代训练所述条件生成器，以得到目标条件生成器，使得所述目标条件生成器生成的煤流假图被所述目标判别器判定为真，其中，所述第二样本图像为煤流的三维毫米波热图，所述第二模型样本数据中包括煤流的三维模型信息；组成模块，用于基于所述目标判别器和所述目标条件生成器，得到目标条件生成对抗网络。
另外，根据本申请上述实施例的一种煤流量检测装置，还可以具有如下附加的技术特征：
根据本申请的一个实施例，所述第一样本图像、所述第一模型样本数据和所述煤流假图对应于同一煤流样本，所述第二样本图像和所述第二模型样本数据对应于同一煤流样本。
为了实现上述目的，本申请第五方面实施例提供了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时，实现如本申请第一方面实施例中任一项所述的煤流量检测方法，或者第二方面实施例中任一项所述的条件生成对抗网络的训练方法。
本申请实施例提供的一种煤流量检测方法及条件生成对抗网络的训练方法，利用训练好的目标条件生成对抗网络，结合煤流的第一煤流模型数据和预设的第二煤流模型数据，根据煤流的第一采集图像生成对应的目标图像，根据该目标图像获取煤流对应的瞬时煤流量，以得到预设时间内的煤流总量，本申请的煤流量检测方法结构简单，能够适用于煤矿环境中对煤流量进行检测，且结合煤流的模型数据和采集图像生成目标图像，使得目标图像能够更加清晰地表征煤流的信息，增强煤流量检测的效果。
附图说明
图1是本申请一个实施例公开的一种煤流量检测方法的流程示意图。
图2为本申请另一个实施例公开煤流量检测方法的流程示意图。
图3为本申请另一个实施例公开煤流量检测方法的流程示意图。
图4为基于三维点云计算煤堆体积的示意图。
图5是本申请一个实施例公开的一种条件生成对抗网络的训练方法的流程示意图。
图6为本申请一个实施例公开的一种条件生成对抗网络的训练方法的训练框图。
图7是本申请一个实施例公开的一种煤流量检测装置的结构示意图。
图8是本申请一个实施例公开的一种条件生成对抗网络的训练装置的结构示意图。
图9为本申请一个实施例公开的一种电子设备的结构示意图。
具体实施方式
为了更好的理解上述技术方案，下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本申请的范围完整的传达给本领域的技术人员。
下面参考附图描述本申请实施例的一种煤流量检测方法及条件生成对抗网络的训练方法。
图1是本申请一个实施例公开的一种煤流量检测方法的流程示意图。
如图1所示，本申请实施例提出的煤流量检测方法，具体包括以下步骤：
S101，获取煤流的第一采集图像、第一煤流模型数据和预设的第二煤流模型数据。
本申请实施例的煤流量检测方法的执行主体可为本申请实施例提供的煤流量检测装置，该煤流量检测装置可为具有数据信息处理能力的硬件设备和/或驱动该硬件设备工作所需必要的软件。可选的，执行主体可包括工作站、服务器，计算机、用户终端及其他设备。
本申请实施例中，对输送的煤流进行实时图像采集，获取煤流的第一采集图像，以及实时获取煤流的第一煤流模型数据。其中第一采集图像可以为基于毫米波雷达获取的三维毫米波热图，第一煤流模型数据中可以包括煤流的三维模型信息，例如第一煤流模型数据可以为三维的CAD煤流真实模型对应的数据，第一煤流模型可以借助毫米波雷达或借助深度相机等设备来进行建模。此外，本申请还获取预设的第二煤流模型数据，该第二煤流模型为提前构建的、已知的煤流模型，无需在实际煤流量检测中进行实时测量构建，同样的，第二煤流模型数据中可以包括预设煤流的三维模型信息。
S102，基于目标条件生成对抗网络，根据第一采集图像、第一煤流模型数据和第二煤流模型数据，生成煤流对应的目标图像。
在本申请实施例中，预先对构建的条件生成对抗网络进行训练，得到目标条件生成对抗网络。将实时采集或测量得到的当前煤流对应的第一采集图像和第一煤流模型数据以及预设的第二煤流模型数据输入目标条件生成对抗网络（Conditional GenerativeAdversarial Network，简称CGAN），以生成煤流对应的目标图像，其中目标图像可以为包含煤流量深度信息的高分辨率深度图。
在本申请实施例中，通过训练使得目标条件生成对抗网络能够学习处理镜面反射和多路径反射对三维毫米波热图的影响，使得目标条件生成对抗网络能够结合第一煤流模型数据和第二煤流模型数据，根据第一采集图像生成一个高分辨率的深度图。
不难理解的，CGAN网络的输出是煤流量的高频形状，在立体相机帧中以2D深度图的形式来表示预测的煤流量的高频形状，其中，CGAN网络用来预测深度图中每个像素的深度，且由于三维毫米波热图较大的传感带宽，可以在深度维度上实现高分辨率。该网络能够准确捕获三维毫米波热图中的低频和高频分量，生成工矿环境下煤矿皮带煤流量的高分辨率深度图。
S103，根据目标图像，获取煤流对应的瞬时煤流量，以得到预设时间内的煤流总量。
在本申请实施例中，根据包含深度信息的目标图像，获取对应的瞬时煤流量。例如一帧第一采集图像对应的时间为
Figure 336437DEST_PATH_IMAGE001
，则上述煤流对应的瞬时煤流量为
Figure 150810DEST_PATH_IMAGE001
时间内带式输送机传送的煤流量，由此可以在预设时间内，对带式输送机上传送的煤流进行图像采集以及获取第一煤流模型数据，基于第一采集图像、第一煤流模型数据和预设的第二煤流模型数据分别对每一个
Figure 973272DEST_PATH_IMAGE001
内的煤流量进行检测，从而得到预设时间内的煤流总量，其中预设时间可以为预先设置的煤流总量的检测时间，如带式输送机一次传送任务的工作时间。
在一些实施例中，为减少计算量可以根据预设时间T来设置瞬时煤流量
Figure 302622DEST_PATH_IMAGE002
的检测次数，例如
Figure 501523DEST_PATH_IMAGE003
，即在预设时间T内需要连续进行100次瞬时煤流量的计算，其中j表示检测次数或瞬时煤流量的计算次数，j=1，2，……，100，为减少计算量，可以将
Figure 170401DEST_PATH_IMAGE004
代替
Figure 163765DEST_PATH_IMAGE005
来表示
Figure 918094DEST_PATH_IMAGE006
时间内的煤流总量，其中k表示为了减少计算量而采取的检测次数或瞬时煤流量的计算次数，k=1，2，……，20，由此在预设时间T内只需继续20次瞬时煤流量计算即可。
综上，本申请实施例的煤流量检测方法，利用目标条件生成对抗网络，结合煤流的第一煤流模型数据和预设的第二煤流模型数据，根据煤流的第一采集图像生成对应的目标图像，根据该目标图像获取对应的瞬时煤流量，以得到预设时间内的煤流总量，本申请的煤流量检测方法结构简单，能够适用于煤矿环境中对煤流量进行检测，且结合煤流的模型数据和采集图像生成目标图像，使得目标图像能够更加清晰地表征煤流的信息，增强煤流量识别的效果。
在上述实施例的基础上，如图2所示，在上述步骤S102中“基于目标条件生成对抗网络，根据第一采集图像、第一煤流模型数据和第二煤流模型数据，生成煤流对应的目标图像”可以包括以下步骤：
S201，将第一煤流模型数据和第二煤流模型数据确定为条件输入信息。
在本申请实施例中，将实测的第一煤流模型数据和已知的第二煤流模型数据确定为目标条件生成对抗网络的条件输入信息。
S202，将第一采集图像确定为随机噪声信息。
在本申请实施例中，将实测的第一采集图像确定为目标条件生成对抗网络的随机噪声信息。
S203，将条件输入信息和随机噪声信息输入目标条件生成对抗网络，生成目标图像。
在本申请实施例中，将条件输入信息和随机噪声信息输入目标条件生成对抗网络，生成基于条件输入信息的深度图作为目标图像，例如针对煤流的具体方向的煤流深度图。
在一些实施例中，将实测的第一煤流模型数据和已知的第二煤流模型数据作为条件输入信息，将实测的第一采集图像作为随机噪声信息输入目标条件生成对抗网络中的目标条件生成器，生成基于条件输入信息的煤流深度图，该煤流深度图经过目标判别器判别为真后，作为目标条件生成对抗网络的输出，即为目标图像。
在上述实施例的基础上，如图3所示，上述步骤S103中“根据目标图像，获取煤流对应的瞬时煤流量”，进一步可包括以下步骤：
S301，根据目标图像，得到当前煤流对应的三维点云。
在一些实施例中，根据目标图像中包含的煤流量的深度信息，构建煤流对应的三维点云，三维点云经过网格化形成连续的表面，可用于表征煤流对应的煤堆。如图4中所示的根据一帧第一采集图像生成的目标图像得到的、经过三角网格化的三维点云，其中第一采集图像为毫米波雷达通过发射毫米波光束对皮带上的煤流进行图像获取得到的。
S302，获取三维点云表征的煤堆的体积。
在一些实施例中，根据网格化后的三维点云，计算三维点云表征的煤堆的体积。
实施中，可采用离散化的方法来计算体积，将点云数据三角网格化后，得到的数个三角形保存在数组中，该数组为N*3的数组，其中N行表示点云数组中所有的点构成了N个三角形，即每一行代表一个三角形，每一行的三个元素代表三角形顶点的索引，例如(8，6，7)表示点云数组中的第8个点、第6个点和第7个点组成的一个三角形，其中点云数组中包括网格化后的三维点云中全部点在点云坐标系下的坐标，该点云数组可以为M*3的数组，M为全部点的个数，每一行的三个元素表示一个点在XYZ轴的坐标。
将每一个上述三角形投影到点云坐标系的XOY面，得到对应的投影三角形，基于投影三角形的面积计算每个上述三角形对应的三棱柱的体积，以此计算整个三维点云的体积。在一些实施例中，可以基于点云坐标系，确定网格化后的三维点云的顶面，计算顶面中每个三角形对应的三棱柱的体积，以此计算三维点云对应的体积。
例如，如图4所示，点云数组中的三个点组成的第i个三角形
Figure 655106DEST_PATH_IMAGE007
的三个顶点的坐标为
Figure 991541DEST_PATH_IMAGE008
,
Figure 421385DEST_PATH_IMAGE009
和
Figure 663011DEST_PATH_IMAGE010
，三角形
Figure 938134DEST_PATH_IMAGE011
投影到XOY面得到投影三角形
Figure 581605DEST_PATH_IMAGE012
，基于下列公式可根据三角形
Figure 916772DEST_PATH_IMAGE013
的三个顶点的坐标计算得到投影三角形
Figure 708010DEST_PATH_IMAGE014
的边长：
Figure 786824DEST_PATH_IMAGE015
其中，a、b和c分别为投影三角形
Figure 284802DEST_PATH_IMAGE014
的三个边长。
在实施中，可以基于下列公式计算得到投影三角形的面积：
Figure 56449DEST_PATH_IMAGE016
Figure 7087DEST_PATH_IMAGE017
在本申请实施例中，以投影三角形
Figure 702642DEST_PATH_IMAGE014
的面积
Figure 55126DEST_PATH_IMAGE018
作为三角形
Figure 997674DEST_PATH_IMAGE007
对应的三棱柱的底面积，以三角形
Figure 435609DEST_PATH_IMAGE019
的三个顶点到XOY面的高
Figure 856226DEST_PATH_IMAGE020
、
Figure 328795DEST_PATH_IMAGE021
和
Figure 504562DEST_PATH_IMAGE022
的平均值作为该三棱柱的高，计算该三棱柱的体积，其中，体积计算公式如下：
Figure 429792DEST_PATH_IMAGE023
则，当前煤流对应的煤堆的体积为：
Figure 654100DEST_PATH_IMAGE024
S303，根据体积，得到煤流对应的瞬时煤流量。
在本申请实施例中，根据煤流对应的煤堆的体积，确定煤流对应的瞬时煤流量，其中，煤流量的计算公式为：
Figure 715597DEST_PATH_IMAGE025
其中，
Figure 999948DEST_PATH_IMAGE026
为煤炭的散密度值。
综上，本申请实施例的煤流量检测方法，利用目标条件生成对抗网络，结合煤流的第一煤流模型数据和预设的第二煤流模型数据，根据煤流的第一采集图像生成对应的目标图像，根据该目标图像获取对应的瞬时煤流量，以得到预设时间内的煤流总量，本申请的煤流量检测方法结构简单，能够适用于煤矿环境中对煤流量进行检测，且结合煤流的模型数据和采集图像生成目标图像，使得目标图像能够更加清晰地表征煤流的信息，通过目标条件生成对抗网络学习处理原始毫米波热图中的镜面反射和多路径反射的问题，得到高分辨率的深度图，基于该深度图增强煤流量识别的效果。
图5是本申请一个实施例公开的一种条件生成对抗网络的训练方法的流程示意图。
如图5所示，本申请实施例提出的条件生成对抗网络的训练方法，具体包括以下步骤：
S501，基于第一样本图像、第一模型样本数据和煤流假图，迭代训练条件生成对抗网络中的判别器，以得到目标判别器，使得目标判别器将第一样本图像判定为真，且将煤流假图判定为假，其中，第一样本图像为煤流的深度图，煤流假图为条件生成对抗网络中的条件生成器生成的深度图，第一模型样本数据中包括煤流的三维模型信息。
本申请实施例的条件生成对抗网络的训练方法的执行主体可为本申请实施例提供的条件生成对抗网络的训练装置，该条件生成对抗网络的训练装置可为具有数据信息处理能力的硬件设备和/或驱动该硬件设备工作所需必要的软件。可选的，执行主体可包括工作站、服务器，计算机、用户终端及其他设备。
在本申请实施例中，基于第一样本图像、模型样本数据和第二样本图像构建训练数据集，其中第一样本图像为煤流的深度图，将该煤流对应的三维CAD煤流模型作为第一模型样本数据，第二样本图像为该煤流对应的三维毫米波热图。其中第一样本图像可以通过图像采集设备采集，例如，基于宽基线立体相机系统捕获煤流实况的高分辨率2D深度图，第二样本图像可以基于毫米波雷达采集，例如基于针对煤矿环境定制的毫米波成像模块来捕获3D毫米波热图。作为一种可行的实施方式，还可以基于煤块的三维CAD模型和毫米波光线追踪算法来合成数据以扩大训练数据集。
其中，煤流假图为条件生成对抗网络中的条件生成器以上述煤流对应的三维CAD煤流模型为条件，根据该煤流对应的第二样本图像生成的深度图。
基于第一样本图像、第一模型样本数据和煤流假图，对条件生成对抗网络中的判别器进行多轮迭代训练，将训练好的判别器作为目标判别器，通过迭代训练使得目标判别器能够将第一样本图像判定为真，且将煤流假图判定为假。
在本申请实施例中，将第一样本图像作为条件生成对抗网络的真值输入信息，将第一模型样本数据作为条件生成对抗网络的条件输入信息。
S502，基于第二样本图像和第二模型样本数据，迭代训练条件生成器，以得到目标条件生成器，使得目标条件生成器生成的煤流假图被目标判别器判定为真，其中，第二样本图像为煤流的三维毫米波热图，第二模型样本数据中包括煤流的三维模型信息。
在本申请实施例中，将与第二样本图像对应于同一个煤流的模型样本数据确定为第二模型样本数据，将第二模型样本数据作为条件输入信息，将第二样本图像作为随机噪声信息，对条件生成对抗网络中的条件生成器进行多轮迭代训练，得到训练好的目标条件生成器，使得该目标条件生成器生成的煤流假图能够被目标判别器判定为真。具体为，将条件生成器生成的煤流假图和第二模型样本数据输入目标判别器，对该煤流假图进行判别，基于判别结果调整条件生成器的参数，再根据下一煤流样本对应的第二样本图像和第二模型样本数据进行下一轮训练，直至得到目标条件生成器。
需要说明的是，上述第一模型样本数据和第二模型样本数据中的“第一”和“第二”只是为了区分不同煤流样本对应的模型样本数据，针对同一个煤流样本而言，第一模型样本数据与第二模型样本数据相同。
S503，基于目标判别器和目标条件生成器，得到目标条件生成对抗网络。
举例说明，如图6所示，以三维毫米波热图作为随机噪声，以煤流模型数据作为条件输入信息，以相机的2D深度图作为真值输入信息。我们以
Figure 412475DEST_PATH_IMAGE027
表示真实数据分布，z表示随机噪声，
Figure 253523DEST_PATH_IMAGE028
表示噪声分布，条件生成器Ｇ学习到的数据分布为
Figure 435106DEST_PATH_IMAGE029
，条件生成器基于生成映射函数在条件输入信息下将随机噪声z转化为煤流假图数据；判别器D基于判别映射函数在条件输入信息下判别输入判别器的数据x来自真实数据data而不是条件生成器输出的生成数据（煤流假图）的概率。
在训练时，固定条件生成器G，调整判别器D的参数使得
Figure 624779DEST_PATH_IMAGE030
的期望最大化，固定判别器D，调整条件生成器G的参数使得
Figure 524602DEST_PATH_IMAGE031
的期望最小化。这个优化过程可以归结为一个“二元极小极大博弈（Minimax Two-player Game）”问题，条件生成对抗网络的目标函数为带有条件概率的二元极大极小博弈，其中目标函数如下：
Figure 90712DEST_PATH_IMAGE032
其中，
Figure 392380DEST_PATH_IMAGE033
表示在真值输入信息作为判别器D的输入信息x时，判别器D在条件输入信息下判定x来自真实数据data的概率，
Figure 815271DEST_PATH_IMAGE034
表示在真实数据分布下
Figure 202390DEST_PATH_IMAGE035
的期望值，
Figure 572192DEST_PATH_IMAGE036
表示条件生成器G在条件输入信息下生成的煤流假图数据，
Figure 462788DEST_PATH_IMAGE037
表示在煤流假图数据
Figure 259842DEST_PATH_IMAGE036
作为判别器D的输入信息x时，判别器D在条件输入信息下判定输入信息
Figure 868678DEST_PATH_IMAGE038
来自真实数据的概率，
Figure 855220DEST_PATH_IMAGE039
表示判别器D在条件输入信息下判定输入信息
Figure 865901DEST_PATH_IMAGE038
来自煤流假图数据的概率，
Figure 833857DEST_PATH_IMAGE040
表示在噪声分布下
Figure 929989DEST_PATH_IMAGE041
的期望值。
综上，本申请实施例的条件生成对抗网络的训练方法，基于第一样本图像、第一模型样本数据和煤流假图，迭代训练条件生成对抗网络中的判别器，以得到目标判别器，使得目标判别器将第一样本图像判定为真，且将煤流假图判定为假，其中，第一样本图像为煤流的深度图，煤流假图为条件生成对抗网络中的条件生成器生成的深度图，第一模型样本数据中包括煤流的三维模型信息；基于第二样本图像和第二模型样本数据，迭代训练条件生成器，以得到目标条件生成器，使得目标条件生成器生成的煤流假图被目标判别器判定为真，其中，第二样本图像为煤流的三维毫米波热图，第二模型样本数据中包括煤流的三维模型信息；基于目标判别器和目标条件生成器，得到目标条件生成对抗网络。本申请以毫米波热图作为第二样本图像，以相机采集的深度图作为第一样本图像，同时结合煤流的模型样本数据作为条件输入信息，对条件生成对抗网络进行训练，使得条件生成对抗网络能够学习处理原始毫米波热图中的镜面反射和多路径反射，得到目标条件生成对抗网络，该目标条件生成对抗网络能够根据实测的三维毫米热图生成高分辨率的深度图，以增强煤流量检测的效果，且基于目标条件生成对抗网络获取高分辨率煤流深度图的设备结构简单，便于在煤矿场景下实施。
图7是本申请一个实施例公开的一种煤流量检测装置的结构示意图。
如图7所示，该煤流量检测装置700，包括：第一获取模块701、生成模块702和第二获取模块703，其中，
第一获取模块701，用于获取煤流的第一采集图像、第一煤流模型数据和预设的第二煤流模型数据。
生成模块702，用于基于目标条件生成对抗网络，根据第一采集图像、第一煤流模型数据和第二煤流模型数据，生成煤流对应的目标图像。
第二获取模块703，用于根据目标图像，获取煤流对应的瞬时煤流量，以得到预设时间内的煤流总量。
需要说明的是，上述对煤流量检测方法实施例的解释说明，也适用于本申请实施例的煤流量检测装置，具体过程此处不再赘述。
根据本申请的一个实施例，生成模块702，进一步用于：将第一煤流模型数据和第二煤流模型数据确定为条件输入信息；将第一采集图像确定为随机噪声信息；将条件输入信息和随机噪声信息输入目标条件生成对抗网络，生成目标图像。
根据本申请的一个实施例，第一采集图像为基于毫米波雷达采集的三维毫米波热图，目标图像为深度图。
根据本申请的一个实施例，第一煤流模型数据中包括煤流的三维模型信息，第二煤流模型数据中包括预设煤流的三维模型信息。
根据本申请的一个实施例，第二获取模块703，进一步用于：根据目标图像，得到当前煤流对应的三维点云；获取三维点云表征的煤堆的体积；根据体积，得到当前煤流对应的瞬时煤流量。
综上，本申请实施例的煤流量检测装置，利用目标条件生成对抗网络，结合煤流的第一煤流模型数据和预设的第二煤流模型数据，根据煤流的第一采集图像生成对应的目标图像，根据该目标图像获取对应的瞬时煤流量，以得到预设时间内的煤流总量，本申请的煤流量检测方法结构简单，能够适用于煤矿环境中对煤流量进行检测，且结合煤流的模型数据和采集图像生成目标图像，使得目标图像能够更加清晰地表征煤流的信息，增强煤流量识别的效果。
图8是本申请一个实施例公开的一种条件生成对抗网络的训练装置的结构示意图。
如图8所示，该条件生成对抗网络的训练装置800，包括：第一训练模块801、第二训练模块802和组成模块803，其中，
第一训练模块801，用于基于第一样本图像、第一模型样本数据和煤流假图，迭代训练条件生成对抗网络中的判别器，以得到目标判别器，使得目标判别器将第一样本图像判定为真，且将煤流假图判定为假，其中，第一样本图像为煤流的深度图，煤流假图为条件生成对抗网络中的条件生成器生成的深度图，第一模型样本数据中包括煤流的三维模型信息。
第二训练模块802，用于基于第二样本图像和第二模型样本数据，迭代训练条件生成器，以得到目标条件生成器，使得目标条件生成器生成的煤流假图被目标判别器判定为真，其中，第二样本图像为煤流的三维毫米波热图，第二模型样本数据中包括煤流的三维模型信息。
组成模块803，用于基于目标判别器和目标条件生成器，得到目标条件生成对抗网络。
需要说明的是，上述对条件生成对抗网络的训练方法实施例的解释说明，也适用于本申请实施例的条件生成对抗网络的训练装置，具体过程此处不再赘述。
根据本申请的一个实施例，第一样本图像、第一模型样本数据和煤流假图对应于同一煤流样本，第二样本图像和第二模型样本数据对应于同一煤流样本。
综上，本申请实施例的条件生成对抗网络的训练装置，基于第一样本图像、第一模型样本数据和煤流假图，迭代训练条件生成对抗网络中的判别器，以得到目标判别器，使得目标判别器将第一样本图像判定为真，且将煤流假图判定为假，其中，第一样本图像为煤流的深度图，煤流假图为条件生成对抗网络中的条件生成器生成的深度图，第一模型样本数据中包括煤流的三维模型信息；基于第二样本图像和第二模型样本数据，迭代训练条件生成器，以得到目标条件生成器，使得目标条件生成器生成的煤流假图被目标判别器判定为真，其中，第二样本图像为煤流的三维毫米波热图，第二模型样本数据中包括煤流的三维模型信息；基于目标判别器和目标条件生成器，得到目标条件生成对抗网络。本申请以毫米波热图作为第二样本图像，以相机采集的深度图作为第一样本图像，同时结合煤流的模型样本数据作为条件输入信息，对条件生成对抗网络进行训练，使得条件生成对抗网络能够学习处理原始毫米波热图中的镜面反射和多路径反射，得到目标条件生成对抗网络，该目标条件生成对抗网络能够根据实测的三维毫米热图生成高分辨率的深度图，以增强煤流量检测的效果，且基于目标条件生成对抗网络获取高分辨率煤流深度图的设备结构简单，便于在煤矿场景下实施。
为了实现上述实施例，本申请还提出了一种电子设备900，如图9所示，包括存储器901、处理器902及存储在存储器901上并可在处理器902上运行的计算机程序，处理器执行程序时，实现前述的煤流量检测方法或者条件生成对抗网络的训练方法。
在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种煤流量检测方法，其特征在于，包括：
获取煤流的第一采集图像、第一煤流模型数据和预设的第二煤流模型数据；
基于目标条件生成对抗网络，根据所述第一采集图像、所述第一煤流模型数据和所述第二煤流模型数据，生成所述煤流对应的目标图像；
根据所述目标图像，获取所述煤流对应的瞬时煤流量，以得到预设时间内的煤流总量。
2.根据权利要求1所述的煤流量检测方法，其特征在于，所述基于目标条件生成对抗网络，根据所述第一采集图像、所述第一煤流模型数据和所述第二煤流模型数据，生成所述煤流对应的目标图像，包括：
将所述第一煤流模型数据和所述第二煤流模型数据确定为条件输入信息；
将所述第一采集图像确定为随机噪声信息；
将所述条件输入信息和所述随机噪声信息输入所述目标条件生成对抗网络，生成所述目标图像。
3.根据权利要求2所述的煤流量检测方法，其特征在于，所述第一采集图像为基于毫米波雷达采集的三维毫米波热图，所述目标图像为深度图。
4.根据权利要求2所述的煤流量检测方法，其特征在于，所述第一煤流模型数据中包括所述煤流的三维模型信息，所述第二煤流模型数据中包括预设煤流的三维模型信息。
5.根据权利要求2所述的煤流量检测方法，其特征在于，所述根据所述目标图像，获取所述煤流对应的瞬时煤流量，包括：
根据所述目标图像，得到所述煤流对应的三维点云；
获取所述三维点云表征的煤堆的体积；
根据所述体积，得到所述煤流对应的瞬时煤流量。
6.一种条件生成对抗网络的训练方法，其特征在于，包括：
基于第一样本图像、第一模型样本数据和煤流假图，迭代训练所述条件生成对抗网络中的判别器，以得到目标判别器，使得所述目标判别器将所述第一样本图像判定为真，且将所述煤流假图判定为假，其中，所述第一样本图像为煤流的深度图，所述煤流假图为所述条件生成对抗网络中的条件生成器生成的深度图，所述第一模型样本数据中包括煤流的三维模型信息；
基于第二样本图像和第二模型样本数据，迭代训练所述条件生成器，以得到目标条件生成器，使得所述目标条件生成器生成的煤流假图被所述目标判别器判定为真，其中，所述第二样本图像为煤流的三维毫米波热图，所述第二模型样本数据中包括煤流的三维模型信息；
基于所述目标判别器和所述目标条件生成器，得到目标条件生成对抗网络。
7.根据权利要求6所述的条件生成对抗网络的训练方法，其特征在于，所述第一样本图像、所述第一模型样本数据和所述煤流假图对应于同一煤流样本，所述第二样本图像和所述第二模型样本数据对应于同一煤流样本。
8.一种煤流量检测装置，其特征在于，包括：
第一获取模块，用于获取煤流的第一采集图像、第一煤流模型数据和预设的第二煤流模型数据；
生成模块，用于基于目标条件生成对抗网络，根据所述第一采集图像、所述第一煤流模型数据和所述第二煤流模型数据，生成所述煤流对应的目标图像；
第二获取模块，用于根据所述目标图像，获取所述煤流对应的瞬时煤流量，以得到预设时间内的煤流总量。
9.一种条件生成对抗网络的训练装置，其特征在于，包括：
第一训练模块，用于基于第一样本图像、第一模型样本数据和煤流假图，迭代训练所述条件生成对抗网络中的判别器，以得到目标判别器，使得所述目标判别器将所述第一样本图像判定为真，且将所述煤流假图判定为假，其中，所述第一样本图像为煤流的深度图，所述煤流假图为所述条件生成对抗网络中的条件生成器生成的深度图，所述第一模型样本数据中包括煤流的三维模型信息；
第二训练模块，用于基于第二样本图像和第二模型样本数据，迭代训练所述条件生成器，以得到目标条件生成器，使得所述目标条件生成器生成的煤流假图被所述目标判别器判定为真，其中，所述第二样本图像为煤流的三维毫米波热图，所述第二模型样本数据中包括煤流的三维模型信息；
组成模块，用于基于所述目标判别器和所述目标条件生成器，得到目标条件生成对抗网络。
10.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-5中任一项所述的煤流量检测方法，或者实现如权利要求6-7中任一项所述的条件生成对抗网络的训练方法。
CN202210779444.4A 2022-07-04 2022-07-04 一种煤流量检测方法及条件生成对抗网络的训练方法 Active CN114842015B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210779444.4A CN114842015B (zh) 2022-07-04 2022-07-04 一种煤流量检测方法及条件生成对抗网络的训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210779444.4A CN114842015B (zh) 2022-07-04 2022-07-04 一种煤流量检测方法及条件生成对抗网络的训练方法

Publications (2)

Publication Number Publication Date
CN114842015A true CN114842015A (zh) 2022-08-02
CN114842015B CN114842015B (zh) 2022-09-20

Family

ID=82574292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210779444.4A Active CN114842015B (zh) 2022-07-04 2022-07-04 一种煤流量检测方法及条件生成对抗网络的训练方法

Country Status (1)

Country Link
CN (1) CN114842015B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115310361A (zh) * 2022-08-16 2022-11-08 中国矿业大学 基于wgan-cnn煤矿井下粉尘浓度预测方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106882558A (zh) * 2017-03-31 2017-06-23 兖州煤业股份有限公司 一种基于煤流量检测的皮带调速系统及调速方法
CN112945323A (zh) * 2019-11-26 2021-06-11 大唐环境产业集团股份有限公司 一种上煤流量检测方法
CN113139906A (zh) * 2021-05-13 2021-07-20 平安国际智慧城市科技股份有限公司 一种生成器的训练方法、装置与存储介质
AU2021105929A4 (en) * 2021-08-19 2021-10-28 Ccteg Chongqing Research Institute A Multi-Parameter Prediction Model For Coal Sample Hardiness

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106882558A (zh) * 2017-03-31 2017-06-23 兖州煤业股份有限公司 一种基于煤流量检测的皮带调速系统及调速方法
CN112945323A (zh) * 2019-11-26 2021-06-11 大唐环境产业集团股份有限公司 一种上煤流量检测方法
CN113139906A (zh) * 2021-05-13 2021-07-20 平安国际智慧城市科技股份有限公司 一种生成器的训练方法、装置与存储介质
AU2021105929A4 (en) * 2021-08-19 2021-10-28 Ccteg Chongqing Research Institute A Multi-Parameter Prediction Model For Coal Sample Hardiness

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李瑶、王义涵: "《 带式输送机煤流量自适应检测方法》", 《工矿自动化》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115310361A (zh) * 2022-08-16 2022-11-08 中国矿业大学 基于wgan-cnn煤矿井下粉尘浓度预测方法和系统
CN115310361B (zh) * 2022-08-16 2023-09-15 中国矿业大学 基于wgan-cnn煤矿井下粉尘浓度预测方法和系统

Also Published As

Publication number Publication date
CN114842015B (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
JP5548482B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、プログラム及び記憶媒体
CN105335955B (zh) 对象检测方法和对象检测装置
US7616817B2 (en) Three dimensional shape correlator
JP6456141B2 (ja) 地図データの生成
US20120294534A1 (en) Geometric feature extracting device, geometric feature extracting method, storage medium, three-dimensional measurement apparatus, and object recognition apparatus
US8682037B2 (en) Method and system for thinning a point cloud
JP6328327B2 (ja) 画像処理装置及び画像処理方法
US20150134303A1 (en) Three-dimensional scanning system and method with hole-filling function for point cloud using contact probe
JPH10143659A (ja) 物体検出装置
JP7156515B2 (ja) 点群アノテーション装置、方法、及びプログラム
US8428343B2 (en) VOXEL map generator and method thereof
CN114842015B (zh) 一种煤流量检测方法及条件生成对抗网络的训练方法
JP5463584B2 (ja) 変位計測方法、変位計測装置及び変位計測プログラム
CN111739099B (zh) 预防跌落方法、装置及电子设备
Ringaby et al. Scan rectification for structured light range sensors with rolling shutters
JP2020125960A (ja) 移動体位置推定装置、及び移動体位置推定プログラム
Klein et al. View planning for the 3d modelling of real world scenes
JP6388806B2 (ja) 射影画像生成装置と射影画像生成プログラムと射影画像生成方法
CN115511944A (zh) 基于单相机的尺寸估计方法、装置、设备及存储介质
JP7020418B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US11747141B2 (en) System and method for providing improved geocoded reference data to a 3D map representation
CN117408935A (zh) 障碍物检测方法、电子设备和存储介质
JP2004144644A (ja) 地形認識装置、地形認識方法および移動体の移動量検出方法
CN116386016B (zh) 一种异物处理方法、装置、电子设备及存储介质
EP3441789B1 (en) System and method for processing data and a user device for pre-processing data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant