CN116188713B - 基于点云镜像模型的煤矿三维场景动态生成方法和装置 - Google Patents

基于点云镜像模型的煤矿三维场景动态生成方法和装置 Download PDF

Info

Publication number
CN116188713B
CN116188713B CN202310453913.8A CN202310453913A CN116188713B CN 116188713 B CN116188713 B CN 116188713B CN 202310453913 A CN202310453913 A CN 202310453913A CN 116188713 B CN116188713 B CN 116188713B
Authority
CN
China
Prior art keywords
point cloud
cloud data
coal mine
dimensional scene
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310453913.8A
Other languages
English (en)
Other versions
CN116188713A (zh
Inventor
刘义勤
郭军
张越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Technology Research Branch Of Tiandi Technology Co ltd
General Coal Research Institute Co Ltd
Original Assignee
Beijing Technology Research Branch Of Tiandi Technology Co ltd
General Coal Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Technology Research Branch Of Tiandi Technology Co ltd, General Coal Research Institute Co Ltd filed Critical Beijing Technology Research Branch Of Tiandi Technology Co ltd
Priority to CN202310453913.8A priority Critical patent/CN116188713B/zh
Publication of CN116188713A publication Critical patent/CN116188713A/zh
Application granted granted Critical
Publication of CN116188713B publication Critical patent/CN116188713B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)

Abstract

本申请提出一种基于点云镜像模型的煤矿三维场景动态生成方法和装置，其中，方法包括：获取煤矿工作面的待识别点云数据，并从待识别点云数据中确定出煤矿工作面中每个设备的点云数据；根据每个设备的点云数据，计算每个设备的位置信息和姿态信息；根据每个设备的位置信息和姿态信息，调整煤矿工作面对应的煤矿三维场景中每个设备的标准设备模型的位置和姿态，以更新煤矿三维场景。由此，随着采煤进度可以实时确定煤矿工作面上每个设备的位置信息和姿态信息，从而实时调整煤矿三维场景中设备模型的位置和姿态，动态生成煤矿三维场景，达到实时更新煤矿三维场景的目的。

Description

基于点云镜像模型的煤矿三维场景动态生成方法和装置
技术领域
本申请涉及煤矿技术领域，尤其涉及一种基于点云镜像模型的煤矿三维场景动态生成方法和装置。
背景技术
煤矿工作面的三维场景受到采煤进度的影响常常发生变化，这限制了地面上工作人员对采煤进度的掌握和规划，对实现数字孪生带来了极大的困难。地面上的三维场景更新可以利用遥感、航空摄影、航空雷达以及测绘数据做到快速更新，然而，在地面下的煤矿工作面受到地形的限制，很难快速更新。
发明内容
本申请提出一种基于点云镜像模型的煤矿三维场景动态生成方法和装置。具体方案如下：
本申请一方面实施例提出了一种基于点云镜像模型的煤矿三维场景动态生成方法，包括：
获取煤矿工作面的待识别点云数据，并从待识别点云数据中确定出煤矿工作面中每个设备的点云数据；
根据每个设备的点云数据，计算每个设备的位置信息和姿态信息；
根据每个设备的位置信息和姿态信息，调整煤矿工作面对应的煤矿三维场景中每个设备的标准设备模型的位置和姿态，以更新煤矿三维场景。
本申请另一方面实施例提出了一种基于点云镜像模型的煤矿三维场景动态生成装置，包括：
确定模块，用于获取煤矿工作面的待识别点云数据，并从待识别点云数据中确定出煤矿工作面中每个设备的点云数据；
计算模块，用于根据每个设备的点云数据，计算每个设备的位置信息和姿态信息；
调整模块，用于根据每个设备的位置信息和姿态信息，调整煤矿工作面对应的煤矿三维场景中每个设备的标准设备模型的位置和姿态，以更新煤矿三维场景。
本申请另一方面实施例提出了一种计算机设备，包括处理器和存储器；
其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如上述一方面实施例所述的方法。
本申请另一方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述一方面实施例所述的方法。
本申请另一方面实施例提出了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述实施例所述方法的步骤。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例提供的一种基于点云镜像模型的煤矿三维场景动态生成方法的流程示意图；
图2为本申请实施例提供的另一种基于点云镜像模型的煤矿三维场景动态生成方法的流程示意图；
图3为本申请实施例提供的一种采煤机实例分割示意图；
图4为本申请实施例提供的另一种基于点云镜像模型的煤矿三维场景动态生成方法的流程示意图；
图5为本申请实施例提供的一种设备的点云数据投影在目标坐标平面上的矩形的示意图；
图6为本申请实施例提供的一种基于点云镜像模型的煤矿三维场景动态生成装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的基于点云镜像模型的煤矿三维场景动态生成方法和装置。
在实际应用中，煤矿工作面上有各种设备，比如液压支架、采煤机、刮板运输机等，随着采煤进度煤矿工作面上的设备的位置和姿态会不断变化，从而煤矿工作面对应的煤矿三维场景也需要不断更新。
本申请的基于点云镜像模型的煤矿三维场景动态生成方法，通过从煤矿工作面的待识别点云数据中确定出煤矿工作面中每个设备的点云数据，并基于每个设备的点云数据，确定每个设备的位置信息和姿态信息，从而根据每个设备的位置信息和姿态信息，调整煤矿三维场景中每个设备的标准设备模型的位置和姿态，以更新煤矿三维场景，由此随着采煤进度可以实时更新煤矿三维场景。
本申请中的点云镜像可以理解为，输入数据虽然是点云数据，实际上插入三维场景的不是点云数据，而是与被扫描形成点云的设备一样的三维模型。
图1为本申请实施例提供的一种基于点云镜像模型的煤矿三维场景动态生成方法的流程示意图。
如图1所示，该基于点云镜像模型的煤矿三维场景动态生成方法包括：
步骤101，获取煤矿工作面的待识别点云数据，并从待识别点云数据中确定出煤矿工作面中每个设备的点云数据。
本申请中，可以在煤矿工作面上安装雷达装置、摄像装置等设备，通过雷达装置、摄像装置等设备，获取煤矿工作面的待识别点云数据。其中，待识别点云数据中可以包括煤矿工作面上各点的位置信息（比如三维坐标信息）、RGB信息等。
在获取煤矿工作面的待识别点云数据后，可以从待识别点云数据中确定出煤矿工作面中每个设备的点云数据。在实现时，可以根据煤矿工作面上设备的不同场景，采用不同的方式确定每个设备的点云数据。比如，若煤矿工作面上每种设备只有一个，可以通过预先训练的点云语义分割模型，从待识别点云数据中确定出每个设备的点云数据；若某种类型的设备为多个，可以通过实例分割的方式，从待识别点云数据中确定出每个设备的点云数据。
步骤102，根据每个设备的点云数据，计算每个设备的位置信息和姿态信息。
本申请中，可以根据每个设备的点云数据中各点的位置信息，确定出每个设备的中心点，并将中心点的位置信息作为每个设备的位置信息。
针对煤矿工作面上的每个设备，在确定每个设备的姿态信息时，可以将设备的点云数据作为输入，构造点云深度神经网络，通过此方式学习点云特征进行设备姿态的估计，从而得到设备的姿态信息。
设备的点云数据中可能存在离异点也即异常点，可选地，本申请中，可以对每个设备的点云数据进行去噪处理，以去除每个设备的点云数据中的离群点，获取每个设备处理后的点云数据，再根据每个设备处理后的点云数据，计算每个设备的位置信息和姿态信息，从而可以提高计算的设备的位置信息和姿态信息的准确性。
步骤103，根据每个设备的位置信息和姿态信息，调整煤矿工作面对应的煤矿三维场景中每个设备的标准设备模型的位置和姿态，以更新煤矿三维场景。
本申请中，煤矿工作面对应的煤矿三维场景中有煤矿工作面上各设备的标准设备模型。在确定煤矿工作面上每个设备的位置信息和姿态信息后，可以根据每个设备的位置信息，调整煤矿工作面对应的煤矿三维场景中每个设备的标准设备模型的位置，及根据每个设备的姿态信息调整煤矿三维场景中每个设备的标准设备模型的姿态，从而更新煤矿三维场景，动态生成煤矿三维场景。
可选地，本申请中，也可以将每个设备的位置信息和姿态信息赋值给标准模型库中的每个设备的标准设备模型，使煤矿三维场景中的设备模型位置和姿态发生改变，从而达到场景更新的目的。
本申请实施例中，通过获取煤矿工作面的待识别点云数据，并从待识别点云数据中确定出煤矿工作面中每个设备的点云数据，并根据每个设备的点云数据，计算每个设备的位置信息和姿态信息，再根据每个设备的位置信息和姿态信息，调整煤矿工作面对应的煤矿三维场景中每个设备的标准设备模型的位置和姿态，以更新煤矿三维场景。由此，随着采煤进度可以实时确定煤矿工作面上每个设备的位置信息和姿态信息，从而实时调整煤矿三维场景中设备模型的位置和姿态，动态生成煤矿三维场景，达到实时更新煤矿三维场景的目的。
图2为本申请实施例提供的另一种基于点云镜像模型的煤矿三维场景动态生成方法的流程示意图。
如图2所示，该基于点云镜像模型的煤矿三维场景动态生成方法包括：
步骤201，获取煤矿工作面的待识别点云数据。
本申请中，步骤201可以采用本申请各实施例中任一种实现方式，故在此不再赘述。
步骤202，在煤矿工作面中每种设备只有一个的情况下，利用点云语义分割模型对待识别点云数据进行语义分割，以获取待识别点云数据中每个点的语义类别。
本申请中，针对煤矿工作面中每种类型的设备只有一个的情况，可以将待识别点云数据输入到预先训练的点云语义分割模型中进行语义分割，得到待识别点云数据中每个点的语义类别。其中，语义类别可以是指设备类别，例如掘进机、采煤机、刮板运输机、液压支架等。
比如，待识别点云数据中某些点的语义类别为采煤机，而某些点的语义类别为液压支架等。
本申请中，点云语义分割模型可以通过以下方式训练得到：可以获取煤矿工作面的样本点云数据及样本点云数据中每个点的类别标签，并从样本点云数据中抽取第一点云数据，并输入到初始点云语义分割模型中，以获取第一点云数据中每个点的预测类别，并根据第一点云数据中每个点的预测类别与类别标签之间的差异，确定损失值，根据损失值，对初始点云语义分割模型的参数进行调整；之后，从样本点云数据中继续抽取第二点云数据，将第二点云数据输入到参数调整后的点云语义分割模型，得到第二点云数据中每个点的预测类别，并根据第二点云数据中每个点的预测类别与类别标签之间的差异，对点云语义分割模型的参数继续调整，若未满足训练结束条件，继续从样本点云数据中抽取点云数据，利用抽取的点云数据对参数调整后的点云语义分割模型进行调整，直至满足训练结束条件，获取点云语义分割模型。
其中，第二点云数据与第一点云数据不同或部分相同，也就是说，每次抽取的点云数据与之前抽取的点云数据不同或部分不同。
本申请中，煤矿工作面的样本点云数据的获取方式与待识别点云数据的获取方式类似，故在此不再赘述。
步骤203，根据每个点的语义类别，从待识别点云数据中确定出煤矿工作面中每个设备的点云数据。
本申请中，可以根据待识别点云数据中各点的语义类别，从待识别点云数据中提取出同一语义类别的点，基于同一语义类别的点，可以得到每个设备的点云数据。
比如，可以从待识别点云数据中提取出语义类别为采煤机的点，从而基于提取出的语义类别为采煤机的点，得到采煤机的点云数据，可以从待识别点云数据中提取出语义类别为刮板运输机的点，从而基于提取出的语义类别为刮板运输机的点，得到刮板运输机的点云数据。
可选地，若煤矿工作面中存在同一类设备为多个的情况，可以对待识别点云数据进行实例分割，以得到煤矿工作面中每个设备的点云数据。由此，采用实例分割可以将煤矿工作面中同一类别下多个设备做区分。
比如，对于液压支架，通过实例分割方法可以确定待识别点云数据中支架1、支架2、支架n等实例对象的点云数据。
又如，对于采煤机，如图3所示，利用实例分割可以把采煤机的机身和滚筒作为不同的实例对象进行分割，从而确定三个部分的位置信息和姿态信息。
本申请中，针对不同的场景，可以采用不同的方式，确定每个设备的点云数据，灵活性强，可以满足不同场景的需求。
步骤204，根据每个设备的点云数据，计算每个设备的位置信息和姿态信息。
步骤205，根据每个设备的位置信息和姿态信息，调整煤矿工作面对应的煤矿三维场景中每个设备的标准设备模型的位置和姿态，以更新煤矿三维场景。
本申请中，步骤204-步骤205可以采用本申请各实施例中任一种实现方式，故在此不再赘述。
本申请实施例中，在从待识别点云数据中确定出煤矿工作面中每个设备的点云数据时，若煤矿工作面中每种设备只有一个，可以利用点云语义分割模型对待识别点云数据进行语义分割，以获取待识别点云数据中每个点的语义类别，再根据每个点的语义类别，从待识别点云数据中确定出煤矿工作面中每个设备的点云数据。由此，针对煤矿工作面中每种设备只有一个的情况，可以利用点云语义分割模型，确定每个设备的点云数据，准确性较高。
图4为本申请实施例提供的另一种基于点云镜像模型的煤矿三维场景动态生成方法的流程示意图。
如图4所示，该基于点云镜像模型的煤矿三维场景动态生成方法包括：
步骤401，获取煤矿工作面的待识别点云数据，并从待识别点云数据中确定出煤矿工作面中每个设备的点云数据。
本申请中，步骤401可以采用本申请各实施例中任一种实现方式，故在此不再赘述。
步骤402，根据每个设备的点云数据中各点在世界坐标系下的坐标，确定每个设备的点云数据的协方差矩阵。
本申请中，可以将每个设备的点云数据的中心点在世界坐标系下的坐标减去其他点在世界坐标系下的坐标得到多个向量，根据这些向量可以构造一个矩阵，再根据构造的矩阵确定每个设备的点云数据的协方差矩阵。
可选地，可以对每个设备的点云数据中的各点在世界坐标系下的坐标去中心化，也就是每个设备的点云数据中各点在同一坐标轴上点减去各自的均值，可以将数据的中心归到零点位置，也即把局部坐标系的原点计算出来，之后计算每个设备去中心化后的点云数据的协方差矩阵。
步骤403，根据协方差矩阵，建立每个设备的局部坐标系。
本申请中，若设备的点云数据的协方差矩阵是上述根据构造的矩阵确定的，可以对协方差矩阵进行奇异值分解，求解特征值和对应的特征向量，该特征向量可以作为主方向向量，并根据主方向向量及与主方向向量垂直的两个坐标轴建立该设备的局部坐标系。
可选地，若协方差矩阵是设备的去中心化后的点云数据确定的，可以根据协方差矩阵计算特征向量，可以将特征向量作为主方向向量，并根据主方向向量及与主方向向量垂直的两个坐标轴建立该设备的局部坐标系。
步骤404，确定每个设备的点云数据投影在局部坐标系的目标坐标平面上的最小矩形面积。
本申请中，目标坐标平面可以是指与上述主方向向量垂直的坐标平面，针对每个设备，将主方向向量旋转不同的角度也即绕主方向向量旋转局部坐标系，然后计算每个旋转角度下设备的点云数据投影到目标坐标平面上矩形的面积，并从各矩形面积中确定出最小矩形面积。其中，设备的点云数据投影到目标坐标平面上矩形的面积可以是根据设备的点云数据在目标坐标平面上投影的坐标计算得到的。
比如，如图5所示，局部坐标系的原点为o1，主方向向量作为坐标轴w，与w垂直的坐标轴为u和v，某设备的点云数据在目标坐标平面uo1v上的投影中在u轴方向上坐标值最大的点为P1，在u轴方向上坐标值最小的点为C1，在v轴方向上坐标值最大的点为C1，在v轴方向上坐标值最小的点为P2，可以以C1为顶点，作一条平行与u轴的线段C1B1，C1B1的长度为点P1与C1在u轴方向上坐标值的差值，再作一条平行与v轴的线段C1D1，C1D1的长度为点C1与P2在v轴方向上坐标值的差值，从而得到矩形A1B1C1D1，该矩形A1B1C1D1为该设备的点云数据投影到目标坐标平面上矩形，该矩形的面积为点P1与C1在u轴方向上坐标值的差值与点C1与P2在v轴方向上坐标值的差值的乘积，也即该设备的点云数据投影在目标坐标平面上的矩形面积，可以是该设备的点云数据在目标坐标平面上的所有投影点在u轴方向的最大值与最小值的差值乘以v轴方向最小值与最大值的差值。
步骤405，根据最小矩形面积及每个设备的点云数据在与目标坐标轴平面垂直的坐标轴方向上的最大值与最小值，确定包裹每个设备的点云数据的最小外包立方体。
本申请中，与目标坐标轴平面垂直的坐标轴可以是指主方向向量，可以将某设备的点云数据对应的最小矩形面积乘以该设备的点云数据在主方向向量上的最大值与最小值之间的差值得到最小体积，最小体积对应的立方体即为包裹每个设备的点云数据的最小外包立方体。
比如，若图5所示的矩形A1B1C1D1是面积最小的矩形，该设备的点云数据在目标坐标平面上的所有投影点中在w轴上的最大值0，最大值为C1C2的长度值，那么可以得到图5所示的最小外包立方体A2B2C2D2A1B1C1D1。
步骤406，根据最小外包立方体在世界坐标系下的顶点坐标，确定每个设备的位置信息。
本申请中，针对每个设备，可以将最小外包立方体的顶点坐标从局部坐标系转换到世界坐标系，之后根据最小外包立方体在世界坐标系下的顶点坐标，确定立方体的中心点，可以将立方体的中心点的坐标作为设备的位置信息。
步骤407，根据坐标轴方向的方向向量分别与方向向量在世界坐标系的三个坐标平面上投影向量之间的夹角，确定姿态信息。
本申请中，该坐标轴方向的方向向量可以是上述的主方向向量，可以确定主方向向量分别与主方向向量在世界坐标系的三个坐标平面上投影向量之间的夹角，三个夹角即为设备的姿态信息。
比如，某设备的局部坐标系的坐标轴w的方向向量为该设备的点云数据的主方向向量，/>与/>在世界坐标系的yo2z平面上的投影向量的夹角为/>，/>与/>在世界坐标系的xo2z平面上的投影向量的夹角为/>，/>与/>在世界坐标系的xo2y平面上的投影向量的夹角为/>，那么该设备的姿态信息为（/>，/>，/>）。
步骤408，根据每个设备的位置信息和姿态信息，调整煤矿工作面对应的煤矿三维场景中每个设备的标准设备模型的位置和姿态，以更新煤矿三维场景。
本申请中，步骤408可以采用本申请各实施例中任一种实现方式，故在此不再赘述。
本申请实施例中，可以根据每个设备的点云数据中各点在世界坐标系下的坐标，确定每个设备的点云数据的协方差矩阵，并根据协方差矩阵，建立每个设备的局部坐标系，基于局部坐标系确定包裹每个设备的点云数据的最小外包立方体，并根据最小外包立方体，确定每个设备的位置信息和姿态信息，进而根据每个设备位置信息和姿态信息，调整煤矿三维场景中每个设备的标准设备模型的位置和姿态，从而达到实时更新煤矿三维场景的目的。
为了实现上述实施例，本申请实施例还提出一种基于点云镜像模型的煤矿三维场景动态生成装置。图6为本申请实施例提供的一种基于点云镜像模型的煤矿三维场景动态生成装置的结构示意图。
如图6所示，该基于点云镜像模型的煤矿三维场景动态生成装置500包括：
确定模块60，用于获取煤矿工作面的待识别点云数据，并从待识别点云数据中确定出煤矿工作面中每个设备的点云数据；
计算模块620，用于根据每个设备的点云数据，计算每个设备的位置信息和姿态信息；
调整模块630，用于根据每个设备的位置信息和姿态信息，调整煤矿工作面对应的煤矿三维场景中每个设备的标准设备模型的位置和姿态，以更新煤矿三维场景。
在本申请实施例一种可能的实现方式中，确定模块610，用于：
在煤矿工作面中每种设备只有一个的情况下，利用点云语义分割模型对待识别点云数据进行语义分割，以获取待识别点云数据中每个点的语义类别；
根据每个点的语义类别，从待识别点云数据中确定出煤矿工作面中每个设备的点云数据。
在本申请实施例一种可能的实现方式中，点云语义分割模型通过以下步骤训练得到：
获取煤矿工作面的样本点云数据及样本点云数据中每个点的类别标签；
从样本点云数据中抽取第一点云数据，并输入到初始点云语义分割模型中，以获取第一点云数据中每个点的预测类别；
根据预测类别与类别标签之间的差异，确定损失值；
根据损失值，对初始点云语义分割模型的参数进行调整；
从样本点云数据中继续抽取第二点云数据，并利用第二点云数据对参数调整后的点云语义分割模型进行调整，直至满足训练结束条件，获取点云语义分割模型，其中，第二点云数据与第一点云数据不同或部分相同。
在本申请实施例一种可能的实现方式中，确定模块610，用于：
在煤矿工作面中存在同一类设备为多个的情况下，对待识别点云数据进行实例分割，以从待识别点云数据中确定出煤矿工作面中每个设备的点云数据。
在本申请实施例一种可能的实现方式中，计算模块620，用于：
根据每个设备的点云数据中各点在世界坐标系下的坐标，确定每个设备的点云数据的协方差矩阵；
根据协方差矩阵，建立每个设备的局部坐标系；
确定每个设备的点云数据投影在局部坐标系的目标坐标平面上的最小矩形面积；
根据最小矩形面积及每个设备的点云数据在与目标坐标轴平面垂直的坐标轴方向上的最大值与最小值，确定包裹每个设备的点云数据的最小外包立方体；
根据最小外包立方体在世界坐标系下的顶点坐标，确定每个设备的位置信息；
根据坐标轴方向的方向向量分别与方向向量在世界坐标系的三个坐标平面上投影向量之间的夹角，确定姿态信息。
在本申请实施例一种可能的实现方式中，计算模块620，用于：
对每个设备的点云数据进行去噪处理，以去除每个设备的点云数据中的离群点，获取每个设备处理后的点云数据；
根据每个设备处理后的点云数据，计算每个设备的位置信息和姿态信息。
需要说明的是，上述对基于点云镜像模型的煤矿三维场景动态生成方法实施例的解释说明，也适用于该实施例的基于点云镜像模型的煤矿三维场景动态生成装置，故在此不再赘述。
本申请实施例中，通过获取煤矿工作面的待识别点云数据，并从待识别点云数据中确定出煤矿工作面中每个设备的点云数据，并根据每个设备的点云数据，计算每个设备的位置信息和姿态信息，再根据每个设备的位置信息和姿态信息，调整煤矿工作面对应的煤矿三维场景中每个设备的标准设备模型的位置和姿态，以更新煤矿三维场景。由此，随着采煤进度可以实时确定煤矿工作面上每个设备的位置信息和姿态信息，从而实时调整煤矿三维场景中设备模型的位置和姿态，动态生成煤矿三维场景，达到实时更新煤矿三维场景的目的。
为了实现上述实施例，本申请实施例还提出一种计算机设备，包括处理器和存储器；
其中，处理器通过读取存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如上述实施例所述的基于点云镜像模型的煤矿三维场景动态生成方法。
为了实现上述实施例，本申请实施例还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例所述的基于点云镜像模型的煤矿三维场景动态生成方法。
为了实现上述实施例，本申请实施例还提出一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述实施例所述方法的步骤。
在本说明书的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (5)

1.一种基于点云镜像模型的煤矿三维场景动态生成方法，其特征在于，应用于煤矿井下，所述煤矿三维场景动态生成方法包括：
通过安装在煤矿工作面上的雷达装置和摄像装置，获取煤矿工作面的待识别点云数据，在所述煤矿工作面中每种设备只有一个的情况下，利用点云语义分割模型对所述待识别点云数据进行语义分割，以获取所述待识别点云数据中每个点的语义类别，根据每个点的所述语义类别从所述待识别点云数据中确定出所述煤矿工作面中每个设备的点云数据，在所述煤矿工作面中存在同一类设备为多个的情况下，对所述待识别点云数据进行实例分割，以从所述待识别点云数据中确定出所述煤矿工作面中每个设备的点云数据，其中，所述语义类别为设备类别；
对所述每个设备的点云数据进行去噪处理，以去除所述每个设备的点云数据中的离群点，根据每个设备处理后的点云数据中各点在世界坐标系下的坐标，确定所述每个设备的点云数据的协方差矩阵，根据所述协方差矩阵建立所述每个设备的局部坐标系，确定所述每个设备的点云数据投影在所述局部坐标系的目标坐标平面上的最小矩形面积，根据所述最小矩形面积及所述每个设备的点云数据在与目标坐标轴平面垂直的坐标轴方向上的最大值与最小值，确定包裹所述每个设备的点云数据的最小外包立方体，根据所述最小外包立方体在所述世界坐标系下的顶点坐标，确定所述每个设备的位置信息，根据所述坐标轴方向的方向向量分别与所述方向向量在所述世界坐标系的三个坐标平面上投影向量之间的夹角，确定所述每个设备的姿态信息；
根据所述每个设备的位置信息和姿态信息，调整所述煤矿工作面对应的煤矿三维场景中所述每个设备的标准设备模型的位置和姿态，以更新所述煤矿三维场景。
2.如权利要求1所述的方法，其特征在于，所述点云语义分割模型通过以下步骤训练得到：
获取所述煤矿工作面的样本点云数据及所述样本点云数据中每个点的类别标签；
从所述样本点云数据中抽取第一点云数据，并输入到初始点云语义分割模型中，以获取所述第一点云数据中每个点的预测类别；
根据所述预测类别与所述类别标签之间的差异，确定损失值；
根据所述损失值，对所述初始点云语义分割模型的参数进行调整；
从所述样本点云数据中继续抽取第二点云数据，并利用所述第二点云数据对参数调整后的点云语义分割模型进行调整，直至满足训练结束条件，获取所述点云语义分割模型，其中，所述第二点云数据与所述第一点云数据不同或部分相同。
3.一种基于点云镜像模型的煤矿三维场景动态生成装置，其特征在于，应用于煤矿井下，所述煤矿三维场景动态生成装置包括：
确定模块，用于通过安装在煤矿工作面上的雷达装置和摄像装置，获取煤矿工作面的待识别点云数据，在所述煤矿工作面中每种设备只有一个的情况下，利用点云语义分割模型对所述待识别点云数据进行语义分割，以获取所述待识别点云数据中每个点的语义类别，根据每个点的所述语义类别从所述待识别点云数据中确定出所述煤矿工作面中每个设备的点云数据，在所述煤矿工作面中存在同一类设备为多个的情况下，对所述待识别点云数据进行实例分割，以从所述待识别点云数据中确定出所述煤矿工作面中每个设备的点云数据，其中，所述语义类别为设备类别；
计算模块，用于对所述每个设备的点云数据进行去噪处理，以去除所述每个设备的点云数据中的离群点，根据每个设备处理后的点云数据中各点在世界坐标系下的坐标，确定所述每个设备的点云数据的协方差矩阵，根据所述协方差矩阵建立所述每个设备的局部坐标系，确定所述每个设备的点云数据投影在所述局部坐标系的目标坐标平面上的最小矩形面积，根据所述最小矩形面积及所述每个设备的点云数据在与目标坐标轴平面垂直的坐标轴方向上的最大值与最小值，确定包裹所述每个设备的点云数据的最小外包立方体，根据所述最小外包立方体在所述世界坐标系下的顶点坐标，确定所述每个设备的位置信息，根据所述坐标轴方向的方向向量分别与所述方向向量在所述世界坐标系的三个坐标平面上投影向量之间的夹角，确定所述每个设备的姿态信息；
调整模块，用于根据所述每个设备的位置信息和姿态信息，调整所述煤矿工作面对应的煤矿三维场景中所述每个设备的标准设备模型的位置和姿态，以更新所述煤矿三维场景。
4.一种计算机设备，其特征在于，包括处理器和存储器；
其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如权利要求1或2所述的基于点云镜像模型的煤矿三维场景动态生成方法。
5.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1或2所述的基于点云镜像模型的煤矿三维场景动态生成方法。
CN202310453913.8A 2023-04-25 2023-04-25 基于点云镜像模型的煤矿三维场景动态生成方法和装置 Active CN116188713B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310453913.8A CN116188713B (zh) 2023-04-25 2023-04-25 基于点云镜像模型的煤矿三维场景动态生成方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310453913.8A CN116188713B (zh) 2023-04-25 2023-04-25 基于点云镜像模型的煤矿三维场景动态生成方法和装置

Publications (2)

Publication Number Publication Date
CN116188713A CN116188713A (zh) 2023-05-30
CN116188713B true CN116188713B (zh) 2023-08-15

Family

ID=86442701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310453913.8A Active CN116188713B (zh) 2023-04-25 2023-04-25 基于点云镜像模型的煤矿三维场景动态生成方法和装置

Country Status (1)

Country Link
CN (1) CN116188713B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116628831B (zh) * 2023-07-25 2023-09-29 江西中煤建设集团有限公司 一种空间几何形体快速建模及体积差值计算方法
CN118015235A (zh) * 2024-04-08 2024-05-10 煤炭科学研究总院有限公司 基于数字孪生的煤壁模型的更新方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114092646A (zh) * 2021-11-23 2022-02-25 北京市商汤科技开发有限公司 模型生成方法、装置、计算机设备及存储介质
CN114140586A (zh) * 2022-01-29 2022-03-04 苏州工业园区测绘地理信息有限公司 面向室内空间的三维建模方法、装置和存储介质
CN115239821A (zh) * 2022-07-15 2022-10-25 小米汽车科技有限公司 参数信息确定方法、装置、车辆、电子设备及存储介质
CN115375866A (zh) * 2022-10-20 2022-11-22 国家电投集团科学技术研究院有限公司 矿区三维地质模型的更新方法、装置、设备和介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210279967A1 (en) * 2020-03-06 2021-09-09 Apple Inc. Object centric scanning

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114092646A (zh) * 2021-11-23 2022-02-25 北京市商汤科技开发有限公司 模型生成方法、装置、计算机设备及存储介质
CN114140586A (zh) * 2022-01-29 2022-03-04 苏州工业园区测绘地理信息有限公司 面向室内空间的三维建模方法、装置和存储介质
CN115239821A (zh) * 2022-07-15 2022-10-25 小米汽车科技有限公司 参数信息确定方法、装置、车辆、电子设备及存储介质
CN115375866A (zh) * 2022-10-20 2022-11-22 国家电投集团科学技术研究院有限公司 矿区三维地质模型的更新方法、装置、设备和介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谢宏全 等.激光雷达测绘技术与应用.武汉大学出版社,2018,77. *

Also Published As

Publication number Publication date
CN116188713A (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN116188713B (zh) 基于点云镜像模型的煤矿三维场景动态生成方法和装置
CN107990899B (zh) 一种基于slam的定位方法和系统
CN110322500B (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
CN112652016B (zh) 点云预测模型的生成方法、位姿估计方法及其装置
EP3159121A1 (en) Device for updating map of mobile robot and method therefor
CN111325796A (zh) 用于确定视觉设备的位姿的方法和装置
CN112219087A (zh) 位姿预测方法、地图构建方法、可移动平台及存储介质
CN110533687B (zh) 多目标三维轨迹跟踪方法及装置
CN111324145B (zh) 一种无人机自主着陆方法、装置、设备及存储介质
CN111722245B (zh) 定位方法、定位装置和电子设备
CN110349212B (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
CN112101160B (zh) 一种面向自动驾驶场景的双目语义slam方法
WO2019164502A1 (en) Methods, devices and computer program products for generating 3d models
CN113899364B (zh) 定位方法及装置、设备、存储介质
CN112652020B (zh) 一种基于AdaLAM算法的视觉SLAM方法
US7030875B2 (en) Environmental reasoning using geometric data structure
CN111354022A (zh) 基于核相关滤波的目标跟踪方法及系统
CN111753739A (zh) 物体检测方法、装置、设备以及存储介质
CN117615255B (zh) 基于云台的拍摄追踪方法、装置、设备及存储介质
JP2017037426A (ja) 情報処理装置、情報処理方法、プログラム
CN113688847A (zh) 一种挖掘机运行模式切换的控制方法、装置和挖掘机
CN113671523A (zh) 机器人定位方法、装置、存储介质及机器人
US20240087155A1 (en) Prior informed pose and scale estimation
CN115773759A (zh) 自主移动机器人的室内定位方法、装置、设备及存储介质
DE102022111926A1 (de) Verfahren und Vorrichtung für eine tiefengestützte visuelle Trägheitsodometrie

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant