CN116993942A - 锥形物体三维重建及体积测量方法、系统及无人机 - Google Patents

锥形物体三维重建及体积测量方法、系统及无人机 Download PDF

Info

Publication number
CN116993942A
CN116993942A CN202310821131.5A CN202310821131A CN116993942A CN 116993942 A CN116993942 A CN 116993942A CN 202310821131 A CN202310821131 A CN 202310821131A CN 116993942 A CN116993942 A CN 116993942A
Authority
CN
China
Prior art keywords
dimensional
conical object
triangular
grid
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310821131.5A
Other languages
English (en)
Inventor
郭晟
张文俊
舒振
吴艳霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leador Spatial Information Technology Co ltd
Original Assignee
Leador Spatial Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leador Spatial Information Technology Co ltd filed Critical Leador Spatial Information Technology Co ltd
Priority to CN202310821131.5A priority Critical patent/CN116993942A/zh
Publication of CN116993942A publication Critical patent/CN116993942A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Graphics (AREA)
  • Mechanical Engineering (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

公开了一种锥形物体三维重建及体积测量方法、系统及无人机，所述方法包括：利用激光雷达获取的实时点云构建煤堆的三维点云地图；对生成的三维点云地图向二维平面投影，在二维平面上对投影的点云进行三角剖分获取三角网格，然后将投影之前的高度带入，赋予三角网格高程信息，从而生成三维的煤堆网格包络；将红外相机获取的锥形物体的红外图像映射到锥形物体网格上对其进行渲染，使锥形物体网格反映出所述锥形物体的温度；计算每个三角网格的面积，然后计算三角网格三个顶点的平均高度，利用面积和平均高度的乘积得到每个三角网格对应三棱柱的体积，最后累加所有三棱柱的体积得到整个煤堆的体积。

Description

锥形物体三维重建及体积测量方法、系统及无人机
技术领域
本发明属于移动测量领域，具体涉及一种锥形物体三维重建及体积测量方法、系统及无人机。
背景技术
煤矿企业有大量原煤堆放，为了准确掌握煤炭存量，安排煤炭的开采、销售和运输事务，需要对煤堆体积进行测量。同样，对于粮仓，粮食企业和政府也需要准确掌握其体积，以便对粮食的种植、市场投放和储备进行精确调控。而煤堆和粮仓具有共性，即体积大，外形呈锥状，而快速精确测量这类大体积的锥形物体的体积是个难点。
发明内容
本发明提供一种锥形物体三维重建及体积测量方法、系统及无人机，能够大批量快速对煤堆、粮仓等锥形物体进行三维重建及体积测量，并在三维重建的模型上渲染出锥形物体的温度信息。
第一方面，提供一种锥形物体三维重建及体积计算方法，包括：
利用激光雷达扫描所述锥形物体时产生的点云数据构建所述锥形物体的三维点云地图；
对生成的所述三维点云地图向二维平面投影，在所述二维平面上对投影的点云进行三角剖分得到若干三角网格，然后将投影之前的高度带入，赋予所述三角网格高程信息，从而生成三维的锥形物体网格包络；
将红外相机获取的所述锥形物体的红外图像映射到锥形物体网格上对其进行渲染，使所述锥形物体网格反映出所述锥形物体的温度；
计算每个所述三角网格的面积，并根据所述高程信息计算所述三角网格的三个顶点的平均高度，利用所述面积和所述平均高度的乘积得到每个所述三角网格对应三棱柱的体积，累加所有三棱柱的体积得到所述锥形物体的体积。
第二方面，提供一种锥形物体三维重建及体积计算系统，包括：
三维点云地图构建模块，其被配置为利用激光雷达扫描所述锥形物体时产生的点云数据构建所述锥形物体的三维点云地图；
网格生成模块，其被配置为对生成的所述三维点云地图向二维平面投影，在所述二维平面上对投影的点云进行三角剖分得到若干三角网格，然后将投影之前的高度带入，赋予所述三角网格高程信息，从而生成三维的锥形物体网格包络；
三维重建及渲染模块，其被配置为将红外相机获取的所述锥形物体的红外图像映射到锥形物体网格上对其进行渲染，使所述锥形物体网格反映出所述锥形物体的温度；以及
体积计算模块，其被配置为计算每个所述三角网格的面积，并根据所述高程信息计算所述三角网格的三个顶点的平均高度，利用所述面积和所述平均高度的乘积得到每个所述三角网格对应三棱柱的体积，累加所有三棱柱的体积得到所述锥形物体的体积。
第三方面，提供一种无人机，包括：三维激光雷达，其被配置为扫描锥形物体获取构建锥形物体三维点云地图所需的点云；红外相机，其被配置为在三维激光雷达扫描煤堆的同时对煤堆拍照；处理器；存储器，包括一个或多个计算机程序模块；其中，所述一个或多个计算机程序模块被存储在所述存储器中并被配置为由所述处理器执行，所述一个或多个计算机程序模块包括用于实现所述的锥形物体三维重建及体积计算方法的指令。
有益效果：本发明实现了煤堆、粮仓等锥形物体的快速高效三维重建、体积估算及重建模型与红外像素的融合，方便了煤堆、粮食的安全管理、存储、运输、核算等管理工作，其高度自动化的测量过程可以节省大量的人力成本。
附图说明
图1为根据本发明一实施例的锥形物体三维重建及体积计算方法流程图。
图2为根据本发明一实施例的煤堆三维重建效果图。
图3为根据本发明一实施例的红外图像。
图4为根据本发明一实施例的红外着色点云示意图。
具体实施方式
本发明采用无人机搭载的激光雷达和红外相机完成锥形物体的三维重建及体积估算，并将反映锥形物体温度信息的红外图像融合到重建的模型上。本发明中的术语“锥形物体”包括但不限于煤堆和粮仓。
图1示出了一种锥形物体三维重建及体积测量方法流程图。该方法主要包括三维建图、网格生成和体积估算三个方面，下面对该方法进行详细说明。
步骤1，利用激光雷达扫描锥形物体时产生的点云数据构建锥形物体的三维点云地图。
三维激光即时定位与地图构建(SLAM)过程中需要实时获取每帧点云，采用基于三维高斯分布的NDT匹配方法计算点云相邻帧间的位置和姿态的变化量，把第一帧点云所在的坐标系设为全局坐标系，那么之后每帧点云所在坐标系就被确定下来，由于点云匹配存在误差和误差累积，所以无人机需要以一定的规则经过重复的位置，这就在SLAM中产生了闭环，然后将闭环约束因子加入到全局优化中，调整各个帧所在坐标系位姿直到收敛，最后将每帧的点云转换到全局坐标系中就生成了整个点云地图。
步骤2，对生成的三维点云地图向二维平面投影，在二维平面上对投影的点云进行三角剖分得到若干三角网格，然后将投影之前的高度带入，赋予三角网格高程信息，从而生成三维的锥形物体网格包络。
由于煤堆和粮食受重力作用表现为锥状外形，三维建图得到的点云也呈现锥状。这就可以将三维点云投影到地平面上，采用二维delaunay做三角剖分得到一个平面三角网，然后把投影前的高度属性加入三角网中，就可以把二维的三角网升维到三维的三角网。图2展示了煤堆三维重建效果图。
步骤3，将红外相机获取的锥形物体的红外图像关联到锥形物体网格上，完成锥形物体的三维重建及渲染。即，包络网的中的每个点都带有红外相机像素信息，可以直观的渲染出测量对象的温度，方便管理人员通过渲染后的三维模型直接看出煤堆、粮仓的实时温度，这对于煤堆和粮仓的安全管理是很有帮助的。
三维重建同时能得到激光轨迹，结合事先标定的红外相机与激光外参，可以得到红外相机的轨迹。对红外图像进行融合拼接，采用自适应权重融合方法对不同张图像进行融合拼接。对于重叠部分的图像，采用加权的方式计算重叠部分图像的灰度值，使重叠部分融合在一起。权重根据重叠中心区域的远近来进行适当缩放，离中心越远的位置权重越小，反之则加大。模型构建的网格可以映射到对应的红外图像中，将不同张的红外图像通过纹理映射，映射到同一张纹理中，同时进行融合，消除不同红外图像之间色差影响。图3、图4分别示出了红外图像及红外着色点云示意图。由于红外图像是带有颜色的，所以图3、图4无法用黑白图表达。
网格模型上的三维点通过点方向量、相机位置和相机透视变换等条件，找到对应合适的红外图像上像素位置，进而可以得到融合后的图像像素坐标，即三维纹理坐标。
步骤4，计算每个三角网格的面积，并根据高程信息计算三角网格的三个顶点的平均高度，利用面积和平均高度的乘积得到每个三角网格对应三棱柱的体积，累加所有三棱柱的体积得到锥形物体的体积。即，煤堆、粮仓体积计算的原理是将煤堆、粮仓等效于多个三棱柱组成的集合，将所有的三棱柱体积累加起来就是煤堆、粮仓的体积，三棱柱的底面积是二维投影三角剖分网中的三角形面积，其高度是对应三维包络中三角形三个顶点高度的平均值。
本发明还提供一种锥形物体三维重建及体积计算系统的实施例，该系统包括三维点云地图构建模块、网格生成模块、三维重建及渲染模块和体积计算模块。
三维点云地图构建模块被配置为利用激光雷达扫描锥形物体时产生的点云数据构建锥形物体的三维点云地图。
网格生成模块被配置为对生成的三维点云地图向二维平面投影，在二维平面上对投影的点云进行三角剖分得到若干三角网格，然后将投影之前的高度带入，赋予三角网格高程信息，从而生成三维的锥形物体网格包络。
三维重建及渲染模块被配置为将红外相机获取的锥形物体的红外图像关联到锥形物体网格上，完成锥形物体的三维重建及渲染。
体积计算模块被配置为计算每个三角网格的面积，并根据高程信息计算三角网格的三个顶点的平均高度，利用面积和平均高度的乘积得到每个三角网格对应三棱柱的体积，累加所有三棱柱的体积得到所述锥形物体的体积。
本发明还提供一种无人机的实施例，该无人机包括三维激光雷达、红外相机、处理器和存储器。三维激光雷达被配置为扫描锥形物体得到构建锥形物体三维点云地图所需的点云数据。红外相机被配置为在三维激光雷达扫描锥形物体的同时对锥形物体拍照。存储器用于存储非暂时性指令(例如一个或多个程序模块)。处理器用于运行非暂时性指令，非暂时性指令被处理器运行时可以执行上文所述的锥形物体三维重建及体积计算方法中的一个或多个步骤。存储器和处理器可以通过总线系统和/或其它形式的连接机构互连。
例如，处理器可以是中央处理单元(CPU)、图形处理单元(GPU)或者具有数据处理能力和/或程序执行能力的其它形式的处理单元。例如，中央处理单元(CPU)可以为X86或ARM架构等。处理器可以为通用处理器或专用处理器，可以控制电子设备中的其它组件以执行期望的功能。
例如，存储器可以是易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、可擦除可编程只读存储器(EPROM)、紧凑型光盘只读储存器(CD-ROM)、USB存储器、闪存等。在存存储器上可以存储一个或多个程序模块，处理器可以运行一个或多个程序模块，以实现电子设备的各种功能。
需要说明的是，所述的本申请实施例提供的锥形物体三维重建及体积测量方法、系统可以配置在计算机上，具体由计算机实现测量对象的三维建图、网格生成和体积估算。也就是本申请实施例提供的锥形物体三维重建及体积测量方法、系统可以以软件的形式作为独立的产品销售或使用。

Claims (7)

1.一种锥形物体三维重建及体积测量方法，其特征在于，包括：
利用激光雷达扫描所述锥形物体时产生的点云数据构建所述锥形物体的三维点云地图；
对生成的所述三维点云地图向二维平面投影，在所述二维平面上对投影的点云进行三角剖分得到若干三角网格，然后将投影之前的高度带入，赋予所述三角网格高程信息，从而生成三维的锥形物体网格包络；
将红外相机获取的所述锥形物体的红外图像映射到锥形物体网格上对其进行渲染，使所述锥形物体网格反映出所述锥形物体的温度；
计算每个所述三角网格的面积，并根据所述高程信息计算所述三角网格的三个顶点的平均高度，利用所述面积和所述平均高度的乘积得到每个所述三角网格对应三棱柱的体积，累加所有三棱柱的体积得到所述锥形物体的体积。
2.根据权利要求1所述的方法，其特征在于，所述锥形物体为煤堆或粮仓。
3.根据权利要求1所述的方法，其特征在于，所述锥形物体网格映射到对应的红外图像中，通过纹理映射将不同张的红外图像映射到同一张纹理中，同时进行融合消除不同红外图像之间色差影响。
4.一种锥形物体三维重建及体积计算系统，其特征在于，包括：
三维点云地图构建模块，其被配置为利用激光雷达扫描所述锥形物体时产生的点云数据构建所述锥形物体的三维点云地图；
网格生成模块，其被配置为对生成的所述三维点云地图向二维平面投影，在所述二维平面上对投影的点云进行三角剖分得到若干三角网格，然后将投影之前的高度带入，赋予所述三角网格高程信息，从而生成三维的锥形物体网格包络；
三维重建及渲染模块，其被配置为将红外相机获取的所述锥形物体的红外图像映射到锥形物体网格上对其进行渲染，使所述锥形物体网格反映出所述锥形物体的温度；以及
体积计算模块，其被配置为计算每个所述三角网格的面积，并根据所述高程信息计算所述三角网格的三个顶点的平均高度，利用所述面积和所述平均高度的乘积得到每个所述三角网格对应三棱柱的体积，累加所有三棱柱的体积得到所述锥形物体的体积。
5.根据权利要求4所述的系统，其特征在于，所述锥形物体为煤堆或粮仓。
6.根据权利要求4所述的系统，其特征在于，所述锥形物体网格映射到对应的红外图像中，通过纹理映射将不同张的红外图像映射到同一张纹理中，同时进行融合消除不同红外图像之间色差影响。
7.一种无人机，其特征在于，包括：
三维激光雷达，其被配置为扫描锥形物体得到构建所述锥形物体三维点云地图所需的点云数据；
红外相机，其被配置为在所述三维激光雷达扫描锥形物体的同时对所述锥形物体拍照；
处理器；
存储器，包括一个或多个计算机程序模块；
其中，所述一个或多个计算机程序模块被存储在所述存储器中并被配置为由所述处理器执行，所述一个或多个计算机程序模块包括用于实现权利要求1-3任一项所述的煤堆三维重建及体积计算方法的指令。
CN202310821131.5A 2023-07-05 2023-07-05 锥形物体三维重建及体积测量方法、系统及无人机 Pending CN116993942A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310821131.5A CN116993942A (zh) 2023-07-05 2023-07-05 锥形物体三维重建及体积测量方法、系统及无人机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310821131.5A CN116993942A (zh) 2023-07-05 2023-07-05 锥形物体三维重建及体积测量方法、系统及无人机

Publications (1)

Publication Number Publication Date
CN116993942A true CN116993942A (zh) 2023-11-03

Family

ID=88533056

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310821131.5A Pending CN116993942A (zh) 2023-07-05 2023-07-05 锥形物体三维重建及体积测量方法、系统及无人机

Country Status (1)

Country Link
CN (1) CN116993942A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117647791A (zh) * 2023-12-12 2024-03-05 西安因诺航空科技有限公司 基于无人机航拍的3d点云逐点微元土石方体积测量方法
CN117974746A (zh) * 2024-04-01 2024-05-03 北京理工大学长三角研究院(嘉兴) 点云2d深度面三角剖分构图方法、装置、系统及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117647791A (zh) * 2023-12-12 2024-03-05 西安因诺航空科技有限公司 基于无人机航拍的3d点云逐点微元土石方体积测量方法
CN117974746A (zh) * 2024-04-01 2024-05-03 北京理工大学长三角研究院(嘉兴) 点云2d深度面三角剖分构图方法、装置、系统及设备

Similar Documents

Publication Publication Date Title
CN116993942A (zh) 锥形物体三维重建及体积测量方法、系统及无人机
US20200255143A1 (en) Three-dimensional reconstruction method, system and apparatus based on aerial photography by unmanned aerial vehicle
CN112132972B (zh) 一种激光与图像数据融合的三维重建方法及系统
US11461958B2 (en) Scene data obtaining method and model training method, apparatus and computer readable storage medium using the same
CN111629193B (zh) 一种实景三维重建方法及系统
US9435911B2 (en) Visual-based obstacle detection method and apparatus for mobile robot
CN106780712B (zh) 联合激光扫描和影像匹配的三维点云生成方法
WO2021016751A1 (zh) 一种点云特征点提取方法、点云传感系统及可移动平台
CN107204037A (zh) 基于主被动三维成像系统的三维影像生成方法
CN102243074A (zh) 基于光线追踪技术的航空遥感成像几何变形仿真方法
CN112700552A (zh) 三维物体检测方法、装置、电子设备及介质
KR20190070514A (ko) 격자지도 생성 장치 및 방법
CN114764778A (zh) 一种目标检测方法、目标检测模型训练方法及相关设备
US20220309761A1 (en) Target detection method, device, terminal device, and medium
WO2023124676A1 (zh) 3d模型构建方法、装置和电子设备
Xiong et al. Building modeling from noisy photogrammetric point clouds
Guevara et al. Point cloud-based estimation of effective payload volume for earthmoving loaders
Beltrán et al. A method for synthetic LiDAR generation to create annotated datasets for autonomous vehicles perception
CN117579753A (zh) 三维扫描方法、装置、计算机设备以及存储介质
Frommholz et al. Inlining 3d reconstruction, multi-source texture mapping and semantic analysis using oblique aerial imagery
CN116704112A (zh) 一种用于对象重建的3d扫描系统
CN107784666B (zh) 基于立体影像的地形地物三维变化检测和更新方法
CN112084854B (zh) 一种障碍物检测方法、障碍物检测装置及机器人
Wiemann et al. An evaluation of open source surface reconstruction software for robotic applications
Hrozek et al. Digital preservation of historical buildings using virtual reality technologies

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination