CN116385504A - 一种基于无人机采集点云与图像配准的巡检、测距方法 - Google Patents

一种基于无人机采集点云与图像配准的巡检、测距方法 Download PDF

Info

Publication number
CN116385504A
CN116385504A CN202310268209.5A CN202310268209A CN116385504A CN 116385504 A CN116385504 A CN 116385504A CN 202310268209 A CN202310268209 A CN 202310268209A CN 116385504 A CN116385504 A CN 116385504A
Authority
CN
China
Prior art keywords
coordinate system
unmanned aerial
aerial vehicle
point cloud
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310268209.5A
Other languages
English (en)
Inventor
吴晗
李小龙
齐洁爽
王飞
朱言庆
张磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhiyang Innovation Technology Co Ltd
Original Assignee
Zhiyang Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhiyang Innovation Technology Co Ltd filed Critical Zhiyang Innovation Technology Co Ltd
Priority to CN202310268209.5A priority Critical patent/CN116385504A/zh
Publication of CN116385504A publication Critical patent/CN116385504A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/20—Checking timed patrols, e.g. of watchman
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种基于无人机采集点云与图像配准的巡检、测距方法，涉及激光雷达点云数据应用的技术领域。本发明通过所提出的相机内参获取以及位姿解算，实现无人机获取点云与拍摄图像的配准；通过所提出的配准可视化模块实现配准效果的可视化，通过所提出的隐患识别及定位，配准变换以及距离测算实现对监拍图像中隐患的识别、定位以及防护区与隐患之间实际距离的测量。

Description

一种基于无人机采集点云与图像配准的巡检、测距方法
技术领域
本发明公开一种基于无人机采集点云与图像配准的巡检、测距方法，涉及激光雷达点云数据应用的技术领域。
背景技术
为提高对目标场景巡检效率，减少巡检成本，无人机在巡检领域具备广阔的发展前景，但由于无人机位姿解算太复杂，当前的隐患识别、测距一体化的方案仍多基于固定的监拍设备，本专利的提出解决了无人机、无人机搭载相机位姿解算的关键技术，将其用于三维点云与图像配准中，建立了三维到二维的映射关系，利用该关系，结合通用目标检测算法实现了对任意场景隐患的定位以及与防护区距离的测算功能。
在现有技术中，公开以下利用无人机测距的的方法：
中国专利文献CN115170745A公开《一种基于立体视觉的无人机测距方法》，但是该文献并未涉及利用位姿解算的方法来直接实现配准的相关技术，而是利用块匹配的方式间接的建立点云与图像之间的映射模型，该文献中涉及的技术方案不但可解释性差，而且需要大量的算力资源支撑，不适合针对大型复杂的应用场景。
除此之外，中国专利文献CN114140659A公开《一种基于无人机视角下人体检测的社交距离监控方法》，其方案是利用位姿解算方法进行点云与图像配准的技术实现，具体要求无人机搭载云台仅变换俯仰角度，这种解算实现难度较低。然而该方案却因为缺失对横滚角和偏航角的变换的技术环节导致无法达到对复杂应用场景可观的配准效果。
综上，当前无人机巡检的发展受其空中位姿解算复杂的制约，而现有的公开的解算技术多以限制无人机或云台某方向的飞行自由度为前提来解决这一问题，但这种限制是不合理的，在对某些复杂、保密场景中进行巡检时，限制其某方向的自由度是致命的，本发明通过对无人机起飞前初始状态的记录，利用三维旋转技术梳理点云到无人机惯导的转换关系，解决了无人机位姿解算这一难点，并且在此基础上，本发明结合识别技术，实现了对巡检场景的进一步分析。
发明内容
针对现有技术的不足，本发明公开一种基于无人机采集点云与图像配准的巡检方法。
本发明还公开一种基于无人机采集点云与图像配准的测距方法。
发明概述：
本发明通过所提出的相机内参获取以及位姿解算，实现无人机获取点云与拍摄图像的配准；通过所提出的配准可视化模块实现配准效果的可视化，通过所提出的隐患识别及定位，配准变换以及距离测算实现对监拍图像中隐患的识别、定位以及防护区与隐患之间实际距离的测量。
本发明详细的技术方案：
一种基于无人机采集点云与图像配准的巡检方法，其特征在于，包括：
步骤S0：获取目标场景点云与图像数据，利用搭载激光雷达的无人机扫描目标场景，获取所需的点云与图像数据；
步骤S1：对所述点云与图像数据预处理，以剔除点云数据中的噪声点、以剔除图像数据中的模糊图像；
步骤S2：计算相机内参矩阵M，利用相机焦距、像素坐标系下的光心位置、相机底片大小以及相机成像尺寸计算相机内参矩阵M，计算过程如下：
Figure BDA0004133768100000021
在公式(1)中，fx＝(f×U)/w，fy＝(f×V)/h；相机焦距f，单位为mm；像素坐标系下的光心位置(cx,cy)；相机底片大小宽*高为w*h，单位分别为mm；相机成像尺寸宽*高为U*V，以像素为单位，上述参数均为常数；
步骤S3：利于位姿解算，位姿解算过程涉及若干坐标系之间变换关系的获取，根据获取的变换关系对点云数据进行处理，以得到基于相机坐标系的点云数据，该步骤直接利用无人机实时记录的惯导参数进行位姿解算，无其他预处理步骤，该步骤公开了无人机惯导与云台惯导之间所有可能的变换情况，适应于任意方向任意角度无限次变化的位姿解算。
本发明与现有技术相比，不仅仅是多出了两个角度换算的问题，首先，角度换算是位姿解算过程中是最后一步也是最简单的一步，是在已经明确云台惯导与无人机惯导的关系后再去考虑的，然而现有技术中并未公开其惯导关系，而本发明列举了无人机惯导与云台惯导之间所有可能的变换情况，可以说，本发明专利公开的位姿解算步骤是比较全面的；其次，现有技术中并未说明其读取俯仰角的方式，其俯仰角也是只变化一次，而本发明中任意角度，可以任意变化无限次数，且本发明是直接利用无人机实时记录的惯导数据进行解算，无需中间处理步骤，后续可以直接嵌入到无人机搭载芯片中，用途更加广泛；
步骤S4：配准可视化模块，基于相机坐标系的点云数据根据已知的相机内参矩阵M处理得到深度图：
提前定义坐标系：
WGS84坐标系：该坐标系为现有公开坐标系，横坐标为经度B、纵坐标为纬度L、竖坐标为海拔高度H，坐标用(B，L，H)表示；
地心地固坐标系:该坐标系为现有公开坐标系，坐标用(X,Y,Z)表示；
站心坐标系：横坐标X″轴指东，纵坐标Y″轴指北，竖坐标Z″轴指天，坐标用(X″,″,″)表示；
北东地坐标系：横坐标X″″指北，纵坐标Y″″指东，竖坐标Z″″指地，坐标用(X″″，Y″″，Z″″)表示；
相机坐标系：横坐标X″″指向相机平面的法向量方向，纵坐标Y″″指向与相机平面长边平行向右的方向，竖坐标Z″″指向与相机平面短边平行向下的方向，坐标用(X″″，Y″″，Z″″)表示；
设所述步骤3得到的基于相机坐标系的点云数据为x,y,z，其中x、y、z为空间点在相机坐标系下X″″轴、Y″″轴、Z″″轴对应的坐标值，z也叫做深度值，根据x,y,M计算深度图的像素点坐标(u，v)：
u＝x*fx/z+cx (2)
v＝y*fy/z+cy (3)；
所述相机成像大小为U*V，对于求得的u保留0—U之间的部分，对于求得的v，仅保留0—V之间的部分，然后，对保留的u,v分别进行向下取整操作；将得到的深度图与对应的可见光图像进行像素加权融合以得到点云-图像映射模型，融合后得到的图像能够比较直观的看出配准效果：
通过步骤S0-步骤S4建立了点云和图像之间的精准映射模型，即图像二维像素点和三维真实点的映射模型，利用该映射模型可实现图像中任意二维像素点到三维真实位置坐标的转换，所述进行像素加权融合对于本技术领域的技术人员来说是可以实现的，并不是本发明所要保护的内容；
步骤S5：隐患识别及定位，调用预训练好的检测算法，例如：yolo目标检测算法，对无人机巡检时拍摄到的图像数据进行识别，得到隐患类检测框，记录检测框的底部中心坐标，根据所述点云-图像映射模型对所述检测框底部中心点坐标进行处理得到隐患的三维真实位置坐标，以实现对隐患位置的定位。
一种基于无人机采集点云与图像配准的测距方法，其特征在于，包括：
距离测算，划定防护区位置，利用可视化工具(例如：画图、cloudcompare)、自动化工具(例如：labelimg)或分割算法(例如：Mask R-CNN算法)等进行防护区域的划分，得到防护区边界点的二维或三维坐标：
若得到防护区边界点的二维坐标时，则利用所述点云-图像映射模型转换为对应的三维坐标，再进行防护区边界点与隐患位置的距离测算；
若得到防护区边界点的三维坐标时，则直接与隐患位置进行距离测算。
根据本发明优选的，所述步骤S1中，所述剔除点云数据中的噪声点的方法为：利用点云离散点剔除算法，优选的，半径滤波算法，对点云数据进行预处理，以剔除噪声点；
所述剔除图像数据中的模糊图像的方法为：利用图像模糊判别算法，优选的，Tenengrad梯度方法，以剔除模糊图像。
根据本发明优选的，所述步骤S3的位姿解算的过程如下：
(3-1)确定无人机初始位姿：无人机起飞前设置云台归中复位，保证无人机的初始位姿即为云台的初始位姿；拍摄图片留存此刻无人机的偏航角yaw、俯仰角pitch、横滚角roll，分别记为：y0,p0,r0；
(3-2)校正位姿变换角度：无人机起飞后拍摄的图片，以记录：
无人机的偏航角yaw、俯仰角pitch、横滚角roll，分别为yt,pt,rt；
云台的的偏航角yaw、俯仰角pitch、横滚角roll，分别为y′t,p′t,r′t；
位姿变换角度的校正根据云台惯导与无人机惯导的具体关系确定：
当云台的位姿不随无人机位姿的变化而变化、是通过云台与无人机角度联动变化实现时，则校正后的云台相对于北东地坐标系的位姿变换角度为：y′t-yt+y0,p′t-pt+p0,r′t-rt+r0；
当云台位姿不随无人机位姿的变化而变化，也不是通过云台与无人机角度联动变化实现时，则校正后的云台相对于北东地坐标系的位姿变换角度为：y′t+y0,p′t+p0,r′t+r0；
当云台的位姿仅随无人机位姿的变化而变化，则校正后云台相对于北东地坐标系的位姿变换角度为：yt,pt,rt；
上述三种为最典型的云台惯导与无人机惯导的关系，根据每个方向角度的具体情况可套用上述关系；
(3-3)求解位姿变换矩阵，根据得到的云台相对于北东地坐标系的角度求解旋转矩阵：
绕北-X″′、东-Y″′、地-Z″′三个轴旋转的角度分别为r、p、y，则旋转矩阵R计算方法如下：
Figure BDA0004133768100000051
Figure BDA0004133768100000052
Figure BDA0004133768100000053
R＝Rx(r)*Ry(p)*Rz(y) (8)；
在公式(5)-公式(8)中，Rx(r)、Ry(p)、Rz(y)分别表示北东地坐标系绕坐标轴变换到云台位姿的旋转矩阵：
(3-4)变换点云数据坐标系，以实现从WGS84坐标依次向地心地固坐标系、站心坐标系、北东地坐标系和相机坐标系的转换；
a.从所述WGS84坐标系向所述地心地固坐标系的转换：
所述WGS84坐标系利用经度B、纬度L、海拔高度H记录三维点的坐标(B,L,H)，利用公式(9)-(15)将所诉三维点的坐标(B,L,H)转换为基于地心地固坐标系下的三维点坐标(X,Y,Z)：
F＝1/298.257223563 (9)
a＝6378137 (10)
Figure BDA0004133768100000061
Figure BDA0004133768100000062
Figure BDA0004133768100000063
在公式(9)-(13)中，F为地球球体的椭圆扁率；a为椭圆长半轴长；B为点的经度；L为点的纬度；H为点的海拔高度：
b.再从所述地心地固坐标系向所述站心坐标系的转换
利用下面的公式(16)-(18)将地心地固坐标系下的三维点坐标(X,Y,Z)转换至站心坐标系下，选定相机光心点作为站心坐标系的原点，其地心地固坐标为(X0,Y0,Z0)，最终得到点云数据在站心坐标系下的坐标数据(X″,Y″,Z″)：
Figure BDA0004133768100000064
Figure BDA0004133768100000065
Figure BDA0004133768100000066
在公式(16)-(18)中，(X′,Y′,Z′)经过平移后的点云数据坐标值；C为地心地固坐标系到站心坐标系的旋转矩阵参数；
c.再从所述站心坐标系(X″轴指东、Y″轴指北，Z″轴指天)向所述北东地(X″′轴指北、Y″′轴指东、Z″′轴指地)坐标系的转换
利用公式(19)将站心坐标系下的三维点坐标(X″,Y″,Z″)转换至北东地坐标系下，坐标记为(X″′,Y″′,Z″′)：
Figure BDA0004133768100000071
d.再从所述北东地坐标系向所述相机坐标系的转换
利用下面的公式(20)将北东地坐标系下的三维点坐标(X″′,Y″′,Z″′)转换至相机坐标系下，其中R为步骤(3-3)中得到的位姿变换矩阵：
Figure BDA0004133768100000072
根据本发明优选的，在所述步骤S3的位姿解算之前还包括预设条件：
无人机拍摄图像记录的无人机机身惯导的偏航角、俯仰角、横滚角是相对于北东地坐标系的；所述偏航角、俯仰角、横滚角的正负恰好对应XOY、ZOX、YOZ平面的顺时针、逆时针旋转；
无人机拍摄图像记录的云台惯导的偏航角、俯仰角、横滚角是相对于云台初始位置的，其正负的定义与无人机角度参数一致。
本发明的技术优势：
本发明通过确定无人机初始状态，利用三维旋转技术，梳理已知公开坐标系与无人机惯导坐标系之间的关系，结合其记录的参数直接进行点云和图像的配准，可解释性强，具备强通用性和泛化性。本发明不仅仅是多出了两个角度换算的问题，还包括：
(1)针对现有技术未公开其惯导关系，本发明列举了无人机惯导与云台惯导之间所有可能的变换情况，将位姿解算步骤全面记载；
(2)本发明中任意角度，可以任意变化无限次数，且本发明是直接利用无人机实时记录的惯导数据进行解算，无需中间处理步骤，后续可以直接嵌入到无人机搭载芯片中，用途更加广泛。
附图说明
图1是本发明所述巡检、测距方法流程图；
图2是本发明中目标场景点云数据示例示意图；
图3是本发明中目标场景图像数据示例；
图4是本发明中的配准深度图。
具体实施方式
下面结合实施例和说明书附图对本发明做详细的说明，但不限于此。
实施例1、
一种基于无人机采集点云与图像配准的巡检方法，包括：
步骤S0：获取目标场景点云与图像数据，利用搭载激光雷达的无人机扫描目标场景，获取所需的点云数据与图像数据，所述点云数据如图2所示，所述图像数据如图3所示，共69张；
步骤S1：对所述点云与图像数据预处理，以剔除点云数据中的噪声点、以剔除图像数据中的模糊图像；
所述步骤S1中，所述剔除点云数据中的噪声点的方法为：利用点云离散点剔除算法，此处采用半径滤波算法，设置半径为0.2，点云数量阈值为50，对点云数据进行预处理，以剔除噪声点；
所述剔除图像数据中的模糊图像的方法为：利用图像模糊判别算法，优选的，Tenengrad梯度方法，设置梯度阈值为3，以剔除模糊图像，最终剩余67张；
步骤S2：计算相机内参矩阵M，利用相机焦距(无人机搭载的镜头焦距为8mm)、像素坐标系下的光心位置(光心位置为(2736，1824))、相机底片大小(相机底片大小为13.2mm×8.8mm(宽×高))以及相机成像尺寸(相机成像尺寸为5472×3648(宽×高))计算相机内参矩阵M，计算过程如下：
Figure BDA0004133768100000081
在公式(1)中，fx＝(f×u)/w，fy＝(f×v)/h；相机焦距f，单位为mm；像素坐标系下的光心位置(cx,cy)；相机底片大小宽*高为w*h，单位分别为mm；相机成像尺寸宽*高为u*v，以像素为单位；
计算公式(1)得到：M＝[[3648,0,2736],[0,3648,1824],[0,0,1]]；
步骤S3：利于位姿解算，位姿解算过程涉及若干坐标系之间变换关系的获取，根据获取的变换关系对点云数据进行处理，以得到基于相机坐标系的点云数据，该步骤直接利用无人机实时记录的惯导参数进行位姿解算，无其他预处理步骤，该步骤公开了无人机惯导与云台惯导之间所有可能的变换情况，适应于任意方向任意角度无限次变化的位姿解算。
步骤S4：配准可视化模块，基于相机坐标系的点云数据根据已知的相机内参矩阵M处理得到深度图：
提前定义坐标系：
WGS84坐标系：该坐标系为现有公开坐标系，横坐标为经度B、纵坐标为纬度L、竖坐标为海拔高度H，坐标用(B，L，H)表示；
地心地固坐标系:该坐标系为现有公开坐标系，坐标用(X,Y,Z)表示；
站心坐标系：横坐标X″轴指东，纵坐标Y″轴指北，竖坐标Z″轴指天，坐标用(X″,″,″)表示；
北东地坐标系：横坐标X″″指北，纵坐标Y″″指东，竖坐标Z″″指地，坐标用(X″″，Y″″，Z″″)表示；
相机坐标系：横坐标X″″指向相机平面的法向量方向，纵坐标Y″″指向与相机平面长边平行向右的方向，竖坐标Z″″指向与相机平面短边平行向下的方向，坐标用(X″″，Y″″，Z″″)表示；
设所述步骤3得到的基于相机坐标系的点云数据为x,y,z，其中，x,y,z为相机坐标系下的x轴、y轴、z轴对应的坐标值，z也叫做深度值，根据x,y,M计算深度图的像素点坐标(u，v)：
u＝x*fx/z+cx (3)
v＝y*fy/z+cy (4)；
相机成像大小为U*V，取0—U范围内的u值，取0-V范围内的v值，得到的u,v分别进行向下取整操作；将得到的深度图与对应的可见光图像进行像素加权融合以得到点云-图像映射模型，融合后得到的图像能够比较直观的看出配准效果：
通过步骤S0-步骤S4建立了点云和图像之间的精准映射模型，即图像二维像素点和三维真实点的映射模型，利用该映射模型可实现图像中任意二维像素点到三维真实位置坐标的转换，所述进行像素加权融合对于本技术领域的技术人员来说是可以实现的，并不是本发明所要保护的内容；
上述基于相机坐标系的点云数据记为：
x＝[[5.7321655,6.86145656,8.18334788...-54.55782049,-62.28270174,-69.43021049]；
y＝[36.49734829,38.91588856,41.20076682...9.16944682,4.60647502,1.16719196]；
z＝[4.98927533,2.89691339,0.95749379...65.33247165,85.66599562,100.90904878]]；
根据已知的相机内参矩阵M以及发明内容中给出的计算公式得到，z对应的像素点坐标u，v的具体数据为：
u＝[[2506,1843 1590...446 84 226]
v＝[1855 2186 2338...2350 2020 1866]]
将得到的深度图与对应的0018图像进行像素加权融合，融合后得到的图像能够比较直观的看出配准效果，0018图像的配准深度图如图4所示；
步骤S5：隐患识别及定位，调用预训练好的检测算法，例如：yolo目标检测算法，所述检测算法可以对挖掘机、塔吊、货车等隐患类别进行识别，对无人机巡检时拍摄到的图像数据进行识别，得到隐患类检测框，记录检测框的底部中心坐标，根据所述点云-图像映射模型对所述检测框底部中心点坐标进行处理得到隐患的三维真实位置坐标，以实现对隐患位置的定位；
具体的，对0018图像进行识别，得到隐患类检测框，记录检测框的底部中心坐标为[1843,2186]，根据所述点云-图像映射模型对检测框底部中心点坐标进行处理得到隐患基于地心地固坐标系的三维真实位置坐标为[-2406434.36592097,4509951.63989265,3801799.00041652]，实现对隐患位置的定位。
实施例2、
在实施例1中，在所述步骤S3的位姿解算之前还包括预设条件：
无人机拍摄图像记录的无人机机身惯导的偏航角、俯仰角、横滚角是相对于北东地坐标系的；所述偏航角、俯仰角、横滚角的正负恰好对应XOY、ZOX、YOZ平面的顺时针、逆时针旋转；
无人机拍摄图像记录的云台惯导的偏航角、俯仰角、横滚角是相对于云台初始位置的，其正负的定义与无人机角度参数一致。
实施例3、
在实施例1、2中，所述步骤S3的位姿解算的过程，以对命名为0018的拍摄图像进行位姿解算为例：
(3-1)确定无人机初始位姿：无人机起飞前设置云台归中复位，保证无人机的初始位姿即为云台的初始位姿，初始时刻云台的偏航角yaw、俯仰角pitch、横滚角roll分别为0°,0°,0°；拍摄图片留存此刻无人机的偏航角yaw、俯仰角pitch、横滚角roll，分别记为：y0＝0.7°,p0＝0.04°,r0＝0.46°；
(3-2)校正位姿变换角度：读取图像的EXIF文件存储信息，无人机起飞后拍摄的图片，得到拍摄0018图像时刻：
无人机的偏航角yaw、俯仰角pitch、横滚角roll，分别为yt＝-18.4,pt＝2.63,rt＝2.4；
云台的的偏航角yaw、俯仰角pitch、横滚角roll，分别为y′t＝21.98,p′t＝-11.4,r′t＝0；
位姿变换角度的校正根据云台惯导与无人机惯导的具体关系确定：
当云台的位姿不随无人机位姿的变化而变化、是通过云台与无人机角度联动变化实现时，则校正后的云台相对于北东地坐标系的位姿变换角度为：y′t-yt+y0,p′t-pt+p0,r′t-rt+r0；
当云台位姿不随无人机位姿的变化而变化，也不是通过云台与无人机角度联动变化实现时，则校正后的云台相对于北东地坐标系的位姿变换角度为：y′t+y0,p′t+p0,r′t+r0；某品牌无人机的云台的俯仰和横滚位姿不随无人机位姿的变化而变化是通过云台与无人机角度联动变化实现的，而云台偏航位姿不随无人机位姿的变化而变化是通过惯导独立实现的，则校正后的云台相对于北东地坐标系的位姿变换角度为：y′t+y0＝22.68,p′t-pt+p0＝13.99,r′t-rt+r0＝-1.94；
当云台的位姿仅随无人机位姿的变化而变化，则校正后云台相对于北东地坐标系的位姿变换角度为：yt,pt,rt；
(3-3)求解位姿变换矩阵，根据得到的云台相对于北东地坐标系的角度求解旋转矩阵：
绕北-X″′、东-Y″′、地-Z″′三个轴旋转的角度分别为r＝-1.94、p＝13.99、y＝22.68，则旋转矩阵R计算方法如下：
Figure BDA0004133768100000121
Figure BDA0004133768100000122
Figure BDA0004133768100000123
R＝Rx(r)*Ry(p)*Rz(y) (8)；
在公式(5)-公式(8)中，Rx(r)、Ry(p)、Rz(y)分别表示北东地坐标系绕坐标轴变换到云台位姿的旋转矩阵；
具体得到：
Figure BDA0004133768100000124
(3-4)变换点云数据坐标系，以实现从WGS84坐标依次向地心地固坐标系、站心坐标系、北东地坐标系和相机坐标系的转换；
a.从所述WGS84坐标系向所述地心地固坐标系的转换：
所述WGS84坐标系利用经度B、纬度L、海拔高度H记录三维点的坐标(B,L,H)，利用公式(9)-(15)将所诉三维点的坐标(B,L,H)转换为基于地心地固坐标系下的三维点坐标(X,Y,Z)：
F＝1/298.257223563 (9)
a＝6378137 (10)
Figure BDA0004133768100000125
Figure BDA0004133768100000126
Figure BDA0004133768100000127
在公式(9)-(13)中，F为地球球体的椭圆扁率；a为椭圆长半轴长；B为点的经度；L为点的纬度；H为点的海拔高度；
无人机采集的点云数据存储格式为.las，点云数据基于WGS84坐标系，具体数据为：
[[118.08360885,118.08363108,118.08365456...118.0827095,118.0825398,118.08239854]；
[36.8237208,36.82370295,36.82368727...36.82405434,36.82420095,36.8243062]；
[83.70712474,81.79792474,79.97772474...98.36152474,98.38632474,98.46552474]]；
利用发明内容中提到的公式对其进行处理得到基于地心地固坐标系的点云数据：
[[-2406432.7766533,-2406434.36592097,-2406436.01917056...-2406357.06389637,-2406339.1249067,-2406324.74009165]；
[4509952.8744169,4509951.63989265,4509950.28838031...4509981.42296348,4509979.96401064,4509979.77613317]；
[3801801.73039674,3801799.00041652,3801796.5165498...3801840.14337471,3801853.18219388,3801862.57942842]]；
b.再从所述地心地固坐标系向所述站心坐标系的转换
利用下面的公式(16)-(18)将地心地固坐标系下的三维点坐标(X,Y,Z)转换至站心坐标系下，选定相机光心点作为站心坐标系的原点，其地心地固坐标为(X0,Y0,Z0)，最终得到点云数据在站心坐标系下的坐标数据(X″,Y″,Z″)：
Figure BDA0004133768100000131
Figure BDA0004133768100000132
Figure BDA0004133768100000141
在公式(16)-(18)中，(X′,Y′,Z′)经过平移后的点云数据坐标值；C为地心地固坐标系到站心坐标系的旋转矩阵参数；
选定相机光心点作为站心坐标系的原点，利用发明内容中提到的公式将地心地固坐标系下的三维点坐标(X,Y,Z)转换至站心坐标系下，得到点云数据在站心坐标系下的坐标数据为：
[[5.57812432,7.56143777,9.65627318...-74.65984302,-89.79991904,-102.40265111]
[-1.47580032,-3.45671583,-5.19681228...35.53947672,51.8098239,63.49019792]
[-36.83087786,-38.74008067,-40.56028468...-22.17701101,-22.15251773,-22.07361329]]；
c.再从所述站心坐标系向所述北东地坐标系的转换
利用公式(19)将站心坐标系下的三维点坐标(X″,Y″,Z″)转换至北东地坐标系下，坐标记为(X″′,Y″′,Z″′)：
Figure BDA0004133768100000142
利用发明内容中提到的公式将站心坐标系下的三维点坐标转换至北东地坐标系下，转换后的三维坐标数据为：
[[-1.47580032,-3.45671583,-5.19681228...35.53947672,51.8098239,63.49019792]；
[5.57812432,7.56143777,9.65627318...-74.65984302,-89.79991904,-102.40265111]；
[36.83087786,38.74008067,40.56028468...22.17701101,22.15251773,22.07361329]]；
d.再从所述北东地坐标系向所述相机坐标系的转换
利用下面的公式(20)将北东地坐标系下的三维点坐标(X″′,Y″′,Z″′)转换至相机坐标系下，其中R为步骤(3-3)中得到的位姿变换矩阵：
Figure BDA0004133768100000152
利用发明内容中提到的公式将北东地坐标系下的三维点坐标转换至相机坐标系下，转换后的三维坐标数据为：
[[5.7321655,6.86145656,8.18334788...-54.55782049,-62.28270174,-69.43021049]；
[36.49734829,38.91588856,41.20076682...9.16944682,4.60647502,1.16719196]；
[4.98927533,2.89691339,0.95749379...65.33247165,85.66599562,100.90904878]]。
实施例4、
一种基于无人机采集点云与图像配准的测距方法，包括：
距离测算，划定防护区位置，利用可视化工具(例如：画图、cloudcompare)、自动化工具(例如：labelimg)或分割算法(例如：Mask R-CNN算法)等进行防护区域的划分，得到防护区边界点的二维或三维坐标：
若得到防护区边界点的二维坐标时，则利用所述点云-图像映射模型转换为对应的三维坐标，再进行防护区边界点与隐患位置的距离测算；
若得到防护区边界点的三维坐标时，则直接与隐患位置进行距离测算。
具体的：划定防护区位置，利用画图软件在0018图像上对防护区域进行划分，并记录防护区域的边界像素点坐标为[[2515，1877],[1856,2215],[1604,2370]...[463,2393],[99,2067][240,1912]]，根据所述点云-图像映射模型将其转换为基于地心地固坐标系的三维坐标[[-2406432.7766533,4509952.8744169,3801801.73039674],[-2406434.36592097,4509951.63989265,3801799.00041652],[-2406436.01917056,4509950.28838031,3801796.5165498]...[-2406357.06389637,4509981.42296348,3801840.14337471],[-2406339.1249067,4509979.96401064,3801853.18219388],[-2406324.74009165,4509979.77613317,3801862.57942842]]，最后利用距离公式计算防护区边界的三维坐标点与隐患三维坐标点的最短真实距离为51.2m。

Claims (5)

1.一种基于无人机采集点云与图像配准的巡检方法，其特征在于，包括：
步骤S0：获取目标场景点云与图像数据；
步骤S1：对所述点云与图像数据预处理，以剔除点云数据中的噪声点、以剔除图像数据中的模糊图像；
步骤S2：计算相机内参矩阵M，计算过程如下：
Figure FDA0004133768090000011
在公式(1)中，fx＝(f×U)/w，fy＝(f×V)/h；相机焦距f，单位为mm；像素坐标系下的光心位置(cx，cy)；相机底片大小宽*高为w*h，单位分别为mm；相机成像尺寸宽*高为U*V，以像素为单位，上述参数均为常数；
步骤S3：利于位姿解算，以得到基于相机坐标系的点云数据；
步骤S4：配准可视化模块，基于相机坐标系的点云数据根据已知的相机内参矩阵M处理得到深度图：
提前定义坐标系：
WGS84坐标系：该坐标系为现有公开坐标系，横坐标为经度B、纵坐标为纬度L、竖坐标为海拔高度H，坐标用(B，L，H)表示；
地心地固坐标系：该坐标系为现有公开坐标系，坐标用(X，Y，Z)表示；
站心坐标系：横坐标X″轴指东，纵坐标Y″轴指北，竖坐标Z″轴指天，坐标用(X″，Y″，Z″)表示；
北东地坐标系：横坐标X″″指北，纵坐标Y″″指东，竖坐标Z″″指地，坐标用(X″″，Y″″，Z″″)表示；
相机坐标系：横坐标X″″指向相机平面的法向量方向，纵坐标Y″″指向与相机平面长边平行向右的方向，竖坐标Z″″指向与相机平面短边平行向下的方向，坐标用(X″″，Y″″，Z″″)表示；
设所述步骤3得到的基于相机坐标系的点云数据为x，y，z，其中x、y、z为空间点在相机坐标系下X″″轴、Y″″轴、Z″″轴对应的坐标值，z也叫做深度值，根据x，y，M计算深度图的像素点坐标(u，v)：
u＝x*fx/z+cx (2)；
v＝y*fy/z+cy (3)；
所述相机成像大小为U*V，对于求得的u保留0-U之间的部分，对于求得的v，仅保留0-V之间的部分，然后，对保留的u，v分别进行向下取整操作；将得到的深度图与对应的可见光图像进行像素加权融合以得到点云-图像映射模型；
步骤S5：隐患识别及定位，调用预训练好的检测算法，对无人机巡检时拍摄到的图像数据进行识别，得到隐患类检测框，记录检测框的底部中心坐标，根据所述点云-图像映射模型对所述检测框底部中心点坐标进行处理得到隐患的三维真实位置坐标。
2.根据权利要求1所述一种基于无人机采集点云与图像配准的巡检方法，其特征在于，所述步骤S1中，所述剔除点云数据中的噪声点的方法为：利用点云离散点剔除算法，优选的，半径滤波算法，对点云数据进行预处理，以剔除噪声点；
所述剔除图像数据中的模糊图像的方法为：利用图像模糊判别算法，优选的，Tenengrad梯度方法，以剔除模糊图像。
3.根据权利要求1所述一种基于无人机采集点云与图像配准的巡检方法，其特征在于，所述步骤S3的位姿解算的过程如下：
(3-1)确定无人机初始位姿：无人机起飞前设置云台归中复位，保证无人机的初始位姿即为云台的初始位姿；拍摄图片留存此刻无人机的偏航角yaw、俯仰角pitch、横滚角roll，分别记为：y0，p0，r0；
(3-2)校正位姿变换角度：无人机起飞后拍摄的图片，以记录：
无人机的偏航角yaw、俯仰角pitch、横滚角roll，分别为yt，pt，rt；
云台的的偏航角yaw、俯仰角pitch、横滚角roll，分别为y′t，p′t，r′t；
位姿变换角度的校正根据云台惯导与无人机惯导的具体关系确定：
当云台的位姿不随无人机位姿的变化而变化、是通过云台与无人机角度联动变化实现时，则校正后的云台相对于北东地坐标系的位姿变换角度为：y′t-yt+y0，p′t-pt+p0，r′t-rt+r0；
当云台位姿不随无人机位姿的变化而变化，也不是通过云台与无人机角度联动变化实现时，则校正后的云台相对于北东地坐标系的位姿变换角度为：y′t+y0，p′t+p0，r′t+r0；
当云台的位姿仅随无人机位姿的变化而变化，则校正后云台相对于北东地坐标系的位姿变换角度为：yt，pt，rt；
(3-3)求解位姿变换矩阵，根据得到的云台相对于北东地坐标系的角度求解旋转矩阵：
绕北-X″′、东-Y″′、地-Z″′三个轴旋转的角度分别为r、p、y，则旋转矩阵R计算方法如下：
Figure FDA0004133768090000031
Figure FDA0004133768090000032
Figure FDA0004133768090000033
R＝Rx(r)*Ry(p)*Rz(y) (8)；
在公式(5)-公式(8)中，Rx(r)、Ry(p)、Rz(y)分别表示北东地坐标系绕坐标轴变换到云台位姿的旋转矩阵：
(3-4)变换点云数据坐标系，以实现从WGS84坐标依次向地心地固坐标系、站心坐标系、北东地坐标系和相机坐标系的转换；
a.从所述WGS84坐标系向所述地心地固坐标系的转换：
所述WGS84坐标系利用经度B、纬度L、海拔高度H记录三维点的坐标(B，L，H)，利用公式(9)-(15)将所诉三维点的坐标(B，L，H)转换为基于地心地固坐标系下的三维点坐标(X，Y，Z)：
F＝1/298.257223563 (9)
a＝6378137 (10)
Figure FDA0004133768090000034
Figure FDA0004133768090000035
Figure FDA0004133768090000041
在公式(9)-(13)中，F为地球球体的椭圆扁率；a为椭圆长半轴长；B为点的经度；L为点的纬度；H为点的海拔高度：
b.再从所述地心地固坐标系向所述站心坐标系的转换
利用下面的公式(16)-(18)将地心地固坐标系下的三维点坐标(X，Y，Z)转换至站心坐标系下，选定相机光心点作为站心坐标系的原点，其地心地固坐标为(X0，Y0，Z0)，最终得到点云数据在站心坐标系下的坐标数据(X″，Y″，Z″)：
Figure FDA0004133768090000042
Figure FDA0004133768090000043
Figure FDA0004133768090000044
在公式(16)-(18)中，(X′，Y′，Z′)经过平移后的点云数据坐标值；C为地心地固坐标系到站心坐标系的旋转矩阵参数；
c.再从所述站心坐标系向所述北东地坐标系的转换
利用公式(19)将站心坐标系下的三维点坐标(X″，Y″，Z″)转换至北东地坐标系下，坐标记为(X″′，Y″′，Z″′)：
Figure FDA0004133768090000045
d.再从所述北东地坐标系向所述相机坐标系的转换
利用下面的公式(20)将北东地坐标系下的三维点坐标(X″′，Y″′，Z″′)转换至相机坐标系下，其中R为步骤(3-3)中得到的位姿变换矩阵：
Figure FDA0004133768090000051
4.根据权利要求1所述一种基于无人机采集点云与图像配准的巡检方法，其特征在于，在所述步骤S3的位姿解算之前还包括预设条件：
无人机拍摄图像记录的无人机机身惯导的偏航角、俯仰角、横滚角是相对于北东地坐标系的；所述偏航角、俯仰角、横滚角的正负恰好对应XOY、ZOX、YOZ平面的顺时针、逆时针旋转；
无人机拍摄图像记录的云台惯导的偏航角、俯仰角、横滚角是相对于云台初始位置的，其正负的定义与无人机角度参数一致。
5.一种基于无人机采集点云与图像配准的测距方法，其特征在于，包括：
距离测算，划定防护区位置，得到防护区边界点的二维或三维坐标：
若得到防护区边界点的二维坐标时，则利用所述点云图像映射模型转换为对应的三维坐标，再进行防护区边界点与隐患位置的距离测算；
若得到防护区边界点的三维坐标时，则直接与隐患位置进行距离测算。
CN202310268209.5A 2023-03-15 2023-03-15 一种基于无人机采集点云与图像配准的巡检、测距方法 Pending CN116385504A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310268209.5A CN116385504A (zh) 2023-03-15 2023-03-15 一种基于无人机采集点云与图像配准的巡检、测距方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310268209.5A CN116385504A (zh) 2023-03-15 2023-03-15 一种基于无人机采集点云与图像配准的巡检、测距方法

Publications (1)

Publication Number Publication Date
CN116385504A true CN116385504A (zh) 2023-07-04

Family

ID=86964897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310268209.5A Pending CN116385504A (zh) 2023-03-15 2023-03-15 一种基于无人机采集点云与图像配准的巡检、测距方法

Country Status (1)

Country Link
CN (1) CN116385504A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116817929A (zh) * 2023-08-28 2023-09-29 中国兵器装备集团兵器装备研究所 一种无人机对地平面多目标同时定位方法及系统
CN117140539A (zh) * 2023-11-01 2023-12-01 成都交大光芒科技股份有限公司 基于空间坐标变换矩阵的机器人三维协同巡检方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116817929A (zh) * 2023-08-28 2023-09-29 中国兵器装备集团兵器装备研究所 一种无人机对地平面多目标同时定位方法及系统
CN116817929B (zh) * 2023-08-28 2023-11-10 中国兵器装备集团兵器装备研究所 一种无人机对地平面多目标同时定位方法及系统
CN117140539A (zh) * 2023-11-01 2023-12-01 成都交大光芒科技股份有限公司 基于空间坐标变换矩阵的机器人三维协同巡检方法
CN117140539B (zh) * 2023-11-01 2024-01-23 成都交大光芒科技股份有限公司 基于空间坐标变换矩阵的机器人三维协同巡检方法

Similar Documents

Publication Publication Date Title
CN107316325B (zh) 一种基于图像配准的机载激光点云与影像配准融合方法
CN108534782B (zh) 一种基于双目视觉系统的地标地图车辆即时定位方法
CN110148169B (zh) 一种基于ptz云台相机的车辆目标三维信息获取方法
CN107194989B (zh) 基于无人机飞机航拍的交通事故现场三维重建系统及方法
CN116385504A (zh) 一种基于无人机采集点云与图像配准的巡检、测距方法
CN110910453B (zh) 基于无重叠视域多相机系统的车辆位姿估计方法及其系统
CN110889829B (zh) 一种基于鱼眼镜头的单目测距方法
CN113850126A (zh) 一种基于无人机的目标检测和三维定位方法和系统
CN110956661B (zh) 基于双向单应矩阵的可见光与红外相机动态位姿计算方法
US8547375B2 (en) Methods for transferring points of interest between images with non-parallel viewing directions
CN113222820B (zh) 一种位姿信息辅助的航空遥感图像拼接方法
CN115187798A (zh) 一种多无人机高精度匹配定位方法
JP4132068B2 (ja) 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム
CN111932627B (zh) 一种标识物绘制方法及系统
CN113624231B (zh) 基于异源图像匹配的惯性视觉组合导航定位方法及飞行器
KR20200110120A (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
CN110706273B (zh) 一种基于无人机的实时塌方区域面积的测量方法
CN114004977A (zh) 一种基于深度学习的航拍数据目标定位方法及系统
CN113793270A (zh) 一种基于无人机姿态信息的航拍图像几何校正方法
CN113807435A (zh) 一种基于多传感器的遥感图像特征点高程获取方法
CN115950435A (zh) 无人机巡检影像的实时定位方法
CN113362265B (zh) 一种低成本的无人机正射影像快速地理拼接方法
CN115328181A (zh) 一种无人机输电线路巡检中关键目标空间定位方法
CN111412898B (zh) 基于地空耦合的大区域变形摄影测量方法
CN110930510A (zh) 城市空间三维重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination