CN116539001A - 一种基于无人机的海上风电塔筒垂直度检测方法及系统 - Google Patents
一种基于无人机的海上风电塔筒垂直度检测方法及系统 Download PDFInfo
- Publication number
- CN116539001A CN116539001A CN202310465012.0A CN202310465012A CN116539001A CN 116539001 A CN116539001 A CN 116539001A CN 202310465012 A CN202310465012 A CN 202310465012A CN 116539001 A CN116539001 A CN 116539001A
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- tower
- unmanned aerial
- aerial vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000003062 neural network model Methods 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 238000013528 artificial neural network Methods 0.000 claims abstract description 6
- 238000013135 deep learning Methods 0.000 claims abstract description 6
- 230000009466 transformation Effects 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 13
- 238000003708 edge detection Methods 0.000 claims description 11
- 238000003702 image correction Methods 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 5
- 238000012952 Resampling Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 239000002904 solvent Substances 0.000 claims description 2
- 238000013507 mapping Methods 0.000 abstract description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000036544 posture Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C9/00—Measuring inclination, e.g. by clinometers, by levels
- G01C9/02—Details
Abstract
本发明属于遥感测绘技术领域，具体提供了一种基于无人机的海上风电塔筒垂直度检测方法及系统，其中方法包括：将无人机上的相机与双轴倾角传感器进行内外参标定和时间同步；将无人机环绕海上风电机组飞行，得到内外参联合的水平图像生成；对海上风电机组图像进行塔筒样本采集和神经网络模型训练，建立风电塔筒的自动分类器提取出风电塔目标，并基于高精度边缘提取技术自动提取风电塔筒边缘特征；将获取的多视角风电塔筒的水平图像和边缘特征进行整合，建立垂直度检测的坐标和方位基准，基于多视水平图像风电塔筒边缘进行垂直度计算。采用深度学习神经网络进行目标识别，获取目标及其掩膜信息，有效提高了识别的实时性和准确性，增加了信息维度。
Description
技术领域
本发明涉及遥感测绘技术领域，更具体地，涉及一种基于无人机的海上风电塔筒垂直度检测方法及系统。
背景技术
与陆上风电场相比，海上风电场风速更高，风能资源更丰富，风电机组单机容量更大(目前在运行机组已达11兆瓦)，年利用小时数更高，这是海上风电场的资源优势。但同时，海上风电场所经历的台风灾害的次数和强度也远远高于陆上风电场，而近些年海上风机在遭遇大风灾害后损坏停机的案例也不再少数。因此灾害发生后如何快速的评估损失是海上风电场灾害应急管理的重要内容。
风电塔筒是承载风力发电机组的重要结构构件，承担着大部分的风机重量。《高耸结构工程施工质量验收规范》(GB51203-2016)中高耸钢结构安装子分部分项工程主控项目包括高耸结构整体垂直度，并且整体垂直度也是主控项目中唯一结构外观检测项目。所以风机塔筒垂直度应是海上风机大风灾害灾后评估中最重要的结构参数之一。
对于陆上风机塔筒，风电塔筒垂直度检测方法主要采用在风机两个垂直方向利用高精度全站仪观测风机塔筒上下单向偏移量，并根据公式计算风机塔筒顶端偏移方向和总偏移量。这样的检测方法有两个必要条件：一是相对于风机在两个垂直方向上的地面有稳定观测点，另一个是有足够的人工观测时间。但是对于海上风电场的风机塔筒，地面观测点条件几乎不存在，即使能在作业船上架设全站仪，全站仪的稳定难以保持，没有足够的稳定时间观测读数，而在机组上装配重力加速度传感器进行塔筒垂直度监测，则需要登上机组平台及进入机组内部对各安装点进行预先标定，在应急测量中也不一定具备相关检测条件。所以如何建立可以快速准确施测的测量平台是海上风机塔筒垂直度检测的关键问题。
对于海上风电场的风机塔筒垂直度检测，因无法按陆上风电场风机塔筒垂直度检测方法采用固定观测点观测，而采用重力加速度传感器进行检测也受一定条件限制，在应急条件下无法进行快速检测。此外，现有高耸结构垂直度检验方法均采用经纬仪正交双向测量，这种测量方法在海上风电场本就难以实施，并且在大风灾害后海上风电场的环境依然恶劣，传统垂直度测量方法难以满足灾害应急管理的要求。
近年来，无人机技术在军事、农业等领域有着较为广泛的应用，无人机航空技术日趋成熟。无人机测绘作为一种新型的测绘技术，能快速、准确地获取目标建筑物的影像数据。随着学者们的不断研究，以及无人机应用的开展，无人机结合图像处理的技术应运而生。因此，如何开发一种利用无人机平台以摄影测量方法进而快速获得风机塔筒垂直度的高效检测方法，是本领域需要解决的关键问题，有助于解决水上风电场(海上风电场)的风机塔筒垂直度检测的技术难题，有效填补水上风机无人机检测的市场空白。
考虑到无人机平台快速响应的特点，在无人机平台上搭载重力加速度方向敏感的图像记录系统，并通过后台算力支持的方式快速获得风机塔筒的垂直度参数，这可能成为支撑海上风机灾后调查的重要技术手段。
发明内容
本发明针对现有技术中存在的海上风电塔筒垂直度检测效率低的技术问题。
本发明提供了一种基于无人机的海上风电塔筒垂直度检测方法，包括以下步骤：
S1，在无人机上搭载相机与双轴倾角传感器，将所述相机与双轴倾角传感器进行内外参标定和时间同步，进行相机与双轴倾角传感器的同步数据；
S2，将无人机环绕海上风电机组飞行，利用双轴倾角传感器获取的横滚角、俯仰角建立水平图像基准，联合相机内外参标定结果，进行影像纠正，实现内外参联合的水平图像生成；
S3，针对海上风电机组的外观特点，对海上风电机组图像进行塔筒样本采集和神经网络模型训练，建立风电塔筒的自动分类器提取出风电塔目标，并基于高精度边缘提取技术自动提取风电塔筒边缘特征；
S4，将获取的多视角风电塔筒的水平图像和边缘特征进行整合，建立垂直度检测的坐标和方位基准，基于多视水平图像风电塔筒边缘进行垂直度计算。
优选地，所述S1具体包括：
S11，搭建无人机平台，进行双轴倾角传感器、摄像机与无人机平台的集成；
S12，利用张正友标定法对相机进行内参标定，联合标定场控制点进行传感器之间的外参标定；
S13，进行相机内的视觉传感器与双轴倾角传感器之间的数据同步。
优选地，所述S12具体包括：
内参标定：首先，测量棋盘格中格子的长和宽，获得标定板上每个角点在定义的三维世界坐标系中的坐标；然后，利用张正友标定法获取相机的内参和畸变系数；
外参标定：首先，获取控制点在世界坐标系下的坐标和在影像上的图像坐标，利用OpenCV的solvePnPRansac函数计算相机坐标系相对于世界坐标系的旋转矩阵R_Camera与平移向量T_Camera；然后，采用奇异值分解法计算两者之间的R,T矩阵；最后，将双轴倾角传感器获取的横滚角与俯仰角与R*R_Camera-1相乘传递给相机。
优选地，所述S2具体包括：
S21，根据所述畸变系数，对影像进行畸变校正，去除由于镜头必变引起的图像变形失真，输出校正后的图像；
S22，基于畸变校正后的图像，根据所述外参标定得到的外参，将双轴倾角传感器获取的姿态角传递给相机，进行图像的透视变换与图像重采样，从而获取影像纠正后的水平图像。
优选地，所述S22具体包括：
首先，获取畸变校正后的图像的四个角点，利用所述内参计算这四个角点在相机坐标系下的坐标，通过外参标定结果将双轴倾角传感器输出的姿态角传递给相机，获取旋转矩阵，再将相机坐标系下的四个点根据旋转矩阵进行坐标变换，获取变换后的4个3D点；
然后，根据这四组对应点，基于OpenCV的getPerspectiveTransform函数，获取变换矩阵；
最后，利用获取的变换矩阵和OpenCV的变换函数warpPerspective对图像进行透视变换。
优选地，所述S3具体包括：
S31，以Mask RCNN算法为目标识别算法，对海上风电机组图像进行塔筒样本采集和神经网络模型训练，建立风电塔筒的自动分类器，对输入的风电组图像进行目标识别，提取出风电塔筒目标；
S32，对所述风电塔筒目标二值掩膜图像进行边缘检测，采用Canny边缘检测算子自动检测和提取风电塔筒边缘特征。
优选地，所述S31具体包括：
塔筒样本采集采用Labelme深度学习图像标签标注软件，从而获取训练和测试所需的塔筒样本图像，放入Mask RCNN深度神经网络中进行模型训练，具体包含以下两个阶段；
第一阶段：
首先，用区域提议网络(region proposal networks，RPN)提取出候选目标的边界框；
然后，对边界框里面的内容(regions of interest，RoI)进行RoIAlign处理，将RoI划分为m×m的子区域；
第二阶段：
与预测类和边界框回归任务并行，增加了为每个RoI输出二分类掩码的分支，即用FCN对每个RoI进行分割，以像素到像素的方式预测分割掩码；
两个阶段的特征由底层的骨干网络提取，通过共享使用以提高整个网络的运行速度。
优选地，所述S4具体包括：
S41，基于步骤S32获取的风电塔筒边缘特征，利用最小二乘法进行直线拟合，获取直线参数与两条直线交点，从而获取中轴线斜率，根据点斜式，进而拟合出中轴线的方程；
S42，基于所述中轴线方程和基准轴线方程，计算其夹角，即为垂直度，也即海上风电塔筒的偏离程度。
优选地，所述S41具体包括：
基于最小二乘法进行直线拟合，对n个点进行拟合，使其距离拟合直线的总体误差尽量小，也即最小化每个点到直线的垂直误差。在对目标边缘线的直线方程拟合后，即可利用边缘线的方程求出目标中轴线的方程；设拟合出的边缘线的方程分别为则根据二者的直线方程，可以求出两条直线的交点(x0，y0)，中轴线的斜率为k0＝(k1+k2)/2，则可以根据点斜式，写出中轴线的方程为y-y0＝k0(x-x0)，即可拟合出中轴线的方程。
本发明还提供了一种基于无人机的海上风电塔筒垂直度检测系统，所述系统用于实现基于无人机的海上风电塔筒垂直度检测方法，包括：
数据同步模块，用于在无人机上搭载相机与双轴倾角传感器，将所述相机与双轴倾角传感器进行内外参标定和时间同步，进行相机与双轴倾角传感器的同步数据；
影像纠正模块，用于将无人机环绕海上风电机组飞行，利用双轴倾角传感器获取的横滚角、俯仰角建立水平图像基准，联合相机内外参标定结果，进行影像纠正，实现内外参联合的水平图像生成；
塔筒边缘特征提取模块，用于针对海上风电机组的外观特点，对海上风电机组图像进行塔筒样本采集和神经网络模型训练，建立风电塔筒的自动分类器提取出风电塔目标，并基于高精度边缘提取技术自动提取风电塔筒边缘特征；
垂直度计算模块，用于将获取的多视角风电塔筒的水平图像和边缘特征进行整合，建立垂直度检测的坐标和方位基准，基于多视水平图像风电塔筒边缘进行垂直度计算。
有益效果：本发明提供的一种基于无人机的海上风电塔筒垂直度检测方法及系统，其中方法包括：将无人机上的相机与双轴倾角传感器进行内外参标定和时间同步；将无人机环绕海上风电机组飞行，联合相机内外参标定结果，进行影像纠正，实现内外参联合的水平图像生成；对海上风电机组图像进行塔筒样本采集和神经网络模型训练，建立风电塔筒的自动分类器提取出风电塔目标，并基于高精度边缘提取技术自动提取风电塔筒边缘特征；将获取的多视角风电塔筒的水平图像和边缘特征进行整合，建立垂直度检测的坐标和方位基准，基于多视水平图像风电塔筒边缘进行垂直度计算。采用深度学习神经网络进行目标识别，获取目标及其掩膜信息，有效提高了识别的实时性和准确性，增加了信息维度。整个目标信息获取与垂直度计算过程均属自动化、智能化，无需人工干预，提高工作效率。
附图说明
图1为本发明提供的基于无人机的海上风电塔筒垂直度检测方法流程图；
图2为本发明提供的张正友标定流程图；
图3为本发明提供的传感器外参标定示意图；
图4为本发明提供的影像纠正示意图；
图5为本发明提供的目标识别技术流程图；
图6为本发明提供的垂直度计算技术流程图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
下面结合图1至图6介绍本发明的具体实施方式为一种基于无人机视觉的海上风电塔筒垂直度智能检测技术，本发明整体方法流程图如图1所示，包括无人机视觉和姿态传感器硬件几何模块，无人机水平图像自动生成模型，图像风电塔筒智能提取模块和风电塔筒垂直度计算模块。整体实现包含以下步骤：
步骤1：搭建无人机平台，进行多传感器硬件集成，实现传感器的内外参标定和时间同步，获取相机与双轴倾角传感器的同步数据。其中内外参标定算法如下所示：
内参标定采用张正友标定算法，整体流程如图2所示，首先制作棋盘标定板，采集不同视角下的标定板照片，可以通过移动相机位置，获得不同角度多方位下参照物的图像，或者可以固定相机的拍摄角度，然后移动标定板，获取不同姿态下若干张标定板图像。拍摄后，对影像中的标定板进行角点检测，提取角点像素坐标及其对应的空间三维坐标，再基于相机成像模型计算相机内参。由于黑白棋盘格的设计，使得该标定板的角点特征较为明显。可以采用OpenCV计算机视觉库或Matlab相机工具箱对角点进行定位或提取。相机成像模型可概括为公式(1.1)：
式中，fx、fy、u0、v0、γ为相机内参，s表示尺度因子，等式左边是标定板上的点在图像上的像素坐标，[XW YW 1]为世界坐标，r1、r2、r3为旋转矩阵的三个分量，t为平移量，M为投影矩阵。
公式(1.1)为理想的张正义标定法的相机成像模型，实际成像过程中还需考虑镜头的畸变。
其中，(x,y)，(x0,y0)分别为理想的无畸变的归一化的图像坐标、畸变后的归一化图像坐标，r为图像像素点到图像中心点的距离，即r2＝x2+y2，k为径向畸变，p为切向畸变，在上面的模型中，使用了5个畸变项。最终利用张正友标定法获取相机的内参和畸变系数。
获取相机内参和畸变系数之后，联合标定场控制点进行传感器之间的外参标定。外参标定示意图如图3所示，也即分别进行外参标定，获取视觉传感器与双轴倾角传感器相对于世界坐标系的旋转矩阵与平移相机，再进行位置姿态传递，从而将双轴倾角传感器获取的横滚角与俯仰角传递给相机。
视觉传感器坐标系与世界坐标系之间的转换关系可采用EPnP算法计算，获取控制点在世界坐标系下的坐标和在影像上的图像坐标，利用OpenCV的solvePnPRansac函数计算相机坐标系相对于世界坐标系的旋转矩阵R_Camera与平移向量T_Camera。而双轴倾角传感器坐标系与世界坐标系的转换则为3D-3D的位置姿态转换，为此，采用奇异值分解(SVD)法计算两者之间的R,T矩阵。最终双轴倾角传感器获取的横滚角与俯仰角可通过与R*R_Camera-1相乘传递给相机。
步骤2：联合相机内参标定结果与多传感器外参标定结果，将双轴倾角传感器获取的姿态角传递给相机，进行影像纠正，获取水平图像。
具体流程如下：
步骤2.1：根据步骤1.2获取的畸变系数，基于公式(1.2)对影像进行畸变校正，去除由于镜头必变引起的图像变形失真，输出校正后的图像；
步骤2.2：基于畸变校正后的图像，根据步骤1.2获取的传感器之间的外参，将双轴倾角传感器获取的姿态角传递给相机，进行图像的透视变换与图像重采样，从而获取纠正后的水平图像。
进一步的，步骤2.2的具体实现原理如下：
如图4所示，影像纠正采用透视变换实现，透视变换也即将源图像通过投影映射，从原图像平面变换到新图像平面，这是一个二维空间到三维空间的转换。通用的变换公式如下
其中A为透视变换矩阵，A1表示图像线性变换，A2用于产生图像透视变换，A3表示图像平移，(x,y,1)为原图像平面坐标，(X,Y,Z)为变换后的投影图像坐标，将等式左右两边都除以Z，可得：
令a33＝1，展开公式(2.2)，可得：
透视变换的方程组包含8个未知数，因此要求解透视变换矩阵，需列出8个方程，也即在原图像平面和投影平面上找到四组映射点，代入公式(2.2)中，获取透视变换参数，从而对原图像进行透视变换，图像重采样采用双线性内插算法。
步骤3：对采集的图像进行风电塔筒图像样本采集，基于Mask RCNN深度学习神经网络进行网络训练与目标识别，提取风电塔筒目标。具体实现流程如下所示：
步骤3.1：以Mask RCNN算法为目标识别算法，对海上风电机组图像进行塔筒样本采集和神经网络模型训练，建立风电塔筒的自动分类器，对输入的图像进行目标识别，提取出风电塔筒目标；
步骤3.2：对步骤3.2获取的风电塔筒目标二值掩膜图像进行边缘检测，采用Canny边缘检测算子自动检测和提取风电塔筒边缘特征。
进一步的，整体目标识别流程如图5所示，塔筒样本采集采用Labelme深度学习图像标签标注软件，从而获取训练和测试所需的塔筒样本图像，放入Mask RCNN深度神经网络中进行模型训练。Mask RCNN以Faster RCNN原型，增加了一个分支用于分割掩膜，与现有的边界识别和分类分支平行，它包含两个阶段。第一阶段，首先用区域提议网络(regionproposal networks，RPN)提取出候选目标的边界框，然后对边界框里面的内容(regionsof interest，RoI)进行RoIAlign处理，将RoI划分为m×m的子区域；第二阶段，与预测类和边界框回归任务并行，增加了为每个RoI输出二分类掩码的分支，可理解为用FCN对每个RoI进行分割，以像素到像素的方式预测分割掩码。第二阶段又分为3个分支，一个分支是分类，一个分支是边框回归，还有一个分支生成二进制分割掩膜。两个阶段的特征由底层的骨干网络提取，可以共享使用，以提高整个网络的运行速度。在训练阶段，Mask RCNN模型使用多任务损失约束L被定义为分类、回归、分割掩膜分支损失之和，其表达式如下：
L＝Lcls+Lbox+Lmask (3.1)
其中目标分类损失函数Lcls被定义为交叉熵函数，检测回归分支损失函数Lbox为Smooth L1损失函数，分割掩膜分支损失函数Lmask为平均二进制交叉熵损失。进行训练时，当ROI与Ground Truth的IoU大于0.5时才会被认为有效的RoI。Mask R-CNN采用以图像为中心的训练，使图像短边为800，每个GPU的mini-batch设置为2，每个图像生成N个RoI。在测试时，使用ResNet-50-C4作为框架情况下建议候选区域数量为300，使用FPN作为框架时建议候选区域数量为1000。然后在这些候选区域上运行包围盒预测，接着进行非极大值抑制。掩膜分支只应用在得分最高的100个候选区域上。顺序和训练是不同的，但这样做可以提高速度和精度。掩膜分支对于每个ROI可以预测k个类别，由于只需要背景和前景两种，所以只用第k个掩膜，k是根据分类分支得到的类型。然后把第k个掩膜调整成ROI大小，同时使用阈值分割(threshold＝0.5)二值化，从而获取最终的目标检测结果。
进一步的，步骤3.2的具体实现方式如下：
利用步骤3.1获取的目标检测后的二值图像，采用Canny边缘检测算法对其进行边缘提取，Canny边缘检测算子把边缘检测的问题转换为检测单位函数极大值的问题。该算子首先对灰度图像使用高斯滤波器进行平滑，然后平滑后进行梯度幅值和梯度方向的计算。为了细化边缘，进行非极大值抑制。最后，Canny边缘检测算子使用两个幅值阈值，用来检测强边缘和弱边缘，以尽量检测到更多的边缘。
步骤4：基于上述的目标边缘检测结果，进行中轴线拟合，建立垂直度检测的基准，基于水平图像风电塔筒边缘进行垂直度计算。具体实现流程如下所示：
步骤4.1：基于步骤3.2获取的塔筒边缘，利用最小二乘法进行直线拟合，获取直线参数与两条直线交点，从而获取中轴线斜率，根据点斜式，进而拟合出中轴线的方程；
步骤4.2：基于步骤4.1拟合出来的中轴线方程和基准轴线方程，计算其夹角，即为垂直度，也即目标的偏离程度。
进一步的，步骤4.1的具体实现方法如下：
基于最小二乘法进行直线拟合，对n个点进行拟合，使其距离拟合直线的总体误差尽量小，也即最小化每个点到直线的垂直误差。在对目标边缘线的直线方程拟合后，即可利用边缘线的方程求出目标中轴线的方程。设拟合出的边缘线的方程分别为则根据二者的直线方程，可以求出两条直线的交点(x0，y0)，中轴线的斜率为k0＝(k1+k2)/2，则可以根据点斜式，写出中轴线的方程为y-y0＝k0(x-x0)。综上所述，即可拟合出中轴线的方程。
进一步的，步骤4.2的具体实现方法如下：
在拟合出中轴线的方程后，即可依据几何知识计算其垂直度。若已经拟合出作为基准的目标的中轴线方程，和待测目标中轴线的方程，那么其夹角即为：
其中，k1、k2为两条中轴线的斜率。计算出的角度，也就是目标的偏离程度。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。
Claims (10)
1.一种基于无人机的海上风电塔筒垂直度检测方法，其特征在于，包括以下步骤：
S1，在无人机上搭载相机与双轴倾角传感器，将所述相机与双轴倾角传感器进行内外参标定和时间同步，进行相机与双轴倾角传感器的同步数据；
S2，将无人机环绕海上风电机组飞行，利用双轴倾角传感器获取的横滚角、俯仰角建立水平图像基准，联合相机内外参标定结果，进行影像纠正，实现内外参联合的水平图像生成；
S3，针对海上风电机组的外观特点，对海上风电机组图像进行塔筒样本采集和神经网络模型训练，建立风电塔筒的自动分类器提取出风电塔目标，并基于高精度边缘提取技术自动提取风电塔筒边缘特征；
S4，将获取的多视角风电塔筒的水平图像和边缘特征进行整合，建立垂直度检测的坐标和方位基准，基于多视水平图像风电塔筒边缘进行垂直度计算。
2.根据权利要求1所述的基于无人机的海上风电塔筒垂直度检测方法，其特征在于，所述S1具体包括：
S11，搭建无人机平台，进行双轴倾角传感器、摄像机与无人机平台的集成；
S12，利用张正友标定法对相机进行内参标定，联合标定场控制点进行传感器之间的外参标定；
S13，进行相机内的视觉传感器与双轴倾角传感器之间的数据同步。
3.根据权利要求2所述的基于无人机的海上风电塔筒垂直度检测方法，其特征在于，所述S12具体包括：
内参标定：首先，测量棋盘格中格子的长和宽，获得标定板上每个角点在定义的三维世界坐标系中的坐标；然后，利用张正友标定法获取相机的内参和畸变系数；
外参标定：首先，获取控制点在世界坐标系下的坐标和在影像上的图像坐标，利用OpenCV的solvePnPRansac函数计算相机坐标系相对于世界坐标系的旋转矩阵R_Camera与平移向量T_Camera；然后，采用奇异值分解法计算两者之间的R,T矩阵；最后，将双轴倾角传感器获取的横滚角与俯仰角与R*R_Camera-1相乘传递给相机。
4.根据权利要求3所述的基于无人机的海上风电塔筒垂直度检测方法，其特征在于，所述S2具体包括：
S21，根据所述畸变系数，对影像进行畸变校正，去除由于镜头必变引起的图像变形失真，输出校正后的图像；
S22，基于畸变校正后的图像，根据所述外参标定得到的外参，将双轴倾角传感器获取的姿态角传递给相机，进行图像的透视变换与图像重采样，从而获取影像纠正后的水平图像。
5.根据权利要求4所述的基于无人机的海上风电塔筒垂直度检测方法，其特征在于，所述S22具体包括：
首先，获取畸变校正后的图像的四个角点，利用所述内参计算这四个角点在相机坐标系下的坐标，通过外参标定结果将双轴倾角传感器输出的姿态角传递给相机，获取旋转矩阵，再将相机坐标系下的四个点根据旋转矩阵进行坐标变换，获取变换后的4个3D点；
然后，根据这四组对应点，基于OpenCV的getPerspectiveTransform函数，获取变换矩阵；
最后，利用获取的变换矩阵和OpenCV的变换函数warpPerspective对图像进行透视变换。
6.根据权利要求1所述的基于无人机的海上风电塔筒垂直度检测方法，其特征在于，所述S3具体包括：
S31，以Mask RCNN算法为目标识别算法，对海上风电机组图像进行塔筒样本采集和神经网络模型训练，建立风电塔筒的自动分类器，对输入的风电组图像进行目标识别，提取出风电塔筒目标；
S32，对所述风电塔筒目标二值掩膜图像进行边缘检测，采用Canny边缘检测算子自动检测和提取风电塔筒边缘特征。
7.根据权利要求6所述的基于无人机的海上风电塔筒垂直度检测方法，其特征在于，所述S31具体包括：
塔筒样本采集采用Labelme深度学习图像标签标注软件，从而获取训练和测试所需的塔筒样本图像，放入Mask RCNN深度神经网络中进行模型训练，具体包含以下两个阶段；
第一阶段：
首先，用区域提议网络(region proposal networks，RPN)提取出候选目标的边界框；
然后，对边界框里面的内容(regions of interest，RoI)进行RoI Align处理，将RoI划分为m×m的子区域；
第二阶段：
与预测类和边界框回归任务并行，增加了为每个RoI输出二分类掩码的分支，即用FCN对每个RoI进行分割，以像素到像素的方式预测分割掩码；
两个阶段的特征由底层的骨干网络提取，通过共享使用以提高整个网络的运行速度。
8.根据权利要求6所述的基于无人机的海上风电塔筒垂直度检测方法，其特征在于，所述S4具体包括：
S41，基于步骤S32获取的风电塔筒边缘特征，利用最小二乘法进行直线拟合，获取直线参数与两条直线交点，从而获取中轴线斜率，根据点斜式，进而拟合出中轴线的方程；
S42，基于所述中轴线方程和基准轴线方程，计算其夹角，即为垂直度，也即海上风电塔筒的偏离程度。
9.根据权利要求8所述的基于无人机的海上风电塔筒垂直度检测方法，其特征在于，所述S41具体包括：
基于最小二乘法进行直线拟合，对n个点进行拟合，使其距离拟合直线的总体误差尽量小，也即最小化每个点到直线的垂直误差；在对目标边缘线的直线方程拟合后，即可利用边缘线的方程求出目标中轴线的方程；设拟合出的边缘线的方程分别为则根据二者的直线方程，可以求出两条直线的交点(x0，y0)，中轴线的斜率为k0＝(k1+k2)/2，则可以根据点斜式，写出中轴线的方程为y-y0＝k0(x-x0)，即可拟合出中轴线的方程。
10.一种基于无人机的海上风电塔筒垂直度检测系统，其特征在于，所述系统用于实现如权利要求1-9任一项所述的基于无人机的海上风电塔筒垂直度检测方法，包括：
数据同步模块，用于在无人机上搭载相机与双轴倾角传感器，将所述相机与双轴倾角传感器进行内外参标定和时间同步，进行相机与双轴倾角传感器的同步数据；
影像纠正模块，用于将无人机环绕海上风电机组飞行，利用双轴倾角传感器获取的横滚角、俯仰角建立水平图像基准，联合相机内外参标定结果，进行影像纠正，实现内外参联合的水平图像生成；
塔筒边缘特征提取模块，用于针对海上风电机组的外观特点，对海上风电机组图像进行塔筒样本采集和神经网络模型训练，建立风电塔筒的自动分类器提取出风电塔目标，并基于高精度边缘提取技术自动提取风电塔筒边缘特征；
垂直度计算模块，用于将获取的多视角风电塔筒的水平图像和边缘特征进行整合，建立垂直度检测的坐标和方位基准，基于多视水平图像风电塔筒边缘进行垂直度计算。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310465012.0A CN116539001A (zh) | 2023-04-26 | 2023-04-26 | 一种基于无人机的海上风电塔筒垂直度检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310465012.0A CN116539001A (zh) | 2023-04-26 | 2023-04-26 | 一种基于无人机的海上风电塔筒垂直度检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116539001A true CN116539001A (zh) | 2023-08-04 |
Family
ID=87448095
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310465012.0A Pending CN116539001A (zh) | 2023-04-26 | 2023-04-26 | 一种基于无人机的海上风电塔筒垂直度检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116539001A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117636176A (zh) * | 2024-01-26 | 2024-03-01 | 内蒙古工业大学 | 一种基于深度学习的电线杆垂直度检测方法及装置 |
-
2023
- 2023-04-26 CN CN202310465012.0A patent/CN116539001A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117636176A (zh) * | 2024-01-26 | 2024-03-01 | 内蒙古工业大学 | 一种基于深度学习的电线杆垂直度检测方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110097553B (zh) | 基于即时定位建图与三维语义分割的语义建图系统 | |
| CN108317953A (zh) | 一种基于无人机的双目视觉目标表面3d检测方法及系统 | |
| CN112001958B (zh) | 基于有监督单目深度估计的虚拟点云三维目标检测方法 | |
| CN112489130A (zh) | 一种输电线路与目标物的距离测量方法、装置及电子设备 | |
| US10861172B2 (en) | Sensors and methods for monitoring flying objects | |
| Chen et al. | Identification of autonomous landing sign for unmanned aerial vehicle based on faster regions with convolutional neural network | |
| CN112946679B (zh) | 一种基于人工智能的无人机测绘果冻效应检测方法及系统 | |
| CN115115934A (zh) | 一种基于改进型YOLOv5的无人机航拍图像河流漂浮物检测方法 | |
| CN110910350A (zh) | 一种用于风电塔筒的螺母松动检测方法 | |
| CN116539001A (zh) | 一种基于无人机的海上风电塔筒垂直度检测方法及系统 | |
| Poorghasem et al. | Review of robot-based automated measurement of vibration for civil engineering structures | |
| CN103679740B (zh) | 一种无人机对地目标roi提取方法 | |
| CN108871409A (zh) | 一种故障检测方法和系统 | |
| CN116071424A (zh) | 基于单目视觉的果实空间坐标定位方法 | |
| CN112801184A (zh) | 一种云跟踪方法、系统及装置 | |
| CN115240089A (zh) | 一种航空遥感图像的车辆检测方法 | |
| CN115984766A (zh) | 一种煤矿井下快速单目视觉三维目标检测方法 | |
| CN110910349A (zh) | 一种基于航拍视觉的风电机组状态获取方法 | |
| CN109671109A (zh) | 密集点云生成方法及系统 | |
| CN107767366B (zh) | 一种输电线路拟合方法及装置 | |
| CN109883400B (zh) | 基于yolo-sitcol的固定站自动目标检测与空间定位方法 | |
| CN116843738A (zh) | 基于tof深度相机的树木倾倒风险评估系统及方法 | |
| CN111735447B (zh) | 一种仿星敏式室内相对位姿测量系统及其工作方法 | |
| CN115471782A (zh) | 一种面向无人艇的红外舰船目标检测方法及装置 | |
| CN115187959A (zh) | 一种基于双目视觉的飞行汽车山地着陆方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |