CN113107788A - 基于纯视觉的叶片巡检方法 - Google Patents
基于纯视觉的叶片巡检方法 Download PDFInfo
- Publication number
- CN113107788A CN113107788A CN202110584026.5A CN202110584026A CN113107788A CN 113107788 A CN113107788 A CN 113107788A CN 202110584026 A CN202110584026 A CN 202110584026A CN 113107788 A CN113107788 A CN 113107788A
- Authority
- CN
- China
- Prior art keywords
- blade
- data
- aerial vehicle
- unmanned aerial
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000007689 inspection Methods 0.000 title claims abstract description 18
- 238000003709 image segmentation Methods 0.000 claims abstract description 4
- 230000001105 regulatory effect Effects 0.000 claims description 11
- 230000001276 controlling effect Effects 0.000 claims description 5
- 238000011179 visual inspection Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F03—MACHINES OR ENGINES FOR LIQUIDS; WIND, SPRING, OR WEIGHT MOTORS; PRODUCING MECHANICAL POWER OR A REACTIVE PROPULSIVE THRUST, NOT OTHERWISE PROVIDED FOR
- F03D—WIND MOTORS
- F03D17/00—Monitoring or testing of wind motors, e.g. diagnostics
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Mechanical Engineering (AREA)
- Remote Sensing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Sustainable Development (AREA)
- Sustainable Energy (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及视觉检验技术领域的一种基于纯视觉的叶片巡检方法，包括如下步骤：获取目标叶片的图像信息；利用预先训练好的图像分割模型获取图像信息中目标叶片的特征数据；驱使无人机沿叶片长度方向飞行，并利用无人机的相机拍摄、巡检目标叶片，在拍摄过程中根据目标叶片的特征数据实时调控无人机的飞行路径，并通过实时调节无人机的拍摄云台的角度来调节无人机的相机的拍摄端朝向。从而实现了基于纯视觉来控制无人机及其相机自动巡检风机叶片的目的。
Description
技术领域
本公开涉及视觉检验技术领域，具体来说，是用于检验风机叶片的视觉检验方法。
背景技术
现有技术中，利用无人机对风机叶片进行巡检时，为了准确追踪叶片，实现无人机的自动巡检，通常需要借助激光雷达进行辅助调整无人机的飞行方向和角度，以此才能保证无人机始终处于正确的飞行路线中。
公开内容
本公开的目的是提供一种基于纯视觉的叶片巡检方法，实现了基于纯视觉来控制无人机及其相机自动巡检风机叶片的目的。
本公开的目的是这样实现的：一种基于纯视觉的叶片巡检方法，包括如下步骤：
S1、获取目标叶片的图像信息；
S2、利用预先训练好的图像分割模型获取图像信息中目标叶片的特征数据；
S3、基于目标叶片的特征数据实时调控无人机的飞行路径和携带的相机拍摄角度，以使无人机沿叶片的长度方向飞行，并与叶片之间保持在预设距离，且使叶片区域处于相机的画幅中间。
优选地，在S2步骤中，所述目标叶片的特征数据中至少含有叶片的边缘数据，在S3步骤中，利用叶片的边缘数据调整拍摄云台的角度和无人机的飞行路径，以使叶片始终处于相机画幅的中间位置。
优选地，在拍摄过程中，叶片图像占据整个拍摄画幅至少一半以上的区域。
优选地，在拍摄过程中，为了使叶片始终处于相机画幅的中间位置，按照如下流程操作：
根据获取的叶片的两长边缘数据，在两长边缘线上找出各自的中点；
获取两条长边缘线中点连线的中间位置；
将上述两条长边缘线中点连线的中间位置与拍摄画幅的中间位置重合；
其中，上述流程随无人机的位置变化重复进行。
优选地，在S2步骤中，所述目标叶片的特征数据中至少含有叶片的亮度数据，S3步骤中，利用叶片的亮度数据控制无人机的相机的曝光参数，以使相机拍摄的叶片图像符合预设亮度值。
优选地，在拍摄过程中，无人机的相机以预设的频次不断拍摄叶片，根据至少一张照片的亮度判断实际拍摄的叶片图像的亮度是否符合设定的亮度阈值，如过高或过低，则将相机的曝光参数进行适应性调整，使照片的亮度符合设定的亮度阈值。
优选地，在S2步骤中，所述目标叶片的特征数据中至少含有区域类别数据，所述区域类别数据包括叶尖区域数据、叶根区域数据，以及除叶尖区域数据和叶跟区域数据之外的叶中区域数据；
在S3步骤中，无人机的飞行路径始于叶尖，并终于叶根，并在叶根位置停止拍摄。
优选地，在S2步骤中，所述目标叶片的特征数据中至少含有停机角度数据，所述停机角度数据被定义为在面向风机上的轮毂的风轮面时，位于塔柱右侧的叶片于塔柱之间的夹角；
在S3步骤中，无人机按照预设的与停机角度数据匹配的路径进行切换。
优选地，在拍摄过程中，调控无人机在巡检至叶尖和/或叶根处的路径切换方式和拍摄云台的摆动角度，以使无人机按照预设的与停机角度数据匹配的路径进行切换，并使无人机的拍摄云台按照预设的与停机角度数据匹配的摆动角度进行角度调整。
优选地，在S2步骤中，所述目标叶片的特征数据中至少含有深度距离估算数据，所述深度距离估算数据被定义为无人机与叶片之间的间距；
在S3步骤中，基于深度距离估算数据调控无人机与叶片之间的实际间距，以使无人机与叶片之间的实际间距始终保持在预设值。
本公开的有益效果在于：
1、在整个无人机巡检过程中，通过不断地拍照，对图形进行数据提取，进而依据这些信息进行相应控制处理，最终实现无人机基于纯视觉的自动巡检风机叶片的目的；
2、无需在无人机上搭载诸如激光雷达之类的硬件设备，减轻了无人机的重量，能更好地控制无人机的飞行方向和角度，保证无人机始终处于正确的飞行路线上。
附图说明
图1是本公开的主要步骤图。
具体实施方式
目前，利用无人机对风机叶片进行自动巡检时，为了准确追踪叶片，通常需要借助激光雷达进行辅助调整无人机的飞行方向和角度，以此才能保证无人机始终处于正确的飞行路线中；但是，激光雷达的费用高昂、功耗较高，占用无人机电源供应的比例较大，不利于无人机长时间的有效飞行，而且由于在无人机上安装了激光雷达，导致无人机的载重较高，使得功耗、成本增大。
下面结合附图1和具体实施例进行进一步说明。
图1是本公开的主要步骤图，如图1所示，为了解决现有技术中在无人机上安装激光雷达带来的种种问题，本实施例提供了一种基于纯视觉的叶片巡检方法，包括如下步骤：
步骤1、获取目标叶片的图像信息；
步骤2、利用预先训练好的图像分割模型获取图像信息中目标叶片的特征数据；
步骤3、驱使无人机沿叶片长度方向飞行，并利用无人机的相机拍摄、巡检目标叶片，在拍摄过程中根据目标叶片的特征数据实时调控无人机的飞行路径，并通过实时调节无人机的拍摄云台的角度来调节无人机的相机的拍摄端朝向。
其中，在步骤2中，上述目标叶片的特征数据中至少含有叶片的边缘数据，在步骤3中，利用叶片的边缘数据调整拍摄云台的角度和无人机的飞行路径，以使叶片始终处于相机画幅的中间位置。
在拍摄过程中，叶片图像占据整个拍摄画幅至少一半以上的区域，本实施例中，叶片图像占据整个拍摄画幅约80％。
在拍摄过程中，为了使叶片始终处于相机画幅的中间位置，按照如下流程操作：
根据获取的叶片的两长边缘数据，在两长边缘线上找出各自的中点；
获取两条长边缘线中点连线的中间位置；
将上述两条长边缘线中点连线的中间位置与拍摄画幅的中间位置重合；
其中，上述流程随无人机的位置变化重复进行。
在步骤2中，上述目标叶片的特征数据中至少含有叶片的亮度数据，步骤3中，利用叶片的亮度数据控制无人机的相机的曝光参数，以使相机拍摄的叶片图像符合预设亮度值。
在拍摄过程中，无人机的相机以预设的频次不断拍摄叶片，根据至少一张照片的亮度判断实际拍摄的叶片图像的亮度是否符合设定的亮度阈值，如过高或过低，则将相机的曝光参数进行适应性调整，使照片的亮度符合设定的亮度阈值。
在步骤2中，上述目标叶片的特征数据中至少含有区域类别数据，区域类别数据包括叶尖区域数据、叶根区域数据，以及除叶尖区域数据和叶跟区域数据之外的叶中区域数据。
在步骤3中，无人机的飞行路径始于叶尖，并终于叶根，并在叶根位置停止拍摄。
在步骤2中，上述目标叶片的特征数据中至少含有停机角度数据，停机角度数据被定义为在面向风机上的轮毂的风轮面时，位于塔柱右侧的叶片于塔柱之间的夹角。
在步骤3中，无人机按照预设的与停机角度数据匹配的路径进行切换。
在拍摄过程中，调控无人机在巡检至叶尖和/或叶根处的路径切换方式和拍摄云台的摆动角度，以使无人机按照预设的与停机角度数据匹配的路径进行切换，并使无人机的拍摄云台按照预设的与停机角度数据匹配的摆动角度进行角度调整。
不同的停机角度数据对应不同的切换路径，同时为了使相机始终能够拍摄到带有叶片的照片，所以在切换路径时(路径切换后，无人机的位姿可能发生了较大变化，于叶片的相对位置、角度等也发生了变化)，还得适当调整云台，进而调整相机的拍摄角度，使相机仍然能够拍摄到叶片。
在步骤2中，上述目标叶片的特征数据中至少含有深度距离估算数据，所述深度距离估算数据被定义为无人机与叶片之间的间距。
在步骤3中，基于深度距离估算数据调控无人机与叶片之间的实际间距，以使无人机与叶片之间的实际间距始终保持在预设值，从而保持拍摄图像大小的稳定性。
以上是本公开的优选实施例，本领域普通技术人员还可以在此基础上进行各种变换或改进，在不脱离本公开总的构思的前提下，这些变换或改进都应当属于本公开要求保护范围之内。
Claims (10)
1.一种基于纯视觉的叶片巡检方法，其特征在于，包括如下步骤：
S1、获取目标叶片的图像信息；
S2、利用预先训练好的图像分割模型获取图像信息中目标叶片的特征数据；
S3、基于目标叶片的特征数据实时调控无人机的飞行路径和携带的相机拍摄角度，以使无人机沿叶片的长度方向飞行，并与叶片之间保持在预设距离，且使叶片区域处于相机的画幅中间。
2.根据权利要求1所述的一种基于纯视觉的叶片巡检方法，其特征在于：在S2步骤中，所述目标叶片的特征数据中至少含有叶片的边缘数据，在S3步骤中，利用叶片的边缘数据调整拍摄云台的角度和无人机的飞行路径，以使叶片始终处于相机画幅的中间位置。
3.根据权利要求2所述的一种基于纯视觉的叶片巡检方法，其特征在于：在拍摄过程中，叶片图像占据整个拍摄画幅至少一半以上的区域。
4.根据权利要求2所述的一种基于纯视觉的叶片巡检方法，其特征在于：在拍摄过程中，为了使叶片始终处于相机画幅的中间位置，按照如下流程操作：
根据获取的叶片的两长边缘数据，在两长边缘线上找出各自的中点；
获取两条长边缘线中点连线的中间位置；
将上述两条长边缘线中点连线的中间位置与拍摄画幅的中间位置重合；
其中，上述流程随无人机的位置变化重复进行。
5.根据权利要求1所述的一种基于纯视觉的叶片巡检方法，其特征在于：在S2步骤中，所述目标叶片的特征数据中至少含有叶片的亮度数据，S3步骤中，利用叶片的亮度数据控制无人机的相机的曝光参数，以使相机拍摄的叶片图像符合预设亮度值。
6.根据权利要求5所述的一种基于纯视觉的叶片巡检方法，其特征在于：在拍摄过程中，无人机的相机以预设的频次不断拍摄叶片，根据至少一张照片的亮度判断实际拍摄的叶片图像的亮度是否符合设定的亮度阈值，如过高或过低，则将相机的曝光参数进行适应性调整，使照片的亮度符合设定的亮度阈值。
7.根据权利要求1所述的一种基于纯视觉的叶片巡检方法，其特征在于：
在S2步骤中，所述目标叶片的特征数据中至少含有区域类别数据，所述区域类别数据包括叶尖区域数据、叶根区域数据，以及除叶尖区域数据和叶跟区域数据之外的叶中区域数据；
在S3步骤中，无人机的飞行路径始于叶尖，并终于叶根，并在叶根位置停止拍摄。
8.根据权利要求7所述的一种基于纯视觉的叶片巡检方法，其特征在于：
在S2步骤中，所述目标叶片的特征数据中至少含有停机角度数据，所述停机角度数据被定义为在面向风机上的轮毂的风轮面时，位于塔柱右侧的叶片于塔柱之间的夹角；
在S3步骤中，无人机按照预设的与停机角度数据匹配的路径进行切换。
9.根据权利要求8所述的一种基于纯视觉的叶片巡检方法，其特征在于：在拍摄过程中，调控无人机在巡检至叶尖和/或叶根处的路径切换方式和拍摄云台的摆动角度，以使无人机按照预设的与停机角度数据匹配的路径进行切换，并使无人机的拍摄云台按照预设的与停机角度数据匹配的摆动角度进行角度调整。
10.根据权利要求1-9中任一项所述的一种基于纯视觉的叶片巡检方法，其特征在于：
在S2步骤中，所述目标叶片的特征数据中至少含有深度距离估算数据，所述深度距离估算数据被定义为无人机与叶片之间的间距；
在S3步骤中，基于深度距离估算数据调控无人机与叶片之间的实际间距，以使无人机与叶片之间的实际间距始终保持在预设值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110584026.5A CN113107788A (zh) | 2021-05-27 | 2021-05-27 | 基于纯视觉的叶片巡检方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110584026.5A CN113107788A (zh) | 2021-05-27 | 2021-05-27 | 基于纯视觉的叶片巡检方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113107788A true CN113107788A (zh) | 2021-07-13 |
Family
ID=76723413
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110584026.5A Pending CN113107788A (zh) | 2021-05-27 | 2021-05-27 | 基于纯视觉的叶片巡检方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113107788A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114020002A (zh) * | 2021-12-20 | 2022-02-08 | 复亚智能科技(太仓)有限公司 | 无人机巡检风机叶片的方法、装置、设备、无人机及介质 |
| CN114463648A (zh) * | 2022-01-09 | 2022-05-10 | 中国长江三峡集团有限公司 | 一种基于纯视觉的保持风机叶片位于相机视野中间的方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018021491A (ja) * | 2016-08-02 | 2018-02-08 | 株式会社日立製作所 | システム及び飛行ルート生成方法 |
| US20190101934A1 (en) * | 2017-10-04 | 2019-04-04 | Here Global B.V. | Link level wind factor computation for efficient drone routing using 3d city map data |
| CN111038721A (zh) * | 2019-12-30 | 2020-04-21 | 无锡风电设计研究院有限公司 | 一种基于图像识别的风力机叶片巡检无人机和巡检方法 |
| CN111289533A (zh) * | 2020-02-25 | 2020-06-16 | 国电电力内蒙古新能源开发有限公司 | 风机叶片的巡检方法、装置、无人机和存储介质 |
| CN112068539A (zh) * | 2019-05-23 | 2020-12-11 | 李峥嵘 | 一种风电机组叶片无人机自动驾驶巡检方法 |
| CN112360699A (zh) * | 2020-10-22 | 2021-02-12 | 华能大理风力发电有限公司 | 一种全自动风力发电机组叶片智能巡视及诊断分析方法 |
| CN112598637A (zh) * | 2020-12-21 | 2021-04-02 | 华能安阳能源有限责任公司 | 一种风电机组叶片巡检叶片区域路线自动飞行方法 |
-
2021
- 2021-05-27 CN CN202110584026.5A patent/CN113107788A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018021491A (ja) * | 2016-08-02 | 2018-02-08 | 株式会社日立製作所 | システム及び飛行ルート生成方法 |
| US20190101934A1 (en) * | 2017-10-04 | 2019-04-04 | Here Global B.V. | Link level wind factor computation for efficient drone routing using 3d city map data |
| CN112068539A (zh) * | 2019-05-23 | 2020-12-11 | 李峥嵘 | 一种风电机组叶片无人机自动驾驶巡检方法 |
| CN111038721A (zh) * | 2019-12-30 | 2020-04-21 | 无锡风电设计研究院有限公司 | 一种基于图像识别的风力机叶片巡检无人机和巡检方法 |
| CN111289533A (zh) * | 2020-02-25 | 2020-06-16 | 国电电力内蒙古新能源开发有限公司 | 风机叶片的巡检方法、装置、无人机和存储介质 |
| CN112360699A (zh) * | 2020-10-22 | 2021-02-12 | 华能大理风力发电有限公司 | 一种全自动风力发电机组叶片智能巡视及诊断分析方法 |
| CN112598637A (zh) * | 2020-12-21 | 2021-04-02 | 华能安阳能源有限责任公司 | 一种风电机组叶片巡检叶片区域路线自动飞行方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114020002A (zh) * | 2021-12-20 | 2022-02-08 | 复亚智能科技(太仓)有限公司 | 无人机巡检风机叶片的方法、装置、设备、无人机及介质 |
| CN114020002B (zh) * | 2021-12-20 | 2024-05-03 | 复亚智能科技(太仓)有限公司 | 无人机巡检风机叶片的方法、装置、设备、无人机及介质 |
| CN114463648A (zh) * | 2022-01-09 | 2022-05-10 | 中国长江三峡集团有限公司 | 一种基于纯视觉的保持风机叶片位于相机视野中间的方法 |
| CN114463648B (zh) * | 2022-01-09 | 2024-04-16 | 中国长江三峡集团有限公司 | 一种基于纯视觉的保持风机叶片位于相机视野中间的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110879601B (zh) | 一种对于未知风机结构的无人机巡检方法 | |
| CN113107788A (zh) | 基于纯视觉的叶片巡检方法 | |
| CN112164015B (zh) | 单目视觉自主巡检图像采集方法、装置及电力巡检无人机 | |
| CN108803668B (zh) | 一种静态目标监测的智能巡检无人机吊舱系统 | |
| CN105242481B (zh) | 一种光圈的控制方法及装置 | |
| WO2021022580A1 (zh) | 一种自动跟踪拍摄方法及系统 | |
| CN109992006A (zh) | 一种电力巡检无人机的精准回收方法和系统 | |
| US10353403B2 (en) | Autonomous flying device, control method of autonomous flying device, and non-transitory recording medium | |
| CN110062205A (zh) | 运动目标识别、跟踪装置及方法 | |
| CN114463648B (zh) | 一种基于纯视觉的保持风机叶片位于相机视野中间的方法 | |
| CN108537912A (zh) | 一种基于智能图像识别的电力巡检无人机 | |
| CN112653844A (zh) | 一种摄像头云台转向自适应跟踪调节方法 | |
| CN108475075A (zh) | 一种控制方法、装置及云台 | |
| CN106973221B (zh) | 基于美学评价的无人机摄像方法和系统 | |
| CN112598637A (zh) | 一种风电机组叶片巡检叶片区域路线自动飞行方法 | |
| CN115145314B (zh) | 基于无人机的风机叶片巡检路径规划方法 | |
| CN111038721A (zh) | 一种基于图像识别的风力机叶片巡检无人机和巡检方法 | |
| CN112085694B (zh) | 一种人工智能自动巡检风能风机叶片系统 | |
| CN114430462B (zh) | 无人机自主拍照参数调整方法、装置、设备及存储介质 | |
| WO2023125028A1 (zh) | 一种提升云台摄像机定位精度的系统及其控制方法 | |
| CN115578662A (zh) | 无人机前端图像处理方法、系统、存储介质及设备 | |
| CN112945015B (zh) | 一种无人机监测系统、方法、装置及存储介质 | |
| LU504690B1 (en) | A system for automatic leaf photo acquisition by drones | |
| US20210258494A1 (en) | Flight control method and aircraft | |
| CN111414012A (zh) | 一种巡检机器人区域检索与云台校正方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210713 |