CN114723184A - 一种基于视觉感知的风力发电机测量方法、装置以及设备 - Google Patents

一种基于视觉感知的风力发电机测量方法、装置以及设备 Download PDF

Info

Publication number
CN114723184A
CN114723184A CN202210639336.7A CN202210639336A CN114723184A CN 114723184 A CN114723184 A CN 114723184A CN 202210639336 A CN202210639336 A CN 202210639336A CN 114723184 A CN114723184 A CN 114723184A
Authority
CN
China
Prior art keywords
blade tip
driven generator
wind driven
point
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210639336.7A
Other languages
English (en)
Other versions
CN114723184B (zh
Inventor
粟骏龙
凌飞
袁鑫
陈晓健
周妙林
刘扬
王进米
刘鑫
吴飞
唐兴智
吕静静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Digital Ecological Technology Co ltd
Original Assignee
Guangdong Digital Ecological Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Digital Ecological Technology Co ltd filed Critical Guangdong Digital Ecological Technology Co ltd
Priority to CN202210639336.7A priority Critical patent/CN114723184B/zh
Publication of CN114723184A publication Critical patent/CN114723184A/zh
Application granted granted Critical
Publication of CN114723184B publication Critical patent/CN114723184B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F03—MACHINES OR ENGINES FOR LIQUIDS; WIND, SPRING, OR WEIGHT MOTORS; PRODUCING MECHANICAL POWER OR A REACTIVE PROPULSIVE THRUST, NOT OTHERWISE PROVIDED FOR
    • F03D—WIND MOTORS
    • F03D17/00—Monitoring or testing of wind motors, e.g. diagnostics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/20—Checking timed patrols, e.g. of watchman
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/70—Wind energy
    • Y02E10/72—Wind turbines with rotation axis in wind direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Evolutionary Computation (AREA)
  • General Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Primary Health Care (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Sustainable Development (AREA)
  • Sustainable Energy (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)

Abstract

本申请提供了一种基于视觉感知的风力发电机测量方法、装置以及设备，用于基于视觉感知技术，稳定且高精度地检测风力发电机的桨叶叶尖点，为后续的风力发电机的姿态处理还有巡检线路的规划提供精确的数据支持。方法包括：获取无人机从风力发电机处采集的图像；将图像输入预先配置的桨叶叶尖点检测模型，以识别图像中的桨叶叶尖点，其中，桨叶叶尖点检测模型是由风力发电机全貌图
Figure 818289DEST_PATH_IMAGE001
与桨叶叶尖点掩膜
Figure 719249DEST_PATH_IMAGE002
组成图像掩膜对，训练初始模型识别输入图像的桨叶叶尖点得到的，并于训练过程中计算关键点的检测结果来计算损失函数数值以此优化模型参数；提取桨叶叶尖点检测模型输出的桨叶叶尖点检测结果，桨叶叶尖点检测结果以坐标形式进行配置。

Description

一种基于视觉感知的风力发电机测量方法、装置以及设备
技术领域
本申请涉及风力发电领域，具体涉及一种基于视觉感知的风力发电机测量方法、装置以及设备。
背景技术
风能是一种清洁的可再生能源，开发风能对于改善能源结构、缓解能源压力、保护环境等意义重大。近些年，风力发电机机组在我国得到了广泛的应用，但由于风力发电机机组通常处于野外，环境条件恶劣，容易出现故障，需定期对风力发电机进行检修，以保证风力发电机的可靠运作。但风力发电机地处偏远，人工巡检不仅存在安全性差、工作量大、效率低等问题，而且受观测方式影响，不能全面排查问题。
传统技术中通常借助望远镜、地面高倍相机、吊篮等设备使用人工手动进行风力发电机叶片巡检。望远镜观察，一次只能观察叶片的下表面；另外人员巡检有视线盲区，再加上叶片表面油渍，污垢，积沙尘等遮盖，从地面用望远镜很难发现。另外地面观察容易形成误诊，比如叶片磨蚀形成麻面后吸附的静电灰尘，往往会被误认为是漏油产出的积灰现象。吊篮高空作业可以准确判断叶片表面情况，但是吊篮巡检需要时间久，对环境条件要求也比较苛刻，必须使得叶片垂直向下，一次只能巡检一片叶片。且吊篮高空作业对天气环境等敏感，大风、下雨等都不能登高作业。而通过无人机进行自动巡检，能够很好地的代替人工进行检测。
然而现有技术中的自动巡检往往是通过提前规划巡检路径来实现，但由于风力发电机停机检修状态不一致，需对风力发电机进行重新建模，导致增加了巡检的工作量，因此，结合先进的数字图像处理技术和计算机视觉理论，感知复杂环境下目标风力发电机的位置成为无人机风力发电机巡检系统中至关重要的环节，由此可见，在利用无人机对风力发电机进行巡检的过程中，能够顺利完成巡检任务的关键在于确定风力发电机的位置，从而为无人机的路径规划提供参考依据。
而在现有的相关技术的研究过程中，发明人发现，现有基于无人机测量风力发电机的位置及其姿态时，存在本身精度不高的问题或者存在易受应用条件影响而导致不精确的问题。
发明内容
本申请提供了一种基于视觉感知的风力发电机测量方法、装置以及设备，用于基于视觉感知技术，稳定且高精度地检测风力发电机的桨叶叶尖点，为后续的风力发电机的姿态处理还有巡检线路的规划提供精确的数据支持。
第一方面，本申请提供了一种基于视觉感知的风力发电机测量方法，方法包括：
获取无人机从风力发电机处采集的图像；
将图像输入预先配置的桨叶叶尖点检测模型，以识别图像中的桨叶叶尖点，其中，桨叶叶尖点检测模型是由风力发电机全貌图
Figure 978839DEST_PATH_IMAGE001
与桨叶叶尖点掩膜
Figure 726215DEST_PATH_IMAGE002
组成图像掩膜对，训练初始模型识别输入图像的桨叶叶尖点得到的，并于训练过程中计算关键点的检测结果来计算损失函数数值以此优化模型参数；
提取桨叶叶尖点检测模型输出的桨叶叶尖点检测结果，桨叶叶尖点检测结果以坐标形式进行配置。
第二方面，本申请提供了一种基于视觉感知的风力发电机测量装置，装置包括：
获取单元，用于获取无人机从风力发电机处采集的图像；
检测单元，用于将图像输入预先配置的桨叶叶尖点检测模型，以识别图像中的桨叶叶尖点，其中，桨叶叶尖点检测模型是由风力发电机全貌图
Figure 890611DEST_PATH_IMAGE003
与桨叶叶尖点掩膜
Figure 774254DEST_PATH_IMAGE004
组成图像掩膜对，训练初始模型识别输入图像的桨叶叶尖点得到的，并于训练过程中计算关键点的检测结果来计算损失函数数值以此优化模型参数；
提取单元，用于提取桨叶叶尖点检测模型输出的桨叶叶尖点检测结果，桨叶叶尖点检测结果以坐标形式进行配置。
第三方面，本申请提供了一种基于视觉感知的风力发电机测量设备，包括处理器和存储器，存储器中存储有计算机程序，处理器调用存储器中的计算机程序时执行本申请第一方面或者本申请第一方面任一种可能的实现方式提供的方法。
第四方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质存储有多条指令，指令适于处理器进行加载，以执行本申请第一方面或者本申请第一方面任一种可能的实现方式提供的方法。
从以上内容可得出，本申请具有以下的有益效果：
针对于风力发电机的位置检测，本申请配置了一桨叶叶尖点检测模型，其是由风力发电机全貌图
Figure 513539DEST_PATH_IMAGE005
与桨叶叶尖点掩膜
Figure 230435DEST_PATH_IMAGE006
组成图像掩膜对，训练初始模型识别输入图像的桨叶叶尖点得到的，并于训练过程中计算关键点的检测结果来计算损失函数数值以此优化模型参数，基于该模型检测输入图像中的风力发电机桨叶叶尖点的过程中，由于同时应用风力发电机基本参数与关键点检测模型识别结果，降低了完全依赖人工智能模型的风险，实现数据间相互纠偏，通过像素级位置检测，降低了信息冗余，使技术内容更贴近业务场景，引入人工智能算法提升了对复杂场景的适应性，从而可以基于视觉感知技术，稳定且高精度地检测风力发电机的桨叶叶尖点，为后续的风力发电机的姿态处理还有巡检线路的规划提供精确的数据支持。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请基于视觉感知的风力发电机测量方法的一种流程示意图；
图2为本申请风力发电机的一种结构示意图；
图3为本申请桨叶叶尖点检测模型的一种检测流程示意图；
图4为本申请图像细化处理的一种实例示意图；
图5为本申请三角测量原理的一种场景示意图；
图6为本申请风力发电机机舱偏航角计算处理的一种场景示意图；
图7为本申请风力发电机桨叶旋转角计算处理的一种场景示意图；
图8为本申请风力发电机参数测量处理的一种场景示意图；
图9为本申请拍摄距离
Figure 713369DEST_PATH_IMAGE007
计算处理的一种场景示意；
图10为本申请无人机的航线规划处理的一种场景示意图；
图11为本申请基于视觉感知的风力发电机测量方法的一种场景示意图；
图12为本申请基于视觉感知的风力发电机测量装置的一种结构示意图；
图13为本申请基于视觉感知的风力发电机测量设备的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。在本申请中出现的对步骤进行的命名或者编号，并不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤，已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行次序，只要能达到相同或者相类似的技术效果即可。
本申请中所出现的模块的划分，是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合或通信连接可以是电性或其他类似的形式，本申请中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本申请方案的目的。
在介绍本申请提供的基于视觉感知的风力发电机测量方法之前，首先介绍本申请所涉及的背景内容。
在上面提及了，现有基于无人机测量风力发电机的位置及其姿态时，存在本身精度不高的问题或者存在易受应用条件影响而导致不精确的问题，为方面理解该问题，还可借助以下示出的多个现有方案进行更为深入的理解。
现有方案1，一种基于无人机的海上风机塔柱状态巡检方法和装置（CN109931909A），其对无人机航拍影像使用SIFT特征点检测及匹配的方法，关联多张图片中的风力发电机桨叶叶尖点，进而计算出风力发电机桨叶叶尖点的地理坐标，然而风力发电机所处环境复杂，无人机航拍影像所包含的特征复杂性无法估量。
现有方案2，一种应用无人机进行风轮偏航角的确定方法（CN113187671A），采用无人机激光点云的方式获取风力发电机三维模型，并确定风力发电机偏航角，然而该方法受制于激光物理特性，难以应用于高海拔、多雨雾的场景，且激光点云处理过程计算复杂度高，难以做到实时性分析。
现有方案3，一种基于深度学习的风力发电机叶尖定位方法及系统（CN112700498A），对风力发电机桨叶叶尖点使用目标检测模型进行定位，结合无人机经纬高及云台姿态计算风力发电机桨叶叶尖点地理坐标，但该方法使用Mask R-CNN实现目标检测，同样难以满足实时性计算要求，而且目标检测应用于风力发电机桨叶叶尖点位置检测时，存在目标检测框宽、高两个数据的无用冗余，并不完全切合业务场景，同时该方法极大程度依赖于深度学习模型，没有外部数据进行辅助纠偏，难以保证结果的准确性。
现有方案4，一种风电机组叶片巡检叶片区域路线自动飞行方法（CN112598637A），使用红外传感器区分风力发电机与背景，从而初步过滤风力发电机图像，但红外传感器只能划分风力发电机与背景，无法区分风力发电机的各个部件，无法准确获知风力发电机的位置与姿态信息。
基于上述现有方案存在的精度不能保障的问题，本申请提供了基于视觉感知的风力发电机测量方法、装置以及计算机可读存储介质，可应用于基于视觉感知的风力发电机测量设备，用于基于视觉感知技术，稳定且高精度地检测风力发电机的桨叶叶尖点，为后续的风力发电机的姿态处理还有巡检线路的规划提供精确的数据支持。
本申请提及的基于视觉感知的风力发电机测量方法，其执行主体可以为基于视觉感知的风力发电机测量装置，或者集成了该基于视觉感知的风力发电机测量装置的服务器、物理主机或者用户设备（User Equipment，UE）等不同类型的设备。其中，基于视觉感知的风力发电机测量装置可以采用硬件或者软件的方式实现，UE具体可以为智能手机、平板电脑、笔记本电脑、台式电脑或者个人数字助理（Personal Digital Assistant，PDA）等终端设备，基于视觉感知的风力发电机测量设备可以通过设备集群的方式设置。
作为一个实例，基于视觉感知的风力发电机测量设备，具体可以为与无人机控制方面相关的设备，例如无人机控制系统或者无人机控制器。
下面，开始介绍本申请提供的基于视觉感知的风力发电机测量方法。
首先，对于以下内容涉及的各参数进行了汇总，以方便查阅，如下面的表1所示。
表1-参数汇总表
Figure 451518DEST_PATH_IMAGE008
Figure 96126DEST_PATH_IMAGE009
参阅图1，图1示出了本申请基于视觉感知的风力发电机测量方法的一种流程示意图，本申请提供的基于视觉感知的风力发电机测量方法，具体可包括如下步骤S101至步骤S103：
步骤S101，获取无人机从风力发电机处采集的图像；
可以理解的是，关于此处获取的无人机从风力发电机处采集的图像，通俗来讲，为全貌图像，也就是囊括了整个风力发电机的图像。
而关于该图像的获取处理，在实际应用中，既可以是通过无人机的图像的实时采集处理，也可以是历史图像的调取处理，从这也可看出，步骤S101，还可以涉及到安排无人机的飞行任务，以采集风力发电机的图像。
对于风力发电机，其整体结构还可参考图2示出的本申请风力发电机的一种结构示意图，从图2可以看出，风力发电机主要可以包括杆塔、机舱、桨叶还有叶尖等主要部件。
步骤S102，将图像输入预先配置的桨叶叶尖点检测模型，以识别图像中的桨叶叶尖点，其中，桨叶叶尖点检测模型是由风力发电机全貌图
Figure 568827DEST_PATH_IMAGE010
与桨叶叶尖点掩膜
Figure 589872DEST_PATH_IMAGE011
组成图像掩膜对，训练初始模型识别输入图像的桨叶叶尖点得到的，并于训练过程中计算关键点的检测结果来计算损失函数数值以此优化模型参数；
可以理解的是，检测模型的常规设计中，是将标注有桨叶叶尖点的样本图像作为训练集（如风力发电机全貌图
Figure 448107DEST_PATH_IMAGE010
与桨叶叶尖点掩膜
Figure 14349DEST_PATH_IMAGE011
组成图像掩膜对）来训练初始模型的。
而本申请则是基于该训练方式，对训练过程进行了进一步的优化设计，于训练过程中计算关键点的检测结果，基于检测结果计算损失函数数值，再基于损失函数计算结果优化模型参数，在该训练机制下，可以使得在风力发电机桨叶叶尖点地理位置的解算（检测）过程中，同时应用风力发电机基本参数与关键点检测模型识别结果，降低了完全依赖人工智能模型的风险，实现数据间相互纠偏，通过像素级位置检测，降低了信息冗余，使技术内容更贴近业务场景，引入人工智能算法提升了对复杂场景的适应性，提高风力发电机桨叶叶尖点地理位置的解算（检测）精度。
此外，对于模型本身，本申请还可继续对其进行优化配置，作为一种适于实用的实现方式，本申请可以采用Multi-Stage策略设计桨叶叶尖点检测模型，桨叶叶尖点检测模型的模型三层结构具体可以分别为特征抽取重组层、非线性映射层及关键点检测重组层，而对于这三者，具体可以配置如下：
特征抽取重组层使用单层卷积结构，使用尺寸为
Figure 692455DEST_PATH_IMAGE012
的卷积核
Figure 517191DEST_PATH_IMAGE013
，偏置项矢量为
Figure 980665DEST_PATH_IMAGE014
，用于抽取输入图像中的特征，并将特征重组为特征矩阵，以用于非线性映射；
非线性映射层使用尺寸为
Figure 232654DEST_PATH_IMAGE015
的卷积核
Figure 663636DEST_PATH_IMAGE016
，偏置项矢量为
Figure 514567DEST_PATH_IMAGE017
，用于将特征抽取重层输出的特征重映射为关键点检测重组层的所需特征；
关键点检测重组层使用尺寸为
Figure 612973DEST_PATH_IMAGE018
的卷积核
Figure 770285DEST_PATH_IMAGE019
，偏置项矢量为
Figure 439295DEST_PATH_IMAGE020
，用于将重映射后的特征转换为关键点检测预测矩阵，并使用Sigmoid算法将关键点检测预测矩阵转换为关键点检测预测掩膜；
特征抽取重组层、非线性映射层、关键点检测重组层以及Sigmoid算法的数学定义为：
Figure 340255DEST_PATH_IMAGE021
。
在该模型架构下，可以从模型本身出发，提高对输入图像中的桨叶叶尖点的检测效率还有检测精度。
其中，还可结合图3示出的本申请桨叶叶尖点检测模型的一种检测流程示意图来理解桨叶叶尖点检测模型其处理逻辑。
进一步的，从图3中还可看出，关键点检测重组层还可以涉及热力图的处理，作为又一种适于实用的实现方式，关于关键点检测重组层的处理，具体还可以包括以下内容：
关键点检测重组层对桨叶叶尖点热力图使用图像细化处理后，获取叶尖点像素坐标
Figure 293167DEST_PATH_IMAGE022
，并将桨叶叶尖点像素坐标
Figure 621380DEST_PATH_IMAGE023
转化为桨叶叶尖点实际坐标
Figure 777686DEST_PATH_IMAGE024
，图像细化处理过程中依据目标点周边的8个相邻点的情况来判断该点是否可以去除，结合图4示出的本申请图像细化处理的一种实例示意图，对应判据策略具体可以包括：
内部点不能删除，如图4中a区域中的中心点不可删除；
孤立点不能删除，如图4中b区域中的中心点不可删除；
直线端点不能删除，如图4中c区域中的中心点不可删除；
如果去掉目标点后，连通分量不增加，则删除目标点，如图4中d区域中的中心点可删除。
可以理解，基于该判据策略的图像细化处理下，关键点检测重组层可以在将桨叶叶尖点像素坐标
Figure 216758DEST_PATH_IMAGE025
转化为桨叶叶尖点实际坐标
Figure 24177DEST_PATH_IMAGE026
的过程中，进行更为细腻、精确的处理，由此得到更为精确的桨叶叶尖点实际坐标
Figure 274024DEST_PATH_IMAGE027
。
而对于关键点检测重组层其桨叶叶尖点像素坐标
Figure 901314DEST_PATH_IMAGE028
转化为桨叶叶尖点实际坐标
Figure 409656DEST_PATH_IMAGE029
的处理，作为又一种适于实用的实现方式，具体可以包括以下内容：
设成像中心矢量为
Figure 553805DEST_PATH_IMAGE030
，其中：
Figure 223821DEST_PATH_IMAGE031
，
Figure 603986DEST_PATH_IMAGE032
为图像纵向分辨率，
Figure 650440DEST_PATH_IMAGE033
为图像横向分辨率，
Figure 917604DEST_PATH_IMAGE034
为相机dfov角度，
设桨叶叶尖点像素坐标相对成像中心所矢量为
Figure 758521DEST_PATH_IMAGE035
，其中：
Figure 625983DEST_PATH_IMAGE036
，
设桨叶叶尖点实际坐标相对视中心矢量为
Figure 961281DEST_PATH_IMAGE037
，其中：
Figure 332219DEST_PATH_IMAGE038
；
设中心矢量
Figure 609617DEST_PATH_IMAGE039
，其中：
Figure 449528DEST_PATH_IMAGE040
，
Figure 103363DEST_PATH_IMAGE041
为第
Figure 328808DEST_PATH_IMAGE042
个航路点无人机云台旋转角，
Figure 519050DEST_PATH_IMAGE043
为第
Figure 95525DEST_PATH_IMAGE042
个航路点无人机云台俯仰角，
Figure 21893DEST_PATH_IMAGE044
为第
Figure 367423DEST_PATH_IMAGE042
个航路点无人机云台偏航角，
设全貌图中桨叶叶尖点像素坐标与成像中心所形成的夹角
Figure 471777DEST_PATH_IMAGE045
，与航线点、桨叶叶尖点实际坐标和视中心三者所形成的夹角
Figure 535548DEST_PATH_IMAGE046
相等，其中：
Figure 531186DEST_PATH_IMAGE047
，
基于上式应用三角测量定位求解，求得桨叶叶尖点实际坐标
Figure 481955DEST_PATH_IMAGE048
。
对于此处涉及的三角测量定位处理，还可结合图5示出的本申请三角测量原理的一种场景示意图进行理解。
可以理解，本申请在此处为精确的桨叶叶尖点实际坐标
Figure 6477DEST_PATH_IMAGE049
的精确提取，提供了一套具体的落地方案。
步骤S103，提取桨叶叶尖点检测模型输出的桨叶叶尖点检测结果，桨叶叶尖点检测结果以坐标形式进行配置。
在通过桨叶叶尖点，即在获得了桨叶叶尖点检测模型输出的桨叶叶尖点检测结果后，则可基于该检测结果，进行后续的应用，如风力发电机的姿态处理还有巡检线路的规划，从而为后续的风力发电机的姿态处理还有巡检线路的规划提供精确的数据支持。
其中，可以理解的是，桨叶叶尖点检测模型具体可以是以坐标数据的方式进行桨叶叶尖点的检测的，对应的，检测结果则以坐标形式进行配置、体现。
从图1所示实施例可看出，针对于风力发电机的位置检测，本申请配置了一桨叶叶尖点检测模型，其是由风力发电机全貌图
Figure 557545DEST_PATH_IMAGE050
与桨叶叶尖点掩膜
Figure 576447DEST_PATH_IMAGE051
组成图像掩膜对，训练初始模型识别输入图像的桨叶叶尖点得到的，并于训练过程中计算关键点的检测结果来计算损失函数数值以此优化模型参数，基于该模型检测输入图像中的风力发电机桨叶叶尖点的过程中，由于同时应用风力发电机基本参数与关键点检测模型识别结果，降低了完全依赖人工智能模型的风险，实现数据间相互纠偏，通过像素级位置检测，降低了信息冗余，使技术内容更贴近业务场景，引入人工智能算法提升了对复杂场景的适应性，从而可以基于视觉感知技术，稳定且高精度地检测风力发电机的桨叶叶尖点，为后续的风力发电机的姿态处理还有巡检线路的规划提供精确的数据支持。
在确定了风力发电机其桨叶叶尖点的具体位置后，本申请还可结合风力发电机其桨叶叶尖点的具体位置，继续进行风力发电机的姿态处理。
具体的，作为又一种适于实用的实现方式，桨叶叶尖点检测模型输出的桨叶叶尖点检测结果具体可以包括风力发电机桨叶叶尖点
Figure 162149DEST_PATH_IMAGE052
，
Figure 123152DEST_PATH_IMAGE053
，对应的，方法还可以包括以下内容：
通过下式计算当前风力发电机机舱朝向矢量
Figure 909318DEST_PATH_IMAGE054
，计算方式如下：
Figure 715600DEST_PATH_IMAGE055
，
Figure 155809DEST_PATH_IMAGE056
为风力发电机机舱中心点X坐标，
Figure 772866DEST_PATH_IMAGE057
为风力发电机机舱中心点Y坐标，
Figure 298525DEST_PATH_IMAGE058
为风力发电机机舱中心点Z坐标，n为航路点序号；
默认风力发电机机舱处于初始状态时，机舱朝向正南方向，即机舱朝向矢量
Figure 908498DEST_PATH_IMAGE059
朝向正南方向，此时则可结合风力发电机桨叶叶尖点
Figure 937634DEST_PATH_IMAGE060
和当前风力发电机机舱朝向矢量
Figure 991172DEST_PATH_IMAGE061
，通过下式计算风力发电机机舱当前偏航角
Figure 738548DEST_PATH_IMAGE062
：
Figure 417791DEST_PATH_IMAGE063
；
通过下式计算各风力发电机桨叶朝向矢量
Figure 52166DEST_PATH_IMAGE064
：
Figure 525872DEST_PATH_IMAGE065
；
对于此处涉及的风力发电机机舱当前偏航角
Figure 760545DEST_PATH_IMAGE066
的处理，还可结合图6示出的本申请风力发电机机舱偏航角计算处理的一种场景示意图进行理解。
设风力发电机桨叶处于初始状态时，存在风力发电机桨叶指向铅垂方向，即桨叶默认朝向矢量
Figure 731561DEST_PATH_IMAGE067
朝向铅垂方向，结合各风力发电机桨叶朝向矢量
Figure 735290DEST_PATH_IMAGE068
，通过下式计算风力发电机桨叶当前旋转角
Figure 379897DEST_PATH_IMAGE069
：
Figure 836287DEST_PATH_IMAGE070
。
对于此处涉及的风力发电机桨叶当前旋转角
Figure 342485DEST_PATH_IMAGE071
的处理，还可结合图7示出的本申请风力发电机桨叶旋转角计算处理的一种场景示意图进行理解。
可以看到，此处实施例为风力发电机的风力发电机机舱当前偏航角
Figure 466299DEST_PATH_IMAGE072
还有风力发电机桨叶旋转角
Figure 281808DEST_PATH_IMAGE073
这两种姿态参数的精确计算，提供了一套具体的落地方案。
进一步的，本申请还可涉及最开始的无人机的航拍线路的规划处理。
作为又一种适于实用的实现方式，在步骤S101之前，还可以包括以下内容：
1.通过定位测量仪（如GPS定位测量仪）获取风力发电机底部的经度
Figure 976226DEST_PATH_IMAGE074
及纬度
Figure 535383DEST_PATH_IMAGE075
；
2.测量风力发电机机舱的高度
Figure 513704DEST_PATH_IMAGE076
，其中：
Figure 985268DEST_PATH_IMAGE077
，
Figure 681828DEST_PATH_IMAGE078
，设定与风力发电机底部处于同一水平面的测量点，D为测量点与风力发电机的水平距离，H为测量点距地面高度，
Figure 779097DEST_PATH_IMAGE079
为风力发电机机舱到测量点的连线与铅垂线之间的夹角，
Figure 611924DEST_PATH_IMAGE080
为风力发电机底部到测量点的连线与铅垂线之间的夹角；
3.于测量点处对风力发电机全貌进行拍摄，基于拍摄的图像根据风力发电机杆塔与桨叶的像素比例关系，通过下式计算风力发电机桨叶长度：
Figure 251459DEST_PATH_IMAGE081
，
Figure 435316DEST_PATH_IMAGE082
为拍摄的图像中风力发电机杆塔的像素值，风力发电机桨叶像素值为
Figure 336276DEST_PATH_IMAGE083
,
Figure 774342DEST_PATH_IMAGE084
,
Figure 102555DEST_PATH_IMAGE085
；
对于此处涉及的风力发电机机舱的高度
Figure 508128DEST_PATH_IMAGE086
还有无人机处于航线中的拍摄距离
Figure 963511DEST_PATH_IMAGE087
的处理，还可结合图8示出的本申请风力发电机参数测量处理的一种场景示意图进行理解。
4.通过下式计算无人机处于航线中的拍摄距离
Figure 770930DEST_PATH_IMAGE088
：
Figure 270045DEST_PATH_IMAGE089
，
Figure 913647DEST_PATH_IMAGE090
为图像纵向分辨率，
Figure 421989DEST_PATH_IMAGE091
为图像横向分辨率，
Figure 818335DEST_PATH_IMAGE092
为相机dfov角度；
可以理解，为保证无人机处于航线中各航路点位置时，能拍摄完整的风力发电机全貌图，需计算恰当的拍摄距离
Figure 488351DEST_PATH_IMAGE093
，无人机距风力发电机的拍照距离
Figure 368318DEST_PATH_IMAGE094
应使得可视域范围能够完整包含以风力发电机机舱为圆心、以桨叶长度
Figure 414772DEST_PATH_IMAGE095
为半径的圆形区域，即
Figure 931204DEST_PATH_IMAGE096
应满足以下条件：
Figure 522853DEST_PATH_IMAGE097
，
从而可以推得：
Figure 390315DEST_PATH_IMAGE098
。
对于此处涉及的拍摄距离
Figure 974880DEST_PATH_IMAGE099
的处理，还可结合图9示出的本申请拍摄距离
Figure 345818DEST_PATH_IMAGE100
计算处理的一种场景示意图进行理解。
5.为避免无人机沿航线飞行过程中与风力发电机相撞，对航线起始点进行偏置，记偏置后航线点坐标为
Figure 373948DEST_PATH_IMAGE101
，通过下式使得偏置后的航线点与风力发电机机舱的水平距离为
Figure 197548DEST_PATH_IMAGE102
，且航线点与风力发电机机舱处于同一高度：
Figure 585804DEST_PATH_IMAGE103
，
Figure 827561DEST_PATH_IMAGE104
为风力发电机机舱中心点X坐标，
Figure 10280DEST_PATH_IMAGE105
为风力发电机机舱中心点Y坐标，
Figure 586755DEST_PATH_IMAGE106
为风力发电机机舱中心点Z坐标，
Figure 792084DEST_PATH_IMAGE107
为航线起始点X坐标，
Figure 872035DEST_PATH_IMAGE108
为航线起始点Y坐标，
Figure 756815DEST_PATH_IMAGE109
为航线起始点Z坐标；
6.通过下式依次推出各航线点，形成无人机从风力发电机处采集图像的所需航线线路：
Figure 305739DEST_PATH_IMAGE110
，
Figure 301377DEST_PATH_IMAGE111
为当前航线点，
Figure 235835DEST_PATH_IMAGE112
为下一个航线点，
Figure 42248DEST_PATH_IMAGE113
为当前航线点
Figure 62156DEST_PATH_IMAGE114
与风力发电机机舱之间的夹角。
对于此处涉及的无人机的航线的处理，还可结合图10示出的本申请无人机的航线规划处理的一种场景示意图进行理解。
进一步的，对于这里
Figure 595906DEST_PATH_IMAGE115
的计算处理，作为又一种适于实用的实现方式，为留出余量空间，保证相机拍摄效果的适应性及确保沿航线飞行过程安全性，通过下式对
Figure 916029DEST_PATH_IMAGE116
进行优化调整：
Figure 627764DEST_PATH_IMAGE117
。
可以看到，这里的优化调整中，是对
Figure 400548DEST_PATH_IMAGE118
进行了适当放大，以进一步保障其距离效果。
为更好地理解以上方案内容，包括各示例性的方案内容，还可参考图11示出的本申请基于视觉感知的风力发电机测量方法的一种场景示意图进行更为深入的理解。
以上是本申请提供基于视觉感知的风力发电机测量方法的介绍，为便于更好的实施本申请提供的基于视觉感知的风力发电机测量方法，本申请还从功能模块角度提供了一种基于视觉感知的风力发电机测量装置。
参阅图12，图12为本申请基于视觉感知的风力发电机测量装置的一种结构示意图，在本申请中，基于视觉感知的风力发电机测量装置1200具体可包括如下结构：
获取单元1201，用于获取无人机从风力发电机处采集的图像；
检测单元1202，用于将图像输入预先配置的桨叶叶尖点检测模型，以识别图像中的桨叶叶尖点，其中，桨叶叶尖点检测模型是由风力发电机全貌图
Figure 472409DEST_PATH_IMAGE119
与桨叶叶尖点掩膜
Figure 666280DEST_PATH_IMAGE120
组成图像掩膜对，训练初始模型识别输入图像的桨叶叶尖点得到的，并于训练过程中计算关键点的检测结果来计算损失函数数值以此优化模型参数；
提取单元1203，用于提取桨叶叶尖点检测模型输出的桨叶叶尖点检测结果，桨叶叶尖点检测结果以坐标形式进行配置。
在一种示例性的实现方式中，桨叶叶尖点检测模型的模型三层结构分别为特征抽取重组层、非线性映射层及关键点检测重组层；
特征抽取重组层使用单层卷积结构，使用尺寸为
Figure 532605DEST_PATH_IMAGE121
的卷积核
Figure 58264DEST_PATH_IMAGE122
，偏置项矢量为
Figure 418969DEST_PATH_IMAGE123
，用于抽取输入图像中的特征，并将特征重组为特征矩阵，以用于非线性映射；
非线性映射层使用尺寸为
Figure 448105DEST_PATH_IMAGE124
的卷积核
Figure 750911DEST_PATH_IMAGE125
，偏置项矢量为
Figure 498287DEST_PATH_IMAGE126
，用于将特征抽取重层输出的特征重映射为关键点检测重组层的所需特征；
关键点检测重组层使用尺寸为
Figure 928262DEST_PATH_IMAGE127
的卷积核
Figure 811905DEST_PATH_IMAGE128
，偏置项矢量为
Figure 551190DEST_PATH_IMAGE129
，用于将重映射后的特征转换为关键点检测预测矩阵，并使用Sigmoid算法将关键点检测预测矩阵转换为关键点检测预测掩膜；
特征抽取重组层、非线性映射层、关键点检测重组层以及Sigmoid算法的数学定义为：
Figure 271016DEST_PATH_IMAGE130
。
在又一种示例性的实现方式中，关键点检测重组层涉及热力图的处理，关键点检测重组层对桨叶叶尖点热力图使用图像细化处理后，获取叶尖点像素坐标
Figure 488371DEST_PATH_IMAGE131
，并将桨叶叶尖点像素坐标
Figure 492099DEST_PATH_IMAGE132
转化为桨叶叶尖点实际坐标
Figure 884509DEST_PATH_IMAGE133
，图像细化处理过程中依据目标点周边的8个相邻点的情况来判断该点是否可以去除，对应判据策略包括：
内部点不能删除；
孤立点不能删除；
直线端点不能删除；
如果去掉目标点后，连通分量不增加，则删除目标点。
在又一种示例性的实现方式中，桨叶叶尖点像素坐标
Figure 340899DEST_PATH_IMAGE134
转化为桨叶叶尖点实际坐标
Figure 96365DEST_PATH_IMAGE135
的处理包括以下内容：
设成像中心矢量为
Figure 970911DEST_PATH_IMAGE136
，其中：
Figure 52000DEST_PATH_IMAGE137
，
Figure 995685DEST_PATH_IMAGE138
为图像纵向分辨率，
Figure 289263DEST_PATH_IMAGE139
为图像横向分辨率，
Figure 752737DEST_PATH_IMAGE140
为相机dfov角度，
设桨叶叶尖点像素坐标相对成像中心所矢量为
Figure 4726DEST_PATH_IMAGE141
，其中：
Figure 717598DEST_PATH_IMAGE142
，
设桨叶叶尖点实际坐标相对视中心矢量为
Figure 80447DEST_PATH_IMAGE143
，其中：
Figure 913274DEST_PATH_IMAGE144
；
设中心矢量
Figure 609266DEST_PATH_IMAGE145
，其中：
Figure 793123DEST_PATH_IMAGE146
，
Figure 179236DEST_PATH_IMAGE147
为第
Figure 132149DEST_PATH_IMAGE148
个航路点无人机云台旋转角，
Figure 460362DEST_PATH_IMAGE149
为第
Figure 616668DEST_PATH_IMAGE148
个航路点无人机云台俯仰角，
Figure 321319DEST_PATH_IMAGE150
为第
Figure 863158DEST_PATH_IMAGE148
个航路点无人机云台偏航角，
设全貌图中桨叶叶尖点像素坐标与成像中心所形成的夹角
Figure 362273DEST_PATH_IMAGE151
，与航线点、桨叶叶尖点实际坐标和视中心三者所形成的夹角
Figure 5875DEST_PATH_IMAGE152
相等，其中：
Figure 248637DEST_PATH_IMAGE153
，
基于上式应用三角测量定位求解，求得桨叶叶尖点实际坐标
Figure 910563DEST_PATH_IMAGE154
。
在又一种示例性的实现方式中，桨叶叶尖点检测结果具体包括风力发电机桨叶叶尖点
Figure 593961DEST_PATH_IMAGE155
，
Figure 974126DEST_PATH_IMAGE156
，装置还包括姿态确定单元1204，用于：
通过下式计算当前风力发电机机舱朝向矢量
Figure 755001DEST_PATH_IMAGE157
，计算方式如下：
Figure 22165DEST_PATH_IMAGE158
，
Figure 863082DEST_PATH_IMAGE159
为风力发电机机舱中心点X坐标，
Figure 730544DEST_PATH_IMAGE160
为风力发电机机舱中心点Y坐标，
Figure 315109DEST_PATH_IMAGE161
为风力发电机机舱中心点Z坐标，n为航路点序号；
默认风力发电机机舱处于初始状态时，机舱朝向矢量
Figure 702359DEST_PATH_IMAGE162
朝向正南方向，结合风力发电机桨叶叶尖点
Figure 714177DEST_PATH_IMAGE163
和当前风力发电机机舱朝向矢量
Figure 537777DEST_PATH_IMAGE164
，通过下式计算风力发电机机舱当前偏航角
Figure 942345DEST_PATH_IMAGE165
：
Figure 167790DEST_PATH_IMAGE166
；
通过下式计算各风力发电机桨叶朝向矢量
Figure 350509DEST_PATH_IMAGE167
：
Figure 926984DEST_PATH_IMAGE168
；
设风力发电机桨叶处于初始状态时，桨叶默认朝向矢量
Figure 872593DEST_PATH_IMAGE169
朝向铅垂方向，结合各风力发电机桨叶朝向矢量
Figure 952545DEST_PATH_IMAGE170
，通过下式计算风力发电机桨叶当前旋转角
Figure 571745DEST_PATH_IMAGE171
：
Figure 386248DEST_PATH_IMAGE172
。
在又一种示例性的实现方式中，装置还包括航线确定单元1205，用于：
通过定位测量仪获取风力发电机底部的经度
Figure 850728DEST_PATH_IMAGE173
及纬度
Figure 50765DEST_PATH_IMAGE174
；
测量风力发电机机舱的高度
Figure 840866DEST_PATH_IMAGE175
，其中：
Figure 877086DEST_PATH_IMAGE176
，
Figure 676415DEST_PATH_IMAGE177
，设定与风力发电机底部处于同一水平面的测量点，D为测量点与风力发电机的水平距离，H为测量点距地面高度，
Figure 730959DEST_PATH_IMAGE178
为风力发电机机舱到测量点的连线与铅垂线之间的夹角，
Figure 442694DEST_PATH_IMAGE179
为风力发电机底部到测量点的连线与铅垂线之间的夹角；
于测量点处对风力发电机全貌进行拍摄，基于拍摄的图像根据风力发电机杆塔与桨叶的像素比例关系，通过下式计算风力发电机桨叶长度：
Figure 481057DEST_PATH_IMAGE180
，
Figure 552918DEST_PATH_IMAGE181
为拍摄的图像中风力发电机杆塔的像素值，风力发电机桨叶像素值为
Figure 475351DEST_PATH_IMAGE182
,
Figure 872834DEST_PATH_IMAGE183
,
Figure 867335DEST_PATH_IMAGE184
；
通过下式计算无人机处于航线中的拍摄距离
Figure 759198DEST_PATH_IMAGE185
：
Figure 788334DEST_PATH_IMAGE186
，
Figure 91140DEST_PATH_IMAGE187
为图像纵向分辨率，
Figure 589248DEST_PATH_IMAGE188
为图像横向分辨率，
Figure 2912DEST_PATH_IMAGE189
为相机dfov角度；
为避免无人机沿航线飞行过程中与风力发电机相撞，对航线起始点进行偏置，记偏置后航线点坐标为
Figure 152134DEST_PATH_IMAGE190
，通过下式使得偏置后的航线点与风力发电机机舱的水平距离为
Figure 110994DEST_PATH_IMAGE191
，且航线点与风力发电机机舱处于同一高度：
Figure 345666DEST_PATH_IMAGE192
，
Figure 563020DEST_PATH_IMAGE193
为风力发电机机舱中心点X坐标，
Figure 301169DEST_PATH_IMAGE194
为风力发电机机舱中心点Y坐标，
Figure 976737DEST_PATH_IMAGE195
为风力发电机机舱中心点Z坐标，
Figure 433127DEST_PATH_IMAGE196
为航线起始点X坐标，
Figure 454172DEST_PATH_IMAGE197
为航线起始点Y坐标，
Figure 63139DEST_PATH_IMAGE198
为航线起始点Z坐标；
通过下式依次推出各航线点，形成无人机从风力发电机处采集图像的所需航线线路：
Figure 144228DEST_PATH_IMAGE199
，
Figure 822334DEST_PATH_IMAGE200
为当前航线点，
Figure 397803DEST_PATH_IMAGE201
为下一个航线点，
Figure 110544DEST_PATH_IMAGE202
为当前航线点
Figure 362533DEST_PATH_IMAGE203
与风力发电机机舱之间的夹角。
在又一种示例性的实现方式中，为留出余量空间，保证相机拍摄效果的适应性及确保沿航线飞行过程安全性，通过下式对
Figure 527936DEST_PATH_IMAGE204
进行优化调整：
Figure 641516DEST_PATH_IMAGE205
。
本申请还从硬件结构角度提供了一种基于视觉感知的风力发电机测量设备，参阅图13，图13示出了本申请基于视觉感知的风力发电机测量设备的一种结构示意图，具体的，本申请基于视觉感知的风力发电机测量设备可包括处理器1301、存储器1302以及输入输出设备1303，处理器1301用于执行存储器1302中存储的计算机程序时实现如图1对应实施例中基于视觉感知的风力发电机测量方法的各步骤；或者，处理器1301用于执行存储器1302中存储的计算机程序时实现如图12对应实施例中各单元的功能，存储器1302用于存储处理器1301执行上述图1对应实施例中基于视觉感知的风力发电机测量方法所需的计算机程序。
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器1302中，并由处理器1301执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。
基于视觉感知的风力发电机测量设备可包括，但不仅限于处理器1301、存储器1302、输入输出设备1303。本领域技术人员可以理解，示意仅仅是基于视觉感知的风力发电机测量设备的示例，并不构成对基于视觉感知的风力发电机测量设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如基于视觉感知的风力发电机测量设备还可以包括网络接入设备、总线等，处理器1301、存储器1302、输入输出设备1303等通过总线相连。
处理器1301可以是中央处理单元（Central Processing Unit，CPU），还可以是其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是基于视觉感知的风力发电机测量设备的控制中心，利用各种接口和线路连接整个设备的各个部分。
存储器1302可用于存储计算机程序和/或模块，处理器1301通过运行或执行存储在存储器1302内的计算机程序和/或模块，以及调用存储在存储器1302内的数据，实现计算机装置的各种功能。存储器1302可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据基于视觉感知的风力发电机测量设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart MediaCard，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器1301用于执行存储器1302中存储的计算机程序时，具体可实现以下功能：
获取无人机从风力发电机处采集的图像；
将图像输入预先配置的桨叶叶尖点检测模型，以识别图像中的桨叶叶尖点，其中，桨叶叶尖点检测模型是由风力发电机全貌图
Figure 208764DEST_PATH_IMAGE206
与桨叶叶尖点掩膜
Figure 631655DEST_PATH_IMAGE207
组成图像掩膜对，训练初始模型识别输入图像的桨叶叶尖点得到的，并于训练过程中计算关键点的检测结果来计算损失函数数值以此优化模型参数；
提取桨叶叶尖点检测模型输出的桨叶叶尖点检测结果，桨叶叶尖点检测结果以坐标形式进行配置。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的基于视觉感知的风力发电机测量装置、设备及其相应单元的具体工作过程，可以参考如图1对应实施例中基于视觉感知的风力发电机测量方法的说明，具体在此不再赘述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请如图1对应实施例中基于视觉感知的风力发电机测量方法的步骤，具体操作可参考如图1对应实施例中基于视觉感知的风力发电机测量方法的说明，在此不再赘述。
其中，该计算机可读存储介质可以包括：只读存储器（Read Only Memory，ROM）、随机存取记忆体（Random Access Memory，RAM）、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令，可以执行本申请如图1对应实施例中基于视觉感知的风力发电机测量方法的步骤，因此，可以实现本申请如图1对应实施例中基于视觉感知的风力发电机测量方法所能实现的有益效果，详见前面的说明，在此不再赘述。
以上对本申请提供的基于视觉感知的风力发电机测量方法、装置、设备以及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种基于视觉感知的风力发电机测量方法，其特征在于，所述方法包括：
获取无人机从风力发电机处采集的图像；
将所述图像输入预先配置的桨叶叶尖点检测模型，以识别所述图像中的桨叶叶尖点，其中，所述桨叶叶尖点检测模型是由风力发电机全貌图
Figure 562939DEST_PATH_IMAGE001
与桨叶叶尖点掩膜
Figure 891152DEST_PATH_IMAGE002
组成图像掩膜对，训练初始模型识别输入图像的桨叶叶尖点得到的，并于训练过程中计算关键点的检测结果来计算损失函数数值以此优化模型参数；
提取所述桨叶叶尖点检测模型输出的桨叶叶尖点检测结果，所述桨叶叶尖点检测结果以坐标形式进行配置。
2.根据权利要求1所述的方法，其特征在于，所述桨叶叶尖点检测模型的模型三层结构分别为特征抽取重组层、非线性映射层及关键点检测重组层；
所述特征抽取重组层使用单层卷积结构，使用尺寸为
Figure 296725DEST_PATH_IMAGE003
的卷积核
Figure 735797DEST_PATH_IMAGE004
，偏置项矢量为
Figure 293948DEST_PATH_IMAGE005
，用于抽取输入图像中的特征，并将特征重组为特征矩阵，以用于非线性映射；
所述非线性映射层使用尺寸为
Figure 793063DEST_PATH_IMAGE006
的卷积核
Figure 420353DEST_PATH_IMAGE007
，偏置项矢量为
Figure 679427DEST_PATH_IMAGE008
，用于将所述特征抽取重层输出的特征重映射为所述关键点检测重组层的所需特征；
所述关键点检测重组层使用尺寸为
Figure 341353DEST_PATH_IMAGE009
的卷积核
Figure 11369DEST_PATH_IMAGE010
，偏置项矢量为
Figure 873758DEST_PATH_IMAGE011
，用于将重映射后的特征转换为关键点检测预测矩阵，并使用Sigmoid算法将关键点检测预测矩阵转换为关键点检测预测掩膜；
所述特征抽取重组层、所述非线性映射层、所述关键点检测重组层以及所述Sigmoid算法的数学定义为：
Figure 920211DEST_PATH_IMAGE012
。
3.根据权利要求2所述的方法，其特征在于，所述关键点检测重组层涉及热力图的处理，所述关键点检测重组层对桨叶叶尖点热力图使用图像细化处理后，获取叶尖点像素坐标
Figure 702223DEST_PATH_IMAGE013
，并将桨叶叶尖点像素坐标
Figure 543140DEST_PATH_IMAGE014
转化为桨叶叶尖点实际坐标
Figure 630175DEST_PATH_IMAGE015
，所述图像细化处理过程中依据目标点周边的8个相邻点的情况来判断该点是否可以去除，对应判据策略包括：
内部点不能删除；
孤立点不能删除；
直线端点不能删除；
如果去掉所述目标点后，连通分量不增加，则删除所述目标点。
4.根据权利要求3所述的方法，其特征在于，所述桨叶叶尖点像素坐标
Figure 480320DEST_PATH_IMAGE016
转化为所述桨叶叶尖点实际坐标
Figure 851258DEST_PATH_IMAGE017
的处理包括以下内容：
设成像中心矢量为
Figure 879388DEST_PATH_IMAGE018
，其中：
Figure 968567DEST_PATH_IMAGE019
，
Figure 356823DEST_PATH_IMAGE020
为图像纵向分辨率，
Figure 598580DEST_PATH_IMAGE021
为图像横向分辨率，
Figure 781299DEST_PATH_IMAGE022
为相机dfov角度，
设桨叶叶尖点像素坐标相对成像中心所矢量为
Figure 357774DEST_PATH_IMAGE023
，其中：
Figure 284142DEST_PATH_IMAGE024
，
设桨叶叶尖点实际坐标相对视中心矢量为
Figure 637195DEST_PATH_IMAGE025
，其中：
Figure 521974DEST_PATH_IMAGE026
；
设中心矢量
Figure 70899DEST_PATH_IMAGE027
，其中：
Figure 800957DEST_PATH_IMAGE028
，
Figure 266574DEST_PATH_IMAGE029
为第
Figure 807407DEST_PATH_IMAGE030
个航路点无人机云台旋转角，
Figure 92895DEST_PATH_IMAGE031
为第
Figure 626645DEST_PATH_IMAGE030
个航路点无人机云台俯仰角，
Figure 681189DEST_PATH_IMAGE032
为第
Figure 392924DEST_PATH_IMAGE030
个航路点无人机云台偏航角，
设全貌图中所述桨叶叶尖点像素坐标与所述成像中心所形成的夹角
Figure 165708DEST_PATH_IMAGE033
，与航线点、所述桨叶叶尖点实际坐标和所述视中心三者所形成的夹角
Figure 237569DEST_PATH_IMAGE034
相等，其中：
Figure 160001DEST_PATH_IMAGE035
，
基于上式应用三角测量定位求解，求得所述桨叶叶尖点实际坐标
Figure 291905DEST_PATH_IMAGE036
。
5.根据权利要求1所述的方法，其特征在于，所述桨叶叶尖点检测结果具体包括风力发电机桨叶叶尖点
Figure 551985DEST_PATH_IMAGE037
，
Figure 427537DEST_PATH_IMAGE038
，所述方法还包括：
通过下式计算当前风力发电机机舱朝向矢量
Figure 941826DEST_PATH_IMAGE039
，计算方式如下：
Figure 244632DEST_PATH_IMAGE040
，
Figure 992008DEST_PATH_IMAGE041
为风力发电机机舱中心点X坐标，
Figure 156404DEST_PATH_IMAGE042
为风力发电机机舱中心点Y坐标，
Figure 40046DEST_PATH_IMAGE043
为风力发电机机舱中心点Z坐标，n为航路点序号；
默认风力发电机机舱处于初始状态时，机舱朝向矢量
Figure 513753DEST_PATH_IMAGE044
朝向正南方向，结合所述风力发电机桨叶叶尖点
Figure 748425DEST_PATH_IMAGE045
和所述当前风力发电机机舱朝向矢量
Figure 716512DEST_PATH_IMAGE046
，通过下式计算风力发电机机舱当前偏航角
Figure 454661DEST_PATH_IMAGE047
：
Figure 99269DEST_PATH_IMAGE048
；
通过下式计算各风力发电机桨叶朝向矢量
Figure 555658DEST_PATH_IMAGE049
：
Figure 330366DEST_PATH_IMAGE050
；
设风力发电机桨叶处于初始状态时，桨叶默认朝向矢量
Figure 188601DEST_PATH_IMAGE051
朝向铅垂方向，结合所述各风力发电机桨叶朝向矢量
Figure 4110DEST_PATH_IMAGE052
，通过下式计算风力发电机桨叶当前旋转角
Figure 698528DEST_PATH_IMAGE053
：
Figure 523264DEST_PATH_IMAGE054
。
6.根据权利要求1所述的方法，其特征在于，所述获取无人机从风力发电机处采集的图像之前，所述方法还包括：
通过定位测量仪获取所述风力发电机底部的经度
Figure 236005DEST_PATH_IMAGE055
及纬度
Figure 973148DEST_PATH_IMAGE056
；
测量所述风力发电机机舱的高度
Figure 138550DEST_PATH_IMAGE057
，其中：
Figure 235819DEST_PATH_IMAGE058
，
Figure 334225DEST_PATH_IMAGE059
，设定与所述风力发电机底部处于同一水平面的测量点，D为所述测量点与所述风力发电机的水平距离，H为所述测量点距地面高度，
Figure 242270DEST_PATH_IMAGE060
为所述风力发电机机舱到所述测量点的连线与铅垂线之间的夹角，
Figure 160547DEST_PATH_IMAGE061
为所述风力发电机底部到所述测量点的连线与铅垂线之间的夹角；
于所述测量点处对所述风力发电机全貌进行拍摄，基于拍摄的图像根据风力发电机杆塔与桨叶的像素比例关系，通过下式计算风力发电机桨叶长度：
Figure 61507DEST_PATH_IMAGE062
，
Figure 762222DEST_PATH_IMAGE063
为所述拍摄的图像中所述风力发电机杆塔的像素值，风力发电机桨叶像素值为
Figure 90435DEST_PATH_IMAGE064
,
Figure 230430DEST_PATH_IMAGE065
,
Figure 685813DEST_PATH_IMAGE066
；
通过下式计算无人机处于航线中的拍摄距离
Figure 227653DEST_PATH_IMAGE067
：
Figure 726767DEST_PATH_IMAGE068
，
Figure 354058DEST_PATH_IMAGE069
为图像纵向分辨率，
Figure 613132DEST_PATH_IMAGE070
为图像横向分辨率，
Figure 275057DEST_PATH_IMAGE071
为相机dfov角度；
为避免无人机沿航线飞行过程中与风力发电机相撞，对航线起始点进行偏置，记偏置后航线点坐标为
Figure 945073DEST_PATH_IMAGE072
，通过下式使得偏置后的航线点与所述风力发电机机舱的水平距离为
Figure 75971DEST_PATH_IMAGE073
，且所述航线点与所述风力发电机机舱处于同一高度：
Figure 122425DEST_PATH_IMAGE074
，
Figure 638857DEST_PATH_IMAGE075
为风力发电机机舱中心点X坐标，
Figure 510734DEST_PATH_IMAGE076
为风力发电机机舱中心点Y坐标，
Figure 378196DEST_PATH_IMAGE077
为风力发电机机舱中心点Z坐标，
Figure 228340DEST_PATH_IMAGE078
为航线起始点X坐标，
Figure 350011DEST_PATH_IMAGE079
为航线起始点Y坐标，
Figure 627408DEST_PATH_IMAGE080
为航线起始点Z坐标；
通过下式依次推出各航线点，形成所述无人机从所述风力发电机处采集图像的所需航线线路：
Figure 716587DEST_PATH_IMAGE081
，
Figure 855576DEST_PATH_IMAGE082
为当前航线点，
Figure 346600DEST_PATH_IMAGE083
为下一个航线点，
Figure 794899DEST_PATH_IMAGE084
为所述当前航线点
Figure 122106DEST_PATH_IMAGE085
与所述风力发电机机舱之间的夹角。
7.根据权利要求6所述的方法，其特征在于，为留出余量空间，保证相机拍摄效果的适应性及确保沿航线飞行过程安全性，通过下式对
Figure 48474DEST_PATH_IMAGE086
进行优化调整：
Figure 394004DEST_PATH_IMAGE087
。
8.一种基于视觉感知的风力发电机测量装置，其特征在于，所述装置包括：
获取单元，用于获取无人机从风力发电机处采集的图像；
检测单元，用于将所述图像输入预先配置的桨叶叶尖点检测模型，以识别所述图像中的桨叶叶尖点，其中，所述桨叶叶尖点检测模型是由风力发电机全貌图
Figure 761007DEST_PATH_IMAGE088
与桨叶叶尖点掩膜
Figure 559199DEST_PATH_IMAGE089
组成图像掩膜对，训练初始模型识别输入图像的桨叶叶尖点得到的，并于训练过程中计算关键点的检测结果来计算损失函数数值以此优化模型参数；
提取单元，用于提取所述桨叶叶尖点检测模型输出的桨叶叶尖点检测结果，所述桨叶叶尖点检测结果以坐标形式进行配置。
9.一种基于视觉感知的风力发电机测量设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至7任一项所述的方法。
CN202210639336.7A 2022-06-08 2022-06-08 一种基于视觉感知的风力发电机测量方法、装置以及设备 Active CN114723184B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210639336.7A CN114723184B (zh) 2022-06-08 2022-06-08 一种基于视觉感知的风力发电机测量方法、装置以及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210639336.7A CN114723184B (zh) 2022-06-08 2022-06-08 一种基于视觉感知的风力发电机测量方法、装置以及设备

Publications (2)

Publication Number Publication Date
CN114723184A true CN114723184A (zh) 2022-07-08
CN114723184B CN114723184B (zh) 2022-10-11

Family

ID=82232697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210639336.7A Active CN114723184B (zh) 2022-06-08 2022-06-08 一种基于视觉感知的风力发电机测量方法、装置以及设备

Country Status (1)

Country Link
CN (1) CN114723184B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117934482A (zh) * 2024-03-25 2024-04-26 云南能源投资股份有限公司 一种风电机的雷击概率预测方法、装置、设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4848019A (en) * 1988-12-12 1989-07-18 Paul Toogood Automatic worm hooker
US5586407A (en) * 1995-05-08 1996-12-24 Raymond; Anthony E. Swatter and method of using the same
CN110163177A (zh) * 2019-05-28 2019-08-23 李峥嵘 一种风电机组叶片无人机自动感知识别方法
CN110189315A (zh) * 2019-05-28 2019-08-30 李峥嵘 一种风电机组叶片无人机自动定位方法
CN112598637A (zh) * 2020-12-21 2021-04-02 华能安阳能源有限责任公司 一种风电机组叶片巡检叶片区域路线自动飞行方法
CN112700498A (zh) * 2021-01-14 2021-04-23 中广核风电有限公司 一种基于深度学习的风力发电机叶尖定位方法及系统
CN112904877A (zh) * 2021-01-14 2021-06-04 星闪世图(台州)科技有限公司 一种基于无人机的风机叶片自动巡检系统及方法
CN113158564A (zh) * 2021-04-19 2021-07-23 南京航空航天大学 基于数据驱动的航空发动机状态变量模型建立方法
CN113324548A (zh) * 2021-05-27 2021-08-31 南京韦博智控科技有限公司 一种风力发电机叶片巡检路径的规划方法
CN113723192A (zh) * 2021-07-30 2021-11-30 鹏城实验室 一种风机运行状态下叶片图像采集方法
CN114020002A (zh) * 2021-12-20 2022-02-08 复亚智能科技(太仓)有限公司 无人机巡检风机叶片的方法、装置、设备、无人机及介质
CN114463308A (zh) * 2022-02-09 2022-05-10 广东数字生态科技有限责任公司 一种无人机视角光伏组件视觉检测方法、装置及处理设备

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4848019A (en) * 1988-12-12 1989-07-18 Paul Toogood Automatic worm hooker
US5586407A (en) * 1995-05-08 1996-12-24 Raymond; Anthony E. Swatter and method of using the same
CN110163177A (zh) * 2019-05-28 2019-08-23 李峥嵘 一种风电机组叶片无人机自动感知识别方法
CN110189315A (zh) * 2019-05-28 2019-08-30 李峥嵘 一种风电机组叶片无人机自动定位方法
CN112598637A (zh) * 2020-12-21 2021-04-02 华能安阳能源有限责任公司 一种风电机组叶片巡检叶片区域路线自动飞行方法
CN112700498A (zh) * 2021-01-14 2021-04-23 中广核风电有限公司 一种基于深度学习的风力发电机叶尖定位方法及系统
CN112904877A (zh) * 2021-01-14 2021-06-04 星闪世图(台州)科技有限公司 一种基于无人机的风机叶片自动巡检系统及方法
CN113158564A (zh) * 2021-04-19 2021-07-23 南京航空航天大学 基于数据驱动的航空发动机状态变量模型建立方法
CN113324548A (zh) * 2021-05-27 2021-08-31 南京韦博智控科技有限公司 一种风力发电机叶片巡检路径的规划方法
CN113723192A (zh) * 2021-07-30 2021-11-30 鹏城实验室 一种风机运行状态下叶片图像采集方法
CN114020002A (zh) * 2021-12-20 2022-02-08 复亚智能科技(太仓)有限公司 无人机巡检风机叶片的方法、装置、设备、无人机及介质
CN114463308A (zh) * 2022-02-09 2022-05-10 广东数字生态科技有限责任公司 一种无人机视角光伏组件视觉检测方法、装置及处理设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
康磊等: "山地风电场风力发电机组叶片无人机智能巡检", 《云南水力发电》 *
李栋等: "无人机输电线路巡检中安全距离测量方法", 《广西大学学报(自然科学版)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117934482A (zh) * 2024-03-25 2024-04-26 云南能源投资股份有限公司 一种风电机的雷击概率预测方法、装置、设备及存储介质
CN117934482B (zh) * 2024-03-25 2024-05-28 云南能源投资股份有限公司 一种风电机的雷击概率预测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN114723184B (zh) 2022-10-11

Similar Documents

Publication Publication Date Title
CN111289533B (zh) 风机叶片的巡检方法、装置、无人机和存储介质
JP6918672B2 (ja) 劣化診断システム
CN107314762B (zh) 基于无人机单目序列影像的电力线下方地物距离检测方法
US20220077820A1 (en) Method and system for soar photovoltaic power station monitoring
CN112904877A (zh) 一种基于无人机的风机叶片自动巡检系统及方法
CN110189315B (zh) 一种风电机组叶片无人机自动定位方法
CN106762451A (zh) 基于无人机的风机叶片损伤检测方法、装置及系统
JP6877293B2 (ja) 位置情報記録方法および装置
CN113610749B (zh) 基于神经网络的风机叶片缺陷检测方法
CN102426019A (zh) 一种无人机景象匹配辅助导航方法及系统
JP2015170364A (ja) 仮想参照画像を用いた位置及び向きの検出のための方法
CN110619678A (zh) 一种基于点云匹配的电力杆塔巡检航迹生成方法
CN107564111A (zh) 基于计算机视觉的电力线空间安全分析方法
CN114463308B (zh) 一种无人机视角光伏组件视觉检测方法、装置及处理设备
CN109871739B (zh) 基于yolo-sioctl的机动站自动目标检测与空间定位方法
CN112923928B (zh) 一种基于图像识别的光伏板导航方法、装置、电子设备及存储介质
CN114723184B (zh) 一种基于视觉感知的风力发电机测量方法、装置以及设备
CN114004977A (zh) 一种基于深度学习的航拍数据目标定位方法及系统
CN112700498A (zh) 一种基于深度学习的风力发电机叶尖定位方法及系统
CN114757454B (zh) 一种风力发电机的无人机巡检航线生成方法、装置及设备
CN114564049A (zh) 一种基于深度学习的无人机广域搜索的装置及方法
CN109883400B (zh) 基于yolo-sitcol的固定站自动目标检测与空间定位方法
CN107767366A (zh) 一种输电线路拟合方法及装置
CN116524382A (zh) 一种桥梁转体合拢准确性检验方法系统、设备
CN113418448B (zh) 一种破片分布检测系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant