CN117386567B - 一种风机叶片检测方法及系统 - Google Patents
一种风机叶片检测方法及系统 Download PDFInfo
- Publication number
- CN117386567B CN117386567B CN202311690467.9A CN202311690467A CN117386567B CN 117386567 B CN117386567 B CN 117386567B CN 202311690467 A CN202311690467 A CN 202311690467A CN 117386567 B CN117386567 B CN 117386567B
- Authority
- CN
- China
- Prior art keywords
- fan blade
- blade
- flying
- robot
- crawling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 190
- 230000009193 crawling Effects 0.000 claims abstract description 174
- 238000000034 method Methods 0.000 claims abstract description 58
- 230000000007 visual effect Effects 0.000 claims abstract description 19
- 238000004891 communication Methods 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 18
- 230000011218 segmentation Effects 0.000 claims description 16
- 230000007246 mechanism Effects 0.000 claims description 10
- 239000000725 suspension Substances 0.000 claims description 6
- 230000001066 destructive effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 20
- 230000004438 eyesight Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 11
- 239000012636 effector Substances 0.000 description 10
- 238000012423 maintenance Methods 0.000 description 10
- 230000009471 action Effects 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 7
- 238000007689 inspection Methods 0.000 description 6
- 230000007547 defect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 230000016776 visual perception Effects 0.000 description 4
- 241000791900 Selene vomer Species 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 210000003857 wrist joint Anatomy 0.000 description 3
- 230000032683 aging Effects 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000009659 non-destructive testing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 230000001808 coupling effect Effects 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F03—MACHINES OR ENGINES FOR LIQUIDS; WIND, SPRING, OR WEIGHT MOTORS; PRODUCING MECHANICAL POWER OR A REACTIVE PROPULSIVE THRUST, NOT OTHERWISE PROVIDED FOR
- F03D—WIND MOTORS
- F03D17/00—Monitoring or testing of wind motors, e.g. diagnostics
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D1/00—Dropping, ejecting, releasing, or receiving articles, liquids, or the like, in flight
- B64D1/02—Dropping, ejecting, or releasing articles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
- B64U10/16—Flying platforms with five or more distinct rotor axes, e.g. octocopters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/25—UAVs specially adapted for particular uses or applications for manufacturing or servicing
- B64U2101/26—UAVs specially adapted for particular uses or applications for manufacturing or servicing for manufacturing, inspections or repairs
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/60—UAVs specially adapted for particular uses or applications for transporting passengers; for transporting goods other than weapons
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Aviation & Aerospace Engineering (AREA)
- Sustainable Energy (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Sustainable Development (AREA)
- Remote Sensing (AREA)
- Robotics (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Manipulator (AREA)
Abstract
本申请属于风机叶片检测的技术领域,公开了一种风机叶片检测方法及系统,该方法包括:获取飞行机器人系统的实时空中视角图像,通过中心投票法,对实时空中视角图像进行数据提取,以构建待测风机叶片的叶片简化模型,根据叶片简化模型,结合安全飞行偏置距离,生成安全飞行参考轨迹,基于安全飞行参考轨迹和叶片简化模型,计算最佳放置位置,并控制飞行机器人系统在最佳放置位置对应的悬停位置将爬行机器人放置在风机叶片上,控制爬行机器人对风机叶片进行检测,得到检测结果信息,通过风机叶片检测系统,结合位姿信息、安全飞行参考轨迹和最佳放置位置,对风机叶片进行检测,提高了风机叶片的检测效率。
Description
技术领域
本申请涉及风机叶片检测的技术领域,具体而言,涉及一种风机叶片检测方法及系统。
背景技术
风机叶片的检测和维护工作具有一定的困难性。风机叶片通常位于几十米甚至上百米的高空,人工检测和维护风机叶片需要使用吊篮、升降机等设备,工作环境恶劣,工作强度大,安全风险高。现有的无损检测技术主要以人工结合无损探伤设备的方法为主。检测方法按接触形式可分为人工非接触式观察检查类和接触式测量检测类,传统检测方式为检查人员借检查装置深入到风电机组内部,以人工目力检查为主,辅以裂缝测量仪,相机等工具获取风机叶片组件的真实状态。
伴随着无人机技术和低空遥测技术的不断发展,搭载视觉和遥感检测装置的无人机系统开始应用在风力发电机组的巡检检测作业中,该叶片检查方法主要依赖无人飞行器、传感和摄影装置进行远距离非接触式检测,通过采集并分析桥梁图像获得叶片表面形貌和裂纹损伤等信息。
然而,此类无人机叶片检测技术主要集中于远距离非接触式的空中检查观察,应用范围小、检测精度低、在室外复杂环境和工况下难以开展检测作业。同时,其无法替代检测作业人员手持专业检测装置如超声非金属内部缺陷检测仪、裂纹观测仪等设备进行登高近距离接触式检测作业,限制了无人机在叶片全息检测作业的应用。
因此,为了解决现有的风机叶片检测方法使用无人机检测技术在室外复杂环境和工况下难以开展检测作业且只能对风机叶片的表面进行检测的技术问题,亟需一种风机叶片检测方法及系统。
发明内容
本申请的目的在于提供一种风机叶片检测方法及系统,通过风机叶片检测系统,结合待测风机叶片的叶片简化模型、飞行机器人系统的安全飞行参考轨迹和爬行机器人的最佳放置位置,对待测风机叶片进行内部检测及表面检测,解决现有的风机叶片检测方法使用无人机检测技术在室外复杂环境和工况下难以开展检测作业且只能对风机叶片的表面进行检测的问题,可以准确、高效地执行风机叶片的检测和维护作业,提高了风机叶片的检测效率。
第一方面,本申请提供了一种风机叶片检测方法,应用于风机叶片检测系统以对风机叶片进行检测,所述风机叶片检测系统包括飞行机器人系统和爬行机器人;所述风机叶片检测方法包括步骤:
控制携带所述爬行机器人的所述飞行机器人系统飞行至预设作业区域,并获取所述飞行机器人系统在所述预设作业区域飞行时采集的关于待测风机叶片的实时空中视角图像;
从所述实时空中视角图像中提取所述待测风机叶片的点云数据,用以通过中心投票法构建所述待测风机叶片的叶片简化模型;
根据所述叶片简化模型,结合预设的安全飞行偏置距离,生成所述飞行机器人系统的安全飞行参考轨迹;
基于所述安全飞行参考轨迹和所述叶片简化模型,计算得到所述爬行机器人的最佳放置位置,并控制所述飞行机器人系统飞行至所述最佳放置位置对应的悬停位置后,将所述爬行机器人放置在所述待测风机叶片上;
控制所述爬行机器人对所述待测风机叶片进行内部检测和表面检测,得到所述待测风机叶片的检测结果信息。
本申请提供的风机叶片检测方法可以实现对风机叶片进行检测,通过风机叶片检测系统,结合待测风机叶片的叶片简化模型、飞行机器人系统的安全飞行参考轨迹和爬行机器人的最佳放置位置,对待测风机叶片进行内部检测及表面检测,解决现有的风机叶片检测方法使用无人机检测技术在室外复杂环境和工况下难以开展检测作业且只能对风机叶片的表面进行检测的问题,可以准确、高效地执行风机叶片的检测和维护作业,提高了风机叶片的检测效率。
可选地,从所述实时空中视角图像中提取所述待测风机叶片的点云数据,用以通过中心投票法构建所述待测风机叶片的叶片简化模型,包括:
对所述实时空中视角图像进行所述待测风机叶片的区域分割及跟踪操作,得到所述待测风机叶片的多个叶片分割区域图像;
在各所述叶片分割区域图像中提取对应叶片局部区域内的所述待测风机叶片的点云数据;
通过所述中心投票法,根据提取的所述点云数据,计算得到所述待测风机叶片的位姿信息。
本申请提供的风机叶片检测方法可以实现对风机叶片进行检测,通过对实时空中视角图像进行待测风机叶片的区域分割及跟踪操作,提取得到待测风机叶片的点云数据,并通过中心投票法,计算待测风机叶片的叶片简化模型,通过叶片简化模型,能够有效地抓取待测风机叶片相对于飞行机器人系统的准确位姿,有利于提升风机叶片的检测效率。
可选地,通过所述中心投票法,根据提取的所述点云数据,构建所述待测风机叶片的叶片简化模型,包括:
以所述待测风机叶片的叶片安装基准法兰位置为叶片坐标系的坐标原点,以所述待测风机叶片在每个所述叶片局部区域的最大截面处中心点位置作为参考点,以所述待测风机叶片在每个所述叶片局部区域的最大截面处中心点位置到轮廓边缘的最大距离为半径生成圆柱体作为对应叶片局部区域的基准碰撞盒,根据点云数据,计算得到所述待测风机叶片在每个所述叶片局部区域的位置和姿态;
通过中心投票法,从所述待测风机叶片在每个所述叶片局部区域的位置和姿态中提取最优位置和最优姿态,用以构建所述待测风机叶片的叶片简化模型。
可选地,基于所述安全飞行参考轨迹和所述叶片简化模型,计算得到所述爬行机器人的最佳放置位置,并控制所述飞行机器人系统飞行至所述最佳放置位置对应的悬停位置后,将所述爬行机器人放置在所述待测风机叶片上,包括:
根据所述叶片简化模型,结合预设的模型预测控制器,计算所述飞行机器人系统与所述安全飞行参考轨迹之间的误差最小化的跟踪轨迹;
控制所述飞行机器人系统在所述误差最小化的跟踪轨迹进行飞行,并根据飞行过程中获取的滑动窗口因子,计算得到所述爬行机器人200的最佳放置位置;
驱动所述飞行机器人系统飞行至所述最佳放置位置对应的悬停位置后,将所述爬行机器人放置在所述待测风机叶片上。
本申请提供的风机叶片检测方法可以实现对风机叶片进行检测,通过风机叶片检测系统与安全飞行参考轨迹之间的误差最小化的跟踪轨迹,结合滑动窗口因子,计算得到爬行机器人的最佳放置位置,以放置爬行机器人对风机叶片进行检测,该最佳放置位置,能够安全并快速地放置爬行机器人以使爬行机器人对风机叶片进行接触式检测,有利于提高风机叶片的检测效率。
可选地,控制所述飞行机器人系统在所述误差最小化的跟踪轨迹进行飞行,并根据飞行过程中获取的滑动窗口因子,计算得到所述爬行机器人的最佳放置位置,包括:
提取所述飞行机器人系统在所述误差最小化的跟踪轨迹飞行时获取的局部点云数据作为所述滑动窗口因子;
判断所述飞行机器人系统在所述滑动窗口因子所在位置对应的悬停位置是否满足所述爬行机器人和所述飞行机器人系统的空中机械臂的作业要求;
若是,则确定所述滑动窗口因子所在位置为所述爬行机器人200的最佳放置位置;
若否,则控制所述飞行机器人系统继续沿着所述误差最小化的跟踪轨迹飞行,直到所述飞行机器人系统在其他滑动窗口因子所在位置对应的悬停位置满足所述爬行机器人和所述空中机械臂的作业要求。
可选地,所述爬行机器人和所述飞行机器人系统的空中机械臂的作业要求包括所述滑动窗口因子所在位置的上表面轮廓线与水平线坡度小于所述爬行机器人的作业规定范围,且所述滑动窗口因子所在位置与所述待测风机叶片的距离小于所述空中机械臂的作业规定距离。
可选地,控制所述爬行机器人对所述待测风机叶片进行内部检测和表面检测,得到所述待测风机叶片的检测结果信息之后,还包括:
当所述爬行机器人对所述待测风机叶片的检测完成后,控制所述飞行机器人系统的空中机械臂,对所述爬行机器人进行抓取收回操作。
第二方面,本申请提供了一种风机叶片检测系统,用于基于上文所述的风机叶片检测方法对风机叶片进行检测,所述风机叶片检测系统包括:
飞行机器人系统,用于根据采集的实时空中视角图像,构建风机叶片的叶片简化模型后,通过基于所述叶片简化模型和预设的安全飞行偏置距离生成的安全飞行参考轨迹,携带爬行机器人进行飞行,并在飞行至所述爬行机器人的最佳放置位置对应的悬停位置后,将所述爬行机器人放置在所述风机叶片上;
所述爬行机器人,用于对风机叶片进行内部检测和表面检测;
通信及定位基站,用于实现所述飞行机器人系统和所述爬行机器人的定位,以及实现所述飞行机器人系统和所述爬行机器人与人机协同作业控制终端之间通信;
所述人机协同作业控制终端,用于控制所述飞行机器人系统和所述爬行机器人。
本申请提供的风机叶片检测系统可以实现对风机叶片进行检测,通过飞行机器人系统、爬行机器人、通信及定位基站和人机协同作业控制终端的相互协作,对待测风机叶片进行内部检测及表面检测,解决现有的风机叶片检测方法使用无人机检测技术在室外复杂环境和工况下难以开展检测作业且只能对风机叶片的表面进行检测的问题,可以准确、高效地执行风机叶片的检测和维护作业,提高了风机叶片的检测效率。
可选地,所述飞行机器人系统包括多旋翼飞行平台和空中机械臂;
所述多旋翼飞行平台用于根据采集的所述实时空中视角图像,构建所述风机叶片的叶片简化模型后,通过基于所述叶片简化模型和所述预设的安全飞行偏置距离生成的所述安全飞行参考轨迹,携带所述爬行机器人飞行至所述爬行机器人的最佳放置位置对应的悬停位置;
所述空中机械臂用于携带所述爬行机器人进行飞行,以及在所述爬行机器人的最佳放置位置对应的悬停位置,将所述爬行机器人放置在所述风机叶片上。
可选地,所述爬行机器人包括底盘支架、抓取把手、对置无损检测仪、行走机构和微距相机;所述行走机构包括悬挂及张紧装置和多组履带式爬行足;
所述底盘支架为下侧开口的C型结构,所述抓取把手设置在所述底盘支架的顶部,所述对置无损检测仪、所述行走机构和微距相机均设置在所述底盘支架的内部;
所述抓取把手用于供所述飞行机器人系统抓取;
所述对置无损检测仪用于对所述风机叶片进行内部检测和表面检测;
所述悬挂及张紧装置用于夹紧所述风机叶片以锁定所述爬行机器人与所述风机叶片的相对位置;
所述履带式爬行足用于驱动所述爬行机器人进行运动;
所述微距相机用于获取所述风机叶片的表面图像信息。
有益效果:本申请提供的风机叶片检测方法及系统,通过风机叶片检测系统,结合待测风机叶片的叶片简化模型、飞行机器人系统的安全飞行参考轨迹和爬行机器人的最佳放置位置,对待测风机叶片进行内部检测及表面检测,解决现有的风机叶片检测方法使用无人机检测技术在室外复杂环境和工况下难以开展检测作业且只能对风机叶片的表面进行检测的问题,可以准确、高效地执行风机叶片的检测和维护作业,提高了风机叶片的检测效率。
附图说明
图1为本申请实施例提供的风机叶片检测方法的流程图。
图2为飞行机器人系统携带爬行机器人飞行时的结构示意图。
图3为飞行机器人系统的安全飞行参考轨迹示意图。
图4为风机叶片检测系统的结构示意图。
图5为飞行机器人系统的结构示意图。
图6为飞行机器人系统的执行器及控制系统的结构示意图。
图7为爬行机器人的结构示意图。
标号说明:100、飞行机器人系统;110、多旋翼飞行平台;120、空中机械臂;130、机载主控与通信模块;131、飞行控制器;132、机械臂电机驱动器;133、飞行机器人系统主控制器;134、OFDM通信模块;140、视觉感知模块;150、机械臂本体模块;160、压力感知模块;161、腕关节球较;162、螺旋弹簧;163、压力传感器;170、集成式末端执行器;171、机械夹爪;172、集成式下视传感器组件;200、爬行机器人;210、底盘支架;220、抓取把手;230、对置无损检测仪;240、悬挂及张紧装置;250、履带式爬行足;260、微距相机;300、通信及定位基站;400、人机协同作业控制终端;500、风机叶片。
具体实施方式
下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
请参照图1,图1是本申请一些实施例中的一种风机叶片检测方法,应用于风机叶片检测系统以对风机叶片进行检测,该风机叶片检测系统包括飞行机器人系统100和爬行机器人200;该风机叶片检测方法包括:
步骤S101,控制携带爬行机器人200的飞行机器人系统100飞行至预设作业区域,并获取飞行机器人系统100在预设作业区域飞行时采集的关于待测风机叶片的实时空中视角图像;
步骤S102,从实时空中视角图像中提取待测风机叶片的点云数据,用以通过中心投票法构建待测风机叶片的叶片简化模型;
步骤S103,根据叶片简化模型,结合预设的安全飞行偏置距离,生成飞行机器人系统100的安全飞行参考轨迹;
步骤S104,基于安全飞行参考轨迹和叶片简化模型,计算得到爬行机器人200的最佳放置位置,并控制飞行机器人系统100飞行至最佳放置位置对应的悬停位置后,将爬行机器人200放置在待测风机叶片上;
步骤S105,控制爬行机器人200对待测风机叶片进行内部检测和表面检测,得到待测风机叶片的检测结果信息。
该风机叶片检测方法,通过风机叶片检测系统,结合待测风机叶片的叶片简化模型、飞行机器人系统的安全飞行参考轨迹和爬行机器人的最佳放置位置,对待测风机叶片进行内部检测及表面检测,解决现有的风机叶片检测方法使用无人机检测技术在室外复杂环境和工况下难以开展检测作业且只能对风机叶片的表面进行检测的问题,可以准确、高效地执行风机叶片的检测和维护作业,提高了风机叶片的检测效率。
具体地,在步骤S101中,控制携带爬行机器人200的飞行机器人系统100飞行至预设作业区域,并获取飞行机器人系统100在预设作业区域飞行时采集的关于待测风机叶片的实时空中视角图像,即通过飞行机器人系统100的视觉感知模块140,获取飞行机器人系统100在预设作业区域飞行时的实时画面。其中,预设作业区域是根据待测风机叶片的实际位置预先设置的接近于待测风机叶片的区域,可根据实际需要进行设置。
其中,如图2所示,图2为飞行机器人系统携带爬行机器人飞行时的结构示意图,其中,飞行机器人系统100包括多旋翼飞行平台110和空中机械臂120,多旋翼飞行平台110、空中机械臂120和爬行机器人200不仅可以相对独立的完成各自的操作,也可以完成协作作业任务,同时,空中机械臂120可以较大范围的实现上下伸缩抬升运动,大大增加了飞行机器人系统100在检测作业时的协同作业空间,实现了空中机械臂120和爬行机器人200协同配合的灵活接触式检测作业方式,进一步提高了飞行机器人系统在特种检测作业场景中的协作性和环境适应性。
具体地,在步骤S102中,从实时空中视角图像中提取待测风机叶片的点云数据,用以通过中心投票法构建待测风机叶片的叶片简化模型,包括:
对实时空中视角图像进行待测风机叶片的区域分割及跟踪操作,得到待测风机叶片的多个叶片分割区域图像;
提取待测风机叶片在各叶片分割区域图像对应叶片局部区域中的点云数据;
通过中心投票法,根据提取的点云数据,构建待测风机叶片的叶片简化模型。
在步骤S102中,通过YOLOV8视觉图像检测模型(该模型安装在视觉感知模块140中)完成风机叶片500的视觉检测与ROI区域分割(region of interest,感兴趣区域(在机器视觉、图像处理中,从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域,称为感兴趣区域))及跟踪操作,将实时空中视角图像沿待测风机叶片的大致延伸方向进行分割操作,分割出多个彩色图像ROI区域(每个彩色图像ROI区域即为各叶片分割区域图像对应的叶片局部区域),得到待测风机叶片的多个叶片分割区域图像。
分别从多个叶片分割区域图像中提取各叶片分割区域图像对应叶片局部区域内的关于待测风机叶片的点云数据,得到待测风机叶片在每个叶片局部区域的点云数据。提取过程可采用现有技术,例如把叶片分割区域图像转化为二值图,进而根据像素值确定属于待测风机叶片的区域,进而提取对应叶片局部区域的点云数据;但不限于此。
具体地,在步骤S102中,通过中心投票法,根据提取的点云数据,计算得到待测风机叶片的位姿信息,包括:
以待测风机叶片的叶片安装基准法兰位置为叶片坐标系的坐标原点,以待测风机叶片在每个叶片局部区域的最大截面处中心点位置作为参考点,以待测风机叶片在每个叶片局部区域的最大截面处中心点位置到轮廓边缘的最大距离为半径生成圆柱体作为对应叶片局部区域的基准碰撞盒,根据点云数据,计算得到待测风机叶片在每个叶片局部区域的位置和姿态;
通过中心投票法,从待测风机叶片在每个叶片局部区域的位置和姿态中提取最优位置和最优姿态,用以构建待测风机叶片的叶片简化模型。
在步骤S102中,提取待测风机叶片的安装基准法兰位置作为叶片坐标系的坐标原点/>,以待测风机叶片在每个叶片局部区域的最大截面处中心点位置作为参考点,坐标原点/>与参考点/> 的连线所在直线为对应叶片局部区域的参考中轴线,以待测风机叶片在每个叶片局部区域的最大截面处中心点位置到轮廓边缘的最大距离为半径生成圆柱体作为对应叶片局部区域的基准碰撞盒,使该圆柱体的中轴线为对应的参考中轴线,且该圆柱体的长度为对应叶片局部区域的长度,结合点云数据,可以计算得到待测风机叶片的由风机叶片500根部朝向末端为主轴方向的主轴矢量数据(即从坐标原点/>指向参考点/>的矢量数据,每个叶片局部区域可计算得到一个主轴矢量数据)及每个叶片局部区域中基准碰撞盒的圆柱外形尺寸信息,由主轴矢量数据和圆柱外形尺寸信息,可以将复杂曲面造型的风机叶片500表面简化为圆柱面,以建立待测风机叶片在每个叶片局部区域的局部区域简化模型,根据每个叶片局部区域的局部区域简化模型中的主轴矢量数据和圆柱外形尺寸信息,计算得到待测风机叶片在每个叶片局部区域的位置和姿态。其中,叶片局部区域的位置指的是待测风机叶片在每个叶片局部区域的参考点在叶片坐标系的位置坐标,叶片局部区域的姿态指的是从叶片坐标系的坐标原点/>指向待测风机叶片在每个叶片局部区域的参考点/>的向量的姿态角度。
通过中心投票法,对每个叶片局部区域的位置和姿态进行投票和多阈值筛选,选择得票最高的位置和位姿作为最优位置和最优姿态,作为待测风机叶片的位姿信息,用以构建待测风机叶片整体的叶片简化模型。其中,以最优位置到坐标原点的连线所在直线为中心轴线,以最优位置对应的基准碰撞盒中的圆柱面的半径为待测风机叶片的截面半径生成圆柱体作为外形轮廓,以该圆柱体的长度为待测风机叶片的长度,以最优姿态作为整个待测风机叶片的姿态,构建得到叶片简化模型,同时,可以根据叶片简化模型,确定待测风机叶片相对于飞行机器人系统100的位置和姿态。中心投票法是基于投票算法改进而来的,目标是计算出风机叶片500的最大截面中心处相对于飞行机器人系统100的坐标系的3轴位置信息和3轴姿态信息(即位姿信息);中心投票法指的是从每个叶片局部区域的各个位置和姿态中选取出现次数最多的位置和姿态作为目标位置和目标姿态,即可得到最优位置和最优姿态。该方法能够高效且稳定的计算出风机叶片500的位姿信息。
具体地,在步骤S103中,根据叶片简化模型和预设的安全飞行偏置距离(安全飞行偏置距离/>可根据实际需要进行设置),生成飞行机器人系统100的安全飞行参考轨迹,该安全飞行参考轨迹为飞行机器人系统关于叶片简化模型的n个安全无碰撞离散参考轨迹点/>,其中,n为安全飞行参考轨迹中的轨迹点数量,i为安全飞行参考轨迹中的第i个轨迹点,/>为第i个轨迹点的位置坐标,/>为沿主轴方向任意截面处的叶片表面沿叶片简化模型的径向增加安全飞行偏置距离/>后的点到叶片坐标系/>的坐标原点E的位置向量,/>为相对于叶片坐标系/>的姿态信息(从叶片坐标系/>的坐标原点E指向第i个轨迹点的位置向量的姿态角度),叶片简化模型的预设的安全飞行偏置距离/>用于调整飞行机器人系统100与风机叶片500之间的安全距离大小,同时该阈值(预设的安全飞行偏置距离/>)设置需满足空中机械臂120可达的工作空间,即当飞行平台位姿偏差/>,风机叶片500表面点应在空中机械臂120可达的工作空间,即时,使得在满足轨迹跟踪误差时飞行机器人系统的空中机械臂120末端能够完成抓取和放置爬行机器人200的任务动作,其中,/>为飞行机器人系统的实际飞行位置,/>为安全飞行参考轨迹中的轨迹点位置,/>为模型预测控制器中预设的偏差阈值,表示当前时刻叶片表面轮廓点集合,/>为在满足轨迹跟踪误差时飞行机器人系统的空中机械臂120末端能够完成抓取和放置爬行机器人200的任务动作所能到达的空间点的集合。
具体地,在步骤S104中,基于安全飞行参考轨迹和叶片简化模型,计算得到爬行机器人200的最佳放置位置,并控制飞行机器人系统100飞行至最佳放置位置对应的悬停位置后,将爬行机器人200放置在待测风机叶片上,包括:
根据叶片简化模型,结合预设的模型预测控制器,计算飞行机器人系统100与安全飞行参考轨迹之间的误差最小化的跟踪轨迹;
控制飞行机器人系统100在误差最小化的跟踪轨迹进行飞行,并根据飞行过程中获取的滑动窗口因子,计算得到爬行机器人200的最佳放置位置;
驱动飞行机器人系统100飞行至最佳放置位置对应的悬停位置后,将爬行机器人200放置在待测风机叶片上。
在步骤S104中,根据叶片简化模型,通过预设的模型预测控制器的自动计算(模型预测控制器会根据飞行机器人系统100在当前时刻的位置与安全飞行参考轨迹的误差,对飞行机器人系统100的位置和速度进行调节,以使飞行机器人系统100与安全飞行参考轨迹的误差达到最小值),计算得到飞行机器人系统100与安全飞行参考轨迹的最小化误差,得到最小化误差的跟踪轨迹,最小化误差的跟踪轨迹用于解决飞行机器人系统在空中靠近风机叶片500时的轨迹跟踪和飞行控制问题,使得飞行机器人系统能够安全可靠的抵近风机叶片500的上空并保持一定的相对位置精度。
具体地,飞行机器人系统100的控制器需要在模型不确定性和外部干扰的情况下实现闭环稳定性,同时满足系统约束,其中系统约束包括空中机械臂120的关节角度约束、多旋翼飞行平台110的角速度约束、多刚体无碰撞约束等。模型预测控制(MPC)是一种先进的控制方法,其可以很好地处理飞行机器人系统的高度非线性特性、模型不确定性、系统约束和外部扰动,有效保证系统的闭环稳定性。此外,MPC框架中在线优化问题的使用提供了考虑移动障碍物的最佳轨迹生成能力,由于引入了多旋翼飞行平台110和空中机械臂120的集中控制策略,无需单独设计控制结构和复杂的扰动观测器来补偿多旋翼飞行平台110和空中机械臂120的耦合效应。
如图3所示,图3为飞行机器人系统的安全飞行参考轨迹示意图,其中,为飞行机器人系统100的机身局部坐标系,坐标原点O与多旋翼飞行平台110质心重合;/>为视觉相机和激光雷达局部坐标系;/>为末端执行器局部坐标系;/>为大地固定惯性坐标系;/>为风机叶片的叶片坐标系,坐标原点E位于风机叶片的安装基准法兰位置中心;其中,各坐标系对应的x、y、z为对应坐标系的横坐标轴、纵坐标轴和竖坐标轴;/>、/>、/>分别为安全飞行参考轨迹中第k-1、第k和第k+1个的轨迹点(对应于滑动窗口因子/>);/>、/>、分别为飞行机器人系统100在安全飞行参考轨迹飞行时的横坐标轴、纵坐标轴和竖坐标轴;整个飞行机器人系统的质心可以用C点来表示,当空中机械臂120运动时,C点的位置会发生相应的变化;/>为多旋翼飞行平台相对于大地固定惯性坐标系/>的位置;/>为第一个滑动窗口因子,/>为第k个滑动窗口因子,/>为最佳滑动窗口因子,/>、/>、/>分别为飞行机器人系统100在最佳滑动窗口因子/>所在位置对应的悬停位置时的横坐标轴、纵坐标轴和竖坐标轴;/>为风机叶片500的最大截面处中心点位置,/>为风机叶片500的最大截面处中心点位置到风机叶片轮廓边缘的距离。从图3中可以看出,飞行机器人系统100在安全飞行参考轨迹上飞行,并在飞行过程中寻找爬行机器人200的最佳放置位置。
在飞行机器人系统沿安全飞行参考轨迹飞行,并确定爬行机器人200的最佳放置位置后,飞行机器人系统100根据指令运动飞行至目标位置(最佳放置位置对应的悬停位置),空中机械臂120的关节伺服电机通过传动连接机构将动力传输至末端,同时末端执行器安装的接触力传感器、距离传感器和视觉相机等检测单元反馈实时状态信息,进而实现力和位置的闭环控制,达到对空中机械臂120的柔顺性控制。进一步的,由末端设置的压力传感器以高频率的检测速度反馈末端压力值,当外部扰动作用于飞行机器人系统使得位置发生漂移时,模型预测控制器同时对空中机械臂120和多旋翼飞行平台110的位姿进行调整补偿,即机械臂末端的传感器(包括接触力传感器、距离传感器等)感知接触力的缓慢变化,并通过模型预测控制器,驱动关节电机反向调整关节转动角度和角速度以补偿位置姿态偏移所带来的机械臂末端接触情况和接触力的变化,有助于提高飞行机器人系统100的动态响应速度和稳定性。
具体地,在步骤S104中,控制飞行机器人系统100在误差最小化的跟踪轨迹进行飞行,并根据飞行过程中获取的滑动窗口因子,计算得到爬行机器人200的最佳放置位置,包括:
提取飞行机器人系统100在误差最小化的跟踪轨迹飞行时获取的局部点云数据作为滑动窗口因子;
判断飞行机器人系统100在滑动窗口因子所在位置对应的悬停位置是否满足爬行机器人200和飞行机器人系统100的空中机械臂120的作业要求;
若是,则确定滑动窗口因子所在位置为爬行机器人200的最佳放置位置;
若否,则控制飞行机器人系统继续沿着误差最小化的跟踪轨迹飞行,直到飞行机器人系统在其他滑动窗口因子所在位置对应的悬停位置满足爬行机器人200和空中机械臂120的作业要求。
在步骤S104中,由于风机叶片500轮廓存在一定坡度和流线外形,安装放置过程需要寻找叶片上合适的放置位置,因此,将任一时刻截取的点云数据作为滑动窗口因子,以提取叶片轮廓线进行最佳放置位置的计算和选择。
当飞行机器人系统100在滑动窗口因子所在位置是否满足爬行机器人和空中机械臂的作业要求,即滑动窗口因子所在位置的上表面轮廓线与水平线坡度小于爬行机器人200的作业规定范围,且滑动窗口因子所在位置与待测风机叶片的距离小于空中机械臂120的作业规定距离时,选定该最佳滑动窗口因子所在位置作为最佳放置位置,确定飞行机器人系统100在最佳滑动窗口因子/>时的位置为最佳放置位置对应的悬停位置,确定飞行机器人系统100在悬停位置时的位置和姿态作为悬停参考位姿/>。反之,飞行机器人系统100继续缓慢沿误差最小化的跟踪轨迹飞行,滑动窗口因子继续向前进方向移动一定范围距离,重复上述过程直至寻找到合适的放置位置;或当滑动窗口因子所在位置已超过叶片简化模型的最大截面参考点位置时,仍未找到放置位置,则确定风机叶片500的当前停止位置无法满足爬行机器人200的作业要求,需要调整风机叶片500的位置后继续当前流程。
具体地,在步骤S104中,在飞行机器人系统100飞行至最佳放置位置对应的悬停位置后,飞行机器人系统悬停并保持相对稳定姿态,空中机械臂120开始放置爬行机器人200,在确认并验证爬行机器人200已经安装放置完毕后,飞行机器人系统飞离最佳放置位置对应的悬停位置并在风机叶片500附近等待下一工作流程任务指令;空中机械臂120能自适应叶片坡度和形貌差异,能够自动动态感知与爬行机器人200接触情况和接触力大小,提高了空中作业安全性、可靠性和环境适应性。
具体地,在步骤S105中,控制爬行机器人200对待测风机叶片进行内部检测和表面检测(其中,可采用现有的内部检测技术和表面检测技术进行内部检测和表面检测),爬行机器人200沿风机叶片500主轴的方向开始缓慢移动,同时,进行风机叶片的无损检测和叶片表面图像信息采集等操作,即采用超声波探伤技术和图像识别技术对风机叶片500进行检测,可以客观反映风机叶片500内部声波反射情况,有效判定风机叶片500的内部缺陷,并获取风机叶片500的表面的污损、老化和裂纹等缺陷图像,以提高检测作业的准确度和执行效率。
具体地,在步骤S105中,控制爬行机器人200对待测风机叶片进行内部检测和表面检测,得到待测风机叶片的检测结果信息之后,还包括:
当爬行机器人对待测风机叶片的检测完成后,控制飞行机器人系统的空中机械臂,对爬行机器人进行抓取收回操作。
在一些实施例中,当爬行机器人对待测风机叶片的检测完成后,发送状态指令至人机协同作业控制终端400,工作人员或人机协同作业控制终端400根据状态指令中的状态信息、检测数据、实时图像等信息判断检测任务执行情况并下达回收指令,此时飞行机器人系统100起飞并执行视觉检测和辅助导航跟踪任务,此时视觉检测目标为风机叶片500及其上的爬行机器人200,通过MPC轨迹跟踪控制器控制飞行机器人系统100快速抵近风机叶片500并悬停,同时由视觉感知模块140识别和跟踪爬行机器人200的抓取把手220,并根据提取的点云数据计算抓取把手220相对于飞行机器人系统100的局部坐标系的位置和姿态,将该相对位置信息发送至空中机械臂120,由空中机械臂120驱动各个关节和机械夹爪171,抓取爬行机器人200并返航。
由上可知,该风机叶片检测方法,通过控制携带爬行机器人的飞行机器人系统飞行至预设作业区域,并获取飞行机器人系统在预设作业区域飞行时采集的关于待测风机叶片的实时空中视角图像,从实时空中视角图像中提取待测风机叶片的点云数据,用以通过中心投票法构建待测风机叶片的叶片简化模型,根据叶片简化模型,结合预设的安全飞行偏置距离,生成飞行机器人系统的安全飞行参考轨迹,基于安全飞行参考轨迹和叶片简化模型,计算得到爬行机器人的最佳放置位置,并控制飞行机器人系统飞行至最佳放置位置对应的悬停位置后,将爬行机器人放置在待测风机叶片上,控制爬行机器人对待测风机叶片进行内部检测和表面检测,得到待测风机叶片的检测结果信息;从而,通过风机叶片检测系统,结合待测风机叶片的叶片简化模型、飞行机器人系统的安全飞行参考轨迹和爬行机器人的最佳放置位置,对待测风机叶片进行内部检测及表面检测,解决现有的风机叶片检测方法使用无人机检测技术在室外复杂环境和工况下难以开展检测作业且只能对风机叶片的表面进行检测的问题,可以准确、高效地执行风机叶片的检测和维护作业,提高了风机叶片的检测效率。
请参照图4,图4是本申请一些实施例中的一种风机叶片检测系统的结构示意图,用于基于上文所述的风机叶片检测方法对风机叶片进行检测,该风机叶片检测系统包括:
飞行机器人系统100,用于根据采集的实时空中视角图像,构建风机叶片500的叶片简化模型后,通过基于叶片简化模型和预设的安全飞行偏置距离生成的安全飞行参考轨迹,携带爬行机器人200进行飞行,并在飞行至爬行机器人200的最佳放置位置对应的悬停位置后,将爬行机器人200放置在风机叶片500上;
爬行机器人200,用于对风机叶片500进行内部检测和表面检测;
通信及定位基站300,用于实现飞行机器人系统100和爬行机器人200的定位,以及实现飞行机器人系统100和爬行机器人200与人机协同作业控制终端400之间通信;
人机协同作业控制终端400,用于控制飞行机器人系统100和爬行机器人200。
本申请提供的风机叶片检测系统可以实现对风机叶片进行检测,通过飞行机器人系统、爬行机器人、通信及定位基站和人机协同作业控制终端的相互协作,对待测风机叶片进行内部检测及表面检测,解决现有的风机叶片检测方法使用无人机检测技术在室外复杂环境和工况下难以开展检测作业且只能对风机叶片的表面进行检测的问题,可以准确、高效地执行风机叶片的检测和维护作业,提高了风机叶片的检测效率。
具体应用中,风机叶片检测系统包括飞行机器人系统100(包括多旋翼飞行平台110和空中机械臂120)、爬行机器人200、通信及定位基站300和人机协同作业控制终端400,如图4所示,通信及定位基站300作为空-地装置(飞行机器人系统100与人机协同作业控制终端400)的通信桥梁,提供高精度定位功能的同时为地面站(人机协同作业控制终端400)和飞行机器人系统100提供实时数据通信;人机协同作业控制终端400作为飞行机器人系统100的上层,作为可视化人机交互终端和作业任务指令上位机平台,发送和终止作业过程。
地面人机协同作业控制终端400实现空中作业流程反馈、状态信息感知、控制操作可控、人机交互等功能,能够有效帮助操作员理解和控制机器人的状态和行为,提高操作效率。通过可视化界面,操作员可以直观地了解机器人的当前状态和环境信息,从而更快地做出决策和操作;同时,检测过程可视化技术可以实时显示风机叶片图像、状态信息,以及飞行机器人系统各机器人的位置、速度、姿态等信息,环境的障碍物、风向、温度等条件,帮助操作员避免潜在的危险和风险,其次,可以大大降低操作难度,对于复杂的操作任务,如飞行机器人系统的飞行轨迹规划、风机叶片跟踪及放置位置检测等,可视化技术可以将问题转化为图形化的界面,使操作更加直观和简单。
具体地,飞行机器人系统100包括多旋翼飞行平台110和空中机械臂120;
多旋翼飞行平台110用于根据采集的实时空中视角图像,构建风机叶片500的叶片简化模型后,通过基于叶片简化模型和预设的安全飞行偏置距离生成的安全飞行参考轨迹,携带爬行机器人200飞行至爬行机器人200的最佳放置位置对应的悬停位置;
空中机械臂120用于携带爬行机器人200进行飞行,以及在爬行机器人200的最佳放置位置对应的悬停位置,将爬行机器人200放置在风机叶片500上。
具体应用中,如图2、图5、图6所示,图2为飞行机器人系统携带爬行机器人飞行时的结构示意图,图5为飞行机器人系统的结构示意图,图6为飞行机器人系统的执行器及控制系统的结构示意图,其中,飞行机器人系统100包括多旋翼飞行平台110和空中机械臂120,空中机械臂120包括机载主控与通信模块130、视觉感知模块140、机械臂本体模块150、压力感知模块160和集成式末端执行器170;飞行机器人系统100的执行器及控制系统包括机载主控与通信模块130、压力感知模块160和集成式末端执行器170;进一步地,机载主控与通信模块130包括飞行控制器131、机械臂电机驱动器132、飞行机器人系统主控制器133和OFDM通信模块134;压力感知模块160包括腕关节球较161、螺旋弹簧162和压力传感器163;集成式末端执行器170包括机械夹爪171和集成式下视传感器组件172。
具体应用中,多旋翼飞行平台110、空中机械臂120和爬行机器人200不仅可以相对独立的完成各自的操作,也可以完成协作作业任务,同时,配备的关节型机械臂(即空中机械臂120)可以较大范围的实现上下伸缩抬升运动,大大增加了飞行机器人系统100在检测作业时的协同作业空间,实现了空中机械臂120和爬行机器人200协同配合的灵活接触式检测作业方式,进一步提高了飞行机器人系统在特种检测作业场景中的协作性和环境适应性。同时,针对这种复杂机器人(飞行机器人系统100)构型,为了实现飞行机器人系统100在接触式风机叶片500检测作业过程中的自主性、稳定性和安全性,同时减少外部扰动和飞行平台(多旋翼飞行平台110)基座浮动带来的影响,提出了一种飞行机器人空中自主检测作业和接触力感知控制方法(上文实施例中所述的风机叶片检测方法),实现自主化的飞行机器人系统100的飞行控制、轨迹跟踪和接触式检测。飞行机器人系统100的控制系统由视觉感知模块140、状态估计模块、MPC轨迹跟踪控制器、机械臂力/位混合控制器、末端执行器装置(集成式末端执行器170)组成。其中,飞行机器人系统100的视觉感知模块140和状态估计模块用于获取风机叶片500的形状和位置姿态信息(即位姿信息),并建立飞行机器人系统100与风机叶片500在三维空间的相对位置和姿态关系,进而通过MPC轨迹跟踪控制器规划出飞行机器人系统100沿风机叶片500表面的运动轨迹(即安全飞行参考轨迹);飞行机器人系统100的MPC轨迹跟踪控制器根据风机叶片500的位姿信息和机器人的动力学模型,计算出合适的控制输入,使飞行机器人系统100能够准确地跟踪预定的轨迹(安全飞行参考轨迹),通过安全飞行参考轨迹和MPC轨迹跟踪控制器的设计,可以使飞行机器人系统100准确、高效地执行风机叶片500的检测和维护作业,提高作业的效率和质量,降低安全风险。
其中,多旋翼飞行平台110作为大载重飞行运载工具,其下方搭载有机载主控与通信模块130;机载主控与通信模块130由高性能嵌入式边缘计算设备和OFDM数字链路通信设备组成,为控制系统提供高性能计算和图像处理服务,同时,飞行机器人系统100的其他传感器、执行器等设备器件通过I/O接口与机载主控与通信模块130连接和数据通信;视觉感知模块140作为飞行机器人系统100在飞行过程中重要的传感与感知部分,包括多目立体视觉相机和固态激光雷达,由多目立体视觉相机和固态激光雷达进行全方位扫描,以实现目标物检测和动态环境立体感知,用于满足飞行机器人系统100在实际作业过程中的目标识别、状态估计、轨迹跟踪和动态避障等需求,进一步提高飞行机器人系统100的作业灵活性、自主性和智能化程度。多旋翼飞行平台110中心正下方安装有一个的空中机械臂120,可以实现向上举升和下降运动,以满足爬行机器人200在叶片检测时的安装和回收需求;爬行机器人200的抓取和放置动作由空中机械臂120完成,具体由空中机械臂120的机械臂本体模块150、压力感知模块160、集成式末端执行器170协作完成。
为了保证空中机械臂120在实际作业过程中的安全性和可靠性,考虑风机叶片500存在小坡度,且多旋翼飞行平台110的质心偏移和基座浮动对空中机械臂120带来的位姿扰动影响,在空中机械臂120末端腕关节位置处设计有球关节和内嵌式的力感知元器件(即压力感知模块160),实现抓取和放置过程中末端姿态角小偏差的自适应调整补偿,同时,腕关节处设置的压力感知模块160用于动态监测集成式末端执行器170的总负载,通过观测压力值变化来反映抓取或放置爬行机器人200时的接触力变化情况,进而提高空中作业的可靠性和安全性。如图6所示,集成式末端执行器170可在机械夹爪171位置处安装集成式下视传感器组件172(包括单目相机或者测距传感器),用于进一步验证空中机械臂120与爬行机器人200的接触情况,起到传感器冗余作用,提高了飞行机器人系统的可靠性。空中机械臂120末端的集成式下视传感器组件172设置有多传感器融合感知模块和自适应作业装置,使得空中机械臂120能自适应叶片坡度和形貌差异,集成式下视传感器组件172设置有力\位置\视觉等传感器,能够动态感知接触力大小和爬行机器人200的接触情况,且具备一定的抗干扰能力和载荷自适应性,提高空中作业安全性和可靠性;空中机械臂120与爬行机器人200的之间通信互联,可以实现自主化、智能化、可视化的运载安装、通信控制、状态信息共享、爬行接触式检测和数据分析等功能,大大提高了风机叶片的检测效率。
具体应用中,在风机叶片500停机检修时,风机叶片500平行于大地固定惯性坐标系的横坐标和纵坐标形成的平面(即风机叶片500大概保持在横向姿态所在位置),飞行机器人系统100能够自主完成检测作业过程中的叶片识别、相对位姿估计、轨迹跟踪、接触力感知和机械臂的运动控制等功能,实现对爬行机器人200的接触式放置-拾取等操作。飞行机器人系统100携带爬行机器人200飞行至风机叶片500位置附近,由多目立体视觉相机和固态激光雷达提供待检测目标的图像及点云数据,状态估计模块计算叶片主轴线及碰撞盒,并动态估计出叶片参考点处相对于飞行机器人系统100的局部坐标系的相对位置和姿态, MPC轨迹跟踪控制器基于预测的未来状态和目标位姿,控制飞行机器人系统100接近风机叶片500上空的可达作业区域,在飞行机器人系统100进入风机叶片500上空的可达作业区域后,飞行机器人系统100放慢飞行速度,借助视觉及激光雷达感知模块(多目立体视觉相机和固态激光雷达)检测爬行机器人200的最佳放置位置,通过空中机械臂120把爬行机器人200放置于最佳放置位置,爬行机器人200通过环抱夹紧装置(悬挂及张紧装置240)和行走装置(履带式爬行足250)沿风机叶片主轴线方向移动,同时通过叶片检测作业专用传感器或检测装置(如对置无损检测仪230或非金属超声探伤仪、裂缝观测仪等装置)获取风机叶片的传感器数据,并通过微距相机260获取风机叶片的图像信息;飞行机器人系统检测作业过程中的状态数据、传感器数据、控制指令等均通过通信及定位基站300实时回传至人机协同作业控制终端400,并在集成式控制终端软件(安装于人机协同作业控制终端400中)中对飞行机器人系统的状态信息、图像信息等进行动态可视化操作。
具体地,爬行机器人200包括底盘支架210、抓取把手220、对置无损检测仪230、行走机构和微距相机260;行走机构包括悬挂及张紧装置240和多组履带式爬行足250;
底盘支架210为下侧开口的C型结构,抓取把手220设置在底盘支架210的顶部,对置无损检测仪230、行走机构和微距相机260均设置在底盘支架210的内部;
抓取把手220用于供飞行机器人系统100抓取;
对置无损检测仪230用于对风机叶片500进行内部检测和表面检测;
行走机构的悬挂及张紧装置240用于夹紧风机叶片500,以锁定爬行机器人200与风机叶片500的相对位置;
履带式爬行足250用于驱动爬行机器人200进行运动;
微距相机260用于获取风机叶片500的表面图像信息。
具体应用中,如图7所示,图7为爬行机器人的结构示意图,在爬行机器人200的安装放置过程中,飞行机器人系统100精准悬停至空中机械臂120可达工作空间内,由空中机械臂120带动爬行机器人200进行上升和下降操作,以使风机叶片500从底盘支架210的下侧开口伸入底盘支架210内,当爬行机器人200底盘支架210的开口位置与风机叶片500的位置重合,空中机械臂120缓慢放置爬行机器人200,且当爬行机器人200与风机叶片500接触时,空中机械臂120的压力感知模块160的负载重量发生变化,当压力感知模块160检测的压力值小于设定阈值时,爬行机器人200与风机叶片500认为已经安全接触,此时空中机械臂120的机械夹爪171打开,空中机械臂120与爬行机器人200脱离,爬行机器人200的悬挂及张紧装置240动作缓慢抱紧伸入底盘支架210内的风机叶片500,履带式爬行足250可实现沿着风机叶片500主轴线方向的往复运动。同时,对置无损检测仪230和微距相机260进行风机叶片的无损检测和叶片表面图像信息采集等操作,即采用超声波探伤技术和图像识别技术对风机叶片500进行检测,可以客观反映风机叶片500内部声波反射情况有效判定风机叶片500的内部缺陷,并获取风机叶片500的表面的污损、老化和裂纹等缺陷图像,以提高检测作业的准确度和执行效率。
由上可知,该风机叶片检测系统,通过飞行机器人系统、爬行机器人、通信及定位基站和人机协同作业控制终端的相互协作,对待测风机叶片进行内部检测及表面检测,解决现有的风机叶片检测方法使用无人机检测技术在室外复杂环境和工况下难以开展检测作业且只能对风机叶片的表面进行检测的问题,可以准确、高效地执行风机叶片的检测和维护作业,提高了风机叶片的检测效率。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,既可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (8)
1.一种风机叶片检测方法,其特征在于,应用于风机叶片检测系统以对风机叶片进行检测,所述风机叶片检测系统包括飞行机器人系统(100)和爬行机器人(200);所述风机叶片检测方法包括步骤:
控制携带所述爬行机器人(200)的所述飞行机器人系统(100)飞行至预设作业区域,并获取所述飞行机器人系统(100)在所述预设作业区域飞行时采集的关于待测风机叶片的实时空中视角图像;
从所述实时空中视角图像中提取所述待测风机叶片的点云数据,用以通过中心投票法构建所述待测风机叶片的叶片简化模型;
根据所述叶片简化模型,结合预设的安全飞行偏置距离,生成所述飞行机器人系统(100)的安全飞行参考轨迹;
基于所述安全飞行参考轨迹和所述叶片简化模型,计算得到所述爬行机器人(200)的最佳放置位置,并控制所述飞行机器人系统(100)飞行至所述最佳放置位置对应的悬停位置后,将所述爬行机器人(200)放置在所述待测风机叶片上;
控制所述爬行机器人(200)对所述待测风机叶片进行内部检测和表面检测,得到所述待测风机叶片的检测结果信息;
从所述实时空中视角图像中提取所述待测风机叶片的点云数据,用以通过中心投票法构建所述待测风机叶片的叶片简化模型,包括:
对所述实时空中视角图像进行所述待测风机叶片的区域分割及跟踪操作,得到所述待测风机叶片的多个叶片分割区域图像;
在各所述叶片分割区域图像中提取对应叶片局部区域内的所述待测风机叶片的点云数据;
通过所述中心投票法,根据提取的所述点云数据,构建所述待测风机叶片的叶片简化模型;
通过所述中心投票法,根据提取的所述点云数据,构建所述待测风机叶片的叶片简化模型,包括:
以所述待测风机叶片的叶片安装基准法兰位置为叶片坐标系的坐标原点,以所述待测风机叶片在每个所述叶片局部区域的最大截面处中心点位置作为参考点,以所述待测风机叶片在每个所述叶片局部区域的最大截面处中心点位置到轮廓边缘的最大距离为半径生成圆柱体作为对应叶片局部区域的基准碰撞盒,根据点云数据,计算得到所述待测风机叶片在每个所述叶片局部区域的位置和姿态;
通过中心投票法,从所述待测风机叶片在每个所述叶片局部区域的位置和姿态中提取最优位置和最优姿态,用以构建所述待测风机叶片的叶片简化模型;
所述飞行机器人系统(100)包括空中机械臂(120);
所述空中机械臂(120)用于携带所述爬行机器人(200)进行飞行,以及在所述爬行机器人(200)的最佳放置位置对应的悬停位置,将所述爬行机器人(200)放置在所述风机叶片上。
2.根据权利要求1所述的风机叶片检测方法,其特征在于,基于所述安全飞行参考轨迹和所述叶片简化模型,计算得到所述爬行机器人(200)的最佳放置位置,并控制所述飞行机器人系统(100)飞行至所述最佳放置位置对应的悬停位置后,将所述爬行机器人(200)放置在所述待测风机叶片上,包括:
根据所述叶片简化模型,结合预设的模型预测控制器,计算所述飞行机器人系统(100)与所述安全飞行参考轨迹之间的误差最小化的跟踪轨迹;
控制所述飞行机器人系统(100)在所述误差最小化的跟踪轨迹进行飞行,并根据飞行过程中获取的滑动窗口因子,计算得到所述爬行机器人(200)的最佳放置位置;
驱动所述飞行机器人系统(100)飞行至所述最佳放置位置对应的悬停位置后,将所述爬行机器人(200)放置在所述待测风机叶片上。
3.根据权利要求2所述的风机叶片检测方法,其特征在于,控制所述飞行机器人系统(100)在所述误差最小化的跟踪轨迹进行飞行,并根据飞行过程中获取的滑动窗口因子,计算得到所述爬行机器人(200)的最佳放置位置,包括:
提取所述飞行机器人系统(100)在所述误差最小化的跟踪轨迹飞行时获取的局部点云数据作为所述滑动窗口因子;
判断所述飞行机器人系统(100)在所述滑动窗口因子所在位置对应的悬停位置是否满足所述爬行机器人(200)和所述飞行机器人系统(100)的空中机械臂(120)的作业要求;
若是,则确定所述滑动窗口因子所在位置为所述爬行机器人(200)的最佳放置位置;
若否,则控制所述飞行机器人系统(100)继续沿着所述误差最小化的跟踪轨迹飞行,直到所述飞行机器人系统(100)在其他滑动窗口因子所在位置对应的悬停位置满足所述爬行机器人(200)和所述空中机械臂(120)的作业要求。
4.根据权利要求3所述的风机叶片检测方法,其特征在于,所述爬行机器人(200)和所述飞行机器人系统(100)的空中机械臂(120)的作业要求包括所述滑动窗口因子所在位置的上表面轮廓线与水平线坡度小于所述爬行机器人(200)的作业规定范围,且所述滑动窗口因子所在位置与所述待测风机叶片的距离小于所述空中机械臂(120)的作业规定距离。
5.根据权利要求1所述的风机叶片检测方法,其特征在于,控制所述爬行机器人(200)对所述待测风机叶片进行内部检测和表面检测,得到所述待测风机叶片的检测结果信息之后,还包括:
当所述爬行机器人(200)对所述待测风机叶片的检测完成后,控制所述飞行机器人系统(100)的空中机械臂(120),对所述爬行机器人(200)进行抓取收回操作。
6.一种风机叶片检测系统,其特征在于,用于基于权利要求1所述的风机叶片检测方法对风机叶片进行检测,包括:
飞行机器人系统(100),用于根据采集的实时空中视角图像,构建风机叶片(500)的叶片简化模型后,通过基于所述叶片简化模型和预设的安全飞行偏置距离生成的安全飞行参考轨迹,携带爬行机器人(200)进行飞行,并在飞行至所述爬行机器人(200)的最佳放置位置对应的悬停位置后,将所述爬行机器人放置在所述风机叶片(500)上;
所述爬行机器人(200),用于对风机叶片(500)进行内部检测和表面检测;
通信及定位基站(300),用于实现所述飞行机器人系统(100)和所述爬行机器人(200)的定位,以及实现所述飞行机器人系统(100)和所述爬行机器人(200)与人机协同作业控制终端(400)之间通信;
所述人机协同作业控制终端(400),用于控制所述飞行机器人系统(100)和所述爬行机器人(200)。
7.根据权利要求6所述的风机叶片检测系统,其特征在于,所述飞行机器人系统(100)包括多旋翼飞行平台(110)和空中机械臂(120);
所述多旋翼飞行平台(110)用于根据采集的所述实时空中视角图像,构建所述风机叶片(500)的叶片简化模型后,通过基于所述叶片简化模型和所述预设的安全飞行偏置距离生成的所述安全飞行参考轨迹,携带所述爬行机器人(200)飞行至所述爬行机器人(200)的最佳放置位置对应的悬停位置。
8.根据权利要求6所述的风机叶片检测系统,其特征在于,所述爬行机器人(200)包括底盘支架(210)、抓取把手(220)、对置无损检测仪(230)、行走机构和微距相机(260);所述行走机构包括悬挂及张紧装置(240)和多组履带式爬行足(250);
所述底盘支架(210)为下侧开口的C型结构,所述抓取把手(220)设置在所述底盘支架(210)的顶部,所述对置无损检测仪(230)、所述行走机构和微距相机(260)均设置在所述底盘支架(210)的内部;
所述抓取把手(220)用于供所述飞行机器人系统(100)抓取;
所述对置无损检测仪(230)用于对所述风机叶片(500)进行内部检测和表面检测;
所述悬挂及张紧装置(240)用于夹紧所述风机叶片(500)以锁定所述爬行机器人(200)与所述风机叶片(500)的相对位置;
所述履带式爬行足(250)用于驱动所述爬行机器人(200)进行运动;
所述微距相机(260)用于获取所述风机叶片(500)的表面图像信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311690467.9A CN117386567B (zh) | 2023-12-11 | 2023-12-11 | 一种风机叶片检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311690467.9A CN117386567B (zh) | 2023-12-11 | 2023-12-11 | 一种风机叶片检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117386567A CN117386567A (zh) | 2024-01-12 |
CN117386567B true CN117386567B (zh) | 2024-02-13 |
Family
ID=89441365
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311690467.9A Active CN117386567B (zh) | 2023-12-11 | 2023-12-11 | 一种风机叶片检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117386567B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190108832A (ko) * | 2018-03-15 | 2019-09-25 | (주)니어스랩 | 풍력 발전기 블레이드 결함 인식/분석 장치 및 방법 |
CN112228289A (zh) * | 2020-10-13 | 2021-01-15 | 专业无人机美国有限公司 | 使用渗透染料对风车叶片进行无损原位测试的设备和方法 |
CN112987756A (zh) * | 2021-04-21 | 2021-06-18 | 中国矿业大学(北京) | 叶片检测机器人、控制方法和控制器 |
CN114020002A (zh) * | 2021-12-20 | 2022-02-08 | 复亚智能科技(太仓)有限公司 | 无人机巡检风机叶片的方法、装置、设备、无人机及介质 |
CN115078550A (zh) * | 2022-05-13 | 2022-09-20 | 大连海事大学 | 无人机海上风电叶片检测装置及其控制方法 |
CN116859987A (zh) * | 2023-06-13 | 2023-10-10 | 华能大理风力发电有限公司祥云分公司 | 一种无人机自动采集叶片照片系统 |
CN116902240A (zh) * | 2023-06-19 | 2023-10-20 | 中国计量大学 | 一种在役风电叶片主梁隐患检测机器人及其检测方法 |
-
2023
- 2023-12-11 CN CN202311690467.9A patent/CN117386567B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190108832A (ko) * | 2018-03-15 | 2019-09-25 | (주)니어스랩 | 풍력 발전기 블레이드 결함 인식/분석 장치 및 방법 |
CN112228289A (zh) * | 2020-10-13 | 2021-01-15 | 专业无人机美国有限公司 | 使用渗透染料对风车叶片进行无损原位测试的设备和方法 |
CN112987756A (zh) * | 2021-04-21 | 2021-06-18 | 中国矿业大学(北京) | 叶片检测机器人、控制方法和控制器 |
CN114020002A (zh) * | 2021-12-20 | 2022-02-08 | 复亚智能科技(太仓)有限公司 | 无人机巡检风机叶片的方法、装置、设备、无人机及介质 |
CN115078550A (zh) * | 2022-05-13 | 2022-09-20 | 大连海事大学 | 无人机海上风电叶片检测装置及其控制方法 |
CN116859987A (zh) * | 2023-06-13 | 2023-10-10 | 华能大理风力发电有限公司祥云分公司 | 一种无人机自动采集叶片照片系统 |
CN116902240A (zh) * | 2023-06-19 | 2023-10-20 | 中国计量大学 | 一种在役风电叶片主梁隐患检测机器人及其检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN117386567A (zh) | 2024-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3738892B1 (en) | In-service maintenance process using unmanned aerial vehicles | |
Mirallès et al. | LineDrone Technology: Landing an unmanned aerial vehicle on a power line | |
US11662728B2 (en) | Methods for maintaining difficult-to-access structures using unmanned aerial vehicles | |
CN111300372A (zh) | 空地协同式智能巡检机器人及巡检方法 | |
JP6426143B2 (ja) | 複雑な表面検査及び加工のための制御された自律型ロボットシステムおよびその方法 | |
US10377485B2 (en) | System and method for automatically inspecting surfaces | |
EP3315406A1 (en) | Method and system for non-destructive testing using an unmanned aerial vehicle | |
Luo et al. | A survey of intelligent transmission line inspection based on unmanned aerial vehicle | |
US20230229165A1 (en) | Repair of Structures Using Unmanned Aerial Vehicles | |
EP3306293B1 (en) | Aircraft monitoring system | |
CN107538508A (zh) | 基于视觉定位的机器人自动装配方法与系统 | |
US11827351B2 (en) | Control and navigation systems | |
CN211890820U (zh) | 空地协同式智能巡检机器人 | |
CN109747824B (zh) | 用于烟囱内部无人机避障的装置和避障方法 | |
EP3850456A1 (en) | Control and navigation systems, pose optimisation, mapping, and localisation techniques | |
CN112710233A (zh) | 一种基于激光点云的大规模飞机蒙皮点云获取装备及方法 | |
KR20170078543A (ko) | 셀프 로케이팅 로봇들 | |
Premachandra et al. | A study on hovering control of small aerial robot by sensing existing floor features | |
Zeng et al. | Autonomous control design of an unmanned aerial manipulator for contact inspection | |
CN117386567B (zh) | 一种风机叶片检测方法及系统 | |
Srivastava et al. | Range estimation and visual servoing of a dynamic target using a monocular camera | |
Laiacker et al. | Automatic aerial retrieval of a mobile robot using optical target tracking and localization | |
Bauda et al. | 3D scanner positioning for aircraft surface inspection | |
Gietler et al. | Forestry Crane Automation using Learning-based Visual Grasping Point Prediction | |
CN115188091B (zh) | 一种融合电力输变配设备的无人机网格化巡检系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |