CN117041501A - 一种基于增强现实的无人机风电设备巡检方法 - Google Patents
一种基于增强现实的无人机风电设备巡检方法 Download PDFInfo
- Publication number
- CN117041501A CN117041501A CN202311292123.2A CN202311292123A CN117041501A CN 117041501 A CN117041501 A CN 117041501A CN 202311292123 A CN202311292123 A CN 202311292123A CN 117041501 A CN117041501 A CN 117041501A
- Authority
- CN
- China
- Prior art keywords
- camera
- shooting
- image
- gesture
- unmanned aerial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 18
- 230000007547 defect Effects 0.000 claims abstract description 78
- 238000003384 imaging method Methods 0.000 claims abstract description 33
- 230000036544 posture Effects 0.000 claims abstract description 19
- 230000006698 induction Effects 0.000 claims description 14
- 238000006073 displacement reaction Methods 0.000 claims description 13
- 239000011521 glass Substances 0.000 claims description 10
- 230000035945 sensitivity Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000001939 inductive effect Effects 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000002950 deficient Effects 0.000 claims 2
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Human Computer Interaction (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开了一种基于增强现实的无人机风电设备巡检方法,包括以下步骤:S1,路径规划模块对无人机的飞行路径和巡检点位进行规划,无人机根据设定的飞行路径对风电设备进行巡检;S2,主摄像机对风电设备的影像进行摄影;S3,工作人员操作成像调节模块来对主摄像机和副摄像机的拍摄姿势进行同步调节,所述副摄像机对合适的位置进行拍摄,得到样本图像;S4,图像识别模块对样本图像进行缺陷识别;S5,成像调节模块根据缺陷的位置信息调节所述副摄像机,对有缺陷的位置进行二次拍摄,图像显示模块对二次拍摄的图像进行显示;本发明提出的方案解决了现有巡检技术中耗费人力资源多、智能程度低、图像清晰度不高、工作人员眼部负担大等问题。
Description
技术领域
本发明涉及风电设备巡检领域,尤其是涉及一种基于增强现实的无人机风电设备巡检方法。
背景技术
增强现实,也称为AR,是一种将虚拟信息与真实世界巧妙融合的技术,广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段,将计算机生成的虚拟信息模拟仿真后,应用到真实世界中,两种信息互为补充,从而实现对真实世界的“增强”。
目前传统的风电设备检测方法,通常采用人工爬上风力发电机,通过高空作业对风电设备进行检测,不仅会花费大量的人力,而且存在较大的安全隐患;在某些地区会采用无人机对风电设备进行巡检,从而规避传统检测方法所带来的弊端,但即使采用无人机对风电设备进行巡检,也会产生诸如图像不清晰,需要工作人员持续肉眼判断风电设备状况等问题。
如现有技术CN213574475U所公开的一种风电机组机舱智能巡检装置,该巡检装置能够及时发现风电设备中出现的异常状况,从而及时作出调整,解决了现有的风电机组机舱巡检采用的人力巡检缺陷较多,工作量大,且巡检慢的问题,但对异常状况的体现不够直观,不便工作人员进行判断。
如现有技术US11409280B1所公开的一种使用遥控器辅助人类操作员操作无人机的装置、方法和软件,该装置包括内部数据通信接口、增强现实显示器、存储器和处理器;所述增强现实显示器用于显示目标记号,所述目标记号用于显示所述无人机的目的地;所述增强现实显示器还能显示方向符号,所述方向符号还能显示所述无人机的移动方向;该装置还能获取所述无人机的地理位置,并在地图上对无人机的位置进行标记。
再如现有技术CN114893359A所公开的一种基于AR设备的风电轮毂智能巡检系统,所述巡检系统包括服务器、处理器、以及无人机,还包括路径规划模块、数据回传模块、交互模块、成像调节模块,该发明通过路径规划模块与数据回传模块相配合,使巡检数据能通过AR设备进行查看,使得风电轮毂的当前状态能被工作人员直观的查看,但巡检数据没经过鉴别就直接发送给工作人员看,当巡查数据较多时,容易增加工作人员的眼部负担,进而影响对异常状况的判断。
为了解决本领域普遍存在的诸如耗费人力资源多、智能程度低、图像清晰度不高、工作人员眼部负担大等问题,本发明提出了一种基于增强现实的无人机风电设备巡检方法。
发明内容
本发明的目的在于提供一种基于增强现实的无人机风电设备巡检方法以克服现有技术中的不足之处,为达此目的,本发明采用以下技术方案:一种基于增强现实的无人机风电设备巡检方法,其特征在于,包括以下步骤:
S1,路径规划模块对无人机的飞行路径和巡检点位进行规划,并对无人机组的巡检任务进行监控,无人机根据设定的飞行路径对风电设备进行巡检;
S2,无人机上设置的主摄像机对风电设备的影像进行摄影,图像显示模块对主摄像机摄影的影像进行显示;
S3,通过成像调节模块来对设置在无人机上的主摄像机和副摄像机的拍摄姿势进行同步调节,副摄像机对准合适位置进行拍摄,得到样本图像,所述图像显示模块对样本图像进行显示;
S4,图像识别模块对样本图像进行缺陷识别,并将缺陷的位置信息发送给所述成像调节模块;
S5,所述成像调节模块根据缺陷的位置信息调节无人机上设置的副摄像机,所述副摄像机对风电设备有缺陷的位置进行二次拍摄,所述图像显示模块对二次拍摄的图像进行显示。
更进一步的,所述图像显示模块包括图像接收单元、图像增强单元和成像单元,所述图像接收单元用于接收所述主摄像机和所述副摄像机拍摄的影像或图像,所述图像增强单元用于提高图像和影像的清晰度,以提高巡检的检查精度,所述成像单元包括AR眼镜和显示屏;所述AR眼镜佩戴于工作人员的头部,所述AR眼镜用于显示所述主摄像机所拍摄的影像,所述显示屏用于显示所述副摄像机所拍摄的缺陷位置的图片。
更进一步的,所述成像调节模块包括调节单元和调节指令发送单元;所述调节单元包括灵敏度调节器和姿势采集组件,所述姿势采集组件用于采集工作人员的姿势,所述主摄像机的拍摄姿势响应于所述姿势采集组件,通过操作所述姿势采集组件从而改变所述主摄像机的拍摄姿势,进而改变拍摄图像;所述灵敏度调节器用于调节所述姿势采集组件的灵敏度;
所述调节指令发送单元包括信号接收器、信号分析器和指令发送器,所述信号接收器用于接收所述姿势采集组件所采集的姿势采集信号或所述图像识别模块所识别的缺陷位置信号,所述信号分析器用于将所述信号接收器接收的信号转化为摄像机调整指令,所述摄像机调整指令用于调整所述主摄像机或所述副摄像机进而调整拍摄图像,所述指令发送器用于将所述摄像机调整指令发送给所述无人机;
更进一步的,所述姿势采集组件包括感应手套、位移传感器和方向传感器;所述感应手套佩戴于工作人员的手上,所述感应手套用于感应工作人员的手部移动,所述感应手套设置有快门;所述位移传感器安装于所述感应手套,所述位移传感器用于检测工作人员手部的移动距离;所述方向传感器安装于所述感应手套,所述方向传感器用于检测工作人员手部的移动方向。
更进一步的,所述无人机包括姿势调节模块,所述姿势调节模块用于调整所述主摄像机和所述副摄像机的拍摄姿势;所述姿势调节模块包括第一姿势调节模块和第二姿势调节模块,所述第一姿势调节模块用于调节所述主摄像机的拍摄姿势;所述第二姿势调节模块用于调节所述副摄像机的拍摄姿势。
更进一步的,所述成像调节模块对主摄像机和副摄像机的拍摄姿势进行同步调节的方法包括以下步骤:
S301,所述姿势采集组件对所述感应手套的移动距离D和移动方向L进行采集并发送给所述信号接收器;
S302,所属信号分析器根据所述信号接收器接收的信号建立坐标系,通过三角函数将移动距离D和移动方向L分解为所述姿势采集组件在水平方向的位移X和竖直方向的位移Y;
其中X的取值为-A到A;Y的取值为-B到B;A和B分别为所述姿势采集组件在水平方向和竖直方向的最大采集距离;
S303,所述信号分析器建立摄像机转动角度和X以及Y之间的关系,从而将姿势采集信号转化为摄像机调整指令,其对应关系如下:
α=X;β=/>Y;
其中,α为摄像机在水平方向上转动角度的改变量,β为摄像机在竖直方向上转动角度的改变量,为摄像机在水平方向上的最大转动范围,/>为摄像机在竖直方向上的最大转动范围;
S304,所述指令发送器将分析后的摄像机调整指令发送给所述姿势调节模块;
S305,所述姿势调节模块根据α和β的大小,对主摄像机和副摄像机的摄像头进行转动。
更进一步的,所述图像识别模块进行缺陷识别的方法包括以下步骤:
S401图像预处理:将样本图像进行去噪、增强和分割等处理;
S402特征提取:对预处理后的图像进行特征提取;
S403分类识别:使用机器学习算法对提取的特征进行分类识别,判断图像中是否存在风电设备的缺陷,并确定缺陷的位置信息和缺陷个数N;
S404发送位置信息:将识别出的缺陷位置信息和缺陷个数N发送给成像调节模块。
更进一步的,所述成像调节模块调节副摄像机进行二次拍摄的方法包括以下步骤:
S501,所述信号分析器以样本图像建立直角坐标系,以矩阵形式对缺陷位置进行标记;缺陷位置分别表示为、/>……/>;其中,/>表示第N个缺陷的位置在x轴上的最小值;/>表示第N个缺陷的位置在x轴上的最大值;/>表示第N个缺陷的位置在y轴上的最小值;/>表示第N个缺陷的位置在y轴上的最大值;
S502,按照下式建立第N个缺陷位置和第N次拍摄的拍摄角度之间的关系,得到第一次到第N次副摄像机的拍摄角度(,/>)、(/>,/>)……(/>,/>);/>=/>(/>) ;=/>(/>);
其中,所述拍摄角度指的是,第N次拍摄相对于拍摄样本图像时,副摄像机的转动角度,为第N次拍摄时副摄像机在x轴的方向上的转动角度,/>为第N次拍摄时副摄像机在y轴方向上的转动角度;m为样本图像的照片长度的一半的值;n为样本图像的照片宽度的一半的值;/>为摄像机在水平方向上的最大转动范围,/>为摄像机在竖直方向上的最大转动范围;
S503,所述指令发送器将分析后的摄像机调整指令发送给所述第二姿势调节模块,所述摄像机调整指令包括拍摄次数N和每次拍摄对应的拍摄角度;
S504,所述第二姿势调节模块根据摄像机调整指令,对所述副摄像机进行调整,所述副摄像机就位后对缺陷位置进行二次拍摄,重复此步骤N次,直到所述副摄像机对N个位置的缺陷都进行了拍摄;
S505,所述副摄像机将拍摄结果发送到所述显示屏,所述显示屏对所述副摄像机的拍摄图像进行显示。
本发明所提出的一种基于增强现实的无人机风电设备巡检方法具有以下有益效果:解决了现有技术耗费人力资源多、智能程度低、图像清晰度不高、工作人员眼部负担大等问题。
附图说明
图1是本发明的系统结构示意图。
图2是本发明的运作流程图。
图3是本发明的成像调节模块对主摄像机和副摄像机的拍摄姿势进行同步调节的步骤示意图。
图4是本发明的无人机的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
实施例一:本实施例提供了一种基于增强现实的无人机风电设备巡检方法,包括以下步骤:
S1,路径规划模块对无人机的飞行路径和巡检点位进行规划,并对无人机组的巡检任务进行监控,无人机根据设定的飞行路径对风电设备进行巡检;
所述路径规划模块对无人机进行路径规划属于现有技术,在本方案内不多做赘述;
S2,无人机上设置的主摄像机对风电设备的影像进行摄影,图像显示模块对主摄像机摄影的影像进行显示;
S3,通过成像调节模块来对设置在无人机上的主摄像机和副摄像机的拍摄姿势进行同步调节,通过同步调节可以改变图像显示模块所显示的影像,副摄像机对准合适位置进行拍摄,得到样本图像,所述图像显示模块对样本图像进行显示;
值得说明的是,在该步骤内,所述主摄像机和所述副摄像机的拍摄姿势相同,因此工作人员按下快门时所述副摄像机所拍摄的样本图像为此时图像显示模块所显示的影像;
S4,图像识别模块对样本图像进行缺陷识别,并将缺陷的位置信息发送给所述成像调节模块;
S5,所述成像调节模块根据缺陷的位置信息调节无人机上设置的副摄像机,所述副摄像机对风电设备有缺陷的位置进行二次拍摄,所述图像显示模块对二次拍摄的图像进行显示。
优选的,所述副摄像机设置有多个,多个副摄像机可同时对不同位置的缺陷进行拍摄或对同一个位置的缺陷进行多角度拍摄,进而提高巡检效率。
优选的,二次拍摄的拍摄内容包括调整焦距,调整拍摄角度等,二次拍摄的目的是为了提供更加清晰的缺陷位置的图片,方便工作人员进行对缺陷复查。
更进一步的,所述图像显示模块包括图像接收单元、图像增强单元和成像单元,所述图像接收单元用于接收所述主摄像机和所述副摄像机拍摄的影像或图像,所述图像增强单元用于提高图像和影像的清晰度,以提高巡检的检查精度,所述成像单元包括AR眼镜和显示屏;所述AR眼镜佩戴于工作人员的头部,所述AR眼镜用于显示所述主摄像机所拍摄的影像,所述显示屏用于显示所述副摄像机所拍摄的缺陷位置的图片。
工作人员可先用AR眼镜对风电设备进行整体的缺陷检查,从而了解风电设备整体的工作状态,再通过所述显示屏所显示的缺陷图片对风电设备进行局部的缺陷检查,通过两次检查能够大大降低检查出现遗漏的情况。
更进一步的,所述成像调节模块包括调节单元和调节指令发送单元;所述调节单元包括灵敏度调节器和姿势采集组件,所述姿势采集组件用于采集工作人员的姿势,所述主摄像机的拍摄姿势响应于所述姿势采集组件,通过操作所述姿势采集组件从而改变所述主摄像机的拍摄姿势,进而改变拍摄图像;所述灵敏度调节器用于调节所述姿势采集组件的灵敏度;
所述调节指令发送单元包括信号接收器、信号分析器和指令发送器,所述信号接收器用于接收所述姿势采集组件所采集的姿势采集信号或所述图像识别模块所识别的缺陷位置信号,所述信号分析器用于将所述信号接收器接收的信号转化为摄像机调整指令,所述摄像机调整指令用于调整所述主摄像机或所述副摄像机进而调整拍摄图像,所述指令发送器用于将所述摄像机调整指令发送给所述无人机;
优选的,所述信号接收器与所述显示屏信号互通,所述显示屏包括拍摄类型选择功能,用户可通过所述拍摄类型选择功能输入想要的二次拍摄的类型,所述显示屏将输入结果发送给所述信号接收器,所述信号接收器接收信号后将该信号发送给所述信号分析器,所述信号分析器将该信号转化为摄像机调整指令,所述指令发送器将该指令发送给无人机,从而使所述副摄像机实现调整焦距、进行高速连拍等功能。
更进一步的,所述姿势采集组件包括感应手套、位移传感器和方向传感器;所述感应手套佩戴于工作人员的手上,所述感应手套用于感应工作人员的手部移动从而对所述主摄像机和所述副摄像机的拍摄姿势进行调整,进而对拍摄图像进行调节,所述感应手套设置有快门,工作人员通过按下快门可以操作所述副摄像机对风电设备进行拍摄;所述位移传感器安装于所述感应手套,所述位移传感器用于检测工作人员手部的移动距离;所述方向传感器安装于所述感应手套,所述方向传感器用于检测工作人员手部的移动方向。
更进一步的,所述无人机包括姿势调节模块,所述姿势调节模块能够响应所述摄像机调整指令进而调整所述主摄像机和所述副摄像机的拍摄姿势;所述姿势调节模块包括第一姿势调节模块和第二姿势调节模块,所述第一姿势调节模块用于调节所述主摄像机的拍摄姿势;所述第二姿势调节模块用于调节所述副摄像机的拍摄姿势从而对缺陷位置进行二次拍摄。
更进一步的,所述成像调节模块对主摄像机和副摄像机的拍摄姿势进行同步调节的方法包括以下步骤:
S301,所述姿势采集组件对所述感应手套的移动距离D和移动方向L进行采集并发送给所述信号接收器;
S302,所属信号分析器根据所述信号接收器接收的信号建立坐标系,通过三角函数将移动距离D和移动方向L分解为所述姿势采集组件在水平方向的位移X和竖直方向的位移Y;
其中X的取值为-A到A;Y的取值为-B到B;A和B分别为所述姿势采集组件在水平方向和竖直方向的最大采集距离;
值得说明的是,取值的正和负分别代表往正方向和负方向的位移;
S303,所述信号分析器建立摄像机转动角度和X以及Y之间的关系,从而将姿势采集信号转化为摄像机调整指令,其对应关系如下:
α=X;β=/>Y;
其中,α为摄像机在水平方向上转动角度的改变量,β为摄像机在竖直方向上转动角度的改变量,为摄像机在水平方向上的最大转动范围,/>为摄像机在竖直方向上的最大转动范围;
S304,所述指令发送器将分析后的摄像机调整指令发送给所述姿势调节模块;
S305,所述姿势调节模块根据α和β的大小,对主摄像机和副摄像机的摄像头进行转动,从而改变拍摄姿势,进而改变拍摄图像。
更进一步的,所述图像识别模块进行缺陷识别的方法包括以下步骤:
S401图像预处理:将样本图像进行去噪、增强和分割等处理,以提高图像质量和减少干扰因素;
S402特征提取:对预处理后的图像进行特征提取,以便后续的分类识别;
S403分类识别:使用机器学习算法对提取的特征进行分类识别,判断图像中是否存在风电设备的缺陷,并确定缺陷的位置信息和缺陷个数N;
S404发送位置信息:将识别出的缺陷位置信息和缺陷个数N发送给成像调节模块,以便所述成像调节模块调节副摄像机进行二次拍摄。
更进一步的,所述成像调节模块调节副摄像机进行二次拍摄的方法包括以下步骤:
S501,所述信号分析器以样本图像建立直角坐标系,以矩阵形式对缺陷位置进行标记;缺陷位置分别表示为、/>……/>;其中,/>表示第N个缺陷的位置在x轴上的最小值;/>表示第N个缺陷的位置在x轴上的最大值;/>表示第N个缺陷的位置在y轴上的最小值;/>表示第N个缺陷的位置在y轴上的最大值;
S502,所述按照下式建立第N个缺陷位置和第N次拍摄的拍摄角度之间的关系,得到第一次到第N次副摄像机的拍摄角度(,/>)、(/>,/>)……(/>,/>);
=/>(/>) ;/>=/>(/>);
其中,所述拍摄角度指的是,第N次拍摄相对于拍摄样本图像时,副摄像机的转动角度,为第N次拍摄时副摄像机在x轴的方向上的转动角度,/>为第N次拍摄时副摄像机在y轴方向上的转动角度;m为样本图像的照片长度的一半的值;n为样本图像的照片宽度的一半的值;/>为摄像机在水平方向上的最大转动范围,/>为摄像机在竖直方向上的最大转动范围;
S503,所述指令发送器将分析后的摄像机调整指令发送给所述第二姿势调节模块,所述摄像机调整指令包括拍摄次数N和每次拍摄对应的拍摄角度;
S504,所述第二姿势调节模块根据摄像机调整指令,对所述副摄像机进行调整,所述副摄像机就位后对缺陷位置进行二次拍摄,重复此步骤N次,直到所述副摄像机对N个位置的缺陷都进行了拍摄;
S505,所述副摄像机将拍摄结果发送到所述显示屏,所述显示屏对所述副摄像机的拍摄图像进行显示。
本实施例提供了一种基于增强现实的无人机风电设备巡检方法,本方案的成像调节模块使得工作人员能够通过简单操作对风电设备进行初次缺陷检查,同时能够自动调节副摄像机对缺陷位置进行二次拍摄解决了现有技术耗费人力资源多、智能程度低、图像清晰度不高、工作人员眼部负担大和缺陷检查容易遗漏等问题。
实施例二:本实施例包括实施例一的全部内容,在此基础上还包括一种判断空气流动的方法,包括以下步骤:
STEP1,当无人机受到气流影响,无人机发生翻转,无人机上设置姿势控制模块对无人机的姿势进行调整,从而使无人机的姿势回到稳定状态;
具体的,当所述副摄像机和所述主摄像机处于拍摄状态时,无人机被设置为处于静止悬空状态;当所述副摄像机和所述主摄像机处于非拍摄状态时,无人机沿巡检路径进行自主移动;
STEP2,数据接收模块从姿势控制模块接收无人机的姿势控制数据;
具体的,无人机的姿势控制数据包括无人机的姿势调整方向和无人机的姿势调整角度;无人机的姿势调整角度等于无人机的翻转角度;无人机的姿势调整方向与无人机的翻转方向相同;
STEP3,数据分析模块根据下式和姿势控制数据分析风向和风速;
V=;
其中,V为风速,m为无人机的质量,g为重力加速度,a为无人机的姿势调整角度,C为无人机收到风压的接触面积,p为空气密度;
具体的,所述数据分析模块能够根据所述无人机的翻转方向得到风向;
值得说明的是,无人机上设置有多个传感元件,用于检测无人机受到风压的接触面积;
STEP4,所述路径规划模块根据分析结果对无人机的巡检路径进行调整;
具体的,所述路径规划模块内存储了多个巡检方案,多个巡检方案分别用于应对不同状况,如风速不同时,风力不同时,均有不同的巡检路线;当风速过大,气流对无人机的影响超过所述姿势调整模块的调整能力时,所述无人机发生大幅度翻转且无法保持稳定状态,所述路径规划模块选择返航方案,控制无人机回到机场,避免强风对无人机造成损伤;当风速中等时,气流对无人机的影响在所述姿势调整模块的调整能力之内时,所述无人机发生翻转,所述姿势控制模块调整无人机的姿势使其回到稳定状态,所述路径规划模块根据风向和风力改变巡检方案,以保证巡检的顺利进行;当风速较低,无人机不发生翻转时,所述路径规划模块不改变巡检方案,无人机继续沿原有巡检路径移动。
本实施例提供了一种判断空气流动的方法,本方案通过对无人机的姿势调整数据进行分析,能够得到的风速和风向;根据当前的风速和风向,所述路径规划模块能够对无人机的巡检路径进行调整,从而提高巡检效率,降低气流对无人机的影响,避免强风对无人机造成损伤。
以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的原理,而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释,本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式,这些方式都将落入本发明的保护范围之内。
Claims (4)
1.一种基于增强现实的无人机风电设备巡检方法,其特征在于,包括以下步骤:
S1,路径规划模块对无人机的飞行路径和巡检点位进行规划,并对无人机组的巡检任务进行监控,无人机根据设定的飞行路径对风电设备进行巡检;
S2,无人机上设置的主摄像机对风电设备的影像进行摄影,图像显示模块对主摄像机摄影的影像进行显示;
S3,通过成像调节模块来对设置在无人机上的主摄像机和副摄像机的拍摄姿势进行同步调节,副摄像机对准合适位置进行拍摄,得到样本图像,所述图像显示模块对样本图像进行显示;
S4,图像识别模块对样本图像进行缺陷识别,并将缺陷的位置信息发送给所述成像调节模块;
S5,所述成像调节模块根据缺陷的位置信息调节所述副摄像机,所述副摄像机对风电设备有缺陷的位置进行二次拍摄,所述图像显示模块对二次拍摄的图像进行显示;
进一步的,所述图像显示模块包括图像接收单元、图像增强单元和成像单元,所述图像接收单元用于接收所述主摄像机和所述副摄像机拍摄的影像或图像,所述图像增强单元用于提高图像和影像的清晰度,以提高巡检的检查精度,所述成像单元包括AR眼镜和显示屏;所述AR眼镜佩戴于工作人员的头部,所述AR眼镜用于显示所述主摄像机所拍摄的影像,所述显示屏用于显示所述副摄像机所拍摄的缺陷位置的图片;
进一步的,所述成像调节模块包括调节单元和调节指令发送单元;所述调节单元包括灵敏度调节器和姿势采集组件,所述姿势采集组件用于采集工作人员的姿势,所述主摄像机的拍摄姿势响应于所述姿势采集组件,通过操作所述姿势采集组件从而改变所述主摄像机的拍摄姿势,进而改变拍摄图像;所述灵敏度调节器用于调节所述姿势采集组件的灵敏度;
进一步的,所述调节指令发送单元包括信号接收器、信号分析器和指令发送器,所述信号接收器用于接收所述姿势采集组件所采集的姿势采集信号或所述图像识别模块所识别的缺陷位置信号,所述信号分析器用于将所述信号接收器接收的信号转化为摄像机调整指令,所述摄像机调整指令用于调整所述主摄像机或所述副摄像机进而调整拍摄图像,所述指令发送器用于将所述摄像机调整指令发送给所述无人机;
进一步的,所述姿势采集组件包括感应手套、位移传感器和方向传感器;所述感应手套佩戴于工作人员的手上,所述感应手套用于感应工作人员的手部移动,所述感应手套设置有快门;所述位移传感器安装于所述感应手套,所述位移传感器用于检测工作人员手部的移动距离;所述方向传感器安装于所述感应手套,所述方向传感器用于检测工作人员手部的移动方向;
进一步的,所述无人机包括姿势调节模块,所述姿势调节模块用于调整所述主摄像机和所述副摄像机的拍摄姿势;所述姿势调节模块包括第一姿势调节模块和第二姿势调节模块,所述第一姿势调节模块用于调节所述主摄像机的拍摄姿势;所述第二姿势调节模块用于调节所述副摄像机的拍摄姿势。
2.根据权利要求1所述的一种基于增强现实的无人机风电设备巡检方法,其特征在于:所述成像调节模块对主摄像机和副摄像机的拍摄姿势进行同步调节的方法包括以下步骤:
S301,所述姿势采集组件对所述感应手套的移动距离D和移动方向L进行采集并发送给所述信号接收器;
S302,所属信号分析器根据所述信号接收器接收的信号建立坐标系,通过三角函数将移动距离D和移动方向L分解为所述姿势采集组件在水平方向的位移X和竖直方向的位移Y;
其中X的取值为-A到A;Y的取值为-B到B;A和B分别为所述姿势采集组件在水平方向和竖直方向的最大采集距离;
S303,所述信号分析器建立摄像机转动角度和X以及Y之间的关系,从而将姿势采集信号转化为摄像机调整指令,其对应关系如下:
α=X;β=/>Y;
其中,α为摄像机在水平方向上转动角度的改变量,β为摄像机在竖直方向上转动角度的改变量,为摄像机在水平方向上的最大转动范围,/>为摄像机在竖直方向上的最大转动范围;
S304,所述指令发送器将分析后的摄像机调整指令发送给所述姿势调节模块;
S305,所述姿势调节模块根据α和β的大小,对主摄像机和副摄像机的摄像头进行转动。
3.根据权利要求2所述的一种基于增强现实的无人机风电设备巡检方法,其特征在于:所述图像识别模块进行缺陷识别的方法包括以下步骤:
S401图像预处理:将样本图像进行去噪、增强和分割等处理;
S402特征提取:对预处理后的图像进行特征提取;
S403分类识别:使用机器学习算法对提取的特征进行分类识别,判断图像中是否存在风电设备的缺陷,并确定缺陷的位置信息和缺陷个数N;
S404发送位置信息:将识别出的缺陷位置信息和缺陷个数N发送给成像调节模块。
4.根据权利要求3所述的一种基于增强现实的无人机风电设备巡检方法,其特征在于:所述成像调节模块调节副摄像机进行二次拍摄的方法包括以下步骤:
S501,所述信号分析器以样本图像建立直角坐标系,以矩阵形式对缺陷位置进行标记;缺陷位置分别表示为、/>……/>;其中,/>表示第N个缺陷的位置在x轴上的最小值;/>表示第N个缺陷的位置在x轴上的最大值;/>表示第N个缺陷的位置在y轴上的最小值;/>表示第N个缺陷的位置在y轴上的最大值;
S502,按照下式建立第N个缺陷位置和第N次拍摄的拍摄角度之间的关系,得到第一次到第N次副摄像机的拍摄角度(,/>)、(/>,/>)……(/>,/>);/>=/>(/>) ;=/>(/>);
其中,所述拍摄角度指的是第N次拍摄相对于拍摄样本图像时副摄像机的转动角度,为第N次拍摄时副摄像机在x轴的方向上的转动角度,/>为第N次拍摄时副摄像机在y轴方向上的转动角度;m为样本图像的照片长度的一半的值;n为样本图像的照片宽度的一半的值;/>为摄像机在水平方向上的最大转动范围,/>为摄像机在竖直方向上的最大转动范围;
S503,所述指令发送器将分析后的摄像机调整指令发送给所述第二姿势调节模块,所述摄像机调整指令包括拍摄次数N和每次拍摄对应的拍摄角度;
S504,所述第二姿势调节模块根据摄像机调整指令,对所述副摄像机进行调整,所述副摄像机就位后对缺陷位置进行二次拍摄,重复此步骤N次,直到所述副摄像机对N个位置的缺陷都进行了拍摄;
S505,所述副摄像机将拍摄结果发送到所述显示屏,所述显示屏对所述副摄像机的拍摄图像进行显示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311292123.2A CN117041501B (zh) | 2023-10-08 | 2023-10-08 | 一种基于增强现实的无人机风电设备巡检方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311292123.2A CN117041501B (zh) | 2023-10-08 | 2023-10-08 | 一种基于增强现实的无人机风电设备巡检方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117041501A true CN117041501A (zh) | 2023-11-10 |
CN117041501B CN117041501B (zh) | 2024-01-23 |
Family
ID=88641526
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311292123.2A Active CN117041501B (zh) | 2023-10-08 | 2023-10-08 | 一种基于增强现实的无人机风电设备巡检方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117041501B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102905076A (zh) * | 2012-11-12 | 2013-01-30 | 深圳市维尚视界立体显示技术有限公司 | 一种3d立体拍摄智能控制的装置、系统及其方法 |
CN107728637A (zh) * | 2017-12-02 | 2018-02-23 | 广东容祺智能科技有限公司 | 一种智能化调整摄影角度的无人机系统 |
CN110443909A (zh) * | 2019-08-16 | 2019-11-12 | 广东工业大学 | 一种基于增强现实的巡检系统和方法 |
KR20200048615A (ko) * | 2018-10-30 | 2020-05-08 | (주)메타파스 | 머신러닝기반 실시간 태양광발전소 검사 드론 |
CN113066195A (zh) * | 2021-03-17 | 2021-07-02 | 广东电网有限责任公司梅州供电局 | 电力设备巡检方法、装置、ar眼镜和存储介质 |
CN114893359A (zh) * | 2022-05-23 | 2022-08-12 | 众芯汉创(北京)科技有限公司 | 一种基于ar设备的风电轮毂智能巡检系统 |
CN116416702A (zh) * | 2023-04-14 | 2023-07-11 | 众芯汉创(西安)科技有限公司 | 一种基于增强现实的无人机电力设备巡检系统 |
CN116538025A (zh) * | 2023-04-28 | 2023-08-04 | 众芯汉创(北京)科技有限公司 | 一种基于ar设备的风电轮毂智能巡检系统 |
CN116755474A (zh) * | 2023-08-18 | 2023-09-15 | 广州全成多维信息技术有限公司 | 一种无人机用电力巡线方法及系统 |
-
2023
- 2023-10-08 CN CN202311292123.2A patent/CN117041501B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102905076A (zh) * | 2012-11-12 | 2013-01-30 | 深圳市维尚视界立体显示技术有限公司 | 一种3d立体拍摄智能控制的装置、系统及其方法 |
CN107728637A (zh) * | 2017-12-02 | 2018-02-23 | 广东容祺智能科技有限公司 | 一种智能化调整摄影角度的无人机系统 |
KR20200048615A (ko) * | 2018-10-30 | 2020-05-08 | (주)메타파스 | 머신러닝기반 실시간 태양광발전소 검사 드론 |
CN110443909A (zh) * | 2019-08-16 | 2019-11-12 | 广东工业大学 | 一种基于增强现实的巡检系统和方法 |
CN113066195A (zh) * | 2021-03-17 | 2021-07-02 | 广东电网有限责任公司梅州供电局 | 电力设备巡检方法、装置、ar眼镜和存储介质 |
CN114893359A (zh) * | 2022-05-23 | 2022-08-12 | 众芯汉创(北京)科技有限公司 | 一种基于ar设备的风电轮毂智能巡检系统 |
CN116416702A (zh) * | 2023-04-14 | 2023-07-11 | 众芯汉创(西安)科技有限公司 | 一种基于增强现实的无人机电力设备巡检系统 |
CN116538025A (zh) * | 2023-04-28 | 2023-08-04 | 众芯汉创(北京)科技有限公司 | 一种基于ar设备的风电轮毂智能巡检系统 |
CN116755474A (zh) * | 2023-08-18 | 2023-09-15 | 广州全成多维信息技术有限公司 | 一种无人机用电力巡线方法及系统 |
Non-Patent Citations (1)
Title |
---|
李忠魁;邝石;杨富磊;刘晓伟: "基于增强现实(AR)技术的输电线路多场景巡视研究", 《内蒙古科技与经济》 * |
Also Published As
Publication number | Publication date |
---|---|
CN117041501B (zh) | 2024-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110297498B (zh) | 一种基于无线充电无人机的轨道巡检方法及系统 | |
CN110142785A (zh) | 一种基于目标检测的巡检机器人视觉伺服方法 | |
CN103941746B (zh) | 无人机巡检图像处理系统及方法 | |
CN110246175A (zh) | 全景相机与云台相机结合的变电站巡检机器人图像检测系统及方法 | |
KR101261409B1 (ko) | 영상 내 노면표시 인식시스템 | |
CN110866483B (zh) | 一种动静结合的机场跑道异物视觉检测与定位方法 | |
CN106056624A (zh) | 无人机高清图像小目标检测与跟踪系统及其检测跟踪方法 | |
CN106379536A (zh) | 基于无人机的天然气管线巡检系统 | |
CN112215860A (zh) | 一种基于图像处理的无人机定位方法 | |
CN103065519A (zh) | 坡道定点停车和起步检测系统及其检测方法 | |
CN106295695B (zh) | 一种飞机起降过程自动追踪拍摄方法及装置 | |
CN113177918B (zh) | 一种无人机对电力杆塔的智能精准巡检方法及系统 | |
CN109848073A (zh) | 一种分拣煤与煤矸石的设备与方法 | |
CN106403901B (zh) | 一种浮标姿态测量装置及方法 | |
WO2022036724A1 (zh) | 基于机器视觉的无人机目标跟踪系统及方法 | |
CN105551032A (zh) | 一种基于视觉伺服的杆塔图像采集系统及其方法 | |
KR101657086B1 (ko) | 고정 카메라를 장착한 무인 항공기의 영상기반 유도 제어시스템 | |
CN107221006A (zh) | 一种基于无人机成像平台的通信单管塔倾斜检测方法 | |
CN107703956A (zh) | 一种基于惯性捕捉技术的虚拟交互系统及其工作方法 | |
CN114004977A (zh) | 一种基于深度学习的航拍数据目标定位方法及系统 | |
CN208126205U (zh) | 一种自动避障的无人飞行装置 | |
CN105447431B (zh) | 一种基于机器视觉的入坞飞机跟踪定位方法及系统 | |
CN109885091B (zh) | 一种无人机自主飞行控制方法及系统 | |
CN107256034A (zh) | 一种基于无人机的变配电室多点环境数据采集系统 | |
CN113449566B (zh) | 人在回路的“低慢小”目标智能图像跟踪方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |