CN114463648B - 一种基于纯视觉的保持风机叶片位于相机视野中间的方法 - Google Patents
一种基于纯视觉的保持风机叶片位于相机视野中间的方法 Download PDFInfo
- Publication number
- CN114463648B CN114463648B CN202210018786.4A CN202210018786A CN114463648B CN 114463648 B CN114463648 B CN 114463648B CN 202210018786 A CN202210018786 A CN 202210018786A CN 114463648 B CN114463648 B CN 114463648B
- Authority
- CN
- China
- Prior art keywords
- image
- blade
- point
- edge
- fan blade
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000011218 segmentation Effects 0.000 claims description 21
- 101150044148 MID1 gene Proteins 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 10
- 238000003709 image segmentation Methods 0.000 claims description 9
- 230000000877 morphologic effect Effects 0.000 claims description 6
- 238000007689 inspection Methods 0.000 claims description 5
- 238000003672 processing method Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
- G07C1/20—Checking timed patrols, e.g. of watchman
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E10/00—Energy generation through renewable energy sources
- Y02E10/70—Wind energy
- Y02E10/72—Wind turbines with rotation axis in wind direction
Landscapes
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Water Supply & Treatment (AREA)
- Public Health (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种基于纯视觉的保持风机叶片位于相机视野中间的方法,它提供了一种在无人机上挂载电控云台,通过云台来控制高分辨率相机的拍摄角度从而用于跟踪叶片,使之保持在相机视野中间的技术,其目的是为了解决现有的叶片图像拍摄里不能始终保持风机叶片位于相机视野中间而导致的不利于准确拼接和有效识别叶片的问题。
Description
技术领域
本发明属于图像处理技术领域,具体涉及一种利用无人机对新能源风机叶片进行巡检,并通过挂载电控云台和在云台上安装相机来对风机叶片进行缺陷识别或者图像拼接的技术,尤其涉及一种基于纯视觉的保持风机叶片位于相机视野中间的方法。
背景技术
风力发电机是一种电力设备,工作时将风能转变为机械能,机械能带动转子旋转,最终输出交流电。风力发电机在长期运行过程中,叶片表面会产生各种损伤,例如叶片油污,裂纹,掉漆,雷击等,传统的风机运维任务常常需要工作人员爬上风力发电机进行人工检测。
而现阶段的新能源风机叶片运维任务常常使用无人机来代替人工进行自动化巡检,无人机通过挂载电控云台和在云台上安装相机来对风机叶片进行缺陷识别或者图像拼接。由于叶片巨大,无人机需要在距离叶片十米左右的位置处沿着叶片中轴线方向进行移动和图像拍摄。无人机在飞行时往往主要是为了控制无人机和叶片之间保持一个较为安全的距离,但却无法保证叶片始终保持在相机视野中间。如果采集的叶片区域图像偏离相机的视野中央,则会在后续的图像识别和图像拼接阶段产生不利的影响,严重的甚至会导致某些拍摄的图像不能满足要求。
发明内容
本发明是针对采用无人机对新能源风机叶片进行缺陷识别、图像拼接时存在的效果不理想,效率不高等技术问题而提出的一种基于纯视觉的保持风机叶片位于相机视野中间的方法。
一种基于纯视觉的保持风机叶片位于相机视野中间的方法,它包括以下步骤:
步骤1:使用相机对处于正前方的风机叶片拍摄,对视频流中初始阶段的初始目标帧图像进行分割,提取图像中叶片区域的中轴线并在中轴线上找到两个特殊点Pa和Pb作为感兴趣区域的定位点,同时根据叶片区域宽度大小预设一个宽度值width,而对于视频流的后续图像帧,将其由RGB色彩空间转变到HSV色彩空间;
步骤2:对于步骤1设定的定位点位置信息和宽度信息,计算风机叶片区域内部的矩形感兴趣区域,通过遍历该矩形感兴趣区域的HSV颜色空间各通道数值来设定要分割的HSV各通道阈值范围;
步骤3:根据步骤2设定的阈值范围,在当前图像帧上找到属于风机叶片区域的外轮廓;
步骤4:在最终的轮廓分割图上计算叶片的左侧边缘线,右侧边缘线,并计算出叶片区域的中轴线和叶片区域的中心点,从而根据叶片区域的中心点和图像中间点之间的偏移量来调整电控云台的姿态,实现相机拍摄角度的调整。
在步骤2中,在设定要分割的HSV各通道阈值范围时,采用以下步骤:
步骤2.1:连接Pa和Pb两个特殊点计算其单位向量和对应的垂向量,再根据宽度值width分别计算出左上端点右上端点/>和左下端点/>右下端点/>的位置,由这四个位置点确定矩形范围,该矩形范围属于图像风机叶片区域内部;
步骤2.2:对由步骤2.1计算得到的矩形区域,对该区域上各个像素点的HSV通道数值进行遍历,确定H通道的最小最大值lowH和maxH,S通道上的最小最大值lowS和maxS,V通道上的最小最大值lowV和maxV,这三对数值设置为该图像帧上的HSV颜色空间分割阈值范围。
在步骤3中,在找到属于风机叶片区域的外轮廓时,采用以下步骤:
步骤3.1:首先遍历图像各个像素点,如果该像素点上的HSV通道各个通道数值满足如下条件,则保留该像素点,否则该像素点不予考虑,将通道数值改为(0,0,0),
其中,H(i,j)value,S(i,j)value和V(i,j)value分别表示图像第i行第j列的像素点在HSV颜色空间上各通道的数值大小;
步骤3.2:由步骤3.1可得到初步分割后的图像,之后再对该图采用形态学方法进行后处理。对图像做先腐蚀后膨胀的开运算,消除多余的杂点和噪声点;再对图像做先膨胀后腐蚀的闭运算来填补内部空洞,增强图像的分割效果;此时,原图上可能保留有属于多个不同部分的区域轮廓图像,基于风机叶片所占平面图像空间最多这一先验信息,寻找最大连通域并保留,以此作为最终的图像分割结果。
在步骤4中,在计算叶片中轴线与中轴线中间点位置时,采用以下步骤:
步骤4.1:逐行从左到右遍历分割图,所遇到的第一个不为(0,0,0)通道数值的像素点记为左边缘点,加入左边缘点集合,而所遇到的最后一个不为(0,0,0)通道数值的像素点记为右边缘点,加入右边缘点集合;
步骤4.2:对由步骤4.1遍历图像得到的左边缘点集合采用最小二乘法拟合出直线参数(斜率k和截距b),根据直线方程的参数,计算直线与图像边缘的上交点和下交点位置,设叶片左边缘直线与图像边缘的相交点分别为Pleft1和Pleft2,在图像上连接Pleft1和Pleft2即可得到风机叶片的左侧边缘直线;
步骤4.3:同步骤4.2,对右边缘点集合采用相同的处理方法,可以得到叶片边缘直线与图像边缘的相交点Pright1和Pright2,在图像上连接Pright1和Pright2即可得到风机叶片的右侧边缘直线;
步骤4.4:根据由步骤4.2和步骤4.3计算得到的风机叶片左侧边缘直线和右侧边缘直线的各自斜率正负关系,对同属于图像上半边位置的左右侧直线边缘相交点加和取中得到风机叶片中轴线上某点PMid1,并计算这对相交点之间的距离,记为图像叶片区域上宽度upWidth;对同属于图像下半边位置的左右侧直线边缘相交点加和取中得到风机叶片中轴线上某点PMid2,并计算这对相交点之间的距离,记为图像叶片区域下宽度downWidth。根据PMid1和PMid2这两点的位置信息,采用计算叶片左右侧边缘直线的方法计算和绘制中轴线的位置,同时根据图像叶片的上宽度upWidth和下宽度downWidth来计算下一帧图像新的矩形区域宽度width,确保无人机在沿叶片巡检飞行时能够根据叶片宽度实时调整;
步骤4.5:取叶片中轴线与图像边缘交点的连线中点作为叶片区域的中心点,进而根据叶片区域的中心点和叶片采集图像的中心之间的偏移量来调整电控云台,实现相机拍摄角度的调整,使得在后续的视频流图像帧中,叶片区域的中心点能够向图像的中心移动,从而保持叶片位于图像视野中间,最后在中轴线上取距离图像边缘上交点约1/3位置处和距离图像边缘下交点约1/3位置处的两个像素点作为新的特殊点Pa和Pb,将其作为下一帧图像的感兴趣区域定位点。
一种获取风机叶片外轮廓的方法,它包括以下步骤:
步骤1)使用相机对处于正前方的风机叶片拍摄,对视频流中初始阶段的初始目标帧图像进行分割,提取叶片区域的中轴线并在中轴线上找到两个特殊点Pa和Pb作为感兴趣区域的定位点,同时根据叶片区域宽度大小预设一个宽度值width,而对于视频流的后续图像帧,将其由RGB色彩空间转变到HSV色彩空间;
步骤2)对于步骤1)设定的特殊点位置信息和宽度信息,计算风机叶片区域内部的矩形感兴趣区域,并设定要分割的HSV各通道阈值范围;
步骤3)根据步骤2)设定的阈值范围,在当前图像帧上找到属于风机叶片区域的外轮廓。
在步骤2)中,在设定要分割的HSV各通道阈值范围时,采用以下步骤:
步骤2-1):连接Pa和Pb两个特殊点计算其单位向量和对应的垂向量,再根据宽度值width分别计算出左上端点右上端点/>和左下端点/>右下端点/>的位置,由这四个位置点确定矩形区域范围,该矩形区域范围属于图像上风机叶片区域内部;
步骤2-2):对由步骤2-1)计算得到的矩形区域,对该区域上各个像素点的HSV通道数值进行遍历,确定H通道的最小最大值lowH和maxH,S通道上的最小最大值lowS和maxS,V通道上的最小最大值lowV和maxV,这三对数值设置为该图像帧上的HSV颜色空间分割阈值范围。
在步骤3)中,在找到属于风机叶片区域的外轮廓时,采用以下步骤:
步骤3-1)首先遍历图像各个像素点,如果该像素点上的HSV通道各个通道数值满足如下条件,则保留该像素点,否则该像素点不予考虑,将通道数值改为(0,0,0),
其中,H(i,j)value,S(i,j)value和V(i,j)value分别表示图像第i行第j列的像素点在HSV颜色空间上各通道的数值大小;
步骤3-2)由步骤3-1)可得到初步分割后的图像,之后再对该图采用形态学方法进行后处理,对图像做先腐蚀后膨胀的开运算,消除多余的杂点和噪声点;再对图像做先膨胀后腐蚀的闭运算来填补内部空洞,基于风机叶片所占平面图像空间最多这一先验信息,寻找最大连通域并保留,以此作为最终的图像分割结果。
一种提取风机叶片边缘线、中轴线的方法,通过采用转变图像色彩空间并使用图像分割的方法来提取风机叶片边缘线、中轴线,在提取风机叶片边缘线时,采用以下步骤:
步骤1)逐行从左到右遍历分割图,所遇到的第一个不为(0,0,0)通道数值的像素点记为左边缘点,加入左边缘点集合,而所遇到的最后一个不为(0,0,0)通道数值的像素点记为右边缘点,加入右边缘点集合;
步骤2)对由步骤1)遍历图像得到的左边缘点集合采用最小二乘法拟合出直线参数(斜率k和截距b),根据直线方程的参数,计算直线与图像边缘的上交点和下交点位置,设叶片左边缘直线与图像边缘的相交点分别为Pleft1和Pleft2,在图像上连接Pleft1和Pleft2即可得到风机叶片的左侧边缘直线;
步骤3)同步骤2),对右边缘点集合采用相同的处理方法,可以得到叶片边缘直线与图像边缘的相交点Pright1和Pright2,在图像上连接Pright1和Pright2即可得到风机叶片的右侧边缘直线。
在进一步提取风机叶片中轴线时,采用以下步骤:
步骤4):根据由步骤2)和步骤3)计算得到的风机叶片左侧边缘直线和右侧边缘直线的各自斜率正负关系,对同属于图像上半边位置的左右侧直线边缘相交点加和取中得到风机叶片中轴线上某点PMid1,并计算这对相交点之间的距离,记为图像叶片区域上宽度upWidth;对同属于图像下半边位置的左右侧直线边缘相交点加和取中得到风机叶片中轴线上某点PMid2,并计算这对相交点之间的距离,记为图像叶片区域下宽度downWidth;根据PMid1和PMid2这两点的位置信息,采用计算叶片左右侧边缘直线的方法来计算和绘制中轴线的位置。
与现有技术相比,本发明具有如下技术效果:
1)通过在无人机拍摄过程中实时调整云台和相机的拍摄角度,使得叶片区域中点始终尽量靠近叶片图像的中心,提高了采集图像的质量;
2)采用基于纯视觉的技术路线方案,通过只使用高分辨可见光相机代替原有的激光雷达方案以降低整体的硬件设备成本;
3)在算法处理阶段,通过采用转变图像色彩空间并使用图像分割的方法来提取风机叶片边缘线和中轴线,这样提高了算法整体的运行效率,降低了单帧图像的处理时间,使之能够更好的满足连续视频帧的拍摄要求,更好的使用相邻视频帧之间的关联信息。
附图说明
下面结合附图和实施例对本发明作进一步说明:
图1为本发明的流程图;
图2为视频流初始目标图像帧当中选取的风机叶片区域中轴线上两个特殊点Pa和Pb的示意图;
图3为8种不同情况下的直线与图像边缘的上交点和下交点位置示意图;
图4和图5为形态学处理后得到的叶片分割轮廓示意图;
图6和图7为叶片区域中心和图像中央的偏移量示意图;
具体实施方式
为了解决现有技术方案中拍摄的叶片图像不能始终处于相机视野中间而导致的不利于准确拼接图像和识别叶片的问题,本发明公开了一种基于纯视觉的保持叶片位于相机视野中间的方法,即在无人机上挂载电控云台,通过所述云台来控制高分辨率相机的拍摄角度从而用于跟踪叶片,使之保持在相机视野中间。
如图1所示,一种基于纯视觉的保持风机叶片位于相机视野中间的方法,它包括以下步骤:
1)开启无人机上挂载的高分辨率可见光相机对前方视野进行拍摄,对视频流中初始阶段的初始目标帧图像进行检测,采用基于深度学习的图像分割网络,例如Mask-RCNN或者U-Net等算法分割出图像中的叶片区域,而其中的网络参数信息需要预先采集图像数据,标注并训练。计算出叶片中轴线并在位于图像叶片区域的中轴线上找到Pa和Pb两个特殊点作为感兴趣区域(下文简记为ROI区域)的定位点,如图2所示,保留这两个特殊点的位置坐标信息供视频流的下一帧图像使用,并根据图像上叶片区域的宽度大小预设一个合适的叶片宽度值width。同时,针对后续视频流图像,转变图像色彩空间,根据转换关系将图像由RGB色彩空间转变到HSV色彩空间并分离出三个不同的通道(色相通道,饱和度通道和色调通道);
2)根据上一帧图片提取的中轴线和特殊点位置信息,设定要分割的HSV各通道阈值范围。
首先根据特殊点位置信息和宽度信息计算出位于图像上风机叶片区域内部的矩形ROI区域。连接Pa和Pb两个特殊点计算其单位向量和对应的垂直向量。再根据风机叶片宽度值的大小选取一个合适的ROI区域宽度width,分别计算出左上端点右上端点/>和左下端点/>右下端点/>的位置,这4个位置点所确定的矩形范围一定属于图像风机叶片区域内部。对该矩形ROI区域上各个像素点的HSV通道数值进行遍历,确定H通道的最小最大值lowH和maxH,S通道上的最小最大值lowS和maxS,V通道上的最小最大值lowV和maxV,这3对数值设置为该图像帧上的HSV颜色空间分割阈值范围;
3)在当前图像帧上找到属于风机叶片区域的外轮廓。
首先遍历图像各个像素点,如果该像素点上的HSV通道各个通道数值满足如下条件,则保留该像素点,否则该像素点不予考虑,将其通道数值改为(0,0,0)
其中,H(i,j)value,S(i,j)value和V(i,j)value分别表示图像第i行第j列的像素点在HSV颜色空间上各通道的数值大小。
该步骤可得到初步分割后的图像,之后再对该图像帧采用形态学方法进行后处理。对图像做先腐蚀后膨胀的开运算,消除多余的杂点和噪声点;再对图像做先膨胀后腐蚀的闭运算来填补内部空洞,增强图像的分割效果。此时,原图上可能保留有属于多个不同部分的区域轮廓图像,基于风机叶片所占平面图像空间最多这一先验信息,寻找最大连通域并保留,以此作为最终的图像分割结果,如图4和图5所示。
4)在最终的分割图像上计算左侧边缘线,右侧边缘线,并根据此计算叶片中轴线与中轴线中间点的位置。逐行从左到右遍历分割图,所遇到的第一个不为(0,0,0)通道数值的像素点记为左边缘点,加入左边缘点集合,而所遇到的最后一个不为(0,0,0)通道数值的像素点记为右边缘点,加入右边缘点集合。
对左边缘点集合采用最小二乘法拟合出直线参数(斜率k和截距b),根据直线方程的参数,计算直线与图像边缘的上交点和下交点位置,根据斜率k的正负,主要有如图3所示的这8种情况,设叶片左边缘直线与图像边缘的相交点分别为Pleft1和Pleft2,图像上连接Pleft1和Pleft2即可得到风机叶片的左侧边缘直线;同理,对右边缘点集合采用相同的处理方法,可以得到叶片边缘直线与图像边缘的相交点Pright1和Pright2,图像上连接Pright1和Pright2即可得到风机叶片的右侧边缘直线。
根据风机叶片左侧边缘直线和右侧边缘直线的各自斜率正负关系,对同属于图像上半边位置的左右侧直线边缘相交点加和取中得到风机叶片中轴线上某点PMid1,计算这对相交点之间的距离,记为图像叶片区域的上宽度upWidth;对同属于图像下半边位置的左右侧直线边缘相交点加和取中得到风机叶片中轴线上某点PMid2。计算这对相交点之间的距离,记为图像叶片区域的下宽度downWidth。根据PMid1和PMid2这两点的位置信息,采用计算叶片左右侧边缘直线的方法来计算和绘制叶片中轴线,同时根据图像叶片区域的上宽度upWidth和下宽度downWidth来计算下一帧图像新的矩形区域宽度width,确保无人机在沿叶片巡检飞行时能够根据叶片宽度的变化实时调整。
如图6和图7所示,取叶片中轴线与图像边缘交点连线的中点作为叶片区域的中心点,进而根据叶片区域的中心点和叶片采集图像的中心之间的偏移量来调整电控云台,实现相机拍摄角度的调整,使得在后续的视频流图像帧中,叶片区域的中心点能够向图像的中心移动,从而保持叶片位于图像视野中间,提高了图像采集的质量。最后在中轴线上取距离图像边缘上交点约1/3位置处和距离图像边缘下交点约1/3位置处的两个点作为新的特殊点Pa和Pb,将其作为下一帧图像的感兴趣区域定位点。
本发明还包括一种获取风机叶片外轮廓的方法,它包括以下步骤:
步骤1)使用相机对处于正前方的风机叶片拍摄,对视频流中初始阶段的初始帧图像进行分割,提取叶片区域的中轴线并在中轴线上找到两个特殊点Pa和Pb作为感兴趣区域的定位点,同时根据叶片区域宽度大小预设一个宽度值width,而对于视频流的后续图像帧,将其由RGB色彩空间转变到HSV色彩空间;
步骤2)对于步骤1)设定的特殊点位置信息和宽度信息,计算风机叶片区域内部的矩形感兴趣区域,并设定要分割的HSV各通道阈值范围;
步骤3)根据步骤2)设定的阈值范围,在当前图像帧上找到属于风机叶片区域的外轮廓。
在步骤2)中,在设定要分割的HSV各通道阈值范围时,采用以下步骤:
步骤2-1):连接Pa和Pb两个特殊点计算其单位向量和对应的垂向量,再根据宽度值width分别计算出左上端点右上端点/>和左下端点/>右下端点/>的位置,由这四个位置点确定矩形范围,该矩形范围属于图像风机叶片区域内部;
步骤2-2):对由步骤2-1)计算得到的矩形区域,对该区域上各个像素点的HSV通道数值进行遍历,确定H通道的最小最大值lowH和maxH,S通道上的最小最大值lowS和maxS,V通道上的最小最大值lowV和maxV,这三对数值设置为该图像帧上的HSV颜色空间分割阈值范围。
在步骤3)中,在找到属于风机叶片区域的外轮廓时,采用以下步骤:
步骤3-1)首先遍历图像各个像素点,如果该像素点上的HSV通道各个通道数值满足如下条件,则保留该像素点,否则该像素点不予考虑,并将通道数值改为(0,0,0),
其中,H(i,j)value,S(i,j)value和V(i,j)value分别表示图像第i行第j列的像素点在HSV颜色空间上各通道的数值大小;
步骤3-2)由步骤3-1)可得到初步分割后的图像,之后再对该图采用形态学方法进行后处理,对图像做先腐蚀后膨胀的开运算,消除多余的杂点和噪声点;再对图像做先膨胀后腐蚀的闭运算来填补内部空洞,基于风机叶片所占平面图像空间最多这一先验信息,寻找最大连通域并保留,以此作为最终的图像分割结果。
本发明还包括一种提取风机叶片边缘线、中轴线的方法,通过采用转变图像色彩空间并使用图像分割的方法来提取风机叶片边缘线、中轴线,在提取风机叶片边缘线时,采用以下步骤:
步骤1)逐行从左到右遍历分割图,所遇到的第一个不为(0,0,0)通道数值的像素点记为左边缘点,加入左边缘点集合,而所遇到的最后一个不为(0,0,0)通道数值的像素点记为右边缘点,加入右边缘点集合;
步骤2)对由步骤1)遍历图像得到的左边缘点集合采用最小二乘法拟合出直线参数(斜率k和截距b),根据直线方程的参数,计算直线与图像边缘的上交点和下交点位置,设叶片左边缘直线与图像边缘的相交点分别为Pleft1和Pleft2,在图像上连接Pleft1和Pleft2即可得到风机叶片的左侧边缘直线;
步骤3)同步骤2),对右边缘点集合采用相同的处理方法,可以得到叶片边缘直线与图像边缘的相交点Pright1和Pright2,在图像上连接Pright1和Pright2即可得到风机叶片的右侧边缘直线。
在进一步提取风机叶片中轴线时,采用以下步骤:
步骤4):根据由步骤2)和步骤3)计算得到的风机叶片左侧边缘直线和右侧边缘直线的各自斜率正负关系,对同属于图像上半边位置的左右侧直线边缘相交点加和取中得到风机叶片中轴线上某点PMid1,并计算这对相交点之间的距离,记为图像叶片叶片区域上宽度upWidth;对同属于图像下半边位置的左右侧直线边缘相交点加和取中得到风机叶片中轴线上某点PMid2,并计算这对相交点之间的距离,记为图像叶片区域下宽度downWidth;根据PMid1和PMid2这两点的位置信息,采用计算叶片左右侧边缘直线的方法来计算和绘制中轴线的位置。
Claims (2)
1.一种基于纯视觉的保持风机叶片位于相机视野中间的方法,其特征在于,它包括以下步骤:
步骤1:使用相机对处于正前方的风机叶片拍摄,对视频流中初始阶段的初始目标帧图像进行分割,提取图像中叶片区域的中轴线并在中轴线上找到两个特殊点Pa和Pb作为感兴趣区域的定位点,同时根据叶片区域宽度大小预设一个宽度值width,而对于视频流的后续图像帧,将其由RGB色彩空间转变到HSV色彩空间;
步骤2:对于步骤1设定的定位点位置信息和宽度信息,计算风机叶片区域内部的矩形感兴趣区域,通过遍历该矩形感兴趣区域的HSV颜色空间各通道数值来设定要分割的HSV各通道阈值范围;
步骤3:根据步骤2设定的阈值范围,在当前图像帧上找到属于风机叶片区域的外轮廓;
步骤4:在最终的轮廓分割图上计算叶片的左侧边缘线,右侧边缘线,并计算出叶片区域的中轴线和叶片区域的中心点,从而根据叶片区域的中心点和图像中间点之间的偏移量来调整电控云台的姿态,实现相机拍摄角度的调整;
在步骤2中,在设定要分割的HSV各通道阈值范围时,采用以下步骤:
步骤2.1:连接Pa和Pb两个特殊点计算其单位向量和对应的垂向量,再根据图像上风机叶片宽度值的大小选取一个合适的矩形感兴趣区域宽度width,分别计算出左上端点右上端点/>和左下端点/>右下端点/>的位置,由这四个位置点确定矩形范围,该矩形范围属于图像风机叶片区域内部;
步骤2.2:对由步骤2.1计算得到的矩形区域,对该区域上各个像素点的HSV通道数值进行遍历,确定H通道的最小最大值lowH和maxH,S通道上的最小最大值lowS和maxS,V通道上的最小最大值lowV和maxV,这三对数值设置为该图像帧上的HSV颜色空间分割阈值范围;
在步骤3中,在找到属于风机叶片区域的外轮廓时,采用以下步骤:
步骤3.1:首先遍历图像各个像素点,如果该像素点上的HSV通道各个通道数值满足如下条件,则保留该像素点,否则该像素点不予考虑,将通道数值改为(0,0,0),
其中,H(i,j)value,S(i,j)value和V(i,j)value分别表示图像第i行第j列的像素点在HSV颜色空间上各通道的具体数值大小;
步骤3.2:由步骤3.1可得到初步分割后的图像,之后再对该图采用形态学方法进行后处理,对图像做先腐蚀后膨胀的开运算,消除多余的杂点和噪声点;再对图像做先膨胀后腐蚀的闭运算来填补内部空洞,基于风机叶片所占平面图像空间最多这一先验信息,寻找最大连通域并保留,以此作为最终的图像分割结果。
2.根据权利要求1所述的方法,其特征在于,在步骤4中,在计算叶片中轴线与中轴线中间点位置时,采用以下步骤:
步骤4.1:逐行从左到右遍历分割图,所遇到的第一个不为(0,0,0)通道数值的像素点记为左边缘点,加入左边缘点集合,而所遇到的最后一个不为(0,0,0)通道数值的像素点记为右边缘点,加入右边缘点集合;
步骤4.2:对由步骤4.1遍历图像得到的左边缘点集合采用最小二乘法拟合出直线参数包括斜率k和截距b,根据直线方程的参数,计算直线与图像边缘的上交点和下交点位置,设叶片左边缘直线与图像边缘的相交点分别为Pleft1和Pleft2,在图像上连接Pleft1和Pleft2即可得到风机叶片的左侧边缘直线;
步骤4.3:同步骤4.2,对右边缘点集合采用相同的处理方法,可以得到叶片边缘直线与图像边缘的相交点Pright1和Pright2,在图像上连接Pright1和Pright2即可得到风机叶片的右侧边缘直线;
步骤4.4:根据由步骤4.2和步骤4.3计算得到的风机叶片左侧边缘直线和右侧边缘直线的各自斜率正负关系,对同属于图像上半边位置的左右侧直线边缘相交点加和取中得到风机叶片中轴线上某点PMid1,并计算这对相交点之间的距离,记为叶片上宽度upWidth;对同属于图像下半边位置的左右侧直线边缘相交点加和取中得到风机叶片中轴线上某点PMid2,并计算这对相交点之间的距离,记为叶片下宽度downWidth;根据PMid1和PMid2这两点的位置信息,采用计算叶片左右侧边缘直线的方法来计算和绘制中轴线的位置,同时根据图像叶片的上宽度upWidth和下宽度downWidth来计算下一帧图像新的矩形区域宽度width,确保无人机在沿叶片巡检飞行时能够根据叶片宽度实时调整;
步骤4.5:取叶片中轴线与图像边缘交点的连线中点作为叶片区域的中心点,进而根据叶片区域的中心点和叶片采集图像的中心之间的偏移量来调整电控云台,实现相机拍摄角度的调整,使得在后续的视频流图像帧中,叶片区域的中心点能够向图像的中心移动,从而保持叶片位于图像视野中间,最后在中轴线上取距离图像边缘上交点约1/3位置处和距离图像边缘下交点约1/3位置处的两个像素点作为新的特殊点Pa和Pb,将其作为下一帧图像的感兴趣区域定位点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210018786.4A CN114463648B (zh) | 2022-01-09 | 2022-01-09 | 一种基于纯视觉的保持风机叶片位于相机视野中间的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210018786.4A CN114463648B (zh) | 2022-01-09 | 2022-01-09 | 一种基于纯视觉的保持风机叶片位于相机视野中间的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114463648A CN114463648A (zh) | 2022-05-10 |
CN114463648B true CN114463648B (zh) | 2024-04-16 |
Family
ID=81410091
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210018786.4A Active CN114463648B (zh) | 2022-01-09 | 2022-01-09 | 一种基于纯视觉的保持风机叶片位于相机视野中间的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114463648B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115937114B (zh) * | 2022-11-25 | 2024-06-04 | 无锡海纳智能科技有限公司 | 一种风机图片的预处理方法及设备 |
CN116206094B (zh) * | 2023-04-28 | 2023-07-21 | 尚特杰电力科技有限公司 | 风机扇叶角度测量方法、装置、系统及电子设备 |
CN116912548B (zh) * | 2023-07-19 | 2024-07-09 | 北京图知天下科技有限责任公司 | 一种基于风机动态巡检的叶片图像的处理方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018028103A1 (zh) * | 2016-08-11 | 2018-02-15 | 河海大学常州校区 | 一种基于人眼视觉特性的电力线路无人机巡检方法 |
CN110189315A (zh) * | 2019-05-28 | 2019-08-30 | 李峥嵘 | 一种风电机组叶片无人机自动定位方法 |
EP3786450A1 (en) * | 2019-08-28 | 2021-03-03 | Siemens Gamesa Renewable Energy A/S | Method and system for monitoring blades of a wind turbine |
CN113107788A (zh) * | 2021-05-27 | 2021-07-13 | 上海扩博智能技术有限公司 | 基于纯视觉的叶片巡检方法 |
CN113205555A (zh) * | 2021-05-28 | 2021-08-03 | 上海扩博智能技术有限公司 | 保持叶片位于相机视野中间的方法、系统、设备和存储介质 |
-
2022
- 2022-01-09 CN CN202210018786.4A patent/CN114463648B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018028103A1 (zh) * | 2016-08-11 | 2018-02-15 | 河海大学常州校区 | 一种基于人眼视觉特性的电力线路无人机巡检方法 |
CN110189315A (zh) * | 2019-05-28 | 2019-08-30 | 李峥嵘 | 一种风电机组叶片无人机自动定位方法 |
EP3786450A1 (en) * | 2019-08-28 | 2021-03-03 | Siemens Gamesa Renewable Energy A/S | Method and system for monitoring blades of a wind turbine |
CN113107788A (zh) * | 2021-05-27 | 2021-07-13 | 上海扩博智能技术有限公司 | 基于纯视觉的叶片巡检方法 |
CN113205555A (zh) * | 2021-05-28 | 2021-08-03 | 上海扩博智能技术有限公司 | 保持叶片位于相机视野中间的方法、系统、设备和存储介质 |
Non-Patent Citations (2)
Title |
---|
基于无人机图像的风力发电机叶片缺陷识别;仇梓峰;王爽心;李蒙;;发电技术;20180630(第03期);全文 * |
多旋翼无人机目标跟踪系统设计;罗伟;徐雪松;张煌军;;华东交通大学学报;20190615(第03期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114463648A (zh) | 2022-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114463648B (zh) | 一种基于纯视觉的保持风机叶片位于相机视野中间的方法 | |
CN107729808B (zh) | 一种用于输电线路无人机巡检的图像智能采集系统及方法 | |
CN105302151B (zh) | 一种飞机入坞引导和机型识别的系统及方法 | |
US11958197B2 (en) | Visual navigation inspection and obstacle avoidance method for line inspection robot | |
CN109472776B (zh) | 一种基于深度显著性的绝缘子检测及自爆识别方法 | |
WO2016015547A1 (zh) | 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统 | |
CN109523528B (zh) | 一种基于无人机双目视觉sgc算法的输电线路提取方法 | |
CN107577996A (zh) | 一种车辆驾驶路径偏移的识别方法及系统 | |
CN112598637A (zh) | 一种风电机组叶片巡检叶片区域路线自动飞行方法 | |
CN111814686A (zh) | 一种基于视觉的输电线路识别及异物入侵在线检测方法 | |
CN110443776A (zh) | 一种基于无人机吊舱的数据配准融合方法 | |
CN113298035A (zh) | 基于图像识别的无人机电力杆塔检测及自主巡航方法 | |
CN111439259A (zh) | 基于端到端卷积神经网络的农业园场景车道偏移预警控制方法及系统 | |
CN109492525B (zh) | 一种测量基站天线工程参数的方法 | |
CN108961276B (zh) | 基于视觉伺服的配电线路巡检数据自动采集方法及系统 | |
CN108665468B (zh) | 一种提取直线塔绝缘子串的装置及方法 | |
CN110579771A (zh) | 一种基于激光点云的飞机泊位引导方法 | |
CN106340009A (zh) | 一种基于平行双目的电力线检测方法及系统 | |
CN112150412A (zh) | 一种基于投影曲线分析的绝缘子自爆缺陷检测方法 | |
CN113947724A (zh) | 一种基于双目视觉的线路覆冰厚度自动测量方法 | |
CN111220619B (zh) | 一种绝缘子自爆检测方法 | |
CN112329584A (zh) | 基于机器视觉自动识别电网异物的方法及系统、设备 | |
CN114428518B (zh) | 一种用于无人机风机叶片自动巡检的风机定向方法 | |
CN109671084B (zh) | 一种工件形状的测量方法 | |
CN114445467A (zh) | 基于视觉的四旋翼无人机特定目标识别与追踪系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |