CN116823872A - 基于目标追踪和图像分割的风机巡检方法及系统 - Google Patents
基于目标追踪和图像分割的风机巡检方法及系统 Download PDFInfo
- Publication number
- CN116823872A CN116823872A CN202311076438.3A CN202311076438A CN116823872A CN 116823872 A CN116823872 A CN 116823872A CN 202311076438 A CN202311076438 A CN 202311076438A CN 116823872 A CN116823872 A CN 116823872A
- Authority
- CN
- China
- Prior art keywords
- fan
- fan blades
- fan blade
- blades
- aerial vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000003709 image segmentation Methods 0.000 title claims abstract description 35
- 238000001514 detection method Methods 0.000 claims description 43
- 230000011218 segmentation Effects 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 6
- 230000008685 targeting Effects 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 abstract description 25
- 238000003745 diagnosis Methods 0.000 abstract description 12
- 230000007547 defect Effects 0.000 abstract description 9
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000003068 static effect Effects 0.000 description 8
- 238000001914 filtration Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000001351 cycling effect Effects 0.000 description 2
- 238000012631 diagnostic technique Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000002243 precursor Substances 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E10/00—Energy generation through renewable energy sources
- Y02E10/70—Wind energy
- Y02E10/72—Wind turbines with rotation axis in wind direction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于目标追踪和图像分割的风机巡检方法及系统，风机巡检方法包括：获取无人机在初始位置处拍摄的视频流，其中，初始位置为风机正前方且距离所述风机预设距离；根据视频流对风机中的所有扇叶进行目标追踪；根据所有扇叶的追踪识别结果对相应的视频帧进行图像分割，并根据分割出的扇叶计算扇叶的转动线速度；若转动线速度中的最大值不超过无人机的最大飞行速度，则根据转动线速度规划巡检路线，并按照巡检路线控制无人机对风机的扇叶进行巡检。本发明的风机巡检方法克服了传统风机巡检中要求风机必须停机或呈现倒Y形状下才巡检的局限性，同时也采用了新的风机诊断算法和图像拼接技术，提升故障缺陷的诊断精度和位置定位精度。
Description
技术领域
本发明涉及风机巡检领域，尤其涉及一种基于目标追踪和图像分割的风机巡检方法及系统。
背景技术
相关风机诊断方法都是基于风机停机扇叶静止状态，或者呈现独特的倒Y形态下的诊断,利用视觉算法或者激光雷达测出扇叶角度，然后规划路径，无人机按照规划的路径去对扇叶逐一巡检拍照诊断。然后对诊断的图片进行拼接还原整片扇叶的画面，再对其中的诊断出缺点故障的地方标注出来。该诊断技术局限性太大，风机必须停机扇叶静止甚至扇叶必须呈倒Y形，对于小的缺陷故障现有的诊断技术容易误判或者漏判，同时图像拼接技术也受图像质量或者拍摄角度姿态、风速等因素影响，导致图像还原较差，缺陷故障位置判断不准。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的在于提出一种基于目标追踪和图像分割的风机巡检方法及系统，克服了传统风机巡检中要求风机必须停机或呈现倒Y形状下才巡检的局限性，同时也采用了新的风机诊断算法和图像拼接技术，提升故障缺陷的诊断精度和位置定位精度。
为达到上述目的，本发明第一方面实施例提出一种基于目标追踪和图像分割的风机巡检方法，所述方法包括：获取无人机在初始位置处拍摄的视频流，其中，所述初始位置为风机正前方且距离所述风机预设距离；根据所述视频流对所述风机中的所有扇叶进行目标追踪；根据所有所述扇叶的追踪识别结果对相应的视频帧进行图像分割，并根据分割出的所述扇叶计算所述扇叶的转动线速度；若所述转动线速度中的最大值不超过所述无人机的最大飞行速度，则根据所述转动线速度规划巡检路线，并按照所述巡检路线控制所述无人机对所述风机的扇叶进行巡检。
另外，根据本发明上述实施例提出的于目标追踪和图像分割的风机巡检方法还可以具有如下附加的技术特征：
根据本发明的一个实施例，所述根据所述视频流对所述风机中的所有扇叶进行目标追踪，包括：利用所述视频流中的第一视频帧进行目标检测；当检测到所有扇叶时，分别对各所述扇叶进行编号；基于编号和所述视频流中的第二视频帧，对所有所述扇叶进行目标追踪，其中，所述第二视频帧为所述视频流中所述第一视频帧之后的视频帧。
根据本发明的一个实施例，所述基于编号和所述视频流中的第二视频帧，对所有所述扇叶进行目标追踪，包括：利用所述第二视频帧进行目标检测，得到每一编号对应扇叶的目标检测框；针对每一所述扇叶，利用卡尔曼滤波器对该扇叶的轨迹进行预测，得到相应的目标预测框，判断所述目标预测框与对应的目标检测框是否匹配，并根据匹配结果对相应的扇叶进行目标追踪。
根据本发明的一个实施例，所述匹配结果包括扇叶失配个数，所述风机的扇叶个数为3个，所述方法还包括：若所述扇叶失配个数为1，则根据另外两个所述扇叶的编号对失配扇叶进行编号；若所述扇叶失配个数为2，则根据另一个所述扇叶的编号顺时针对失配扇叶进行编号；若所述扇叶失配个数为3，则返回对各所述扇叶进行编号的步骤。
根据本发明的一个实施例，所述匹配结果还包括连续失配次数，所述方法还包括：当所述连续失配次数大于等于预设次数时，剔除当前目标检测框匹配信息。
根据本发明的一个实施例，所述根据所有所述扇叶的追踪识别结果对相应的视频帧进行图像分割，根据分割出的所述扇叶计算所述扇叶的转动线速度，包括：将追踪到所有所述扇叶的多个视频帧分别输入至预先训练好的分割模型，得到各所述视频帧中各所述扇叶的分割结果；根据所述分割结果确定各所述视频帧中各所述扇叶的角度；根据至少两个所述视频帧中各所述扇叶的角度，以及相应视频帧对应的时刻，计算所述扇叶的角速度；根据所述角速度和所述扇叶的形状参数，得到所述转动线速度。
根据本发明的一个实施例，所述转动线速度中的最大值是根据所述角速度和所述扇叶的半径计算得到的。
根据本发明的一个实施例，所述方法还包括：若所述转动线速度中的最大值超过所述无人机的最大飞行速度，则中止巡检任务并控制所述无人机返航。
根据本发明的一个实施例，所述巡检路线为围绕所有所述扇叶的闭合曲线，所述按照所述巡检路线控制所述无人机对所述风机进行巡检，包括：控制所述无人机沿所述巡检路线飞行，并从编号为1的扇叶开始巡检，且在所述扇叶的线速度方向上相对所述扇叶静止。
本发明实施例的基于目标追踪和图像分割的风机巡检方法，利用获取的风机视频流对风机中的所有扇叶进行多目标追踪，并且基于所有扇叶的追踪识别结果对相应的视频帧进行图像分割，根据分割出的扇叶计算扇叶的转动线速度，在转动线速度中的最大值不超过无人机的最大飞行速度的情况下，规划巡检路线，并按照巡检路线控制无人机对风机的扇叶进行巡检拍摄，无人机和扇叶保持相对静止。该风机巡检方法克服了传统风机巡检中要求风机必须停机或呈现倒Y形状下才巡检的局限性，在风机不停机缓动状态下也能进行巡检，同时采用了新的风机诊断算法和图像拼接技术，提升故障缺陷的诊断精度和位置定位精度。
为达到上述目的，本发明第二方面实施例提出了一种风机巡检系统，包括：风机、无人机和终端设备；所述终端设备包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，实现如上述的基于目标追踪和图像分割的风机巡检方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1是本发明一个实施例的基于目标追踪和图像分割的风机巡检方法的流程图；
图2是本发明一个实施例的对风机中的所有扇叶进行目标追踪的流程图；
图3是本发明一个实施例的对风机扇叶进行编号的示意图；
图4是本发明另一个实施例的对风机中的所有扇叶进行目标追踪的流程图；
图5是本发明一个实施例的对相应的视频帧进行图像分割并计算扇叶的转动线速度的流程图；
图6是本发明一个实施例的对相应的视频帧进行图像分割结果的示意图；
图7是本发明一个实施例的无人机巡检路线的示意图；
图8是本发明一个实施例的风机巡检方法的流程图；
图9是本发明一个实施例的风机巡检系统的示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面将结合说明书附图以及具体的实施方式对本发明实施例的基于目标追踪和图像分割的风机巡检方法及系统进行详细地说明。
图1是本发明一个实施例的基于目标追踪和图像分割的风机巡检方法的流程图。
在本发明的一个实施例中，如图1所示，基于目标追踪和图像分割的风机巡检方法包括：
S1，获取无人机在初始位置处拍摄的视频流，其中，初始位置为风机正前方且距离风机预设距离。
具体地，传统的风机巡检方法要求风机必须停机扇叶静止或扇叶必须呈现独特的倒Y形状，本发明的风机巡检方法基于目标追踪和图像分割，使得无人机能够同步跟随风机进行运转，不要求风机必须停机扇叶静止或扇叶必须呈现独特的倒Y形状。
进一步具体地，首先获取无人机在初始位置处拍摄的视频流，其中，初始位置风机正前方且距离风机预设距离，预设距离可为50米，例如，实时获取风机正前方50米处拍摄的视频流，并对视频流进行处理，以实现对风机所有扇叶的目标跟踪。
S2，根据视频流对风机中的所有扇叶进行目标追踪。
具体地，对视频流中的帧画面进行多目标检测，正常情况下，应该能检测到所有的扇叶，对检测到的扇叶进行编号，根据编号对风机扇叶进行多目标跟踪。
在本发明的一个实施例中，如图2所示，根据视频流对风机中的所有扇叶进行目标追踪，包括：
S21，利用视频流中的第一视频帧进行目标检测。
S22，当检测到所有扇叶时，分别对各扇叶进行编号。
S23，基于编号和视频流中的第二视频帧，对所有扇叶进行目标追踪，其中，第二视频帧为视频流中第一视频帧之后的视频帧。
具体地，利用视频流中的第一视频帧进行目标检测，可采用Yolov5目标检测算法对视频流中的视频帧进行检测。当检测到所有扇叶时，分别对各扇叶进行编号。
作为一个示例，如图3所示，以风机旋转中轴处为坐标原点，水平防线为X轴，竖直方向为Y轴，分为四个象限，依次从第一象限沿着扇叶旋转的方向对各扇叶进行编号，扇叶旋转为顺时针旋转，从第一象限开始编号，若第一象限有扇叶则将其编号为1，若第一象限没有扇叶，则顺时针检索直至检索到第一个扇叶并编号为1，其余扇叶按照顺时针方向依次进行编号。
对所有扇叶进行目标追踪可采用Deepsort多目标跟踪算法，深度学习中的跟踪是使用对象的空间和时间特征预测整个视频中对象位置的任务。从技术上讲，跟踪是获取初始检测集，分配唯一的id，并在整个视频源的帧中跟踪它们，同时保持分配的id。如图3所示示例中扇叶分配的编号：1、2、3。Deepsort多目标跟踪的前身是sort算法，sort算法的核心是卡尔曼滤波算法和匈牙利算法。其中，卡尔曼滤波算法作用：利用当前的一系列运动变量去预测下一时刻的运动变量，但是第一次的检测结果用来初始化卡尔曼滤波的运动变量。匈牙利算法的作用：解决分配问题，就是把一群检测框和卡尔曼预测的框做分配，让卡尔曼预测的框找到和自己最匹配的检测框，以达到追踪的效果。本发明根据扇叶编号和视频流中的第二视频帧，对所有扇叶进行目标追踪，其中，第二视频帧为视频流中第一视频帧之后的视频帧。
在本发明的一个实施例中，如图4所示，基于编号和视频流中的第二视频帧，对所有扇叶进行目标追踪，包括：
S231，利用第二视频帧进行目标检测，得到每一编号对应扇叶的目标检测框。
S232，针对每一扇叶，利用卡尔曼滤波器对该扇叶的轨迹进行预测，得到相应的目标预测框。
S233，判断目标预测框与对应的目标检测框是否匹配，并根据匹配结果对相应的扇叶进行目标追踪。
具体地，对所有扇叶进行多目标追踪的具体算法如下：
（1）将视频流中的第一帧检测到的结果创建其对应的轨迹信息，可命名Tracks。将通过目标检测得到的每一编号对应扇叶的目标检测框命名为Detections。利用第一次的目标检测结果初始化卡尔曼滤波器的运动变量，并通过卡尔曼滤波预测对该扇叶的轨迹进行预测，得到相应的目标预测框。这时候的轨迹信息Tracks一定是不确定态的。
（2）将该帧目标检测框和上一帧通过Tracks得到的相应的目标预测框一一进行IOU匹配，再通过IOU匹配的结果计算其代价矩阵。
（3）将得到的所有的代价矩阵作为匈牙利算法的输入，得到线性的匹配的结果，并根据匹配结果对相应的扇叶进行目标追踪。
进一步具体地，线性的匹配的结果有三种，第一种是Tracks失配，直接将失配的Tracks删除，因为Tracks是不确定态的，如果是确定态的话则要连续达到一定的次数才可以删除；第二种是Detections失配，我们将这样的Detections初始化为一个新的Tracks；第三种是目标检测框和相应的目标预测框配对成功，说明前一帧和后一帧追踪成功，将其对应的Detections通过卡尔曼滤波更新其对应的Tracks变量。
（4）反复循环（2）-（3）步骤，直到出现确认态的Tracks或者视频帧结束。
（5）通过卡尔曼滤波预测其确认态的Tracks和不确认态的Tracks对应的目标预测框。将确认态的Tracks的目标预测框和Detections进行级联匹配。其中每次只要Tracks匹配上都会保存Detections其的外观特征和运动信息，默认保存前100帧，利用外观特征和运动信息和Detections进行级联匹配。
（6）进行级联匹配后有三种可能的结果。第一种，Tracks匹配，这样的Tracks通过卡尔曼滤波更新其对应的Tracks变量。第二种和第三种分别是Detections和Tracks失配，这时将之前的不确认状态的Tracks和失配的Tracks一起和失配的Detections一一进行IOU匹配，再通过IOU匹配的结果计算其代价矩阵。
（7）将（6）中得到的所有的代价矩阵作为匈牙利算法的输入，得到线性的匹配的结果，这时候我们得到的结果有三种，第一种是Tracks失配，我们直接将失配的Tracks删除。（因为这个Tracks是不确定态了，如果是确定态的话则要连续达到一定的次数才可以删除）删除；第二种是Detections失配（Unmatched Detections），我们将这样的Detections初始化为一个新的Tracks（new Tracks）；第三种是检测框和预测框配对成功，这说明我们前一帧和后一帧追踪成功，将其对应的Detections通过卡尔曼滤波更新其对应的Tracks变量。反复循环（5）-（7）步骤，直到视频帧结束。完成对所有扇叶进行目标追踪。
在本发明的一个实施例中，匹配结果还包括连续失配次数，目标追踪和图像分割的风机巡检方法还包括：当连续失配次数大于等于预设次数时，剔除当前目标检测框匹配信息。
具体地，确定态的Tracks的目标检测框和其上一帧的对应目标预测框进行匹配时，若连续失配次数大于等于预设次数时，则删除该确定态的Tracks信息，其中，预设次数可设定为15次，在默认30次的基础上改为15次，安全性更高，提升了目标追踪的准确度和定位精度。
在本发明的一个实施例中，匹配结果包括扇叶失配个数，风机的扇叶个数为3个，基于目标追踪和图像分割的风机巡检方法还包括：若扇叶失配个数为1，则根据另外两个扇叶的编号对失配扇叶进行编号；若扇叶失配个数为2，则根据另一个扇叶的编号顺时针对失配扇叶进行编号；若扇叶失配个数为3，则返回对各扇叶进行编号的步骤。
具体地，对风机扇叶只进行目标跟踪是满足不了实际需求的，因为涉及到目标跟踪Tracks失配问题。当某一个扇叶因为逆光等因素造成Track失配，后面某个时刻又重新检测到，此时的ID将不再是原来的ID，会生成一个新的ID，造成编号乱码的情况。使得DeepSort多目标追踪算法将不能满足对风机动态巡检航线的规划。本发明对DeepSort跟踪算法进行改进，在原有的DeepSort中添加一个校验算法。
进一步具体地，风机的扇叶个数为3个作为示例说明，统计扇叶失配个数，即失配的Tracks个数，若仅是一个失配的话，根据另外两个扇叶的编号对失配扇叶进行编号，即统计另外两个的ID，若是缺1则对失配的这个ID赋值1，缺2则赋2以此类推。若是有两个失配的话，则根据另一个扇叶的编号顺时针对失配扇叶进行编号，比较没缺失的Tracks的ID（ID：1、2、3），然后顺时针补全即可。若是三个扇叶编号都丢失，则重新调用DeepSort进行追踪，ID命名也从1、2、3重新开始，这样不会出现丢失了变成1、3、4等情况，造成乱码。
多所有的扇叶都进行目标跟踪之后，根据追踪识别结果对相应的视频帧进行图像分割，并基于图像分割计算扇叶的转动线速度。
S3，根据所有扇叶的追踪识别结果对相应的视频帧进行图像分割，并根据分割出的扇叶计算扇叶的转动线速度。
具体地，根据所有扇叶的追踪识别结果，调用扇叶角度分割算法对相应的视频帧进行图像分割，得到多帧的分割图像，基于分割图像计算扇叶转动的角度差，利用角度差和时间计算角速度，根据角速度计算扇叶的转动线速度。
在本发明的一个实施例中，如图5所示，根据所有扇叶的追踪识别结果对相应的视频帧进行图像分割，根据分割出的扇叶计算所述扇叶的转动线速度，包括：
S31，将追踪到所有扇叶的多个视频帧分别输入至预先训练好的分割模型，得到各视频帧中各扇叶的分割结果。
S32，根据分割结果确定各视频帧中各扇叶的角度。
S33，根据至少两个视频帧中各扇叶的角度，以及相应视频帧对应的时刻，计算扇叶的角速度。
S34，根据角速度和扇叶的形状参数，得到转动线速度。
具体地，预先训练好的分割模型可为高精度二分类分割算法模型，利用标注好的数据集进行训练，得到预先训练好的分割模型，分割模型的分辨率可为512*512大小，虽然分辨率越大分割精度越高，但是也要基于整体的精度和时间开销考虑，本发明采用512*512的模型精度作为分割模型精度。将追踪到所有扇叶的多个视频帧分别输入至预先训练好的分割模型，得到各视频帧中各扇叶的分割结果，分割结果包括分割图像，如图6所示示例的分割图像，得到多个时刻的分割图像，基于分割图像计算各扇叶的角度。可利用最小外接矩形算法，利用矩形框计算出各扇叶的角度。
进一步具体地，根据至少两个视频帧中各扇叶的角度，以及相应视频帧对应的时刻，计算扇叶的角速度，根据不同时刻扇叶的角度差值来计算风机扇叶旋转的角速度，风机的角速度等于扇叶的角度差除以两帧图像对应的时间差，为保证计算角速度的精确度，可取相邻两帧的图像计算角速度。
需要说明的是，因为通过目标追踪算法给每片扇叶进行了ID的分配，不用扇叶之间直接用不同时刻对应ID编号的扇叶角度值，相减取正数即可。
在对风机叶片计算出旋转的角速度后，根据角速度和扇叶的形状参数，得到转动线速度。不同位置的线速度不同，越靠近扇叶根部线速度越小，越靠近扇叶尖部线速度越大，由V=WR来计算不同部位的线速度大小，其中，V是线速度，W是角速度，R是代表线速度的位置距离风机旋转中轴的直线距离。
计算得到转动线速度之后，为确保无人机巡检的安全性，需要将转动线速度中的最大值和无人机的最大飞行速度进行比较。
在本发明的一个实施例中，若转动线速度中的最大值超过无人机的最大飞行速度，则中止巡检任务并控制无人机返航。
具体地，无人机越靠近扇叶根部线速度越小，越靠近扇叶尖部线速度越大。为保证无人机能够同步跟随扇叶的转动，无人机巡检时的最大速度即为无人机处于离扇叶根部最远的时候。为保证巡检安全，扇叶的角速度不能过大，例如风速过大时，扇叶旋转过快目标跟踪会造成暂时失配或风机扇叶旋转线速度过快无人机巡检速度跟不上造成炸机安全隐患。例如，大疆M300RTK最大飞行速度为23m/s，巡检扇叶长度为42m，若计算的角速度W大于0.547则认为巡检有安全隐患，中止巡检任务并控制无人机返航。若转动线速度中的最大值不超过无人机的最大飞行速度，则表明无安全隐患。
S4，若转动线速度中的最大值不超过无人机的最大飞行速度，则根据转动线速度规划巡检路线，并按照巡检路线控制无人机对风机的扇叶进行巡检。
具体地，若转动线速度中的最大值不超过无人机的最大飞行速度，表明无人机巡检是安全的，根据转动线速度规划巡检路线。
其中，转动线速度中的最大值是根据角速度和扇叶的半径计算得到的。
在本发明的一个实施例中，巡检路线为围绕所有扇叶的闭合曲线，按照巡检路线控制无人机对风机进行巡检，包括：控制无人机沿巡检路线飞行，并从编号为1的扇叶开始巡检，且在扇叶的线速度方向上相对扇叶静止。
具体地，在一切因素都符合巡检的时候，对巡检路线进行规划，如图7所示示例，巡检路线为围绕所有扇叶的闭合曲线，控制无人机沿巡检路线飞行，拍摄扇叶诊断图片，并从编号为1的扇叶开始巡检，并且相对扇叶静止。第一片扇叶巡检完毕，则认为是线路一巡检完毕，然后顺时针去巡检第二片扇叶，依次巡检直到巡检完毕，若第一象限没有检测到扇叶则顺时针去寻找。
图8是本发明一个实施例的风机巡检方法的流程图。如图8所示，首先在初始位置获取视频流，对视频流进行目标检测，并对扇叶进行编号，每片扇叶有唯一的ID，当识别捕获到所有的扇叶时，利用分割算法对视频流中的图像进行分割，并基于分割结果利用不同时刻的角度作差，计算扇叶旋转的角速度和线速度，判断扇叶最大线速度是否超过无人机的最大允许飞行速度，若扇叶最大线速度不超过无人机的最大允许飞行速度，则根据转动线速度规划巡检路线，并按照巡检路线控制无人机对风机的扇叶进行巡检，若扇叶最大线速度超过无人机的最大允许飞行速度，则中止巡检，无人机返航以保证无人机巡检安全。
本发明实施例的基于目标追踪和图像分割的风机巡检方法，利用获取的风机视频流对风机中的所有扇叶进行多目标追踪，并且基于所有扇叶的追踪识别结果对相应的视频帧进行图像分割，根据分割出的扇叶计算扇叶的转动线速度，在转动线速度中的最大值不超过无人机的最大飞行速度的情况下，规划巡检路线，并按照巡检路线控制无人机对风机的扇叶进行巡检拍摄，无人机和扇叶保持相对静止。该风机巡检方法克服了传统风机巡检中要求风机必须停机或呈现倒Y形状下才巡检的局限性，在风机不停机缓动状态下也能进行巡检，同时采用了新的风机诊断算法和图像拼接技术，提升故障缺陷的诊断精度和位置定位精度。
本发明还提出了一种风机巡检系统。
在本发明的一个实施例中，如图9所示，风机巡检系统100包括：风机10、无人机20、终端设备30，终端设备30包括存储器1和处理器2，存储器1上存储有计算机程序，计算机程序被处理器2执行时，实现如上述的基于目标追踪和图像分割的风机巡检方法。
本发明的风机巡检系统，利用获取的风机视频流对风机中的所有扇叶进行多目标追踪，并且基于所有扇叶的追踪识别结果对相应的视频帧进行图像分割，根据分割出的扇叶计算扇叶的转动线速度，在转动线速度中的最大值不超过无人机的最大飞行速度的情况下，规划巡检路线，并按照巡检路线控制无人机对风机的扇叶进行巡检拍摄，无人机和扇叶保持相对静止。该风机巡检方法克服了传统风机巡检中要求风机必须停机或呈现倒Y形状下才巡检的局限性，在风机不停机缓动状态下也能进行巡检，同时采用了新的风机诊断算法和图像拼接技术，提升故障缺陷的诊断精度和位置定位精度。
需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种基于目标追踪和图像分割的风机巡检方法，其特征在于，所述方法包括：
获取无人机在初始位置处拍摄的视频流，其中，所述初始位置为风机正前方且距离所述风机预设距离；
根据所述视频流对所述风机中的所有扇叶进行目标追踪；
根据所有所述扇叶的追踪识别结果对相应的视频帧进行图像分割，并根据分割出的所述扇叶计算所述扇叶的转动线速度；
若所述转动线速度中的最大值不超过所述无人机的最大飞行速度，则根据所述转动线速度规划巡检路线，并按照所述巡检路线控制所述无人机对所述风机的扇叶进行巡检。
2.根据权利要求1所述的方法，其特征在于，所述根据所述视频流对所述风机中的所有扇叶进行目标追踪，包括：
利用所述视频流中的第一视频帧进行目标检测；
当检测到所有扇叶时，分别对各所述扇叶进行编号；
基于编号和所述视频流中的第二视频帧，对所有所述扇叶进行目标追踪，其中，所述第二视频帧为所述视频流中所述第一视频帧之后的视频帧。
3.根据权利要求2所述的方法，其特征在于，所述基于编号和所述视频流中的第二视频帧，对所有所述扇叶进行目标追踪，包括：
利用所述第二视频帧进行目标检测，得到每一编号对应扇叶的目标检测框；
针对每一所述扇叶，利用卡尔曼滤波器对该扇叶的轨迹进行预测，得到相应的目标预测框；
判断所述目标预测框与对应的目标检测框是否匹配，并根据匹配结果对相应的扇叶进行目标追踪。
4.根据权利要求3所述的方法，其特征在于，所述匹配结果包括扇叶失配个数，所述风机的扇叶个数为3个，所述方法还包括：
若所述扇叶失配个数为1，则根据另外两个所述扇叶的编号对失配扇叶进行编号；
若所述扇叶失配个数为2，则根据另一个所述扇叶的编号顺时针对失配扇叶进行编号；
若所述扇叶失配个数为3，则返回对各所述扇叶进行编号的步骤。
5.根据权利要求3所述的方法，其特征在于，所述匹配结果还包括连续失配次数，所述方法还包括：
当所述连续失配次数大于等于预设次数时，剔除当前目标检测框匹配信息。
6.根据权利要求1所述的方法，其特征在于，所述根据所有所述扇叶的追踪识别结果对相应的视频帧进行图像分割，根据分割出的所述扇叶计算所述扇叶的转动线速度，包括：
将追踪到所有所述扇叶的多个视频帧分别输入至预先训练好的分割模型，得到各所述视频帧中各所述扇叶的分割结果；
根据所述分割结果确定各所述视频帧中各所述扇叶的角度；
根据至少两个所述视频帧中各所述扇叶的角度，以及相应视频帧对应的时刻，计算所述扇叶的角速度；
根据所述角速度和所述扇叶的形状参数，得到所述转动线速度。
7.根据权利要求6所述的方法，其特征在于，所述转动线速度中的最大值是根据所述角速度和所述扇叶的半径计算得到的。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
若所述转动线速度中的最大值超过所述无人机的最大飞行速度，则中止巡检任务并控制所述无人机返航。
9.根据权利要求3所述的方法，其特征在于，所述巡检路线为围绕所有所述扇叶的闭合曲线，所述按照所述巡检路线控制所述无人机对所述风机进行巡检，包括：
控制所述无人机沿所述巡检路线飞行，并从编号为1的扇叶开始巡检，且在所述扇叶的线速度方向上相对所述扇叶静止。
10.一种风机巡检系统，其特征在于，包括：风机、无人机和终端设备；所述终端设备包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，实现如权利要求1-9中任一项所述的基于目标追踪和图像分割的风机巡检方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311076438.3A CN116823872B (zh) | 2023-08-25 | 2023-08-25 | 基于目标追踪和图像分割的风机巡检方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311076438.3A CN116823872B (zh) | 2023-08-25 | 2023-08-25 | 基于目标追踪和图像分割的风机巡检方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116823872A true CN116823872A (zh) | 2023-09-29 |
| CN116823872B CN116823872B (zh) | 2024-01-26 |
Family
ID=88122409
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311076438.3A Active CN116823872B (zh) | 2023-08-25 | 2023-08-25 | 基于目标追踪和图像分割的风机巡检方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116823872B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117351062A (zh) * | 2023-12-04 | 2024-01-05 | 尚特杰电力科技有限公司 | 风机扇叶缺陷诊断方法、装置、系统及电子设备 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106169188A (zh) * | 2016-07-11 | 2016-11-30 | 西南交通大学 | 一种基于蒙特卡洛树搜索的对象跟踪方法 |
| CN108799011A (zh) * | 2017-04-28 | 2018-11-13 | 北京金风科创风电设备有限公司 | 对风电机组的叶片进行监测的设备和方法 |
| KR101971683B1 (ko) * | 2018-11-09 | 2019-04-23 | 엘아이지넥스원 주식회사 | 우주 물체 추적 장치 및 이를 위한 초퍼 |
| US20200160061A1 (en) * | 2017-12-11 | 2020-05-21 | Zhuhai Da Hengqin Technology Development Co., Ltd. | Automatic ship tracking method and system based on deep learning network and mean shift |
| CN111914664A (zh) * | 2020-07-06 | 2020-11-10 | 同济大学 | 基于重识别的车辆多目标检测和轨迹跟踪方法 |
| CN112733770A (zh) * | 2021-01-18 | 2021-04-30 | 全程(上海)智能科技有限公司 | 一种区域入侵监测方法和装置 |
| CN113723192A (zh) * | 2021-07-30 | 2021-11-30 | 鹏城实验室 | 一种风机运行状态下叶片图像采集方法 |
| CN114581954A (zh) * | 2022-03-15 | 2022-06-03 | 沈阳航空航天大学 | 基于行人特征的跨域检索和跟踪目标的方法 |
| CN115442532A (zh) * | 2022-09-29 | 2022-12-06 | 上海扩博智能技术有限公司 | 风机不停机巡检的方法、系统、设备及存储介质 |
| WO2023020084A1 (zh) * | 2021-08-20 | 2023-02-23 | 中国华能集团清洁能源技术研究院有限公司 | 海上无人机巡检飞行路径生成方法、装置及无人机 |
| CN116085290A (zh) * | 2023-01-30 | 2023-05-09 | 浙江上风高科专风实业股份有限公司 | 一种基于滑窗热成像的风机热故障检测方法及系统 |
| CN116543023A (zh) * | 2023-04-24 | 2023-08-04 | 南京邮电大学 | 一种基于修正DeepSORT的多传感目标群智跟踪方法 |
-
2023
- 2023-08-25 CN CN202311076438.3A patent/CN116823872B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106169188A (zh) * | 2016-07-11 | 2016-11-30 | 西南交通大学 | 一种基于蒙特卡洛树搜索的对象跟踪方法 |
| CN108799011A (zh) * | 2017-04-28 | 2018-11-13 | 北京金风科创风电设备有限公司 | 对风电机组的叶片进行监测的设备和方法 |
| US20200160061A1 (en) * | 2017-12-11 | 2020-05-21 | Zhuhai Da Hengqin Technology Development Co., Ltd. | Automatic ship tracking method and system based on deep learning network and mean shift |
| KR101971683B1 (ko) * | 2018-11-09 | 2019-04-23 | 엘아이지넥스원 주식회사 | 우주 물체 추적 장치 및 이를 위한 초퍼 |
| CN111914664A (zh) * | 2020-07-06 | 2020-11-10 | 同济大学 | 基于重识别的车辆多目标检测和轨迹跟踪方法 |
| CN112733770A (zh) * | 2021-01-18 | 2021-04-30 | 全程(上海)智能科技有限公司 | 一种区域入侵监测方法和装置 |
| CN113723192A (zh) * | 2021-07-30 | 2021-11-30 | 鹏城实验室 | 一种风机运行状态下叶片图像采集方法 |
| WO2023020084A1 (zh) * | 2021-08-20 | 2023-02-23 | 中国华能集团清洁能源技术研究院有限公司 | 海上无人机巡检飞行路径生成方法、装置及无人机 |
| CN114581954A (zh) * | 2022-03-15 | 2022-06-03 | 沈阳航空航天大学 | 基于行人特征的跨域检索和跟踪目标的方法 |
| CN115442532A (zh) * | 2022-09-29 | 2022-12-06 | 上海扩博智能技术有限公司 | 风机不停机巡检的方法、系统、设备及存储介质 |
| CN116085290A (zh) * | 2023-01-30 | 2023-05-09 | 浙江上风高科专风实业股份有限公司 | 一种基于滑窗热成像的风机热故障检测方法及系统 |
| CN116543023A (zh) * | 2023-04-24 | 2023-08-04 | 南京邮电大学 | 一种基于修正DeepSORT的多传感目标群智跟踪方法 |
Non-Patent Citations (2)
| Title |
|---|
| ALI A: "Application of Quad-Copter Target Tracking Using Mask Based Edge Detection for Feasibility of Wind Turbine Blade Inspection During Uninterrupted Operation", 《UNIVERSITY OF MARYLAND学位论文》, pages 1 - 12 * |
| 张江丰;尹峰;罗志浩;陈小强;童家麟;: "基于视频处理的引风机静叶故障自动监控技术", 中国电力, no. 07, pages 106 - 109 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117351062A (zh) * | 2023-12-04 | 2024-01-05 | 尚特杰电力科技有限公司 | 风机扇叶缺陷诊断方法、装置、系统及电子设备 |
| CN117351062B (zh) * | 2023-12-04 | 2024-02-23 | 尚特杰电力科技有限公司 | 风机扇叶缺陷诊断方法、装置、系统及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116823872B (zh) | 2024-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107230218B (zh) | 用于生成对从安装在运载工具上的摄像机捕捉的图像导出的估计的置信度测量的方法和设备 | |
| CN116823872B (zh) | 基于目标追踪和图像分割的风机巡检方法及系统 | |
| CN105513349B (zh) | 基于双视角学习的山区高速公路车辆事件检测方法 | |
| CN109697860A (zh) | 车位检测和跟踪系统及方法及车辆 | |
| CN109949594A (zh) | 实时的交通灯识别方法 | |
| CN111222395A (zh) | 目标检测方法、装置与电子设备 | |
| CN110287828B (zh) | 信号灯的检测方法、装置及电子设备 | |
| CN112198899A (zh) | 基于无人飞行器的道路检测方法、设备和存储介质 | |
| WO2022028383A1 (zh) | 车道线标注、检测模型确定、车道线检测方法及相关设备 | |
| CN109766867A (zh) | 车辆运行状态确定方法、装置、计算机设备和存储介质 | |
| CN113011285B (zh) | 车道线检测方法、装置、自动驾驶车辆及可读存储介质 | |
| CN112115770A (zh) | 一种用于架空线路无人机自主巡检缺陷识别的方法及系统 | |
| CN112447060A (zh) | 识别车道的方法、装置及计算设备 | |
| CN114494875A (zh) | 一种电网设备可视检测方法、系统、设备和介质 | |
| CN112565615B (zh) | 飞拍拍摄触发点的确定方法和装置 | |
| Zhang et al. | Facing completely occluded short-term tracking based on correlation filters | |
| CN112580489A (zh) | 交通灯检测方法、装置、电子设备及存储介质 | |
| CN117456479A (zh) | 一种基于光流估计的车辆异常驾驶行为检测方法及装置 | |
| CN117011341A (zh) | 基于目标追踪的车辆轨迹检测方法及系统 | |
| WO2022247299A1 (zh) | 指示灯状态识别 | |
| CN116383041A (zh) | 用于自动驾驶仿真测试的车道线拟合方法及装置 | |
| JP2020076714A (ja) | 位置姿勢推定装置 | |
| JPH06199297A (ja) | 駐機位置計測方法 | |
| CN109948656B (zh) | 一种信息处理方法、装置及存储介质 | |
| CN117710844B (zh) | 基于无人机的建筑安全监视方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 230088 Building J6, Phase II, Zhong'an Chuanggu Science and Technology Park, Wangjiang West Road, High tech Zone, Hefei City, Anhui Province Patentee after: SNEGRID ELECTRIC TECHNOLOGY Co.,Ltd. Country or region after: China Address before: Room 1701, Block C, Building 1, Zone J, Phase II, Hefei Innovation Industrial Park, No. 2800, Innovation Avenue, High-tech Zone, Hefei City, Anhui Province, 230088 Patentee before: SNEGRID ELECTRIC TECHNOLOGY Co.,Ltd. Country or region before: China |
|
| CP03 | Change of name, title or address | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20230929 Assignee: Anhui shangtejie Power Technology Co.,Ltd. Assignor: SNEGRID ELECTRIC TECHNOLOGY Co.,Ltd. Contract record no.: X2024980009396 Denomination of invention: Wind turbine inspection method and system based on target tracking and image segmentation Granted publication date: 20240126 License type: Common License Record date: 20240716 |
|
| EE01 | Entry into force of recordation of patent licensing contract |