CN116912548A - 一种基于风机动态巡检的叶片图像的处理方法 - Google Patents

Abstract

本发明提供了一种基于风机动态巡检的叶片图像处理方法，该方法包括：获取到多帧风机图像，其中，所述多帧风机图像为风机旋转时，无人机执行动态巡检航线时拍摄得到，所述动态巡检航线中包括多个悬停点；基于每帧风机图像中叶片的倾斜角度将所述多帧风机图像分成多组周期图像；分别确定每组周期图像中的目标帧图像，得到目标帧图像集合；从所述目标帧图像集合中确定风机每个叶片在每个所述悬停点下的图像。解决了现有技术中，针对动态巡检采集到的大量的图像无法快速分类至特定悬停点以及特定叶片的技术问题。

Description

一种基于风机动态巡检的叶片图像的处理方法

技术领域

本发明涉及风机智能巡检领域，尤其是涉及一种基于风机动态巡检的叶片图像的处理方法。

背景技术

目前，我国正在进入能源低碳转型的重要窗口期，风力发电得到了快速的发展，传统风电叶片检修需要停机或者锁机，存在诸多不便，不仅检测时间长还会严重影响发电量。

为了解决上述问题，现有技术中出现了风机动态巡检的技术，比如CN202210221229.2，在该专利技术中，无需将风机停机，在风机叶片转动的情况下，可以规划出动态巡检航线，控制无人机从飞机的正面飞到背面，利用无人机悬停、风机叶片转动，从而采集到风机叶片的所有图像，以完成风机叶片的巡检。

需要说明的是，上述专利技术虽然能够拍摄到风机叶片的所有图像，节约了采集图像的时间，现有技术中无法将采集到的图像进行快速有效的分类，即每张图像是在哪个悬停点拍摄的，以及每张图像是属于哪个叶片。

有鉴于此，提出本发明。

发明内容

本发明提供了一种基于风机动态巡检的叶片图像的处理方法，以解决现有技术中，针对动态巡检采集到的大量图像无法快速分类至特定悬停点以及特定叶片的技术问题。

本发明提供的方法包括：获取到多帧风机图像，其中，多帧风机图像为风机旋转时，无人机执行动态巡检航线时拍摄得到，动态巡检航线中包括多个悬停点；基于每帧风机图像中叶片的倾斜角度将多帧风机图像分成多组周期图像；分别确定每组周期图像中的目标帧图像，得到目标帧图像集合；从目标帧图像集合中确定风机每个叶片在每个悬停点下的图像。

进一步地，基于每帧风机图像中叶片的倾斜角度将多帧风机图像分成多组周期图像，包括：在多帧风机图像的第M帧图像至第N帧图像中的叶片倾斜角度连续符合第一条件、第P帧图像至第Q帧图像中的叶片倾斜角度连续符合第一条件、第M-1帧图像以及第N帧与第P帧之间帧图像中的叶片倾斜角度均不符合第一条件或者不出现叶片的情况下，将第M帧图像至第P帧图像确定为一组周期图像，直至确定出多帧风机图像中的所有组周期图像，其中，每组周期图像中的帧图像的叶片倾斜角度变化规律相同，M＜N＜P＜Q≤I，I为多帧风机图像的总数量，M、N、P、Q、I均为正整数。

进一步地，在基于每帧风机图像中叶片的倾斜角度将多帧风机图像分成多组周期图像之前，方法包括：基于动态巡检航线得到每帧风机图像的目标检测框，其中，每个目标检测框中的叶片数量小于风机的全部叶片数量；在目标检测框中识别每帧风机图像中叶片的倾斜角度。

进一步地，基于动态巡检航线得到每帧风机图像的目标检测框，包括：基于动态巡检航线确定无人机的飞行方向；基于无人机的飞行方向、每帧风机图像的尺寸参数以及每帧风机图像被拍摄时无人机所处的悬停点在动态巡检航线中的次序确定每帧风机图像的目标检测框。

进一步地，分别确定每组周期图像中的目标帧图像，得到目标帧图像集合，包括：确定当前组周期图像的周期结束时刻；从周期结束时刻的前后分别确定第一时间点以及第二时间点；从第一时间点以及第二时间点之间的多个图像中确定当前组周期图像的目标帧图像，其中，所有组周期图像的目标帧图像构成目标帧图像集合，目标帧图像的中叶片的倾斜角度为0度，或者在第一时间点以及第二时间点之间的多个图像中最小。

进一步地，从目标帧图像集合中确定风机每个叶片在每个悬停点下的图像，包括：基于每组周期图像的周期时长将目标帧图像集合中的所有目标帧图像分类至风机不同的叶片；计算得到无人机在每个悬停点的时间标记，其中，时间标记为无人机到达每个悬停点的时刻以及离开每个悬停点的时刻；将分类后的目标帧图像集合与每个悬停点的时间标记进行匹配，从而确定每个叶片在每个悬停点下的图像。

进一步地，基于每组周期图像的周期时长将目标帧图像集合中的所有目标帧图像分类至风机不同的叶片，包括：根据每组周期图像的周期时长确定出包括拐点的拐点周期，其中，拐点为停留时间为0的悬停点；判断每个目标帧图像是否在拐点周期之前，生成判断结果；根据每个目标帧图像的帧号、风机叶片的总数量、每个目标帧图像所在周期的时长、每个目标帧图像所在周期的上个周期时长以及判断结果确定每个目标帧图像所属的叶片。

进一步地，计算得到无人机在每个悬停点的时间标记，包括：从动态巡检航线中得到每个悬停点的位置坐标、无人机的飞行速度以及无人机在每个悬停点的停留时间；基于每个悬停点的位置坐标、无人机的飞行速度以及无人机在每个悬停点的停留时间计算得到无人机在每个悬停点的时间标记，其中，时间标记为无人机到达每个悬停点的时刻以及离开每个悬停点的时刻。

进一步地，将分类后的目标帧图像集合与每个悬停点的时间标记进行匹配，从而确定每个叶片在每个悬停点下的图像，包括：基于无人机拍摄的帧率、时间标记得到每个悬停点所拍摄到的图像的帧号；将每个悬停点所拍摄到的图像的帧号与分类后的目标帧图像集合匹配，得到每个叶片在每个悬停点下的图像。

进一步地，在得到每个叶片在每个悬停点下的图像之后，方法包括：确定每个悬停点在悬停时间一半的时刻所拍摄到的中间帧；从每个叶片在每个悬停点下的图像中获取到距离中间帧最近的S个目标帧，其中，S为风机叶片的数量，S个目标帧分别为S个风机叶片的目标帧；将S个目标帧确定为每个叶片在每个悬停点下的目标图像。

本发明提供了一种基于风机动态巡检的叶片图像的处理方法，该方法包括：获取到多帧风机图像，其中，多帧风机图像为风机旋转时，无人机执行动态巡检航线时拍摄得到，动态巡检航线中包括多个悬停点；基于每帧风机图像中叶片的倾斜角度将多帧风机图像分成多组周期图像；分别确定每组周期图像中的目标帧图像，得到目标帧图像集合；从目标帧图像集合中确定风机每个叶片在每个悬停点下的图像。解决了现有技术中，针对动态巡检采集到的大量图像无法快速分类至特定悬停点以及特定叶片的技术问题。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的风机动态巡检的叶片图像的处理方法的流程图；

图2是现有技术中无人机动态巡检航线的示意图；

图3是本发明实施例的第一悬停点下无人机采集的其中1帧图像的示意图；

图4是本发明实施例的目标检测框的示意图；以及

图5是本发明实施例的无人机飞行方向向量与偏航向量的位置关系的示意图。

具体实施方式

为了使本发明的上述以及其他特征和优点更加清楚，下面结合附图进一步描述本发明。应当理解，本文给出的具体实施例是出于向本领域技术人员解释的目的，仅是示例性的，而非限制性的。

在以下描述中，阐述了许多具体细节以提供对本发明的透彻理解。然而，对于本领域普通技术人员来说，明显的是，不需要采用具体细节来实践本发明。在其他情况下，未详细描述众所周知的步骤或操作，以避免模糊本发明。

本发明提供了一种基于风机动态巡检的叶片图像的处理方法，可以由服务器或者其它具有数据处理功能的装置作为本方案的方法步骤的执行主体，上述风机为风力发电机，比如三个或者更多数量叶片的风力发电机，图1是本发明实施例的风机动态巡检的叶片图像的处理方法的流程图，如图1所示，该方法包括：

步骤S11，获取到多帧风机图像，其中，所述多帧风机图像为风机旋转时，无人机执行动态巡检航线时拍摄得到，所述动态巡检航线中包括多个悬停点。

具体的，上述动态巡检航线为在动态巡检模式下制定的无人机的飞行航线，在动态巡检模式下，风机是正常转动的，无人机提前规划好航线，无人机无须飞至风机的所有叶片的所有区域取景，图2是现有技术中无人机动态巡检航线的示意图，结合图2，无人机只需要从轮毂的正面飞往背面，利用风机叶片转，无人机在悬停拍摄点悬停的方式可以采集到风机叶片的所有图像，动态巡检航线中可以包括多个悬停点（悬停拍摄点），无人机可以在风机旋转的时候飞至各个悬停点进行拍摄，然后得到动态巡检视频，动态巡检视频中包括多帧风机图像。

步骤S13，基于多帧风机图像中每帧风机图像的叶片的倾斜角度将所述多帧风机图像分成多组周期图像。

具体的，由于无人机在对风机进行拍摄时，风机的叶片是在不停的转动，因此，在多帧风机图像中的叶片在拍摄画面中的倾斜角度势必会呈周期性的变化规律，比如从小到大，再从大到小进循环，因此本方案可以根据的倾斜角度会呈周期性的变化规律将多帧风机图像分成多组周期图像，每组周期图像中，叶片倾斜角度的变化规律相同，在一种可选的实施例中，每组周期图像中的风机图像的叶片倾斜角度的变化规律为：叶片倾斜角度从小于15°逐渐变为15°，再逐渐变为大于15°，然后从再从大于15°再次变成小于15°，需要说明的是，每组周期图像中图像的数量为多个。

这里需要说明的是，本方案中关于图像中风机叶片的识别可以通过深度神经网络进行叶片前景分割得到。

步骤S15，分别确定每组周期图像中的目标帧图像，得到目标帧图像集合。

具体的，本方案可以从每组周期图像中确定一帧目标帧图像，所有组周期图像中目标帧图像构成目标帧图像集合。这里需要说明的是，由于每组周期图像中每帧风机图像中的叶片姿态都是不同的，因此本方案要选择出最佳目标帧图像，该目标帧图像便于后续的叶片拼接。

在一种可选的实施例中，上述目标帧图像中叶片的姿态为水平，即目标帧图像中叶片与水平的夹角为0°。

步骤S17，从所述目标帧图像集合中确定风机每个叶片在每个悬停点下的图像。

具体的，本方案可以对目标帧图像集合中的每帧目标帧图像进行归类，比如，每个目标帧图像是在哪个悬停点下拍摄的以及在该悬停点下拍摄的目标帧图像拍的是哪个具体的叶片。通过此种方式，本方案可以快速的确定在动态巡检中，每个悬停点下拍摄到的具体叶片的图像，解决了针对动态巡检采集到的大量的图像无法快速分类至特定悬停点以及特定叶片的技术问题。

可选的，步骤S13基于所述每帧风机图像中叶片的倾斜角度将所述多帧风机图像分成多组周期图像，包括：

在所述多帧风机图像的第M帧图像至第N帧图像中的叶片倾斜角度连续符合第一条件、第P帧图像至第Q帧图像中的叶片倾斜角度连续符合所述第一条件、第M-1帧图像以及第N帧与第P帧之间帧图像中的叶片倾斜角度均不符合所述第一条件或者第M-1帧图像以及第N帧与第P帧之间帧图像中就不出现叶片的情况下，将第M帧图像至第P帧图像确定为一组周期图像，直至确定出所述多帧风机图像中的所有组周期图像，其中，每组周期图像中的帧图像的叶片倾斜角度变化规律相同，

M＜N＜P＜Q≤I，I为多帧风机图像的总数量，M、N、P、Q、I均为正整数。

具体的，本方案可以逐帧计算多帧风机图像每帧风机图像的倾斜角度，由于风机的叶片旋转会使得叶片在拍摄画面中倾斜角度呈周期性变化，所以可根据叶片倾斜角度的周期性计算叶片的旋转周期。上述第一条件可为图像叶片倾斜角度小于15°。

为更好理解上述步骤S131的实施例，本方案举例如下：

若叶片倾斜角度，将当前帧标记为1，否则/>或画面中叶片不存在则将当前帧标记为0。可得到从出现连续的1开始至下一次出现连续的1即为一个周期。巡检视频中的多组周期图像为/>，第一个周期开始节点帧号为/>，每帧图像上的叶片倾角为/>。

可选的，在步骤S13基于所述每帧风机图像中叶片的倾斜角度将所述多帧风机图像分成多组周期图像之前，所述方法包括：

步骤S121，基于所述动态巡检航线得到每帧风机图像的目标检测框，其中，每个目标检测框中的叶片数量小于风机的全部叶片数量，使得基于目标检测框检测得到的叶片的倾斜角度能够判断出倾斜角度的变化规律。

步骤S122，在所述目标检测框中识别每帧风机图像中叶片的倾斜角度。

具体的，结合图2，在动态巡检中，无人机会按照动态巡检航线，从风机轮毂的正面飞到轮毂的背面，在不同的悬停点下，无人机拍摄到的风机叶片的数量不同，由于第一悬停拍摄点和最后一个悬停拍摄点不可避免的会拍摄到风机的所有叶片，结合图3，图3是本发明实施例的第一悬停点下无人机采集的其中1帧图像的示意图，在图3中能够拍摄到所有数量的叶片（比如三叶风机），由于本方案的目标是根据每帧图片中叶片倾斜角度来识别变化规律，那么在拍摄到风机的所有叶片的情况下则无法确定上述变化规律，因此，本方案则基于所述动态巡检航线得到每帧风机图像的目标检测框，使得每个目标检测框中的叶片数量小于风机的全部叶片数量，从而能够从框内识别到每帧风机图像中叶片的倾斜角度，以用于叶片倾斜角度变化规律的识别，目标检测框的示意图如图4所示，图4是根据本发明实施例确定出的目标检测框。

在一种可选的实施例中，本方案在确定出目标检测框后，可以通过计算目标框内叶片的最小外接矩形，然后通过计算最小外接矩形与图像x轴的夹角类确定图像中叶片的倾斜角度。需要说明的是，/>越小，叶片的倾斜角度就越小，叶片在图像中越趋近于水平。这里还需要说明是，由于风机叶片为条状，采用外接矩形来确定叶片倾斜角度更加快速准确。

可选的，步骤S121基于所述动态巡检航线得到每帧风机图像的目标检测框，包括：

步骤S1211，基于所述动态巡检航线确定所述无人机的飞行方向。

步骤S1212，基于所述无人机的飞行方向、所述每帧风机图像的尺寸参数以及所述每帧风机图像被拍摄时所述无人机所处的悬停点在所述动态巡检航线中的次序确定每帧风机图像的目标检测框。

具体的，上述无人机的飞行方向可以为顺时针或者为逆时针，每帧风机图像的尺寸参数可以为巡检视频的图像帧宽w以及高h，对于第一个和最后一个悬停点，若飞行方向为顺时针则定义第一悬停点的目标检测框，最后一个悬停点的目标检测框/>，若飞行方向为逆时针则定义第一悬停点的目标检测框最后一个悬停点的目标检测框/>。需要说明的是，除第一和最后一个悬停点外其余目标框均为整张图像帧，因为在除第一和最后一个悬停点外其余悬停点所拍摄到的帧图像中的叶片都会少于三个（风机所有叶片数量）。本方案基于不同的悬停点确定不同的目标检测框，使得后续叶片倾斜角度规律的识别更加准确。

可选的，步骤S15分别确定每组周期图像中的目标帧图像，得到目标帧图像集合，包括：

步骤S151，确定当前组周期图像的周期结束时刻。

步骤S152，从所述周期结束时刻的前后分别确定第一时间点以及第二时间点。

具体的，上述第一时间点以及第二时间点可以为周期结束时刻的前后二分之一周期。

步骤S153，从所述第一时间点以及第二时间点之间的多个图像中确定所述当前组周期图像的目标帧图像，其中，所有组周期图像的目标帧图像构成所述目标帧图像集合，所述目标帧图像的中叶片的倾斜角度为0度，或者在所述第一时间点以及第二时间点之间的多个图像中最小。

下面针对步骤S151至步骤S153做实例说明：上述多组周期图像的多个周期为，上述当前组周期图像为多组周期图像中的任意一组，比如当前组周期图像为周期为/>的图像（第k个周期中的图像），当前周期图像的周期结束时刻的帧图像在整个视频中的帧号为/>。可以确定当前周期图像/>周期结束时刻前后二分之一周期内的所有图像帧，前后二分之一周期内的所有图像帧中叶片的倾斜角为，本方案然后筛选中/>为0°的图像帧，若唯一则该帧图像即为目标帧图像，若不唯一则随机选取一帧作为目标帧，若不存在则选出叶片倾角最小的图像帧作为目标帧图像。直到确定出所有周期图像组的目标帧图像集合/>。这里需要说明的是，当前周期图像组的所在周期结束时刻前后二分之一周期内的所有图像帧中叶片姿态较为接近水平，从前后二分之一周期内的所有图像帧中进行筛选能够更快速的确定姿态为水平的帧图片。

可选的，步骤S1211基于所述动态巡检航线确定所述无人机的飞行方向，包括：

步骤S12111，从所述动态巡检航线中得到第一悬停点以及第二悬停点的位置坐标，其中，无人机从所述第一悬停点飞至所述第二悬停点，且所述第二悬停点与所述第一悬停点处于风机的同侧。

步骤S12112，根据第一悬停点以及第二悬停点的位置坐标得到无人机从第一悬停点飞至第二悬停点的方向向量。

具体的，上述第一悬停点以及第二悬停点为动态巡检航线中任意两个顺序为先后的悬停点，无人机从第一悬停点飞至第二悬停点的方向向量为。

步骤S12113，根据所述无人机在第一悬停点以及第二悬停点的拍摄偏航角计算出无人机的拍摄偏航向量。

具体的，设在风机同侧的悬停点上无人机拍摄偏航角不变，那么无人机在第一悬停点和第二悬停点的拍摄偏航角为，根据偏航角/>可计算出无人机拍摄偏航向量为/>，其中/>，/>。

步骤S12114，基于所述方向向量与所述拍摄偏航向量的夹角确定所述无人机的飞行方向。

具体的，图5是本发明实施例的无人机飞行方向向量与偏航向量的位置关系的示意图，结合图5，本方案计算飞行方向向量与拍摄偏航向量/>间夹角，并且根据/>值确定无人机的飞行方向。若/>则巡检飞行方向为逆时针，若/>巡检飞行方向为顺时针。

这里需要说明的是，由于在动态巡检航线中不带有无人机的飞行方向，因此通过上述实施例，可以快速有效的得到无人机的飞行方向。与现有的基于复杂的跟踪算法对风机导流罩进行目标跟踪，并通过计算导流罩运动轨迹确定无人机飞行方向的方式相比，本方案中所提出的基于巡检航线进行数学建模计算飞行方向的方式，计算量较小速度更快且能够有效减少处理时间从而提高巡检效率。

可选的，步骤S17从所述目标帧图像集合中确定风机每个叶片在每个悬停点下的目标图像，包括：

步骤S171，基于每组周期图像的周期时长将所述目标帧图像集合中的所有目标帧图像分类至风机不同的叶片。

具体的，目标帧图像集合为，设风机叶片的个数为3，标记为A，B，C，本方案基于所有周期图像组中的每组周期时长/>将目标帧图像根据按顺序分类至三个叶片。

步骤S172，计算得到无人机在每个悬停点的时间标记，其中，所述时间标记为无人机到达每个悬停点的时刻以及离开每个悬停点的时刻。

具体的，在每个悬停点的时间标记分别为，比如，在第二个悬停点中，/>是无人机到达第二个悬停点的时刻，/>是无人机离开第二个悬停点的时刻。

步骤S173，将分类后的目标帧图像集合与每个悬停点的时间标记进行匹配，从而确定每个叶片在每个悬停点下的图像。

具体的，分类后的目标帧图像集合中明确了每个目标帧图像属于哪个叶片，将明确了属于哪个叶片的目标帧图像的拍摄时间与每个悬停点的时间标记进行匹配，就可以确定分类后的目标帧是哪个悬停点拍摄得到，即明确了每个叶片在每个悬停点下的图像（每个悬停点上三个叶片的图像）。

可选的，步骤S171，基于每组周期图像的周期时长将所述目标帧图像集合中的所有目标帧图像分类至风机不同的叶片，包括：

步骤S1711，根据每组周期图像的周期时长确定出包括拐点的拐点周期，其中，所述拐点为停留时间为0的悬停点。

具体的，如果当前组周期图像的周期时长大于上一个周期图像的周期时长乘以2，本方案则判定当前组周期图像的周期包括拐点。

步骤S1712，判断每个目标帧图像是否在拐点周期之前，生成判断结果。

步骤S1713，根据每个目标帧图像的帧号、风机叶片的总数量、每个目标帧图像所在周期的时长、每个目标帧图像所在周期的上个周期时长以及所述判断结果确定所述每个目标帧图像所属的叶片。

具体的，对于一个目标帧图像，如果该目标帧图像在拐点之前即/>则可计算余数/>，否则余数为/>。然后本方案根据余数进行叶片分类，若/>则该目标帧属于叶片A，/>属于叶片B，则属于叶片C。通过此种方式可以快速准确的将目标帧图像进行不同叶片的分类。每帧目标帧图像的叶片分类为：/>，比如，在中，则意味着，帧号为/>的图像属于风机叶片A。

可选的，步骤S172，计算得到无人机在每个悬停点的时间标记，包括：

步骤S1721，从所述动态巡检航线中得到每个悬停点的位置坐标、无人机的飞行速度以及无人机在每个悬停点的停留时间。

具体的，可以对动态航线文件进行解析，得到所有悬停拍摄点的位置坐标、无人机的飞行速度以及无人机在每个悬停点的停留时间。

步骤S1722，基于所述每个悬停点的位置坐标、无人机的飞行速度以及无人机在每个悬停点的停留时间/>计算得到无人机在每个悬停点的时间标记，其中，所述时间标记为无人机到达每个悬停点的时刻以及离开每个悬停点的时刻。

下面对于上述步骤S1721至~步骤S1722进行举例：

比如第一个悬停拍摄点，无人机到达第一悬停拍摄点的时刻为0，无人机离开第一悬停拍摄点的时刻为0+，通过第二悬停拍摄点和第一悬停拍摄点的位置坐标可以得到第二悬停拍摄点和第一悬停拍摄点的距离d，然后根据d以及v计算得到，无人从第一悬停拍摄点飞至第二悬停拍摄点的时间，通过无人机离开第一悬停拍摄点的时刻为0+/>以及无人从第一悬停拍摄点飞至第二悬停拍摄点的时间即可得到无人机飞至第二悬停拍摄点的时刻，因此类推，可以得到无人机在每个悬停点的时间标记。

可选的，步骤S173，将所述分类后的目标帧图像集合与每个悬停点的时间标记进行匹配，从而确定每个叶片在每个悬停点下的图像，包括：

步骤S1731，基于无人机拍摄的帧率、所述时间标记得到每个悬停点所拍摄到的图像的帧号。

步骤S1732，将所述每个悬停点所拍摄到的图像的帧号与所述分类后的目标帧图像集合匹配，得到每个叶片在每个悬停点下的图像。

具体的，设拍摄帧率为N，则悬停拍摄点的时间标记可转换为帧号标记，对于一个悬停点，其帧号标为/>。对所有悬停点进行帧号的计算可得到所有悬停拍摄点的帧号标记为：，将叶片分类后的目标帧图像与悬停拍摄点与悬停拍摄点根据帧号进行匹配，可以得到所有悬停点上所有叶片：可选的，在步骤S1732之后，所述方法还可以包括：

步骤S1733，确定每个悬停点在悬停时间一半的时刻所拍摄到的中间帧。

步骤S1734，从所述每个叶片在每个悬停点下的图像中获取到距离所述中间帧最近的S个目标帧，其中，S为风机叶片的数量，所述S个目标帧分别为S个风机叶片的目标帧。

步骤S1735，将所述S个目标帧确定为每个叶片在每个悬停点下的目标图像。

具体的，由于无人机在巡检的过程存在抖动，因此对于一个悬停点，从属于该悬停点的目标帧中选择距离悬停点中间帧/>最近的三个目标帧，这三个目标帧/>即为当前悬停点上三个叶片的目标图像。

最后依次可计算得到每个悬停点上的A，B，C三个叶片的目标图像为：

综上，本发明提供的风机动态巡检视频叶片图像自动识别方法。通过解析动态巡检的巡检航线可得到风机在运行状态下，无人机巡检过程中悬停拍摄点的时间标记。然后基于巡检拍摄的视频影像，对每一帧视频图像中的叶片位姿进行识别，根据视频帧中叶片位姿的变化可实时计算出巡检视频中叶片的旋转周期。接着基于叶片的旋转周期以及每帧图像中叶片位姿，可从巡检视频中抽取出每个旋转周期中叶片处于水平方向的目标帧。最后将目标帧与悬停拍摄点进行匹配可得到在每个悬停点上叶片的图像。本专利提出的方法能够有效助力风机不停机模式的叶片缺陷检测工作，从而全面提升风机叶片巡检效率。

应理解，本文中前述关于本发明的方法所描述的具体特征、操作和细节也可类似地应用于本发明的装置和系统，或者，反之亦然。另外，上文描述的本发明的方法的每个步骤可由本发明的装置或系统的相应部件或单元执行。

应理解，本发明的装置的各个模块/单元可全部或部分地通过软件、硬件、固件或其组合来实现。所述各模块/单元各自可以硬件或固件形式内嵌于计算机设备的处理器中或独立于所述处理器，也可以软件形式存储于计算机设备的存储器中以供处理器调用来执行所述各模块/单元的操作。所述各模块/单元各自可以实现为独立的部件或模块，或者两个或更多个模块/单元可实现为单个部件或模块。

在一个实施例中，提供了一种计算机设备，其包括存储器和处理器，所述存储器上存储有可由处理器执行的计算机指令，所述计算机指令在由所述处理器执行时指示所述处理器执行本发明的实施例的方法的各步骤。该计算机设备可以广义地为服务器、终端，或任何其他具有必要的计算和/或处理能力的电子设备。在一个实施例中，该计算机设备可包括通过系统总线连接的处理器、存储器、网络接口、通信接口等。该计算机设备的处理器可用于提供必要的计算、处理和/或控制能力。该计算机设备的存储器可包括非易失性存储介质和内存储器。该非易失性存储介质中或上可存储有操作系统、计算机程序等。该内存储器可为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口和通信接口可用于与外部的设备通过网络连接和通信。该计算机程序被处理器执行时执行本发明的方法的步骤。

本发明可以实现为一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在由处理器执行时导致本发明实施例的方法的步骤被执行。在一个实施例中，所述计算机程序被分布在网络耦合的多个计算机设备或处理器上，以使得所述计算机程序由一个或多个计算机设备或处理器以分布式方式存储、访问和执行。单个方法步骤/操作，或者两个或更多个方法步骤/操作，可以由单个计算机设备或处理器或由两个或更多个计算机设备或处理器执行。一个或多个方法步骤/操作可以由一个或多个计算机设备或处理器执行，并且一个或多个其他方法步骤/操作可以由一个或多个其他计算机设备或处理器执行。一个或多个计算机设备或处理器可以执行单个方法步骤/操作，或执行两个或更多个方法步骤/操作。

本领域普通技术人员可以理解，本发明的方法步骤可以通过计算机程序来指示相关的硬件如计算机设备或处理器完成，所述的计算机程序可存储于非暂时性计算机可读存储介质中，该计算机程序被执行时导致本发明的步骤被执行。根据情况，本文中对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器的示例包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）、闪存、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘等。易失性存储器的示例包括随机存取存储器（RAM）、外部高速缓冲存储器等。

以上描述的各技术特征可以任意地组合。尽管未对这些技术特征的所有可能组合进行描述，但这些技术特征的任何组合都应当被认为由本说明书涵盖，只要这样的组合不存在矛盾。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于风机动态巡检的叶片图像的处理方法，其特征在于，包括：

获取到多帧风机图像，其中，所述多帧风机图像为风机旋转时，无人机执行动态巡检航线时拍摄得到，所述动态巡检航线中包括多个悬停点；

基于每帧风机图像中叶片的倾斜角度将所述多帧风机图像分成多组周期图像；

分别确定每组周期图像中的目标帧图像，得到目标帧图像集合；

从所述目标帧图像集合中确定风机每个叶片在每个悬停点下的图像。

2.根据权利要求1所述的基于风机动态巡检的叶片图像的处理方法，其特征在于，基于所述每帧风机图像中叶片的倾斜角度将所述多帧风机图像分成多组周期图像，包括：

在所述多帧风机图像的第M帧图像至第N帧图像中的叶片倾斜角度连续符合第一条件、第P帧图像至第Q帧图像中的叶片倾斜角度连续符合所述第一条件、第M-1帧图像以及第N帧与第P帧之间帧图像中的叶片倾斜角度均不符合所述第一条件或者不出现叶片的情况下，将第M帧图像至第P帧图像确定为一组周期图像，直至确定出所述多帧风机图像中的所有组周期图像，其中，每组周期图像中的帧图像的叶片倾斜角度变化规律相同，

M＜N＜P＜Q≤I，I为多帧风机图像的总数量，M、N、P、Q、I均为正整数。

3.根据权利要求1所述的基于风机动态巡检的叶片图像的处理方法，其特征在于，在基于所述每帧风机图像中叶片的倾斜角度将所述多帧风机图像分成多组周期图像之前，所述方法包括：

基于所述动态巡检航线得到每帧风机图像的目标检测框，其中，每个目标检测框中的叶片数量小于风机的全部叶片数量；

在所述目标检测框中识别每帧风机图像中叶片的倾斜角度。

4.根据权利要求3所述的基于风机动态巡检的叶片图像的处理方法，其特征在于，基于所述动态巡检航线得到每帧风机图像的目标检测框，包括：

基于所述动态巡检航线确定所述无人机的飞行方向；

基于所述无人机的飞行方向、所述每帧风机图像的尺寸参数以及所述每帧风机图像被拍摄时所述无人机所处的悬停点在所述动态巡检航线中的次序确定每帧风机图像的目标检测框。

5.根据权利要求1所述的基于风机动态巡检的叶片图像的处理方法，其特征在于，分别确定每组周期图像中的目标帧图像，得到目标帧图像集合，包括：

确定当前组周期图像的周期结束时刻；

从所述周期结束时刻的前后分别确定第一时间点以及第二时间点；

从所述第一时间点以及第二时间点之间的多个图像中确定所述当前组周期图像的目标帧图像，其中，所有组周期图像的目标帧图像构成所述目标帧图像集合，所述目标帧图像中的叶片的倾斜角度为0度，或者在所述第一时间点以及第二时间点之间的多个图像中最小。

6.根据权利要求1所述的基于风机动态巡检的叶片图像的处理方法，其特征在于，从所述目标帧图像集合中确定风机每个叶片在每个悬停点下的图像，包括：

基于每组周期图像的周期时长将所述目标帧图像集合中的所有目标帧图像分类至风机不同的叶片；

计算得到无人机在每个悬停点的时间标记，其中，所述时间标记为无人机到达每个悬停点的时刻以及离开每个悬停点的时刻；

将分类后的目标帧图像集合与每个悬停点的时间标记进行匹配，从而确定每个叶片在每个悬停点下的图像。

7.根据权利要求6所述的基于风机动态巡检的叶片图像的处理方法，其特征在于，基于每组周期图像的周期时长将所述目标帧图像集合中的所有目标帧图像分类至风机不同的叶片，包括：

根据每组周期图像的周期时长确定出包括拐点的拐点周期，其中，拐点为停留时间为0的悬停点；

判断每个目标帧图像是否在拐点周期之前，生成判断结果；

根据每个目标帧图像的帧号、风机叶片的总数量、每个目标帧图像所在周期的时长、每个目标帧图像所在周期的上个周期时长以及所述判断结果确定所述每个目标帧图像所属的叶片。

8.根据权利要求6所述的基于风机动态巡检的叶片图像的处理方法，其特征在于，计算得到无人机在每个悬停点的时间标记，包括：

从所述动态巡检航线中得到每个悬停点的位置坐标、无人机的飞行速度以及无人机在每个悬停点的停留时间；

基于所述每个悬停点的位置坐标、无人机的飞行速度以及无人机在每个悬停点的停留时间计算得到无人机在每个悬停点的时间标记，其中，所述时间标记为无人机到达每个悬停点的时刻以及离开每个悬停点的时刻。

9.根据权利要求6所述的基于风机动态巡检的叶片图像的处理方法，其特征在于，将所述分类后的目标帧图像集合与每个悬停点的时间标记进行匹配，从而确定每个叶片在每个悬停点下的图像，包括：

基于无人机拍摄的帧率、所述时间标记得到每个悬停点所拍摄到的图像的帧号；

将所述每个悬停点所拍摄到的图像的帧号与所述分类后的目标帧图像集合匹配，得到每个叶片在每个悬停点下的图像。

10.根据权利要求9所述的基于风机动态巡检的叶片图像的处理方法，其特征在于，在得到每个叶片在每个悬停点下的图像之后，所述方法包括：

确定每个悬停点在悬停时间一半的时刻所拍摄到的中间帧；

从所述每个叶片在每个悬停点下的图像中获取到距离所述中间帧最近的S个目标帧，其中，S为风机叶片的数量，所述S个目标帧分别为S个风机叶片的目标帧；

将所述S个目标帧确定为每个叶片在每个悬停点下的目标图像。