CN108986071B - 叶片自动检测跟踪方法、系统、设备及存储介质 - Google Patents

叶片自动检测跟踪方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN108986071B
CN108986071B CN201810547475.0A CN201810547475A CN108986071B CN 108986071 B CN108986071 B CN 108986071B CN 201810547475 A CN201810547475 A CN 201810547475A CN 108986071 B CN108986071 B CN 108986071B
Authority
CN
China
Prior art keywords
blade
leaf
image
frame
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810547475.0A
Other languages
English (en)
Other versions
CN108986071A (zh
Inventor
刘迅
尚黎民
陈小明
叶华
柯严
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Clobotics Technology Co ltd
Original Assignee
Shanghai Clobotics Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Clobotics Technology Co ltd filed Critical Shanghai Clobotics Technology Co ltd
Priority to CN201810547475.0A priority Critical patent/CN108986071B/zh
Priority to US16/112,779 priority patent/US10776947B2/en
Publication of CN108986071A publication Critical patent/CN108986071A/zh
Application granted granted Critical
Publication of CN108986071B publication Critical patent/CN108986071B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F03—MACHINES OR ENGINES FOR LIQUIDS; WIND, SPRING, OR WEIGHT MOTORS; PRODUCING MECHANICAL POWER OR A REACTIVE PROPULSIVE THRUST, NOT OTHERWISE PROVIDED FOR
    • F03D—WIND MOTORS
    • F03D17/00—Monitoring or testing of wind motors, e.g. diagnostics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F03—MACHINES OR ENGINES FOR LIQUIDS; WIND, SPRING, OR WEIGHT MOTORS; PRODUCING MECHANICAL POWER OR A REACTIVE PROPULSIVE THRUST, NOT OTHERWISE PROVIDED FOR
    • F03D—WIND MOTORS
    • F03D80/00—Details, components or accessories not provided for in groups F03D1/00 - F03D17/00
    • F03D80/50—Maintenance or repair
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Sustainable Energy (AREA)
  • Sustainable Development (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种叶片自动检测跟踪方法、系统、设备及存储介质，用于通过无人机进行风机叶片的跟踪，无人机上设置一云台，云台控制摄像机的拍摄角度，包括：通过摄像机采集叶片视频文件，对叶片视频文件中至少一帧叶片图像进行检测，提取至少一帧叶片图像中叶片区域的侧边；根据叶片区域的侧边对叶片视频文件中时间上相邻的多帧叶片图像中叶片区域的侧边进行跟踪检测；将多帧叶片图像中叶片侧边中点连线的中点确定每一帧叶片图像中叶片区域的中心点，并根据叶片区域的中心点与对应帧叶片图像的中心之间的偏移量调整云台，使得叶片区域的中心点向对应帧叶片图像的中心移动。本发明能够使得叶片区域尽量靠近叶片图像的中心，提高了图像拍摄的质量。

Description

叶片自动检测跟踪方法、系统、设备及存储介质
技术领域
本发明涉及风机叶片检测，具体地，涉及一种叶片自动检测跟踪方法、系统、设备及存储介质。
背景技术
风力发电机是将风能转换为机械功，机械功带动转子旋转，最终输出交流电的电力设备。风力发电机一般有叶片、发电机、调向器、塔架、限速安全机构和储能装置等构件组成。
在风力发电机的长期运行过程中，叶片的表面会呈现出各种损伤，例如叶片保护膜损伤、叶片掉漆、叶片结冰、叶片裂纹以及叶片油污等。
目前，对叶片表面进行损伤检测时，通常采用人工爬上风力发电机进行检测，不仅会花费大量的人力，而且在人工爬上风力发电的进行检测的时候需要高空作业，作业人员的安全具有一定的风险。
因此通过无人机装载摄像头进行风机检测，能够很好的代替人工进行检测。但是无人机装载摄像头进行工作时，采用GPS进行定位，但是GPS定位存在误差且建模形成无人机的飞行路线时也存在一定的误差，无法保证风机叶片一直处于摄像头拍摄画面的中心，甚至出现偏离出拍摄画面的情况，因此需要一直对叶片进行跟踪拍摄的方法。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种叶片自动检测跟踪方法、系统、设备及存储介质。
根据本发明提供的叶片自动检测跟踪方法，用于通过无人机进行风机叶片的跟踪，所述无人机上设置一云台，所述云台控制一摄像机的拍摄角度，包括如下步骤：
步骤S1：通过所述摄像机采集叶片视频文件，对所述叶片视频文件中至少一帧叶片图像进行检测，提取所述至少一帧叶片图像中叶片区域的侧边；
步骤S2：根据所述叶片区域的侧边对所述叶片视频文件中时间上相邻的多帧叶片图像中叶片区域的侧边进行跟踪检测；
步骤S3：将多帧叶片图像中叶片侧边中点连线的中点确定每一帧叶片图像中叶片区域的中心点，并根据所述叶片区域的中心点与对应帧叶片图像的中心之间的偏移量调整所述云台，使得所述叶片区域的中心点向对应帧叶片图像的中心移动。
优选地，所述步骤S1包括如下步骤：
步骤S101：对一帧叶片图像进行线性检测，在所述一帧叶片图像上提取若干沿所述叶片的长度方向延伸的多条第一线条；
步骤S102：将多条邻近的第一线条以及斜率相同且在同一直线上的第一线条分别进行合并生成多条第二线条；
步骤S103：根据一位于所述叶片上的目标点在多条所述第二线条中选择位于所述目标点的两侧、平行度小于预设的平行度阈值且长度大于所述一帧叶片图像的对角线长度三分之二的第二线条作为所述叶片区域的侧边，所述平行度与两条第二线条的夹角成反比。
优选地，还包括如下步骤：
步骤M101：重复执行步骤S101至步骤S103，在多帧叶片图像上提取出所述叶片区域的侧边；
步骤M102：根据两帧叶片图像中侧边之间的角度、距离确定两帧叶片图像中侧边的相似值，所述两帧叶片图像侧边之间的距离为将一帧叶片图像的侧边转至与另一帧叶片图像的侧边平行时之间的垂直距离；
步骤M103：在所述多帧叶片图像中，当多数帧叶片图像中任选两帧叶片图像的侧边相似值均小于预设的相似度阈值时，则在所述多数帧叶片图像的侧边中选定一对侧边作为所述叶片区域的侧边。
优选地，所述步骤S2包括如下步骤：
步骤S201：对时间上相邻的另一帧叶片图像进行线性检测，在所述另一帧叶片图像上提取若干沿所述叶片的长度方向延伸的多条第三线条；
步骤S202：将多条邻近的第三线条以及斜率相同且在同一直线上的第三线条分别进行合并生成多条第四线条；
步骤S203：根据中心点在多条所述第四线条中选择位于所述中心点的两侧、平行度小于预设的平行度阈值且长度大于所述另一帧叶片图像的对角线长度三分之二的第四线条作为所述叶片区域的第一初始侧边。
优选地，还包括如下步骤：
步骤N101：根据所述叶片区域的侧边与多条第四线条之间的角度、距离确定多条第四线条与所述叶片区域的侧边的相似值，所述叶片区域的侧边和多条第四线条之间的距离为将第四线条转至与所述侧边平行后之间的垂直距离；
步骤N102：根据预设的相似度阈值在多条第四线条中选择出一对第四线条作为另一帧叶片图像中所述叶片区域的第二初始侧边；
步骤N103：根据时间上相邻且在另一帧叶片图像之前的至少两帧叶片图像中叶片区域的侧边位移预估出与时间上相邻的另一帧叶片图像中叶片区域的第三初始侧边；
步骤N104：当第一初始侧边、第二初始侧边、第三初始侧边中至少两初始侧边之间相似值均小于预设的相似度阈值时，则在该小于预设的相似度阈值的两初始侧边中选定一对目标侧边作为另一帧叶片图像的侧边；
步骤N105：重复执行步骤S201至步骤N104，进行时间上相邻帧叶片图像中叶片侧边的顺次检测。
优选地，所述叶片图像的中心为一以所述叶片图像的中心点为中心的中心区域；
当所述叶片区域的中心点位于所述中心区域时，认定所述偏移量为零。
优选地，所述相似值具体为，当一帧叶片图像中叶片区域的侧边表示为l1、l2，另一帧叶片图像中叶片区域的侧边表示为l3、l4时，则l1和l3之间的相似值为根据l1和l3之间的夹角以及将l1转至与l3平行后进行归一化生成相似值V(l1，l3)，则一帧叶片图像中叶片区域的侧边和另一帧叶片图像中叶片区域的侧边的相似值V总＝min[V(l1，l3)，V(l1，l4)]+min[V(l2，l3)，V(l2，l4)]，其中，V(l1，l4)为l1和l4之间的相似值，V(l2，l3)为l2和l3之间的相似值，V(l2，l4)为l2和l4之间的相似值。
本发明提供的叶片自动检测跟踪系统，其特征在于，用于实现所述的叶片自动检测跟踪方法，包括：
侧边检测模块，用于对所述叶片视频文件中至少一帧叶片图像进行检测，提取所述至少一帧叶片图像中叶片区域的侧边；
跟踪检测模块，用于根据所述叶片区域的侧边对所述叶片视频文件中时间上相邻的多帧叶片图像中叶片区域的侧边进行跟踪检测；
云台控制模块，用于将多帧叶片图像中叶片侧边中点连线的中点确定每一帧叶片图像中叶片区域的中心点，并根据所述叶片区域的中心点与对应帧叶片图像的中心之间的偏移量调整所述云台，使得所述叶片区域的中心点向对应帧叶片图像的中心移动。
本发明提供的叶片自动检测跟踪设备，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行所述叶片自动检测跟踪方法的步骤。
本发明提供的计算机可读存储介质，用于存储程序，所述程序被执行时实现权利要求1至7中任意一项所述叶片自动检测跟踪方法的步骤。
与现有技术相比，本发明具有如下的有益效果：
本发明通过对叶片图像中叶片侧边的检测，计算出叶片区域的中心点，进而根据叶片区域的中心点和叶片图像的中心之间的偏移量调整云台，实现摄像机拍摄角度的调整，使得在后续帧叶片图像中，叶片区域的中心点向对应帧叶片图像的中心移动，从而能够使得叶片区域尽量靠近叶片图像的中心，提高了图像拍摄的质量。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明中叶片自动检测跟踪方法的步骤流程图；
图2为本发明中对叶片区域的侧边进行检测的步骤流程图；
图3为本发明变形例在对叶片区域的侧边进行检测的步骤流程图；
图4为本发明中对叶片区域的侧边进行跟踪检测的步骤流程图；
图5为本发明变形例中对叶片区域的侧边进行跟踪检测的步骤流程图；
图6至图8为本发明中叶片自动检测跟踪方法使用状态示意图；
图9为本发明中叶片自动检测跟踪系统的模块示意图；
图10为本发明中叶片自动检测跟踪设备的结构示意图；以及
图11为本发明中计算机可读存储介质的结构示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
在本实施例中，图1为本发明中叶片自动检测跟踪方法的步骤流程图，如图1所示，本发明提供的叶片自动检测跟踪方法，用于通过无人机进行风机叶片的跟踪，所述无人机上设置一云台，所述云台控制一摄像机的拍摄角度，包括如下步骤：
步骤S1：通过所述摄像机采集叶片视频文件，对所述叶片视频文件中至少一帧叶片图像进行检测，提取所述至少一帧叶片图像中叶片区域的侧边；
步骤S2：根据所述叶片区域的侧边对所述叶片视频文件中时间上相邻的多帧叶片图像中叶片区域的侧边进行跟踪检测；
步骤S3：将多帧叶片图像中叶片侧边中点连线的中点确定每一帧叶片图像中叶片区域的中心点，并根据所述叶片区域的中心点与对应帧叶片图像的中心之间的偏移量调整所述云台，使得所述叶片区域的中心点向对应帧叶片图像的中心移动。
在本实施例中，所述叶片图像的中心为一以所述叶片图像的中心点为中心的中心区域；当所述叶片区域的中心点位于所述中心区域时，认定所述偏移量为零。
在本实施例中，当所述叶片区域的中心点位于所述叶片图像上侧时，则向上调整所述云台，当所述叶片区域的中心点位于所述叶片图像下侧时，则向下调整所述云台，此均为本领域技术人员根据公知常识能够获知的。
在本实施例中，当对所述叶片区域的侧边进行检测时，采用霍夫直线检测(HoughLines)的方法进行检测。
本发明通过对叶片图像中叶片侧边的检测，计算出叶片区域的中心点，进而根据叶片区域的中心点和叶片图像的中心之间的偏移量调整云台，实现摄像机拍摄角度的调整，使得在后续帧叶片图像中，叶片区域的中心点向对应帧叶片图像的中心移动，从而能够使得叶片区域尽量靠近叶片图像的中心，提高了图像拍摄的质量。
图2为本发明中对叶片区域的侧边进行检测的步骤流程图，如图2所示，所述步骤S1包括如下步骤：
步骤S101：对一帧叶片图像进行线性检测，在所述一帧叶片图像上提取若干沿所述叶片的长度方向延伸的多条第一线条；
步骤S102：将多条邻近的第一线条以及斜率相同且在同一直线上的第一线条分别进行合并生成多条第二线条；
步骤S103：根据一位于所述叶片上的目标点在多条所述第二线条中选择位于所述目标点的两侧、平行度小于预设的平行度阈值且长度大于所述一帧叶片图像的对角线长度三分之二的第二线条作为所述叶片区域的侧边。所述平行度与两条第二线条的夹角成反比，也就是说当第二线条之间没有夹角时，平行度最高，当角度逐渐变大，平行度逐渐缩小，所述平行度阈值为第二线条之间夹角为10°时对应的平行度。
在本实施例中，将多条邻近的第一线条合并成第二线条，具体为，当两条第一线条之间的相似度小于另一预设的相似度阈值，即3像素时，认为邻近。
当两条第一线条存在交点时，则认为两条第一线条邻近，所述合并具体为比较该邻近的两条第一线条的长度，将两条第一线条中的短线删除。
所述目标点可以采用人工输入，即可在所述叶片图像进行点击输入，也可以识别出叶片区域，自动选择一位于所述叶片区域的点。
图3为本发明变形例在对叶片区域的侧边进行检测的步骤流程图，如图3所示，本发明提供的叶片自动检测跟踪方法，还包括如下步骤：
步骤M101：重复执行步骤S101至步骤S103，在多帧叶片图像上提取出所述叶片区域的侧边；
步骤M102：根据两帧叶片图像中侧边之间的角度、距离确定两帧叶片图像中侧边的相似值，所述两帧叶片图像侧边之间的距离为将一帧叶片图像的侧边转至与另一帧叶片图像的侧边平行时之间的垂直距离；
步骤M103：在所述多帧叶片图像中，当多数帧叶片图像中任选两帧叶片图像的侧边相似值均小于预设的相似度阈值时，则在所述多数帧叶片图像的侧边中选定一对侧边作为所述叶片区域的侧边。
在本实施例中，所述多帧叶片图像为五帧叶片图像，所述多数帧叶片图像中任选两帧叶片图像的侧边相似值均小于预设的相似度阈值，具体为对五帧叶片图像中叶片区域的侧边进行举手，至少三帧叶片图像中叶片区域的侧边小于预设的相似度阈值。
在本实施例中，所述相似度具体为，当一帧叶片图像中叶片区域的侧边表示为l1、l2，另一帧叶片图像中叶片区域的侧边表示为l3、l4时，则l1和l3之间的相似值为根据l1和l3之间的夹角以及将l1转至与l3平行后进行归一化生成相似值V(l1，l3)，同理可计算出V(l1，l4)，V(l2，l3)，V(l2，l4)，则一帧叶片图像中叶片区域的侧边和另一帧叶片图像中叶片区域的侧边的相似值V总＝min[V(l1，l3)，V(l1，l4)]+min[V(l2，l3)，V(l2，l4)]，其中，V(l1，l4)为l1和l4之间的相似值，V(l2，l3)为l2和l3之间的相似值，V(l2，l4)为l2和l4之间的相似值。
在本实施例中，所述相似度阈值为8像素值。
图4为本发明中对叶片区域的侧边进行跟踪检测的步骤流程图，如图4所示，所述步骤S2包括如下步骤：
步骤S201：对时间上相邻的另一帧叶片图像进行线性检测，在所述另一帧叶片图像上提取若干沿所述叶片的长度方向延伸的多条第三线条；
步骤S202：将多条邻近的第三线条以及斜率相同且在同一直线上的第三线条分别进行合并生成多条第四线条；
步骤S203：根据中心点在多条所述第四线条中选择位于所述中心点的两侧、平行度小于预设的平行度阈值且长度大于所述另一帧叶片图像的对角线长度三分之二的第四线条作为所述叶片区域的第一初始侧边。
图5为本发明变形例中对叶片区域的侧边进行跟踪检测的步骤流程图，如图5所述，本发明提供的叶片自动检测跟踪方法，还包括如下步骤：
步骤N101：根据所述叶片区域的侧边与多条第四线条之间的角度、距离确定多条第四线条与所述叶片区域的侧边的相似值，所述叶片区域的侧边和多条第四线条之间的距离为将第四线条转至与所述侧边平行后之间的垂直距离；
步骤N102：根据预设的相似度阈值在多条第四线条中选择出一对第四线条作为另一帧叶片图像中所述叶片区域的第二初始侧边；
步骤N103：根据时间上相邻且在另一帧叶片图像之前的至少两帧叶片图像中叶片区域的侧边位移预估出与时间上相邻的另一帧叶片图像中叶片区域的第三初始侧边；
步骤N104：当第一初始侧边、第二初始侧边、第三初始侧边中至少两初始侧边之间相似值均小于预设的相似度阈值时，则在该小于预设的相似度阈值的两初始侧边中选定一对目标侧边作为另一帧叶片图像的侧边；
步骤N105：重复执行步骤S201至步骤N104，进行时间上相邻帧叶片图像中叶片侧边的顺次检测。
在本实施例中，通过前五帧叶片图像求出叶片区域的侧边，则在第三帧叶片图像和第四帧叶片图像之前位移乘以0.5加上第四帧叶片图像和第五帧叶片图像之间位移乘以0.5生成目标位移预估出第六帧叶片图像中叶片区域的第三初始侧边，也就是另一帧叶片图像中叶片区域的第三初始侧边。
当求出第六帧叶片图像中叶片区域的侧边时，则再计算第六帧叶片图像和第五帧叶片图像之间的位移量，根据第四帧叶片图像和第五帧叶片图像之前位移乘以0.5加上第五帧叶片图像和第六帧叶片图像之前位移乘以0.5生成目标位移预估出第七帧叶片图像中叶片区域的第三初始侧边。
在本实施例中，当第一初始侧边、第二初始侧边、第三初始侧边中任意两初始侧边相似值均大于预设的相似度阈值时，则对每一初始侧边中的每一对应侧边之间的相似值进行排序，并对于每一组对应侧边，在相似度最大的两组侧边中选择重合的一侧边作为另一帧叶片图像的侧边。更为具体的，设第一初始侧边为(m1，m2)，第二初始侧边为(m3，m4)，第三初始侧边为(m5，m6)，当相似度排序为V(m1，m3)＜V(m1，m5)＜V(m3，m5)，V(m2，m4)＜V(m2，m6)＜V(m4，m6)，则选择m5、m6作为另一帧叶片图像的侧边。
图9是本发明中叶片自动检测跟踪系统的模块示意图。如图9所示，本发明的实施例中还提供一种叶片自动检测跟踪系统，用于实现上述的叶片自动检测跟踪方法，所述叶片自动检测跟踪系统100包括：
侧边检测模块101，用于对所述叶片视频文件中至少一帧叶片图像进行检测，提取所述至少一帧叶片图像中叶片区域的侧边；
跟踪检测模块102，用于根据所述叶片区域的侧边对所述叶片视频文件中时间上相邻的多帧叶片图像中叶片区域的侧边进行跟踪检测；
云台控制模块103，用于将多帧叶片图像中叶片侧边中点连线的中点确定每一帧叶片图像中叶片区域的中心点，并根据所述叶片区域的中心点与对应帧叶片图像的中心之间的偏移量调整所述云台，使得所述叶片区域的中心点向对应帧叶片图像的中心移动。
本发明实施例中还提供一种叶片自动检测跟踪设备，包括处理器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的叶片自动检测跟踪方法的步骤。
如上，该实施例中通过对叶片图像中叶片侧边的检测，计算出叶片区域的中心点，进而根据叶片区域的中心点和叶片图像的中心之间的偏移量调整云台，实现摄像机拍摄角度的调整，使得在后续帧叶片图像中，叶片区域的中心点向对应帧叶片图像的中心移动，从而能够使得叶片区域尽量靠近叶片图像的中心，提高了图像拍摄的质量。。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
图10是本发明的叶片自动检测跟踪设备的结构示意图。下面参照图10来描述根据本发明的这种实施方式的电子设备600。图10显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图10所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图10中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
本发明实施例中还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的叶片自动检测跟踪方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。
如上所示，该实施例的计算机可读存储介质的程序在执行时，本发明通过对叶片图像中叶片侧边的检测，计算出叶片区域的中心点，进而根据叶片区域的中心点和叶片图像的中心之间的偏移量调整云台，实现摄像机拍摄角度的调整，使得在后续帧叶片图像中，叶片区域的中心点向对应帧叶片图像的中心移动，从而能够使得叶片区域尽量靠近叶片图像的中心，提高了图像拍摄的质量。
图11是本发明的计算机可读存储介质的结构示意图。参考图11所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本发明通过对叶片图像中叶片侧边的检测，计算出叶片区域的中心点，进而根据叶片区域的中心点和叶片图像的中心之间的偏移量调整云台，实现摄像机拍摄角度的调整，使得在后续帧叶片图像中，叶片区域的中心点向对应帧叶片图像的中心移动，从而能够使得叶片区域尽量靠近叶片图像的中心，提高了图像拍摄的质量。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (9)

1.一种叶片自动检测跟踪方法，用于通过无人机进行风机叶片的跟踪，所述无人机上设置一云台，所述云台控制一摄像机的拍摄角度，其特征在于，包括如下步骤：
步骤S1：通过所述摄像机采集叶片视频文件，对所述叶片视频文件中至少一帧叶片图像进行检测，提取所述至少一帧叶片图像中叶片区域的侧边；
步骤S2：根据所述叶片区域的侧边对所述叶片视频文件中时间上相邻的多帧叶片图像中叶片区域的侧边进行跟踪检测；
步骤S3：将多帧叶片图像中叶片侧边中点连线的中点确定每一帧叶片图像中叶片区域的中心点，并根据所述叶片区域的中心点与对应帧叶片图像的中心之间的偏移量调整所述云台，使得所述叶片区域的中心点向对应帧叶片图像的中心移动；
其中，所述步骤S2包括如下步骤：
步骤S201：对时间上相邻的另一帧叶片图像进行线性检测，在所述另一帧叶片图像上提取若干沿所述叶片的长度方向延伸的多条第三线条；
步骤S202：将多条邻近的第三线条以及斜率相同且在同一直线上的第三线条分别进行合并生成多条第四线条；
步骤S203：根据所述中心点在多条所述第四线条中选择位于所述中心点的两侧、平行度小于预设的平行度阈值且长度大于所述另一帧叶片图像的对角线长度三分之二的第四线条作为所述叶片区域的第一初始侧边。
2.根据权利要求1所述的叶片自动检测跟踪方法，其特征在于，所述步骤S1包括如下步骤：
步骤S101：对一帧叶片图像进行线性检测，在所述一帧叶片图像上提取若干沿所述叶片的长度方向延伸的多条第一线条；
步骤S102：将多条邻近的第一线条以及斜率相同且在同一直线上的第一线条分别进行合并生成多条第二线条；
步骤S103：根据一位于所述叶片区域上的目标点在多条所述第二线条中选择位于所述目标点的两侧、平行度小于预设的平行度阈值且长度大于所述一帧叶片图像的对角线长度三分之二的第二线条作为所述叶片区域的侧边，所述平行度与两条第二线条的夹角成反比。
3.根据权利要求2所述的叶片自动检测跟踪方法，其特征在于，还包括如下步骤：
步骤M101：重复执行步骤S101至步骤S103，在多帧叶片图像上提取出所述叶片区域的侧边；
步骤M102：根据两帧叶片图像中侧边之间的角度、距离确定两帧叶片图像中侧边的相似值，所述两帧叶片图像侧边之间的距离为将一帧叶片图像的侧边转至与另一帧叶片图像的侧边平行时之间的垂直距离；
步骤M103：在所述多帧叶片图像中，当多数帧叶片图像中任选两帧叶片图像的侧边相似值均小于预设的相似度阈值时，则在所述多数帧叶片图像的侧边中选定一对侧边作为所述叶片区域的侧边。
4.根据权利要求1所述的叶片自动检测跟踪方法，其特征在于，还包括如下步骤：
步骤N101：根据所述叶片区域的侧边与多条第四线条之间的角度、距离确定多条第四线条与所述叶片区域的侧边的相似值，所述叶片区域的侧边和多条第四线条之间的距离为将第四线条转至与所述侧边平行后之间的垂直距离；
步骤N102：根据预设的相似度阈值在多条第四线条中选择出一对第四线条作为所述另一帧叶片图像中所述叶片区域的第二初始侧边；
步骤N103：根据时间上相邻且在所述另一帧叶片图像之前的至少两帧叶片图像中叶片区域的侧边位移预估出与时间上相邻的所述另一帧叶片图像中叶片区域的第三初始侧边；
步骤N104：当第一初始侧边、第二初始侧边、第三初始侧边中至少两初始侧边之间相似值均小于预设的相似度阈值时，则在该小于预设的相似度阈值的两初始侧边中选定一对目标侧边作为所述另一帧叶片图像的侧边；
步骤N105：重复执行步骤S201至步骤N104，进行时间上相邻帧叶片图像中叶片侧边的顺次检测。
5.根据权利要求1所述的叶片自动检测跟踪方法，其特征在于，所述叶片图像的中心为一以所述叶片图像的中心点为中心的中心区域；
当所述叶片区域的中心点位于所述中心区域时，认定所述偏移量为零。
6.根据权利要求3所述的叶片自动检测跟踪方法，其特征在于，所述相似值具体为，当一帧叶片图像中叶片区域的侧边表示为l1、l2，另一帧叶片图像中叶片区域的侧边表示为l3、l4时，则l1和l3之间的相似值为根据l1和l3之间的夹角以及将l1转至与l3平行后进行归一化生成相似值V(l1，l3)，则一帧叶片图像中叶片区域的侧边和另一帧叶片图像中叶片区域的侧边的相似值V总＝min[V(l1，l3)，V(l1，l4)]+min[V(l2，l3)，V(l2，l4)]，其中，V(l1，l4)为l1和l4之间的相似值，V(l2，l3)为l2和l3之间的相似值，V(l2，l4)为l2和l4之间的相似值。
7.一种叶片自动检测跟踪系统，其特征在于，用于实现权利要求1至6中任一项所述的叶片自动检测跟踪方法，其特征在于，包括：
侧边检测模块，用于对所述叶片视频文件中至少一帧叶片图像进行检测，提取所述至少一帧叶片图像中叶片区域的侧边；
跟踪检测模块，用于根据所述叶片区域的侧边对所述叶片视频文件中时间上相邻的多帧叶片图像中叶片区域的侧边进行跟踪检测；
云台控制模块，用于将多帧叶片图像中叶片侧边中点连线的中点确定每一帧叶片图像中叶片区域的中心点，并根据所述叶片区域的中心点与对应帧叶片图像的中心之间的偏移量调整所述云台，使得所述叶片区域的中心点向对应帧叶片图像的中心移动。
8.一种叶片自动检测跟踪设备，其特征在于，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7中任意一项所述叶片自动检测跟踪方法的步骤。
9.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求1至6中任意一项所述叶片自动检测跟踪方法的步骤。
CN201810547475.0A 2018-05-31 2018-05-31 叶片自动检测跟踪方法、系统、设备及存储介质 Active CN108986071B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810547475.0A CN108986071B (zh) 2018-05-31 2018-05-31 叶片自动检测跟踪方法、系统、设备及存储介质
US16/112,779 US10776947B2 (en) 2018-05-31 2018-08-27 Method, system and equipment for automatically detecting and tracking blade

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810547475.0A CN108986071B (zh) 2018-05-31 2018-05-31 叶片自动检测跟踪方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN108986071A CN108986071A (zh) 2018-12-11
CN108986071B true CN108986071B (zh) 2020-12-01

Family

ID=64542830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810547475.0A Active CN108986071B (zh) 2018-05-31 2018-05-31 叶片自动检测跟踪方法、系统、设备及存储介质

Country Status (2)

Country Link
US (1) US10776947B2 (zh)
CN (1) CN108986071B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117858B (zh) * 2017-06-26 2024-02-13 北京金风科创风电设备有限公司 监测风力发电机叶片结冰的方法及装置
CN111120220B (zh) * 2018-10-31 2021-05-28 北京金风科创风电设备有限公司 风力发电机组叶片视频监测的方法及系统
CN109660721B (zh) * 2018-12-14 2021-03-16 上海扩博智能技术有限公司 无人机飞行拍摄质量优化方法、系统、设备及存储介质
DE102020210618B4 (de) * 2020-08-20 2022-03-17 Top Seven Gmbh & Co. Kg Verfahren und system zur objekterfassung
EP4067648A1 (en) * 2021-04-01 2022-10-05 Siemens Gamesa Renewable Energy A/S Method of imaging a wind turbine rotor blade
DK181272B1 (en) 2021-10-29 2023-06-15 Reblade Aps Autonomous flying vehicle and a method for repairing a composite surface
WO2023137299A1 (en) * 2022-01-11 2023-07-20 University Of Maryland, Baltimore County Novel zero-contact edge detection method for estimation of realtime angular positions and angular velocities of a rotating structure with application to rotating structure vibration measurement
CN116206094B (zh) * 2023-04-28 2023-07-21 尚特杰电力科技有限公司 风机扇叶角度测量方法、装置、系统及电子设备
CN117058396B (zh) * 2023-10-11 2023-12-26 精效悬浮(苏州)科技有限公司 基于人工智能的风机叶片缺陷区域快速分割方法及系统
CN117351062B (zh) * 2023-12-04 2024-02-23 尚特杰电力科技有限公司 风机扇叶缺陷诊断方法、装置、系统及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103149939A (zh) * 2013-02-26 2013-06-12 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
CN104730091A (zh) * 2015-02-10 2015-06-24 西安交通大学 基于区域分割探测的燃气轮机叶片缺陷提取与分析方法
CN105844268A (zh) * 2016-06-13 2016-08-10 杭州意能电力技术有限公司 一种基于视频的引风机静叶监视方法及系统
CN206804553U (zh) * 2017-06-09 2017-12-26 北京嘉源东方科技发展有限公司 一种智能无人机叶片自动检测装置
CN107862704A (zh) * 2017-11-06 2018-03-30 广东工业大学 一种目标跟踪方法、系统及其使用的云台相机
EP3306262A1 (en) * 2016-10-04 2018-04-11 Rolls-Royce plc Computer implemented methods for determining a dimension of a gap between an aerofoil and a surface of an engine casing
CN108038417A (zh) * 2017-11-14 2018-05-15 上海歌尔泰克机器人有限公司 云台控制方法、装置及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010008846A2 (en) * 2008-06-23 2010-01-21 John Richard Dein Intra-operative system for identifying and tracking surgical sharp objects, instruments, and sponges
WO2018005882A1 (en) * 2016-06-30 2018-01-04 Unmanned Innovation, Inc. Unmanned aerial vehicle wind turbine inspection systems and methods
US10724505B2 (en) * 2016-11-30 2020-07-28 Dji Technology, Inc. Aerial inspection in a movable object environment
US10329017B2 (en) * 2017-03-13 2019-06-25 General Electric Company System and method for integrating flight path and site operating data

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103149939A (zh) * 2013-02-26 2013-06-12 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
CN104730091A (zh) * 2015-02-10 2015-06-24 西安交通大学 基于区域分割探测的燃气轮机叶片缺陷提取与分析方法
CN105844268A (zh) * 2016-06-13 2016-08-10 杭州意能电力技术有限公司 一种基于视频的引风机静叶监视方法及系统
EP3306262A1 (en) * 2016-10-04 2018-04-11 Rolls-Royce plc Computer implemented methods for determining a dimension of a gap between an aerofoil and a surface of an engine casing
CN206804553U (zh) * 2017-06-09 2017-12-26 北京嘉源东方科技发展有限公司 一种智能无人机叶片自动检测装置
CN107862704A (zh) * 2017-11-06 2018-03-30 广东工业大学 一种目标跟踪方法、系统及其使用的云台相机
CN108038417A (zh) * 2017-11-14 2018-05-15 上海歌尔泰克机器人有限公司 云台控制方法、装置及系统

Also Published As

Publication number Publication date
US10776947B2 (en) 2020-09-15
CN108986071A (zh) 2018-12-11
US20190370999A1 (en) 2019-12-05

Similar Documents

Publication Publication Date Title
CN108986071B (zh) 叶片自动检测跟踪方法、系统、设备及存储介质
CN109741238B (zh) 风机叶片图像拼接方法、系统、设备及存储介质
US11069048B2 (en) System and method for facilitating efficient damage assessments
CN108734162B (zh) 商品图像中目标识别方法、系统、设备及存储介质
US11676257B2 (en) Method and device for detecting defect of meal box, server, and storage medium
CN110633629A (zh) 基于人工智能的电网巡检方法、装置、设备及存储介质
EP3786450A1 (en) Method and system for monitoring blades of a wind turbine
CN110675358B (zh) 长形物体的图像拼接方法、系统、设备和存储介质
CN108876857B (zh) 无人驾驶车辆的定位方法、系统、设备及存储介质
CN113436100B (zh) 用于修复视频的方法、装置、设备、介质和产品
WO2020051545A9 (en) Method and computer-readable storage medium for generating training samples for training a target detector
CN108506170A (zh) 风机叶片检测方法、系统、设备及存储介质
CN112559884A (zh) 全景图与兴趣点挂接的方法、装置、电子设备及存储介质
CN114581732A (zh) 一种图像处理及模型训练方法、装置、设备和存储介质
CN114186681A (zh) 用于生成模型簇的方法、装置及计算机程序产品
CN111852753A (zh) 风机叶片表面轮廓线拟合方法、系统、设备和存储介质
CN112541479A (zh) 全景图与兴趣点挂接的方法、装置、电子设备及存储介质
CN112096566A (zh) 风机停机状态参数的获取方法、系统、设备和介质
CN112465856A (zh) 基于无人机的船只轨迹修正方法、装置及电子设备
US20210166129A1 (en) Multi-scale object detection with a trained neural network
CN114549904B (zh) 视觉处理及模型训练方法、设备、存储介质及程序产品
CN114187435A (zh) 文本识别方法、装置、设备以及存储介质
CN114119990A (zh) 用于图像特征点匹配的方法、装置及计算机程序产品
CN113361457A (zh) 基于图像的车辆定损方法、装置及系统
CN111739054A (zh) 目标跟踪标记方法、系统、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant