CN112712045A - 基于人工智能的无人机果冻效应严重程度检测方法及系统 - Google Patents

基于人工智能的无人机果冻效应严重程度检测方法及系统 Download PDF

Info

Publication number
CN112712045A
CN112712045A CN202110009489.9A CN202110009489A CN112712045A CN 112712045 A CN112712045 A CN 112712045A CN 202110009489 A CN202110009489 A CN 202110009489A CN 112712045 A CN112712045 A CN 112712045A
Authority
CN
China
Prior art keywords
straight line
image
edge
building
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110009489.9A
Other languages
English (en)
Inventor
周婷婷
李俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202110009489.9A priority Critical patent/CN112712045A/zh
Publication of CN112712045A publication Critical patent/CN112712045A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及人工智能技术领域，具体涉及基于人工智能的无人机果冻效应严重程度检测方法及系统。该方法包括步骤：采集连续多帧城市图像，获得刚体建筑图像；获取刚体建筑在高度方向的轮廓边缘、参考直线和方向向量；结合轮廓边缘、参考直线和方向向量获得建筑物边缘直线；根据由建筑物边缘直线的高度、距城市图像边缘的距离和像素偏移度成正相关关系所建立的权重分配模型，获取建筑物边缘直线的重要程度的评估值，获取最大评估值所对应的建筑物边缘直线作为最优参考直线；根据最优参考直线获取帧内离散程度和帧间离散程度，得到每帧城市图像的果冻效应严重程度。在保证检测精度的同时，提高了检测效率。

Description

基于人工智能的无人机果冻效应严重程度检测方法及系统
技术领域
本发明涉及人工智能技术领域，具体涉及基于人工智能的无人机果冻效应严重程度检测方法及系统。
背景技术
使用卷帘快门的相机在拍摄高速运动的物体时，或者相机本身在高速运动情况下拍摄时产生的抖动、扭曲、倾斜和拖影等现象统称为果冻效应。相机在使用卷帘快门进行曝光时，像素在从上到下读取时就产生了微小的曝光时间差，由于像素的逐行读取存在时间差，高速运动的物体最终成像是倾斜、畸变的。
当使用无人机进行航拍时，如果无人机搭载的是卷帘快门，加上无人机自身又是有着高速运动能力的设备和较远的拍摄距离，很容易产生果冻效应。其次无人机在进行悬停航拍时，会有不同频率不同强度的震动，绝大部分是上下震动，这种震动对于相机来说也是一种高速运动，尤其是左右和上下的单向运动容易让画面出现斜拉和挤压的现象，。
发明人在实践中，发现上述现有技术存在以下缺陷：
检测图像的果冻效应时，对整个图像进行检测，效率低下。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于人工智能的无人机果冻效应严重程度检测方法及系统，所采用的技术方案具体如下：
第一方面，本发明一个实施例提供了一种基于人工智能的无人机果冻效应严重程度检测方法，该方法包括步骤：采集连续多帧城市图像；城市图像中包括刚体建筑图像；获取刚体建筑在高度方向的轮廓边缘、参考直线和方向向量；结合轮廓边缘和参考直线获取初步边缘直线，根据轮廓边缘直线和方向向量的夹角以及预设夹角阈值，对初步边缘直线进行筛选，得到建筑物边缘直线；根据由建筑物边缘直线的高度、距城市图像边缘的距离和像素偏移度成正相关关系获取建筑物边缘直线的重要程度的评估值，获取最大评估值所对应的建筑物边缘直线作为最优参考直线；将最优参考直线分为预设数量等份线段，根据单帧城市图像中线段的离散程度以及所有帧城市图像中线段的离散程度，判断单帧城市图像的果冻效应严重程度。
第二方面，本发明另一实施例提供了一种基于人工智能的无人机果冻效应严重程度检测系统，该系统包括图像采集模块、图像分析模块、边缘直线获取模块、最优参考直线获取模块和严重程度判断模块。
图像采集模块，用于采集连续多帧城市图像；城市图像中包括刚体建筑图像。
图像分析模块，用于获取刚体建筑在高度方向的轮廓边缘、参考直线和方向向量。
边缘直线获取模块，用于结合轮廓边缘和参考直线获取初步边缘直线，根据轮廓边缘直线和方向向量的夹角以及预设夹角阈值，对初步边缘直线进行筛选，得到建筑物边缘直线。
最优参考直线获取模块，用于根据由建筑物边缘直线的高度、距城市图像边缘的距离和像素偏移度成正相关关系获取建筑物边缘直线的重要程度的评估值，获取最大评估值所对应的建筑物边缘直线作为最优参考直线。
严重程度判断模块，用于将最优参考直线分为预设数量等份线段，根据单帧城市图像中线段的离散程度以及所有帧城市图像中线段的离散程度，判断单帧城市图像的果冻效应严重程度。
本发明实施例至少具有如下有益效果：
对于悬停状态下无人机拍摄到的视频，仅需要检测最能反应图像果冻效应的那条直线就能快速判断该幅图像是否满足质量要求，不需要对全图进行检测分析，在保证检测精度的同时，提高了检测效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于人工智能的无人机果冻效应显著帧检测方法流程图；
图2为本发明一个实施例所提供的城市图像分割示意图；
图3为本发明另一实施例所提供的一种基于人工智能的无人机果冻效应显著帧检测系统具体框图；
图4为本发明另一实施例所提供的一种基于人工智能的无人机果冻效应显著帧检测系统框图；
图5为本发明另一实施例所提供的一种基于人工智能的无人机果冻效应显著帧检测系统中图像采集模块示意图；
图6为本发明另一实施例所提供的一种基于人工智能的无人机果冻效应显著帧检测系统中边缘直线获取模块示意图；
图7为本发明另一实施例所提供的一种基于人工智能的无人机果冻效应显著帧检测系统中最优参考直线获取示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于人工智能的无人机果冻效应严重程度检测方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于人工智能的无人机果冻效应严重程度检测方法及系统的具体方案。
请参阅图1，其示出了本发明一个实施例提供的基于人工智能的无人机果冻效应显著帧检测方法流程图。
步骤S1，采集连续多帧城市图像，城市图像中包括刚体建筑图像。
具体地，使用无人机搭载RGB相机在悬停状态下对城市进行视频航拍，获取到视频图像帧序列，视频中每帧图像记为城市图像。
由于相机在拍摄时受到透视变换的影响，当图像发生横向偏移时位于图像边缘的区域是最易产生形变且形变最大的区域，图像边缘的区域最能反映出整体图像的横向形变。将城市图像均匀划分预设数量的分区。由于相机拍照时受透视变换的影响，当图像发生横向偏移时位于图像边缘的区域是最易产生形变且形变最大的区域，因此图像边界区域的形变最能反应整体图像的横向形变。本发明实施例中，预设数量为3，即将城市图像按照从左到右的顺序划分3等分的分区。如图2所示，城市图像4包括第一区域1、第二区域2和第三区域3，其中，第一区域1和第三区域3为图像边界区域，第二区域2为图像中心区域。
将城市图像输入到语义分割网络中对图像的刚体建筑进行检测，仅针对图像边界区域进行检测，输出为刚体建筑图像。其中语义分割网络为编码器-译码器(Encoder-Decoder)结构的DNN网络。
具体地，语义分割网络的训练过程为：
将大量的无人机航拍采集到的含有刚体建筑的城市图像作为训练数据集，对数据集进行标注，建筑标注为1，其他标注为0。其中随机选择数据集的80％作为训练集，剩余的20％作为验证集。将图像数据和标签数据输入网络中，Encoder抽取图像特征，并将通道数变换为类别个数；然后通过Decoder将特征图的高和宽变换为输入图像的尺寸，从而输出每个像素的类别。其中损失函数使用交叉熵损失函数进行训练。
步骤S2，获取刚体建筑在高度方向的轮廓边缘、参考直线和方向向量。
具体地，得到刚体建筑图像之后，对刚体建筑图像进行主成分分析，得到其主成分向量。
其中，进行主成分分析的步骤为：
对数据集进行取平均值操作，即每一位特征减去各自的平均值。计算协方差矩阵，并通过SVD计算协方差矩阵的特征值与特征向量。对特征值从大到小进行排序，由大到小选择K个特征值，然后将与这K个特征值对应的K个特征向量分别作为列向量组成特征向量矩阵，将数据转换到K个特征向量构建的新空间中。
由于使用SVD分解协方差矩阵实现主成分分析算法，得到行和列两个方向的主成分，根据城市中刚体建筑的特点需要选择在图像上高的建筑直线，本发明实施例中只选择列方向上的建筑物主成分进行后续的检测判断。
由于在果冻效应图像中建筑物的位姿会存在偏差，但是偏差角度在很小的锐角范围内，为了减少计算量以及获取更准确的建筑物位姿，本发明使用霍夫变换检测直线，用直线反映建筑物位姿，对刚体建筑图像通过连通域分析法获得刚体建筑的轮廓外围边缘。对刚体建筑图像进行连通域分析和霍夫直线检测与进行主成分分析是同时进行的，即在对刚体建筑图像进行主成分分析得到主成分向量的同时，也在对刚体建筑图像根据连通域分析法获取刚体建筑的轮廓外围边缘，以及基于霍夫直线检测获得刚体建筑图像中的建筑参考直线。
其中，获得刚体建筑图像中的建筑参考直线的具体步骤为：
将图像边界区域中的每个像素点变换到霍夫空间，即笛卡尔直角坐标系中的一条直线对应霍夫空间中的一个点。霍夫空间内曲线交点最亮的坐标点(θ,r)即代表图像中的多个像素点位于同一条直线。图像转换到霍夫空间后，在霍夫空间中仅选择θ角为60度到90度范围内的高亮点，霍夫变换空间中的每个像素值的大小代表该参数确定的直线上像素点的多少。设定像素值阈值U，当检测范围内像素值大于U时即可认为该点确定的直线为所需的直线。在得到的直线集中，角度值构成倾斜角度的序列，取这些角度的平均值
Figure BDA0002884475880000041
作为该方法下的最终两个区域内刚体建筑物的倾斜角，并以此得到反映整体建筑物位姿的直线。
步骤S3，结合轮廓边缘和参考直线获取初步边缘直线，根据轮廓边缘直线和方向向量的夹角以及预设夹角阈值，对初步边缘直线进行筛选，得到建筑物边缘直线。
具体地，得到轮廓外围边缘和建筑参考直线之后，将获得的刚体建筑的轮廓外围边缘和建筑参考直线进行重合度判断，当重合度达到重合度阈值时，本发明实施例中，重合度阈值＝80％，即当轮廓外围边缘上超过80％的像素点坐标位于直线上时，将建筑参考直线与轮廓外围边缘相结合，获取该轮廓外围边缘直线作为刚体建筑物高度方向的初步边缘直线。当轮廓外围边缘上不超过80％的像素点坐标位于直线上时，舍弃该轮廓外围边缘直线。
根据得到的建筑物在高度方向上的主成分向量对初步边缘直线进行筛选，获取初步边缘直线与主成分向量之间的夹角，当该夹角超过预设夹角阈值时，本发明实施例中，预设夹角阈值为5度，即当该夹角超过5度时，对该初步边缘直线进行滤除，获得建筑物边缘直线。
步骤S4，根据由建筑物边缘直线的高度、距城市图像边缘的距离和像素偏移度成正相关关系获取建筑物边缘直线的重要程度的评估值，获取最大评估值所对应的建筑物边缘直线作为最优参考直线。
具体地，由于建筑物边缘直线越高越能反映出图像整体各行像素的偏移度，以及建筑物边缘直线离图像边界越近，图像边界的形变大，更能反映出图像在水平方向上的偏移度，根据建筑物边缘直线的高度与距图像边缘的距离和像素偏移度的正相关关系，建立权重分配模型，找到最优参考直线。其中权重分配模型为：
Figure BDA0002884475880000051
其中，n表示第n条建筑物边缘直线，Sn表示第n条建筑物边缘直线重要程度的评估值，α表示调节建筑物边缘直线距离边缘的权重，β表示调节建筑物边缘直线自身高度的权重，本发明实施例中，α＝0.3，β＝0.7，d表示图像边界区域的宽度，h表示图像边界区域的高度，xn表示第i条建筑物边缘直线上各像素点横坐标的平均值，x0表示距离建筑物边缘直线最近的图像边界线的平均横坐标；yn1表示第i条建筑物边缘直线的最高点的纵坐标，yn2表示第i条建筑物边缘直线的最低点的纵坐标。
通过权重分配模型，获取每个建筑物边缘直线的重要程度的评估值，选取评估值最大的建筑物边缘直线作为最优参考直线。
步骤S5，将最优参考直线分为预设数量等份线段，根据单帧城市图像中线段的离散程度以及所有帧城市图像中线段的离散程度，判断单帧城市图像的果冻效应严重程度。
具体地，将所述最优参考直线分为预设数量的等份线段，本发明实施例中，预设数量为50，即将所述最优参考直线分为50等份线段，针对单帧刚体建筑图像，获取各线段的长度、像素点的平均横坐标、线段的均值长度和均值横坐标，获取各线段之间的偏差平方和Sinj：
Figure BDA0002884475880000061
其中，i表示第i条线段，j表示第j帧刚体建筑图像，lji表示第j帧图像内第i条线段的长度，
Figure BDA0002884475880000062
表示第j帧图像内线段的均值长度，xji表示第j帧图像内第i条线段的横坐标，
Figure BDA0002884475880000063
表示第j帧图像内线段的均值横坐标。
对于视频，是连续帧图像，获取到每帧图像中线段的均值长度和均值横坐标，获取所有帧图像中线段的均值长度和均值横坐标，获取所有帧图像线段的偏差平方和Sout：
Figure BDA0002884475880000064
其中，
Figure BDA0002884475880000065
表示所有帧图像中线段的均值长度，
Figure BDA0002884475880000066
表示所有帧图像中线段的均值横坐标，
Figure BDA0002884475880000067
表示第j帧图像内线段的均值长度，
Figure BDA0002884475880000068
表示第j帧图像内线段的均值横坐标。
获取到帧内偏差平方和Sinj和所有帧偏差平方和Sout之后，除以各自的自由度，其中，帧内的自由度＝48，帧间的自由度＝1，得到图像帧中第一方差MSin和所有帧的第二方差MSout，其中，第一方差表示单帧城市图像中线段的离散程度，第二方差表示所有帧城市图像中线段的离散程度，获取第一方差和第二方差的商Fj，即Fj＝MSinj/MSout，得到Fj分布。其中，Fj的临界值可通过查阅F界值表获得当Fj越接近临界值表明该帧整体越稳定，果冻效应程度越弱；反之则表明当前帧果冻效应程度越严重。
当获取到Fj的分布之后，根据Fj的分布得到视频中各帧发生果冻效应的严重程度，能够对最严重部分和区域进行优先集中补偿。
综上所述，本发明实施例中，对航拍到的城市图像的边界区域进行分析，获取边界区域中建筑物在高度方向的轮廓边缘、参考直线和方向向量，结合轮廓边缘和参考直线和方向向量，得到建筑物边缘直线，根据由建筑物边缘直线的高度、距城市图像边缘的距离和像素偏移度成正相关关系所建立的权重分配模型，获取建筑物边缘直线的重要程度的评估值，获取最大评估值所对应的建筑物边缘直线作为最优参考直线；将最优参考直线分为预设数量等份线段，根据单帧城市图像中线段的离散程度以及所有帧城市图像中线段的离散程度，判断单帧城市图像的果冻效应严重程度。仅需要检测最能反应图像果冻效应的那条直线就能快速判断该幅图像是否满足质量要求，不需要对全图进行检测分析，大大降低了工作量，判断出图像的果冻效应的严重程度之后，实际情况中，能够根据实际需求筛选出果冻效应严重的图像，进行集中修复，快速提高图像质量。
基于与上述方法相同的发明构思，本发明另一实施例还提供了一种基于人工智能的无人机果冻效应严重程度检测系统。
请参阅图3，其示出了本发明另一实施例提供的一种基于人工智能的无人机果冻效应严重程度检测系统框图。
如图4所示，该系统包括图像采集模块100、图像分析模块200、边缘直线获取模块300、最优参考直线获取模块400和严重程度判断模块500。
其中，图像采集模块100用于采集连续多帧城市图像，城市图像中包括刚体建筑图像。
具体地，使用无人机搭载RGB相机在悬停状态下对城市进行视频航拍，获取到视频图像帧序列，视频中每帧图像记为城市图像。
如图5所示，图像采集模块100还包括图像分割单元110。
其中，图像分割单元110用于获取所述城市图像中的图像边界区域，获取图像边界区域中的刚体建筑图像。
将城市图像均匀划分预设数量的分区，本发明实施例中，预设数量为3，将城市图像按照从左到右的顺序划分3等分的分区，获取图像边界区域。将城市图像输入到语义分割网络中对图像的刚体建筑进行检测，仅针对图像边界区域进行检测，输出为刚体建筑图像。其中语义分割网络为编码器-译码器(Encoder-Decoder)结构的DNN网络，输入为含有刚体建筑的城市图像，输入为刚体建筑图像。
图像分析模块200用于获取刚体建筑在高度方向的轮廓边缘、参考直线和方向向量。
具体地，得到刚体建筑图像之后，对刚体建筑图像进行主成分分析，得到其主成分向量。主成分分析是通过SVD分解协方差矩阵实现的。
在对刚体建筑图像进行主成分分析得到主成分向量的同时，也在对刚体建筑图像根据连通域分析法获取刚体建筑的轮廓外围边缘，以及基于霍夫直线检测获得刚体建筑图像中的建筑参考直线。
获取到了刚体建筑在高度方向的轮廓边缘、参考直线和方向向量。
边缘直线获取模块300用于结合轮廓边缘和参考直线获取初步边缘直线，根据轮廓边缘直线和方向向量的夹角以及预设夹角阈值，对初步边缘直线进行筛选，得到建筑物边缘直线。
具体地，如图6所示，边缘直线获取模块300还包括初步边缘直线获取单元310。
初步边缘直线获取单元310用于当轮廓边缘的像素点坐标与参考直线的重合度达到重合度阈值时，结合轮廓边缘和参考直线获取初步边缘直线。
得到轮廓外围边缘和建筑参考直线之后，将获得的刚体建筑的轮廓外围边缘和建筑参考直线进行重合度判断，当重合度达到重合度阈值时，本发明实施例中，重合度阈值＝80％，即当轮廓外围边缘上超过80％的像素点坐标位于直线上时，将建筑参考直线与轮廓外围边缘相结合，获取轮廓外围边缘直线作为刚体建筑物高度方向的初步边缘直线。当轮廓外围边缘上不超过80％的像素点坐标位于直线上时，舍弃该轮廓外围边缘直线。
根据得到的建筑物在高度方向上的主成分向量对初步边缘直线进行筛选，获取初步边缘直线与主成分向量之间的夹角，当该夹角超过预设夹角阈值时，本发明实施例中，预设夹角阈值为5度，即当该夹角超过5度时，对该初步边缘直线进行滤除，获得建筑物边缘直线。
最优参考直线获取模块400用于根据由建筑物边缘直线的高度、距城市图像边缘的距离和像素偏移度成正相关关系获取建筑物边缘直线的重要程度的评估值，获取最大评估值所对应的建筑物边缘直线作为最优参考直线。
具体地，如图7所示，最优参考直线获取模块400还包括权重分配单元410。
权重分配单元410用于根据权重分配模型获取评估值。
由于建筑物边缘直线越高越能反映出图像整体各行像素的偏移度，以及建筑物边缘直线离图像边界越近，图像边界的形变大，更能反映出图像在水平方向上的偏移度，根据建筑物边缘直线的高度与距图像边缘的距离和像素偏移度的正相关关系，建立权重分配模型，找到最优参考直线。其中权重分配模型为：
Figure BDA0002884475880000081
其中，n表示第n条建筑物边缘直线，Sn表示第n条建筑物边缘直线重要程度的评估值，α表示调节建筑物边缘直线距离边缘的权重，β表示调节建筑物边缘直线自身高度的权重，本发明实施例中，α＝0.3，β＝0.7，d表示图像边界区域的宽度，h表示图像边界区域的高度，xn表示第i条建筑物边缘直线上各像素点横坐标的平均值，x0表示距离建筑边缘直线最近的图像边界线的平均横坐标；yn1表示第i条建筑物边缘直线的最高点的纵坐标，yn2表示第i条建筑物边缘直线的最低点的纵坐标。
通过权重分配模型，获取每个建筑物边缘直线的重要程度的评估值，选取评估值最大的建筑物边缘直线作为最优参考直线。
严重程度判断模块500用于将最优参考直线分为预设数量等份线段，根据单帧城市图像中线段的离散程度以及所有帧城市图像中线段的离散程度，判断单帧城市图像的果冻效应严重程度。
具体地，将所述最优参考直线分为预设数量的等份线段，本发明实施例中，预设数量为50，即将所述最优参考直线分为50等份线段，针对单帧刚体建筑图像，获取各线段的长度、像素点的平均横坐标、线段的均值长度和均值横坐标，获取各线段之间的偏差平方和Sinj：
Figure BDA0002884475880000091
其中，i表示第i条线段，j表示第j帧刚体建筑图像，lji表示第j帧图像内第i条线段的长度，
Figure BDA0002884475880000092
表示第j帧图像内线段的均值长度，xji表示第j帧图像内第i条线段的横坐标，
Figure BDA0002884475880000093
表示第j帧图像内线段的均值横坐标。
对于视频，是连续帧图像，获取到每帧图像中线段的均值长度和均值横坐标，获取所有帧图像中线段的均值长度和均值横坐标，获取所有帧图像线段的偏差平方和Sout：
Figure BDA0002884475880000094
其中，
Figure BDA0002884475880000095
表示所有帧图像中线段的均值长度，
Figure BDA0002884475880000096
表示所有帧图像中线段的均值横坐标，
Figure BDA0002884475880000097
表示第j帧图像内线段的均值长度，
Figure BDA0002884475880000098
表示第j帧图像内线段的均值横坐标。
获取到帧内偏差平方和Sinj和所有帧偏差平方和Sout之后，得到图像帧中第一方差MSin和所有帧的第二方差MSout，第一方差表示单帧城市图像中线段的离散程度，第二方差表示所有帧城市图像中线段的离散程度，获取第一方差和第二方差的商Fj，即Fj＝MSinj/MSout，得到Fj分布。其中，Fj的临界值可通过查阅F界值表获得当Fj越接近临界值表明该帧整体越稳定，果冻效应程度越弱；反之则表明当前帧果冻效应程度越严重。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于人工智能的无人机果冻效应严重程度检测方法，其特征在于，该方法包括步骤：
采集连续多帧城市图像；所述城市图像中包括刚体建筑图像；
获取所述刚体建筑在高度方向的轮廓边缘、参考直线和方向向量；
结合所述轮廓边缘和所述参考直线获取初步边缘直线，根据所述轮廓边缘直线和所述方向向量的夹角以及预设夹角阈值，对所述初步边缘直线进行筛选，得到建筑物边缘直线；
根据由所述建筑物边缘直线的高度、距城市图像边缘的距离和像素偏移度成正相关关系获取所述建筑物边缘直线的重要程度的评估值，获取最大所述评估值所对应的所述建筑物边缘直线作为最优参考直线；
将所述最优参考直线分为预设数量等份线段，根据单帧所述城市图像中所述线段的离散程度以及所有帧所述城市图像中所述线段的离散程度，判断所述单帧城市图像的果冻效应严重程度。
2.根据权利要求1所述的基于人工智能的航拍城市图像果冻效应显著帧检测方法，其特征在于：
所述城市图像中包括图像边界区域，获取图像边界区域中的所述刚体建筑图像。
3.根据权利要求2所述的基于人工智能的无人机果冻效应严重程度检测方法，其特征在于，所述评估值由所述权重分配模型获取，所述权重分配模型为：
Figure FDA0002884475870000011
其中，Sn表示第n条所述建筑边缘直线重要程度的评估值，α表示所述建筑边缘直线距离图像边缘所占权重，β表示所述建筑边缘直线自身高度所占权重，d表示所述图像边界区域的宽度，h表示所述图像边界区域的高度，xn表示第i条所述建筑边缘直线上各像素点横坐标的平均值，x0表示距离所述建筑边缘直线最近的图像边界线的平均横坐标；yn1表示第i条所述建筑边缘直线的最高点的纵坐标，yn2表示第i条所述建筑边缘直线的最低点的纵坐标。
4.根据权利要求1所述的基于人工智能的无人机果冻效应严重程度检测方法，其特征在于，结合所述轮廓边缘和所述参考直线获取初步边缘直线的具体步骤包括：
当所述轮廓边缘的像素点坐标与所述参考直线的重合度达到重合度阈值时，结合所述轮廓边缘和所述参考直线获取初步边缘直线。
5.根据权利要求1所述的基于人工智能的无人机果冻效应严重程度检测方法，其特征在于，所述离散程度包括：
所述线段的长度和坐标的方差。
6.基于人工智能的无人机果冻效应严重程度检测系统，其特征在于，该系统包括图像采集模块、图像分析模块、边缘直线获取模块、最优参考直线获取模块和严重程度判断模块；
所述图像采集模块，用于采集连续多帧城市图像；所述城市图像中包括刚体建筑图像；
所述图像分析模块，用于获取所述刚体建筑在高度方向的轮廓边缘、参考直线和方向向量；
所述边缘直线获取模块，用于结合所述轮廓边缘和所述参考直线获取初步边缘直线，根据所述轮廓边缘直线和所述方向向量的夹角以及预设夹角阈值，对所述初步边缘直线进行筛选，得到建筑物边缘直线；
所述最优参考直线获取模块，用于根据由所述建筑物边缘直线的高度、距城市图像边缘的距离和像素偏移度成正相关关系获取所述建筑物边缘直线的重要程度的评估值，获取最大所述评估值所对应的所述建筑物边缘直线作为最优参考直线；
所述严重程度判断模块，用于将所述最优参考直线分为预设数量等份线段，根据单帧所述城市图像中所述线段的离散程度以及所有帧所述城市图像中所述线段的离散程度，判断所述单帧城市图像的果冻效应严重程度。
7.根据权利要求6所述的基于人工智能的无人机果冻效应严重程度检测系统，其特征在于，所述图像采集模块还包括图像分割单元；
所述图像分割单元，用于获取所述城市图像中的图像边界区域，获取所述图像边界区域中的所述刚体建筑图像。
8.根据权利要求6所述的基于人工智能的无人机果冻效应严重程度检测系统，其特征在于，所述边缘直线获取模块还包括初步边缘直线获取单元；
所述初步边缘直线获取单元，用于当所述轮廓边缘的像素点坐标与所述参考直线的重合度达到重合度阈值时，结合所述轮廓边缘和所述参考直线获取初步边缘直线。
9.根据权利要求7所述的基于人工智能的无人机果冻效应严重程度检测系统，其特征在于，最优参考直线获取模块还包括权重分配单元；
所述权重分配单元，用于根据权重分配模型获取所述评估值；所述权重分配模型为：
Figure FDA0002884475870000021
其中，Sn表示第n条所述建筑边缘直线重要程度的评估值，α表示所述建筑边缘直线距离图像边缘所占权重，β表示所述建筑边缘直线自身高度所占权重，d表示所述图像边界区域的宽度，h表示所述图像边界区域的高度，xn表示第i条所述建筑边缘直线上各像素点横坐标的平均值，x0表示距离所述建筑边缘直线最近的图像边界线的平均横坐标；yn1表示第i条所述建筑边缘直线的最高点的纵坐标，yn2表示第i条所述建筑边缘直线的最低点的纵坐标。
10.根据权利要求6所述的基于人工智能的无人机果冻效应严重程度检测系统，其特征在于，所述离散程度包括：
所述线段的长度和坐标的方差。
CN202110009489.9A 2021-01-05 2021-01-05 基于人工智能的无人机果冻效应严重程度检测方法及系统 Withdrawn CN112712045A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110009489.9A CN112712045A (zh) 2021-01-05 2021-01-05 基于人工智能的无人机果冻效应严重程度检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110009489.9A CN112712045A (zh) 2021-01-05 2021-01-05 基于人工智能的无人机果冻效应严重程度检测方法及系统

Publications (1)

Publication Number Publication Date
CN112712045A true CN112712045A (zh) 2021-04-27

Family

ID=75548343

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110009489.9A Withdrawn CN112712045A (zh) 2021-01-05 2021-01-05 基于人工智能的无人机果冻效应严重程度检测方法及系统

Country Status (1)

Country Link
CN (1) CN112712045A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222862A (zh) * 2021-06-04 2021-08-06 黑芝麻智能科技(上海)有限公司 图像畸变校正方法、装置、电子设备和存储介质
CN114299406A (zh) * 2022-03-07 2022-04-08 山东鹰联光电科技股份有限公司 基于无人机航拍的光纤电缆线路巡检方法
CN117808801A (zh) * 2024-02-29 2024-04-02 泰安大陆医疗器械有限公司 一种钢针排针植入视觉检测方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222862A (zh) * 2021-06-04 2021-08-06 黑芝麻智能科技(上海)有限公司 图像畸变校正方法、装置、电子设备和存储介质
CN114299406A (zh) * 2022-03-07 2022-04-08 山东鹰联光电科技股份有限公司 基于无人机航拍的光纤电缆线路巡检方法
CN114299406B (zh) * 2022-03-07 2022-06-07 山东鹰联光电科技股份有限公司 基于无人机航拍的光纤电缆线路巡检方法
CN117808801A (zh) * 2024-02-29 2024-04-02 泰安大陆医疗器械有限公司 一种钢针排针植入视觉检测方法及系统
CN117808801B (zh) * 2024-02-29 2024-05-17 泰安大陆医疗器械有限公司 一种钢针排针植入视觉检测方法及系统

Similar Documents

Publication Publication Date Title
CN112712045A (zh) 基于人工智能的无人机果冻效应严重程度检测方法及系统
US8797414B2 (en) Digital image stabilization device
US8363933B2 (en) Image identification method and imaging apparatus
US8508599B2 (en) Motion vector detection apparatus, motion vector detection method, and image capturing apparatus
DE102017223559B4 (de) Vorrichtung zum fokussieren einer kamera und steuerverfahren für diese
CN102368821B (zh) 一种噪声强度自适应的视频去噪方法和系统
WO2020253618A1 (zh) 一种视频抖动的检测方法及装置
US11748894B2 (en) Video stabilization method and apparatus and non-transitory computer-readable medium
US11983898B2 (en) Monitoring method, electronic device and storage medium
US20120275653A1 (en) Method for recognizing license plate image, and related computer program product, computer-readable recording medium, and image recognizing apparatus using the same
CN111383244B (zh) 一种目标检测跟踪方法
CN111738071B (zh) 一种基于单目摄像机的运动变化的逆透视变换方法
CN111598775B (zh) 基于lstm网络的光场视频时域超分辨重建方法
CN111062331A (zh) 图像的马赛克检测方法、装置、电子设备及存储介质
CN110547803A (zh) 一种适用于鱼眼相机俯视拍摄的行人身高估计方法
CN108111760B (zh) 一种电子稳像方法及系统
CN112767371A (zh) 一种基于人工智能的可变阻尼调节果冻效应方法及系统
CN1237485C (zh) 利用快速人脸检测对新闻被采访者进行脸部遮挡的方法
CN109840498B (zh) 一种实时行人检测方法及神经网络、目标检测层
CN112819710B (zh) 基于人工智能的无人机果冻效应自适应补偿方法及系统
CN1198245C (zh) 降低运动向量传输成本的运动估计方法
CN117269193B (zh) 合成革表观质量智能化检测方法
CN113298707A (zh) 图像帧拼接方法、视频巡检方法、装置、设备及存储介质
CN111461008B (zh) 结合场景透视信息的无人机航拍目标检测方法
CN117292176A (zh) 一种架空输电线路关键部件及缺陷的检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210427

WW01 Invention patent application withdrawn after publication