CN112767371A - 一种基于人工智能的可变阻尼调节果冻效应方法及系统 - Google Patents

一种基于人工智能的可变阻尼调节果冻效应方法及系统 Download PDF

Info

Publication number
CN112767371A
CN112767371A CN202110099855.4A CN202110099855A CN112767371A CN 112767371 A CN112767371 A CN 112767371A CN 202110099855 A CN202110099855 A CN 202110099855A CN 112767371 A CN112767371 A CN 112767371A
Authority
CN
China
Prior art keywords
image
jelly effect
damping
jelly
target building
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110099855.4A
Other languages
English (en)
Inventor
李小红
孙猛猛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202110099855.4A priority Critical patent/CN112767371A/zh
Publication of CN112767371A publication Critical patent/CN112767371A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及人工智能技术领域，具体涉及一种基于人工智能的可变阻尼调节果冻效应方法及系统。该方法包括：通过无人机上部署的相机采集当前RGB图像和深度图像；对RGB图像进行处理获得灰度图像；判断灰度图像是否出现果冻效应；当判定出现果冻效应时，通过筛选图像最大目标建筑，对最大目标建筑进行分析，获得最大目标建筑的目标建筑角点并划分感兴趣区域；分别对感兴趣区域内及对应的深度图像的区域内进行聚类分析，通过像素点密度差异获得果冻效应程度；根据果冻效应程度对云台阻尼进行调节。本发明利用图像处理方法量化了果冻效应程度，通过果冻效应程度调节云台阻尼实现调节果冻效应的功能。

Description

一种基于人工智能的可变阻尼调节果冻效应方法及系统
技术领域
本发明涉及人工智能技术领域，具体涉及一种基于人工智能的可变阻尼调节果冻效应方法及系统。
背景技术
无人机是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机，或者由车载计算机完全地或间歇地自主地操作。目前无人机在航拍、测绘、救援、监控等领域用处广泛。无人机通过搭载相机镜头实现拍摄、测绘等工作，大多数相机镜头采用卷帘快门完成拍摄，能够很好地控制曝光时间和减少噪声点，同时相对于全局快门功耗低。但是在航拍过程中采用卷帘快门相机很容易产生果冻效应。果冻效应的产生大多是因为无人机在工作过程中自身的共振、拍摄图像中存在快速运动的目标、机身摇摆不定等。当图像出现果冻效应时常用的解决办法是通过调节螺距和转速、调节云台阻尼等方法使无人机机身更稳固从而减少果冻效应。在实时的无人机航拍任务中，在城市测绘中，特别的是对建筑进行拍摄时，现有技术不能有效的获取果冻效应的影响程度，不能根据当前果冻效应程度对无人机进行实时调节。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于人工智能的可变阻尼调节果冻效应方法及系统，所采用的技术方案具体如下：
本发明提出了一种基于人工智能的可变阻尼调节果冻效应方法，所述方法包括：
通过部署在无人机上的相机采集RGB图像和深度图像；将所述RGB图像灰度化获得灰度图像；
对所述灰度图像分析并判断果冻效应；
当出现果冻效应时，检测所述灰度图像中某个建筑的角点并筛选出多个目标建筑角点，以每个所述目标建筑角点为感兴趣区域的顶点划分多个感兴趣区域；
对所述感兴趣区域内像素点和对应所述深度图像中区域内的像素点分别进行聚类分析；所述聚类分析方法包括：计算所述灰度图像中一列像素点集合内相邻两类像素值的像素点的欧氏距离，根据所述像素点之间收缩效应获得第一距离序列；根据膨胀效应获得第二距离序列；以所述感兴趣区域内的所述目标建筑角点作为搜索框的顶点，所述搜索框的长为所述灰度图像内像素点与映射点的距离，所述映射点为所述深度图像中相应于所述灰度图像中像素点的像素点；以所述第一距离序列均值和所述第二距离序列均值分别作为所述搜索框的宽进行聚类分析，获得第一类像素密度序列和第二类像素密度序列；以所述灰度图像和所述深度图像的所述第一类像素密度序列的差异平均值和所述第二类像素密度序列的差异平均值分析获得果冻效应程度；
通过所述果冻效应程度调节云台阻尼。
进一步地，所述将所述RGB图像灰度化获得灰度图像后还包括以下操作：
利用直方图均衡化方法处理所述灰度图像；
对所述灰度图像和所述深度图像利用中值滤波器对噪声点进行过滤。
进一步地，所述检测所述灰度图像中某个建筑物的角点并筛选出多个目标建筑角点：
对所述灰度图像中的目标建筑进行边缘检测，获得目标建筑边缘；
利用非线性插值算法对所述目标建筑边缘信息补全；
选取所述灰度图像中最大目标建筑的最外侧目标建筑边缘，以所述最外侧目标建筑边缘的交点作为所述目标建筑角点。
进一步地，所述以所述灰度图像和所述深度图像的所述第一类像素密度序列的差异平均值和所述第二类像素密度序列的差异平均值分析获得果冻效应程度包括：
计算所述感兴趣区域内的所述果冻效应程度Q：
Figure BDA0002915349470000021
其中，Q为所述果冻效应程度，L1为所述第一类像素密度序列的差异平均值，L2为所述第二类像素密度序列的差异平均值。
进一步地，所述云台阻尼设置4个阻尼调节装置共同调节，通过传感器控制所述阻尼调节装置实现调节。
进一步地，所述通过所述果冻效应程度调节云台阻尼包括：
通过不同所述感兴趣区域中的所述果冻效应程度调节所述云台阻尼：
εj＝ε0 log10 Qj+b
其中，j为所述感兴趣区域的数量，εj为第j个调节后的云台阻尼，ε0为初始云台阻尼，Qj为第j个所述感兴区域的所述果冻效应程度，b表示为修正系数。
进一步地，所述以所述目标角点为感兴趣区域的顶点划分多个感兴趣区域还包括：
根据所述目标距离无人机远近调节所述感兴趣大小：初始所述感兴趣区域大小为a*a，初始所述距离为d0，实时距离为d，则调节后的所述感兴趣区域大小为
Figure BDA0002915349470000022
Figure BDA0002915349470000023
进一步地，所述通过所述果冻效应程度调节云台阻尼后还包括：
将调节后的所述云台阻尼、所述果冻效应严重程度、所述无人机的螺距和所述无人机的转速作为训练数据，利用所述训练数据训练阻尼预测网络；所述阻尼预测网络输入为所述果冻效应严重程度、所述无人机的螺距和所述无人机的转速，输出为预测的一定时间后调节的所述云台阻尼。
本发明还提出了一种基于人工智能的可变阻尼调节果冻效应系统，所述系统包括：图像采集模块、图像质量判断模块、感兴趣区域划分模块、果冻效应程度获取模块和云台阻尼调节模块；
所述图像采集模块用于通过部署在无人机上的相机采集RGB图像和深度图像；将所述RGB图像灰度化获得灰度图像；
所述图像质量判断模块用于对所述灰度图像分析并判断果冻效应；
所述感兴趣区域划分模块用于当出现果冻效应时，检测所述灰度图像中某个建筑的角点并筛选出多个目标建筑角点，以每个所述目标建筑角点为感兴趣区域的顶点划分多个感兴趣区域；
所述果冻效应程度获取模块用于对所述感兴趣区域内像素点和对应所述深度图像中区域内的像素点分别进行聚类分析；所述聚类分析方法包括：计算所述灰度图像中一列像素点集合内相邻两类像素值的像素点的欧氏距离，根据所述像素点之间收缩效应获得第一距离序列；根据膨胀效应获得第二距离序列；以所述感兴趣区域内的所述目标建筑角点作为搜索框的顶点，所述搜索框的长为所述灰度图像内像素点与映射点的距离，所述映射点为所述深度图像中相应于所述灰度图像中像素点的像素点；以所述第一距离序列均值和所述第二距离序列均值分别作为所述搜索框的宽进行聚类分析，获得第一类像素密度序列和第二类像素密度序列；以所述灰度图像和所述深度图像的所述第一类像素密度序列的差异平均值和所述第二类像素密度序列的差异平均值分析获得果冻效应程度；
所述云台阻尼调节模块用于通过所述果冻效应程度调节云台阻尼。
进一步地，所述系统还包括云台阻尼预测模块；
所述云台阻尼预测模块用于将调节后的所述云台阻尼、所述果冻效应严重程度、所述无人机的螺距和所述无人机的转速作为训练数据，利用所述训练数据训练阻尼预测网络；所述阻尼预测网络输入为所述果冻效应严重程度、所述无人机的螺距和所述无人机的转速，输出为预测的一定时间后调节的所述云台阻尼。
本发明具有如下有益效果：
1.本发明实施例利用目标建筑区域的边缘目标建筑角点划分感兴趣区域，在感兴趣区域内进行特征提取。通过聚类算法分析目标建筑角点附近的像素点，得到不同聚类区域簇，具有很好的灵活性。能够更好的量化果冻效应的程度。
2.本发明实施例通过深度信息判断目标建筑的远近，根据距离远近调整感兴趣区域的大小，能够得到更多的特征点，提高了检测效率和准确度。
3.本发明实施例通过数据训练阻尼预测网络，不仅可以实时调节云台阻尼解决果冻效应，还可以通过网络预测云台阻尼的调节，提高了工作效率和准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于人工智能的可变阻尼调节果冻效应方法流程图；
图2为本发明一个实施例所提供的一种基于人工智能的可变阻尼调节果冻效应系统框图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于人工智能的可变阻尼调节果冻效应方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于人工智能的可变阻尼调节果冻效应方法及系统的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种基于人工智能的可变阻尼调节果冻效应方法流程图，该方法具体包括：
步骤S1：采集RGB图像和深度图像，将RGB图像灰度化获得灰度图像。
通过在无人机上部署带有TOF镜头的RGB相机对执行航拍任务的目标进行拍摄，获得RGB图像和深度图像。将得到的RGB图像进行灰度化处理得到灰度图像。利用直方图均衡化方法处理灰度图像。直方图均衡化方法可以使得灰度图像的对比度更高，使特征更加明显。
对图像进行去噪处理能够消除图像传输、传感器等产生的亮暗点噪声，对后续图像分析提供良好条件。在本发明实施例中，采用中值滤波器对灰度图像和深度图像中的噪声点进行过滤。
步骤S2：对灰度图像分析判断果冻效应。
本发明实施例通过LK光流估计法对获得的灰度图像的连续帧进行比较，计算图像区域内的像素点的光流约束方程：
Ixi*u+Iyi*v+Iti＝0
其中，u,v表示图像在平面坐标系中x,y方向的光流矢量，Ixi为图像中像素点灰度值对x的偏导数，Iyi为图像中像素点灰度值对y的偏导数，Iti为图像中像素点灰度值对t的偏导数，t表示连续帧的序列数。
利用最小二乘法计算得到最优解获得光流信息。
通过计算灰度图像的连续帧中图像像素点中存在的光流变化值来判断无人机成像是否处于稳定状态，是否发生果冻效应。
步骤S3：若出现果冻效应，则检测灰度图像中某个建筑的角点并筛选出多个目标建筑角点，以每个目标建筑角点为感兴趣区域的顶点划分多个感兴趣区域。
设定光流信息阈值，当光流信息小于光流信息阈值时说明光学防抖系统可以根据光学器件对相机进行防抖补偿处理，无需对无人机进行调节。反之则说明相机的光学防抖补偿失效，图像出现果冻效应，满足后续处理条件。在本发明实施例中光流信息阈值设置为10。
通过Canny边缘检测技术对图像中的多个目标建筑进行边缘提取，并经过非线性插值算法将缺失的边缘信息补全，以获得完整的目标建筑边缘。
选取灰度图像中最大目标建筑作为处理的目标建筑区域，排除其他目标，只关注测绘过程中最大目标建筑的区域图像。利用角点检测算法识别灰度图像中存在的建筑物和其他目标物体的角点坐标。将筛选过的最大目标建筑区域内所有提取到的特征角点坐标保留。接着对角点进行筛选。
优选的，在本发明实施例中取最大目标建筑上下左右最外侧目标建筑边缘作为建筑物的外围轮廓，以最外侧目标建筑边缘的交点作为目标建筑的四个目标建筑角点。选取这四个目标建筑角点能够解决无人机拍摄角度影响下目标建筑倾斜的情况。
以目标建筑角点作为感兴趣区域的顶点进行感兴趣区域划分，在本发明实施例中以得到的四个目标建筑角点作为感兴趣区域的顶点，对划分的四个感兴趣区域分别进行分析。
优选的，在实际航拍任务中，目标建筑距离无人机距离并不是不变的，无人机到目标建筑的距离会影响到图像中目标建筑的像素点数量，当无人机距离目标建筑物较远时，得到目标建筑成像较小；当无人机距离目标建筑较近时，得到的目标建筑的成像较大，在图像分析时需要根据距离远近对感兴趣区域的大小进行变化，能够更好的反映该区域的果冻效应特征。调节方法为：
感兴趣区域初始设置为a*a，初始距离为d0，实时距离为d，调节后的感兴趣区域大小为
Figure BDA0002915349470000061
在本发明实施例中初始感兴趣区域大小以像素点个数为单位设置大小为100*100。
步骤S4：分别对灰度图像和深度图像进行聚类分析，通过像素点密度差异获取果冻效应程度。
统计深度图像中的像素点，利用三维点云映射法与灰度图像进行像素点映射。完成映射后，对深度图像像素点和灰度图像像素点进行匹配。因为TOF镜头是根据激光雷达得到的深度图像，所以图像不会因为共振发生果冻效应，深度图像中的像素点也不会发生畸变，因此可进行后续聚类分析。分别对感兴趣区域内的像素点和对应深度图像中区域内的像素点进行聚类分析。聚类分析方法包括：
1.因为果冻效应的产生，在图像上同样像素值的像素区域会发生畸变，从而使得两类像素值的像素点之间的欧式距离发生变化。收缩效应会使相邻两类像素点的欧氏距离变小，膨胀效应会使相邻两类像素点的欧式距离变大。在灰度图像中取任意一列像素点集合，计算相邻两类像素值的像素点的的欧式距离，将相邻两类的欧式距离进行序列存储。根据果冻效应造成的像素点收缩效应和膨胀效应两种情况获得第一距离序列和第二距离序列。
2.从感兴趣区域的关键角点位置开始进行相邻像素点聚类，选定感兴趣区域中的目标角点作为搜索框的进行聚类的初始点。以该目标角点作为搜索框的顶点构建搜索框，搜索框的长为灰度图像内像素点与映射点的距离，映射点为深度图像中相应于灰度图像中像素点的像素点；以第一距离序列的均值作为宽对感兴趣区域内像素点进行迭代搜索。当搜索框未聚到其他像素点时，第一轮搜索结束；变化搜索框的宽为第二距离序列均值继续搜索。第二轮结束后继续交替搜索矩形框的宽进行搜索，直到感兴趣区域中所有像素点搜索完成。
3.采用第一距离序列均值为搜索框的宽得到的像素点经过计算后得到第一类像素密度序列，采用第二距离序列均值为搜索框的宽得到的像素点经过处理后得到第二类像素密度序列。
以灰度图像和深度图像的第一类像素密度序列的差异平均值和第二类像素密度序列的差异平均值分析获得果冻效应程度。具体包括：
计算第一类像素密度序列的差异平均值:
Figure BDA0002915349470000071
其中，L1为第一类像素密度序列的差异平均值，ρ1i为灰度图像的第一类像素密度序列中第i个第一类密度序列，ρ′1i为深度图像的第一类像素密度序列中第i个第一类密度序列，n为第一类像素密度序列数。
同理获得第二类像素密度序列的差异平均值L2。
根据L1,L2计算果冻效应程度Q：
Figure BDA0002915349470000072
其中，Q为果冻效应程度，L1为第一类像素密度序列的差异平均值，L2为第二类像素密度序列的差异平均值。
步骤S5：通过果冻效应程度调节云台阻尼。
本发明实施例云台阻尼调节采用4个阻尼调节装置共同调节，阻尼调节装置为可充气阻尼，通过传感器实现控制阻尼。
通过不同感兴趣区域中果冻效应的严重程度，对云台阻尼ε进行调节，具体包括：
εj＝ε0 log10 Qj+b
其中，j为感兴趣区域的数量，εj为第j个调节后的云台阻尼，ε0为初始云台阻尼，Qj为第j个感兴区域的所述果冻效应程度，b表示为修正系数。根据历史数据通过最小二乘法拟合得到b的最优解，保证b的取值范围尽可能的小。
优选的，在根据果冻效应程度获取调节后的云台阻尼后还可以根据阻尼预测网络对未来一段时间的阻尼调节进行预测。神经网络可以采用LSTM，BLSTM，GRU等神经网络，在本发明实施例中采用TCN时序预测模型作为阻尼预测网络来预测随着无人机的转速和螺距的变化对应的云台阻尼需要的调节数值。网络训练方法如下：
1)将调节后的云台阻尼、果冻效应严重程度、无人机的螺距和无人机的转速作为训练数据。无人机的螺距和转速可以通过传感器获得。
2)将训练数据归一化。网络输入形状为[B,N,3]，B为网络输入批尺寸，N为某一时段采集的数据序列长度。在本发明实施例中每0.5小时采集一次，要基于历史长度为6小时的特征序列，来分析阻尼的相关变化，则N＝12。经过TCN网络提取后利用全连接网络输出，预测未来一小时内的云台阻尼调节数值，输出形状为[B,2]。
3)采用均方差损失函数对网络进行训练。
对训练好的阻尼预测网络输入果冻效应严重程度、无人机的螺距和无人机的转速，输出为预测未来一小时内的调节的云台阻尼数值。
综上所述，首先通过无人机上部署的相机采集当前RGB图像和深度图像。对RGB图像进行处理获得灰度图像，并通过光流法判断灰度图像的图像质量。当图像质量判定出现果冻效应时，通过筛选图像最大目标建筑，对最大目标建筑区域进行分析，获得最大目标建筑的目标建筑角点并划分感兴趣区域。对感兴趣区域内及对应的深度图像的区域内进行聚类分析，通过像素点密度差异获得果冻效应程度。根据果冻效应程度对云台阻尼进行调节。通过聚类分析像素点密度，更好的量化了果冻效应的程度，根据果冻效应程度对云台阻尼进行调节，减少无人机产生的共振，有效的缓解了果冻效应。
请参阅图2，其示出了本发明另一个实施例提供的一种基于人工智能的可变阻尼调节果冻效应系统框图，该系统具体包括：图像采集模块101，图像质量判断模块102，感兴趣区域划分模块103、果冻效应程度获取模块104和云台阻尼调节模块105。
图像采集模块101用于通过部署在无人机上的相机采集RGB图像和深度图像。将RGB图像灰度化获得灰度图像。
图像质量判断模块102用于对灰度图像分析并判断果冻效应。
感兴趣区域划分模块103用于当出现果冻效应时，检测灰度图像中某个建筑的角点并筛选出多个目标建筑角点，以每个目标建筑角点为感兴趣区域的顶点划分多00个感兴趣区域。
果冻效应程度获取模块104用于对感兴趣区域内像素点和对应深度图像中区域内的像素点分别进行聚类分析。聚类分析方法包括：计算灰度图像中一列像素点集合内相邻两类像素值的像素点的欧氏距离，根据像素点之间收缩效应获得第一距离序列。根据膨胀效应获得第二距离序列；以感兴趣区域内的目标建筑角点作为搜索框的顶点，搜索框的长为灰度图像内像素点与映射点的距离，映射点为深度图像中相应于灰度图像中像素点的像素点。以第一距离序列均值和第二距离序列均值分别作为搜索框的宽进行聚类分析，获得第一类像素密度序列和第二类像素密度序列。以灰度图像和深度图像的第一类像素密度序列的差异平均值和第二类像素密度序列的差异平均值分析获得果冻效应程度。
云台阻尼调节模块105用于通过果冻效应程度调节云台阻尼。
优选的，本系统还包括云台阻尼预测模块。云台阻尼预测模块用于将调节后的云台阻尼、果冻效应严重程度、无人机的螺距和无人机的转速作为训练数据，利用训练数据训练阻尼预测网络。阻尼预测网络输入为果冻效应严重程度、无人机的螺距和无人机的转速，输出为预测的一定时间后调节的所述云台阻尼。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于人工智能的可变阻尼调节果冻效应方法，其特征在于，所述方法包括：
通过部署在无人机上的相机采集RGB图像和深度图像；将所述RGB图像灰度化获得灰度图像；
对所述灰度图像分析并判断果冻效应；
当出现果冻效应时，检测所述灰度图像中某个建筑的角点并筛选出多个目标建筑角点，以每个所述目标建筑角点为感兴趣区域的顶点划分多个感兴趣区域；
对所述感兴趣区域内像素点和对应所述深度图像中区域内的像素点分别进行聚类分析；所述聚类分析方法包括：计算所述灰度图像中一列像素点集合内相邻两类像素值的像素点的欧氏距离，根据所述像素点之间收缩效应获得第一距离序列；根据膨胀效应获得第二距离序列；以所述感兴趣区域内的所述目标建筑角点作为搜索框的顶点，所述搜索框的长为所述灰度图像内像素点与映射点的距离，所述映射点为所述深度图像中相应于所述灰度图像中像素点的像素点；以所述第一距离序列均值和所述第二距离序列均值分别作为所述搜索框的宽进行聚类分析，获得第一类像素密度序列和第二类像素密度序列；以所述灰度图像和所述深度图像的所述第一类像素密度序列的差异平均值和所述第二类像素密度序列的差异平均值分析获得果冻效应程度；
通过所述果冻效应程度调节云台阻尼。
2.根据权利要求1所述的一种基于人工智能的可变阻尼调节果冻效应方法，其特征在于，所述将所述RGB图像灰度化获得灰度图像后还包括以下操作：
利用直方图均衡化方法处理所述灰度图像；
对所述灰度图像和所述深度图像利用中值滤波器对噪声点进行过滤。
3.根据权利要求1所述的一种基于人工智能的可变阻尼调节果冻效应方法，其特征在于，所述检测所述灰度图像中某个建筑物的角点并筛选出多个目标建筑角点：
对所述灰度图像中的目标建筑进行边缘检测，获得目标建筑边缘；
利用非线性插值算法对所述目标建筑边缘信息补全；
选取所述灰度图像中最大目标建筑的最外侧目标建筑边缘，以所述最外侧目标建筑边缘的交点作为所述目标建筑角点。
4.根据权利要求1所述的一种基于人工智能的可变阻尼调节果冻效应方法，其特征在于，所述以所述灰度图像和所述深度图像的所述第一类像素密度序列的差异平均值和所述第二类像素密度序列的差异平均值分析获得果冻效应程度包括：
计算所述感兴趣区域内的所述果冻效应程度Q：
Figure FDA0002915349460000021
其中，Q为所述果冻效应程度，L1为所述第一类像素密度序列的差异平均值，L2为所述第二类像素密度序列的差异平均值。
5.根据权利要求1所述的一种基于人工智能的可变阻尼调节果冻效应方法，其特征在于，所述云台阻尼设置4个阻尼调节装置共同调节，通过传感器控制所述阻尼调节装置实现调节。
6.根据权利要求1或5所述的一种基于人工智能的可变阻尼调节果冻效应方法，其特征在于，所述通过所述果冻效应程度调节云台阻尼包括：
通过不同所述感兴趣区域中的所述果冻效应程度调节所述云台阻尼：
εj＝ε0log10Qj+b
其中，j为所述感兴趣区域的数量，εj为第j个调节后的云台阻尼，ε0为初始云台阻尼，Qj为第j个所述感兴区域的所述果冻效应程度，b表示为修正系数。
7.根据权利要求1或4所述的一种基于人工智能的可变阻尼调节果冻效应方法，其特征在于，所述以所述目标角点为感兴趣区域的顶点划分多个感兴趣区域还包括：
根据所述目标距离无人机远近调节所述感兴趣大小：初始所述感兴趣区域大小为a*a，初始所述距离为d0，实时距离为d，则调节后的所述感兴趣区域大小为
Figure FDA0002915349460000022
Figure FDA0002915349460000023
8.根据权利要求1所述的一种基于人工智能的可变阻尼调节果冻效应方法，其特征在于，所述通过所述果冻效应程度调节云台阻尼后还包括：
将调节后的所述云台阻尼、所述果冻效应严重程度、所述无人机的螺距和所述无人机的转速作为训练数据，利用所述训练数据训练阻尼预测网络；所述阻尼预测网络输入为所述果冻效应严重程度、所述无人机的螺距和所述无人机的转速，输出为预测的一定时间后调节的所述云台阻尼。
9.一种基于人工智能的可变阻尼调节果冻效应系统，其特征在于，所述系统包括：图像采集模块、图像质量判断模块、感兴趣区域划分模块、果冻效应程度获取模块和云台阻尼调节模块；
所述图像采集模块用于通过部署在无人机上的相机采集RGB图像和深度图像；将所述RGB图像灰度化获得灰度图像；
所述图像质量判断模块用于对所述灰度图像分析并判断果冻效应；
所述感兴趣区域划分模块用于当出现果冻效应时，检测所述灰度图像中某个建筑的角点并筛选出多个目标建筑角点，以每个所述目标建筑角点为感兴趣区域的顶点划分多个感兴趣区域；
所述果冻效应程度获取模块用于对所述感兴趣区域内像素点和对应所述深度图像中区域内的像素点分别进行聚类分析；所述聚类分析方法包括：计算所述灰度图像中一列像素点集合内相邻两类像素值的像素点的欧氏距离，根据所述像素点之间收缩效应获得第一距离序列；根据膨胀效应获得第二距离序列；以所述感兴趣区域内的所述目标建筑角点作为搜索框的顶点，所述搜索框的长为所述灰度图像内像素点与映射点的距离，所述映射点为所述深度图像中相应于所述灰度图像中像素点的像素点；以所述第一距离序列均值和所述第二距离序列均值分别作为所述搜索框的宽进行聚类分析，获得第一类像素密度序列和第二类像素密度序列；以所述灰度图像和所述深度图像的所述第一类像素密度序列的差异平均值和所述第二类像素密度序列的差异平均值分析获得果冻效应程度；
所述云台阻尼调节模块用于通过所述果冻效应程度调节云台阻尼。
10.根据权利要求8所述的一种基于人工智能的可变阻尼调节果冻效应系统，其特征在于，所述系统还包括云台阻尼预测模块；
所述云台阻尼预测模块用于将调节后的所述云台阻尼、所述果冻效应严重程度、所述无人机的螺距和所述无人机的转速作为训练数据，利用所述训练数据训练阻尼预测网络；所述阻尼预测网络输入为所述果冻效应严重程度、所述无人机的螺距和所述无人机的转速，输出为预测的一定时间后调节的所述云台阻尼。
CN202110099855.4A 2021-01-25 2021-01-25 一种基于人工智能的可变阻尼调节果冻效应方法及系统 Withdrawn CN112767371A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110099855.4A CN112767371A (zh) 2021-01-25 2021-01-25 一种基于人工智能的可变阻尼调节果冻效应方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110099855.4A CN112767371A (zh) 2021-01-25 2021-01-25 一种基于人工智能的可变阻尼调节果冻效应方法及系统

Publications (1)

Publication Number Publication Date
CN112767371A true CN112767371A (zh) 2021-05-07

Family

ID=75707359

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110099855.4A Withdrawn CN112767371A (zh) 2021-01-25 2021-01-25 一种基于人工智能的可变阻尼调节果冻效应方法及系统

Country Status (1)

Country Link
CN (1) CN112767371A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113284134A (zh) * 2021-06-17 2021-08-20 张清坡 一种地质勘测用无人机飞行平台
CN113470093A (zh) * 2021-09-01 2021-10-01 启东市德立神起重运输机械有限公司 基于航拍图像处理的视频果冻效应检测方法、装置及设备
WO2023185584A1 (zh) * 2022-04-02 2023-10-05 深圳市道通智能航空技术股份有限公司 一种飞行控制方法、无人飞行器以及可读存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113284134A (zh) * 2021-06-17 2021-08-20 张清坡 一种地质勘测用无人机飞行平台
CN113284134B (zh) * 2021-06-17 2023-09-26 张清坡 一种地质勘测用无人机飞行平台
CN113470093A (zh) * 2021-09-01 2021-10-01 启东市德立神起重运输机械有限公司 基于航拍图像处理的视频果冻效应检测方法、装置及设备
WO2023185584A1 (zh) * 2022-04-02 2023-10-05 深圳市道通智能航空技术股份有限公司 一种飞行控制方法、无人飞行器以及可读存储介质

Similar Documents

Publication Publication Date Title
CN112767371A (zh) 一种基于人工智能的可变阻尼调节果冻效应方法及系统
CN106856002B (zh) 一种无人机拍摄图像质量评价方法
US9323991B2 (en) Method and system for video-based vehicle tracking adaptable to traffic conditions
CN109872483B (zh) 一种入侵警戒光电监测系统及方法
CN108038415B (zh) 一种基于机器视觉的无人机自动检测与跟踪方法
US7346190B2 (en) Traffic line recognition device
CN106780560B (zh) 一种基于特征融合粒子滤波的仿生机器鱼视觉跟踪方法
CN113159466B (zh) 一种短时光伏发电功率预测系统及方法
CN112819772A (zh) 一种高精度快速图形检测识别方法
US9251418B2 (en) Method of detection of points of interest in a digital image
CN110022422B (zh) 一种基于密集连接网络的视频帧序列生成方法
US20220366570A1 (en) Object tracking device and object tracking method
CN113989613A (zh) 一种应对复杂环境的轻量级高精度船舶目标检测方法
CN110555377A (zh) 一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法
CN115841633A (zh) 一种电力塔和电力线关联矫正的电力塔和电力线检测方法
CN115222884A (zh) 一种基于人工智能的空间对象分析及建模优化方法
CN112819710B (zh) 基于人工智能的无人机果冻效应自适应补偿方法及系统
CN114091520B (zh) 一种井工煤矿中工作设备识别与检测的方法与装置
CN116311212A (zh) 基于高速摄像机实现运动状态下的船号识别方法及装置
CN111127355A (zh) 一种对缺损光流图进行精细补全的方法及其应用
Bhupathi et al. An augmented sliding window technique to improve detection of curved lanes in autonomous vehicles
CN115690711A (zh) 一种目标检测方法、装置及智能车辆
CN114863332A (zh) 一种基于事件相机的雨滴检测方法
CN113112520A (zh) 基于人工智能的无人机变向果冻效应处理方法与系统
CN113284134A (zh) 一种地质勘测用无人机飞行平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210507

WW01 Invention patent application withdrawn after publication