CN112819710A - 基于人工智能的无人机果冻效应自适应补偿方法及系统 - Google Patents
基于人工智能的无人机果冻效应自适应补偿方法及系统 Download PDFInfo
- Publication number
- CN112819710A CN112819710A CN202110070832.0A CN202110070832A CN112819710A CN 112819710 A CN112819710 A CN 112819710A CN 202110070832 A CN202110070832 A CN 202110070832A CN 112819710 A CN112819710 A CN 112819710A
- Authority
- CN
- China
- Prior art keywords
- image
- detected
- area
- aerial vehicle
- unmanned aerial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000694 effects Effects 0.000 title claims abstract description 41
- 235000015110 jellies Nutrition 0.000 title claims abstract description 39
- 239000008274 jelly Substances 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 28
- 239000013598 vector Substances 0.000 claims abstract description 65
- 230000011218 segmentation Effects 0.000 claims abstract description 14
- 238000003708 edge detection Methods 0.000 claims abstract description 8
- 230000003044 adaptive effect Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 abstract description 7
- 230000035945 sensitivity Effects 0.000 abstract description 5
- 230000008859 change Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005096 rolling process Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/176—Urban or other man-made structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于人工智能的无人机果冻效应自适应补偿方法及系统，涉及人工智能领域；该方法包括对采集的样本图像进行边缘检测，以所得初始图像中边缘像素点最密集的区域为样本图像的ROI区域，用最优sobel算子对其进行计算，生成含摩尔纹的待测图像并进行语义分割；将待测图像进行帧差作为第一帧差图像，获取第一特征向量，进而获取标准图像；第一特征向量是第一帧差图像RGB通道的均值与面积分别乘以各自的权重计算的；以待测图像与标准图像的摩尔纹区域之差作为第二帧差图像，获取第二特征变量，进而获取补偿矢量，对样本图像进行补偿。本发明能够提高检测的灵敏度，对当前待测图像进行精确补偿，简单快捷，提高对果冻效应图像的修复效率。
Description
技术领域
本发明涉及人工智能领域，具体涉及一种基于人工智能的无人机果冻效应自适应补偿方法及系统。
背景技术
使用CMOS传感器的相机多数使用卷帘快门，在拍摄图像的时候，图像传感器逐行扫描进行曝光，直至所有像素点都被曝光。现有相机搭配的卷帘快门逐行扫描的速度已经非常快，相机若处于稳定状态拍摄景物，则卷帘快门带来的偏移可以忽略不计，拍摄图像质量较好。但是在无人机搭载相机在空中进行拍摄时，常常会因为自身抖动或者风力影响导致机身发生高频率震动，从而导致拍摄图像出现严重的果冻效应。
目前针对无人机果冻效应的检测基本都是依靠对图像中的建筑等静态目标的形变观测来进行，但是在果冻效应程度较轻时静态目标的形变非常微小，难以检测到。
发明内容
为了解决上述技术问题，本发明了提供一种基于人工智能的无人机果冻效应自适应补偿方法及系统，所采用的技术方案如下：
第一方面，本发明实施例提供了一种基于人工智能的无人机果冻效应自适应补偿方法，该方法包含以下步骤：
利用无人机搭载相机采集样本图像，样本图像包含建筑物；
对样本图像进行边缘检测，获取初始图像；
选取初始图像中边缘像素点最密集的区域，并在样本图像中设置相应的ROI区域，用最优sobel算子对ROI区域进行计算，生成含摩尔纹的待测图像；
将待测图像送入语义分割网络中进行处理，输出摩尔纹区域、建筑物区域以及其他区域；
将第i帧待测图像与第i+1帧待测图像进行帧差作为第一帧差图像，获取第一特征向量，以第一特征向量的最小值所对应的待测图像作为标准图像；第一特征向量是由第一帧差图像RGB通道的均值与第一帧差图像的面积分别乘以各自的权重计算的；
以当前待测图像的摩尔纹区域与标准图像的摩尔纹区域之差作为第二帧差图像，获取第二特征变量，根据第二特征变量获取补偿矢量，对当前样本图像进行补偿。
优选地，选取边缘像素点最密集的区域的办法为：
建立固定尺寸的滑窗，对初始图像进行分析，以锚框数量最多的滑窗作为边缘最密集的区域；锚框是指建筑物的窗口。
优选地，选择最优sobel算子的方法为：
设置水平方向不变，垂直方向上改变的sobel算子对ROI区域进行计算；
将ROI区域图像转为HSV空间，计算同一sobel算子下对应ROI区域的亮度均值，计算多个最大亮度均值与多个最小亮度均值的差值；
选择最大差值对应的sobel算子作为最优sobel算子。
优选地，第一特征向量的最小值的获取方法为：
设置时间窗口，对视频流中的所有待测图像进行滑窗分析；
求取时间窗口内所有待测图像的第一特征变量后计算其平均值，在平均值最小的时间窗口中选取最接近0的第一特征变量的值作为第一特征向量的最小值。
优选地，补偿矢量为：
v＝a·Z′i b+c·Z′i
其中，Z′i为第二特征变量，a,b,c为相应的超参数。
第二方面，本发明实施例提供了一种基于人工智能的无人机果冻效应自适应补偿系统，包括：
图像获取单元，用于利用无人机搭载相机采集样本图像，样本图像包含建筑物；
预处理单元，包括初始图象获取模块、待测图像获取模块、语义分割模块，其中：
初始图象获取模块，用于对样本图像进行边缘检测，获取初始图像；
待测图像获取模块，用于选取初始图像中边缘像素点最密集的区域，并在样本图像中设置相应的ROI区域，用最优sobel算子对ROI区域进行计算，生成含摩尔纹的待测图像；
语义分割模块，用于将待测图像送入语义分割网络中进行处理，输出摩尔纹区域、建筑物区域以及其他区域；
补偿单元，包括标准图像获取模块、补偿矢量获取模块，其中：
标准图像获取模块，用于将第i帧待测图像与第i+1帧待测图像进行帧差作为第一帧差图像，获取第一特征向量，以第一特征向量的最小值所对应的待测图像作为标准图像；第一特征向量是由第一帧差图像RGB通道的均值与第一帧差图像的面积分别乘以各自的权重计算的；
补偿矢量获取模块，用于以当前待测图像的摩尔纹区域与标准图像的摩尔纹区域之差作为第二帧差图像，获取第二特征变量，根据第二特征变量获取补偿矢量，对当前样本图像进行补偿。
进一步地，待测图像获取模块中还包括边缘密集区域获取模块，用于建立固定尺寸的滑窗，对初始图像进行分析，以锚框数量最多的滑窗作为边缘最密集的区域；锚框是指建筑物的窗口。
进一步地，待测图像获取模块中还包括最优sobel算子获取模块，用于：
设置水平方向不变，垂直方向上改变的sobel算子对ROI区域进行计算；
将ROI区域图像转为HSV空间，计算同一sobel算子下对应ROI区域的亮度均值，计算多个最大亮度均值与多个最小亮度均值的差值；
选择最大差值对应的sobel算子作为最优sobel算子。
进一步地，标准图像获取模块还包括最小第一特征向量获取模块，用于：
设置时间窗口，对视频流中的所有待测图像进行滑窗分析；
求取时间窗口内所有待测图像的第一特征变量后计算其平均值，在平均值最小的时间窗口中选取最接近0的第一特征变量的值作为第一特征向量的最小值。
进一步地，补偿矢量获取模块中，补偿矢量为：
v＝a·Z′i b+c·Z′i
其中，Z′i为第二特征变量，a,b,c为相应的超参数。
本发明实施例至少包含以下有益效果：
本发明实施例利用最优sobel算子对边缘最密集区域进行计算，生成含摩尔纹的待测图像，大大提高检测的灵敏度，降低计算量。
本发明实施例根据第一特征向量获取最稳定一帧待测图像作为标准图像，根据第二特征变量获取补偿矢量，能够对当前待测图像进行精确补偿，简单快捷，提高对果冻效应图像的修复效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于人工智能的无人机果冻效应自适应补偿方法的流程图。
图2为本发明一个实施例提供的一种基于人工智能的无人机果冻效应自适应补偿系统的结构框图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于人工智能的无人机果冻效应自适应补偿方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
本发明所针对的场景为无人机在城市上空进行悬停状态下的拍摄图像，不适用于无人机移动拍摄的情况。
下面结合附图具体的说明本发明所提供的一种基于人工智能的无人机果冻效应自适应补偿方法及系统具体方案。
请参阅图1，其示出了一种基于人工智能的无人机果冻效应自适应补偿方法的流程图，该方法包括以下步骤：
步骤S100：利用无人机搭载相机采集样本图像，样本图像包含建筑物。
使用无人机搭载RGB相机在城市上空悬停并进行拍摄，获取包含刚体建筑物的样本图像。
步骤S200：对样本图像进行边缘检测，获取初始图像。
对得到的样本图像进行Canny边缘检测，具体方法如下：
以目标像素点为中心，使用高斯矩阵乘以样本图像中每一个像素点及其邻域，获取带权重的平均值作为更新后的像素点灰度值。
将更新后的像素点灰度值乘以sobel算子得到不同方向的梯度值gx(m,n),gy(m,n)。其中x,y方向的sobel卷积算子分别为：
位于边缘的像素点在其梯度方向上的梯度值是较大的，设置两个灰度阈值，分别为maxVal、minVal，且maxVal＞minVal。样本图像中，灰度值大于maxVal的像素点视为边缘像素点，低于minVal的像素点视为非边缘像素点，灰度值在[minVal,maxVal]区间内的像素点，如果与确定为边缘的像素点邻接则判定为边缘像素点，否则为非边缘像素点；将非边缘像素点的灰度值设置为0。至此得到初始图像。
步骤S300：选取初始图像中边缘像素点最密集的区域，并在样本图像中设置相应的ROI区域，用最优sobel算子对ROI区域进行计算，生成含摩尔纹的待测图像。
降低图像分辨率后，边缘像素点最密集区域是最先出现摩尔纹的区域，为减小计算量，方便后续步骤操作，本发明实施例建立尺寸固定的滑窗对初始图像进行遍历，寻找边缘像素点最密集区域，具体方法如下：
以像素点个数为单位，建立40*40的滑窗为例，利用滑窗对初始图像进行遍历，步长为1个像素点；
统计滑窗内的边缘像素点集合，并在集合内选取一个像素点作为中心像素点，分析其顺时针方向上相邻像素的斜率，如果在顺时针方向下能够回归到中心像素点，且回归像素点中，相邻像素点的斜率夹角只有±90度或0度，则判定该回归像素点集合为1个锚框，锚框是指建筑物的窗口；
对滑窗内所有像素点都进行分析后，统计锚框数量，以锚框数量最多的滑窗作为边缘像素点最密集区域。
根据该边缘像素点最密集区域的坐标集合在样本图像中设置相应的ROI区域，并针对该区域寻找最优sobel算子，用以增加检测灵敏度，并生成含摩尔纹的待测图像，具体方法如下：
设置水平方向不变，垂直方向上改变的sobel算子对ROI区域进行计算，本发明实施例中，sobel算子的尺寸范围为(3,2)到(3,40)，移动步长设置为5个像素点；
将ROI区域图像转为HSV空间，计算sobel算子下对应ROI区域的亮度均值，计算多个最大亮度均值与多个最小亮度均值的差值，差值越大说明响应越强，即摩尔纹越明显；
选择其中摩尔纹最明显时所对应的sobel算子作为最优sobel算子，对ROI区域进行计算，生成含摩尔纹的待测图像。
摩尔纹是一种对图像形变非常敏感的图案，非常轻微的果冻效应也会导致图像中的摩尔纹产生较为明显的变化，使用摩尔纹进行果冻效应的补偿将会大大提高对图像的修复力度。
步骤S400：将待测图像送入语义分割网络中进行处理，输出摩尔纹区域、建筑物区域以及其他区域。
将含有摩尔纹的待测图像作为训练数据集，对数据集进行标注，目标包括摩尔纹区域、建筑物区域、其它区域；本发明实施例中，建筑物区域是指无摩尔纹的刚体建筑，进行语义分割时，仅随机选取80％的数据集进行标注，剩余的20％作为验证集。
将图像数据和标签数据输入网络中进行编码抽取图像特征，再经过解码输出每个像素的类别。采用交叉熵损失函数对网络进行训练。
步骤S500：将第i帧待测图像与第i+1帧待测图像进行帧差作为第一帧差图像，获取第一特征向量，以第一特征向量的最小值所对应的待测图像作为标准图像；第一特征向量是由第一帧差图像RGB通道的均值与第一帧差图像的面积分别乘以各自的权重计算的。
相邻两张待测图像不一致时，其对应的摩尔纹和建筑均可能出现变化。
本发明实施例建立特征变量来表征两帧图像的变化程度。第i帧待测图像的特征变量为：
其中，ri为第i帧帧差图像R通道的均值，gi为第i帧帧差图像G通道的均值，bi为第i帧帧差图像B通道的均值；Ai为第i帧帧差图像的总面积，也即像素点个数；α、β是RGB变化量和面积变化量的权重。
由于果冻效应下摩尔纹变化更为剧烈，因此本发明实施例中α＝0.2，β＝0.8。
当图像不一致时，其RGB通道的值一定会存在差异，本发明中将三通道的差异全部反映在特征变量中；
将第i帧待测图像与第i+1帧待测图像进行帧差作为第一帧差图像，获取第一特征向量，得到第一特征变量之后，进一步得到所有待测图像中的最稳定的图像作为标准图像，具体过程为：
设置时间窗口，对视频流中的所有待测图像进行滑窗分析，步长为一帧图像。
求取时间窗口内所有待测图像的第一特征变量后计算其平均值，并得到平均值最小的时间窗口，在其中找到第一特征变量最接近0的一帧待测图像作为标准图像。
至此可得到标准图像，拍摄标准图像时无人机相对稳定，包含的摩尔纹仅为最优sobel算子计算时产生的，对于第一特征向量，利用图像整体作差更能全面反映出待测图像之间的差别。
步骤S600：以当前待测图像的摩尔纹区域与标准图像的摩尔纹区域之差作为第二帧差图像，获取第二特征变量，根据第二特征变量获取补偿矢量，对当前样本图像进行补偿。
获取标准图像后，提取第i帧待测图像的摩尔纹区域与标准图像的摩尔纹区域，使之做差获取第二帧差图像，进而获取第二特征向量。
对于第二特征向量，根据摩尔纹区域做差进行计算，可以更准确的根据局部形变对待测图像进行定量补偿。
根据果冻效应下得到的多组图像帧对应的第二特征变量Z′i建立摩尔纹补偿模型，获取补偿矢量：
v＝a·Z′i d+c·Z′i
其中，a,d,c为相应的超参数，由拟合得到。至此，根据图像中摩尔纹的变化得到对当前样本图像的定量补偿。
优选地，使用传统的光流法计算图像果冻效应下对应的运动矢量，并以此拟合摩尔纹补偿模型，具体过程为：
对于待测图像的建筑物区域，由EPZS增强预测区域搜索算法计算第i帧待测图像的建筑物区域与标准图像的建筑物区域之间的运动矢量，EPZS增强区域搜索是一种整像素运动估计的搜索算法，采用的是相关性较高的预测方法。得到运动矢量后可对当前图像整体进行反向等量的补偿矢量，进而将当前发生果冻效应的样本图像恢复到稳定状态。
综上所述，本发明提供了一种基于人工智能的无人机果冻效应自适应补偿方法，该方法包括用最优sobel算子对边缘最密集区域进行计算，生成含摩尔纹的待测图像，大大提高检测的灵敏度，降低计算量；根据第一特征向量获取最稳定一帧待测图像作为标准图像，以前第i帧待测图像的摩尔纹区域与标准图像的摩尔纹区域之差作为第二帧差图像，获取第二特征变量，根据第二特征变量获取补偿矢量，能够对当前待测图像进行精确补偿，简单快捷，提高对果冻效应图像的修复效率。
基于与上述方法实施例相同的发明构思，本发明另一个实施例提供了一种基于人工智能的无人机果冻效应自适应补偿系统。
请参阅图2，其示出了本发明另一个实施例所提供的一种基于人工智能的无人机果冻效应自适应补偿系统100的结构框图，该系统包括图像获取单元10、预处理单元20和补偿单元30。
具体的，图像获取单元10，用于利用无人机搭载相机采集样本图像，样本图像包含建筑物；
预处理单元20，包括初始图象获取模块21、待测图像获取模块22、语义分割模块23，其中：
初始图象获取模块21，用于对样本图像进行边缘检测，获取初始图像；
待测图像获取模块22，用于选取初始图像中边缘像素点最密集的区域，并在样本图像中设置相应的ROI区域，用最优sobel算子对ROI区域进行计算，生成含摩尔纹的待测图像；
语义分割模块23，用于将待测图像送入语义分割网络中进行处理，输出摩尔纹区域、建筑物区域以及其他区域；
补偿单元30，包括标准图像获取模块31、补偿矢量获取模块32，其中：
标准图像获取模块31，用于将第i帧待测图像与第i+1帧待测图像进行帧差作为第一帧差图像，获取第一特征向量，以第一特征向量的最小值所对应的待测图像作为标准图像；第一特征向量是由第一帧差图像RGB通道的均值与第一帧差图像的面积分别乘以各自的权重计算的；
补偿矢量获取模块32，用于以当前待测图像的摩尔纹区域与标准图像的摩尔纹区域之差作为第二帧差图像，获取第二特征变量，根据第二特征变量获取补偿矢量，对当前样本图像进行补偿。
进一步地，待测图像获取模块中还包括边缘密集区域获取模块，用于建立固定尺寸的滑窗，对初始图像进行分析，以锚框数量最多的滑窗作为边缘最密集的区域；锚框是指建筑物的窗口。
进一步地，待测图像获取模块中还包括最优sobel算子获取模块，用于：
设置水平方向不变，垂直方向上改变的sobel算子对ROI区域进行计算；
将ROI区域图像转为HSV空间，计算同一sobel算子下对应ROI区域的亮度均值，计算多个最大亮度均值与多个最小亮度均值的差值；
选择最大差值对应的sobel算子作为最优sobel算子。
进一步地，标准图像获取模块还包括最小第一特征向量获取模块，用于：
设置时间窗口，对视频流中的所有待测图像进行滑窗分析；
求取时间窗口内所有待测图像的第一特征变量后计算其平均值，在平均值最小的时间窗口中选取最接近0的第一特征变量的值作为第一特征向量的最小值。
进一步地，补偿矢量获取模块中，补偿矢量为：
v＝a·Z′i b+c·Z′i
其中，Z′i为第二特征变量，a,b,c为相应的超参数。
综上所述，本发明提供了一种基于人工智能的无人机果冻效应自适应补偿系统，该系统包括利用待测图像获取模块生成含摩尔纹的待测图像，大大提高检测的灵敏度，降低计算量；利用补偿单元获取标准图像，进而获取补偿矢量能够对当前待测图像进行精确补偿，简单快捷，提高对果冻效应图像的修复效率。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于人工智能的无人机果冻效应自适应补偿方法，其特征在于，该方法包含以下步骤：
利用无人机搭载相机采集样本图像，所述样本图像包含建筑物；
对所述样本图像进行边缘检测，获取初始图像；
选取所述初始图像中边缘像素点最密集的区域，并在所述样本图像中设置相应的ROI区域，用最优sobel算子对所述ROI区域进行计算，生成含摩尔纹的待测图像；
将所述待测图像送入语义分割网络中进行处理，输出摩尔纹区域、建筑物区域以及其他区域；
将第i帧待测图像与第i+1帧待测图像进行帧差作为第一帧差图像，获取第一特征向量，以所述第一特征向量的最小值所对应的待测图像作为标准图像；所述第一特征向量是由所述第一帧差图像RGB通道的均值与所述第一帧差图像的面积分别乘以各自的权重计算的；
以当前待测图像的摩尔纹区域与所述标准图像的摩尔纹区域之差作为第二帧差图像，获取第二特征变量，根据第二特征变量获取补偿矢量，对所述当前样本图像进行补偿。
2.根据权利要求1所述的一种基于人工智能的无人机果冻效应自适应补偿方法，其特征在于，选取所述边缘像素点最密集的区域的办法为：
建立固定尺寸的滑窗，对所述初始图像进行分析，以锚框数量最多的滑窗作为边缘最密集的区域；所述锚框是指所述建筑物的窗口。
3.根据权利要求1所述的一种基于人工智能的无人机果冻效应自适应补偿方法，其特征在于，选择所述最优sobel算子的方法为：
设置水平方向不变，垂直方向上改变的sobel算子对所述ROI区域进行计算；
将所述ROI区域图像转为HSV空间，计算同一所述sobel算子下对应所述ROI区域的亮度均值，计算多个最大亮度均值与多个最小亮度均值的差值；
选择最大差值对应的所述sobel算子作为所述最优sobel算子。
4.根据权利要求1所述的一种基于人工智能的无人机果冻效应自适应补偿方法，其特征在于，所述第一特征向量的最小值的获取方法为：
设置时间窗口，对视频流中的所有待测图像进行滑窗分析；
求取所述时间窗口内所有待测图像的第一特征变量后计算其平均值，在平均值最小的时间窗口中选取最接近0的第一特征变量的值作为第一特征向量的最小值。
5.根据权利要求1所述的一种基于人工智能的无人机果冻效应自适应补偿方法，其特征在于，所述补偿矢量为：
v＝a·Z′i b+c·Z′i
其中，Z′i为第二特征变量，a,b,c为相应的超参数。
6.一种基于人工智能的无人机果冻效应自适应补偿系统，其特征在于，包括：
图像获取单元，用于利用无人机搭载相机采集样本图像，所述样本图像包含建筑物；
预处理单元，包括初始图象获取模块、待测图像获取模块、语义分割模块，其中：
所述初始图象获取模块，用于对所述样本图像进行边缘检测，获取初始图像；
所述待测图像获取模块，用于选取所述初始图像中边缘像素点最密集的区域，并在所述样本图像中设置相应的ROI区域，用最优sobel算子对所述ROI区域进行计算，生成含摩尔纹的待测图像；
所述语义分割模块，用于将所述待测图像送入语义分割网络中进行处理，输出摩尔纹区域、建筑物区域以及其他区域；
补偿单元，包括标准图像获取模块、补偿矢量获取模块，其中：
所述标准图像获取模块，用于将第i帧待测图像与第i+1帧待测图像进行帧差作为第一帧差图像，获取第一特征向量，以所述第一特征向量的最小值所对应的待测图像作为标准图像；所述第一特征向量是由所述第一帧差图像RGB通道的均值与所述第一帧差图像的面积分别乘以各自的权重计算的；
所述补偿矢量获取模块，用于以当前待测图像的摩尔纹区域与所述标准图像的摩尔纹区域之差作为第二帧差图像，获取第二特征变量，根据第二特征变量获取补偿矢量，对所述当前样本图像进行补偿。
7.根据权利要求6所述的一种基于人工智能的无人机果冻效应自适应补偿系统，其特征在于，所述待测图像获取模块中还包括边缘密集区域获取模块，用于建立固定尺寸的滑窗，对所述初始图像进行分析，以锚框数量最多的滑窗作为边缘最密集的区域；所述锚框是指所述建筑物的窗口。
8.根据权利要求6所述的一种基于人工智能的无人机果冻效应自适应补偿系统，其特征在于，所述待测图像获取模块中还包括最优sobel算子获取模块，用于：
设置水平方向不变，垂直方向上改变的sobel算子对所述ROI区域进行计算；
将所述ROI区域图像转为HSV空间，计算同一所述sobel算子下对应所述ROI区域的亮度均值，计算多个最大亮度均值与多个最小亮度均值的差值；
选择最大差值对应的所述sobel算子作为所述最优sobel算子。
9.根据权利要求6所述的一种基于人工智能的无人机果冻效应自适应补偿系统，其特征在于，所述标准图像获取模块还包括最小第一特征向量获取模块，用于：
设置时间窗口，对视频流中的所有待测图像进行滑窗分析；
求取所述时间窗口内所有待测图像的第一特征变量后计算其平均值，在平均值最小的时间窗口中选取最接近0的第一特征变量的值作为第一特征向量的最小值。
10.根据权利要求6所述的一种基于人工智能的无人机果冻效应自适应补偿系统，其特征在于，所述补偿矢量获取模块中，补偿矢量为：
v＝a·Z′i b+c·Z′i
其中，Z′i为第二特征变量，a,b,c为相应的超参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110070832.0A CN112819710B (zh) | 2021-01-19 | 2021-01-19 | 基于人工智能的无人机果冻效应自适应补偿方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110070832.0A CN112819710B (zh) | 2021-01-19 | 2021-01-19 | 基于人工智能的无人机果冻效应自适应补偿方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112819710A true CN112819710A (zh) | 2021-05-18 |
| CN112819710B CN112819710B (zh) | 2022-08-09 |
Family
ID=75870237
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110070832.0A Active CN112819710B (zh) | 2021-01-19 | 2021-01-19 | 基于人工智能的无人机果冻效应自适应补偿方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112819710B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113470093A (zh) * | 2021-09-01 | 2021-10-01 | 启东市德立神起重运输机械有限公司 | 基于航拍图像处理的视频果冻效应检测方法、装置及设备 |
| CN113570602A (zh) * | 2021-09-24 | 2021-10-29 | 江苏昌存铜业有限公司 | 一种基于人工智能的热轧钢卷卷曲评估方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101123684A (zh) * | 2006-02-01 | 2008-02-13 | 索尼株式会社 | 拍摄图像信号失真补偿方法和装置及图像拍摄方法和装置 |
| CN104869310A (zh) * | 2015-05-18 | 2015-08-26 | 成都平行视野科技有限公司 | 基于移动设备gpu和角速度传感器的视频拍摄防抖方法 |
| WO2017206079A1 (zh) * | 2016-05-31 | 2017-12-07 | 深圳曼塔智能科技有限公司 | 一种无人机及其影像防抖装置和方法 |
| WO2018000380A1 (zh) * | 2016-06-30 | 2018-01-04 | 华为技术有限公司 | 终端的相机模组的偏角检测方法、抖动补偿方法及装置 |
| CN108462838A (zh) * | 2018-03-16 | 2018-08-28 | 深圳岚锋创视网络科技有限公司 | 一种全景视频防抖方法、装置及便携式终端 |
| CN108921823A (zh) * | 2018-06-08 | 2018-11-30 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和电子设备 |
| CN109040525A (zh) * | 2018-08-31 | 2018-12-18 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机可读介质及电子设备 |
| CN109712088A (zh) * | 2018-12-14 | 2019-05-03 | 航天恒星科技有限公司 | 一种基于稳像的遥感视频卫星图像处理方法及系统 |
| CN110708458A (zh) * | 2018-07-10 | 2020-01-17 | 杭州海康威视数字技术股份有限公司 | 一种图像帧补偿方法、摄像机和热成像摄像机 |
| CN112132835A (zh) * | 2020-09-30 | 2020-12-25 | 曾忠英 | 基于SeFa和人工智能的光伏轨道相机果冻效应分析方法 |
| CN112184591A (zh) * | 2020-09-30 | 2021-01-05 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于深度学习图像摩尔纹消除的图像复原方法 |
-
2021
- 2021-01-19 CN CN202110070832.0A patent/CN112819710B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101123684A (zh) * | 2006-02-01 | 2008-02-13 | 索尼株式会社 | 拍摄图像信号失真补偿方法和装置及图像拍摄方法和装置 |
| CN104869310A (zh) * | 2015-05-18 | 2015-08-26 | 成都平行视野科技有限公司 | 基于移动设备gpu和角速度传感器的视频拍摄防抖方法 |
| WO2017206079A1 (zh) * | 2016-05-31 | 2017-12-07 | 深圳曼塔智能科技有限公司 | 一种无人机及其影像防抖装置和方法 |
| WO2018000380A1 (zh) * | 2016-06-30 | 2018-01-04 | 华为技术有限公司 | 终端的相机模组的偏角检测方法、抖动补偿方法及装置 |
| CN108462838A (zh) * | 2018-03-16 | 2018-08-28 | 深圳岚锋创视网络科技有限公司 | 一种全景视频防抖方法、装置及便携式终端 |
| CN108921823A (zh) * | 2018-06-08 | 2018-11-30 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和电子设备 |
| CN110708458A (zh) * | 2018-07-10 | 2020-01-17 | 杭州海康威视数字技术股份有限公司 | 一种图像帧补偿方法、摄像机和热成像摄像机 |
| CN109040525A (zh) * | 2018-08-31 | 2018-12-18 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机可读介质及电子设备 |
| CN109712088A (zh) * | 2018-12-14 | 2019-05-03 | 航天恒星科技有限公司 | 一种基于稳像的遥感视频卫星图像处理方法及系统 |
| CN112132835A (zh) * | 2020-09-30 | 2020-12-25 | 曾忠英 | 基于SeFa和人工智能的光伏轨道相机果冻效应分析方法 |
| CN112184591A (zh) * | 2020-09-30 | 2021-01-05 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于深度学习图像摩尔纹消除的图像复原方法 |
Non-Patent Citations (2)
| Title |
|---|
| MUHAMMAD SHARIF ET AL: "Improved Video Stabilization using SIFT-Log Polar Technique for Unmanned Aerial Vehicles", 《2019 INTERNATIONAL CONFERENCE ON COMPUTER AND INFORMATION SCIENCES (ICCIS)》 * |
| 柯斌等: "无人机遥感航拍系统的减震策略分析", 《电脑知识与技术》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113470093A (zh) * | 2021-09-01 | 2021-10-01 | 启东市德立神起重运输机械有限公司 | 基于航拍图像处理的视频果冻效应检测方法、装置及设备 |
| CN113570602A (zh) * | 2021-09-24 | 2021-10-29 | 江苏昌存铜业有限公司 | 一种基于人工智能的热轧钢卷卷曲评估方法 |
| CN113570602B (zh) * | 2021-09-24 | 2021-12-14 | 江苏昌存铜业有限公司 | 一种基于人工智能的热轧钢卷卷曲评估方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112819710B (zh) | 2022-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110570454B (zh) | 一种检测异物入侵的方法及装置 | |
| CN112819710B (zh) | 基于人工智能的无人机果冻效应自适应补偿方法及系统 | |
| CN109034184B (zh) | 一种基于深度学习的均压环检测识别方法 | |
| CN109376641B (zh) | 一种基于无人机航拍视频的运动车辆检测方法 | |
| JP7334432B2 (ja) | 物体追跡装置、監視システムおよび物体追跡方法 | |
| CN104200457A (zh) | 基于广角摄像的离散型冠层叶面积指数检测系统和方法 | |
| CN111462166A (zh) | 一种基于直方图均衡化光流法的视频稳像方法和系统 | |
| CN111709968A (zh) | 一种基于图像处理的低空目标探测跟踪方法 | |
| US20110085026A1 (en) | Detection method and detection system of moving object | |
| CN112767371A (zh) | 一种基于人工智能的可变阻尼调节果冻效应方法及系统 | |
| CN112380961A (zh) | 一种基于人工智能的检测气泡流型评估气密性方法及系统 | |
| CN112712045A (zh) | 基于人工智能的无人机果冻效应严重程度检测方法及系统 | |
| CA2704037A1 (en) | Method for detecting a target | |
| CN107045630B (zh) | 一种基于rgbd的行人检测和身份识别方法及系统 | |
| CN1215286A (zh) | 利用梯度模式匹配的运动补偿装置和方法 | |
| CN113034398A (zh) | 基于人工智能的城市测绘果冻效应消除方法与系统 | |
| CN111145121B (zh) | 一种强化多特征融合的置信项滤波器目标跟踪方法 | |
| KR20040069869A (ko) | 영상신호의 블러링 판단장치 및 방법 | |
| CN112613456A (zh) | 一种基于多帧差分图像累积的小目标检测方法 | |
| CN114091520B (zh) | 一种井工煤矿中工作设备识别与检测的方法与装置 | |
| CN113095214A (zh) | 一种基于人工智能的无人机测绘光学防抖方法及系统 | |
| CN113542588A (zh) | 一种基于视觉显著性的抗干扰电子稳像方法 | |
| JP2021093694A (ja) | 情報処理装置およびその制御方法 | |
| CN112597916B (zh) | 人脸图像抓拍质量分析方法和系统 | |
| CN116665015B (zh) | 一种基于YOLOv5的红外序列图像弱小目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230803 Address after: 450000, Floor 20, Unit 1, Building 7, Lin8, Lvyin Road, High tech Industrial Development Zone, Zhengzhou City, Henan Province Patentee after: Zhengzhou Gaosun Information Technology Co.,Ltd. Address before: Room 195, 18 / F, unit 2, building 6, 221 Jinsuo Road, high tech Industrial Development Zone, Zhengzhou City, Henan Province, 450000 Patentee before: Zhengzhou Kaiwen Electronic Technology Co.,Ltd. |