CN113470093B - 基于航拍图像处理的视频果冻效应检测方法、装置及设备 - Google Patents

基于航拍图像处理的视频果冻效应检测方法、装置及设备 Download PDF

Info

Publication number
CN113470093B
CN113470093B CN202111022674.8A CN202111022674A CN113470093B CN 113470093 B CN113470093 B CN 113470093B CN 202111022674 A CN202111022674 A CN 202111022674A CN 113470093 B CN113470093 B CN 113470093B
Authority
CN
China
Prior art keywords
area
building
building area
straight line
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111022674.8A
Other languages
English (en)
Other versions
CN113470093A (zh
Inventor
陈筱钰
周瑞丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qidong Delishen Lifting And Transportation Machinery Co Ltd
Original Assignee
Qidong Delishen Lifting And Transportation Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qidong Delishen Lifting And Transportation Machinery Co Ltd filed Critical Qidong Delishen Lifting And Transportation Machinery Co Ltd
Priority to CN202111022674.8A priority Critical patent/CN113470093B/zh
Publication of CN113470093A publication Critical patent/CN113470093A/zh
Application granted granted Critical
Publication of CN113470093B publication Critical patent/CN113470093B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人工智能技术领域，具体涉及一种基于航拍图像处理的视频果冻效应检测方法、装置及设备。该方法采集城市区域的RGB图像和对应的深度图像；利用初始成像面积阈值获取RGB图像中的第一建筑物区域，同时获取深度图像中的第二建筑物区域，对第一建筑物区域和当前第二建筑物区域进行当前区域匹配；对初始成像面积阈值进行更新得到新成像面积阈值，将由新成像面积阈值得到的第一建筑物区域和待匹配的第二建筑物区域进行下一区域匹配；匹配成功时，检测第一建筑物区域的果冻效应量化值以进行修复。通过对初始成像面积阈值更新得到的新成像面积区域来获取初始成像面积阈值遗漏的建筑物区域，以避免果冻效应检测的遗漏，提高对整体图像的修复质量。

Description

基于航拍图像处理的视频果冻效应检测方法、装置及设备
技术领域
本发明涉及人工智能技术领域，具体涉及一种基于航拍图像处理的视频果冻效应检测方法、装置及设备。
背景技术
果冻效应的形成是摄影机本身的特性决定的。基于CMOS传感器的相机普遍使用卷帘快门，且通过图像传感器逐行曝光的方式实现的。在曝光开始的时候，图像传感器逐行扫描进行逐行曝光，直至所有像素点都被曝光。如果被拍摄的物体相对于相机高速运动或快速振动时，用卷帘快门进行逐行扫描的速度不够，进而导致拍摄结果可能出现“倾斜”、“摇摆不定”或“部分曝光”等情况。
目前，为了消除果冻效应带来的影响，利用参考图像对采集的RGB图像进行特征点匹配，进而根据匹配成功的特征点所对应的区域进行图像恢复。
发明人在实践中，发现上述现有技术存在以下缺陷：采集的RGB图像中特征点对应的区域都是特定成像面积大小对应的区域，但是只检测特定成像面积对应的区域，会忽略其他区域的果冻效应的检测以及恢复，进而影响整张图像的果冻效应的恢复，导致图像恢复结果的质量差。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于航拍图像处理的视频果冻效应检测方法、装置及设备，所采用的技术方案具体如下：
第一方面，本发明一个实施例提供了一种基于航拍图像处理的视频果冻效应检测方法，该方法包括：
对城市区域进行图像采集，获取所述城市区域的RGB图像及对应的深度图像；
根据建筑物区域的初始成像面积阈值获取所述RGB图像中的第一建筑物区域；将所述深度图像通过关键点检测网络得到每条边缘直线的端点，对所述端点进行聚类得到所述深度图像中的第二建筑物区域；根据所述第一建筑物区域和当前第二建筑物区域的质心坐标得到的相似度进行当前区域匹配；
结合所述初始成像面积阈值对应的深度距离、所述初始成像面积阈值和待匹配的所述第二建筑物区域的平均深度信息得到新成像面积阈值；将由所述新成像面积阈值得到的所述第一建筑物区域和待匹配的所述第二建筑物区域进行所述相似度计算以完成下一区域匹配；
在所述区域匹配成功时，根据所述第一建筑物区域和所述第二建筑物区域中直线的密度分布差异指标进行直线匹配以得到多个直线匹配集合；根据所述直线匹配集合中所述直线的长度差值得到所述第一建筑物区域的果冻效应量化值，进而根据所述果冻效应量化值对所述第一建筑物区域进行修复。
进一步地，所述新成像面积阈值的优化方法，包括：
根据所述当前同区域匹配成功的所述当前第二建筑物区域和待匹配的所述第二建筑物区域的所述质心坐标得到坐标差值，基于所述坐标差值来修正所述新成像面积阈值。
进一步地，所述根据建筑物区域的初始成像面积阈值获取所述RGB图像中的第一建筑物区域的方法，包括：
对所述RGB图像进行连通域分析得到多个建筑物目标区域；
将大于或等于所述初始成像面积阈值的所述建筑物目标区域作为所述第一建筑物区域。
进一步地，所述获取所述RGB图像中的第一建筑物区域的优化方法，包括：
对所述第一建筑物区域进行直线提取，当提取的直线数量大于或等于直线数量阈值时，保留所述第一建筑物区域。
进一步地，所述第一建筑物区域的所述质心坐标的获取方法，包括：
获取所述第一建筑物区域的所述连通域的最小外接圆，将所述最小外接圆的圆心坐标作为所述第一建筑物区域的第一质心坐标。
进一步地，所述第二建筑物区域的所述质心坐标的获取方法，包括：
所述聚类后得到多个簇，且每个所述簇为一个所述第二建筑物区域，将每个所述簇的核心坐标作为所述第二建筑物区域的第二质心坐标。
进一步地，所述初始成像面积阈值的获取方法，包括：
设定所述建筑物区域距离相机的所述深度距离，选择所述深度距离下对应的所述第二建筑物区域的最小面积为所述初始成像面积阈值。
进一步地，所述根据所述第一建筑物区域和所述第二建筑物区域中直线的密度分布差异指标进行直线匹配以得到多个直线匹配集合的方法，包括：
选取所述第一建筑物区域内的任意一条直线为第一待匹配直线，计算所述第一待匹配直线与其他直线之间的第一直线距离集合；
选取所述第二建筑物区域内的任意一条直线为第二待匹配直线，计算所述第二待匹配直线与其他直线之间的第二直线距离集合；
计算所述第一直线距离集合和所述第二直线距离集合之间的距离差值以得到所述密度分布差异指标；
当所述密度分布差异指标小于或等于所述差异指标阈值时，确认所述第一待匹配直线和所述第二待匹配直线为同一直线。
第二方面，本发明另一个实施例提供了一种基于航拍图像处理的视频果冻效应检测装置，该装置包括：
图像采集单元，用于对城市区域进行图像采集，获取所述城市区域的RGB图像及对应的深度图像；
第一区域匹配单元，用于根据建筑物区域的初始成像面积阈值获取所述RGB图像中的第一建筑物区域；将所述深度图像通过关键点检测网络得到每条边缘直线的端点，对所述端点进行聚类得到所述深度图像中的第二建筑物区域；根据所述第一建筑物区域和当前第二建筑物区域的质心坐标得到的相似度进行当前区域匹配；
第二区域匹配单元，用于结合所述初始成像面积阈值对应的深度距离、所述初始成像面积阈值和待匹配的所述第二建筑物区域的平均深度信息得到新成像面积阈值；将由所述新成像面积阈值得到的所述第一建筑物区域和待匹配的所述第二建筑物区域进行所述相似度计算以完成下一区域匹配；
图像修复单元，用于在所述区域匹配成功时，根据所述第一建筑物区域和所述第二建筑物区域中直线的密度分布差异指标进行直线匹配以得到多个直线匹配集合；根据所述直线匹配集合中所述直线的长度差值得到所述第一建筑物区域的果冻效应量化值，进而根据所述果冻效应量化值对所述第一建筑物区域进行修复。
进一步地，一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一项方法的步骤。
本发明实施例至少存在以下有益效果：通过对建筑物区域的初始成像面积阈值进行更新以得到新成像面积区域，利用新成像面积阈值获取初始成像面积阈值遗漏的建筑物区域，进而对获取到的建筑物区域进行果冻效应的检测，以避免果冻效应检测的遗漏，进而能够提高对整体图像的修复质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于航拍图像处理的视频果冻效应检测方法的步骤流程图；
图2为本发明另一个实施例所提供的一种基于航拍图像处理的视频果冻效应检测装置的结构框图；
图3为本发明实施例所提供的关于一种电子设备的示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于航拍图像处理的视频果冻效应检测方法、装置及设备，其具体实施方式、结构、特征及其作用，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于航拍图像处理的视频果冻效应检测方法、装置及设备的具体方案。
本发明实施例所针对的具体场景为：无人机航拍测绘时通常需要悬停观察周围建筑物的信息，以便用于记录整个城市的地标变化情况。在悬停采集图像的过程中，因为无人机自身的震动导致采集的图像可能会出现果冻效应，所以需要对图像进行果冻效应的检测及恢复。
参照附图1，本发明实施例提供了一种基于航拍图像处理的视频果冻效应检测方法，该方法包括以下具体步骤：
步骤S001，对城市区域进行图像采集，获取城市区域的RGB图像及对应的深度图像。
具体的，无人机航拍时，使用的RGB相机多采用卷帘快门方式进行图像的逐行曝光，而深度相机多采用全局快门，故无人机发生振动现象时，深度相机得到的图像信息几乎不存在果冻效应，RGB相机由于随着无人机快速上下振动，会产生较强程度的果冻效应。
因此，为了获取无果冻效应下城市区域的标准RGB图像和对应的标准深度图像，将相机部署于某栋大楼的楼顶进行城市建筑物拍摄，。
对标准RGB图像进行直线检测，以获取标准RGB图像中建筑物的边缘直线信息，具体过程为：
1）利用canny算子对标准RGB图像进行边缘特征提取以得到边缘图像。
2）使用霍夫直线检测，对得到的边缘图像提取直线特征，获得不同的直线。
需要说明的是，该直线主要由一系列的坐标点构成的集合组成。
3）对于同一条直线的坐标点集合，对每个坐标点进行分析，判断该坐标点是否为该直线的端点，并获取当前直线的斜率信息，判断方法如下：
对当前直线的坐标点集合进行直线拟合，经过直线拟合后，可得到如下公式表达的直线：
Figure DEST_PATH_IMAGE001
其中，
Figure 357158DEST_PATH_IMAGE002
为直线的斜率；
Figure 830865DEST_PATH_IMAGE003
为直线的截距；
Figure 799958DEST_PATH_IMAGE004
为坐标点的横坐标；
Figure 954996DEST_PATH_IMAGE005
为坐标点的纵坐标。
需要说明的是，直线拟合包括最小二乘法、梯度下降法以及牛顿法等，实施者可根据自身需求选择。
选取落于直线上的坐标点集合，在当前直线的坐标点集合中任选一个坐标点，对其八领域进行搜索，如果发现其八领域内存在两个及以上的其它坐标点，则说明该坐标点为非端点，否则说明该坐标点为端点。
进一步地，基于标准RGB图像中建筑物的边缘直线信息，对标准深度图像进行数据标注，具体为：将标准深度图像和标准RGB图像进行对齐操作，使得标准深度图像和标准RGB图像中的各像素点位置相互对应；根据标准RGB图像中直线的端点位置，在标准深度图像中找到对应位置的端点，该端点即为标准深度图像的关键点，对属于同一直线的关键点标注为同一类关键点，若存在C条直线，则关键点类别为C类。
利用标注的标准深度图像训练关键点检测网络，具体训练过程为：
1）将标准深度图像和标签数据集进行归一化处理，使得图像的值域为[0,1]，以便模型更好地收敛。
2）将归一化处理后的标准深度图像通过编码器进行特征提取得到特征图；将特征图通过解码器进行上采样与特征提取得到关键点热力图。
3）网络训练采用的损失函数为交叉熵损失函数。
优选的，本发明实施例中采用编码器-解码器结构的预训练骨干网络，如HRNet、Hourglass。
进一步地，利用无人机对城市进行实时拍摄，当无人机在悬停的状态下时，对城市区域进行实时图像采集，获取城市区域的RGB图像以及对应的深度图像。使用帧差法确定图像中的运动目标区域，所述运动目标包含由于无人机振动导致呈现相对运动的建筑物、树木等目标，以及实际运动的行人、车辆等不断运动的实际目标。而相对于无人机航拍，除建筑物外其它运动物体均为小目标，即使由于无人机航拍的高度问题存在小目标的建筑物，果冻效应对该类小目标建筑物的影响也较小，几乎可以忽略，故本发明实施例只针对大目标物体进行果冻效应分析。
步骤S002，根据建筑物区域的初始成像面积阈值获取RGB图像中的第一建筑物区域；将深度图像通过关键点检测网络得到每条边缘直线的端点，对端点进行聚类得到深度图像中的第二建筑物区域；根据第一建筑物区域和当前第二建筑物区域的质心坐标得到的相似度进行当前区域匹配。
具体的，对连续两帧RGB图像使用帧差法获取目标区域，并对所有目标区域使用连通域分析法，以获取每个目标区域的面积。由于建筑物等大型运动目标的果冻效应更加明显，因此，本发明实施例只针对建筑物区域进行果冻效应分析。
根据先验理论，像素面积较大的目标区域一般为建筑区域，故设定初始成像面积阈值
Figure 755462DEST_PATH_IMAGE006
，将每个目标区域的面积与初始成像面积阈值进行比较，大于或等于该初始成像面积阈值的目标区域作为第一建筑物区域，否则，该目标区域为非第一建筑物区域。
需要说明的是，初始成像面积阈值
Figure 603332DEST_PATH_IMAGE006
为一个经验值，该初始成像面积阈值是根据建筑物区域距离相机的深度距离与建筑物区域在相机中的成像面积设定的。
优选的，本发明实施例中初始成像面积阈值对应的深度距离为
Figure 59721DEST_PATH_IMAGE007
。
由于建筑物为刚体，且含有较为丰富的直线特征，如窗户、阳台等，故，对第一建筑物区域进行直线提取，当提取的直线数量大于或等于直线数量阈值时，保留第一建筑物区域，具体方法为：对确认的第一建筑物区域的连通域设计一个掩膜遮罩，然后与RGB图像进行相乘得到第一建筑物区域在RGB图像中的实际图像，进而对实际图像进行直线检测，以提取第一建筑物区域内的直线特征。设定第一建筑物区域内的直线数量阈值，将小于直线数量阈值的第一建筑物区域舍去，保留大于或等于直线数量阈值的第一建筑物区域。
进一步地，将深度图像通过步骤S001中训练好的关键点检测网络得到建筑物区域中直线的端点，由于直线的密度可以反应其所在的建筑物区域，因此根据端点进行聚类得到深度图像中的第二建筑物区域。
作为一个示例，由于一个关键点类别为一条直线，因此根据检测到的关键点以及关键点类别获取深度图像中各直线。根据直线的端点位置得到该直线的中点位置，对直线的中点进行聚类得到多个簇，其中每个簇代表一个第二建筑物区域。
优选的，本发明实施例采用基于密度的聚类算法进行聚类。
进一步地，将RGB图像中的第一建筑物区域和深度图像中的第二建筑物区域进行当前区域匹配，则匹配过程为：获取第一建筑物区域的连通域的最小外接圆，将最小外接圆的圆心坐标作为第一建筑物区域的第一质心坐标；基于聚类后的每个簇，将每个簇的核心坐标作为第二建筑物区域的第二质心坐标；通过对比第一质心坐标和第二质心坐标得到相似度，进而根据相似度进行当前区域匹配。则，根据第一质心坐标和第二质心坐标得到相似度的公式如下：
Figure 579302DEST_PATH_IMAGE008
其中，
Figure DEST_PATH_IMAGE009
为相似度；
Figure 906378DEST_PATH_IMAGE010
为第一质心坐标的横坐标；为第一质心坐标的纵坐标；为第二质心坐标的横坐标；
Figure 987466DEST_PATH_IMAGE011
为第二质心坐标的纵坐标。
设置相似度阈值
Figure 931152DEST_PATH_IMAGE012
，当相似度
Figure 693571DEST_PATH_IMAGE013
相似度阈值
Figure 671892DEST_PATH_IMAGE012
时，认为该第一建筑物区域和第二建筑物区域为同一区域；否则认为不同区域。
优选的，本发明实施例中相似度阈值
Figure 595985DEST_PATH_IMAGE012
=1.5。
步骤S003，结合初始成像面积阈值对应的深度距离、初始成像面积阈值和待匹配的第二建筑物区域的平均深度信息得到新成像面积阈值；将由新成像面积阈值得到的第一建筑物区域和待匹配的第二建筑物区域进行相似度计算以完成下一区域匹配。
具体的，为了更准确的对深度图像的第二建筑区域与RGB图像的第一建筑区域进行同区域匹配，利用深度图像中第二建筑物区域的深度信息对初始成像面积阈值进行更新以得到新成像面积阈值，进而将由新成像面积阈值得到的第一建筑物区域和待匹配的第二建筑物区域进行相似度计算以完成下一区域匹配。
采用连通域分析方法获取第二建筑物区域的最小外接矩形，并获取最小外接矩形的面积。统计待匹配的第二建筑物区域对应的最小外接矩形中每个像素点的深度信息，进而获取第二建筑物区域中的平均深度信息，将平均深度信息作为该区域的总体深度信息
Figure 26967DEST_PATH_IMAGE014
。
根据相机的成像原理：具有较大深度信息的区域在图像中的成像越小，而具有较小深度信息的区域在图像中的成像越大，因此根据相似三角形的相似性原理知道建筑物在相机中的成像大小与深度信息的比例呈线性关系。故根据第二建筑物区域内的总体深度信息
Figure 389815DEST_PATH_IMAGE014
获取新成像面积阈值，公式如下：
Figure 425904DEST_PATH_IMAGE015
其中，
Figure 317637DEST_PATH_IMAGE016
为新成像面积阈值。
需要说明的是，由于建筑物一般为规则型建筑物，即长方形或正方形，故其面积与深度比例信息的平方呈线性关系。
利用得到的新成像面积阈值获取RGB图像中的第一建筑物区域，计算第一建筑物区域与待匹配的第二建筑物区域之间的相似度，进而根据相似度进行下一区域匹配。
进一步地，根据同区域匹配成功的第二建筑物区域和待匹配的第二建筑物区域的质心坐标得到坐标差值，基于坐标差值来修正新成像面积阈值，具体为：
当匹配成功的第二建筑物区域的第二质心坐标中的纵坐标小于或等于待匹配的第二建筑物区域的第二质心坐标中的纵坐标时，说明待匹配的第二建筑物区域的深度信息小于或等于匹配成功的第二建筑物区域的深度信息，则应增大新成像面积阈值，因此，修正新成像面积阈值的具体公式如下：
Figure DEST_PATH_IMAGE017
其中，
Figure 737379DEST_PATH_IMAGE018
为修正后的新成像面积阈值；
Figure 903918DEST_PATH_IMAGE019
为匹配成功的第二建筑物区域的第二质心坐标中的纵坐标；
Figure 528934DEST_PATH_IMAGE011
为待匹配的第二建筑物区域的第二质心坐标中的纵坐标。
当匹配成功的第二建筑物区域的第二质心坐标中的纵坐标大于待匹配的第二建筑物区域的第二质心坐标中的纵坐标时，说明待匹配的第二建筑物区域的深度信息大于匹配成功的第二建筑物区域的深度信息，则应减小新成像面积阈值，因此，修正新成像面积阈值的具体公式如下：
Figure 653885DEST_PATH_IMAGE020
步骤S004，在区域匹配成功时，根据第一建筑物区域和第二建筑物区域中直线的密度分布差异指标进行直线匹配以得到多个直线匹配集合；根据直线匹配集合中直线的长度差值得到第一建筑物区域的果冻效应量化值，进而根据果冻效应量化值对第一建筑物区域进行修复。
具体的，当图像存在果冻效应时，图像当中的各直线信息往往会出现上下拉伸等现象，而相对的其内部直线的相互位置不会发生较大改变，故对于匹配成功的同建筑物区域使用直线间的位置关系进行相同直线匹配以得到多个直线匹配集合，直线匹配的过程如下：
1）选取第一建筑物区域内的任意一条直线为第一待匹配直线，计算第一待匹配直线和与其平行的其他直线之间的第一直线距离集合。
2）选取第二建筑物区域内的任意一条直线为第二待匹配直线，计算第二待匹配直线和与其平行的其他直线之间的第二直线距离集合。
3）计算第一直线距离集合和第二直线距离集合之间的距离差值以得到密度分布差异指标。
具体为:分别取第一直线距离集合和第二直线距离集合内前三小的第一直线距离和第二直线距离，根据第一直线距离和第二直线距离计算第一待匹配直线和第二待匹配直线之间的密度分布差异指标，即：
Figure 997142DEST_PATH_IMAGE021
其中，
Figure 967372DEST_PATH_IMAGE022
为密度分布差异指标；（
Figure 712474DEST_PATH_IMAGE023
、
Figure 8326DEST_PATH_IMAGE024
、
Figure 838879DEST_PATH_IMAGE025
）分别为前三小的第一直线距离；（
Figure 376914DEST_PATH_IMAGE026
、
Figure 773261DEST_PATH_IMAGE027
、
Figure 443276DEST_PATH_IMAGE028
）分别为前三小的第二直线距离。
4）当密度分布差异指标小于或等于差异指标阈值时，确认第一待匹配直线和第二待匹配直线为同一直线。
设定差异指标阈值，当密度分布差异指标小于或等于差异指标阈值时，认为第一待匹配直线和第二待匹配直线为同一直线；否则，认为第一待匹配直线和第二待匹配直线不是同一直线。
进一步地，根据直线匹配集合中直线的长度差值得到第一建筑物区域的果冻效应量化值，进而根据果冻效应量化值对RGB图像中的每个第一建筑物区域进行修复。
具体过程为：
1）基于匹配成功的直线匹配集合，获取每个直线匹配集合中各直线的长度。
2）考虑到匹配成功的第一建筑物区域和第二建筑物区域中直线的密度分布差异指标和发生差异的直线数量，利用如下公式获取第一建筑物区域中的果冻效应量化值，即：
Figure 761125DEST_PATH_IMAGE029
其中，
Figure 807579DEST_PATH_IMAGE030
为第
Figure 324011DEST_PATH_IMAGE031
个第一建筑物区域的果冻效应量化值；
Figure 368190DEST_PATH_IMAGE032
为第一建筑物区域内发生差异的直线数量；
Figure 235652DEST_PATH_IMAGE033
为第一建筑物区域中第
Figure 23479DEST_PATH_IMAGE034
条第一直线的长度；
Figure DEST_PATH_IMAGE035
为第二建筑物区域中对应第
Figure 191155DEST_PATH_IMAGE034
条第二直线的长度。
3）设定果冻效应量化阈值
Figure 406236DEST_PATH_IMAGE036
，将RGB图像中每个第一建筑物区域的果冻效应量化值依次与果冻效应量化阈值进行比较，如果果冻效应量化值大于果冻效应量化阈值，认为该第一建筑物区域的果冻效应较为明显，需要进行修复，否则，不需要修复。
综上所述，本发明实施例提供了一种基于航拍图像处理的视频果冻效应检测方法，该方法采集城市区域的RGB图像和对应的深度图像；利用初始成像面积阈值得到RGB图像中的第一建筑物区域，同时利用由关键点检测网络得到的深度图像中每条边缘直线的端点进行聚类，以得到第二建筑物区域，获取第一建筑物区域和当前第二建筑物区域的质心坐标之间的相似度以进行当前区域匹配；利用初始成像面积阈值和待匹配的第二建筑物区域的平均深度信息得到新成像面积阈值，将由新成像面积阈值得到的第一建筑物区域和待匹配的第二建筑物区域进行相似度计算以完成下一区域匹配；在区域匹配成功时，对第一建筑物区域和第二建筑物区域进行直线匹配，根据匹配成功的直线之间的长度差值得到第一建筑物区域的果冻效应量化值，进而根据果冻效应量化值对第一建筑物区域进行修复。通过对建筑物区域的初始成像面积阈值进行更新以得到新成像面积区域，利用新成像面积阈值获取初始成像面积阈值遗漏的建筑物区域，进而对获取到的建筑物区域进行果冻效应的检测，以避免果冻效应检测的遗漏，进而能够提高对整体图像的修复质量。
基于与上述方法相同的发明构思，本发明实施例提供了一种基于航拍图像处理的视频果冻效应检测装置。
参照附图2，本发明实施例提供了一种基于航拍图像处理的视频果冻效应检测装置，该装置具体包括：图像采集单元10、第一区域匹配单元20、第二区域匹配单元30以及图像修复单元40。
图像采集单元10用于对城市区域进行图像采集，获取城市区域的RGB图像及对应的深度图像。
第一区域匹配单元20用于根据建筑物区域的初始成像面积阈值获取RGB图像中的第一建筑物区域；将深度图像通过关键点检测网络得到每条边缘直线的端点，对端点进行聚类得到深度图像中的第二建筑物区域；根据第一建筑物区域和当前第二建筑物区域的质心坐标得到的相似度进行当前区域匹配。
第二区域匹配单元30用于结合初始成像面积阈值对应的深度距离、初始成像面积阈值和待匹配的第二建筑物区域的平均深度信息得到新成像面积阈值；将由新成像面积阈值得到的第一建筑物区域和待匹配的第二建筑物区域进行相似度计算以完成下一区域匹配。
图像修复单元40用于在区域匹配成功时，根据第一建筑物区域和第二建筑物区域中直线的密度分布差异指标进行直线匹配以得到多个直线匹配集合；根据直线匹配集合中直线的长度差值得到第一建筑物区域的果冻效应量化值，进而根据果冻效应量化值对第一建筑物区域进行修复。
进一步地，请参阅附图3，其示出了本发明实施例提供的一种电子设备的示意图。该实施例中的该电子设备包括：处理器、存储器以及存储在所述存储器中并可在处理器上运行的计算机程序。处理器执行所述计算机程序时实现上述一种基于航拍图像处理的视频果冻效应检测方法实施例中的步骤，例如图1所示的步骤。或者，处理器执行计算机程序时实现上述一种基于航拍图像处理的视频果冻效应检测装置实施例中各单元的功能。
示例性的，计算机程序可以被分割成一个或多个单元，其中一个或者多个单元被存储在所述存储器中,并由所述处理器执行,以完成本发明。其中一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序在所述电子设备中的执行过程。
该电子设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述一种电子设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，示意图仅仅是该电子设备的示例，并不构成对该电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如该电子设备还可以包括输入输出设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit,CPU）,还可以是其他通用处理器、数字信号处理器( Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列 (FieldProgrammable Gate Array,FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，该处理器是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于航拍图像处理的视频果冻效应检测方法，其特征在于，该方法包括：
对城市区域进行图像采集，获取所述城市区域的RGB图像及对应的深度图像；
根据建筑物区域的初始成像面积阈值获取所述RGB图像中的第一建筑物区域；将所述深度图像通过关键点检测网络得到每条边缘直线的端点，对所述端点进行聚类得到所述深度图像中的第二建筑物区域；根据所述第一建筑物区域和当前第二建筑物区域的质心坐标得到相似度，根据所述相似度进行当前区域匹配；
结合所述初始成像面积阈值对应的深度距离、所述初始成像面积阈值和待匹配的所述第二建筑物区域的平均深度信息得到新成像面积阈值；将由所述新成像面积阈值得到的所述第一建筑物区域和待匹配的所述第二建筑物区域进行所述相似度计算以完成下一区域匹配；
在所述区域匹配成功时，根据所述第一建筑物区域和所述第二建筑物区域中直线的密度分布差异指标进行直线匹配以得到多个直线匹配集合；根据所述直线匹配集合中所述直线的长度差值得到所述第一建筑物区域的果冻效应量化值，进而根据所述果冻效应量化值对所述第一建筑物区域进行修复。
2.如权利要求1所述的方法，其特征在于，所述新成像面积阈值的优化方法，包括：
根据当前同区域匹配成功的所述当前第二建筑物区域和待匹配的所述第二建筑物区域的所述质心坐标得到坐标差值，基于所述坐标差值来修正所述新成像面积阈值。
3.如权利要求1所述的方法，其特征在于，所述根据建筑物区域的初始成像面积阈值获取所述RGB图像中的第一建筑物区域的方法，包括：
对所述RGB图像进行连通域分析得到多个目标区域；
将大于或等于所述初始成像面积阈值的所述目标区域作为所述第一建筑物区域。
4.如权利要求1所述的方法，其特征在于，所述获取所述RGB图像中的第一建筑物区域的优化方法，包括：
对所述第一建筑物区域进行直线提取，当提取的直线数量大于或等于直线数量阈值时，保留所述第一建筑物区域。
5.如权利要求3所述的方法，其特征在于，所述第一建筑物区域的所述质心坐标的获取方法，包括：
获取所述第一建筑物区域的所述连通域的最小外接圆，将所述最小外接圆的圆心坐标作为所述第一建筑物区域的第一质心坐标。
6.如权利要求1所述的方法，其特征在于，所述第二建筑物区域的所述质心坐标的获取方法，包括：
所述聚类后得到多个簇，且每个所述簇为一个所述第二建筑物区域，将每个所述簇的核心坐标作为所述第二建筑物区域的第二质心坐标。
7.如权利要求1所述的方法，其特征在于，所述初始成像面积阈值的获取方法，包括：
设定所述建筑物区域距离相机的所述深度距离，选择所述深度距离下对应的所述第二建筑物区域的最小面积为所述初始成像面积阈值。
8.如权利要求1所述的方法，其特征在于，所述根据所述第一建筑物区域和所述第二建筑物区域中直线的密度分布差异指标进行直线匹配以得到多个直线匹配集合的方法，包括：
选取所述第一建筑物区域内的任意一条直线为第一待匹配直线，计算所述第一待匹配直线与其他直线之间的第一直线距离集合；
选取所述第二建筑物区域内的任意一条直线为第二待匹配直线，计算所述第二待匹配直线与其他直线之间的第二直线距离集合；
计算所述第一直线距离集合和所述第二直线距离集合之间的距离差值以得到所述密度分布差异指标；
当所述密度分布差异指标小于或等于所述差异指标阈值时，确认所述第一待匹配直线和所述第二待匹配直线为同一直线。
9.一种基于航拍图像处理的视频果冻效应检测装置，其特征在于，该装置包括：
图像采集单元，用于对城市区域进行图像采集，获取所述城市区域的RGB图像及对应的深度图像；
第一区域匹配单元，用于根据建筑物区域的初始成像面积阈值获取所述RGB图像中的第一建筑物区域；将所述深度图像通过关键点检测网络得到每条边缘直线的端点，对所述端点进行聚类得到所述深度图像中的第二建筑物区域；根据所述第一建筑物区域和当前第二建筑物区域的质心坐标得到相似度，根据所述相似度进行当前区域匹配；
第二区域匹配单元，用于结合所述初始成像面积阈值对应的深度距离、所述初始成像面积阈值和待匹配的所述第二建筑物区域的平均深度信息得到新成像面积阈值；将由所述新成像面积阈值得到的所述第一建筑物区域和待匹配的所述第二建筑物区域进行所述相似度计算以完成下一区域匹配；
图像修复单元，用于在所述区域匹配成功时，根据所述第一建筑物区域和所述第二建筑物区域中直线的密度分布差异指标进行直线匹配以得到多个直线匹配集合；根据所述直线匹配集合中所述直线的长度差值得到所述第一建筑物区域的果冻效应量化值，进而根据所述果冻效应量化值对所述第一建筑物区域进行修复。
10.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1
Figure DEST_PATH_IMAGE002
8任意一项所述方法的步骤。
CN202111022674.8A 2021-09-01 2021-09-01 基于航拍图像处理的视频果冻效应检测方法、装置及设备 Active CN113470093B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111022674.8A CN113470093B (zh) 2021-09-01 2021-09-01 基于航拍图像处理的视频果冻效应检测方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111022674.8A CN113470093B (zh) 2021-09-01 2021-09-01 基于航拍图像处理的视频果冻效应检测方法、装置及设备

Publications (2)

Publication Number Publication Date
CN113470093A CN113470093A (zh) 2021-10-01
CN113470093B true CN113470093B (zh) 2021-11-26

Family

ID=77867140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111022674.8A Active CN113470093B (zh) 2021-09-01 2021-09-01 基于航拍图像处理的视频果冻效应检测方法、装置及设备

Country Status (1)

Country Link
CN (1) CN113470093B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114757848B (zh) * 2022-04-28 2022-11-11 宁夏方博科技有限公司 基于人工智能的相机果冻效应检测方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006058945A (ja) * 2004-08-17 2006-03-02 Optex Fa Co Ltd ローリングシャッタ画像の補正方法および装置
EP2747416A3 (en) * 2012-12-18 2017-07-19 OCT Circuit Technologies International Limited Rolling shutter wobble detection and correction
US11132586B2 (en) * 2018-10-29 2021-09-28 Nec Corporation Rolling shutter rectification in images/videos using convolutional neural networks with applications to SFM/SLAM with rolling shutter images/videos
CN112906475B (zh) * 2021-01-19 2022-08-02 郑州凯闻电子科技有限公司 基于人工智能的城市测绘无人机滚动快门成像方法与系统
CN112819710B (zh) * 2021-01-19 2022-08-09 郑州凯闻电子科技有限公司 基于人工智能的无人机果冻效应自适应补偿方法及系统
CN112767371A (zh) * 2021-01-25 2021-05-07 李小红 一种基于人工智能的可变阻尼调节果冻效应方法及系统
CN112946679B (zh) * 2021-02-01 2023-12-22 王栋 一种基于人工智能的无人机测绘果冻效应检测方法及系统
CN113034398A (zh) * 2021-04-01 2021-06-25 桑蓝奇 基于人工智能的城市测绘果冻效应消除方法与系统

Also Published As

Publication number Publication date
CN113470093A (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
CN109934115B (zh) 人脸识别模型的构建方法、人脸识别方法及电子设备
CN106960195B (zh) 一种基于深度学习的人群计数方法及装置
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
JP6482195B2 (ja) 画像認識装置、画像認識方法及びプログラム
CN108229475B (zh) 车辆跟踪方法、系统、计算机设备及可读存储介质
WO2020252974A1 (zh) 一种针对运动状态下的多目标对象追踪方法和装置
CN105930822A (zh) 一种人脸抓拍方法及系统
CN111369495B (zh) 一种基于视频的全景图像的变化检测方法
US20210383166A1 (en) Method and apparatus for context-embedding and region-based object detection
CN110781964A (zh) 一种基于视频图像的人体目标检测方法及系统
CN112001298B (zh) 行人检测方法、装置、电子设备和存储介质
CN110267101B (zh) 一种基于快速三维拼图的无人机航拍视频自动抽帧方法
TWI497449B (zh) 非監督式調適方法與應用其之影像自動分類方法
CN112329881A (zh) 车牌识别模型训练方法、车牌识别方法及装置
CN109242826B (zh) 基于目标检测的移动设备端签状物根数计数方法及系统
CN111695373A (zh) 斑马线的定位方法、系统、介质及设备
CN113470093B (zh) 基于航拍图像处理的视频果冻效应检测方法、装置及设备
CN115063447A (zh) 一种基于视频序列的目标动物运动追踪方法及相关设备
JP7396076B2 (ja) 番号認識装置、方法及び電子機器
CN113034398A (zh) 基于人工智能的城市测绘果冻效应消除方法与系统
CN111476314B (zh) 一种融合光流算法与深度学习的模糊视频检测方法
CN115880643B (zh) 一种基于目标检测算法的社交距离监测方法和装置
WO2024011853A1 (zh) 人体图像质量检测方法、装置、电子设备及存储介质
CN109840498B (zh) 一种实时行人检测方法及神经网络、目标检测层
CN114757848B (zh) 基于人工智能的相机果冻效应检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant