CN110136104A - 基于无人机地面站的图像处理方法、系统及介质 - Google Patents
基于无人机地面站的图像处理方法、系统及介质 Download PDFInfo
- Publication number
- CN110136104A CN110136104A CN201910340519.7A CN201910340519A CN110136104A CN 110136104 A CN110136104 A CN 110136104A CN 201910340519 A CN201910340519 A CN 201910340519A CN 110136104 A CN110136104 A CN 110136104A
- Authority
- CN
- China
- Prior art keywords
- image
- gaussian
- unmanned aerial
- aerial vehicle
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 229910000831 Steel Inorganic materials 0.000 claims abstract description 30
- 239000010959 steel Substances 0.000 claims abstract description 30
- 238000012216 screening Methods 0.000 claims abstract description 25
- 238000001914 filtration Methods 0.000 claims abstract description 19
- 238000006243 chemical reaction Methods 0.000 claims abstract description 18
- 230000000877 morphologic effect Effects 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 50
- 230000033001 locomotion Effects 0.000 claims description 48
- 238000005260 corrosion Methods 0.000 claims description 43
- 230000007797 corrosion Effects 0.000 claims description 42
- 239000011159 matrix material Substances 0.000 claims description 36
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 30
- 238000001514 detection method Methods 0.000 claims description 26
- 238000004422 calculation algorithm Methods 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000009795 derivation Methods 0.000 claims description 7
- 230000003628 erosive effect Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 abstract description 4
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 229910052742 iron Inorganic materials 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于无人机地面站的图像处理方法、系统及介质，包括：预处理图像获取步骤：根据无人机搭载相机获取实时图像视频，对获得的实时图像视频的单帧画面进行高斯模糊和图像形态学操作，获得滤除图像噪声干扰及局部细节增强后的预处理图像；锈蚀区域初步筛选步骤：根据获得的预处理图像，对预处理图像进行颜色空间RGB到HSV转换，获得颜色空间转换后的图像，根据预设的钢结构锈蚀颜色的阈值范围，对颜色空间转换后的图像进行筛选，获得可能锈蚀区域图像。本发明采用地面站实时获取相图像，数据分辨率较高，无人机搭载摄像头能得到高精度图像，且能根据用户需求进行缩放，数据存贮等。
Description
技术领域
本发明涉及缺陷检测及图像处理技术领域，具体地，涉及基于无人机地面站的图像处理方法、系统及介质。
背景技术
无人机地面站，和无人机进行实时通信的地面设备，地面站可以获得无人机航向，高度，GPS信号强度等关键参数，地面站的主要任务是监控无人机的飞行情况，接收无人机传回的实时遥测数据和对信息进行存储等功能。
在常规高空钢结构表面锈蚀检测中，往往是人工攀爬上去，进行目测。人工检测效率很低，对于工况恶劣或难以攀登的钢结构往往难以直接检测，风险较大。且人工检测依靠双目，可靠程度受环境和个人因素影响，所以在传统钢结构锈蚀检测过程中，人工检测需要花费大量时间和精力且给工作人员带来一定的安全风险。
基于无人机地面站的图像处理系统在钢结构锈蚀检测中，采用无人机拍摄，优势主要体现在以下几个方面：第一：相比于传统目测，数据分辨率较高，无人机搭载摄像头能得到高精度图像，且能根据用户需求进行缩放，数据存贮等。第二：较快的检测速度，只要天气良好，无人机获得起飞权限后即可升空检测，数据实时传回后进行处理。第三：相对于人工检测成本低廉，只需要一台安装地面站的电脑和无人机工作人员即可检测，不需要额外操纵人员，无人机性价比较高，可以节约大量人力物力，提升工作效率。第四：图像处理模块可以根据工况调整后自动标记锈蚀缺陷情况，定位精确，且后续处理可以得到锈蚀面积，锈蚀点距离等信息，采用低成本得到较高的经济效益。
专利文献CN106706663A(申请号：201611073005.2)公开了一种铁塔上金具锈蚀的自动检测识别系统及其识别方法，涉及无人机技术领域，包括带图像采集装置的无人机、地面控制器和上位机，其识别方法为以下步骤：1)所述图像采集装置对铁塔进行拍照，并将图像数据经过所述图像采集模块、图像数据发射模块、图像数据接收模块到所述图传模块；2)所述图传模块通过无线方式将图像数据传给所述上位机；3)所述上位机获取图像的RGB颜色；4)上位机将RGB颜色模型转化为HSI颜色模型；5)指定HSI颜色的阈值范围；6)判断图像的HSI颜色距离是否在步骤5)指定的范围内；7)范围内的点显示为黑色，不在范围内的点显示为白色。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于无人机地面站的图像处理方法、系统及介质。
根据本发明提供的一种基于无人机地面站的图像处理方法，包括：
预处理图像获取步骤：根据无人机搭载相机获取实时图像视频，对获得的实时图像视频的单帧画面进行高斯模糊和图像形态学操作，获得滤除图像噪声干扰及局部细节增强后的预处理图像；
锈蚀区域初步筛选步骤：根据获得的预处理图像，对预处理图像进行颜色空间RGB到HSV转换，获得颜色空间转换后的图像，根据预设的钢结构锈蚀颜色的阈值范围，对颜色空间转换后的图像进行筛选，获得可能锈蚀区域图像；
运动视差法线索获取步骤：根据获得的可能锈蚀区域图像，采用加速稳健特征算法对相邻两帧的可能锈蚀区域图像进行物体匹配，获得相邻两帧预处理图像之间物体的移动距离，所述移动距离即为运动视差法线索；
真实区域获取步骤：根据获得的颜色阈值匹配结果及运动视差法线索，采用运动视差法进行二次筛选，排除远处背景误差对钢结构锈蚀检测影响，获得真实锈蚀区域图像。
优选地，所述预处理图像获取步骤：
所述图像形态学操作为腐蚀处理。
优选地，所述运动视差法线索获取步骤：
所述加速稳健特征算法如下：
在构造Hessian矩阵前，对输入的图像进行高斯滤波，获得高斯滤波后的图像，满足特征点具备尺度无关性要求，L(x,t)为图像在不同解析度下的表示，I(x,t)为输入图像函数，公式如下所示：
L(x,t)＝G(t)·I(x,t)
其中，
L(x,t)表示图像在不同解析度下的表示；
I(x,t)表示输入图像函数；
G(t)表示高斯核函数；
t表示高斯方差；
g(t)表示标准高斯函数；
根据获得的高斯滤波后的图像，利用Hessian矩阵来检测特征点，对每一个像素点均可求出Hessian矩阵，Hessian矩阵表达式如下所示：
其中，
H(x,σ)表示每一个像素点的Hessian矩阵；
x表示特征点坐标；
σ表示尺度；
Lxx(x,σ)表示输入图像与高斯二阶微分的卷积；
Lxy(x,σ)表示输入图像与高斯二阶微分的卷积；
Lyy(x,σ)表示输入图像与高斯二阶微分的卷积；
表示求偏导运算符；
g(σ)表示高斯函数；
根据侦测到的各帧中的特征点，获得各帧中的特征点的坐标，计算获得相邻两帧预处理图像之间物体的移动距离。
优选地，所述真实区域获取步骤：
根据获得的颜色阈值匹配结果及相邻两帧预处理图像之间物体的移动距离，采用运动视差法通过分析连续运动场景的多帧图像，进行特征匹配，得到对应物体的运动距离，计算公式如下：
d1·h1＝d2·h2
其中，
d1、d2分别代表前后两帧物体与相机焦点的距离，即物距；
z1、z2分别表示前后两帧物体在摄像机成的像与焦点之间的距离；
f表示焦距；
h1、h2分别表示为前后两帧物体在像上的高度；
H为物体的实际高度；
根据物体在相机上成像大小与距离成反比，对相机标定后，根据物体在像上移动距离推算出实际移动距离，即排除远处背景误差对钢结构锈蚀检测影响，获得真实锈蚀区域图像。
根据本发明提供的一种基于无人机地面站的图像处理系统，包括：
预处理图像获取模块：根据无人机搭载相机获取实时图像视频，对获得的实时图像视频的单帧画面进行高斯模糊和图像形态学操作，获得滤除图像噪声干扰及局部细节增强后的预处理图像；
锈蚀区域初步筛选模块：根据获得的预处理图像，对预处理图像进行颜色空间RGB到HSV转换，获得颜色空间转换后的图像，根据预设的钢结构锈蚀颜色的阈值范围，对颜色空间转换后的图像进行筛选，获得可能锈蚀区域图像；
运动视差法线索获取模块：根据获得的可能锈蚀区域图像，采用加速稳健特征算法对相邻两帧的可能锈蚀区域图像进行物体匹配，获得相邻两帧预处理图像之间物体的移动距离，所述移动距离即为运动视差法线索；
真实区域获取模块：根据获得的颜色阈值匹配结果及运动视差法线索，采用运动视差法进行二次筛选，排除远处背景误差对钢结构锈蚀检测影响，获得真实锈蚀区域图像。
优选地，所述预处理图像获取模块：
所述图像形态学操作为腐蚀处理。
优选地，所述运动视差法线索获取模块：
所述加速稳健特征算法包括：
对输入的图像进行高斯滤波，获得高斯滤波后的图像，满足特征点具备尺度无关性要求，L(x,t)为图像在不同解析度下的表示，I(x,t)为输入图像函数，公式如下所示：
L(x,t)＝G(t)·I(x,t)
其中，
L(x,t)表示图像在不同解析度下的表示；
I(x,t)表示输入图像函数；
G(t)表示高斯核函数；
t表示高斯方差；
g(t)表示标准高斯函数。
优选地，所述加速稳健特征算法还包括：
根据获得的高斯滤波后的图像，利用Hessian矩阵来检测特征点，对每一个像素点均可求出Hessian矩阵，Hessian矩阵表达式如下所示：
其中，
H(x,σ)表示每一个像素点的Hessian矩阵；
x表示特征点坐标；
σ表示尺度；
Lxx(x,σ)表示输入图像与高斯二阶微分的卷积；
Lxy(x,σ)表示输入图像与高斯二阶微分的卷积；
Lyy(x,σ)表示输入图像与高斯二阶微分的卷积；
表示求偏导运算符；
g(σ)表示高斯函数；
根据侦测到的各帧中的特征点，获得各帧中的特征点的坐标，计算获得相邻两帧预处理图像之间物体的移动距离。
优选地，所述真实区域获取模块：
根据获得的颜色阈值匹配结果及相邻两帧预处理图像之间物体的移动距离，采用运动视差法通过分析连续运动场景的多帧图像，进行特征匹配，得到对应物体的运动距离，计算公式如下：
d1·h1＝d2·h2
其中，
d1、d2分别代表前后两帧物体与相机焦点的距离，即物距；
z1、z2分别表示前后两帧物体在摄像机成的像与焦点之间的距离；
f表示焦距；
h1、h2分别表示为前后两帧物体在像上的高度；
H为物体的实际高度；
根据物体在相机上成像大小与距离成反比，对相机标定后，根据物体在像上移动距离推算出实际移动距离，即排除远处背景误差对钢结构锈蚀检测影响，获得真实锈蚀区域图像。
一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现上述中任一项所述的基于无人机地面站的图像处理方法的步骤。
与现有技术相比，本发明具有如下的有益效果：
1、本发明采用地面站实时获取相图像，数据分辨率较高，无人机搭载摄像头能得到高精度图像，且能根据用户需求进行缩放，数据存贮等。
2、本发明由无人机代替传统人工检测手段，降低工作风险，减少人力物力投入，提高检测效率。
3、本发明采用颜色特征加运动视差法能较好的检测出腐蚀缺陷位置，同时对于复杂背景下的锈蚀检测，可以提高其可靠性，降低误检测概率。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的优选例提供的地面站软件界面示意图；
图2为本发明的优选例提供的钢结构图像经过处理后在地面站显示界面示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
根据本发明提供的一种基于无人机地面站的图像处理方法，包括：
预处理图像获取步骤：根据无人机搭载相机获取实时图像视频，对获得的实时图像视频的单帧画面进行高斯模糊和图像形态学操作，获得滤除图像噪声干扰及局部细节增强后的预处理图像；
锈蚀区域初步筛选步骤：根据获得的预处理图像，对预处理图像进行颜色空间RGB到HSV转换，获得颜色空间转换后的图像，根据预设的钢结构锈蚀颜色的阈值范围，对颜色空间转换后的图像进行筛选，获得可能锈蚀区域图像；
运动视差法线索获取步骤：根据获得的可能锈蚀区域图像，采用加速稳健特征算法对相邻两帧的可能锈蚀区域图像进行物体匹配，获得相邻两帧预处理图像之间物体的移动距离，所述移动距离即为运动视差法线索；
真实区域获取步骤：根据获得的颜色阈值匹配结果及运动视差法线索，采用运动视差法进行二次筛选，排除远处背景误差对钢结构锈蚀检测影响，获得真实锈蚀区域图像。
优选地，所述预处理图像获取步骤：
所述图像形态学操作为腐蚀处理。
优选地，所述运动视差法线索获取步骤：
所述加速稳健特征算法如下：
在构造Hessian矩阵前，对输入的图像进行高斯滤波，获得高斯滤波后的图像，满足特征点具备尺度无关性要求，L(x,t)为图像在不同解析度下的表示，I(x,t)为输入图像函数，公式如下所示：
L(x,t)＝G(t)·I(x,t)
其中，
L(x,t)表示图像在不同解析度下的表示；
I(x,t)表示输入图像函数；
G(t)表示高斯核函数；
t表示高斯方差；
g(t)表示标准高斯函数；
根据获得的高斯滤波后的图像，利用Hessian矩阵来检测特征点，对每一个像素点均可求出Hessian矩阵，Hessian矩阵表达式如下所示：
其中，
H(x,σ)表示每一个像素点的Hessian矩阵；
x表示特征点坐标；
σ表示尺度；
Lxx(x,σ)表示输入图像与高斯二阶微分的卷积；
Lxy(x,σ)表示输入图像与高斯二阶微分的卷积；
Lyy(x,σ)表示输入图像与高斯二阶微分的卷积；
表示求偏导运算符；
g(σ)表示高斯函数；
根据侦测到的各帧中的特征点，获得各帧中的特征点的坐标，计算获得相邻两帧预处理图像之间物体的移动距离。
优选地，所述真实区域获取步骤：
根据获得的颜色阈值匹配结果及相邻两帧预处理图像之间物体的移动距离，采用运动视差法通过分析连续运动场景的多帧图像，进行特征匹配，得到对应物体的运动距离，计算公式如下：
d1·h1＝d2·h2
其中，
d1、d2分别代表前后两帧物体与相机焦点的距离，即物距；
z1、z2分别表示前后两帧物体在摄像机成的像与焦点之间的距离；
f表示焦距；
h1、h2分别表示为前后两帧物体在像上的高度；
H为物体的实际高度；
根据物体在相机上成像大小与距离成反比，对相机标定后，根据物体在像上移动距离推算出实际移动距离，即排除远处背景误差对钢结构锈蚀检测影响，获得真实锈蚀区域图像。
本发明提供的基于无人机地面站的图像处理系统，可以通过本发明给的基于无人机地面站的图像处理方法的步骤流程实现。本领域技术人员可以将所述基于无人机地面站的图像处理方法，理解为所述基于无人机地面站的图像处理系统的一个优选例。
根据本发明提供的一种基于无人机地面站的图像处理系统，包括：
预处理图像获取模块：根据无人机搭载相机获取实时图像视频，对获得的实时图像视频的单帧画面进行高斯模糊和图像形态学操作，获得滤除图像噪声干扰及局部细节增强后的预处理图像；
锈蚀区域初步筛选模块：根据获得的预处理图像，对预处理图像进行颜色空间RGB到HSV转换，获得颜色空间转换后的图像，根据预设的钢结构锈蚀颜色的阈值范围，对颜色空间转换后的图像进行筛选，获得可能锈蚀区域图像；
运动视差法线索获取模块：根据获得的可能锈蚀区域图像，采用加速稳健特征算法对相邻两帧的可能锈蚀区域图像进行物体匹配，获得相邻两帧预处理图像之间物体的移动距离，所述移动距离即为运动视差法线索；
真实区域获取模块：根据获得的颜色阈值匹配结果及运动视差法线索，采用运动视差法进行二次筛选，排除远处背景误差对钢结构锈蚀检测影响，获得真实锈蚀区域图像。
优选地，所述预处理图像获取模块：
所述图像形态学操作为腐蚀处理。
优选地，所述运动视差法线索获取模块：
所述加速稳健特征算法包括：
对输入的图像进行高斯滤波，获得高斯滤波后的图像，满足特征点具备尺度无关性要求，L(x,t)为图像在不同解析度下的表示，I(x,t)为输入图像函数，公式如下所示：
L(x,t)＝G(t)·I(x，t)
其中，
L(x，t)表示图像在不同解析度下的表示；
I(x，t)表示输入图像函数；
G(t)表示高斯核函数；
t表示高斯方差；
g(t)表示标准高斯函数。
优选地，所述加速稳健特征算法还包括：
根据获得的高斯滤波后的图像，利用Hessian矩阵来检测特征点，对每一个像素点均可求出Hessian矩阵，Hessian矩阵表达式如下所示：
其中，
H(x，σ)表示每一个像素点的Hessian矩阵；
x表示特征点坐标；
σ表示尺度；
Lxx(x，σ)表示输入图像与高斯二阶微分的卷积；
Lxy(x,σ)表示输入图像与高斯二阶微分的卷积；
Lyy(x，σ)表示输入图像与高斯二阶微分的卷积；
表示求偏导运算符；
g(σ)表示高斯函数；
根据侦测到的各帧中的特征点，获得各帧中的特征点的坐标，计算获得相邻两帧预处理图像之间物体的移动距离。
优选地，所述真实区域获取模块：
根据获得的颜色阈值匹配结果及相邻两帧预处理图像之间物体的移动距离，采用运动视差法通过分析连续运动场景的多帧图像，进行特征匹配，得到对应物体的运动距离，计算公式如下：
d1·h1＝d2·h2
其中，
d1、d2分别代表前后两帧物体与相机焦点的距离，即物距；
z1、z2分别表示前后两帧物体在摄像机成的像与焦点之间的距离；
f表示焦距；
h1、h2分别表示为前后两帧物体在像上的高度；
H为物体的实际高度；
根据物体在相机上成像大小与距离成反比，对相机标定后，根据物体在像上移动距离推算出实际移动距离，即排除远处背景误差对钢结构锈蚀检测影响，获得真实锈蚀区域图像。
一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现上述中任一项所述的基于无人机地面站的图像处理方法的步骤。
优选例1：
图1为本发明地面站软件示意图，在显示面板包括无人机航向，高度，速度，GPS卫星星数等关键信息。通过无线数传和无人机通信并实时显示，其中主屏幕上包含无人机拍摄被检测对象图片，图片声呐距离等。
在图片处理阶段，首先进行高斯滤波，这是一种线性平滑滤波，目的是减少图像噪声。原理为模板确定的邻域内像素的加权平均灰度值代替模板中心像素点的值。接下来进行形态学操作：腐蚀erode，目的是消除噪声，放大局部低亮度区域。
然后进行颜色空间转换，RGB来表示颜色虽然方便，但是两个相近的颜色的RGB值却可能相差很大。所以考虑使用HSV颜色空间，对锈蚀红色进行范围阈值筛选。RGB是一种加色模型,就是将不同比例的Red/Green/Blue混合在一起得到新颜色。而HSV空间中，H指色相(0-360°)；S指饱和度(色彩纯度)；指V亮度(即色彩明亮度)。最后进行颜色匹配，HSV空间中，根据腐蚀红色对应的颜色范围，进行阈值化筛选，在图像中显示对应的范围，然后在识别结果中加上矩形框，同样，可以在原图中也显示出腐蚀矩形框识别。
对于背景可能包含一些与锈蚀颜色相近的成分如墙面、土壤等，根据运动视差法，采用SURF特征匹配，获取图片相对深度，筛选剔除背景干扰。运动视差法通过分析连续运动场景的多帧图像，进行特征匹配，得到对应物体的运动距离，对于连续多帧图像，公式如下，其中f为焦距；d为物体到相机的距离；h为物体在像上的高度；H为物体的实际高度。物体在相机上成像大小与距离成反比，且相机标定后，可以根据物体在像上移动距离推算出实际移动距离。
d1·h1＝d2·h2
在特征匹配中，SURF算法利用Hessian矩阵来检测特征点，每一个像素点均可求出Hessian矩阵，表达式如下所示：
其中，x为特征点坐标，σ表示尺度，输入图像与高斯二阶微分的卷积得到Lxx(x,σ)，g(σ)是高斯函数，同理可得到其余Lxy(x,σ),Lyy(x,σ)。然后选用二阶标准高斯函数作为滤波器，通过特定核间的卷积计算二阶偏导得到上述H矩阵。在构造H矩阵前，需要对输入图像进行高斯滤波，满足特征点具备尺度无关性要求，L(x,t)为图像在不同解析度下的表示，I(x,t)为输入图像函数，公式如下所示：
L(x,t)＝G(t)·I(x,t)
SURF算法在匹配过程中，由于匹配图像局部点邻域内信息类似或者视角不同，两幅图像有相似区域，会产生较多误匹配点。本专利根据实际拍摄情况进行二次匹配，改进匹配效果。由于物体运动连续，不会存在突变情况，所以可以根据特征点移动距离与平均移动距离比值大小来判定特征点移动是否突变，从而排除误匹配点。如图2所示，钢结构图像经过处理后在地面站显示界面示意图
优选例2：
一种基于无人机地面站的图像处理系统，其特点在于能够对输入图像进行实时分辨处理，识别钢结构的锈蚀部分。
其特点在于能实时与无人机远程通信，得到无人机返回参数。
其特点在于能实时显示无人机位姿参数等重要数据，同时在线处理无人机拍摄图片，标记钢结构锈蚀情况，显示由声呐获得的深度信息。
所述的图像处理系统，对于锈蚀区域，采用颜色特征进行识别，针对单帧图像处理过程中，首先对其进行滤波和腐蚀的预处理，去除噪声，增强细节，再进行颜色空间转换，由RGB转为HSV，然后根据阈值筛选，提取出锈蚀区域位置等信息，得到颜色匹配结果，最终在原图上标记出锈蚀情况。
所述的图像处理系统，在识别区域二次筛选中，采用运动视差法通过分析连续运动场景的多帧图像，进行特征匹配，得到对应物体的运动距离，物体离相机距离指参数d，d1，d2分别代表前后两帧物体与相机焦点的距离(即物距)。而物体的运动距离由前后两帧特征匹配，通过测得移动像素点大小得到，公式如下：
d1·h1＝d2·h2
其中，
f表示焦距；
d表示物体到相机的距离；
h为物体在像上的高度；
H为物体的实际高度；
d1，z1为前一帧的物距和像距(即像离焦点的距离)，d2，z2为后一帧的物距和像距
物体在相机上成像大小与距离成反比，且相机标定后，可以根据物体在像上移动距离推算出实际移动距离，求取实际绝对距离需要相机标定，在本项目中，为计算简便，只需要得到物体移动的相对大小，即通过检测SURF特征点，通过特征点的XY对应坐标相减即可。
在特征匹配中，SURF算法利用Hessian矩阵来检测特征点，每一个像素点均可求出Hessian矩阵，表达式如下所示：
其中，
H(x,σ)表示每一个像素点的Hessian矩阵
x表示特征点坐标；
σ表示尺度；
Lxx(x,σ)表示输入图像(即无人机拍摄的图片)与高斯二阶微分的卷积；
表示求偏导运算符
g(σ)表示高斯函数，同理可得到其余Lxy(x,σ),Lyy(x,σ)。
然后选用二阶标准高斯函数作为滤波器，通过特定核间的卷积计算二阶偏导得到上述H矩阵。在构造H矩阵前，需要对输入图像进行高斯滤波，满足特征点具备尺度无关性要求，L(x,t)为图像在不同解析度下的表示，I(x,t)为输入图像函数，公式如下所示：
L(x,t)＝G(t)·I(x,t)
其中，
L(x,t)表示图像在不同解析度下的表示；
I(x,t)表示输入图像函数；
z1表示前一帧物体在摄像机成的像与焦点之间的距离
z2表示后一帧物体在摄像机成的像与焦点之间的距离
G(t)表示高斯核函数，
t表示高斯方差；
g(t)表示标准高斯函数。
优选例3：
一种基于无人机地面站的图像处理方法：
步骤1：根据无人机搭载相机获取实时图像视频，对实时图像视频的单帧画面进行高斯模糊和图像形态学操作-腐蚀处理，得到滤除图像噪声干扰，局部细节增强的预处理图像；
步骤2：对预处理图像进行颜色空间RGB到HSV转换，根据钢结构锈蚀颜色的阈值范围，筛选出对应可能为锈蚀的区域，该区域为颜色阈值匹配结果；
步骤3：由于图片部分背景颜色与锈蚀颜色接近，仅根据颜色阈值匹配，结果可能产生误判现象，需要基于步骤2已经得到的颜色阈值匹配结果进行识别改进操作，根据SURF(Speeded Up Robust Features,加速稳健特征)算法，该算法在空间中寻找极值点，获取局部性特征。通过局部性特征，能完成两幅图像中的物体匹配。
步骤4：对连续两帧进行SURF物体匹配，可以获得前后两帧之间物体的移动距离，此移动距离即为运动视差法的线索。
步骤5：根据运动视差法，相机移动一定范围，场景中的远处物体视角变化范围小，近处物体视角变化范围较大，即相机移动相同距离，远处静止物体在相机成像上移动距离较小，近处静止物体在相机成像上移动距离较大。基于步骤2得到的颜色阈值匹配结果，在匹配结果区域内，根据步骤4得到的运动视差法线索即物体移动距离，进行二次筛选，排除远处背景误差对钢结构锈蚀检测影响；
步骤6：排除远处背景误差对钢结构锈蚀检测影响后，获得真实锈蚀区域，在图像锈蚀处添加矩形框，达到识别效果的实时显示。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种基于无人机地面站的图像处理方法，其特征在于，包括：
预处理图像获取步骤：根据无人机搭载相机获取实时图像视频，对获得的实时图像视频的单帧画面进行高斯模糊和图像形态学操作，获得滤除图像噪声干扰及局部细节增强后的预处理图像；
锈蚀区域初步筛选步骤：根据获得的预处理图像，对预处理图像进行颜色空间RGB到HSV转换，获得颜色空间转换后的图像，根据预设的钢结构锈蚀颜色的阈值范围，对颜色空间转换后的图像进行筛选，获得可能锈蚀区域图像；
运动视差法线索获取步骤：根据获得的可能锈蚀区域图像，采用加速稳健特征算法对相邻两帧的可能锈蚀区域图像进行物体匹配，获得相邻两帧预处理图像之间物体的移动距离，所述移动距离即为运动视差法线索；
真实区域获取步骤：根据获得的颜色阈值匹配结果及运动视差法线索，采用运动视差法进行二次筛选，排除远处背景误差对钢结构锈蚀检测影响，获得真实锈蚀区域图像。
2.根据权利要求1所述的基于无人机地面站的图像处理方法，其特征在于，所述预处理图像获取步骤：
所述图像形态学操作为腐蚀处理。
3.根据权利要求2所述的基于无人机地面站的图像处理方法，其特征在于，所述运动视差法线索获取步骤：
所述加速稳健特征算法如下：
在构造Hessian矩阵前，对输入的图像进行高斯滤波，获得高斯滤波后的图像，满足特征点具备尺度无关性要求，L(x，t)为图像在不同解析度下的表示，I(x，t)为输入图像函数，公式如下所示：
L(x，t)＝G(t)·I(x,t)
其中，
L(x，t)表示图像在不同解析度下的表示；
I(x，t)表示输入图像函数；
G(t)表示高斯核函数；
t表示高斯方差；
g(t)表示标准高斯函数；
根据获得的高斯滤波后的图像，利用Hessian矩阵来检测特征点，对每一个像素点均可求出Hessian矩阵，Hessian矩阵表达式如下所示：
其中，
H(x，σ)表示每一个像素点的Hessian矩阵；
x表示特征点坐标；
σ表示尺度；
Lxx(x,σ)表示输入图像与高斯二阶微分的卷积；
Lxy(x，σ)表示输入图像与高斯二阶微分的卷积；
Lyy(x,σ)表示输入图像与高斯二阶微分的卷积；
表示求偏导运算符；
g(σ)表示高斯函数；
根据侦测到的各帧中的特征点，获得各帧中的特征点的坐标，计算获得相邻两帧预处理图像之间物体的移动距离。
4.根据权利要求3所述的基于无人机地面站的图像处理方法，其特征在于，所述真实区域获取步骤：
根据获得的颜色阈值匹配结果及相邻两帧预处理图像之间物体的移动距离，采用运动视差法通过分析连续运动场景的多帧图像，进行特征匹配，得到对应物体的运动距离，计算公式如下：
d1·h1＝d2·h2
其中，
d1、d2分别代表前后两帧物体与相机焦点的距离，即物距；
z1、z2分别表示前后两帧物体在摄像机成的像与焦点之间的距离；
f表示焦距；
h1、h2分别表示为前后两帧物体在像上的高度；
H为物体的实际高度；
根据物体在相机上成像大小与距离成反比，对相机标定后，根据物体在像上移动距离推算出实际移动距离，即排除远处背景误差对钢结构锈蚀检测影响，获得真实锈蚀区域图像。
5.一种基于无人机地面站的图像处理系统，其特征在于，包括：
预处理图像获取模块：根据无人机搭载相机获取实时图像视频，对获得的实时图像视频的单帧画面进行高斯模糊和图像形态学操作，获得滤除图像噪声干扰及局部细节增强后的预处理图像；
锈蚀区域初步筛选模块：根据获得的预处理图像，对预处理图像进行颜色空间RGB到HSV转换，获得颜色空间转换后的图像，根据预设的钢结构锈蚀颜色的阈值范围，对颜色空间转换后的图像进行筛选，获得可能锈蚀区域图像；
运动视差法线索获取模块：根据获得的可能锈蚀区域图像，采用加速稳健特征算法对相邻两帧的可能锈蚀区域图像进行物体匹配，获得相邻两帧预处理图像之间物体的移动距离，所述移动距离即为运动视差法线索；
真实区域获取模块：根据获得的颜色阈值匹配结果及运动视差法线索，采用运动视差法进行二次筛选，排除远处背景误差对钢结构锈蚀检测影响，获得真实锈蚀区域图像。
6.根据权利要求5所述的基于无人机地面站的图像处理系统，其特征在于，所述预处理图像获取模块：
所述图像形态学操作为腐蚀处理。
7.根据权利要求6所述的基于无人机地面站的图像处理系统，其特征在于，所述运动视差法线索获取模块：
所述加速稳健特征算法包括：
对输入的图像进行高斯滤波，获得高斯滤波后的图像，满足特征点具备尺度无关性要求，L(x,t)为图像在不同解析度下的表示，I(x，t)为输入图像函数，公式如下所示：
L(x,t)＝G(t)·I(x，t)
其中，
L(x,t)表示图像在不同解析度下的表示；
I(x,t)表示输入图像函数；
G(t)表示高斯核函数；
t表示高斯方差；
g(t)表示标准高斯函数。
8.根据权利要求7所述的基于无人机地面站的图像处理系统，其特征在于，所述加速稳健特征算法还包括：
根据获得的高斯滤波后的图像，利用Hessian矩阵来检测特征点，对每一个像素点均可求出Hessian矩阵，Hessian矩阵表达式如下所示：
其中，
H(x,σ)表示每一个像素点的Hessian矩阵；
x表示特征点坐标；
σ表示尺度；
Lxx(x,σ)表示输入图像与高斯二阶微分的卷积；
Lxy(x,σ)表示输入图像与高斯二阶微分的卷积；
Lyy(x,σ)表示输入图像与高斯二阶微分的卷积；
表示求偏导运算符；
g(σ)表示高斯函数；
根据侦测到的各帧中的特征点，获得各帧中的特征点的坐标，计算获得相邻两帧预处理图像之间物体的移动距离。
9.根据权利要求8所述的基于无人机地面站的图像处理系统，其特征在于，所述真实区域获取模块：
根据获得的颜色阈值匹配结果及相邻两帧预处理图像之间物体的移动距离，采用运动视差法通过分析连续运动场景的多帧图像，进行特征匹配，得到对应物体的运动距离，计算公式如下：
d1·h1＝d2·h2
其中，
d1、d2分别代表前后两帧物体与相机焦点的距离，即物距；
z1、z2分别表示前后两帧物体在摄像机成的像与焦点之间的距离；
f表示焦距；
h1、h2分别表示为前后两帧物体在像上的高度；
H为物体的实际高度；
根据物体在相机上成像大小与距离成反比，对相机标定后，根据物体在像上移动距离推算出实际移动距离，即排除远处背景误差对钢结构锈蚀检测影响，获得真实锈蚀区域图像。
10.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的基于无人机地面站的图像处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910340519.7A CN110136104B (zh) | 2019-04-25 | 2019-04-25 | 基于无人机地面站的图像处理方法、系统及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910340519.7A CN110136104B (zh) | 2019-04-25 | 2019-04-25 | 基于无人机地面站的图像处理方法、系统及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110136104A true CN110136104A (zh) | 2019-08-16 |
| CN110136104B CN110136104B (zh) | 2021-04-13 |
Family
ID=67571189
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910340519.7A Active CN110136104B (zh) | 2019-04-25 | 2019-04-25 | 基于无人机地面站的图像处理方法、系统及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110136104B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114049354A (zh) * | 2022-01-12 | 2022-02-15 | 山东仲良格环保技术有限公司 | 一种基于金属锈蚀程度的除锈剂优化配比方法及系统 |
| WO2024142405A1 (ja) * | 2022-12-28 | 2024-07-04 | 日本電信電話株式会社 | 点検装置、点検方法、及びプログラム |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103901895A (zh) * | 2014-04-18 | 2014-07-02 | 江苏久祥汽车电器集团有限公司 | 一种基于无极FastSLAM算法和匹配优化目标定位方法及机器人 |
| CN104079872A (zh) * | 2014-05-16 | 2014-10-01 | 大连理工大学 | 基于内容的视频图像处理和人机交互方法 |
| CN106940876A (zh) * | 2017-02-21 | 2017-07-11 | 华东师范大学 | 一种基于surf的快速无人机航拍图像拼接算法 |
| CN109376641A (zh) * | 2018-10-16 | 2019-02-22 | 长安大学 | 一种基于无人机航拍视频的运动车辆检测方法 |
-
2019
- 2019-04-25 CN CN201910340519.7A patent/CN110136104B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103901895A (zh) * | 2014-04-18 | 2014-07-02 | 江苏久祥汽车电器集团有限公司 | 一种基于无极FastSLAM算法和匹配优化目标定位方法及机器人 |
| CN104079872A (zh) * | 2014-05-16 | 2014-10-01 | 大连理工大学 | 基于内容的视频图像处理和人机交互方法 |
| CN106940876A (zh) * | 2017-02-21 | 2017-07-11 | 华东师范大学 | 一种基于surf的快速无人机航拍图像拼接算法 |
| CN109376641A (zh) * | 2018-10-16 | 2019-02-22 | 长安大学 | 一种基于无人机航拍视频的运动车辆检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| 尚海兴 等: "无人机低空遥感影像的自动拼接技术研究", 《西北水电》 * |
| 张晓宇 等: "改进的SURF特征提取与匹配算法", 《机械设计与制造工程》 * |
| 贾伟 等: "基于SURF的UAV快速目标识别算法", 《计算机工程与应用》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114049354A (zh) * | 2022-01-12 | 2022-02-15 | 山东仲良格环保技术有限公司 | 一种基于金属锈蚀程度的除锈剂优化配比方法及系统 |
| WO2024142405A1 (ja) * | 2022-12-28 | 2024-07-04 | 日本電信電話株式会社 | 点検装置、点検方法、及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110136104B (zh) | 2021-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115439424B (zh) | 一种无人机航拍视频图像智能检测方法 | |
| CN112793564B (zh) | 一种基于全景鸟瞰图和深度学习的自主泊车辅助系统 | |
| CN110825101B (zh) | 一种基于深度卷积神经网络的无人机自主降落方法 | |
| CN105279372B (zh) | 一种确定建筑物高度的方法和装置 | |
| CN112800860B (zh) | 一种事件相机和视觉相机协同的高速抛撒物检测方法和系统 | |
| US8045761B2 (en) | Detection of environmental conditions in a sequence of images | |
| CN109308447A (zh) | 在电力远程监控中自动提取设备运行参数和运行状态的方法 | |
| CN106682665B (zh) | 一种基于计算机视觉的七段式数显仪表数字识别方法 | |
| CN112149543B (zh) | 一种基于计算机视觉的建筑扬尘识别系统与方法 | |
| KR101796258B1 (ko) | 소형 무인비행체를 이용한 비전 기반의 구조물 안정성 검사 방법 | |
| EP2549759A1 (en) | Method and system for facilitating color balance synchronization between a plurality of video cameras as well as method and system for obtaining object tracking between two or more video cameras | |
| CN112361990B (zh) | 激光图案提取方法、装置、激光测量设备和系统 | |
| CN111709968B (zh) | 一种基于图像处理的低空目标探测跟踪方法 | |
| CN110136104B (zh) | 基于无人机地面站的图像处理方法、系统及介质 | |
| JP7092615B2 (ja) | 影検出装置、影検出方法、影検出プログラム、学習装置、学習方法、及び学習プログラム | |
| CN112927233A (zh) | 一种船用激光雷达与视频联合目标捕捉方法 | |
| CN111368756A (zh) | 一种基于可见光的明火烟雾快速识别方法和系统 | |
| CN115639248A (zh) | 一种用于建筑外墙质量检测的系统及方法 | |
| CN116978009A (zh) | 基于4d毫米波雷达的动态物体滤除方法 | |
| CN117456371B (zh) | 一种组串热斑检测方法、装置、设备及介质 | |
| CN110969135A (zh) | 自然场景中的车标识别方法 | |
| CN109166081B (zh) | 一种视频能见度检测过程中目标亮度调节方法 | |
| US20230051823A1 (en) | Systems, methods, and computer program products for image analysis | |
| CN116228864A (zh) | 一种基于视觉检测的胸环靶弹孔环数读取方法 | |
| CN114332682B (zh) | 一种海上全景去雾目标识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |