CN112149505A - 基于图像的无人机自主地面污染物定位方法及系统 - Google Patents

基于图像的无人机自主地面污染物定位方法及系统 Download PDF

Info

Publication number
CN112149505A
CN112149505A CN202010863734.8A CN202010863734A CN112149505A CN 112149505 A CN112149505 A CN 112149505A CN 202010863734 A CN202010863734 A CN 202010863734A CN 112149505 A CN112149505 A CN 112149505A
Authority
CN
China
Prior art keywords
angle
coordinate system
contaminant
image
pollutant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010863734.8A
Other languages
English (en)
Other versions
CN112149505B (zh
Inventor
郭君
马华伟
胡笑旋
柏文勇
张任驰
马凯
夏维
靳鹏
罗贺
王国强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202010863734.8A priority Critical patent/CN112149505B/zh
Publication of CN112149505A publication Critical patent/CN112149505A/zh
Application granted granted Critical
Publication of CN112149505B publication Critical patent/CN112149505B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/30—Interpretation of pictures by triangulation
    • G01C11/34—Aerial triangulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Remote Sensing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Astronomy & Astrophysics (AREA)
  • Geometry (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Processing (AREA)

Abstract

本发明实施方式提供一种基于图像的无人机自主地面污染物定位方法及系统，属于无人机技术领域。该方法及系统能够使在确定了污染物在图像中的位置的情况下，进一步基于该位置获取该污染物在实际的地面坐标系中的位置，从而使得无人机在自动飞行的基础上可以自主完成巡检，返回巡检结果，能够大大提升无人机巡检效率。

Description

基于图像的无人机自主地面污染物定位方法及系统
技术领域
本发明涉及无人机技术领域，具体地涉及一种基于图像的无人机自主地面污染物定位方法及系统。
背景技术
随着科学技术的广泛应用，环卫领域开始积极融合科技元素，推动行业的变革，推进环卫自动化、机械化，甚至是智能化。目前环卫巡查主要依靠人力进行，许多地势复杂区域人力巡查十分困难且效率低下，一些卫生死角、偏僻区域难免会被遗漏，危险地形人力巡检也存在安全隐患。无人机凭借高空拍摄、快速部署、使用便捷等优势，能够很好的应对上述问题。在使用无人机进行大范围检测时，查看无人机拍摄画面、识别和分析图像内容依旧由人工完成，使得无人机巡检效率和效果依旧有限。
发明内容
本发明实施方式的目的是提供一种基于图像的无人机自主地面污染物定位方法及系统，该方法及系统能够基于无人机拍摄图像中的污染物和无人机的自身参数确定该污染物在实际地面坐标系中的位置。
为了实现上述目的，本发明实施方式提供一种基于图像的无人机自主地面污染物定位方法，所述方法包括：
以正北方向为y轴的正方向，正东方向为x轴的正方向，建立地面坐标系；
以图像的底部为x轴，图像的左侧边为y轴，建立图像坐标系；
获取无人机的坐标方位角；
根据公式(1)和公式(2)计算所述无人机的倾斜角，其中，所述倾斜角为在所述地面坐标系中，所述无人机的朝向与x轴的正方向的夹角，
Figure BDA0002649040410000021
Figure BDA0002649040410000022
其中，angle_f为所述坐标方位角，angle为所述倾斜角；
根据公式(3)计算差值距离，
Figure BDA0002649040410000023
其中，d1为所述差值距离，x1为所述图像在地面对应的梯形区域的长边的长度，x2为所述梯形区域的短边的长度，yb为在所述图像坐标系中所述污染物的y轴坐标；
根据公式(4)计算在所述地面坐标系中过所述污染物，与所述梯形区域的长边/短边平行且与所述梯形区域的侧边相交的线段的长度，
d2＝2×d1+x2， (4)
其中，d2为在所述地面坐标系中过所述污染物，与所述梯形区域的长边/短边平行且与所述梯形区域的侧边相交的线段的长度；
根据公式(5)计算在所述地面坐标系中所述污染物与所述梯形区域的左侧边在所述长边/短边方向上的距离，
Figure BDA0002649040410000024
其中，d3为在所述地面坐标系中所述污染物与所述梯形区域的左侧边在所述长边/短边方向上的距离，xb为在所述图像坐标系中所述污染物的x轴坐标，xw为所述图像的像素长度；
根据公式(6)计算在所述地面坐标系中所述污染物距离所述短边的距离，
Figure BDA0002649040410000025
其中，d4为在所述地面坐标系中所述污染物距离所述地面梯形区域的短边的距离，y1为所述梯形区域的高度；
根据公式(7)计算在所述地面坐标系中所述污染物与所述无人机在所述梯形区域的高度方向上的距离，
d5＝d+d4， (7)
其中，d5为在所述地面坐标系中所述污染物与所述无人机在所述梯形区域的高度方向上的距离，d为在所述地面坐标系中，所述无人机与所述短边的距离；
判断所述污染物在所述图像的中轴线的左侧或右侧；
在判断所述污染物在右侧的情况下，根据公式(8)计算在所述地面坐标系中所述污染物与所述梯形区域的中轴线的距离，
Figure BDA0002649040410000031
其中，d6为在所述地面坐标系中所述污染物与所述梯形区域的中轴线的距离；
根据公式(9)计算在所述地面坐标系中所述污染物与所述无人机的连线与所述梯形区域的中轴线的夹角，
Figure BDA0002649040410000032
其中，angle_2为在所述地面坐标系中所述污染物与所述无人机的连线与所述梯形区域的中轴线的夹角；
根据公式(10)计算在地面坐标系中所述污染物与所述无人机的连线与x轴的正方向的夹角，
angle_1＝angle_3-angle_2， (10)
其中，angle_1为在地面坐标系中所述污染物与所述无人机的连线与x轴的正方向的夹角，angle_3＝angle；
根据公式(11)至公式(25)计算所述污染物的实际位置的坐标，
若
Figure BDA0002649040410000041
则x＝|xu|，y＝|yu|+d5， (11)
其中，x为在所述地面坐标系中所述实际位置的x轴坐标，y为在所述地面坐标系中所述实际位置的y轴坐标，xu为在所述地面坐标系中所述无人机的x轴坐标，yu为在所述地面坐标系中所述无人机的y轴坐标；
若
Figure BDA0002649040410000042
则x＝|xu|，y＝|yu|-d5， (12)
若
Figure BDA0002649040410000043
则：
Figure BDA0002649040410000044
x＝|xu|+|po|， (14)
y＝|yu|+tan(angle_1)·po， (15)
若
Figure BDA0002649040410000045
且angle_1<π，则：
x＝|xu|+|po|， (16)
y＝|yu|+tan(angle_1)·po， (17)
若
Figure BDA0002649040410000046
且angle_1≥π，则：
x＝|xu|-|po|， (18)
y＝|yu|-tan(angle_1)·po， (19)
若
Figure BDA0002649040410000047
则：
x＝|xu|-|po|， (20)
y＝|yu|-tan(angle_1)·po， (21)
若
Figure BDA0002649040410000048
且
Figure BDA0002649040410000049
则：
x＝|xu|-|po|， (22)
y＝|yu|-tan(angle_1)·po， (23)
若
Figure BDA00026490404100000410
且
Figure BDA00026490404100000411
则：
x＝|xu|+|po|， (24)
y＝|yu|+tan(angle_1)·po， (25)。
在判断所述污染物在所述图像中的左侧的情况下，根据公式(26)计算在所述地面坐标系中所述污染物与所述中轴线的距离，
Figure BDA0002649040410000051
根据公式(27)计算在所述地面坐标系中所述污染物与所述无人机的连线与所述梯形区域的中轴线的夹角，
Figure BDA0002649040410000052
根据公式(28)计算在地面坐标系中所述污染物与所述无人机的连线与x轴的正方向的夹角，
angle_1＝angle_3+angle_2， (28)
根据公式(29)至公式(40)计算所述污染物的实际位置的坐标，
若
Figure BDA0002649040410000053
则x＝|xu|，y＝|yu|+d5， (29)
若
Figure BDA0002649040410000054
则x＝|xu|，y＝|yu|-d5， (30)
若
Figure BDA0002649040410000055
且
Figure BDA0002649040410000056
则：
x＝|xu|+|po|， (31)
y＝|yu|+tan(angle_1)·po， (32)
若
Figure BDA0002649040410000057
且
Figure BDA0002649040410000058
则：
x＝|xu|-|po|， (33)
y＝|yu|-tan(angle_1)·po， (34)
若
Figure BDA0002649040410000059
则：
x＝|xu|-|po|， (35)
y＝|yu|-tan(angle_1)·po， (36)
若
Figure BDA00026490404100000510
且
Figure BDA00026490404100000511
则：
x＝|xu|+|po|， (37)
y＝|yu|+tan(angle_1)·po， (38)
若
Figure BDA0002649040410000061
且
Figure BDA0002649040410000062
则：
x＝|xu|-|po|， (39)
y＝|yu|-tan(angle_1)·po， (40)。
可选地，所述方法进一步包括：
在确定所述实际位置前，根据所述无人机的坐标确定所述无人机处于所述地面坐标系的象限；
根据所述象限对在所述图像坐标系中所述污染物的坐标以及所述无人机的倾斜角进行第一次转换；
在确定所述实际位置后，根据确定的所述象限对所述实际位置的坐标进行第二次转换。
可选地，所述根据所述象限对在所述图像坐标系中所述污染物的坐标以及所述无人机的倾斜角进行第一次转换具体包括：
在所述无人机处于所述地面坐标系的第四象限的情况下，根据公式(41)对所述图像坐标系中所述污染物的坐标进行所述第一次转换，
xb＝xw-xb_1， (41)
其中，xb为第一次转换后在所述图像坐标系中所述污染物的x轴坐标，xb_1第一次转换前在所述图像坐标系中所述污染物的x轴坐标，xw为图像的像素长度；
根据公式(42)对无人机的倾斜角进行转换，
angle＝2π-angle_n， (42)
其中，angle为第一次转换后的倾斜角，angle_n为第一次转换前的倾斜角。
可选地，所述根据确定的所述象限对所述实际位置的坐标进行第二次转换具体包括：
在所述无人机处于所述地面坐标系的第四象限的情况下，根据公式(43)和(44)对所述地面坐标系中污染物的坐标进行所述第二次转换，
xn＝x， (43)
yn＝-y， (44)
其中，x、y分别为第二次转换前的所述污染物的坐标，xn、yn分别为第二次转换后的污染物的坐标。
可选地，所述根据所述象限对在所述图像坐标系中所述污染物的坐标以及所述无人机的倾斜角进行第一次转换具体包括：
在所述无人机处于所述地面坐标系的第二象限的情况下，根据公式(45)对图像坐标系中污染物的坐标进行转换，
xb＝xw-xb_1， (45)
其中，xb为第一次转换后在所述图像坐标系中所述污染物的x轴坐标，xb_1第一次转换前在所述图像坐标系中所述污染物的x轴坐标，xw为图像的像素长度；
根据公式(46)和公式(47)对所述地面坐标系中污染物的坐标进行所述第一次转换，
angle＝π-angle_n，0<angle_n≤π， (46)
angle＝3π-angle_n，π<angle_n≤2π， (47)
其中，angle为第一次转换后的倾斜角，angle_n为第一次转换前的倾斜角。
可选地，所述根据确定的所述象限对所述实际位置的坐标进行第二次转换具体包括：
在所述无人机处于所述地面坐标系的第二象限的情况下，根据公式(48)和公式(49)对所述地面坐标系中所述污染物的坐标进行所述第二次转换，
xn＝-x， (48)
yn＝y， (49)
其中，x、y分别为第二次转换前的所述污染物的坐标，xn、yn分别为第二次转换后的污染物的坐标。
可选地，所述根据所述象限对在所述图像坐标系中所述污染物的坐标以及所述无人机的倾斜角进行第一次转换具体包括：
在确定所述无人机处于所述地面坐标系中的第三象限内的情况下，根据公式(50)和公式(51)对所述倾斜角进行所述第一次转换，
angle＝π+angle_n，0<angle_n≤π， (50)
angle＝angle_n-π，π<dngle_n≤2π， (51)
其中，angle为第一次转换后的倾斜角，angle_n为第一次转换前的倾斜角。
可选地，所述根据确定的所述象限对所述实际位置的坐标进行第二次转换具体包括：
根据公式(52)和公式(53)对所述地面坐标系中所述污染物的坐标进行所述第二次转换，
xn＝-x， (52)
yn＝-y， (53)
其中，x、y分别为第二次转换前的所述污染物的坐标，xn、yn分别为第二次转换后的污染物的坐标。
另一方面，本发明还提供一种基于图像的无人机自主地面污染物定位系统，所述系统包括处理器，所述处理器用于执行如上述任一所述的方法。
再一方面，本发明还提供一种存储介质，所述存储介质存储有指令，所述指令用于被机器读取以使得所述机器执行如上述任一所述的方法。
通过上述技术方案，本发明提供的基于图像的无人机自主地面污染物定位方法及系统通过基于无人机拍摄图像中的污染物和无人机的自身参数确定该污染物在实际地面坐标系中的位置，克服了现有技术中依赖人为确定污染物位置而导致的排查效率低的技术问题，实现了自主定位图像中污染物的技术，使得无人机在自动飞行的基础上可以自主完成巡检，返回巡检结果，能够大大提升无人机巡检效率。
本发明实施方式的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施方式的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施方式，但并不构成对本发明实施方式的限制。在附图中：
图1是根据本发明的一个实施方式的基于图像的无人机自主地面污染物推理及定位方法的流程图；
图2是根据本发明的一个实施方式的基于图像的无人机自主地面污染物推理及定位方法的部分流程图；
图3是根据本发明的一个实施方式的基于图像的无人机自主地面污染物推理及定位方法的部分流程图；
图4是根据本发明的一个实施方式的基于图像的无人机自主地面污染物推理及定位方法的部分流程图；
图5是根据本发明的一个实施方式的基于图像的无人机自主地面污染物推理及定位方法的部分流程图；
图6是根据本发明的一个实施方式的基于图像的无人机自主地面污染物推理及定位方法的部分流程图；
图7是根据本发明的一个实施方式的地面坐标系的示意图；以及
图8是根据本发明的一个实施方式的图像坐标系的示意图。
具体实施方式
以下结合附图对本发明实施方式的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施方式，并不用于限制本发明实施方式。
在本发明实施方式中，在未作相反说明的情况下，使用的方位词如“上、下、顶、底”通常是针对附图所示的方向而言的或者是针对竖直、垂直或重力方向上而言的各部件相互位置关系描述用词。
另外，若本发明实施方式中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施方式之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
如图1所示是根据本发明的一个实施方式的基于图像的无人机自主地面污染物推理及定位方法的流程图。在图1中，该方法可以包括：
在步骤S10中，确定图像中包括污染物的区域。在该实施方式中，发明人考虑到无人机拍摄的图像往往包含众多的元素，其分辨率也较大。因此，可以进一步采用如图2中所示出的步骤来确定该区域。具体地，在图2中，该步骤S10可以进一步包括：
在步骤S20中，在图像中确定出多个候选框。在该步骤中，该多个候选框可以是人为预设的将图像分成多个区域，并基于每个区域进行将进一步划分，从而确定得到。但是，在实施该方法时，发明人发现这样的方式并不能够准确划分图像中元素，从而导致后续的分类器分类时精度较差。因此，在该步骤中，发明人优选地采用Selective Search算法确定该多个候选框。Selective Search算法是一种具有捕捉不同尺度(Capture All Scales)、多样化(Diversification)、快速计算(Fast to Compute)等特点的方法。该方法通过颜色，纹理，大小和形状兼容计算相似区域的分层分组，能够实现对图像中的元素的准确划分，从而提高了后续分类器分类时的精度。
在步骤S21中，将图像输入CNN网络模型中以提取出图像的特征图。其中，该图像为原始的图像，即未经过划分候选框的图像。
在步骤S22中，将候选框映射到特征图中以获得每个候选框在特征图上的patch。
在步骤S23中，将每个patch输入ROI池化层、全连接网络层以及分类器中以确定patch是否对应有污染物。具体地，在该步骤S23中，可以是先将每个patch输入ROI池化层和全连接网络层后可以得到对应的ROI特征向量，再将该ROI特征向量输入分类器。其中，该分类器可以包括至少一层全连接网络层和softmax层。最后根据该分类器的分类结果确定图像中是否包括污染物。以该分类器的分类结果包括4个类别0、1、2、3为例。在该实施方式中，若类别0表示无污染物，其余类别分别对应有污染物1、2、3。那么若分类结果为0，则表示无污染物，而若分类结果为1、2或3，则表示包括污染物。在该实施方式中，考虑到由至少一层全连接网络层和softmax层构成的分类器的分类精度较低，如果采用多分类的机制，则会导致判定的精度较差。因此，该分类器可以优选为二分类器，即分类结果只包括例如0或1，且0表示为无污染物，1表示为包括污染物。
在步骤S24中，在任一patch对应有污染物的情况下，确定图像中包括污染物。
在该实施方式中，进一步地，在确定该图像中包括污染物的情况下，也可以进一步确定该污染物的类型。那么具体地，步骤S10则可以进一步包括如图3中所示出的步骤。在图3中，步骤S10可以包括：
在步骤S30中，在确定图像中包括污染物的情况下，采用回归器调整包含污染物的候选框，其中，回归器包括至少一层全连接网络层和边框回归层。
在步骤S31中，将候选框映射到图像中以提取候选框在图像中对应的目标图像信息。
在步骤S11中，确定区域对应的污染物的类型。基于上述所提取的目标图像信息来对污染物的类型进行匹配的具体方式，可以是本领域人员所知的多种形式。在本发明的一个优选示例中，该步骤S11可以包括4中所示出的步骤。在图4中，该步骤S11可以具体包括：
在步骤S40中，将目标图像信息和预设的(包括多个污染物图像的)数据集输入卷积神经网络中以生成对应的特征向量。
在步骤S41中，将该特征向量L2归一化以嵌入高维空间中。
在步骤S42中，输出距离对比矩阵。其中，该距离对比矩阵可以包括每个目标图像信息与数据集中每种污染物的嵌入向量相似性距离。对于该相似性距离，可以是例如欧式距离等。
在步骤S43中，在距离对比矩阵取相似性距离最小的污染物作为目标图像信息对应的污染物的类型。
另外，在确定图像中包括污染物并且确定了该污染物的类型的情况下，为了便于后台人员能够及时地确定污染物的位置，该方法则可以包括如图5中示出的步骤。与图1中示出的方法的不同之处在于，在图5中，该方法可以进一步包括：
在步骤S12中，根据该区域确定污染物的实际位置。在该实施方式中，该步骤S12可以是如图6中所示出的方法。在图6中，该步骤S12可以具体包括：
在步骤S50中，以正北方向为y轴的正方向，正东方向为x轴的正方向，建立地面坐标系。该地面坐标系可以是例如图7所示。在图7中，x轴/y轴上的长度1可以定义为实际地面的任意长度，例如1m等。
在步骤S51中，以图像的底部为x轴，图像的左侧边为y轴，建立图像坐标系(图像坐标系的原点为该图像左下角的顶点)。该图像坐标系可以是例如图8所示。在图8中，x轴/y轴上的长度1可以定义为实际图像中的任意个数量的像素，例如1个像素等。
在步骤S52中，获取无人机的坐标方位角；
在步骤S53中，根据公式(1)和公式(2)计算无人机的倾斜角，其中，该倾斜角为在地面坐标系中，无人机的朝向与x轴的夹角，
Figure BDA0002649040410000131
Figure BDA0002649040410000132
其中，angle_f为坐标方位角，angle为倾斜角；
在步骤S54中，根据公式(3)计算差值距离，
Figure BDA0002649040410000133
其中，d1为差值距离，x1为图像在地面对应的梯形区域的长边的长度，x2为梯形区域的短边的长度，yb为在图像坐标系中污染物的y轴坐标；
在步骤S55中，根据公式(4)计算在地面坐标系中过污染物，与梯形区域的长边/短边平行且与梯形区域的侧边相交的线段的长度，
d2＝2×d1+x2， (4)
其中，d2为在地面坐标系中过污染物，与梯形区域的长边/短边平行且与梯形区域的侧边相交的线段的长度；
在步骤S56中，根据公式(5)计算在地面坐标系中污染物与梯形区域的左侧边在长边/短边方向上的距离，
Figure BDA0002649040410000134
其中，d3为在地面坐标系中污染物与梯形区域的左侧边在长边/短边方向上的距离，xb为在图像坐标系中污染物的x轴坐标，xw为图像的像素长度；
在步骤S57中，根据公式(6)计算在地面坐标系中污染物距离短边的距离，
Figure BDA0002649040410000141
其中，d4为在地面坐标系中污染物距离地面梯形区域的短边的距离，y1为梯形区域的高度；
在步骤S58中，根据公式(7)计算在地面坐标系中污染物与无人机在梯形区域的高度方向上的距离，
d5＝d+d4， (7)
其中，d5为在地面坐标系中污染物与无人机在梯形区域的高度方向上的距离，d为在地面坐标系中，无人机与短边的距离；
在步骤S59中，判断污染物在图像的中轴线的左侧或右侧；
在步骤S60中，在判断污染物在右侧的情况下，根据公式(8)计算在地面坐标系中污染物与梯形区域的中轴线的距离，
Figure BDA0002649040410000142
其中，d6为在地面坐标系中污染物与梯形区域的中轴线的距离；
在步骤S61中，根据公式(9)计算在地面坐标系中污染物与无人机的连线与梯形区域的中轴线的夹角，
Figure BDA0002649040410000143
其中，angle_2为在地面坐标系中污染物与无人机的连线与梯形区域的中轴线的夹角；
在步骤S62中，根据公式(10)计算在地面坐标系中污染物与无人机的连线与x轴的正方向的夹角，
angle_1＝angle_3-angle_2， (10)
其中，angle_1为在地面坐标系中污染物与无人机的连线与x轴的正方向的夹角，angle_3＝angle；
在步骤S63中，根据公式(11)至公式(25)计算污染物的实际位置的坐标，
若
Figure BDA0002649040410000151
则x＝|xu|，y＝|yu|+d5， (11)
其中，x为在地面坐标系中实际位置的x轴坐标，y为在地面坐标系中实际位置的y轴坐标，xu为在地面坐标系中无人机的x轴坐标，yu为在地面坐标系中无人机的y轴坐标；
若
Figure BDA0002649040410000152
则x＝|xu|，y＝|yu|-d5， (12)
若
Figure BDA0002649040410000153
则：
Figure BDA0002649040410000154
x＝|xu|+|po|， (14)
y＝|yu|+tan(angle_1)·po， (15)
若
Figure BDA0002649040410000155
且angle_1<π，则：
x＝|xu|+|po|， (16)
y＝|yu|+tan(angle_1)·po， (17)
若
Figure BDA0002649040410000156
且angle_1≥π，则：
x＝|xu|-|po|， (18)
y＝|yu|-tan(angle_1)·po， (19)
若
Figure BDA0002649040410000157
则：
x＝|xu|-|po|， (20)
y＝|yu|-tan(angle_1)·po， (21)
若
Figure BDA0002649040410000161
且
Figure BDA0002649040410000162
则：
x＝|xu|-|po|， (22)
y＝|yu|-tan(angle_1)·po， (23)
若
Figure BDA0002649040410000163
且
Figure BDA0002649040410000164
则：
x＝|xu|+|po|， (24)
y＝|yu|+tan(angle_1)·po， (25)。
在步骤S64中，在判断污染物在图像中的左侧的情况下，根据公式(26)计算在地面坐标系中污染物与中轴线的距离，
Figure BDA0002649040410000165
在步骤S65中，根据公式(27)计算在地面坐标系中污染物与无人机的连线与梯形区域的中轴线的夹角，
Figure BDA0002649040410000166
在步骤S66中，根据公式(28)计算在地面坐标系中污染物与无人机的连线与x轴的正方向的夹角，
angle_1＝angle_3+angle_2， (28)
在步骤S67中，根据公式(29)至公式(40)计算污染物的实际位置的坐标，
若
Figure BDA0002649040410000167
则x＝|xu|，y＝|yu|+d5， (29)
若
Figure BDA0002649040410000168
则x＝|xu|，y＝|yu|-d5， (30)
若
Figure BDA0002649040410000169
且
Figure BDA00026490404100001610
则：
x＝|xu|+|po|， (31)
y＝|yu|+tan(angle_1)·po， (32)
若
Figure BDA00026490404100001611
且
Figure BDA00026490404100001612
则：
x＝|xu|-|po|， (33)
y＝|yu|-tan(angle_1)·po， (34)
若
Figure BDA0002649040410000171
则：
x＝|xu|-|po|， (35)
y＝|yu|-tan(angle_1)·po， (36)
若
Figure BDA0002649040410000172
且
Figure BDA0002649040410000173
则：
x＝|xu|+|po|， (37)
y＝|yu|+tan(angle_1)·po， (38)
若
Figure BDA0002649040410000174
且
Figure BDA0002649040410000175
则：
x＝|xu|-|po|， (39)
y＝|yu|-tan(angle_1)·po， (40)。
在该实施方式中，如图6中所示出的方式是基于无人机在地面坐标系中处于第一象限内。这样的方式虽然能够解决该工况下确定污染物的实际位置的技术问题，但是对于无人机处于第一象限外的情况，并无法应对。对此，发明人考虑到如果针对无人机在不同的象限中分别设置对应的方法来确定实际位置，会使得整体算法的复杂度提高，从而对提高设备运行以及内存的负载。因此，发明人在执行如图6所示的方法前，设置了基于不同的象限的特点对图像坐标系中污染物的坐标进行转换的步骤，并在计算出污染物的实际位置后，相应设置了将坐标转换回来的步骤，从而克服了上述的技术问题。具体地，该预处理的步骤可以是例如：
若xu≥0,yu≥0，说明无人机处于地面坐标系中的第一象限内，此时可以不作处理。
若xu≥0,yu<0，说明无人机处于地面坐标系中的第四象限内，此时可以采用公式(41)对图像坐标系中污染物的坐标进行转换，
xb＝xw-xb_1， (41)
其中，xb为转换后在图像坐标系中污染物的x轴坐标，xb_1转换前在图像坐标系中污染物的x轴坐标，xw为图像的像素长度；
根据公式(42)对无人机的倾斜角进行转换，
angle＝2π-angle_n， (42)
其中，angle为转换后的倾斜角，angle_n为转换前的倾斜角。
若xu<0,yu≥0,说明无人机处于地面坐标系中的第二象限内，此时可以采用公式(43)对图像坐标系中污染物的坐标进行转换，
xb＝xw-xb_1， (43)。
进一步地，若0<angle_n≤π，则可以根据公式(44)对无人机的倾斜角进行转换，
angle＝π-angle_n， (44)。
若π<angle_n≤2π，则可以根据公式(45)对无人机的倾斜角进行转换，
angle＝3π-angle_n， (44)。
若xu<0,yu<0,说明无人机处于地面坐标系中的第三象限内，此时不需要对图像坐标系中污染物的坐标进行转换。但进一步地，在0<angle_n≤π的情况下，可以根据公式(45)对无人机的倾斜角进行转换，
angle＝π+angle_n， (45)。
在π<angle_n≤2π的情况下，则可以根据公式(46)对无人机的倾斜角进行转换，
angle＝angle_n-π， (46)。
相对于与该预处理的各个步骤，在计算出实际位置的坐标后，将坐标转换回来的步骤可以是例如：
若xu≥0,yu≥0，说明无人机处于地面坐标系中的第一象限内，此时可以不作处理。
若xu≥0,yu<0，说明无人机处于地面坐标系中的第四象限内，此时可以采用公式(47)和(48)对地面坐标系中污染物的坐标进行转换，
xn＝x， (47)
yn＝-y， (48)
其中，x、y分别为转换前的污染物的坐标，xn、yn分别为转换后的污染物的坐标。
若xu<0,yu≥0，说明无人机处于地面坐标系中的第二象限内。进一步地，若0<angle_n≤π，则可以根据公式(49)和公式(50)对地面坐标系中污染物的坐标进行转换，
xn＝-x， (49)
yn＝y， (50)；
若π<angle_n≤2π，则可以根据公式(51)和公式(52)对地面坐标系中污染物的坐标进行转换，
xn＝-x， (51)
yn＝y， (52)。
若xu<0,yu<0,说明无人机处于地面坐标系中的第三象限内。进一步地，若0<angle_n≤π，则可以根据公式(53)和公式(54)对地面坐标系中污染物的坐标进行转换，
xn＝-x， (53)
yn＝-y， (54)
若π<angle_n≤2π，则可以根据公式(55)和公式(56)对地面坐标系中污染物的坐标进行转换，
xn＝-x， (55)
yn＝-y， (56)。
另一方面，本发明还提供一种基于图像的无人机自主地面污染物推理与定位系统，该系统可以包括处理器，该处理器可以用于执行如上述任一所述的方法。
再一方面，本发明还提供一种存储介质，该存储介质可以存储有指令，该指令可以用于被机器读取以使得所述机器执行如上述任一所述的方法。
通过上述技术方案，本发明提供的基于图像的无人机自主地面污染物推理及定位方法及系统通过针对无人机拍摄的图像来确定巡检的现场是否包括污染物，克服了现有技术中依赖人为筛选污染物而导致的筛选效率低的技术问题，实现了自主筛选和定位图像中污染物的技术，使得无人机在自动飞行的基础上可以自主完成巡检，返回巡检结果，能够大大提升无人机巡检效率。
以上结合附图详细描述了本发明例的可选实施方式，但是，本发明实施方式并不限于上述实施方式中的具体细节，在本发明实施方式的技术构思范围内，可以对本发明实施方式的技术方案进行多种简单变型，这些简单变型均属于本发明实施方式的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施方式对各种可能的组合方式不再另行说明。
本领域技术人员可以理解实现上述实施方式方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个可以是单片机，芯片等或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
此外，本发明实施方式的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施方式的思想，其同样应当视为本发明实施方式所公开的内容。

Claims (10)

1.一种基于图像的无人机自主地面污染物定位方法，其特征在于，所述方法包括：
以正北方向为y轴的正方向，正东方向为x轴的正方向，建立地面坐标系；
以图像的底部为x轴，图像的左侧边为y轴，建立图像坐标系；
获取无人机的坐标方位角；
根据公式(1)和公式(2)计算所述无人机的倾斜角，其中，所述倾斜角为在所述地面坐标系中，所述无人机的朝向与x轴的正方向的夹角，
Figure FDA0002649040400000011
Figure FDA0002649040400000012
其中，angle_f为所述坐标方位角，angle为所述倾斜角；
根据公式(3)计算差值距离，
Figure FDA0002649040400000013
其中，d1为所述差值距离，x1为所述图像在地面对应的梯形区域的长边的长度，x2为所述梯形区域的短边的长度，yb为在所述图像坐标系中所述污染物的y轴坐标；
根据公式(4)计算在所述地面坐标系中过所述污染物，与所述梯形区域的长边/短边平行且与所述梯形区域的侧边相交的线段的长度，
d2＝2×d1+x2， (4)
其中，d2为在所述地面坐标系中过所述污染物，与所述梯形区域的长边/短边平行且与所述梯形区域的侧边相交的线段的长度；
根据公式(5)计算在所述地面坐标系中所述污染物与所述梯形区域的左侧边在所述长边/短边方向上的距离，
Figure FDA0002649040400000014
其中，d3为在所述地面坐标系中所述污染物与所述梯形区域的左侧边在所述长边/短边方向上的距离，xb为在所述图像坐标系中所述污染物的x轴坐标，xw为所述图像的像素长度；
根据公式(6)计算在所述地面坐标系中所述污染物距离所述短边的距离，
Figure FDA0002649040400000021
其中，d4为在所述地面坐标系中所述污染物距离所述地面梯形区域的短边的距离，y1为所述梯形区域的高度；
根据公式(7)计算在所述地面坐标系中所述污染物与所述无人机在所述梯形区域的高度方向上的距离，
d5＝d+d4， (7)
其中，d5为在所述地面坐标系中所述污染物与所述无人机在所述梯形区域的高度方向上的距离，d为在所述地面坐标系中，所述无人机与所述短边的距离；
判断所述污染物在所述图像的中轴线的左侧或右侧；
在判断所述污染物在右侧的情况下，根据公式(8)计算在所述地面坐标系中所述污染物与所述梯形区域的中轴线的距离，
Figure FDA0002649040400000022
其中，d6为在所述地面坐标系中所述污染物与所述梯形区域的中轴线的距离；
根据公式(9)计算在所述地面坐标系中所述污染物与所述无人机的连线与所述梯形区域的中轴线的夹角，
Figure FDA0002649040400000023
其中，angle_2为在所述地面坐标系中所述污染物与所述无人机的连线与所述梯形区域的中轴线的夹角；
根据公式(10)计算在地面坐标系中所述污染物与所述无人机的连线与x轴的正方向的夹角，
angle_1＝angle_3-angle_2， (10)
其中，angle_1为在地面坐标系中所述污染物与所述无人机的连线与x轴的正方向的夹角，angle_3＝angle；
根据公式(11)至公式(25)计算所述污染物的实际位置的坐标，
若
Figure FDA0002649040400000031
则x＝|xu|，y＝|yu|+d5， (11)
其中，x为在所述地面坐标系中所述实际位置的x轴坐标，y为在所述地面坐标系中所述实际位置的y轴坐标，xu为在所述地面坐标系中所述无人机的x轴坐标，yu为在所述地面坐标系中所述无人机的y轴坐标；
若
Figure FDA0002649040400000032
则x＝|xu|，y＝|yu|-d5， (12)
若
Figure FDA0002649040400000033
则：
Figure FDA0002649040400000034
x＝|xu|+|po|， (14)
y＝|yu|+tan(angle_1)·po， (15)
若
Figure FDA0002649040400000035
且angle_1<π，则：
x＝|xu|+|po|， (16)
y＝|yu|+tan(angle_1)·po， (17)
若
Figure FDA0002649040400000036
且angle_1≥π，则：
x＝|xu|-|po|， (18)
y＝|yu|-tan(angle_1)·po， (19)
若
Figure FDA0002649040400000037
则：
x＝|xu|-|po|， (20)
y＝|yu|-tan(angle_1)·po， (21)
若
Figure FDA0002649040400000041
且
Figure FDA0002649040400000042
则：
x＝|xu|-|po|， (22)
y＝|yu|-tan(angle_1)·po， (23)
若
Figure FDA0002649040400000043
且
Figure FDA0002649040400000044
则：
x＝|xu|+|po|， (24)
y＝|yu|+tan(angle_1)·po， (25)。
在判断所述污染物在所述图像中的左侧的情况下，根据公式(26)计算在所述地面坐标系中所述污染物与所述中轴线的距离，
Figure FDA0002649040400000045
根据公式(27)计算在所述地面坐标系中所述污染物与所述无人机的连线与所述梯形区域的中轴线的夹角，
Figure FDA0002649040400000046
根据公式(28)计算在地面坐标系中所述污染物与所述无人机的连线与x轴的正方向的夹角，
angle_1＝angle_3+angle_2， (28)
根据公式(29)至公式(40)计算所述污染物的实际位置的坐标，
若
Figure FDA0002649040400000047
则x＝|xu|，y＝|yu|+d5， (29)
若
Figure FDA0002649040400000048
则x＝|xu|，y＝|yu|-d5， (30)
若
Figure FDA0002649040400000049
且
Figure FDA00026490404000000410
则：
x＝|xu|+|po|， (31)
y＝|yu|+tan(angle_1)·po， (32)
若
Figure FDA0002649040400000051
且
Figure FDA0002649040400000052
则：
x＝|xu|-|po|， (33)
y＝|yn|-tan(angle_1)·po， (34)
若
Figure FDA0002649040400000053
则：
x＝|xu|-|po|， (35)
y＝|yu|-tan(angle_1)·po， (36)
若
Figure FDA0002649040400000054
且
Figure FDA0002649040400000055
则：
x＝|xu|+|po|， (37)
y＝|yu|+tan(angle_1)·po， (38)
若
Figure FDA0002649040400000056
且
Figure FDA0002649040400000057
则：
x＝|xu|-|po|， (39)
y＝|yu|-tan(angle_1)·po， (40)。
2.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
在确定所述实际位置前，根据所述无人机的坐标确定所述无人机处于所述地面坐标系的象限；
根据所述象限对在所述图像坐标系中所述污染物的坐标以及所述无人机的倾斜角进行第一次转换；
在确定所述实际位置后，根据确定的所述象限对所述实际位置的坐标进行第二次转换。
3.根据权利要求2所述的方法，其特征在于，所述根据所述象限对在所述图像坐标系中所述污染物的坐标以及所述无人机的倾斜角进行第一次转换具体包括：
在所述无人机处于所述地面坐标系的第四象限的情况下，根据公式(41)对所述图像坐标系中所述污染物的坐标进行所述第一次转换，
xb＝xw-xb_1， (41)
其中，xb为第一次转换后在所述图像坐标系中所述污染物的x轴坐标，xb_1第一次转换前在所述图像坐标系中所述污染物的x轴坐标，xw为图像的像素长度；
根据公式(42)对无人机的倾斜角进行转换，
angle＝2π-angle_n， (42)
其中，angle为第一次转换后的倾斜角，angle_n为第一次转换前的倾斜角。
4.根据权利要求3所述的方法，其特征在于，所述根据确定的所述象限对所述实际位置的坐标进行第二次转换具体包括：
根据公式(43)和(44)对所述地面坐标系中污染物的坐标进行所述第二次转换，
xn＝x， (43)
yn＝-y， (44)
其中，x、y分别为第二次转换前的所述污染物的坐标，xn、yn分别为第二次转换后的污染物的坐标。
5.根据权利要求2所述的方法，其特征在于，所述根据所述象限对在所述图像坐标系中所述污染物的坐标以及所述无人机的倾斜角进行第一次转换具体包括：
在所述无人机处于所述地面坐标系的第二象限的情况下，根据公式(45)对图像坐标系中污染物的坐标进行转换，
xb＝xw-xb_1， (45)
其中，xb为第一次转换后在所述图像坐标系中所述污染物的x轴坐标，xb_1第一次转换前在所述图像坐标系中所述污染物的x轴坐标，xw为图像的像素长度；
根据公式(46)和公式(47)对所述地面坐标系中污染物的坐标进行所述第一次转换，
angle＝π-angle_n，0<angle_n≤π， (46)
angle＝3π-angle_n，π<angle_n≤2π， (47)
其中，angle为第一次转换后的倾斜角，angle_n为第一次转换前的倾斜角。
6.根据权利要求5所述的方法，其特征在于，所述根据确定的所述象限对所述实际位置的坐标进行第二次转换具体包括：
根据公式(48)和公式(49)对所述地面坐标系中所述污染物的坐标进行所述第二次转换，
xn＝-x， (48)
yn＝y， (49)
其中，x、y分别为第二次转换前的所述污染物的坐标，xn、yn分别为第二次转换后的污染物的坐标。
7.根据权利要求2所述的方法，其特征在于，所述根据所述象限对在所述图像坐标系中所述污染物的坐标以及所述无人机的倾斜角进行第一次转换具体包括：
在确定所述无人机处于所述地面坐标系中的第三象限内的情况下，根据公式(50)和公式(51)对所述倾斜角进行所述第一次转换，
angle＝π+angle_n，0<angle_n≤π， (50)
angle＝angle_n-π，π<angle_n≤2π， (51)
其中，abgle为第一次转换后的倾斜角，abgle_n为第一次转换前的倾斜角。
8.根据权利要求7所述的方法，其特征在于，所述根据确定的所述象限对所述实际位置的坐标进行第二次转换具体包括：
根据公式(52)和公式(53)对所述地面坐标系中所述污染物的坐标进行所述第二次转换，
xn＝-x， (52)
yn＝-y， (53)
其中，x、y分别为第二次转换前的所述污染物的坐标，xn、yn分别为第二次转换后的污染物的坐标。
9.一种基于图像的无人机自主地面污染物定位系统，其特征在于，所述系统包括处理器，所述处理器用于执行如权利要求1至8任一所述的方法。
10.一种存储介质，其特征在于，所述存储介质存储有指令，所述指令用于被机器读取以使得所述机器执行如权利要求1至8任一所述的方法。
CN202010863734.8A 2020-08-25 2020-08-25 基于图像的无人机自主地面污染物定位方法及系统 Active CN112149505B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010863734.8A CN112149505B (zh) 2020-08-25 2020-08-25 基于图像的无人机自主地面污染物定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010863734.8A CN112149505B (zh) 2020-08-25 2020-08-25 基于图像的无人机自主地面污染物定位方法及系统

Publications (2)

Publication Number Publication Date
CN112149505A true CN112149505A (zh) 2020-12-29
CN112149505B CN112149505B (zh) 2023-01-13

Family

ID=73888505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010863734.8A Active CN112149505B (zh) 2020-08-25 2020-08-25 基于图像的无人机自主地面污染物定位方法及系统

Country Status (1)

Country Link
CN (1) CN112149505B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537898A (zh) * 2015-01-08 2015-04-22 西北工业大学 一种空地协同的无人机感知规避系统及其规避方法
CN104914877A (zh) * 2015-07-13 2015-09-16 沈阳飞羽航空科技有限公司 一种轻型无人机自主感知与规避方法
CN108845335A (zh) * 2018-05-07 2018-11-20 中国人民解放军国防科技大学 一种基于图像和导航信息的无人机地面目标定位方法
CN110414334A (zh) * 2019-06-20 2019-11-05 浙江大学 一种基于无人机巡视的智能水质识别方法
CN110758658A (zh) * 2019-11-08 2020-02-07 湘潭大学 一种使用无人机和无人船协同清理水面漂浮垃圾的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537898A (zh) * 2015-01-08 2015-04-22 西北工业大学 一种空地协同的无人机感知规避系统及其规避方法
CN104914877A (zh) * 2015-07-13 2015-09-16 沈阳飞羽航空科技有限公司 一种轻型无人机自主感知与规避方法
CN108845335A (zh) * 2018-05-07 2018-11-20 中国人民解放军国防科技大学 一种基于图像和导航信息的无人机地面目标定位方法
CN110414334A (zh) * 2019-06-20 2019-11-05 浙江大学 一种基于无人机巡视的智能水质识别方法
CN110758658A (zh) * 2019-11-08 2020-02-07 湘潭大学 一种使用无人机和无人船协同清理水面漂浮垃圾的方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SERGEY JATSUN等: "Modeling and control architecture of an autonomous mobile aerial platform for environmental monitoring", 《2019 INTERNATIONAL CONFERENCE ON INFORMATION SYSTEMS AND COMPUTER SCIENCE (INCISCOS)》 *
ZHENGZHONG HUANG等: "Study on Multipoint-Ranging-Target-Positioning Technologies for UAV", 《2019 3RD INTERNATIONAL CONFERENCE ON ELECTRONIC INFORMATION TECHNOLOGY AND COMPUTER ENGINEERING (EITCE)》 *
朱惠民等: "舰炮武器系统的无人机目标侦察模型与误差分析", 《指挥控制与仿真》 *
杨帅等: "无人机图像侦察目标定位方法及精度分析", 《红外技术》 *

Also Published As

Publication number Publication date
CN112149505B (zh) 2023-01-13

Similar Documents

Publication Publication Date Title
Yahyanejad et al. A fast and mobile system for registration of low-altitude visual and thermal aerial images using multiple small-scale UAVs
Zhuang et al. 3-D-laser-based scene measurement and place recognition for mobile robots in dynamic indoor environments
KR102204818B1 (ko) 3d 정렬 알고리즘들을 위한 밸런싱된-프로브 사이트들의 선택
CN111353512B (zh) 障碍物分类方法、装置、存储介质和计算机设备
CN110866871A (zh) 文本图像矫正方法、装置、计算机设备及存储介质
JP5261501B2 (ja) 不変の視覚場面及び物体の認識
CN111461213B (zh) 一种目标检测模型的训练方法、目标快速检测方法
JP7439153B2 (ja) 全方位場所認識のためのリフトされたセマンティックグラフ埋め込み
US8452078B2 (en) System and method for object recognition and classification using a three-dimensional system with adaptive feature detectors
Spezialetti et al. Learning to orient surfaces by self-supervised spherical cnns
CN109214254B (zh) 一种确定机器人位移的方法及装置
CN113888461A (zh) 基于深度学习的小五金件缺陷检测方法、系统及设备
CN111429344A (zh) 基于感知哈希的激光slam闭环检测方法及系统
CN111626241A (zh) 一种人脸检测方法及装置
CN112149505B (zh) 基于图像的无人机自主地面污染物定位方法及系统
CN112149507B (zh) 基于图像的无人机自主地面污染物推理与定位方法及系统
CN113554672B (zh) 一种基于机器视觉的气密性检测中相机位姿检测方法及系统
CN114549825A (zh) 目标检测方法、装置、电子设备与存储介质
EP4222639A1 (en) System and method for visual localization
Pandey et al. Toward mutual information based place recognition
CN112818837A (zh) 一种基于姿态校正和困难样本感知的航拍车辆重识别方法
CN112396556A (zh) 低空机载Lidar地形快速精准信息化的数据记录装置
Yue-hua Image feature extraction for vision-based uav navigation
Lei et al. Radial coverage strength for optimization of multi-camera deployment
CN114155281B (zh) 一种无人机目标跟踪自动初始化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant