CN112149507A - 基于图像的无人机自主地面污染物推理与定位方法及系统 - Google Patents

基于图像的无人机自主地面污染物推理与定位方法及系统 Download PDF

Info

Publication number
CN112149507A
CN112149507A CN202010864844.6A CN202010864844A CN112149507A CN 112149507 A CN112149507 A CN 112149507A CN 202010864844 A CN202010864844 A CN 202010864844A CN 112149507 A CN112149507 A CN 112149507A
Authority
CN
China
Prior art keywords
angle
coordinate system
image
contaminant
pollutant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010864844.6A
Other languages
English (en)
Other versions
CN112149507B (zh
Inventor
郭君
马华伟
胡笑旋
秦雪敏
柏文勇
马凯
夏维
靳鹏
罗贺
王国强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202010864844.6A priority Critical patent/CN112149507B/zh
Publication of CN112149507A publication Critical patent/CN112149507A/zh
Application granted granted Critical
Publication of CN112149507B publication Critical patent/CN112149507B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Astronomy & Astrophysics (AREA)
  • Automation & Control Theory (AREA)
  • Image Processing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明实施方式提供一种基于图像的无人机自主地面污染物推理与定位方法及系统，属于无人机技术领域。所述方法包括：确定所述图像中包括污染物的区域；确定所述区域对应的所述污染物的类型。该方法及系统能够使无人机具备污染物识别的能力，从而在自动飞行的基础上可以自主完成巡检，返回巡检结果，能够大大提升无人机巡检效率。

Description

基于图像的无人机自主地面污染物推理与定位方法及系统
技术领域
本发明涉及无人机技术领域，具体地涉及一种基于图像的无人机自主地面污染物推理与定位方法及系统。
背景技术
随着科学技术的广泛应用，环卫领域开始积极融合科技元素，推动行业的变革，推进环卫自动化、机械化，甚至是智能化。目前环卫巡查主要依靠人力进行，许多地势复杂区域人力巡查十分困难且效率低下，一些卫生死角、偏僻区域难免会被遗漏，危险地形人力巡检也存在安全隐患。无人机凭借高空拍摄、快速部署、使用便捷等优势，能够很好的应对上述问题。在使用无人机进行大范围检测时，查看无人机拍摄画面、识别和分析图像内容依旧由人工完成，使得无人机巡检效率和效果依旧有限。
发明内容
本发明实施方式的目的是提供一种基于图像的无人机自主地面污染物推理及定位方法及系统，该方法及系统能够使无人机具备污染物识别的能力，从而在自动飞行的基础上可以自主完成巡检，返回巡检结果，能够大大提升无人机巡检效率。
为了实现上述目的，本发明实施方式提供一种基于图像的无人机自主地面污染物推理及定位方法，所述方法包括：
确定所述图像中包括污染物的区域；
确定所述区域对应的所述污染物的类型。
可选地，所述确定所述图像中包括污染物的区域具体包括：
在所述图像中确定出多个候选框；
将所述图像输入CNN网络模型中以提取出所述图像的特征图；
将所述候选框映射到所述特征图中以获得每个所述候选框在所述特征图上的patch；
将每个所述patch输入ROI池化层、全连接网络层以及分类器中以确定所述patch是否对应有污染物；
在任一所述patch对应有污染物的情况下，确定所述图像中包括污染物。
可选地，所述在所述图像中确定出多个候选框具体包括：
采用Selective Search算法确定所述候选框。
可选地，所述将每个所述patch输入ROI池化层、全连接网络层以及分类器中以确定所述patch是否对应有污染物具体包括：
将每个所述patch输入ROI池化层和全连接网络层以得到对应的ROI特征向量；
将ROI特征向量输入所述分类器，所述分类器包括至少一层全连接网络层和softmax层；
根据所述分类器的分类结果确定所述图像中是否包括污染物。
可选地，所述确定所述图像中包括污染物的区域包括：
在确定所述图像中包括污染物的情况下，采用回归器调整包含污染物的所述候选框，其中，所述回归器包括至少一层全连接网络层和边框回归层；
将所述候选框映射到所述图像中以提取所述候选框在所述图像中对应的目标图像信息。
可选地，所述确定所述区域对应的所述污染物的类型具体包括：
将所述目标图像信息和预设的数据集输入卷积神经网络中以生成对应的特征向量；
将所述特征向量L2归一化以嵌入高维空间中；
输出距离对比矩阵，其中，所述距离对比矩阵包括每个所述目标图像信息与所述数据集中每种所述污染物的嵌入向量的相似性距离；
在所述距离对比矩阵取相似性距离最小的所述污染物作为所述目标图像信息对应的污染物的类型。
可选地，所述方法进一步包括：
根据所述区域确定所述污染物的实际位置。
可选地，所述根据所述区域确定所述污染物的实际位置具体包括：
以正北方向为y轴的正方向，正东方向为x轴的正方向，建立地面坐标系；
以图像的底部为x轴，图像的左侧边为y轴，建立图像坐标系；
获取无人机的坐标方位角；
根据公式(1)和公式(2)计算所述无人机的倾斜角，其中，所述倾斜角为在所述地面坐标系中，所述无人机的朝向与x轴的夹角，
Figure BDA0002649406530000031
Figure BDA0002649406530000032
其中，angle_f为所述坐标方位角，angle为所述倾斜角；
根据公式(3)计算差值距离，
Figure BDA0002649406530000033
其中，d1为所述差值距离，x1为所述图像在地面对应的梯形区域的长边的长度，x2为所述梯形区域的短边的长度，yb为在所述图像坐标系中所述污染物的y轴坐标；
根据公式(4)计算在所述地面坐标系中过所述污染物，与所述梯形区域的长边/短边平行且与所述梯形区域的侧边相交的线段的长度，
d2＝2×d1+x2， (4)
其中，d2为在所述地面坐标系中过所述污染物，与所述梯形区域的长边/短边平行且与所述梯形区域的侧边相交的线段的长度；
根据公式(5)计算在所述地面坐标系中所述污染物与所述梯形区域的左侧边在所述长边/短边方向上的距离，
Figure BDA0002649406530000041
其中，d3为在所述地面坐标系中所述污染物与所述梯形区域的左侧边在所述长边/短边方向上的距离，xb为在所述图像坐标系中所述污染物的x轴坐标，xw为所述图像的像素长度；
根据公式(6)计算在所述地面坐标系中所述污染物距离所述短边的距离，
Figure BDA0002649406530000042
其中，d4为在所述地面坐标系中所述污染物距离所述地面梯形区域的短边的距离，y1为所述梯形区域的高度；
根据公式(7)计算在所述地面坐标系中所述污染物与所述无人机在所述梯形区域的高度方向上的距离，
d5＝d+d4， (7)
其中，d5为在所述地面坐标系中所述污染物与所述无人机在所述梯形区域的高度方向上的距离，d为在所述地面坐标系中，所述无人机与所述短边的距离；
判断所述污染物在所述图像的中轴线的左侧或右侧；
在判断所述污染物在右侧的情况下，根据公式(8)计算在所述地面坐标系中所述污染物与所述梯形区域的中轴线的距离，
Figure BDA0002649406530000043
其中，d6为在所述地面坐标系中所述污染物与所述梯形区域的中轴线的距离；
根据公式(9)计算在所述地面坐标系中所述污染物与所述无人机的连线与所述梯形区域的中轴线的夹角，
Figure BDA0002649406530000051
其中，angle_2为在所述地面坐标系中所述污染物与所述无人机的连线与所述梯形区域的中轴线的夹角；
根据公式(10)计算在地面坐标系中所述污染物与所述无人机的连线与x轴的正方向的夹角，
angle_1＝angle_3-angle_2， (10)
其中，angle_1为在地面坐标系中所述污染物与所述无人机的连线与x轴的正方向的夹角，angle_3＝angle；
根据公式(11)至公式(25)计算所述污染物的实际位置的坐标，
若
Figure BDA0002649406530000052
则x＝|xu|，y＝|yu|+d5， (11)
其中，x为在所述地面坐标系中所述实际位置的x轴坐标，y为在所述地面坐标系中所述实际位置的y轴坐标，xu为在所述地面坐标系中所述无人机的x轴坐标，yu为在所述地面坐标系中所述无人机的y轴坐标；
若
Figure BDA0002649406530000053
则x＝|xu|，y＝|yu|-d5， (12)
若
Figure BDA0002649406530000054
则：
Figure BDA0002649406530000055
x＝|xu|+|po|， (14)
y＝|yu|+tan(angle_1)·po， (15)
若
Figure BDA0002649406530000056
且angle_1＜π，则：
x＝|xu|+|po|， (16)
y＝|yu|+tan(angle_1)·po， (17)
若
Figure BDA0002649406530000061
且angle_1≥π，则：
x＝|xu|-|po|， (18)
y＝|yu|-tan(angle_1)·po， (19)
若
Figure BDA0002649406530000062
则：
x＝|xu|-|po|， (20)
y＝|yu|-tan(angle_1)·po， (21)
若
Figure BDA0002649406530000063
且
Figure BDA0002649406530000064
则：
x＝|xu|-|po|， (22)
y＝|yu|-tan(angle_1)·po， (23)
若
Figure BDA0002649406530000065
且
Figure BDA0002649406530000066
则：
x＝|xu|+|po|， (24)
y＝|yu|+tan(angle_1)·po， (25)。
在判断所述污染物在所述图像中的左侧的情况下，根据公式(26)计算在所述地面坐标系中所述污染物与所述中轴线的距离，
Figure BDA0002649406530000067
根据公式(27)计算在所述地面坐标系中所述污染物与所述无人机的连线与所述梯形区域的中轴线的夹角，
Figure BDA0002649406530000068
根据公式(28)计算在地面坐标系中所述污染物与所述无人机的连线与x轴的正方向的夹角，
angle_1＝angle_3+angle_2，(28)
根据公式(29)至公式(40)计算所述污染物的实际位置的坐标，
若
Figure BDA0002649406530000069
则x＝|xu|，y＝|yu|+d5， (29)
若
Figure BDA0002649406530000071
则x＝|xu|，y＝|yu|-d5， (30)
若
Figure BDA0002649406530000072
且
Figure BDA0002649406530000073
则：
x＝|xu|+|po|， (31)
y＝|yu|+tan(angle_1)·po， (32)
若
Figure BDA0002649406530000074
且
Figure BDA0002649406530000075
则：
x＝|xu|-|po|， (33)
y＝|yu|-tan(angle_1)·po， (34)
若
Figure BDA0002649406530000076
则：
x＝|xu|-|po|， (35)
y＝|yu|-tan(angle_1)·po， (36)
若
Figure BDA0002649406530000077
且
Figure BDA0002649406530000078
则：
x＝|xu|+|po|， (37)
y＝|yu|+tan(angle_1)·po， (38)
若
Figure BDA0002649406530000079
且
Figure BDA00026494065300000710
则：
x＝|xu|-|po|， (39)
y＝|yu|-tan(angle_1)·po， (40)。
另一方面，本发明还提供一种基于图像的无人机自主地面污染物推理与定位系统，所述系统包括处理器，所述处理器用于执行如上述任一所述的方法。
再一方面，本发明还提供一种存储介质，所述存储介质存储有指令，所述指令用于被机器读取以使得所述机器执行如上述任一所述的方法。
通过上述技术方案，本发明提供的基于图像的无人机自主地面污染物推理及定位方法及系统通过针对无人机拍摄的图像来确定巡检的现场是否包括污染物，克服了现有技术中依赖人为筛选污染物而导致的筛选效率低的技术问题，实现了自主筛选和定位图像中污染物的技术，使得无人机在自动飞行的基础上可以自主完成巡检，返回巡检结果，能够大大提升无人机巡检效率。
本发明实施方式的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施方式的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施方式，但并不构成对本发明实施方式的限制。在附图中：
图1是根据本发明的一个实施方式的基于图像的无人机自主地面污染物推理及定位方法的流程图；
图2是根据本发明的一个实施方式的基于图像的无人机自主地面污染物推理及定位方法的部分流程图；
图3是根据本发明的一个实施方式的基于图像的无人机自主地面污染物推理及定位方法的部分流程图；
图4是根据本发明的一个实施方式的基于图像的无人机自主地面污染物推理及定位方法的部分流程图；
图5是根据本发明的一个实施方式的基于图像的无人机自主地面污染物推理及定位方法的部分流程图；
图6是根据本发明的一个实施方式的基于图像的无人机自主地面污染物推理及定位方法的部分流程图；
图7是根据本发明的一个实施方式的地面坐标系的示意图；以及
图8是根据本发明的一个实施方式的图像坐标系的示意图。
具体实施方式
以下结合附图对本发明实施方式的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施方式，并不用于限制本发明实施方式。
在本发明实施方式中，在未作相反说明的情况下，使用的方位词如“上、下、顶、底”通常是针对附图所示的方向而言的或者是针对竖直、垂直或重力方向上而言的各部件相互位置关系描述用词。
另外，若本发明实施方式中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施方式之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
如图1所示是根据本发明的一个实施方式的基于图像的无人机自主地面污染物推理及定位方法的流程图。在图1中，该方法可以包括：
在步骤S10中，确定图像中包括污染物的区域。在该实施方式中，发明人考虑到无人机拍摄的图像往往包含众多的元素，其分辨率也较大。因此，可以进一步采用如图2中所示出的步骤来确定该区域。具体地，在图2中，该步骤S10可以进一步包括：
在步骤S20中，在图像中确定出多个候选框。在该步骤中，该多个候选框可以是人为预设的将图像分成多个区域，并基于每个区域进行将进一步划分，从而确定得到。但是，在实施该方法时，发明人发现这样的方式并不能够准确划分图像中元素，从而导致后续的分类器分类时精度较差。因此，在该步骤中，发明人优选地采用Selective Search算法确定该多个候选框。Selective Search算法是一种具有捕捉不同尺度(Capture All Scales)、多样化(Diversification)、快速计算(Fast to Compute)等特点的方法。该方法通过颜色，纹理，大小和形状兼容计算相似区域的分层分组，能够实现对图像中的元素的准确划分，从而提高了后续分类器分类时的精度。
在步骤S21中，将图像输入CNN网络模型中以提取出图像的特征图。其中，该图像为原始的图像，即未经过划分候选框的图像。
在步骤S22中，将候选框映射到特征图中以获得每个候选框在特征图上的patch。
在步骤S23中，将每个patch输入ROI池化层、全连接网络层以及分类器中以确定patch是否对应有污染物。具体地，在该步骤S23中，可以是先将每个patch输入ROI池化层和全连接网络层后可以得到对应的ROI特征向量，再将该ROI特征向量输入分类器。其中，该分类器可以包括至少一层全连接网络层和softmax层。最后根据该分类器的分类结果确定图像中是否包括污染物。以该分类器的分类结果包括4个类别0、1、2、3为例。在该实施方式中，若类别0表示无污染物，其余类别分别对应有污染物1、2、3。那么若分类结果为0，则表示无污染物，而若分类结果为1、2或3，则表示包括污染物。在该实施方式中，考虑到由至少一层全连接网络层和softmax层构成的分类器的分类精度较低，如果采用多分类的机制，则会导致判定的精度较差。因此，该分类器可以优选为二分类器，即分类结果只包括例如0或1，且0表示为无污染物，1表示为包括污染物。
在步骤S24中，在任一patch对应有污染物的情况下，确定图像中包括污染物。
在该实施方式中，进一步地，在确定该图像中包括污染物的情况下，也可以进一步确定该污染物的类型。那么具体地，步骤S10则可以进一步包括如图3中所示出的步骤。在图3中，步骤S10可以包括：
在步骤S30中，在确定图像中包括污染物的情况下，采用回归器调整包含污染物的候选框，其中，回归器包括至少一层全连接网络层和边框回归层。
在步骤S31中，将候选框映射到图像中以提取候选框在图像中对应的目标图像信息。
在步骤S11中，确定区域对应的污染物的类型。基于上述所提取的目标图像信息来对污染物的类型进行匹配的具体方式，可以是本领域人员所知的多种形式。在本发明的一个优选示例中，该步骤S11可以包括4中所示出的步骤。在图4中，该步骤S11可以具体包括：
在步骤S40中，将目标图像信息和预设的(包括多个污染物图像的)数据集输入卷积神经网络中以生成对应的特征向量。
在步骤S41中，将该特征向量L2归一化以嵌入高维空间中。
在步骤S42中，输出距离对比矩阵。其中，该距离对比矩阵可以包括每个目标图像信息与数据集中每种污染物的嵌入向量相似性距离。对于该相似性距离，可以是例如欧式距离等。
在步骤S43中，在距离对比矩阵取相似性距离最小的污染物作为目标图像信息对应的污染物的类型。
另外，在确定图像中包括污染物并且确定了该污染物的类型的情况下，为了便于后台人员能够及时地确定污染物的位置，该方法则可以包括如图5中示出的步骤。与图1中示出的方法的不同之处在于，在图5中，该方法可以进一步包括：
在步骤S12中，根据该区域确定污染物的实际位置。在该实施方式中，该步骤S12可以是如图6中所示出的方法。在图6中，该步骤S12可以具体包括：
在步骤S50中，以正北方向为y轴的正方向，正东方向为x轴的正方向，建立地面坐标系。该地面坐标系可以是例如图7所示。在图7中，x轴/y轴上的长度1可以定义为实际地面的任意长度，例如1m等。
在步骤S51中，以图像的底部为x轴，图像的左侧边为y轴，建立图像坐标系(图像坐标系的原点为该图像左下角的顶点)。该图像坐标系可以是例如图8所示。在图8中，x轴/y轴上的长度1可以定义为实际图像中的任意个数量的像素，例如1个像素等。
在步骤S52中，获取无人机的坐标方位角；
在步骤S53中，根据公式(1)和公式(2)计算无人机的倾斜角，其中，该倾斜角为在地面坐标系中，无人机的朝向与x轴的夹角，
Figure BDA0002649406530000121
Figure BDA0002649406530000122
其中，angle_f为坐标方位角，angle为倾斜角；
在步骤S54中，根据公式(3)计算差值距离，
Figure BDA0002649406530000123
其中，d1为差值距离，x1为图像在地面对应的梯形区域的长边的长度，x2为梯形区域的短边的长度，yb为在图像坐标系中污染物的y轴坐标；
在步骤S55中，根据公式(4)计算在地面坐标系中过污染物，与梯形区域的长边/短边平行且与梯形区域的侧边相交的线段的长度，
d2＝2×d1+x2， (4)
其中，d2为在地面坐标系中过污染物，与梯形区域的长边/短边平行且与梯形区域的侧边相交的线段的长度；
在步骤S56中，根据公式(5)计算在地面坐标系中污染物与梯形区域的左侧边在长边/短边方向上的距离，
Figure BDA0002649406530000124
其中，d3为在地面坐标系中污染物与梯形区域的左侧边在长边/短边方向上的距离，xb为在图像坐标系中污染物的x轴坐标，xw为图像的像素长度；
在步骤S57中，根据公式(6)计算在地面坐标系中污染物距离短边的距离，
Figure BDA0002649406530000131
其中，d4为在地面坐标系中污染物距离地面梯形区域的短边的距离，y1为梯形区域的高度；
在步骤S58中，根据公式(7)计算在地面坐标系中污染物与无人机在梯形区域的高度方向上的距离，
d5＝d+d4， (7)
其中，d5为在地面坐标系中污染物与无人机在梯形区域的高度方向上的距离，d为在地面坐标系中，无人机与短边的距离；
在步骤S59中，判断污染物在图像的中轴线的左侧或右侧；
在步骤S60中，在判断污染物在右侧的情况下，根据公式(8)计算在地面坐标系中污染物与梯形区域的中轴线的距离，
Figure BDA0002649406530000132
其中，d6为在地面坐标系中污染物与梯形区域的中轴线的距离；
在步骤S61中，根据公式(9)计算在地面坐标系中污染物与无人机的连线与梯形区域的中轴线的夹角，
Figure BDA0002649406530000133
其中，angle_2为在地面坐标系中污染物与无人机的连线与梯形区域的中轴线的夹角；
在步骤S62中，根据公式(10)计算在地面坐标系中污染物与无人机的连线与x轴的正方向的夹角，
angle_1＝angle_3-angle_2， (10)
其中，angle_1为在地面坐标系中污染物与无人机的连线与x轴的正方向的夹角，angle_3＝angle；
在步骤S63中，根据公式(11)至公式(25)计算污染物的实际位置的坐标，
若
Figure BDA0002649406530000141
则x＝|xu|，y＝|yu|+d5， (11)
其中，x为在地面坐标系中实际位置的x轴坐标，y为在地面坐标系中实际位置的y轴坐标，xu为在地面坐标系中无人机的x轴坐标，yu为在地面坐标系中无人机的y轴坐标；
若
Figure BDA0002649406530000142
则x＝|xu|，y＝|yu|-d5， (12)
若
Figure BDA0002649406530000143
则：
Figure BDA0002649406530000144
x＝|xu|+|po|， (14)
y＝|yu|+tan(angle_1)·po， (15)
若
Figure BDA0002649406530000145
且angle_1＜π，则：
x＝|xu|+|po|， (16)
y＝|yu|+tan(angle_1)·po， (17)
若
Figure BDA0002649406530000146
且angle_1≥π，则：
x＝|xu|-|po|， (18)
y＝|yu|-tan(angle_1)·po， (19)
若
Figure BDA0002649406530000147
则：
x＝|xu|-|po|， (20)
y＝|yu|-tan(angle_1)·po， (21)
若
Figure BDA0002649406530000148
且
Figure BDA0002649406530000149
则：
x＝|xu|-|po|， (22)
y＝|yu|-tan(angle_1)·po， (23)
若
Figure BDA0002649406530000151
且
Figure BDA0002649406530000152
则：
x＝|xu|+|po|， (24)
y＝|yu|+tan(angle_1)·po， (25)。
在步骤S64中，在判断污染物在图像中的左侧的情况下，根据公式(26)计算在地面坐标系中污染物与中轴线的距离，
Figure BDA0002649406530000153
在步骤S65中，根据公式(27)计算在地面坐标系中污染物与无人机的连线与梯形区域的中轴线的夹角，
Figure BDA0002649406530000154
在步骤S66中，根据公式(28)计算在地面坐标系中污染物与无人机的连线与x轴的正方向的夹角，
angle_1＝angle_3+angle_2， (28)
在步骤S67中，根据公式(29)至公式(40)计算污染物的实际位置的坐标，
若
Figure BDA0002649406530000155
则x＝|xu|，y＝|yu|+d5， (29)
若
Figure BDA0002649406530000156
则x＝|xu|，y＝|yu|-d5， (30)
若
Figure BDA0002649406530000157
且
Figure BDA0002649406530000158
则：
x＝|xu|+|po|， (31)
y＝|yu|+tan(angle_1)·po， (32)
若
Figure BDA0002649406530000159
且
Figure BDA00026494065300001510
则：
x＝|xu|-|po|， (33)
y＝|yu|-tan(angle_1)·po， (34)
若
Figure BDA0002649406530000161
则：
x＝|xu|-|po|， (35)
y＝|yu|-tan(angle_1)·po， (36)
若
Figure BDA0002649406530000162
且
Figure BDA0002649406530000163
则：
x＝|xu|+|po|， (37)
y＝|yu|+tan(angle_1)·po， (38)
若
Figure BDA0002649406530000164
且
Figure BDA0002649406530000165
则：
x＝|xu|-|po|， (39)
y＝|yu|-tan(angle_1)·po， (40)。
在该实施方式中，如图6中所示出的方式是基于无人机在地面坐标系中处于第一象限内。这样的方式虽然能够解决该工况下确定污染物的实际位置的技术问题，但是对于无人机处于第一象限外的情况，并无法应对。对此，发明人考虑到如果针对无人机在不同的象限中分别设置对应的方法来确定实际位置，会使得整体算法的复杂度提高，从而对提高设备运行以及内存的负载。因此，发明人在执行如图6所示的方法前，设置了基于不同的象限的特点对图像坐标系中污染物的坐标进行转换的步骤，并在计算出污染物的实际位置后，相应设置了将坐标转换回来的步骤，从而克服了上述的技术问题。具体地，该预处理的步骤可以是例如：
若xu≥0，yu≥0，说明无人机处于地面坐标系中的第一象限内，此时可以不作处理。
若xu≥0，yu＜0，说明无人机处于地面坐标系中的第四象限内，此时可以采用公式(41)对图像坐标系中污染物的坐标进行转换，
xb＝xw-xb_1， (41)
其中，xb为转换后在图像坐标系中污染物的x轴坐标，xb_1转换前在图像坐标系中污染物的x轴坐标，xw为图像的像素长度；
根据公式(42)对无人机的倾斜角进行转换，
angle＝2π-angle_n， (42)
其中，angle为转换后的倾斜角，angle_n为转换前的倾斜角。
若xu＜0，yu≥0，说明无人机处于地面坐标系中的第二象限内，此时可以采用公式(43)对图像坐标系中污染物的坐标进行转换，
xb＝xw-xb_1， (43)。
进一步地，若0＜angle_n≤π，则可以根据公式(44)对无人机的倾斜角进行转换，
angle＝π-angle_n， (44)。
若π＜angle_n≤2π，则可以根据公式(45)对无人机的倾斜角进行转换，
angle＝3π-angle_n， (44)。
若xu＜0，yu＜0，说明无人机处于地面坐标系中的第三象限内，此时不需要对图像坐标系中污染物的坐标进行转换。但进一步地，在0＜angle_n≤π的情况下，可以根据公式(45)对无人机的倾斜角进行转换，
angle＝π+angle_n， (45)。
在π＜angle_n≤2π的情况下，则可以根据公式(46)对无人机的倾斜角进行转换，
angle＝angle_n-π， (46)。
相对于与该预处理的各个步骤，在计算出实际位置的坐标后，将坐标转换回来的步骤可以是例如：
若xu≥0，yu≥0，说明无人机处于地面坐标系中的第一象限内，此时可以不作处理。
若xu≥0，yu＜0，说明无人机处于地面坐标系中的第四象限内，此时可以采用公式(47)和(48)对地面坐标系中污染物的坐标进行转换，
xn＝x， (47)
yn＝-y， (48)
其中，x、y分别为转换前的污染物的坐标，xn、yn分别为转换后的污染物的坐标。
若xu＜0，yu≥0，说明无人机处于地面坐标系中的第二象限内。进一步地，若0＜angle_n≤π，则可以根据公式(49)和公式(50)对地面坐标系中污染物的坐标进行转换，
xn＝-x， (49)
yn＝y， (50)；
若π＜angle_n≤2π，则可以根据公式(51)和公式(52)对地面坐标系中污染物的坐标进行转换，
xn＝-x， (51)
yn＝y， (52)。
若xu＜0，yu＜0，说明无人机处于地面坐标系中的第三象限内。进一步地，若0＜angle_n≤π，则可以根据公式(53)和公式(54)对地面坐标系中污染物的坐标进行转换，
xn＝-x， (53)
yn＝-y， (54)
若π＜angle_n≤2π，则可以根据公式(55)和公式(56)对地面坐标系中污染物的坐标进行转换，
xn＝-x， (55)
yn＝-y， (56)。
另一方面，本发明还提供一种基于图像的无人机自主地面污染物推理与定位系统，该系统可以包括处理器，该处理器可以用于执行如上述任一所述的方法。
再一方面，本发明还提供一种存储介质，该存储介质可以存储有指令，该指令可以用于被机器读取以使得所述机器执行如上述任一所述的方法。
通过上述技术方案，本发明提供的基于图像的无人机自主地面污染物推理及定位方法及系统通过针对无人机拍摄的图像来确定巡检的现场是否包括污染物，克服了现有技术中依赖人为筛选污染物而导致的筛选效率低的技术问题，实现了自主筛选和定位图像中污染物的技术，使得无人机在自动飞行的基础上可以自主完成巡检，返回巡检结果，能够大大提升无人机巡检效率。
以上结合附图详细描述了本发明例的可选实施方式，但是，本发明实施方式并不限于上述实施方式中的具体细节，在本发明实施方式的技术构思范围内，可以对本发明实施方式的技术方案进行多种简单变型，这些简单变型均属于本发明实施方式的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施方式对各种可能的组合方式不再另行说明。
本领域技术人员可以理解实现上述实施方式方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个可以是单片机，芯片等或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
此外，本发明实施方式的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施方式的思想，其同样应当视为本发明实施方式所公开的内容。

Claims (10)

1.一种基于图像的无人机自主地面污染物推理与定位方法，其特征在于，所述方法包括：
确定所述图像中包括污染物的区域；
确定所述区域对应的所述污染物的类型。
2.根据权利要求1所述的方法，其特征在于，所述确定所述图像中包括污染物的区域具体包括：
在所述图像中确定出多个候选框；
将所述图像输入CNN网络模型中以提取出所述图像的特征图；
将所述候选框映射到所述特征图中以获得每个所述候选框在所述特征图上的patch；
将每个所述patch输入ROI池化层、全连接网络层以及分类器中以确定所述patch是否对应有污染物；
在任一所述patch对应有污染物的情况下，确定所述图像中包括污染物。
3.根据权利要求2所述的方法，其特征在于，所述在所述图像中确定出多个候选框具体包括：
采用Selective Search算法确定所述候选框。
4.根据权利要求2所述的方法，其特征在于，所述将每个所述patch输入ROI池化层、全连接网络层以及分类器中以确定所述patch是否对应有污染物具体包括：
将每个所述patch输入ROI池化层和全连接网络层以得到对应的ROI特征向量；
将ROI特征向量输入所述分类器，所述分类器包括至少一层全连接网络层和softmax层；
根据所述分类器的分类结果确定所述图像中是否包括污染物。
5.根据权利要求2所述的方法，其特征在于，所述确定所述图像中包括污染物的区域包括：
在确定所述图像中包括污染物的情况下，采用回归器调整包含污染物的所述候选框，其中，所述回归器包括至少一层全连接网络层和边框回归层；
将所述候选框映射到所述图像中以提取所述候选框在所述图像中对应的目标图像信息。
6.根据权利要求5所述的方法，其特征在于，所述确定所述区域对应的所述污染物的类型具体包括：
将所述目标图像信息和预设的数据集输入卷积神经网络中以生成对应的特征向量；
将所述特征向量L2归一化以嵌入高维空间中；
输出距离对比矩阵，其中，所述距离对比矩阵包括每个所述目标图像信息与所述数据集中每种所述污染物的嵌入向量的相似性距离；
在所述距离对比矩阵取相似性距离最小的所述污染物作为所述目标图像信息对应的污染物的类型。
7.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
根据所述区域确定所述污染物的实际位置。
8.根据权利要求7所述的方法，其特征在于，所述根据所述区域确定所述污染物的实际位置具体包括：
以正北方向为y轴的正方向，正东方向为x轴的正方向，建立地面坐标系；
以图像的底部为x轴，图像的左侧边为y轴，建立图像坐标系；
获取无人机的坐标方位角；
根据公式(1)和公式(2)计算所述无人机的倾斜角，其中，所述倾斜角为在所述地面坐标系中，所述无人机的朝向与x轴的正方向的夹角，
Figure FDA0002649406520000031
Figure FDA0002649406520000032
其中，angle_f为所述坐标方位角，angle为所述倾斜角；
根据公式(3)计算差值距离，
Figure FDA0002649406520000033
其中，d1为所述差值距离，x1为所述图像在地面对应的梯形区域的长边的长度，x2为所述梯形区域的短边的长度，yb为在所述图像坐标系中所述污染物的y轴坐标；
根据公式(4)计算在所述地面坐标系中过所述污染物，与所述梯形区域的长边/短边平行且与所述梯形区域的侧边相交的线段的长度，
d2＝2×d1+x2， (4)
其中，d2为在所述地面坐标系中过所述污染物，与所述梯形区域的长边/短边平行且与所述梯形区域的侧边相交的线段的长度；
根据公式(5)计算在所述地面坐标系中所述污染物与所述梯形区域的左侧边在所述长边/短边方向上的距离，
Figure FDA0002649406520000034
其中，d3为在所述地面坐标系中所述污染物与所述梯形区域的左侧边在所述长边/短边方向上的距离，xb为在所述图像坐标系中所述污染物的x轴坐标，xw为所述图像的像素长度；
根据公式(6)计算在所述地面坐标系中所述污染物距离所述短边的距离，
Figure FDA0002649406520000041
其中，d4为在所述地面坐标系中所述污染物距离所述地面梯形区域的短边的距离，y1为所述梯形区域的高度；
根据公式(7)计算在所述地面坐标系中所述污染物与所述无人机在所述梯形区域的高度方向上的距离，
d5＝d+d4， (7)
其中，d5为在所述地面坐标系中所述污染物与所述无人机在所述梯形区域的高度方向上的距离，d为在所述地面坐标系中，所述无人机与所述短边的距离；
判断所述污染物在所述图像的中轴线的左侧或右侧；
在判断所述污染物在右侧的情况下，根据公式(8)计算在所述地面坐标系中所述污染物与所述梯形区域的中轴线的距离，
Figure FDA0002649406520000042
其中，d6为在所述地面坐标系中所述污染物与所述梯形区域的中轴线的距离；
根据公式(9)计算在所述地面坐标系中所述污染物与所述无人机的连线与所述梯形区域的中轴线的夹角，
Figure FDA0002649406520000043
其中，angle_2为在所述地面坐标系中所述污染物与所述无人机的连线与所述梯形区域的中轴线的夹角；
根据公式(10)计算在地面坐标系中所述污染物与所述无人机的连线与x轴的正方向的夹角，
angle_1＝angle_3-angle_2， (10)
其中，angle_1为在地面坐标系中所述污染物与所述无人机的连线与x轴的正方向的夹角，angle_3＝angle；
根据公式(11)至公式(25)计算所述污染物的实际位置的坐标，
若
Figure FDA0002649406520000051
则x＝|xu|，y＝|yu|+d5， (11)
其中，x为在所述地面坐标系中所述实际位置的x轴坐标，y为在所述地面坐标系中所述实际位置的y轴坐标，xu为在所述地面坐标系中所述无人机的x轴坐标，yu为在所述地面坐标系中所述无人机的y轴坐标；
若
Figure FDA0002649406520000052
则x＝|xu|，y＝|yu|-d5， (12)
若
Figure FDA0002649406520000053
则：
Figure FDA0002649406520000054
x＝|xu|+|po|， (14)
y＝|yu|+tan(angle_1)·po， (15)
若
Figure FDA0002649406520000055
且angle_1＜π，则：
x＝|xu|+|po|， (16)
y＝|yu|+tan(angle_1)·po， (17)
若
Figure FDA0002649406520000056
且angle_1≥π，则：
x＝|xu|-|po|， (18)
y＝|yu|-tan(angle_1)·po， (19)
若
Figure FDA0002649406520000057
则：
x＝|xu|-|po|， (20)
y＝|yu|-tan(angle_1)·po， (21)
若
Figure FDA0002649406520000061
且
Figure FDA0002649406520000062
则：
x＝|xu|-|po|， (22)
y＝|yu|-tan(angle_1)·po， (23)
若
Figure FDA0002649406520000063
且
Figure FDA0002649406520000064
则：
x＝|xu|+|po|， (24)
y＝|yu|+tan(angle_1)·po， (25)。
在判断所述污染物在所述图像中的左侧的情况下，根据公式(26)计算在所述地面坐标系中所述污染物与所述中轴线的距离，
Figure FDA0002649406520000065
根据公式(27)计算在所述地面坐标系中所述污染物与所述无人机的连线与所述梯形区域的中轴线的夹角，
Figure FDA0002649406520000066
根据公式(28)计算在地面坐标系中所述污染物与所述无人机的连线与x轴的正方向的夹角，
angle_1＝angle_3+angle_2， (28)
根据公式(29)至公式(40)计算所述污染物的实际位置的坐标，
若
Figure FDA0002649406520000067
则x＝|xu|，y＝|yu|+d5， (29)
若
Figure FDA0002649406520000068
则x＝|xu|，y＝|yu|-d5， (30)
若
Figure FDA0002649406520000069
且
Figure FDA00026494065200000610
则：
x＝|xu|+|po|， (31)
y＝|yu|+tan(angle_1)·po， (32)
若
Figure FDA00026494065200000611
且
Figure FDA00026494065200000612
则：
x＝|xu|-|po|， (33)
y＝|yu|-tan(angle_1)·po， (34)
若
Figure FDA0002649406520000071
则：
x＝|xu|-|po|， (35)
y＝|yu|-tan(angle_1)·po， (36)
若
Figure FDA0002649406520000072
且
Figure FDA0002649406520000073
则：
x＝|xu|+|po|， (37)
y＝|yu|+tan(angle_1)·po， (38)
若
Figure FDA0002649406520000074
且
Figure FDA0002649406520000075
则：
x＝|xu|-|po|， (39)
y＝|yu|-tan(angle_1)·po， (40)。
9.一种基于图像的无人机自主地面污染物推理与定位系统，其特征在于，所述系统包括处理器，所述处理器用于执行如权利要求1至8任一所述的方法。
10.一种存储介质，其特征在于，所述存储介质存储有指令，所述指令用于被机器读取以使得所述机器执行如权利要求1至8任一所述的方法。
CN202010864844.6A 2020-08-25 2020-08-25 基于图像的无人机自主地面污染物推理与定位方法及系统 Active CN112149507B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010864844.6A CN112149507B (zh) 2020-08-25 2020-08-25 基于图像的无人机自主地面污染物推理与定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010864844.6A CN112149507B (zh) 2020-08-25 2020-08-25 基于图像的无人机自主地面污染物推理与定位方法及系统

Publications (2)

Publication Number Publication Date
CN112149507A true CN112149507A (zh) 2020-12-29
CN112149507B CN112149507B (zh) 2023-01-13

Family

ID=73888237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010864844.6A Active CN112149507B (zh) 2020-08-25 2020-08-25 基于图像的无人机自主地面污染物推理与定位方法及系统

Country Status (1)

Country Link
CN (1) CN112149507B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537898A (zh) * 2015-01-08 2015-04-22 西北工业大学 一种空地协同的无人机感知规避系统及其规避方法
CN104914877A (zh) * 2015-07-13 2015-09-16 沈阳飞羽航空科技有限公司 一种轻型无人机自主感知与规避方法
CN108845335A (zh) * 2018-05-07 2018-11-20 中国人民解放军国防科技大学 一种基于图像和导航信息的无人机地面目标定位方法
CN109064446A (zh) * 2018-07-02 2018-12-21 北京百度网讯科技有限公司 显示屏质量检测方法、装置、电子设备及存储介质
CN109472279A (zh) * 2018-08-31 2019-03-15 杭州千讯智能科技有限公司 基于图像处理的物品识别方法和装置
CN109508623A (zh) * 2018-08-31 2019-03-22 杭州千讯智能科技有限公司 基于图像处理的物品识别方法和装置
CN110414334A (zh) * 2019-06-20 2019-11-05 浙江大学 一种基于无人机巡视的智能水质识别方法
CN110758658A (zh) * 2019-11-08 2020-02-07 湘潭大学 一种使用无人机和无人船协同清理水面漂浮垃圾的方法
CN111037554A (zh) * 2019-12-12 2020-04-21 杭州翼兔网络科技有限公司 一种基于机器学习的垃圾清理方法、装置、设备及介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537898A (zh) * 2015-01-08 2015-04-22 西北工业大学 一种空地协同的无人机感知规避系统及其规避方法
CN104914877A (zh) * 2015-07-13 2015-09-16 沈阳飞羽航空科技有限公司 一种轻型无人机自主感知与规避方法
CN108845335A (zh) * 2018-05-07 2018-11-20 中国人民解放军国防科技大学 一种基于图像和导航信息的无人机地面目标定位方法
CN109064446A (zh) * 2018-07-02 2018-12-21 北京百度网讯科技有限公司 显示屏质量检测方法、装置、电子设备及存储介质
CN109472279A (zh) * 2018-08-31 2019-03-15 杭州千讯智能科技有限公司 基于图像处理的物品识别方法和装置
CN109508623A (zh) * 2018-08-31 2019-03-22 杭州千讯智能科技有限公司 基于图像处理的物品识别方法和装置
CN110414334A (zh) * 2019-06-20 2019-11-05 浙江大学 一种基于无人机巡视的智能水质识别方法
CN110758658A (zh) * 2019-11-08 2020-02-07 湘潭大学 一种使用无人机和无人船协同清理水面漂浮垃圾的方法
CN111037554A (zh) * 2019-12-12 2020-04-21 杭州翼兔网络科技有限公司 一种基于机器学习的垃圾清理方法、装置、设备及介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SERGEY JATSUN等: "Modeling and control architecture of an autonomous mobile aerial platform for environmental monitoring", 《2019 INTERNATIONAL CONFERENCE ON INFORMATION SYSTEMS AND COMPUTER SCIENCE (INCISCOS)》 *
ZHENGZHONG HUANG等: "Study on Multipoint-Ranging-Target-Positioning Technologies for UAV", 《2019 3RD INTERNATIONAL CONFERENCE ON ELECTRONIC INFORMATION TECHNOLOGY AND COMPUTER ENGINEERING (EITCE)》 *
朱惠民等: "舰炮武器系统的无人机目标侦察模型与误差分析", 《指挥控制与仿真》 *
杨帅等: "无人机图像侦察目标定位方法及精度分析", 《红外技术》 *

Also Published As

Publication number Publication date
CN112149507B (zh) 2023-01-13

Similar Documents

Publication Publication Date Title
CN110966991B (zh) 一种无控制点下的单幅无人机影像定位方法
Yahyanejad et al. A fast and mobile system for registration of low-altitude visual and thermal aerial images using multiple small-scale UAVs
US20190080455A1 (en) Method and device for three-dimensional feature-embedded image object component-level semantic segmentation
Zhuang et al. 3-D-laser-based scene measurement and place recognition for mobile robots in dynamic indoor environments
CN110866871A (zh) 文本图像矫正方法、装置、计算机设备及存储介质
JP5261501B2 (ja) 不変の視覚場面及び物体の認識
JP7439153B2 (ja) 全方位場所認識のためのリフトされたセマンティックグラフ埋め込み
CN111461213B (zh) 一种目标检测模型的训练方法、目标快速检测方法
Spezialetti et al. Learning to orient surfaces by self-supervised spherical cnns
CN104915949A (zh) 一种结合点特征和线特征的图像匹配算法
JP2018022360A (ja) 画像解析装置、画像解析方法およびプログラム
US20100092073A1 (en) System and method for object recognition and classification using a three-dimensional system with adaptive feature detectors
US20120033873A1 (en) Method and device for determining a shape match in three dimensions
CN111626241A (zh) 一种人脸检测方法及装置
KR102449031B1 (ko) 딥러닝을 이용한 실내 위치 측위 방법
IL277741B1 (en) System and method for visual positioning
CN112149507B (zh) 基于图像的无人机自主地面污染物推理与定位方法及系统
CN112149505B (zh) 基于图像的无人机自主地面污染物定位方法及系统
CN114549825A (zh) 目标检测方法、装置、电子设备与存储介质
US20230215144A1 (en) Training apparatus, control method, and non-transitory computer-readable storage medium
CN112396556A (zh) 低空机载Lidar地形快速精准信息化的数据记录装置
Yue-hua Image feature extraction for vision-based uav navigation
Song et al. Image matching and localization based on fusion of handcrafted and deep features
Lei et al. Radial coverage strength for optimization of multi-camera deployment
CN114155281B (zh) 一种无人机目标跟踪自动初始化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant