CN117809261A - 一种基于深度学习的无人机图像处理方法 - Google Patents
一种基于深度学习的无人机图像处理方法 Download PDFInfo
- Publication number
- CN117809261A CN117809261A CN202410227088.4A CN202410227088A CN117809261A CN 117809261 A CN117809261 A CN 117809261A CN 202410227088 A CN202410227088 A CN 202410227088A CN 117809261 A CN117809261 A CN 117809261A
- Authority
- CN
- China
- Prior art keywords
- aerial vehicle
- unmanned aerial
- distance
- real
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 21
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 230000000007 visual effect Effects 0.000 claims abstract description 59
- 238000012544 monitoring process Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010006 flight Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种基于深度学习的无人机图像处理方法，涉及数据识别技术领域。包括：由前端视觉设备获取无人机的实时图像；采用深度学习技术识别实时图像中的无人机；对实时图像进行分析，确定无人机的地理位置；根据地理位置设定后端视觉设备的主视野中关注区域的位置，对关注区域中的信息进行监测，其中前端视觉设备的视野和后端视觉设备的视野相交。本申请采用接力式的前端视觉设备和后端视觉设备，在前端视觉设备采集并识别无人机后，得到无人机的地理位置，后端视觉设备仅需要关注主视野中与无人机所处地理位置对应的区域即可，不需要对整个主视野中的信息进行处理，大大减小了数据量。
Description
技术领域
本申请涉及数据识别技术领域，特别涉及一种基于深度学习的无人机图像处理方法。
背景技术
无人机也叫无人飞行器，是控制人员在地面上控制的飞行设备，其能够完成以往在地面上无法完成的工作，例如农业监测、国土测绘等。但是，无人机在空中飞行时其视觉覆盖面积较大，而有些区域因涉及机密或安全而禁止无人机抵近，因此要求无人机在飞行前进行登记，并在允许的安全区域中飞行。
然而，仍然有一些操作人员在没有登记的情况下就直接操作无人机飞行，这种行为称为“黑飞”，黑飞时的途经区域不受管理部门控制，因此存在很多危险因素。对于这种黑飞行为，通常会设置多个视觉设备，以实时监控空中是否有无人机存在。例如，CN109753903A公开了一种基于深度学习的无人机检测方法，利用深度学习技术对实时获取的图像进行分析处理，以识别空中是否存在无人机以及无人机的型号等信息。
上述专利在识别无人机的型号之前，需要首先确定无人机在图像中的位置，这时就需要对整个图像进行分析。在采用多个视觉设备进行接力式监控时，如果每个视觉设备采集的图像都进行整体分析，那么数据量将极大增加，大大提高了监控消耗的计算机资源。
发明内容
本申请实施例提供了一种基于深度学习的无人机图像处理方法，用以解决现有技术中所有视觉设备采集的图像都进行整体分析时数据量较大的问题。
一方面，本申请实施例提供了一种基于深度学习的无人机图像处理方法，包括：
由前端视觉设备获取无人机的实时图像；
采用深度学习技术识别实时图像中的无人机；
对实时图像进行分析，确定无人机的地理位置；
根据地理位置设定后端视觉设备的主视野中关注区域的位置，对关注区域中的信息进行监测，其中前端视觉设备的视野和后端视觉设备的视野相交。
在一种可能的实现方式中，利用识别模型识别无人机，识别模型基于SSD算法建立。
在一种可能的实现方式中，在识别无人机后获得无人机的型号，根据型号获取对应的距离-大小对应关系，根据无人机在实时图像中的大小以及距离-大小对应关系确定前端视觉设备和无人机之间的目标距离。
在一种可能的实现方式中，在识别无人机前，利用前端视觉设备采集已知距离上无人机的标准图像，确定无人机在标准图像中的面积大小，建立距离-大小对应关系。
在一种可能的实现方式中，在采集标准图像时，对于每一个型号的无人机，采集多个不同距离的标准图像，确定标准图像中无人机的面积大小，形成多组距离-大小数据对，对距离-大小数据对进行曲线拟合，得到的曲线的函数表达式作为距离-大小对应关系。
在一种可能的实现方式中，在确定无人机的地理位置时，首先确定实时图像中无人机和实时图像的中心的像素距离，根据像素距离和目标距离确定无人机和前端视觉设备的相对角度，然后根据相对角度和目标距离确定无人机和前端视觉设备在水平面上的投影距离，最后基于前端视觉设备的真实位置和投影距离确定无人机在三维坐标系中的坐标，作为地理位置。
在一种可能的实现方式中，在确定相对角度时，以目标距离和像素距离分别为斜边和直角边建立直角三角形，确定与以像素距离为直角边相对的角的角度，结合前端视觉设备中轴线和水平面之间的角度，得到相对角度。
在一种可能的实现方式中，在确定地理位置后，根据后端视觉设备的主视野中像素-位置对应关系确定关注区域的中心位置。
在一种可能的实现方式中，在确定中心位置后，将中心位置外部设定大小的范围作为关注区域。
本申请中的一种基于深度学习的无人机图像处理方法，具有以下优点：
采用接力式的前端视觉设备和后端视觉设备，在前端视觉设备采集并识别无人机后，得到无人机的地理位置，后端视觉设备仅需要关注主视野中与无人机所处地理位置对应的区域即可，不需要对整个主视野中的信息进行处理，大大减小了数据量。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种基于深度学习的无人机图像处理方法的流程图；
图2为本申请实施例提供的无人机和视觉设备的相对位置示意图；
图3为本申请实施例提供的无人机和视觉设备在三维坐标系中的示意图；
图4为本申请实施例提供的后端视觉设备采集图像时的主视野和关注区域示意图。
附图标号说明：100、视觉设备；110、主视野；120、关注区域；200、无人机。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请实施例提供的一种基于深度学习的无人机图像处理方法的流程图。本申请实施例提供了一种基于深度学习的无人机图像处理方法，包括：
S100，由前端视觉设备获取无人机200的实时图像。
示例性地，在监控区域中设置有多个视觉设备100，在这些视觉设备100中，一部分设置在监控区域的边缘，另一部分则设置在监控区域的内部，由于无人机200飞行并进入到监控区域时，将首先被处在边缘的视觉设备100检测到，因此这些处在边缘的视觉设备称为前端视觉设备，位于监控区域内部的视觉设备100被称为后端视觉设备。
无论是前端视觉设备还是后端视觉设备，其都可以采用固定式或活动式结构，固定式即视觉设备在工作时朝向固定的方向，其视野位置不变，而活动式为视觉设备在工作时能够移动或转动，其视野位置将发生变化。由于固定式视觉设备的视野位置不变，因此在后续的处理中无需进行额外操作，但是对于活动式视觉设备来说，由于其视野位置将发生变化，因此需要根据视觉设备具体的活动情况对数据进行调整，以使数据能够随着视野位置而发生变化，确保数据反映准确的信息。
在本申请的实施例中，可以由前端视觉设备采集正对方向上的视频，然后采用抽帧的方式以固定的时间间隔获取视频中的图像，作为实时图像。
S110，采用深度学习技术识别实时图像中的无人机200。
示例性地，利用识别模型识别无人机200，识别模型基于SSD（Single ShotMultiBox Detector）算法建立，具体的识别过程可以参照CN109753903A，本申请不再赘述。
S120，对实时图像进行分析，确定无人机200的地理位置。
示例性地，在识别无人机200后获得无人机200的型号，根据型号获取对应的距离-大小对应关系，根据无人机200在实时图像中的大小以及距离-大小对应关系确定前端视觉设备和无人机200之间的目标距离。
具体地，无人机200因其型号不同具有不同的大小和形状，因此在识别无人机200时主要是为了确定无人机200的型号，基于该型号在数据库中获取与该型号对应的距离-大小对应关系。进一步地，在识别无人机200前，利用前端视觉设备采集已知距离上无人机200的标准图像，确定无人机200在标准图像中的面积大小，建立距离-大小对应关系。
由于每种型号的视觉设备都有其特有的图像畸变情况，因此在建立距离-大小对应关系时，应采用和实际使用中相同型号的视觉设备，以避免图像畸变情况不同造成的误差。进一步地，在采集标准图像时，对于每一个型号的无人机200，采集多个不同距离的标准图像，确定标准图像中无人机200的面积大小，形成多组距离-大小数据对，对距离-大小数据对进行曲线拟合，得到的曲线的函数表达式作为距离-大小对应关系。在拟合曲线时，可以采用最小二乘法，该曲线的横纵坐标可以分别为无人机200在标准图像中的像素面积大小和测量得到的无人机200与前端视觉设备的距离，因此在实际的计算过程中，一旦对实时图像进行分析，得到无人机200的像素面积大小后，基于函数表达式即可得到对应的距离。
在本申请的实施例中，在确定无人机200的地理位置时，首先确定实时图像中无人机200和实时图像的中心的像素距离，根据像素距离和目标距离确定无人机200和前端视觉设备的相对角度，然后根据相对角度和目标距离确定无人机200和前端视觉设备在水平面上的投影距离，最后基于前端视觉设备的真实位置和投影距离确定无人机200在三维坐标系中的坐标，作为地理位置。
如图2和3所示，上述的三维坐标系可以采用大地坐标系，即将东西方向作为X轴，南北方向作为Y轴，天地方向作为Z轴，在该三维坐标系中，任意一个视觉设备的坐标和朝向，即中轴线方向均已知，且同一监控区域中所有的视觉设备均处在同一个三维坐标系中，以确保数据处理的一致性。
在图3中，两个视觉设备100和一个无人机200在XY平面内的投影点分别为XY1、XY2和XY3，为了得到无人机200和任一个视觉设备100的投影点的距离XY1-XY3或XY2-XY3，需要首先得到视觉设备100和无人机200的连线与视觉设备100中轴线的夹角a，该夹角的计算过程为：以目标距离D2和像素距离分别为斜边和直角边建立直角三角形，确定与以像素距离为直角边相对的角的角度，该角度即为夹角a。虽然像素距离为实时图像中中心点和无人机200的几何中心点之间的距离，而目标距离D2则为实际空间中的距离，但是像素距离和实际空间中无人机200与视觉设备100的中轴线的距离存在确定的比例关系，因此在实验确定该比例关系后，即可确定与像素距离对应的实际距离D1，进而结合目标距离D2确定夹角a。
在得到夹角a后，结合根据视觉设备100的安装姿态确定的前端视觉设备中轴线和水平面之间的角度b，得到相对角度，即a和b的和。由于目标距离D2已知，因此在得到相对角度后，建立直角三角形即可计算出无人机200和视觉设备100在XY平面上投影线段的方向和长度，以及无人机200和XY平面之间的距离。最后结合已知的视觉设备100在三维坐标系中的坐标确定无人机200在三维坐标系中的坐标，该坐标即为地理位置。
S130，根据地理位置设定后端视觉设备的主视野110中关注区域120的位置，对关注区域120中的信息进行监测，其中前端视觉设备的视野和后端视觉设备的视野相交。
示例性地，采用接力式的视觉设备100时，需要确保存在后端视觉设备和任一个前端视觉设备具有交叠的视野，以使前端视觉设备确定无人机200的地理位置后，后端视觉设备能够在当前的视野中快速确定无人机200所处的位置。
在本申请的实施例中，在确定地理位置后，根据后端视觉设备的主视野110中像素-位置对应关系确定关注区域120的中心位置。
虽然后端视觉设备在主视野110的同一个像素位置处对应多种可能的无人机200的地理位置，但是一旦地理位置确定后，其在主视野110中对应的像素位置将是确定的，因此可以通过实验确定地理位置和主视野110中像素位置之间的像素-位置对应关系，然后以根据地理位置确定的像素位置为中心，以中心位置外部设定大小的范围作为关注区域120，如图4所示。一旦后端视觉设备在关注区域120中发现了无人机200，则仅需要对该关注区域120中的无人机200进行分析、追踪等处理，而不需要对整个主视野110中的信息都进行处理，大大减小了图像处理的数据量。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (5)
1.一种基于深度学习的无人机图像处理方法，其特征在于，包括：
由前端视觉设备获取无人机（200）的实时图像；
采用深度学习技术识别所述实时图像中的无人机（200）；
对所述实时图像进行分析，确定无人机（200）的地理位置；该步骤包括：在识别无人机（200）后获得无人机（200）的型号，根据所述型号获取对应的距离-大小对应关系，根据无人机（200）在所述实时图像中的大小以及所述距离-大小对应关系确定前端视觉设备和无人机（200）之间的目标距离，在确定无人机（200）的地理位置时，首先确定所述实时图像中无人机（200）和实时图像的中心的像素距离，根据所述像素距离和目标距离确定无人机（200）和前端视觉设备的相对角度，然后根据所述相对角度和目标距离确定无人机（200）和前端视觉设备在水平面上的投影距离，最后基于前端视觉设备的真实位置和所述投影距离确定无人机（200）在三维坐标系中的坐标，作为所述地理位置；
根据所述地理位置设定后端视觉设备的主视野（110）中关注区域（120）的位置，对所述关注区域（120）中的信息进行监测，其中前端视觉设备的视野和后端视觉设备的视野相交；该步骤包括：在确定所述地理位置后，根据后端视觉设备的主视野（110）中像素-位置对应关系确定所述关注区域（120）的中心位置，在确定所述中心位置后，将所述中心位置外部设定大小的范围作为所述关注区域（120）。
2.根据权利要求1所述的一种基于深度学习的无人机图像处理方法，其特征在于，利用识别模型识别无人机（200），所述识别模型基于SSD算法建立。
3.根据权利要求1所述的一种基于深度学习的无人机图像处理方法，其特征在于，在识别无人机（200）前，利用前端视觉设备采集已知距离上无人机（200）的标准图像，确定无人机（200）在所述标准图像中的面积大小，建立所述距离-大小对应关系。
4.根据权利要求3所述的一种基于深度学习的无人机图像处理方法，其特征在于，在采集所述标准图像时，对于每一个型号的无人机（200），采集多个不同距离的所述标准图像，确定所述标准图像中无人机（200）的面积大小，形成多组距离-大小数据对，对所述距离-大小数据对进行曲线拟合，得到的曲线的函数表达式作为所述距离-大小对应关系。
5.根据权利要求1所述的一种基于深度学习的无人机图像处理方法，其特征在于，在确定所述相对角度时，以所述目标距离和像素距离分别为斜边和直角边建立直角三角形，确定与以所述像素距离为直角边相对的角的角度，结合前端视觉设备中轴线和水平面之间的角度，得到所述相对角度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410227088.4A CN117809261B (zh) | 2024-02-29 | 2024-02-29 | 一种基于深度学习的无人机图像处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410227088.4A CN117809261B (zh) | 2024-02-29 | 2024-02-29 | 一种基于深度学习的无人机图像处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117809261A true CN117809261A (zh) | 2024-04-02 |
| CN117809261B CN117809261B (zh) | 2024-05-28 |
Family
ID=90430440
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410227088.4A Active CN117809261B (zh) | 2024-02-29 | 2024-02-29 | 一种基于深度学习的无人机图像处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117809261B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180101173A1 (en) * | 2016-10-10 | 2018-04-12 | Qualcomm Incorporated | Systems and methods for landing a drone on a moving base |
| CN109613934A (zh) * | 2019-01-09 | 2019-04-12 | 天津大学 | 一种无人机捕捉黑飞无人机的方法 |
| CN109753903A (zh) * | 2019-02-27 | 2019-05-14 | 北航（四川）西部国际创新港科技有限公司 | 一种基于深度学习的无人机检测方法 |
| WO2022082856A1 (zh) * | 2020-10-19 | 2022-04-28 | 广东科凯达智能机器人有限公司 | 一种巡检目标自动识别跟踪的方法、系统及机器人 |
| CN114527792A (zh) * | 2022-01-25 | 2022-05-24 | 武汉飞流智能技术有限公司 | 无人机降落引导方法、装置、设备及存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106527481A (zh) * | 2016-12-06 | 2017-03-22 | 重庆零度智控智能科技有限公司 | 无人机飞行控制方法、装置及无人机 |
| CN110132060A (zh) * | 2019-04-26 | 2019-08-16 | 南京理工大学 | 一种基于视觉导航的拦截无人机的方法 |
| CN113744270B (zh) * | 2021-11-05 | 2022-02-08 | 南京市特种设备安全监督检验研究院 | 起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法 |
-
2024
- 2024-02-29 CN CN202410227088.4A patent/CN117809261B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180101173A1 (en) * | 2016-10-10 | 2018-04-12 | Qualcomm Incorporated | Systems and methods for landing a drone on a moving base |
| CN109613934A (zh) * | 2019-01-09 | 2019-04-12 | 天津大学 | 一种无人机捕捉黑飞无人机的方法 |
| CN109753903A (zh) * | 2019-02-27 | 2019-05-14 | 北航（四川）西部国际创新港科技有限公司 | 一种基于深度学习的无人机检测方法 |
| WO2022082856A1 (zh) * | 2020-10-19 | 2022-04-28 | 广东科凯达智能机器人有限公司 | 一种巡检目标自动识别跟踪的方法、系统及机器人 |
| CN114527792A (zh) * | 2022-01-25 | 2022-05-24 | 武汉飞流智能技术有限公司 | 无人机降落引导方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117809261B (zh) | 2024-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110660186B (zh) | 基于雷达信号在视频图像中识别目标对象的方法及装置 | |
| CN105825498B (zh) | 测量数据处理装置、测量数据处理方法以及程序 | |
| CN108229406B (zh) | 一种车道线检测方法、装置及终端 | |
| US20190164310A1 (en) | Camera registration in a multi-camera system | |
| CN105678267A (zh) | 一种场景识别方法及装置 | |
| CN110264495B (zh) | 一种目标跟踪方法及装置 | |
| US20140313347A1 (en) | Traffic camera calibration update utilizing scene analysis | |
| CN112525147B (zh) | 自动驾驶设备测距方法及相关装置 | |
| US10163341B2 (en) | Double stereoscopic sensor | |
| CN111213153A (zh) | 目标物体运动状态检测方法、设备及存储介质 | |
| CN108535789A (zh) | 一种基于机场跑道的异物识别系统 | |
| CN111244822B (zh) | 一种复杂地理环境的固定翼无人机巡线方法、系统和装置 | |
| CN110796104A (zh) | 目标检测方法、装置、存储介质及无人机 | |
| CN114034296A (zh) | 一种导航信号干扰源检测与识别方法及系统 | |
| CN113255444A (zh) | 图像识别模型的训练方法、图像识别方法和装置 | |
| CN116152863A (zh) | 一种人员信息识别方法、装置、电子设备及存储介质 | |
| CN115660924A (zh) | 一种基于ai视觉的配网作业实时高精度预警方法 | |
| Ranjbar et al. | Addressing practical challenge of using autopilot drone for asphalt surface monitoring: Road detection, segmentation, and following | |
| CN112802100A (zh) | 一种入侵检测方法、装置、设备和计算机可读存储介质 | |
| CN117809261B (zh) | 一种基于深度学习的无人机图像处理方法 | |
| CN112800918A (zh) | 一种非法运动目标的身份识别方法及装置 | |
| CN113674361B (zh) | 一种车载环视校准实现方法及系统 | |
| CN113298044B (zh) | 基于定位补偿的障碍物检测方法、系统、设备及存储介质 | |
| CN112802058A (zh) | 一种非法运动目标的跟踪方法及装置 | |
| CN113011212B (zh) | 图像识别方法、装置及车辆 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |