CN115857520A - 一种基于视觉和船状态结合的无人机着舰状态监视方法 - Google Patents
一种基于视觉和船状态结合的无人机着舰状态监视方法 Download PDFInfo
- Publication number
- CN115857520A CN115857520A CN202310113156.XA CN202310113156A CN115857520A CN 115857520 A CN115857520 A CN 115857520A CN 202310113156 A CN202310113156 A CN 202310113156A CN 115857520 A CN115857520 A CN 115857520A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- ship
- landing
- vision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000033001 locomotion Effects 0.000 claims abstract description 21
- 230000003068 static effect Effects 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000005096 rolling process Methods 0.000 claims description 6
- 230000005484 gravity Effects 0.000 claims description 4
- 230000007613 environmental effect Effects 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000000007 visual effect Effects 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明提供一种基于视觉和船状态结合的无人机着舰状态监视方法，针对现有传统无人机着舰状态监视技术存在的目标跟踪精度低、不能解算姿态信息、没有考虑舰船的运动状态等问题，本发明结合舰船运动状态，采用计算机视觉的目标跟踪算法和传统测距模块结合的方法来估计无人机的相对位置，采用深度学习的姿态估计算法估计无人机的相对姿态，并且考虑舰船的运动状态动态规划降落轨迹曲线，通过评估降落轨迹和当前位姿的误差分布，对无人机的状态进行监视，从而实现无人机的着舰控制。
Description
技术领域
本发明属于机器视觉领域，更具体地说，涉及一种基于视觉和船状态结合的无人机着舰状态监视方法。
背景技术
无人机着舰是指无人机依赖机载引导系统沿着预定轨迹下滑，钩住拦阻索，最终降落在甲板上的过程。无人机着舰状态监视系统就是能够监视无人机在这个过程中的位置，速度，姿态等状态的系统。而自主导航系统在着舰环节中起着至关重要的作用。
目前国内外研究的用于无人机自主着舰的导航技术包括：惯性导航系统(INS)、全球卫星定位系统(GPS)、无线电导航系统(RNS)和视觉导航系统等。惯性导航系统是通过对惯性元器件采集到的加速度进行积分得到载体的位置和速度信息的导航方式，其缺点是导航误差会随着时间的推移逐渐增大；全球卫星定位系统利用人造卫星确定载体位置和运动状态，具有精度高，成本低的优点，缺点是完全依赖卫星，在战争期间极易受到破坏，可靠性不高；无线电导航通过测量无线电波从发射台到接收机的传输时间来定位，测量精度高，成本低，但抗电磁干扰性能比较差，隐蔽性较差；视觉导航系统是根据图像信息，通过计算机视觉的相关算法得到位置姿态等相关参数，具有隐蔽性强、成本低、精度高和轻便等优点。
采用视觉导航是当前的一大研究热点，但由于无人机着舰过程中存在目标尺寸变化较大，远距离目标模糊，近距离背景复杂等问题，传统的图像处理算法无法满足高精度导航和监视，而目前已有的基于深度学习技术的视觉导航，仅可以提供位置和速度信息的监视，无法对无人机的姿态进行估计，因此实际应用受到限制。此外，由于舰载系统会受到海浪和风力等因素的影响，如何结合舰船自身运动模型规划无人机降落轨迹和状态监视是另一大难点。
现有的无人机着舰视觉导航和状态监视系统根据视觉设备的安装方式分为两种：固定在无人机上的视觉引导和固定在舰船上的视觉引导。将视觉设备固定在无人机上的优点在于自主性强，但是这种方式通常需要舰船有明显的标志物提供引导；此外，由于设备大小和重量，限制了计算性能，无法做到高精度的快速着舰。本发明采用将视觉设备固定在舰船上的方式，可以充分利用舰船上搭载的高性能计算单元，使用强大的深度学习算法，提高系统的精度，然后将解算的位姿等参数信息通过数据链路传输给无人机。
发明内容
为了克服传统无人机着舰状态监视技术存在的目标跟踪精度低、不能解算姿态信息、没有考虑舰船的运动状态等问题，本发明提供了一种基于视觉和船状态结合的无人机着舰状态监视方法，提高了无人机着舰导引精度和无人机状态监视的准确性和全面性。
为达到上述目的，本发明提供了如下技术方案：
一种基于视觉和船状态结合的无人机着舰状态监视方法，包括以下步骤：
步骤1、根据包括风力和海浪的外部环境因素对舰船运动进行建模获得舰船模型，舰载平台上搭载双目相机转台、红外相机、激光传感器以及高性能计算单元；无人机具备无线数据传输系统；
步骤2、通过舰船模型计算出船体重心位置俯仰、横滚、偏摆、沉浮、横荡和纵荡六个自由度扰动后，计算出期望着舰点位置受扰动的影响情况下相对于静止船体的坐标，作为该时刻的着舰点位置；
步骤3、利用舰载双目相机捕捉图像，发送到站台进行无人机和舰船之间相对位姿的解算；
步骤4、对无人机的位姿进行修正；
步骤5、结合激光反射器、红外相机、超宽带雷达和EKF滤波器，进一步提升相对位姿的解算精度；
步骤6、根据步骤2计算出的期望着舰点位置受扰动的影响情况下相对于静止船体的坐标，结合无人机的位姿高度信息，动态共同规划降落轨迹；
步骤7、计算降落轨迹和相对位姿之间的误差分布，对无人机的状态进行监视和预警，并将其通过无线数据传输系统传输给无人机，进行航迹的修正。
进一步地，所述步骤3中，首先对图像进行预处理，然后利用计算机视觉的方法对无人机进行实时目标跟踪和姿态估计，根据左右转台的角度信息和目标跟踪的结果，解算无人机与舰船的相对位姿，并实时调整转台的俯仰角和航向角，对无人机的位姿进行修正，来实现稳定目标跟踪和姿态估计；所述目标跟踪采用YOLOv7的目标跟踪算法进行位置估计，所述姿态估计采用EPro-PnP的方法。
进一步地，所述步骤4中，根据无人机在图像中的成像位置与图像中心位置的偏差解算出双目相机转台俯仰角和方位角的增量；根据所述增量对转台的俯仰角和方位角进行反馈控制，通过设定自适应阈值，对无人机的位姿进行修正，从而实现稳定的目标跟踪和姿态估计。
进一步地，所述步骤6中，采用Dubins的算法规划无人机降落轨迹。
本发明与现有技术相比所具有的有益效果：
1、本发明采用深度学习算法YOLOv7进行无人机目标检测和跟踪，大大提升了检测的精度、速度和实时性，并且可以在微型设备上运行。
2、本发明采用深度学习中姿态估计算法EPro-PnP对无人机进行姿态估计，能够估计出无人机当前状态的姿态信息，提高了无人机降落过程中引导和控制的精度。
3、本发明结合舰船运动模型，能够预测着舰点位置受扰动的影响情况下相对于静止船体的偏移量，并根据该偏移量动态规划降落轨迹和引导控制。
附图说明
图1为本发明的基于视觉和船状态结合的无人机着舰状态监视方法的算法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
如图1所示，本发明的一种基于视觉和船状态结合的无人机着舰状态监视系统，包括以下步骤：
第一步：根据风力和海浪等外部环境因素，基于正弦波组合对舰船运动进行数学模型，甲板运动即为海浪作用下的舰船运动，包括六个自由度：沿舰体轴的线运动（纵荡、横荡和沉浮）和绕舰体轴的角运动（偏摆、俯仰和滚转），在中等海况下，舰船的运动如下：
俯仰运动：
滚转运动：
偏摆运动：
沉浮运动：
其中，t是舰船运动的时间，舰载平台上应搭载双目相机转台、红外相机、激光传感器等测量单元，以及高性能计算单元；无人机应具备无线数据传输系统。
第二步：通过舰船模型计算出船体重心位置俯仰、横滚、偏摆、沉浮、横荡和纵荡六个自由度扰动后，计算出期望着舰点位置受扰动的影响情况下相对于静止船体的坐标，作为该时刻的着舰点位置：
其中，
表示舰船的俯仰角，/>
表示舰船在俯仰、横滚和偏航三个轴线的扰动角度，/>
，/>
，/>
表示舰船横摇、纵摇和沉浮运动的偏差，
是从舰船坐标系旋转到着舰点坐标系的旋转矩阵，/>
，/>
，/>
表示着舰坐标系原点在舰船坐标系的坐标。
根据该模型可以预测下一时刻的船体六自由度运动和着舰点的偏移量。
第三步：由舰载平台上搭载的双目相机转台、红外相机、激光传感器等测量单元，进行无人机和舰船之间初始相对位姿
的解算。
3.1 由双目相机获取无人机目标图像；
3.2 使用形态学滤波方法对图像进行预处理；
3.3 使用深度学习的YOLOv7算法对无人机目标进行检测和跟踪，得到目标所在位置的中心点坐标
和矩形框box；
YOLOv7目标检测算法如下：
其中，I是由双目相机获取的图像，大小为（H，W，3），DetcetNN是预训练好的YOLOv7网络权重参数，用这些参数初始化YOLOv7网络，经过计算，得到中心点坐标
和矩形框B(用其长和宽表示)。
3.4 使用EPro-PnP算法对目标进行姿态估计，得到姿态数据
，/>
分别为航向角、俯仰角和横滚角；
EPro-PnP具体算法如下：
其中，I是由双目相机获取的图像，大小为（H，W，3），EstimateNN是预训练好的EPro-PnP网络权重参数，用这些参数初始化EPro-PnP网络，经过计算，得到姿态坐标
。
第四步：根据当前目标在图像中的成像位置与图像中心位置的偏差解算出转台俯仰角
和方位角/>
的增量：/>
。根据该增量对转台的俯仰角和方位角进行反馈控制，通过设定自适应阈值，对无人机的位姿进行修正，从而实现稳定的目标跟踪和姿态估计。
第五步：结合激光反射器、红外相机和超宽带雷达等辅助传感器和EKF滤波方法，进一步提升相对位姿的解算精度，得到精确的位姿信息
第六步：通过舰船模型计算出船体重心位置俯仰、横滚、偏摆、沉浮、横荡和纵荡六个自由度扰动，然后计算出期望着舰点位置受扰动的影响情况下相对于静止船体的坐标
，结合无人机的位姿高度信息H，采用Dubins的方法动态共同规划降落轨迹C。
第七步：计算降落轨迹和相对位姿之间的误差分布，对无人机的状态进行监视和预警，并通过数据链路系统将其传输给无人机，进行航迹的修正。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
Claims (4)
1.一种基于视觉和船状态结合的无人机着舰状态监视方法，其特征在于，包括以下步骤：
步骤1、根据包括风力和海浪的外部环境因素对舰船运动进行建模获得舰船模型，舰载平台上搭载双目相机转台、红外相机、激光传感器以及高性能计算单元；无人机具备无线数据传输系统；
步骤2、通过舰船模型计算出船体重心位置俯仰、横滚、偏摆、沉浮、横荡和纵荡六个自由度扰动后，计算出期望着舰点位置受扰动的影响情况下相对于静止船体的坐标，作为该时刻的着舰点位置；
步骤3、利用舰载双目相机捕捉图像，发送到站台进行无人机和舰船之间相对位姿的解算；
步骤4、对无人机的位姿进行修正；
步骤5、结合激光反射器、红外相机、超宽带雷达和EKF滤波器，进一步提升相对位姿的解算精度；
步骤6、根据步骤2计算出的期望着舰点位置受扰动的影响情况下相对于静止船体的坐标，结合无人机的位姿高度信息，动态共同规划降落轨迹；
步骤7、计算降落轨迹和相对位姿之间的误差分布，对无人机的状态进行监视和预警，并将其通过无线数据传输系统传输给无人机，进行航迹的修正。
2.根据权利要求1所述的一种基于视觉和船状态结合的无人机着舰状态监视方法，其特征在于：所述步骤3中，首先对图像进行预处理，然后利用计算机视觉的方法对无人机进行实时目标跟踪和姿态估计，根据左右转台的角度信息和目标跟踪的结果，解算无人机与舰船的相对位姿，并实时调整转台的俯仰角和航向角，对无人机的位姿进行修正，来实现稳定目标跟踪和姿态估计；所述目标跟踪采用YOLOv7的目标跟踪算法进行位置估计，所述姿态估计采用EPro-PnP的方法。
3.根据权利要求2所述的一种基于视觉和船状态结合的无人机着舰状态监视方法，其特征在于：所述步骤4中，根据无人机在图像中的成像位置与图像中心位置的偏差解算出双目相机转台俯仰角和方位角的增量；根据所述增量对转台的俯仰角和方位角进行反馈控制，通过设定自适应阈值，对无人机的位姿进行修正，从而实现稳定的目标跟踪和姿态估计。
4.根据权利要求1所述的一种基于视觉和船状态结合的无人机着舰状态监视方法，其特征在于：所述步骤6中，采用Dubins的算法规划无人机降落轨迹。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310113156.XA CN115857520B (zh) | 2023-02-15 | 2023-02-15 | 一种基于视觉和船状态结合的无人机着舰状态监视方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310113156.XA CN115857520B (zh) | 2023-02-15 | 2023-02-15 | 一种基于视觉和船状态结合的无人机着舰状态监视方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115857520A true CN115857520A (zh) | 2023-03-28 |
| CN115857520B CN115857520B (zh) | 2023-05-30 |
Family
ID=85658075
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310113156.XA Active CN115857520B (zh) | 2023-02-15 | 2023-02-15 | 一种基于视觉和船状态结合的无人机着舰状态监视方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115857520B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116503365A (zh) * | 2023-05-04 | 2023-07-28 | 无锡化工装备股份有限公司 | 一种基于机器视觉的三维冷凝翅片管轧制实时监测方法 |
| CN117849777A (zh) * | 2024-01-09 | 2024-04-09 | 珠海横琴高乐通无人机系统有限公司 | 船载无人机定位导航方法、装置、电子设备、存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105259908A (zh) * | 2015-11-05 | 2016-01-20 | 南京航空航天大学 | 一种雷达引导无人机自动着舰制导与控制系统及其控制方法 |
| CN110081881A (zh) * | 2019-04-19 | 2019-08-02 | 成都飞机工业（集团）有限责任公司 | 一种基于无人机多传感器信息融合技术的着舰引导方法 |
| CN110979716A (zh) * | 2019-11-05 | 2020-04-10 | 西安羚控电子科技有限公司 | 一种舰载垂直起降侦查校射无人机姿态舰机协同导引方法 |
| WO2022036724A1 (zh) * | 2020-08-21 | 2022-02-24 | 南京科沃云计算信息技术有限公司 | 基于机器视觉的无人机目标跟踪系统及方法 |
| CN114200948A (zh) * | 2021-12-09 | 2022-03-18 | 中国人民解放军国防科技大学 | 一种基于视觉辅助的无人机自主着舰方法 |
| CN114527780A (zh) * | 2022-01-26 | 2022-05-24 | 中国人民解放军92728部队 | 一种舰载直升机智能着舰引导控制方法及系统 |
-
2023
- 2023-02-15 CN CN202310113156.XA patent/CN115857520B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105259908A (zh) * | 2015-11-05 | 2016-01-20 | 南京航空航天大学 | 一种雷达引导无人机自动着舰制导与控制系统及其控制方法 |
| CN110081881A (zh) * | 2019-04-19 | 2019-08-02 | 成都飞机工业（集团）有限责任公司 | 一种基于无人机多传感器信息融合技术的着舰引导方法 |
| CN110979716A (zh) * | 2019-11-05 | 2020-04-10 | 西安羚控电子科技有限公司 | 一种舰载垂直起降侦查校射无人机姿态舰机协同导引方法 |
| WO2022036724A1 (zh) * | 2020-08-21 | 2022-02-24 | 南京科沃云计算信息技术有限公司 | 基于机器视觉的无人机目标跟踪系统及方法 |
| CN114200948A (zh) * | 2021-12-09 | 2022-03-18 | 中国人民解放军国防科技大学 | 一种基于视觉辅助的无人机自主着舰方法 |
| CN114527780A (zh) * | 2022-01-26 | 2022-05-24 | 中国人民解放军92728部队 | 一种舰载直升机智能着舰引导控制方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 刘敏杰;赵振宇;陈哨东;: "舰载飞机自动着舰仿真系统建模" * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116503365A (zh) * | 2023-05-04 | 2023-07-28 | 无锡化工装备股份有限公司 | 一种基于机器视觉的三维冷凝翅片管轧制实时监测方法 |
| CN117849777A (zh) * | 2024-01-09 | 2024-04-09 | 珠海横琴高乐通无人机系统有限公司 | 船载无人机定位导航方法、装置、电子设备、存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115857520B (zh) | 2023-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109911188B (zh) | 非卫星导航定位环境的桥梁检测无人机系统 | |
| CN115857520B (zh) | 一种基于视觉和船状态结合的无人机着舰状态监视方法 | |
| CN107741229B (zh) | 一种光电/雷达/惯性组合的舰载机着舰导引方法 | |
| CN105841688B (zh) | 一种船舶辅助泊岸方法和系统 | |
| CN111966133A (zh) | 一种云台视觉伺服控制系统 | |
| CN105698762A (zh) | 一种单机航迹上基于不同时刻观测点的目标快速定位方法 | |
| CN105242285A (zh) | 一种基于卫星通信的无人机导航数据被欺骗识别方法 | |
| CN111090283B (zh) | 一种无人艇组合定位定向方法和系统 | |
| CN108896957A (zh) | 一种无人机操控信号源的定位系统及方法 | |
| CN109813306A (zh) | 一种无人车规划轨迹卫星定位数据可信度计算方法 | |
| GB2571711A (en) | Drone control system | |
| CN109612333B (zh) | 一种面向可重复使用火箭垂直回收的视觉辅助导引系统 | |
| CN112710303A (zh) | 由运动平台运动引起目标在视场中姿态角θ变化的确定方法 | |
| CN112747745A (zh) | 一种目标特性参数测量装置及方法 | |
| CN106375716A (zh) | 适用舰船的光学设备稳定跟踪系统及方法 | |
| Sawada et al. | Mapping and localization for autonomous ship using LiDAR SLAM on the sea | |
| CN114061565A (zh) | 一种无人船舶slam及其应用方法 | |
| CN108287538A (zh) | 一种基于rtk技术无人驾驶船系统 | |
| CN113721188B (zh) | 拒止环境下的多无人机自身定位与目标定位方法 | |
| Castelar Wembers et al. | LiDAR‐based automated UAV inspection of wind turbine rotor blades | |
| CN114791735A (zh) | 无人船纠偏方法及系统 | |
| Zeng et al. | Dual-channel LIDAR searching, positioning, tracking and landing system for rotorcraft from ships at sea | |
| CN113589314A (zh) | 一种基于激光视觉的水面目标检测增稳系统及增稳方法 | |
| Kaiser et al. | Position and orientation of an aerial vehicle through chained, vision-based pose reconstruction | |
| Xu et al. | Research on Navigation and Positioning Technology for Autonomous Recovery of Unmanned Surface Vehicles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |