CN117850439A - 水下环境探测方法、装置、存储介质及电子设备 - Google Patents
水下环境探测方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN117850439A CN117850439A CN202211205052.3A CN202211205052A CN117850439A CN 117850439 A CN117850439 A CN 117850439A CN 202211205052 A CN202211205052 A CN 202211205052A CN 117850439 A CN117850439 A CN 117850439A
- Authority
- CN
- China
- Prior art keywords
- water
- unmanned aerial
- aerial vehicle
- image
- underwater
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 200
- 238000003860 storage Methods 0.000 title claims abstract description 16
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 290
- 238000000034 method Methods 0.000 claims abstract description 101
- 230000008569 process Effects 0.000 claims abstract description 50
- 238000004891 communication Methods 0.000 claims description 134
- 230000007613 environmental effect Effects 0.000 claims description 72
- 239000003550 marker Substances 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 10
- 238000004886 process control Methods 0.000 claims description 6
- 239000000758 substrate Substances 0.000 claims 1
- 239000000523 sample Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000009360 aquaculture Methods 0.000 description 3
- 244000144974 aquaculture Species 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 241000251468 Actinopterygii Species 0.000 description 1
- 241000512259 Ascophyllum nodosum Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000002352 surface water Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 239000003643 water by type Substances 0.000 description 1
Landscapes
- Studio Devices (AREA)
Abstract
本公开涉及一种水下环境探测方法、装置、存储介质及电子设备。该方法包括:在基于无人机进行水下探测的过程中,接收位于水面之上的所述无人机上的摄像机拍摄的水上环境图像,所述摄像机与水面之间的距离大于0;接收位于水中的探测器探测到的水下环境图像,其中,所述无人机通过连接部件与所述探测器连接;在显示终端上同时显示所述水上环境图像和所述水下环境图像。采用这种方式,可避免用户因只能看到探测器探测到的水下画面而导致的方向迷失问题。
Description
技术领域
本公开涉及水下环境探测技术领域,具体地,涉及一种水下环境探测方法、装置、存储介质及电子设备。
背景技术
生产和生活中,经常会遇到探测水面下的状态的需求,例如物品落水时查找物品在水下的位置的需求。最常见的水域环境包括公园池塘、湖泊、河流、路面积水、水渠、以及水沟等。这些水域环境的水深一般在数米以内。因人眼无法看清水面下情况,如人眼不能直接观察距离岸边较远的水域区域的水面下情况,所以人们无法对水面下的情况作出判断决策。因此,需对水下环境进行探测,以获悉水下情况。
相关技术中,水下探测方案有往水下投放探测器、人员携带探测器进行水下探测、水下无人机携带探测器进行水下探测、作业船携带探测器进行水下探测等方式。然而,因水下容易迷失方向而常常导致得到的水下探测结果不全面。
发明内容
为解决相关技术中存在的技术问题,本公开提出一种水下环境探测方法、装置、存储介质及电子设备。
为了实现上述目的,本公开实施例的第一方面提供一种水下环境探测方法,所述方法包括:
在基于无人机进行水下探测的过程中,接收位于水面之上的所述无人机上的摄像机拍摄的水上环境图像,所述摄像机与水面之间的距离大于0;
接收位于水中的探测器探测到的水下环境图像,其中,所述无人机通过连接部件与所述探测器连接;在显示终端上同时显示所述水上环境图像和所述水下环境图像。
可选地,在所述接收位于水面之上的所述无人机上的摄像机拍摄的水上环境图像之前,包括:
根据所述摄像机与所述显示终端之间的第一通信链路的第一延迟信息、以及所述探测器与所述显示终端之间的第二通信链路的第二延迟信息,从所述第一通信链路和所述第二通信链路中确定延迟最高的一个为第一目标通信链路和延迟最低的一个为第二目标通信链路;并,
确定所述第一通信链路和所述第二通信链路之间的通信时差。
可选地,在确定所述第一通信链路为所述第一目标通信链路的情况下,所述接收位于水面之上的所述无人机上的摄像机拍摄的水上环境图像,包括:
即时接收所述水上环境图像;
相应的,所述接收位于水中的探测器探测到的水下环境图像,包括:
在延迟所述通信时差对应的时长后,接收所述水下环境图像。
可选地,在确定所述第二通信链路为所述第一目标通信链路的情况下,所述接收位于水面之上的所述无人机上的摄像机拍摄的水上环境图像,包括:
在延迟所述通信时差对应的时长后,接收所述水上环境图像;
相应的,所述接收位于水中的探测器探测到的水下环境图像,包括:
即时接收所述水下环境图像。
可选地,所述水上环境图像的数量为多个,所述水下环境图像的数量为多个,每一图像对应有采集时间,所述在显示终端上同时显示所述水上环境图像和所述水下环境图像,包括:
基于各图像对应的采集时间,从多个所述水上环境图像和多个所述水下环境图像中确定多个图像对,每一所述图像对中的所述水上环境图像和所述水下环境图像的采集时间相同,或者,每一所述图像对中的所述水上环境图像和所述水下环境图像的采集时间的差值小于预设阈值;
根据采集时间的先后顺序,在所述显示终端上依次显示所述图像对。
可选地,所述方法还包括:
根据所述无人机的预设点位距离水面的飞行高度、以及所述连接部件的使用长度计算所述探测器所处位置的水深;
根据所述无人机的飞行输出功率、水流在所述连接部件上的冲击面积、以及水密度确定水流流速,所述飞行输出功率表征用于抵抗水流阻力以保持所述无人机的飞行位姿的输出动力;
在所述显示终端上显示所述探测器所处位置的水深和/或所述水流流速。
可选地,所述方法还包括:
基于预设数据格式,至少将水下探测过程中的所述图像对、所述探测器所处位置的水深、以及所述水流流速作为探测数据保存至本地数据库和/或云端数据库。
可选地,在基于所述无人机进行水下探测之前,包括:
在所述无人机到达目标探测位置的情况下,控制所述无人机悬停;
控制所述无人机下降和/或控制可伸缩的所述连接部件伸长,以将所述探测器没入水中。
可选地,所述方法还包括:
在所述探测器没入水中之前,控制所述摄像机以所述探测器为跟随中心拍摄得到探测器入水图像;
相应地,在基于无人机进行水下探测的过程中,在所述探测器没入水中之后,控制所述无人机上摄像机以目标点为跟随中心拍摄得到所述水上环境图像,并控制所述探测器探测水下环境,得到所述水下环境图像,所述目标点为探测器入水点或所述连接部件与水面的相交点。
可选地,在控制所述无人机悬停之后,还包括:
通过所述摄像机搜索所述无人机周围的标志物;
保存包括所述标志物的环境图像、所述摄像机拍摄所述环境图像的姿态、以及在所述摄像机拍摄所述环境图像时所述无人机的位姿。
可选地,所述目标探测位置对应有目标历史探测信息,所述方法还包括:
确定目标探测位置;
获取所述目标历史探测信息中的历史无人机航线信息;
根据所述历史无人机航线信息控制所述无人机到达所述目标探测位置。
可选地,所述目标探测位置对应有目标历史探测信息,所述方法还包括:
在控制所述探测器探测水下环境的过程中,根据所述目标历史探测信息中的探测过程控制数据控制所述无人机的位姿、所述探测器的姿态、以及所述连接部件的伸缩状态;
并对比相同的所述无人机的位姿、相同的所述探测器的姿态、以及相同的所述连接部件的伸缩状态下所述探测器探测到的所述水下环境图像与所述目标历史探测信息中的历史水下环境图像,得到所述目标探测位置的水下变化信息。
可选地,所述方法还包括:
在根据所述历史无人机航线信息控制所述无人机航行的过程中,控制所述摄像机拍摄得到航行环境图像;
确定所述目标历史探测信息中的与所述航行环境图像对应相同航行点位的历史航行环境图像;
根据所述航行环境图像和所述历史航行环境图像的对比结果校正所述无人机的飞行位姿。
本公开实施例的第二方面提供一种水下环境探测装置,所述装置包括:
第一接收模块,用于在基于无人机进行水下探测的过程中,接收位于水面之上的所述无人机上的摄像机拍摄的水上环境图像,所述摄像机与水面之间的距离大于0;
第二接收模块,用于接收位于水中的探测器探测到的水下环境图像,其中,所述无人机通过连接部件与所述探测器连接;
第一显示模块,用于在显示终端上同时显示所述水上环境图像和所述水下环境图像。
可选地,所述装置还包括:
第一确定模块,用于在所述接收位于水面之上的所述无人机上的摄像机拍摄的水上环境图像之前,根据所述摄像机与所述显示终端之间的第一通信链路的第一延迟信息、以及所述探测器与所述显示终端之间的第二通信链路的第二延迟信息,从所述第一通信链路和所述第二通信链路中确定延迟最高的一个为第一目标通信链路和延迟最低的一个为第二目标通信链路;并,确定所述第一通信链路和所述第二通信链路之间的通信时差。
可选地,所述第一接收模块,包括:
第一接收子模块,用于在确定所述第一通信链路为所述第一目标通信链路的情况下,即时接收所述水上环境图像;
相应的,所述第二接收模块包括:
第二接收子模块,用于在延迟所述通信时差对应的时长后,接收所述水下环境图像。
可选地,所述第一接收模块,包括:
第三接收子模块,用于在确定所述第二通信链路为所述第一目标通信链路的情况下,在延迟所述通信时差对应的时长后,接收所述水上环境图像;
相应地,所述第二接收模块包括:
第四接收子模块,用于即时接收所述水下环境图像。
可选地,所述水上环境图像的数量为多个,所述水下环境图像的数量为多个,每一图像对应有采集时间,所述第一显示模块,包括:
确定子模块,用于基于各图像对应的采集时间,从多个所述水上环境图像和多个所述水下环境图像中确定多个图像对,每一所述图像对中的所述水上环境图像和所述水下环境图像的采集时间相同,或者,每一所述图像对中的所述水上环境图像和所述水下环境图像的采集时间的差值小于预设阈值;
显示子模块,用于根据采集时间的先后顺序,在所述显示终端上依次显示所述图像对。
可选地,所述装置还包括:
第一计算模块,用于根据所述无人机的预设点位距离水面的飞行高度、以及所述连接部件的使用长度计算所述探测器所处位置的水深;
第二计算模块,用于根据所述无人机的飞行输出功率、水流在所述连接部件上的冲击面积、以及水密度确定水流流速,所述飞行输出功率表征用于抵抗水流阻力以保持所述无人机的飞行位姿的输出动力;
第二显示模块,用于在所述显示终端上显示所述探测器所处位置的水深和/或所述水流流速。
可选地,所述装置还包括:
第一保存模块,用于基于预设数据格式,至少将水下探测过程中的所述图像对、所述探测器所处位置的水深、以及所述水流流速作为探测数据保存至本地数据库和/或云端数据库。
可选地,所述装置还包括:
第一控制模块,用于在所述无人机到达目标探测位置的情况下,控制所述无人机悬停;
第二控制模块,用于控制所述无人机下降和/或控制可伸缩的所述连接部件伸长,以将所述探测器没入水中。
可选地,所述装置还包括:
第三控制模块,用于在所述探测器没入水中之前,控制所述摄像机以所述探测器为跟随中心拍摄得到探测器入水图像;
第四控制模块,用于在基于无人机进行水下探测的过程中,在所述探测器没入水中之后,控制所述无人机上摄像机以目标点为跟随中心拍摄得到所述水上环境图像,并控制所述探测器探测水下环境,得到所述水下环境图像,所述目标点为探测器入水点或所述连接部件与水面的相交点。
可选地,所述装置还包括:
搜索模块,用于在控制所述无人机悬停之后,通过所述摄像机搜索所述无人机周围的标志物;
第二保存模块,用于保存包括所述标志物的环境图像、所述摄像机拍摄所述环境图像的姿态、以及在所述摄像机拍摄所述环境图像时所述无人机的位姿。
可选地,所述目标探测位置对应有目标历史探测信息,所述装置还包括:
第二确定模块,用于确定目标探测位置;
第三获取模块,用于获取所述目标历史探测信息中的历史无人机航线信息;
第五控制模块,用于根据所述历史无人机航线信息控制所述无人机到达所述目标探测位置。
可选地,所述装置还包括:
第六控制模块,用于在控制所述探测器探测水下环境的过程中,根据所述目标历史探测信息中的探测过程控制数据控制所述无人机的位姿、所述探测器的姿态、以及所述连接部件的伸缩状态;
对比模块,用于对比相同的所述无人机的位姿、相同的所述探测器的姿态、以及相同的所述连接部件的伸缩状态下所述探测器探测到的所述水下环境图像与历史水下环境图像,得到所述目标探测位置的水下变化信息,所述目标历史探测信息包括所述历史水下环境图像。
可选地,所述装置还包括:
校正模块,用于在根据所述历史无人机航线信息控制所述无人机航行的过程中,控制所述摄像机拍摄得到航行环境图像;确定所述目标历史探测信息中的与所述航行环境图像对应相同航行点位的历史航行环境图像;根据所述航行环境图像和所述历史航行环境图像的对比结果校正所述无人机的飞行位姿。
本公开实施例的第三方面提供一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现第一方面中任一项所述方法的步骤。
本公开实施例的第四方面提供一种电子设备,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现第一方面中任一项所述方法的步骤。采用上述技术方案,至少能够达到如下的有益技术效果:
在基于无人机进行水下探测的过程中,接收位于水面之上的无人机上的摄像机拍摄的水上环境图像。并接收位于水中的探测器探测到的水下环境图像。在显示终端上同时显示水上环境图像和水下环境图像。由于无人机通过连接部件与探测器连接,所以无人机与探测器位于相同纵向空间,进而无人机上摄像机拍摄的水上环境图像对探测器探测到的水下环境图像的方位具有参考、指导的作用。相关技术中,由于用户只能看到探测器探测到的水下画面,而人对水下环境陌生,所以常常导致用户观看水下画面时迷失方向即不清楚水下画面相对应的位置、方向、以及水上环境的情况,进而导致用户难以判断是否对水下环境进行了全面探测,以及难以针对某水下画面对应的方位再次进行重点探测的问题。而采用本公开的技术方案,通过在显示终端上同时显示水上环境图像和水下环境图像,可基于水上环境图像对水下环境图像的方位的参考/指导作用来避免相关技术中用户因只能看到探测器探测到的水下画面而导致的方向迷失问题,以及由方向迷失问题进一步导致的水下探测不全面和难以对某水下画面对应的方位再次进行重点探测的问题。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:
图1是根据本公开一示例性实施例示出的一种水面作业船带动水下传感器进行探测的示意图。
图2是根据本公开一示例性实施例示出的一种水下环境探测方法的流程图。
图3是根据本公开一示例性实施例示出的一种无人机、连接部件、探测器的连接结构示意图。
图4是根据本公开一示例性实施例示出的一种基于无人机进行水下探测的示意图。
图5是根据本公开一示例性实施例示出的一种预设数据格式的示意图。
图6是根据本公开一示例性实施例示出的一种显示终端的显示界面示意图。
图7是根据本公开一示例性实施例示出的一种水下环境探测装置的框图。
图8是根据本公开一示例性实施例示出的一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。
需要说明的是,本公开中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下,并获得由相应装置所有者给予授权的情况下进行的。
相关技术中,水下探测方案一是工作人员在岸边直接往水中投放探测器,但是这种方法不适用于远距离探测场景、对投放位置精确度要求高、或者需变化探测器的探测窗口朝向的探测场景。二是人员潜水探测/水下无人机探测,但是这种方式需要非常专业的潜水人员、以及昂贵的探测设备。成本投入大,并有一定的危险性,且也不能快速投放在日常生活(如无法潜水的路面积水场景)中进行使用。三是通过水面作业船带动水下传感器进行探测,如图1所示,但是这种方式仍存在响应慢、成本高、不适用于不能行船的水域环境(如无法行船的路面积水场景)的问题。此外,这些水下探测方案均存在因水下容易迷失方向而导致得到的水下探测结果不全面的问题。
有鉴于此,本公开提出一种水下环境探测方法、装置、存储介质及电子设备。以解决上述相关技术中存在的问题。
图2是根据本公开一示例性实施例示出的一种水下环境探测方法的流程图。该水下环境探测方法应用于终端设备中,例如应用于与无人机和探测器通信连接的平板、手机、电脑;又例如,应用于与探测器通信连接的无人机、无人机控制终端、无人机监管平台等。如图2所示,该水下环境探测方法包括以下步骤:
S11、在基于无人机进行水下探测的过程中,接收位于水面之上的所述无人机上的摄像机拍摄的水上环境图像,所述摄像机与水面之间的距离大于0。
应说明的是,在进行水下探测的过程中,无人机上的摄像机始终位于水面之上,即摄像机始终不与水域的水面相接触,摄像机与水域的水面之间的距离大于0。水下探测的过程是指,无人机到达探测地点后,开始进行探测至结束探测的过程。无人机上配置有摄像机,可用于拍摄无人机周围的环境状况。水域包括但不限于池塘、湖泊、河流、积水路面、沟渠、水池(如养鱼池)等。
在基于无人机进行水下探测的过程中,接收位于水面之上的无人机上摄像机拍摄的水上环境图像。该水上环境图像可以是无人机的四周环视图像、水面图像、或仰视图像。
S12、接收位于水中的探测器探测到的水下环境图像,其中,所述无人机通过连接部件与所述探测器连接。
探测器包括摄像机、激光雷达、毫米波雷达等。在一些场景下,如养殖场景下,探测器包括用于探测水产品密度的传感器、探测水温的传感器等。而探测器探测到的水下环境图像可以是摄像机拍摄得到的画面,也可以是激光雷达、毫米波雷达采集到的点云图像,还可以是对探测水产品密度的传感器、探测水温的传感器采集的数据进行图形化处理后所得到的图像。数据的图形化处理是指将数据转换为柱状图、折线图、分布图的数据处理方式。
参见图3,无人机通过可伸缩的连接部件与探测器连接,连接部件包括连接固定机构和可伸缩的连接杆,该连接杆可以是刚性连接杆。
S13、在显示终端上同时显示所述水上环境图像和所述水下环境图像。
示例地,如图4所示,在基于无人机进行水下探测的过程中,无人机位于水面之上,探测器位于水中。在一些实施方式中,在基于无人机进行水下探测的过程,无人机上摄像机的拍摄窗口朝向与探测器的探测窗口朝向可以一致,这样可使得水上环境图像和水下环境图像是相同方位上的图像。这种情况下,可将水上环境图像和水下环境图像按照空间上下位置进行直接拼接,得到上半部为水上环境图像,下半部为水下环境图像的拼接图像,将该包括水上环境和水下环境的拼接图像显示在显示终端。用户结合水上环境图像可更容易的辨识水下环境图像的方位,避免单看水下环境图像导致的方向迷失问题。
在另一些实施方式中,可在基于无人机进行水下探测之前,或者在探测器没入水中之前,通过无人机上摄像机拍摄包括探测器的图像,并通过图像特征分析,识别出无人机上摄像机视角下的探测器的初始探测窗口朝向并记录,然后根据探测器的探测窗口朝向的控制变化信息更新并存储探测器在无人机上摄像机视角下的探测窗口朝向。这样,在基于无人机进行水下探测的过程,可知道每一水下环境图像在无人机上摄像机视角下的方位。无人机上摄像机可用于俯拍包括连接杆、连接杆与水面的相交点的水上环境图像(如水面图像)。将水上环境图像与水下环境图像进行图像无缝拼接得到包括水上环境和水下环境的更大视角的图像,将该图像显示在显示终端。其中,图像无缝拼接是指把有重叠部分的多张图像合成一张大的宽视角的图像。
再示例地,还可将水上环境图像显示在显示终端的左侧,将水下环境图像显示在显示终端的右侧。此外,在水下探测的过程中,若探测器不可旋转,则可通过控制无人机前后左右上下的移动、旋转等,以控制探测器在水中的位置或朝向(位姿)等变化。
采用上述方法,在基于无人机进行水下探测的过程中,接收位于水面之上的无人机上摄像机拍摄的水上环境图像。并接收位于水中的探测器探测到的水下环境图像。在显示终端上同时显示水上环境图像和水下环境图像。由于无人机通过可伸缩的连接部件与探测器连接,所以无人机与探测器位于相同纵向空间,进而无人机上摄像机拍摄的水上环境图像对探测器探测到的水下环境图像的方位具有参考、指导的作用。例如水上环境图像和水下环境图像是相同纵向空间的不同位置上的设备对相同方位上的环境拍摄得到的图像,这样每一水下环境图像都对应有准确的水上环境图像,即便用户不熟悉水下环境,也可根据水上环境图像识别对应的水下环境图像的方位。又例如,将水上环境图像与水下环境图像进行图像无缝拼接得到包括水上环境和水下环境的更大视角的图像,将该图像显示在显示终端。这样,用户可知道每一水下环境在纵向空间上对应的水上环境状况。
相关技术中,由于用户只能看到探测器探测到的水下画面,而人对水下环境陌生,所以常常导致用户观看水下画面时迷失方向即不清楚水下画面相对应的位置、方向、以及水上环境的情况,进而导致用户难以判断是否对水下环境进行了全面探测,以及难以针对某水下画面对应的方位再次进行重点探测的问题。而采用本公开的技术方案,通过在显示终端上同时显示水上环境图像和水下环境图像,可基于水上环境图像对水下环境图像的方位的参考/指导作用来避免相关技术中用户因只能看到探测器探测到的水下画面而导致的方向迷失问题,以及由方向迷失问题进一步导致的水下探测不全面和难以对某水下画面对应的方位再次进行重点探测的问题。
可选地,在所述接收位于水面之上的所述无人机上摄像机拍摄的水上环境图像之前,包括:
根据所述摄像机与所述显示终端之间的第一通信链路的第一延迟信息、以及所述探测器与所述显示终端之间的第二通信链路的第二延迟信息,从所述第一通信链路和所述第二通信链路中确定延迟最高的一个为第一目标通信链路和延迟最低的一个为第二目标通信链路;并,确定所述第一通信链路和所述第二通信链路之间的通信时差。
本公开实施例中,摄像机与探测器同步发送拍摄/探测得到的图像。
在显示终端接收无人机/摄像机发送的无人机上摄像机拍摄的水上环境图像、并接收探测器发送的探测器探测到的水下环境图像的过程中,可能因为信息传输路径、通信协议等差别而产生一定的图像接收延迟差,即可能不能同步接收到水上环境图像和水下环境图像。为避免信息传输路径、通信协议等导致的图像接收延迟问题,可对传输快的一方发送的图像延迟一定的时间后再接收,从而保证同时接收到水上环境图像和水下环境图像。具体实施方式可以是:
确定摄像机与显示终端之间的第一通信链路的第一延迟信息。确定探测器与显示终端之间的第二通信链路的第二延迟信息。根据第一延迟信息和第二延迟信息确定第一通信链路和第二通信链路之间的通信时差。并从第一通信链路和第二通信链路中确定延迟最高的一个为第一目标通信链路和延迟最低的一个为第二目标通信链路。例如水上环境图像和水下环境图像的数据量一样,第一通信链路接收水上环境图像的延迟总时间为10毫秒,第二通信链路接收水下环境图像的延迟总时间为12毫秒,那么,第一通信链路和第二通信链路中延迟最高的第一目标通信链路是第二通信链路,延迟最低的第二目标通信链路是第一通信链路。又例如,第一通信链路接收水上环境图像的延迟总时间为15毫秒,第二通信链路接收水下环境图像的延迟总时间为12毫秒,那么,第一通信链路和第二通信链路中延迟最高的第一目标通信链路是第一通信链路,延迟最低的第二目标通信链路是第二通信链路。
在确定第一目标通信链路和第二目标通信链路之后,针对来自于第一目标通信链路的图像,采用即时接收策略接收图像。针对来自于第二目标通信链路的图像,采用延迟接收策略接收图像,延迟时长为第一通信链路和第二通信链路之间的通信时差。
可选地,在确定所述第一通信链路为所述第一目标通信链路的情况下,所述接收位于水面之上的所述无人机上摄像机拍摄的水上环境图像,包括:即时接收所述水上环境图像;相应的,所述接收位于水中的探测器探测到的水下环境图像,包括:在延迟所述通信时差对应的时长后,接收所述水下环境图像。
示例地,若第一通信链路为延迟最高的第一目标通信链路,而第二通信链路为延迟最低的第二目标通信链路,则即时接收水上环境图像。在延迟通信时差对应的时长后,接收水下环境图像。从而确保同步接收到水上环境图像和水下环境图像。
可选地,在确定所述第二通信链路为所述第一目标通信链路的情况下,所述接收位于水面之上的所述无人机上摄像机拍摄的水上环境图像,包括:在延迟所述通信时差对应的时长后,接收所述水上环境图像;相应的,所述接收位于水中的探测器探测到的水下环境图像,包括:即时接收所述水下环境图像。
示例地,若第二通信链路为延迟最高的第一目标通信链路,而第一通信链路为延迟最低的第二目标通信链路,则在延迟通信时差对应的时长后,接收水上环境图像,即时接收水下环境图像。
采用这种方式,可同步接收到水上环境图像和水下环境图像。
由于无人机上摄像机和探测器是两个硬件装置,基于硬件差异,无人机上摄像机拍摄得到水上环境图像的拍摄时间可能与探测器探测得到水下环境图像的探测时间存在差异,所以为了在显示终端上显示同步拍摄的水上环境图像和水下环境图像,可将水上环境图像序列和水下环境图像序列进行对齐。
具体的实施方式是,所述水上环境图像的数量为多个,所述水下环境图像的数量为多个,每一图像对应有采集时间,所述在显示终端上同时显示所述水上环境图像和所述水下环境图像,包括:
基于各图像对应的采集时间,从多个所述水上环境图像和多个所述水下环境图像中确定多个图像对,每一所述图像对中的所述水上环境图像和所述水下环境图像的采集时间相同,或者,每一所述图像对中的所述水上环境图像和所述水下环境图像的采集时间的差值小于预设阈值;根据采集时间的先后顺序,在所述显示终端上依次显示所述图像对。
水上环境图像的数量为多个,基于每一图像对应的采集时间,该多个水上环境图像即为摄像机连续拍摄得到的水上环境图像序列。同理地,多个水下环境图像为探测器连续探测得到的水下环境图像序列。
基于各图像对应的采集时间,从多个水上环境图像(水上环境图像序列)和多个水下环境图像(水下环境图像序列)中确定多个图像对,每一图像对包括一个水上环境图像和一个水下环境图像。且每一图像对中的水上环境图像和水下环境图像的采集时间相同,或者,每一图像对中的水上环境图像和水下环境图像的采集时间的差值小于预设阈值(该预设阈值是基于业务精度需求而设定的)。根据每一图像对中水上环境图像/水下环境图像的采集时间的先后顺序,在显示终端上依次显示图像对。如此可实现在水下探测的过程中,在显示终端上同步显示水上环境图像和水下环境图像。
可选地,所述方法还包括:
根据所述无人机距离水面的飞行高度、所述连接部件的使用长度、以及所述探测器的高度计算所述探测器所处位置的水深;根据所述无人机的飞行输出功率、水流在所述连接部件上的冲击面积、以及水密度确定水流流速;在所述显示终端上显示所述探测器所处位置的水深和/或所述水流流速。一种实施方式,以图4为例,无人机距离水面的飞行高度c、连接部件的使用长度a可直接获取得到。例如无人机距离水面的飞行高度c可从无人机上获得,连接部件的使用长度a可通过连接部件的伸缩程度、连接部件最大长度/连接部件最短长度计算得到。探测器的高度b可预先测量得到并存储。
根据无人机距离水面的飞行高度c、连接部件的使用长度a、探测器的高度b通过公式e=a-c+b可计算得到探测器所处位置的水深e。采用这种方式,无需在探测器上集成用于测量探测器所处位置的水深的传感器,降低了无人机的负载。一种可能的情况,当探测器与水底接触时,探测器所处位置的水深e可表征该位置的水底深度d。采用这种方式,可获得更全面的水下探测结果。
另一种实施方式,无人机的飞行输出功率可从无人机上直接获取得到。水流在连接部件(和探测器)上的冲击面积可通过探测器所处位置的水深e与探测器的高度b的差值、以及连接杆的周长计算得到。由于探测器一般很微小,所以在不考虑精度的情况下可忽略计算。根据无人机的飞行输出功率、水流在连接部件上的冲击面积、以及水密度计算水流流速。计算原理可以是流体力学中的,冲击力=密度×接触面积×速度^2的公式。另外,水流流速也可以通过记录无人机为了保持飞行姿态输出的抵抗水流阻力的动力反推水流加速度,并进行积分后得到水流流速。采用这种方式,无需在探测器上集成用于测量水流流速的传感器,降低了无人机的负载。采用这种方式,可获得更全面的水下探测结果。其中,飞行输出功率表征用于抵抗水流阻力以保持所述无人机的飞行位姿的输出动力,根据该动力可反推水流加速度或速度,并进行积分后得到水流速度。
探测器所处位置的水深和/或水流流速可以是在基于无人机进行水下探测的过程中实时计算的,并可实时显示在显示终端上,以向用户展示更全面的探测结果。
可选地,所述方法还包括:
基于预设数据格式,至少将水下探测过程中的所述图像对、所述探测器所处位置的水深、以及所述水流流速作为探测数据保存至本地数据库和/或云端数据库。
预设数据格式可以如图5所示。可将水下探测过程中的图像对中水上环境图像的存储地址存储到Data7中。可将水下探测过程中的图像对中水下环境图像的存储地址存储到Data8中。可将探测器所处位置的水深(相应地水流流速)存储在Data3、Data4中。
此外,Data3、Data4中还可以存储无人机的定位信息(GPS)、无人机的飞行高度、无人机的飞行距离、飞行角度、以及探测时间等。Data5中可以存储无人机型号、连接杆型号、探测器型号等。Data6中可以存储无人机状态(如剩余电量、是否故障等)、探测器状态(如剩余电量、是否故障等)。Data7中还可以存储无人机参数信息,如无人机姿态信息、飞行输出功率、距离水面的最小安全距离、触发报警或返航的最低电量、能安全执行水下探测任务时所允许的最大水流速度等。并且,Data8中还可以存储探测器参数信息,如探测器姿态信息、探测器最大探测深度、承受的最大压力等信息。Data9中可存储校验信息,校验信息可以是第一通信链路和第二通信链路之间的通信时差,图像对的对齐信息等。还可以是摄像机的相机参数等。
这种基于预设数据格式,至少将水下探测过程中的图像对、探测器所处位置的水深、以及水流流速作为探测数据保存至本地数据库和/或云端数据库的方式,可基于保存的数据复现水下探测过程。并且还可以用于与下一次相同位置上的水下探测过程进行比较,得出该位置上的水下环境的变化信息。可选地,在基于所述无人机进行水下探测之前,包括:
在所述无人机到达目标探测位置的情况下,控制所述无人机悬停;控制所述无人机下降和/或控制可伸缩的所述连接部件伸长,以将所述探测器没入水中;并,在所述探测器没入水中之前,控制所述无人机上摄像机以所述探测器为跟随中心拍摄得到探测器入水图像;相应地,在基于无人机进行水下探测的过程中,即在所述探测器没入水中之后,控制所述无人机上摄像机以目标点为跟随中心拍摄得到所述水上环境图像,并控制所述探测器探测水下环境,得到所述水下环境图像,所述目标点为探测器入水点或所述连接部件与水面的相交点。
应说明的是,基于无人机进行水下探测的过程可以是探测器处于水中的过程。或者,可以是探测器进行探测工作的过程。
示例地,确定目标探测位置。在无人机到达目标探测位置的情况下,控制无人机悬停。控制无人机下降和/或控制连接部件伸长,以将探测器没入水中。并在控制无人机下降和/或控制连接部件伸长的过程中,在探测器没入水中之前控制无人机上摄像机以探测器为跟随中心拍摄得到探测器入水图像。入水图像可用于观察探测器是否是按照需求的姿态入水。也可以用于记录探测器入水的初始姿态,探测器的初始姿态是后续姿态调整的基础。并且,根据探测器的初始姿态可知探测器的探测窗口的朝向,从而知道探测器所拍摄的第一张水下环境图像是哪个方位上的图像,在知道水下环境图像对应哪个方位的情况下,有助于将水下环境图像与水上环境图像按照方位进行对应拼接显示。在探测器没入水中之后,控制无人机上摄像机以探测器入水点或连接部件与水面的相交点为跟随中心拍摄得到水上环境图像,并控制探测器探测水下环境,得到所述水下环境图像。
探测器入水图像可用于确定探测器的初始探测窗口朝向。也可用于记录探测器的入水过程。
可选地,所述目标探测位置对应有目标历史探测信息,所述方法还包括:
确定目标探测位置;获取所述目标历史探测信息中的历史无人机航线信息;根据所述历史无人机航线信息控制所述无人机到达所述目标探测位置。
一种实施方式,若目标探测位置对应有目标历史探测信息,目标历史探测信息中包括历史无人机航线信息,历史无人机航线信息包括多个航行点位(航行点的位置),那么可根据历史无人机航线信息控制无人机到达目标探测位置。并且,在根据历史无人机航线信息控制无人机航行之前,可将无人机放置到历史无人机航线信息中的第一个航行点位上(任意航行点位也行),或者通过用户手动操控无人机航行到历史无人机航线信息中的第一个航行点位上。
可选地,所述方法还包括:
在根据所述历史无人机航线信息控制所述无人机航行的过程中,控制所述无人机上摄像机拍摄得到航行环境图像;确定所述目标历史探测信息中的与所述航行环境图像对应相同航行点位的历史航行环境图像;根据所述航行环境图像和所述历史航行环境图像的对比结果校正所述无人机的飞行位姿。在一些实施方式中,可在根据历史无人机航线信息控制无人机航行的过程中,控制无人机上摄像机拍摄得到航行环境图像。确定目标历史探测信息中的与航行环境图像对应相同航行点位的历史航行环境图像。根据航行环境图像和历史航行环境图像的对比结果(如标志性建筑的特征对比)校正无人机的飞行位姿,以避免无人机偏离历史无人机航线。
相关技术中的控制无人机航行到目标探测位置的方式也适用于本公开实施例中。例如,通过用户手动操控无人机航行到目标探测位置。例如,用户在地图中选择目标探测位置以及到达该目标探测位置的多个航行点,无人机根据目标探测位置以及到达该目标探测位置的多个航行点组成的航线自动航行到目标探测位置。例如,用户在地图中输入目标探测位置的地点名称,以搜索该地点名称对应的地图坐标,根据当前位置的地图坐标和该地点名称对应的地图坐标生成航线,无人机根据该航线自动航行到目标探测位置。例如,用户输入目标探测位置的经度数据、纬度数据/数组,无人机基于GPS导航自动规划航行到该经纬度位置。
可选地,在控制所述无人机悬停之后,还包括:
通过所述无人机上摄像机搜索所述无人机周围的标志物;保存包括所述标志物的环境图像、所述无人机上摄像机拍摄所述环境图像的姿态、以及在所述无人机上摄像机拍摄所述环境图像时所述无人机的位姿。
在无人机到达目标探测位置之后,控制无人机悬停,控制无人机上摄像机搜索无人机周围的标志物,如固定形状的建筑物、山脉地形等。关联保存包括标志物的环境图像、无人机上摄像机拍摄该环境图像的姿态、以及在无人机上摄像机拍摄该环境图像时无人机的位姿。
此处需要说明的是,位姿是指位置和姿态,其中位置是指相对某一空间坐标系的地理位置,如相对(OXYZ)坐标系的位置坐标(X、Y、Z)。姿态是指与OX轴、OY轴、OZ轴的夹角信息。本公开实施例中,无人机的位置可通过GPS等定位装置来确定。无人机的位置确定后,由于无人机上的摄像机、探测器的位置在无人机的坐标系中是已知且固定的(或根据安装位置可预先获悉),所以根据无人机的位置可知道摄像机和探测器的位置。进而,摄像机/探测器的位置信息结合摄像机/探测器的姿态信息可得到摄像机/探测器的位姿。
在一些实施方式中,摄像机自动搜索并向用户提示可作为标志物的建筑或固定外形特征的环境特征(如山脉、道路等),提示方式可以是将图像中的标志物的外轮廓用红线标识出来,并在用户确认使用该标志物之后,红线变成绿色轮廓,并保存绿色轮廓线以及绿色轮廓线对应的标志物图像。
关联保存包括标志物的环境图像、无人机上摄像机拍摄该环境图像的位姿、以及在无人机上摄像机拍摄该环境图像时无人机的位姿的目的在于,在一些实施方式中,若目标探测位置对应有目标历史探测信息,目标历史探测信息中包括历史环境图像、无人机上摄像机拍摄该历史环境图像的位姿、以及在无人机上摄像机拍摄该历史环境图像时无人机的位姿。那么根据目标历史探测信息中的无人机上摄像机拍摄历史环境图像的位姿控制摄像机、根据在无人机上摄像机拍摄历史环境图像时无人机的位姿控制无人机的位姿,然后控制摄像机拍摄得到环境图像。将该环境图像与历史环境图像进行图像特征对比(如标志物的图像特征对比),根据对比结果可确定是否准确到达目标探测位置。可选地,所述方法还包括:
在控制所述探测器探测水下环境的过程中,根据所述目标历史探测信息中的探测过程控制数据控制所述无人机的位姿、所述探测器的姿态、以及所述连接部件的伸缩状态;并对比相同的所述无人机的位姿、相同的所述探测器的姿态、以及相同的所述连接部件的伸缩状态下所述探测器探测到的所述水下环境图像与历史水下环境图像,得到所述目标探测位置的水下变化信息,所述目标历史探测信息包括所述历史水下环境图像。
在控制探测器探测水下环境的过程中,根据目标历史探测信息中的探测过程控制数据控制无人机的位姿、探测器的姿态、以及连接部件的伸缩状态。并对比相同的无人机的位姿、相同的探测器的姿态、以及相同的连接部件的伸缩状态下探测器探测到的水下环境图像与历史水下环境图像,可得到目标探测位置的水下变化信息。例如,在水产、海产养殖行业中中,通过水下变化信息可使得用户直观的观察到水下环境和水产(如海带生成)状态变化。
在一些实施方式中,显示终端的显示界面可以如图6所示。其中,显示界面分为三部分。上部是信息栏,用于显示无人机、连接部件、以及探测器的状态信息。例如从无人机上获取的GPS数据、飞行高度、飞行里程/距离、无人机续航时间等,通过网络或显示终端的设备时间确定的时间与日期信息,从探测器获取的探测器续航时间等。其中,探测状况包括当前探侧器所处水深、风险门限值(如探测器允许使用的最大水深为B米、连接杆对应的最大展开长度为A米、无人机最低安全飞行高度为C米等)。信息栏中的数据项可通过后台或图6中的设置按钮进行人工配置。
图6右侧为控制按键,用于对无人机和探测器进行控制/设置,例如图6中的设置按键可设置连接杆、探测器等设备的型号/参数。应说明的是,不同的业务需求,可使用不同型号的连接杆、探测器。又例如拍摄按键(控制无人机上摄像机进行拍摄、控制探测器进行探测)、导航按键、保存按键、查询按键、共享按键(用于将该显示终端上的显示信息共享给其他显示终端)等。图6中间是显示主界面,其中上半部为水上环境图像的显示区域,下半部为水下环境图像的显示区域。
在一些实施方式中,无人机的飞行状态可由人工进行操控,亦可以由控制算法进行控制。在由控制算法进行控制的过程中,人工可介入接手控制无人机。
在一些实施方式中,水下探测过程中,当前探测器所处位置的水深e大于或等于探测器允许使用的最大水深B时无人机自动停止下降,并在显示终端上警示探测器不能继续下降。
在一些实施方式中,在无人机最低安全飞行高度C和预估水深D的和值小于或等于连接杆最大使用长度A时,可控制探测器到达水底进行探测。相反,无人机最低安全飞行高度C和预估水深D的和值大于连接杆最大使用长度A时,应当在显示终端上警示不能控制探测器到达水底进行探测。
在一些实施方式中,为节省存储占用的空间,先点击拍摄控制探测器开始进行探测,完成探测后点击保存按键完成保存操作,将会保存当前无人机/探测器拍摄/探测的数据,以及GPS、水深、水平距离、连接杆型号、探测器型号等参数。对保存文件进行统一模式的命名,以便需要时调取回放文件或历史无人机航线信息等。
完成探测后,无人机带动探测器回到水面上,根据导航或历史返航航线信息(目标历史探测信息中包括历史返航航线信息)返回起飞地点。
基于同一发明构思,本公开还提供一种水下环境探测装置,如图7所示,该水下环境探测装置600包括:
第一接收模块610,用于在基于无人机进行水下探测的过程中,接收位于水面之上的所述无人机上的摄像机拍摄的水上环境图像,所述摄像机与水面之间的距离大于0;
第二接收模块620,用于接收位于水中的探测器探测到的水下环境图像,其中,所述无人机通过连接部件与所述探测器连接;
第一显示模块630,用于在显示终端上同时显示所述水上环境图像和所述水下环境图像。
采用这种装置,在基于无人机进行水下探测的过程中,接收位于水面之上的无人机上摄像机拍摄的水上环境图像。并接收位于水中的探测器探测到的水下环境图像。在显示终端上同时显示水上环境图像和水下环境图像。由于无人机通过可伸缩的连接部件与探测器连接,所以无人机与探测器位于相同纵向空间,进而无人机上摄像机拍摄的水上环境图像对探测器探测到的水下环境图像的方位具有参考、指导的作用。相关技术中,由于用户只能看到探测器探测到的水下画面,而人对水下环境陌生,所以常常导致用户观看水下画面时迷失方向即不清楚水下画面相对应的位置、方向、以及水上环境的情况,进而导致用户难以判断是否对水下环境进行了全面探测,以及难以针对某水下画面对应的方位再次进行重点探测的问题。而采用本公开的技术方案,通过在显示终端上同时显示水上环境图像和水下环境图像,可基于水上环境图像对水下环境图像的方位的参考/指导作用来避免相关技术中用户因只能看到探测器探测到的水下画面而导致的方向迷失问题,以及由方向迷失问题进一步导致的水下探测不全面和难以对某水下画面对应的方位再次进行重点探测的问题。
可选地,所述装置600还包括:
第一确定模块,用于在所述接收位于水面之上的所述无人机上摄像机拍摄的水上环境图像之前,根据所述摄像机与所述显示终端之间的第一通信链路的第一延迟信息、以及所述探测器与所述显示终端之间的第二通信链路的第二延迟信息,从所述第一通信链路和所述第二通信链路中确定延迟最高的一个为第一目标通信链路和延迟最低的一个为第二目标通信链路;并,确定所述第一通信链路和所述第二通信链路之间的通信时差。
可选地,所述第一接收模块610,包括:
第一接收子模块,用于在确定所述第一通信链路为所述第一目标通信链路的情况下,即时接收所述水上环境图像;
相应的,所述第二接收模块620包括:
第二接收子模块,用于在延迟所述通信时差对应的时长后,接收所述水下环境图像。
可选地,所述第一接收模块610,包括:
第三接收子模块,用于在确定所述第二通信链路为所述第一目标通信链路的情况下,在延迟所述通信时差对应的时长后,接收所述水上环境图像;
相应地,所述第二接收模块620包括:
第四接收子模块,用于即时接收所述水下环境图像。
可选地,所述水上环境图像的数量为多个,所述水下环境图像的数量为多个,每一图像对应有采集时间,所述第一显示模块630,包括:
确定子模块,用于基于各图像对应的采集时间,从多个所述水上环境图像和多个所述水下环境图像中确定多个图像对,每一所述图像对中的所述水上环境图像和所述水下环境图像的采集时间相同,或者,每一所述图像对中的所述水上环境图像和所述水下环境图像的采集时间的差值小于预设阈值;显示子模块,用于根据采集时间的先后顺序,在所述显示终端上依次显示所述图像对。
可选地,所述装置600还包括:
第一计算模块,用于根据所述无人机的预设点位距离水面的飞行高度、所述连接部件的使用长度计算所述探测器所处位置的水深,所述飞行输出功率表征用于抵抗水流阻力以保持所述无人机的飞行位姿的输出动力;
第二计算模块,用于根据所述无人机的飞行输出功率、水流在所述连接部件上的冲击面积、以及水密度确定水流流速;
第二显示模块,用于在所述显示终端上显示所述探测器所处位置的水深和/或所述水流流速。
可选地,所述装置600还包括:
第一保存模块,用于基于预设数据格式,至少将水下探测过程中的所述图像对、所述探测器所处位置的水深、以及所述水流流速作为探测数据保存至本地数据库和/或云端数据库。
可选地,所述装置600还包括:
第一控制模块,用于在所述无人机到达目标探测位置的情况下,控制所述无人机悬停;
第二控制模块,用于控制所述无人机下降和/或控制可伸缩的所述连接部件伸长,以将所述探测器没入水中;
第三控制模块,用于在所述探测器没入水中之前,控制所述摄像机以所述探测器为跟随中心拍摄得到探测器入水图像;
第四控制模块,用于在基于无人机进行水下探测的过程中,在所述探测器没入水中之后,控制所述摄像机以目标点为跟随中心拍摄得到所述水上环境图像,并控制所述探测器探测水下环境,得到所述水下环境图像,所述目标点为探测器入水点或所述连接部件与水面的相交点。
可选地,所述装置600还包括:
搜索模块,用于在控制所述无人机悬停之后,通过所述摄像机搜索所述无人机周围的标志物;
第二保存模块,用于保存包括所述标志物的环境图像、所述摄像机拍摄所述环境图像的姿态、以及在所述摄像机拍摄所述环境图像时所述无人机的位姿。
可选地,所述目标探测位置对应有目标历史探测信息,所述装置还包括:
第二确定模块,用于确定目标探测位置;
第三获取模块,用于获取所述目标历史探测信息中的历史无人机航线信息;
第五控制模块,用于根据所述历史无人机航线信息控制所述无人机到达所述目标探测位置。
可选地,所述装置600还包括:
第六控制模块,用于在控制所述探测器探测水下环境的过程中,根据所述目标历史探测信息中的探测过程控制数据控制所述无人机的位姿、所述探测器的姿态、以及所述连接部件的伸缩状态;
对比模块,用于对比相同的所述无人机的位姿、相同的所述探测器的姿态、以及相同的所述连接部件的伸缩状态下所述探测器探测到的所述水下环境图像与历史水下环境图像,得到所述目标探测位置的水下变化信息,所述目标历史探测信息包括所述历史水下环境图像。
可选地,所述装置600还包括:
校正模块,用于在根据所述历史无人机航线信息控制所述无人机航行的过程中,控制所述摄像机拍摄得到航行环境图像;确定所述目标历史探测信息中的与所述航行环境图像对应相同航行点位的历史航行环境图像;根据所述航行环境图像和所述历史航行环境图像的对比结果校正所述无人机的飞行位姿。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
在另一示例性实施例中,还提供了一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现第一方面中任一项所述方法的步骤。
图8是根据一示例性实施例示出的一种电子设备700的框图。如图8所示,该电子设备700可以包括:处理器701,存储器702。该电子设备700还可以包括多媒体组件703,输入/输出(I/O)接口704,以及通信组件705中的一者或多者。
其中,处理器701用于控制该电子设备700的整体操作,以完成上述的水下环境探测方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操作,这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令,以及应用程序相关的数据,例如联系人数据、收发的消息、图片、音频、视频等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(Static Random Access Memory,简称SRAM),电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,简称EPROM),可编程只读存储器(Programmable Read-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器,用于输出音频信号。I/O接口704为处理器701和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(Near FieldCommunication,简称NFC),2G、3G、4G、NB-IOT、eMTC、或其他5G等等,或它们中的一种或几种的组合,在此不做限定。因此相应的该通信组件705可以包括:Wi-Fi模块,蓝牙模块,NFC模块等等。
在一示例性实施例中,电子设备700可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit,简称ASIC)、数字信号处理器(DigitalSignal Processor,简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的水下环境探测方法。
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的水下环境探测方法的步骤。例如,该计算机可读存储介质可以为上述包括程序指令的存储器702,上述程序指令可由电子设备700的处理器701执行以完成上述的水下环境探测方法。
在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的水下环境探测方法的代码部分。
以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。
此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。
Claims (14)
1.一种水下环境探测方法,其特征在于,所述方法包括:
在基于无人机进行水下探测的过程中,接收位于水面之上的所述无人机上的摄像机拍摄的水上环境图像,所述摄像机与水面之间的距离大于0;
接收位于水中的探测器探测到的水下环境图像,其中,所述无人机通过连接部件与所述探测器连接;在显示终端上同时显示所述水上环境图像和所述水下环境图像。
2.根据权利要求1所述的方法,其特征在于,在所述接收位于水面之上的所述无人机上的摄像机拍摄的水上环境图像之前,包括:
根据所述摄像机与所述显示终端之间的第一通信链路的第一延迟信息、以及所述探测器与所述显示终端之间的第二通信链路的第二延迟信息,从所述第一通信链路和所述第二通信链路中确定延迟最高的一个为第一目标通信链路和延迟最低的一个为第二目标通信链路;并,
确定所述第一通信链路和所述第二通信链路之间的通信时差。
3.根据权利要求2所述的方法,其特征在于,
在确定所述第一通信链路为所述第一目标通信链路的情况下,所述接收位于水面之上的所述无人机上的摄像机拍摄的水上环境图像,包括:
即时接收所述水上环境图像;
相应的,所述接收位于水中的探测器探测到的水下环境图像,包括:
在延迟所述通信时差对应的时长后,接收所述水下环境图像;
或,
在确定所述第二通信链路为所述第一目标通信链路的情况下,所述接收位于水面之上的所述无人机上的摄像机拍摄的水上环境图像,包括:
在延迟所述通信时差对应的时长后,接收所述水上环境图像;
相应的,所述接收位于水中的探测器探测到的水下环境图像,包括:
即时接收所述水下环境图像。
4.根据权利要求1-3中任一项所述的方法,其特征在于,所述水上环境图像的数量为多个,所述水下环境图像的数量为多个,每一图像对应有采集时间,
所述在显示终端上同时显示所述水上环境图像和所述水下环境图像,包括:
基于各图像对应的采集时间,从多个所述水上环境图像和多个所述水下环境图像中确定多个图像对,每一所述图像对中的所述水上环境图像和所述水下环境图像的采集时间相同,或者,每一所述图像对中的所述水上环境图像和所述水下环境图像的采集时间的差值小于预设阈值;
根据采集时间的先后顺序,在所述显示终端上依次显示所述图像对。
5.根据权利要求1-3中任一项所述的方法,其特征在于,所述方法还包括:
根据所述无人机的预设点位距离水面的飞行高度、以及所述连接部件的使用长度计算所述探测器所处位置的水深;
根据所述无人机的飞行输出功率、水流在所述连接部件上的冲击面积、以及水密度确定水流流速,所述飞行输出功率表征用于抵抗水流阻力以保持所述无人机的飞行位姿的输出动力;
在所述显示终端上显示所述探测器所处位置的水深和/或所述水流流速。
6.根据权利要求1所述的方法,其特征在于,在基于所述无人机进行水下探测之前,包括:
在所述无人机到达目标探测位置的情况下,控制所述无人机悬停;
控制所述无人机下降和/或控制可伸缩的所述连接部件伸长,以将所述探测器没入水中。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
在所述探测器没入水中之前,控制所述摄像机以所述探测器为跟随中心拍摄得到探测器入水图像;
相应地,在基于无人机进行水下探测的过程中,在所述探测器没入水中之后,控制所述摄像机以目标点为跟随中心拍摄得到所述水上环境图像,并控制所述探测器探测水下环境,得到所述水下环境图像,所述目标点为探测器入水点或所述连接部件与水面的相交点。
8.根据权利要求6所述的方法,其特征在于,在控制所述无人机悬停之后,还包括:
通过所述摄像机搜索所述无人机周围的标志物;
保存包括所述标志物的环境图像、所述摄像机拍摄所述环境图像的姿态、以及在所述摄像机拍摄所述环境图像时所述无人机的位姿。
9.根据权利要求6所述的方法,其特征在于,
所述目标探测位置对应有目标历史探测信息,所述方法还包括:
确定目标探测位置;
获取所述目标历史探测信息中的历史无人机航线信息;
根据所述历史无人机航线信息控制所述无人机到达所述目标探测位置。
10.根据权利要求9所述的方法,其特征在于,所述方法还包括:
在根据所述历史无人机航线信息控制所述无人机航行的过程中,控制所述摄像机拍摄得到航行环境图像;
确定所述目标历史探测信息中的与所述航行环境图像对应相同航行点位的历史航行环境图像;
根据所述航行环境图像和所述历史航行环境图像的对比结果校正所述无人机的飞行位姿。
11.根据权利要求9所述的方法,其特征在于,所述目标探测位置对应有目标历史探测信息,
所述方法还包括:
在控制所述探测器探测水下环境的过程中,根据所述目标历史探测信息中的探测过程控制数据控制所述无人机的位姿、所述探测器的姿态、以及所述连接部件的伸缩状态;
并对比相同的所述无人机的位姿、相同的所述探测器的姿态、以及相同的所述连接部件的伸缩状态下所述探测器探测到的所述水下环境图像与所述目标历史探测信息中的历史水下环境图像,得到所述目标探测位置的水下变化信息。
12.一种水下环境探测装置,其特征在于,所述装置包括:
第一接收模块,用于在基于无人机进行水下探测的过程中,接收位于水面之上的所述无人机上的摄像机拍摄的水上环境图像,所述摄像机与水面之间的距离大于0;
第二接收模块,用于接收位于水中的探测器探测到的水下环境图像,其中,所述无人机通过连接部件与所述探测器连接;
第一显示模块,用于在显示终端上同时显示所述水上环境图像和所述水下环境图像。
13.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-11中任一项所述方法的步骤。
14.一种电子设备,其特征在于,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现权利要求1-11中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211205052.3A CN117850439A (zh) | 2022-09-29 | 2022-09-29 | 水下环境探测方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211205052.3A CN117850439A (zh) | 2022-09-29 | 2022-09-29 | 水下环境探测方法、装置、存储介质及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117850439A true CN117850439A (zh) | 2024-04-09 |
Family
ID=90533096
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211205052.3A Pending CN117850439A (zh) | 2022-09-29 | 2022-09-29 | 水下环境探测方法、装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117850439A (zh) |
-
2022
- 2022-09-29 CN CN202211205052.3A patent/CN117850439A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200278433A1 (en) | Real-time monitoring of surroundings of marine vessel | |
EP2950530B1 (en) | Marine environment display device | |
CN106406343B (zh) | 无人飞行器的控制方法、装置和系统 | |
KR101880437B1 (ko) | 실제카메라 영상과 가상카메라 영상을 활용하여 넓은 시야각을 제공하는 무인선 관제시스템 | |
JP4969053B2 (ja) | 携帯端末装置及び表示方法 | |
US20240046640A1 (en) | Data processing method, apparatus, and system for fire scene, and unmanned aerial vehicle | |
JP4077385B2 (ja) | 画像処理を用いたグローバル座標取得装置 | |
CN110706447A (zh) | 灾情位置的确定方法、装置、存储介质及电子装置 | |
KR20200090565A (ko) | 3자 시점 카메라를 갖는 스마트 수중 드론 시스템 | |
US11947354B2 (en) | Geocoding data for an automated vehicle | |
JP2017126150A (ja) | 船舶情報検索システム、船舶情報検索方法、および船舶情報検索サーバ | |
JP6482855B2 (ja) | 監視システム | |
CN115336250A (zh) | 摄影指示方法、摄影方法、摄影指示装置及摄影装置 | |
JP6482856B2 (ja) | 監視システム | |
KR101012281B1 (ko) | 거점적 최적 영상 관제 시스템 | |
JP7552589B2 (ja) | 情報処理装置、情報処理方法、プログラム、及び情報処理システム | |
JP6639195B2 (ja) | 船舶監視装置 | |
CN117850439A (zh) | 水下环境探测方法、装置、存储介质及电子设备 | |
JP6673699B2 (ja) | 地形表示システム | |
CN111491154A (zh) | 基于一个或多个单视场帧的检测和测距 | |
KR20160059453A (ko) | 스마트폰 탑재용 케이스장치 및 다이빙로그시스템 | |
JP7345153B2 (ja) | 飛翔体の地理座標推定装置、地理座標推定システム、地理座標推定方法、及びコンピュータプログラム | |
CN113341947A (zh) | 一种基于船舶信息化平台的水上立体搜救系统 | |
Mostakov et al. | UAV-based Drowning Rescue System | |
CN109000622A (zh) | 一种基于深度学习的水下定位方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |