CN114602083B - 一种基于激光视觉融合的自动补给对接系统及其工作方法 - Google Patents

一种基于激光视觉融合的自动补给对接系统及其工作方法 Download PDF

Info

Publication number
CN114602083B
CN114602083B CN202210176765.5A CN202210176765A CN114602083B CN 114602083 B CN114602083 B CN 114602083B CN 202210176765 A CN202210176765 A CN 202210176765A CN 114602083 B CN114602083 B CN 114602083B
Authority
CN
China
Prior art keywords
aerial vehicle
unmanned aerial
water supply
laser
pipeline
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210176765.5A
Other languages
English (en)
Other versions
CN114602083A (zh
Inventor
欧阳春
林凯鑫
董昕阳
赵志乐
管宇翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202210176765.5A priority Critical patent/CN114602083B/zh
Publication of CN114602083A publication Critical patent/CN114602083A/zh
Application granted granted Critical
Publication of CN114602083B publication Critical patent/CN114602083B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A62—LIFE-SAVING; FIRE-FIGHTING
    • A62C—FIRE-FIGHTING
    • A62C3/00—Fire prevention, containment or extinguishing specially adapted for particular objects or places
    • A62C3/02—Fire prevention, containment or extinguishing specially adapted for particular objects or places for area conflagrations, e.g. forest fires, subterranean fires
    • A62C3/0228—Fire prevention, containment or extinguishing specially adapted for particular objects or places for area conflagrations, e.g. forest fires, subterranean fires with delivery of fire extinguishing material by air or aircraft
    • A62C3/0242—Fire prevention, containment or extinguishing specially adapted for particular objects or places for area conflagrations, e.g. forest fires, subterranean fires with delivery of fire extinguishing material by air or aircraft by spraying extinguishants from the aircraft
    • A—HUMAN NECESSITIES
    • A62—LIFE-SAVING; FIRE-FIGHTING
    • A62C—FIRE-FIGHTING
    • A62C27/00—Fire-fighting land vehicles
    • A—HUMAN NECESSITIES
    • A62—LIFE-SAVING; FIRE-FIGHTING
    • A62C—FIRE-FIGHTING
    • A62C31/00—Delivery of fire-extinguishing material
    • A—HUMAN NECESSITIES
    • A62—LIFE-SAVING; FIRE-FIGHTING
    • A62C—FIRE-FIGHTING
    • A62C31/00—Delivery of fire-extinguishing material
    • A62C31/28—Accessories for delivery devices, e.g. supports
    • A—HUMAN NECESSITIES
    • A62—LIFE-SAVING; FIRE-FIGHTING
    • A62C—FIRE-FIGHTING
    • A62C37/00—Control of fire-fighting equipment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/60—Other road transportation technologies with climate change mitigation effect
    • Y02T10/7072—Electromobility specific charging systems or methods for batteries, ultracapacitors, supercapacitors or double-layer capacitors

Abstract

本发明涉及一种基于激光视觉融合的自动补给对接系统及其工作方法，该系统包括补给平台、给水部和无人机本体，补给平台设置在可移动的消防小车上，给水部安装在补给平台上，无人机本体与给水部之间通过激光视觉信息融合，以能够实现自动对接；给水部包括给水管道，给水管道的一端与消防小车内的水箱相连接，给水管道的主体存放在消防小车的存储箱内，当无人机本体与给水部完成对接后，无人机本体将携带给水管道升空，实现持续灭火作业。与现有技术相比，本发明基于激光视觉融合方式，能够实现无人机与补给平台上给水管道之间的自动精准对接，能够解决现有无人机消防携带灭火剂量有限、需要等待消防人员的控制进行补给，进而造成不必要损失的问题。

Description

一种基于激光视觉融合的自动补给对接系统及其工作方法
技术领域
本发明涉及无人消防技术领域，尤其是涉及一种基于激光视觉融合的自动补给对接系统及其工作方法。
背景技术
在一些火灾易发区域，例如森林、草场或者一些存放易燃易爆品的地方，往往容易突然发生火灾，并且快速蔓延，在消防人员到达之前就会导致火灾难以控制并造成重大的损失。因此有必要实现一种能够及时发现火灾并迅速在初期扑灭的无人消防系统，现有的无人消防系统中，无人机上携带的灭火剂是有限的，且在无人机巡查阶段，由于无人机持续续航能力的需求，携带灭火剂会导致无人机重量上升、速度下降、影响巡查工作时间。而为了实现无人机在巡查阶段无需携带灭火剂，并在无人机发现火情的时候，能及时将给水管道快速连接到无人机上进行灭火，需要对无人机和给水管道进行快速、准确的自动对接。
中国专利CN202010662961.4提供了一种无人机灭火剂快速补给系统，无人机可以通过自带的自吸泵进行主动补给，也可以通过消防车上的快速定位连接装置进行被动补给，实现了无人机无需落地停机、在空中进行快速灭火剂补给、循环灭火作业。但是，无人机以及消防车需要人为遥控等操作才可以进行补给工作，不能实现无人消防，同时遇到火情较大的时候，需要不断的补给，这可能会导致难以控制火情。
中国专利CN202011260580.X提供了一种消防用无人机对接装置，消防无人机可以通过连接辅助无人机进行供水，用以无人机进行不间断消防工作，实现连续消防作业。但是无人机与辅助无人机连接补水也需要进行人为操作，不能在消防人员到达之前实现无人作业，也就无法将火灾遏制在萌芽状态。而且无人机能装载的水量有限，需要不断地使用辅助无人机进行补给，耗费的人力物力较多。
综上所述，对于无人消防系统，缺少一种能对无人机进行自动对接补给的装置，以能够在火灾发生初期、消防人员未到位的时候，及时补给充足的灭火剂对火灾进行控制。此外，现有的对接方法大多通过多个传感器分别进行定位、测距等工作，会产生许多冗余的数据，造成资源的浪费。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于激光视觉融合的自动补给对接系统及其工作方法，以解决现有无人机消防携带灭火剂量有限、需要等待消防人员的控制进行补给，进而造成不必要损失的问题。
本发明的目的可以通过以下技术方案来实现：一种基于激光视觉融合的自动补给对接系统，包括补给平台、给水部以及无人机本体，所述补给平台设置在可移动的消防小车上，所述给水部安装在补给平台上，所述无人机本体与给水部之间通过激光视觉信息融合，以能够实现自动对接；
所述给水部包括给水管道，所述给水管道的一端与消防小车内的水箱相连接，所述给水管道的主体存放在消防小车的存储箱内，当无人机本体与给水部完成对接后，无人机本体将携带给水管道升空，实现持续灭火作业。
进一步地，所述补给平台包括停机部，所述停机部上设置有用于连接安装给水部的管道安装口，所述管道安装口的外围设置有管道外圈，所述管道外圈包括可旋转的激光反射圈以及双目相机特征圈，所述激光反射圈、双目相机特征圈与无人机本体之间相互协作，以使无人机本体获取给水管道的位置及深度信息。
进一步地，所述激光发射圈上均布设置有四个激光发射镜，所述四个激光发射镜之间共同形成反射环，以对无人机本体发出的激光进行反射。
进一步地，所述双目相机特征圈位于激光反射圈的外围。
进一步地，所述无人机本体包括灭火枪、水泵箱、管道对接头、两台可翻转视角的双目相机以及两台激光测距仪，所述管道对接头安装于无人机本体的底部，所述两台双目相机分别安装于无人机本体两端的底部，所述两台激光测距仪分别安装于无人机本体两侧，所述灭火枪安装于无人机本体的一端，所述双目相机在无人机巡逻阶段为平视视角，当无人机在巡逻阶段发现火情之后，通过双目相机识别消防小车及补给平台的位置，双目相机会根据跟踪消防小车的位置向下翻转视角，直至无人机本体移动到补给平台上方后，双目相机翻转至俯视视角。
进一步地，所述给水部设置有无人机连接头和电磁开关，所述无人机连接头设置在给水管道的出口一端，所述无人机连接头安装在管道安装口位置，所述电磁开关安装在给水管道的出口边缘，所述无人机连接头与管道对接头完成对接后，所述电磁开关被触发，以完成管道对接头与给水管道之间的吸附连接。
进一步地，所述无人机连接头采用电磁铁材料，所述无人机连接头为圆锥台结构，所述无人机连接头的顶面圆直径小于管道安装口的直径。
一种基于激光视觉融合的自动补给对接系统的工作方法，包括以下步骤：
S1、无人机在巡查阶段发现火情时，双目相机启动，以获取补给平台的位置信息；
S2、根据补给平台的位置信息，无人机朝补给平台移动，同时双目相机跟随补给平台的位置向下翻转变换视角，直至无人机移动至补给平台的上方，双目相机由平视视角完全翻转为俯视视角；
S3、双目相机对拍摄的图像进行目标检测，以获取给水管道位置，使无人机与给水管道之间完成粗对准；
S4、激光发射圈旋转形成激光反射环，以便无人机以任意航向向下降落时，激光测距仪都能接收到反射激光；
S5、激光测距仪通过接收到的反射激光，以获取给水管道位置，使无人机的管道对接口轴线与给水管道轴线对齐，完成无人机与给水管道之间的精对准；
S6、双目相机从相机特征圈拍摄选取测距特征点，两台双目相机分别进行双目立体匹配，以获取特征点视差图，之后分别进行双目视差测距，根据测距结果是否一致，以调整无人机俯仰角度，从而获取给水管道前后深度信息；
S7、两台激光测距仪分别发射正弦调制激光，经过激光反射镜的反射，通过激光测距仪的鉴波器接收反射的激光，并通过往返激光的相位差计算出给水管道的深度信息，根据左右深度是否一致，以调整无人机的滚转角度，从而获取给水管道左右深度信息；
S8、将给水管道前后深度信息以及给水管道左右深度信息进行融合处理，得到给水管道的深度信息融合结果；
S9、根据给水管道的深度信息融合结果，无人机在向下降落过程中实时调整自身位置，以保持管道对接口轴线与给水管道轴线对准，同时结合无人机连接头进行修正，使得无人机降落至补给平台、管道对接口与给水管道的出口对接上、触发电磁开关、两端通过电磁吸附完成对接；
S10、无人机携带给水管道重新升空，进行灭火作业。
进一步地，所述步骤S6具体包括以下步骤：
S61、双目相机拍摄图像后，对图像进行灰度转化、高斯去噪、图像增强后输入图像语义分割模型中，将给水管道及相机特征圈信息分割出来；
通过OpenCV获取最小外接矩形，两台双目摄像头分别选取外接矩形与相机特征圈的前、后端切点作为特征点，这两个特征点为两台双目相机向下视线与补给平台平面垂直的交点，双目相机至特征点的距离即垂直距离；
S62、记双目相机左右两视图的相机坐标系原点分别为O1和O2，两坐标系的X1和X2轴为成像中的水平方向，数学关系上两轴重合；
Y1和Y2轴为成像中的垂直方向，数学关系上，两轴平行；
Z1和Z2轴为光轴，和成像平面成垂直关系，数学关系上，两轴平行；
S63、双目相机坐标系原点O1和O2分别沿Z1和Z2轴到各自成像平面的距离就是相机的焦距，记为f；
两个原点间沿水平方向即X轴方向的距离为相机的基线，基线长度记为B；
世界坐标系中特征点P(x，y，z)在两台双目相机图像中的位置分别是P1(x1，y1)和P2(x2，y2)，其中，由于两相机是水平并排组成双目相机，所以y1＝y2，两点的成像视差记为d＝x1-x2；
S64、由双目视差测距法可以得到特征点P(x，y，z)的深度值：
Figure BDA0003520583650000041
两台双目相机分别获取对应特征点的深度值，根据偏差调整俯仰角，确保无人机前后方向与给水管道呈水平状态，得到给水管道前后方向相同的深度值z12。
进一步地，所述步骤S7具体包括以下步骤：
S71、两台激光测距仪的激光发射器到激光反射镜的距离记为z3和z4，记激光的发射的速度为V，激光往返的总时间为t，以z3为例，则有：
Figure BDA0003520583650000042
同理可知z4的计算式；
S72、记激光发射的正弦调制光频率为v，发射器发射与鉴波器接收直接的激光相位差为
Figure BDA0003520583650000043
则有
Figure BDA0003520583650000044
激光测距仪测量深度值即为激光发射器到激光反射镜的距离，因此对应于z3，则可得激光测距仪测量深度值为：
Figure BDA0003520583650000051
同理可知对应于z4的激光测距仪测量深度值；
S73、两台激光测距仪分别获取对应测量深度值，根据偏差调整滚转角，确保无人机左右方向与给水管道呈水平状态，得到给水管道左右方向相同的深度值z34。
进一步地，所述步骤S8具体包括以下步骤：
S81、将给水管道前后深度信息z12与左右深度信息z34经过信号处理、特征提取、归一化处理后送入神经网络；
S34、构建孪生神经网络，对z12以及z34进行打分，确定相似度，当相似度大于或等于预设阈值时，对z12以及z34进行加权平均，得到给水管道的深度信息融合结果为：
Figure BDA0003520583650000052
其中，f12、f34分别为z12和z34对应的权值。
与现有技术相比，本发明通过设置补给平台、给水部以及无人机本体，无人机本体与给水部之间通过激光视觉信息融合，能够实现自动对接，使得无人机在巡查发现火情后，能自发地移动至补给平台，并与给水管道对接，以携带给水管道升空进行灭火作业，不需要人为辅助操作，在消防人员到来之前能第一时间将火势扼杀在萌芽状态，有效减小火灾的影响、减少经济损失。
本发明通过在补给平台的管道安装口设置可旋转的激光反射圈，使得无人机本体上的激光测距仪能够在任意方向接收到反射的激光，无人机本体能够以任意航向降落，不需要调整方向对准，节约了对接时间、提高了对接精度；此外，本发明采用锥台式的无人机连接头，使得无人机降落时即使略有偏差也能通过锥台修正实现成功对接，进一步提高了自动对接的准确性。
本发明通过在无人机本体上设置可翻转视角的双目相机以及激光测距仪，利用双目相机、激光测距仪与补给平台上的相机特征圈、激光反射圈协作，以实现无人机本体与给水管道之间的对准、无人机获取给水管道的位置及深度信息，能够保证无人机本体与给水管道之间的自动化精准对接。
本发明利用双目相机以及激光测距仪分别获取给水管道的前后方向深度以及左右方向深度，并将给水管道的前后方向深度信息与左右方向深度信息进行数据融合，以得到最终的深度信息，由此能够减少数据冗余、降低自动对接的成本，并且保证对接精度、降低误差、提高稳定性。
附图说明
图1为本发明的系统外形结构示意图；
图2为本发明中补给平台与给水部的侧视结构示意图；
图3为本发明中补给平台的俯视结构示意图；
图4为本发明中无人机本体的结构示意图；
图5a为本发明中双目相机的平视视角示意图；
图5b为本发明中双目相机的俯视视角示意图；
图6为无人机本体与给水部完成对接的效果示意图；
图7为本发明的无人机本体与给水管道对接的过程示意图；
图8为本发明中通过双目相机获取给水管道前后深度信息的工作流程示意图；
图9为本发明中通过激光测距仪获取给水管道左右深度信息的工作流程示意图；
图10为本发明中视觉、激光深度信息融合的过程示意图；
图中标记说明：1、补给平台，2、给水部，3、无人机本体，11、停机部，12、管道外圈，121、激光反射圈，122，双目相机特征圈，123、激光反射镜，21、无人机连接头，22、电磁开关，31、灭火枪，32、水泵箱，33、管道对接头，34、双目相机，35、激光测距仪。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例
如图1～图6所示，一种基于激光视觉融合的自动补给对接系统，包括补给平台1、给水部2以及无人机本体3三个部分，其目的是通过激光视觉融合方式，以实现无人机本体3与补给平台1上的给水部2之间的快速精准对接。
补给平台1安装在可移动的消防小车上，补给平台1包括停机部11、管道外圈12。停机部11供无人机本体3降落后连接给水部2所用，管道安装口设置在停机部的中间位置，管道安装口用于安装给水部2，管道安装口外部为管道外圈12，管道外圈12分为激光反射圈121以及双目相机特征圈122，激光反射圈121设有四个激光反射镜123，可进行高速旋转，使反射镜123能在整个外圈范围内形成反射环对激光进行反射，以便于无人机本体3能以任何航向对给水部2的给水管道深度进行测量，不需要对正机头朝向就能直接降落，节省对接时间；相机特征圈122位于激光反射圈121外部，供无人机本体3的双目相机34选取测距特征点使用。
给水部2的给水管道设有无人机连接头21以及电磁开关22，无人机连接头21安装在补给平台1的管道安装口处，被无人机本体3连接后用于携带给水管道升空，采用电磁铁材料，连接头是锥台的形状，保证无人机降落过程中即使略有偏差，由于锥台顶面圆直径大小小于管道安装口的大小，无人机也能通过锥台修正使连接口顺利对接。给水管道边缘安装有电磁开关22，与无人机连接成功后会触发电磁开关22，完成两端的吸附连接。给水管道的主体存放在消防小车的管道储存箱中，在无人机连接给水管道之后，可被无人机携带升空，给水管道的另一端连接着消防小车的水箱，以持续供给灭火剂。
无人机本体3包括灭火枪31、水泵箱32、管道对接头33、两台可旋转视角双目相机34(安装在无人机本体3的前后两端)、两台激光测距仪35(安装在无人机本体3的左右两侧)。
其中，双目相机34可旋转视角，如图5a和图5b所示，无人机巡逻阶段双目相机34为平视视角，当无人机在巡逻阶段发现火情之后，通过双目相机34识别消防小车及补给平台1位置，双目相机34会根据跟踪消防小车的位置向下旋转视角，直至无人机移动到补给平台1的上方后，双目相机34视角旋转至俯视视角。无人机通过双目相机34以及激光测距仪35数据融合确定给水管道位置、深度，降落至给水管道上方，管道对接头33与补给平台1上已安装好的给水管道通过触发电磁开关22进行对接，对接完成后无人机本体3携带给水管道升空进行灭火作业。
将上述系统应用于实际，其具体的对接工作过程如图7所示：
S1：无人机进行巡查工作，当发现火情的时候，位于无人机前后两端的可旋转双目相机启动，拍摄并识别出消防小车及补给平台的位置，开始往消防小车及补给平台的方向移动。
S2：无人机朝补给平台靠近，双目相机则跟随补给平台位置转动视角，直至无人机移动到补给平台正上方，准备降落。
S3：无人机前后两端的两台双目相机视角转动到俯视视角，对拍摄的图像进行目标检测，找到给水管道位置，无人机与给水管道进行粗对准。
S4：给水管道外圈带动安装在外圈上的激光反射镜开始高速旋转，形成激光反射环，以便无人机以任意航向向下降落时，激光测距仪都能接收到反射激光。
S5：无人机左右两侧的两台激光测距仪启动，通过激光反射获取给水管道位置，将无人机上的管道对接口轴线与给水管道的轴线对齐，进行精对准。
S6：选取给水管道的特征点，两台双目相机分别进行双目立体匹配获取特征点视差图，然后分别进行双目视差测距，根据测距结果是否一致来调整无人机俯仰角度，最终获取管道前后深度信息。
S7：左右两台激光测距仪分别发射正弦调制激光，经过激光反射镜的反射，通过激光测距仪的鉴波器接收反射的激光，并通过往返激光的相位差计算给水管道的深度信息，根据左右深度是否一致来调整无人机的滚转角度，最终获取管道左右深度信息。
S8：将双目相机以及激光测距仪获取的深度信息经过信号处理、特征提取、归一化处理后送入神经网络，并构建孪生神经网络，对双目相机及激光测距仪获取的深度信息进行打分，评价相似程度。最后将输出结果进行融合，加权平均得到深度信息最终结果。
S9：无人机向下降落，通过视觉激光融合的实时深度信息辅助并不断调整无人机的位置，保持无人机的管道对接头与给水管道保持对准，辅以无人机连接头修正完成无人机的降落。无人机降落到补给平台后，管道对接头与给水管道对接上，触发电磁开关，两端通过电磁吸引完成对接。
S10：无人机携带给水管道重新升空，进行灭火作业。
在实现自动对接的过程中，如图8～10所示，其中所用的测距算法为：
1.双目相机获取管道图像后，对图像进行灰度转化、高斯去噪、图像增强后输入图像语义分割模型中，将管道及特征圈信息分割出来。通过OpenCV获取最小外接矩形，前、后置双目摄像头分别选取外接矩形与管道特征圈的前、后端切点作为特征点，这两点为两台相机向下视线与补给平台平面垂直的交点，相机至特征点的距离即垂直距离。
2.记双目相机左右两视图的相机坐标系原点分别为O1和O2，两坐标系的X1和X2轴为成像中的水平方向，数学关系上两轴重合；Y1和Y2轴为成像中的垂直方向，数学关系上，两轴平行；Z1和Z2轴为光轴，和成像平面成垂直关系，数学关系上，两轴平行。
3.相机坐标系原点O1和O2分别沿Z1和Z2轴到各自成像平面的距离就是相机的焦距，记为f。两个原点间沿水平方向即X轴方向的距离为相机的基线，基线长度记为B。世界坐标系中的特征点P(x，y，z)在左右两相机图像中的位置分别是P1(x1，y1)和P2(x2，y2)，其中，由于两相机是水平并排组成双目相机，所以y1＝y2，两点的成像视差记为d＝x1-x2。
4.由双目视差测距法可以得到特征点P(x，y，z)的深度值：
Figure BDA0003520583650000091
5.前后双目相机分别获取对应特征点的深度值，根据偏差调整俯仰角，确保无人机前后方向与管道呈水平状态，得到前后方向相同的深度值z12。
6.左右两台激光测距仪的激光发射器到反射镜的距离记为z3和z4，记激光的发射的速度为V，激光往返的总时间为t，以z3为例，则有：
Figure BDA0003520583650000092
z4同理。
7.记激光发射的正弦调制光频率为v，发射器发射与鉴波器接收直接的激光相位差为
Figure BDA0003520583650000093
则有
Figure BDA0003520583650000094
可得激光测距仪测量深度值(即激光发射器到反射镜的距离)为：
Figure BDA0003520583650000095
z4同理。
8.左右激光测距仪分别获取对应深度值，根据偏差调整滚转角，确保无人机左右方向与管道呈水平状态，得到左右方向相同的深度值z34。
9.将无人机与双目相机测量的深度值送入神经网络，构建孪生神经网络，对z12以及z34进行打分，确定相似度。当两者相似时，将结果加权平均，分别以f12和f34作为权值，得到最终输出深度值：
Figure BDA0003520583650000096
综上可知，本发明提供一种基于视觉激光融合的用于无人消防系统的无人机与给水管道进行自动对接的技术方案，当无人机巡查发现火情后，无需人员控制，能够在视觉以及激光传感器的辅助下主动飞至补给平台与给水管道进行自动精准连接，然后携带给水管道重新升空进行灭火。由此有效解决现有无人机消防携带灭火剂量有限、需要等待消防人员的控制进行补给的问题，有利于后续及时可靠地对火情进行控制、减少经济损失。

Claims (9)

1.一种基于激光视觉融合的自动补给对接系统，其特征在于，包括补给平台(1)、给水部(2)以及无人机本体(3)，所述补给平台(1)设置在可移动的消防小车上，所述给水部(2)安装在补给平台(1)上，所述无人机本体(3)与给水部(2)之间通过激光视觉信息融合，以能够实现自动对接；
所述给水部(2)包括给水管道，所述给水管道的一端与消防小车内的水箱相连接，所述给水管道的主体存放在消防小车的存储箱内，当无人机本体(3)与给水部(2)完成对接后，无人机本体(3)将携带给水管道升空，实现持续灭火作业；
所述补给平台(1)包括停机部(11)，所述停机部(11)上设置有用于连接安装给水部(2)的管道安装口，所述管道安装口的外围设置有管道外圈(12)，所述管道外圈(12)包括可旋转的激光反射圈(121)以及双目相机特征圈(122)，所述双目相机特征圈(122)位于激光反射圈(121)的外围，所述激光反射圈(121)、双目相机特征圈(122)与无人机本体(3)之间相互协作，以使无人机本体(3)获取给水管道的位置及深度信息。
2.根据权利要求1所述的一种基于激光视觉融合的自动补给对接系统，其特征在于，所述激光发射圈上均布设置有四个激光发射镜(123)，所述四个激光发射镜(123)之间共同形成反射环，以对无人机本体(3)发出的激光进行反射。
3.根据权利要求1所述的一种基于激光视觉融合的自动补给对接系统，其特征在于，所述无人机本体(3)包括灭火枪(31)、水泵箱(32)、管道对接头(33)、两台可翻转视角的双目相机(34)以及两台激光测距仪(35)，所述管道对接头(33)安装于无人机本体(3)的底部，所述两台双目相机(34)分别安装于无人机本体(3)两端的底部，所述两台激光测距仪(35)分别安装于无人机本体(3)两侧，所述灭火枪(31)安装于无人机本体(3)的一端，所述双目相机(34)在无人机巡逻阶段为平视视角，当无人机在巡逻阶段发现火情之后，通过双目相机(34)识别消防小车及补给平台(1)的位置，双目相机(34)会根据跟踪消防小车的位置向下翻转视角，直至无人机本体(3)移动到补给平台(1)上方后，双目相机(34)翻转至俯视视角。
4.根据权利要求3所述的一种基于激光视觉融合的自动补给对接系统，其特征在于，所述给水部(2)设置有无人机连接头(21)和电磁开关(22)，所述无人机连接头(21)设置在给水管道的出口一端，所述无人机连接头(21)安装在管道安装口位置，所述电磁开关(22)安装在给水管道的出口边缘，所述无人机连接头(21)与管道对接头(33)完成对接后，所述电磁开关(22)被触发，以完成管道对接头(33)与给水管道之间的吸附连接。
5.根据权利要求4所述的一种基于激光视觉融合的自动补给对接系统，其特征在于，所述无人机连接头(21)采用电磁铁材料，所述无人机连接头(21)为圆锥台结构，所述无人机连接头(21)的顶面圆直径小于管道安装口的直径。
6.一种基于激光视觉融合的自动补给对接系统的工作方法，其特征在于，包括以下步骤：
S1、无人机在巡查阶段发现火情时，双目相机启动，以获取补给平台的位置信息；
S2、根据补给平台的位置信息，无人机朝补给平台移动，同时双目相机跟随补给平台的位置向下翻转变换视角，直至无人机移动至补给平台的上方，双目相机由平视视角完全翻转为俯视视角；
S3、双目相机对拍摄的图像进行目标检测，以获取给水管道位置，使无人机与给水管道之间完成粗对准；
S4、激光发射圈旋转形成激光反射环，以便无人机以任意航向向下降落时，激光测距仪都能接收到反射激光；
S5、激光测距仪通过接收到的反射激光，以获取给水管道位置，使无人机的管道对接口轴线与给水管道轴线对齐，完成无人机与给水管道之间的精对准；
S6、双目相机从相机特征圈拍摄选取测距特征点，两台双目相机分别进行双目立体匹配，以获取特征点视差图，之后分别进行双目视差测距，根据测距结果是否一致，以调整无人机俯仰角度，从而获取给水管道前后深度信息；
S7、两台激光测距仪分别发射正弦调制激光，经过激光反射镜的反射，通过激光测距仪的鉴波器接收反射的激光，并通过往返激光的相位差计算出给水管道的深度信息，根据左右深度是否一致，以调整无人机的滚转角度，从而获取给水管道左右深度信息；
S8、将给水管道前后深度信息以及给水管道左右深度信息进行融合处理，得到给水管道的深度信息融合结果；
S9、根据给水管道的深度信息融合结果，无人机在向下降落过程中实时调整自身位置，以保持管道对接口轴线与给水管道轴线对准，同时结合无人机连接头进行修正，使得无人机降落至补给平台、管道对接口与给水管道的出口对接上、触发电磁开关、两端通过电磁吸附完成对接；
S10、无人机携带给水管道重新升空，进行灭火作业。
7.根据权利要求6所述的一种基于激光视觉融合的自动补给对接系统的工作方法，其特征在于，所述步骤S6具体包括以下步骤：
S61、双目相机拍摄图像后，对图像进行灰度转化、高斯去噪、图像增强后输入图像语义分割模型中，将给水管道及相机特征圈信息分割出来；
通过OpenCV获取最小外接矩形，两台双目摄像头分别选取外接矩形与相机特征圈的前、后端切点作为特征点，这两个特征点为两台双目相机向下视线与补给平台平面垂直的交点，双目相机至特征点的距离即垂直距离；
S62、记双目相机左右两视图的相机坐标系原点分别为O1和O2，两坐标系的X1和X2轴为成像中的水平方向，数学关系上两轴重合；
Y1和Y2轴为成像中的垂直方向，数学关系上，两轴平行；
Z1和Z2轴为光轴，和成像平面成垂直关系，数学关系上，两轴平行；
S63、双目相机坐标系原点O1和O2分别沿Z1和Z2轴到各自成像平面的距离就是相机的焦距，记为f；
两个原点间沿水平方向即X轴方向的距离为相机的基线，基线长度记为B；
世界坐标系中特征点P(x,y,z)在两台双目相机图像中的位置分别是P1(x1,y1)和P2(x2,y2)，其中，由于两相机是水平并排组成双目相机，所以y1＝y2，两点的成像视差记为d＝x1-x2；
S64、由双目视差测距法可以得到特征点P(x,y,z)的深度值：
Figure FDA0003809516810000031
两台双目相机分别获取对应特征点的深度值，根据偏差调整俯仰角，确保无人机前后方向与给水管道呈水平状态，得到给水管道前后方向相同的深度值z12。
8.根据权利要求7所述的一种基于激光视觉融合的自动补给对接系统的工作方法，其特征在于，所述步骤S7具体包括以下步骤：
S71、两台激光测距仪的激光发射器到激光反射镜的距离记为z3和z4，记激光的发射的速度为V，激光往返的总时间为t，以z3为例，则有：
Figure FDA0003809516810000041
同理可知z4的计算式；
S72、记激光发射的正弦调制光频率为ν，发射器发射与鉴波器接收直接的激光相位差为
Figure FDA0003809516810000042
则有
Figure FDA0003809516810000043
激光测距仪测量深度值即为激光发射器到激光反射镜的距离，因此对应于z3，则可得激光测距仪测量深度值为：
Figure FDA0003809516810000044
同理可知对应于z4的激光测距仪测量深度值；
S73、两台激光测距仪分别获取对应测量深度值，根据偏差调整滚转角，确保无人机左右方向与给水管道呈水平状态，得到给水管道左右方向相同的深度值z34。
9.根据权利要求8所述的一种基于激光视觉融合的自动补给对接系统的工作方法，其特征在于，所述步骤S8具体包括以下步骤：
S81、将给水管道前后深度信息z12与左右深度信息z34经过信号处理、特征提取、归一化处理后送入神经网络；
S34、构建孪生神经网络，对z12以及z34进行打分，确定相似度，当相似度大于或等于预设阈值时，对z12以及z34进行加权平均，得到给水管道的深度信息融合结果为：
Figure FDA0003809516810000045
其中，f12、f34分别为z12和z34对应的权值。
CN202210176765.5A 2022-02-25 2022-02-25 一种基于激光视觉融合的自动补给对接系统及其工作方法 Active CN114602083B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210176765.5A CN114602083B (zh) 2022-02-25 2022-02-25 一种基于激光视觉融合的自动补给对接系统及其工作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210176765.5A CN114602083B (zh) 2022-02-25 2022-02-25 一种基于激光视觉融合的自动补给对接系统及其工作方法

Publications (2)

Publication Number Publication Date
CN114602083A CN114602083A (zh) 2022-06-10
CN114602083B true CN114602083B (zh) 2022-11-11

Family

ID=81859694

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210176765.5A Active CN114602083B (zh) 2022-02-25 2022-02-25 一种基于激光视觉融合的自动补给对接系统及其工作方法

Country Status (1)

Country Link
CN (1) CN114602083B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114954200B (zh) * 2022-06-27 2023-05-12 国网河北省电力有限公司沧州供电分公司 电力运检用智能移动平台

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110865649A (zh) * 2019-11-30 2020-03-06 中国人民解放军火箭军工程大学 一种无人机充电补给定位方法
CN110908403A (zh) * 2019-12-09 2020-03-24 国家电网有限公司 一种用于电力巡线无人机的自动定点降落装置及方法
CN111319502A (zh) * 2020-02-24 2020-06-23 上海理工大学 基于双目视觉定位的无人机激光充电方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105867405A (zh) * 2016-05-23 2016-08-17 零度智控（北京）智能科技有限公司 无人机、无人机降落控制装置及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110865649A (zh) * 2019-11-30 2020-03-06 中国人民解放军火箭军工程大学 一种无人机充电补给定位方法
CN110908403A (zh) * 2019-12-09 2020-03-24 国家电网有限公司 一种用于电力巡线无人机的自动定点降落装置及方法
CN111319502A (zh) * 2020-02-24 2020-06-23 上海理工大学 基于双目视觉定位的无人机激光充电方法

Also Published As

Publication number Publication date
CN114602083A (zh) 2022-06-10

Similar Documents

Publication Publication Date Title
WO2021115343A1 (zh) 一种变电站智能消防系统及方法
CN104964672B (zh) 一种基于线结构光的远距离障碍感知传感器
US20230343087A1 (en) Automatic terrain evaluation of landing surfaces, and associated systems and methods
US8554395B2 (en) Method and system for facilitating autonomous landing of aerial vehicles on a surface
CN114602083B (zh) 一种基于激光视觉融合的自动补给对接系统及其工作方法
WO2018209702A1 (zh) 无人机的控制方法、无人机以及机器可读存储介质
CN111679695B (zh) 一种基于深度学习技术的无人机巡航及追踪系统和方法
CN110898353A (zh) 变电站消防机器人全景监控与联动控制方法及系统
CN110989599B (zh) 一种变电站消防机器人自主作业控制方法及系统
CN110675592A (zh) 一种基于目标识别的高空抛物预警防护系统和控制方法
CN113240881B (zh) 一种基于多特征融合的火灾识别系统
CN104524731A (zh) 基于光电转塔的多信息融合智能水炮系统
CN109157782B (zh) 一种举高消防车灭火系统、方法以及举高消防车
CN111984021A (zh) 无人机的控制方法及系统、无人机设备、远程控制设备
CN107664760A (zh) 固态激光雷达及固态激光雷达控制方法
CN104061910A (zh) 基于gps接收器和双摄像机的森林着火点定位方法
CN102636152A (zh) 可移动平台的主动视觉测距系统
CN110975194A (zh) 一种变电站消防机器人辅助方法及系统
CN110075449A (zh) 一种用于无人驾驶船舶的智能监控灭火方法
CN113274663B (zh) 一种消防型无人机的控制方法、装置和计算设备
CN113521616A (zh) 一种消防机器人、调度方法及灭火系统
CN113274672A (zh) 一种基于机器视觉的消防炮混合控制系统及控制方法
CN106542105B (zh) 飞行器移动降落方法和系统
CN112829885A (zh) 一种无人自主侦察船
CN202582535U (zh) 可移动平台的主动视觉测距系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant