CN115063541B - 一种大型机器人掩埋救援方法及系统 - Google Patents

一种大型机器人掩埋救援方法及系统 Download PDF

Info

Publication number
CN115063541B
CN115063541B CN202210990343.1A CN202210990343A CN115063541B CN 115063541 B CN115063541 B CN 115063541B CN 202210990343 A CN202210990343 A CN 202210990343A CN 115063541 B CN115063541 B CN 115063541B
Authority
CN
China
Prior art keywords
rescue
data
trapped
robot
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210990343.1A
Other languages
English (en)
Other versions
CN115063541A (zh
Inventor
苟先太
程丽红
蒋晓凤
曾开心
魏峰
顾凡
苟瀚文
周晨晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Tianqi Intelligent Technology Co ltd
Southwest Jiaotong University
Original Assignee
Sichuan Tianqi Intelligent Technology Co ltd
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Tianqi Intelligent Technology Co ltd, Southwest Jiaotong University filed Critical Sichuan Tianqi Intelligent Technology Co ltd
Priority to CN202210990343.1A priority Critical patent/CN115063541B/zh
Publication of CN115063541A publication Critical patent/CN115063541A/zh
Application granted granted Critical
Publication of CN115063541B publication Critical patent/CN115063541B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

本发明提出了一种大型机器人掩埋救援方法及系统，涉及机器人技术领域，包括：救援机器人对场景进行动态扫描，构建三维模型以获取点云数据；获取目标图像以进行目标检测；通过活体检测雷达获取被困人员的生命体征数据；基于被困人员的生命体征数据对被困人员进行健康状态评估；制定救援决策，利用人工势场法进行救援机器人局部路径规划，同时根据救援决策发出控制指令使救援机器人进行救援操作；本发明能够集探测生命迹象、定位多个被困人员位置、研究救援策略、自动规划路径、实现自动避障且协助救援人员实施救援为一体，从而可以根据被困人员的生命强度和所在位置做出救援路径决策。

Description

一种大型机器人掩埋救援方法及系统
技术领域
本发明涉及机器人技术领域，具体而言，涉及一种大型机器人掩埋救援方法及系统。
背景技术
随着房屋坍塌事故,地震、台风等自然灾害的发生，掩埋救援机器人的研究在救援抗灾领域十分重要。灾害时刻威胁着被困人员的生命安全，但灾后恶劣的环境和复杂的空间阻碍了救援人员进入现场进行施救；并且，建筑物坍塌后结构不稳定，若操作不当会导致二次事故的发生，使救援人员和被困人员的生命安全都受到严重威胁。需要一种可以代替人探测生命迹象、定位被困人员位置、研究救援策略、实施救援的智能设备协助救援人员进行灾后救援，因此，救援机器人就显得极为重要。
现有的救援机器人主要有三种，分别是搜索救援机器人、运载救援机器人和多任务救援机器人。其中，搜索救援机器人主要用于生命搜索和危险区域检测；运载救援机器人主要用于运输救援物资或受伤人员；多任务机器人一般具有多种任务模式、可精确操作目标物体且智能程度较高。然而，现有的机器人大多都是协助救援人员进行救援，主要完成救援任务中的某一部分任务，无法实现多功能一体的智能救援设备。
基于此，本申请提出一种大型机器人掩埋救援方法及系统来解决上述问题。
发明内容
本发明的目的在于提供一种大型机器人掩埋救援方法，其能够实现面对灾害时多功能一体的智能救援。
本发明的技术方案为：
第一方面，本申请提供一种大型机器人掩埋救援方法，其包括以下步骤：
S1、通过救援机器人的三维激光雷达对场景进行动态扫描，采用基于图优化的即时定位与地图构建技术构建三维模型以获取点云数据；具体的，上述点云数据包括建筑物废墟的物体外观形状和点云坐标信息；
S2、利用摄像头获取目标图像以进行目标检测以得到检测结果；
S3、通过活体检测雷达对建筑物废墟进行生命信号检测和定位以获取被困人员的生命体征数据；
S4、基于被困人员的生命体征数据对被困人员进行健康状态评估以得到健康状态评估数据；
S5、通过健康状态评估数据制定救援决策，并基于点云数据、检测结果和救援决策利用人工势场法进行救援机器人局部路径规划，同时根据救援决策发出控制指令使救援机器人进行救援操作。
进一步地，步骤S1中上述采用基于图优化的即时定位与地图构建技术构建三维模型的方法包括：
在局部SLAM中提取点云数据并进行处理；
利用处理后的数据构建节点和边以生成子图；
通过对子图进行多次数据处理和优化以获得局部三维模型；
基于局部三维模型在全局SLAM中进行闭环检测以得到闭环检测结果；
基于闭环检测结果修正误差以构建最优的三维模型。
进一步地，步骤S2中上述目标图像包括彩色图像和深度图像。
进一步地，上述获取目标图像以进行目标检测以得到检测结果的方法包括：
利用目标检测算法对上述彩色图像进行目标检测以识别场景中的建筑物材料以得到识别结果；
同时利用深度图像获取其深度信息；
基于识别结果和深度信息获取建筑物材料的物品集作为检测结果。
进一步地，步骤S3包括：
通过活体检测雷达对建筑物废墟进行生命信号检测和定位以采集信号；
对采集的信号进行DSP处理以得到被困人员的生命体征数据。
进一步地，步骤S4包括：
应用VMD算法对被困人员的生命体征数据进行分离以得到不同被困人员的生命体征数据；
基于不同被困人员的生命体征数据对不同被困人员进行健康状态评估以得到健康状态评估数据。
进一步地，上述健康状态评估采用公式为：
Figure DEST_PATH_IMAGE002
，
其中，
Figure DEST_PATH_IMAGE004
表示t时刻被困人员
Figure DEST_PATH_IMAGE006
的健康状态评分，
Figure DEST_PATH_IMAGE008
表示被困人员，t表示时间，
Figure DEST_PATH_IMAGE010
均为健康状态评估系数，
Figure DEST_PATH_IMAGE012
为心跳数据误差系数，
Figure 100002_DEST_PATH_IMAGE014
为呼吸数据误差系数，
Figure DEST_PATH_IMAGE016
、
Figure DEST_PATH_IMAGE018
均为时间误差系数，
Figure DEST_PATH_IMAGE020
表示心跳数据，
Figure DEST_PATH_IMAGE022
表示呼吸数据。
第二方面，本申请提供一种大型机器人掩埋救援系统，包括：
场景感知模块，用于通过救援机器人的三维激光雷达对场景进行动态扫描，采用基于图优化的即时定位与地图构建技术构建三维模型以获取点云数据；具体的，上述点云数据包括建筑物废墟的物体外观形状和点云坐标信息；
目标检测模块，用于利用摄像头获取目标图像以进行目标检测以得到检测结果；
活体检测模块，用于通过活体检测雷达对建筑物废墟进行生命信号检测和定位以获取被困人员的生命体征数据；
健康状态评估模块，用于基于被困人员的生命体征数据对被困人员进行健康状态评估以得到健康状态评估数据；
救援决策模块，用于通过健康状态评估数据制定救援决策，并基于点云数据、检测结果和救援决策利用人工势场法进行救援机器人局部路径规划，同时根据救援决策发出控制指令使救援机器人进行救援操作。
相对于现有技术，本发明至少具有如下优点或有益效果：
（1）本发明基于SLAM对房屋坍塌现场进行三维模型构建，然后采用目标检测算法可以对建筑物废墟物品进行材质、大小识别，从而定位识别被困人员的位置，同时避免救援人员深入灾后现场进行勘测，减小救援人员因抗震救灾生命安全受到威胁的风险；
（2）本发明可以利用IR-UWB雷达对伤者进行心跳、呼吸数据检测和定位，分离不同被困人员的生命体征数据，并进行健康状态评估，从而实现对被困人员的活体检测和定位，并根据其生命强度和所在位置进行规划救援路径并实施救援，提高被困人员的救援率；
（3）本发明根据三维模型构建和目标检测结果，基于人工势场法进行救援机器人局部路径规划，实现了救援机器人的实时自动避障功能，从而降低救援机器人受障碍物二次坍塌、掉落影响的风险，保障了救援机器人的自主移动功能，提高了救援机器人的救援成功率和救援效率；
（4）本发明提供的一种大型机器人掩埋救援方法及系统，能够集探测生命迹象、定位多个被困人员位置、研究救援策略、自动规划路径、实现自动避障且协助救援人员实施救援为一体，从而可以根据被困人员的生命强度和所在位置做出救援路径决策。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例的一种大型机器人掩埋救援方法的步骤图；
图2为本发明实施例的一种大型机器人掩埋救援系统的示意性结构框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
需要说明的是，在本文中，术语“包括”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的各个实施例及实施例中的各个特征可以相互组合。
实施例1
请参阅图1，图1所示为本申请实施例提供的一种大型机器人掩埋救援方法的步骤图。
本发明一种大型机器人掩埋救援方法，包括以下步骤：
S1、通过救援机器人的三维激光雷达对场景进行动态扫描，采用基于图优化的即时定位与地图构建技术构建三维模型以获取点云数据；具体的，点云数据包括建筑物废墟的物体外观形状和点云坐标信息；
S2、利用摄像头获取目标图像以进行目标检测以得到检测结果；
S3、通过活体检测雷达对建筑物废墟进行生命信号检测和定位以获取被困人员的生命体征数据；
S4、基于被困人员的生命体征数据对被困人员进行健康状态评估以得到健康状态评估数据；
S5、通过健康状态评估数据制定救援决策，并基于点云数据、检测结果和救援决策利用人工势场法进行救援机器人局部路径规划，同时根据救援决策发出控制指令使救援机器人进行救援操作。
其中，活体检测雷达主要采用IR-UWB 雷达，其在穿越障碍物检测应用中显著提高了穿透性、多径抗扰度和分辨率等。
作为一种优选的实施方式，步骤S1中采用基于图优化的即时定位与地图构建技术构建三维模型的方法包括：
在局部SLAM中提取点云数据并进行处理；
利用处理后的数据构建节点和边以生成子图；
通过对子图进行多次数据处理和优化以获得局部三维模型；
基于局部三维模型在全局SLAM中进行闭环检测以得到闭环检测结果；
基于闭环检测结果修正误差以构建最优的三维模型。
作为一种优选的实施方式，步骤S2中目标图像包括彩色图像和深度图像。
作为一种优选的实施方式，获取目标图像以进行目标检测以得到检测结果的方法包括：
利用目标检测算法对彩色图像进行目标检测以识别场景中的建筑物材料以得到识别结果；
同时利用深度图像获取其深度信息；
基于识别结果和深度信息获取建筑物材料的物品集作为检测结果。
需要说明的是，利用目标检测算法对所述彩色图像进行目标检测可以识别场景中的建筑物材料，同时利用深度图像获取其深度信息可以得到建筑物材料物品集
Figure DEST_PATH_IMAGE024
，
Figure DEST_PATH_IMAGE026
表示物体的类别和编号，
Figure DEST_PATH_IMAGE028
和
Figure DEST_PATH_IMAGE030
分别表示检测物体候选框左上和右下的顶点三维坐标。
作为一种优选的实施方式，步骤S3包括：
通过活体检测雷达对建筑物废墟进行生命信号检测和定位以采集信号；
对采集的信号进行DSP处理以得到被困人员的生命体征数据。
作为一种优选的实施方式，步骤S4包括：
应用VMD算法对被困人员的生命体征数据进行分离以得到不同被困人员的生命体征数据；
基于不同被困人员的生命体征数据对不同被困人员进行健康状态评估以得到健康状态评估数据。
作为一种优选的实施方式，健康状态评估采用公式为：
Figure DEST_PATH_IMAGE032
，
其中，
Figure DEST_PATH_IMAGE034
表示t时刻被困人员
Figure DEST_PATH_IMAGE036
的健康状态评分，
Figure DEST_PATH_IMAGE038
表示被困人员，t表示时间，
Figure DEST_PATH_IMAGE040
均为健康状态评估系数，
Figure DEST_PATH_IMAGE042
为心跳数据误差系数，
Figure DEST_PATH_IMAGE044
为呼吸数据误差系数，
Figure DEST_PATH_IMAGE046
、
Figure DEST_PATH_IMAGE048
均为时间误差系数，
Figure DEST_PATH_IMAGE050
表示心跳数据，
Figure DEST_PATH_IMAGE052
表示呼吸数据。
其中，心跳数据和呼吸数据组成生命体征数据，健康状态评分即健康状态评估数据。
步骤S5的工作原理：
首先初始化一条救援路径
Figure DEST_PATH_IMAGE054
，救援机器人沿着路径
Figure DEST_PATH_IMAGE056
救援，到达被困人员
Figure DEST_PATH_IMAGE058
时，
Figure DEST_PATH_IMAGE060
的生命强度为:
Figure DEST_PATH_IMAGE062
，
Figure DEST_PATH_IMAGE064
，
其中
Figure DEST_PATH_IMAGE066
表示救援机器人从被困人员
Figure DEST_PATH_IMAGE068
到
Figure DEST_PATH_IMAGE070
所用的时间，
Figure DEST_PATH_IMAGE072
表示被困人员
Figure DEST_PATH_IMAGE074
到
Figure DEST_PATH_IMAGE076
之间的路径距离，
Figure DEST_PATH_IMAGE078
表示救援机器人的运动速度，
Figure DEST_PATH_IMAGE080
为救援被困人员需要的时间。
当被困人员的生命强度小于或等于阈值
Figure DEST_PATH_IMAGE082
时，则不对该被困人员进行救援，救援总人数不变；若其生命强度大于阈值，则进行救援，被救人数加1，则被救总人数
Figure DEST_PATH_IMAGE084
表示为：
Figure DEST_PATH_IMAGE086
，
据此建立机器人救援决策的路径规划问题的数学模型：
Figure DEST_PATH_IMAGE088
，
其中，
Figure DEST_PATH_IMAGE090
表示被救总人数，
Figure DEST_PATH_IMAGE092
表示
Figure DEST_PATH_IMAGE094
个整数的全排列。
调用GPU集群，调用微粒群优化算法进行求解得到最优救援路径，机器人根据救援路径进行移动。
在建筑物坍塌的复杂情况下，钢筋、混凝土等废墟结构相互交错，存在弯曲、断裂、掉落等风险，若随意搬动建筑物废墟中的物体会有二次坍塌的危险，对被困人员和救援人员造成生命威胁，需要根据对灾害现场三维重建和对其目标检测的结果进行分析，获得具体实施救援的搬动物体的策略。根据分析结果，救援机器人发出破拆、切割、支撑、吊装、搬运、牵引等控制指令并协助救援人员进行救援。救援机器人在向目标移动时需要避开障碍物和可能发生二次坍塌、掉落等危险的物体，针对物体的外观形状、材质、倾斜角度等判断该物体发生二次坍塌、掉落等危险的概率，并对其坍塌、掉落的方向和影响范围进行估算，根据三维模型构建，可以获得物体的坐标和外观形状信息，目标检测结果可以获得的材质、物体候选框的坐标和物体倾斜角度，通过数据计算预估物体坍塌、掉落方向和影响范围。针对该物体的外观形状，确定该物体的弯曲节点、断裂节点以及节点完整度，通过弯曲节点、断裂节点、节点完整度、材质、大小判断该物体发生二次坍塌、掉落等危险的概率
Figure DEST_PATH_IMAGE096
，若发生坍塌或掉落，物体受重力影响产生势能
Figure DEST_PATH_IMAGE098
，其中
Figure DEST_PATH_IMAGE100
表示掉落物体的质量，根据物体的材质和大小进行估算得到，
Figure DEST_PATH_IMAGE102
表示重力加速度，
Figure DEST_PATH_IMAGE104
表示掉落的高度，根据掉落前物体倾斜的角度，估算物体掉落水平距离
Figure DEST_PATH_IMAGE106
；基于人工势场法，根据物体坍塌、掉落方向和影响范围对救援机器人进行实时路径规划和自动避障，将物体坍塌、掉落方向和影响范围等价为斥力源，对救援机器人产生“斥力”，将目标点等价为引力源，对救援机器人产生“引力”，救援机器人在向目标移动的过程中，“引力”和“斥力”不断发生变化，根据所受合力实时改变移动方向，实现救援机器人移动过程中的自动避障。
实施例2
请参阅图2，图2所示为本申请提供的一种大型机器人掩埋救援系统。
本申请实施例2提供一种大型机器人掩埋救援系统，其包括：
场景感知模块，用于通过救援机器人的三维激光雷达对场景进行动态扫描，采用基于图优化的即时定位与地图构建技术构建三维模型以获取点云数据；具体的，上述点云数据包括建筑物废墟的物体外观形状和点云坐标信息；
目标检测模块，用于利用摄像头获取目标图像以进行目标检测以得到检测结果；
活体检测模块，用于通过活体检测雷达对建筑物废墟进行生命信号检测和定位以获取被困人员的生命体征数据；
健康状态评估模块，用于基于被困人员的生命体征数据对被困人员进行健康状态评估以得到健康状态评估数据；
救援决策模块，用于通过健康状态评估数据制定救援决策，并基于点云数据、检测结果和救援决策利用人工势场法进行救援机器人局部路径规划，同时根据救援决策发出控制指令使救援机器人进行救援操作。
本申请提供的一种大型机器人掩埋救援系统，救援机器人通过场景感知模块可以利用三维激光雷达对场景进行动态扫描，采用基于图优化的即时定位与地图构建技术构建三维模型以获取建筑物废墟的物体外观形状和点云坐标信息，然后通过目标检测模块利用摄像头获取目标图像以进行目标检测以得到检测结果，然后利用活体检测模块对建筑物废墟进行生命信号检测和定位以获取被困人员的生命体征数据，再通过健康状态评估模块对被困人员进行健康状态评估以得到健康状态评估数据，最后通过救援决策模块制定救援决策和局部路径规划，根据救援决策即可发出控制指令使救援机器人进行救援操作。
可以理解，图中所示的结构仅为示意，一种大型机器人掩埋救援方法还可包括比图中所示更多或者更少的组件，或者具有与图中所示不同的配置。图中所示的各组件可以采用硬件、软件或其组合实现。
在本申请所提供的实施例中，应该理解到，所揭露的系统或方法，也可以通过其它的方式实现。以上所描述的实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述，本申请实施例提供的一种大型机器人掩埋救援方法，通过救援机器人利用三维激光雷达基于SLAM对房屋坍塌场进行三模模型构建，采用目标检测算法对建筑物废墟物品进行材质、大小识别，避免救援人员深入灾后现场进行勘测，减小救援人员因抗震救灾生命安全受到威胁的风险；通过对被困人员进行活体检测和定位，并分离出多个被困人员的生命体征信号，对被困人员进行健康状态评估，并根据其生命强度和所在位置进行规划救援路径并实施救援，提高被困人员的救援率；根据三维模型构建和目标检测结果，基于人工势场法进行救援机器人局部路径规划，实现实时自动避障，降低救援机器人受障碍物二次坍塌、掉落影响的风险，保证救援机器人的自主移动，提高救援机器人的救援效率。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (6)

1.一种大型机器人掩埋救援方法，其特征在于，包括以下步骤：
S1、通过救援机器人的三维激光雷达对场景进行动态扫描，采用基于图优化的即时定位与地图构建技术构建三维模型以获取点云数据；具体的，所述点云数据包括建筑物废墟的物体外观形状和点云坐标信息；
S2、利用摄像头获取目标图像以进行目标检测以得到检测结果；
其中，所述目标图像包括彩色图像和深度图像；
所述获取目标图像以进行目标检测以得到检测结果的方法包括：
利用目标检测算法对所述彩色图像进行目标检测以识别场景中的建筑物材料以得到识别结果；
同时利用深度图像获取其深度信息；
基于识别结果和深度信息获取建筑物材料的物品集作为检测结果；
S3、通过活体检测雷达对建筑物废墟进行生命信号检测和定位以获取被困人员的生命体征数据；
S4、基于被困人员的生命体征数据对被困人员进行健康状态评估以得到健康状态评估数据；
S5、通过健康状态评估数据制定救援决策，并基于点云数据、检测结果和救援决策利用人工势场法进行救援机器人局部路径规划，同时根据救援决策发出控制指令使救援机器人进行救援操作。
2.如权利要求1所述的一种大型机器人掩埋救援方法，其特征在于，步骤S1中所述采用基于图优化的即时定位与地图构建技术构建三维模型的方法包括：
在局部SLAM中提取点云数据并进行处理；
利用处理后的数据构建节点和边以生成子图；
通过对子图进行多次数据处理和优化以获得局部三维模型；
基于局部三维模型在全局SLAM中进行闭环检测以得到闭环检测结果；
基于闭环检测结果修正误差以构建最优的三维模型。
3.如权利要求1所述的一种大型机器人掩埋救援方法，其特征在于，步骤S3包括：
通过活体检测雷达对建筑物废墟进行生命信号检测和定位以采集信号；
对采集的信号进行DSP处理以得到被困人员的生命体征数据。
4.如权利要求1所述的一种大型机器人掩埋救援方法，其特征在于，步骤S4包括：
应用VMD算法对被困人员的生命体征数据进行分离以得到不同被困人员的生命体征数据；
基于不同被困人员的生命体征数据对不同被困人员进行健康状态评估以得到健康状态评估数据。
5.如权利要求4所述的一种大型机器人掩埋救援方法，其特征在于，所述健康状态评估采用公式为：
Figure 799191DEST_PATH_IMAGE001
，
其中，
Figure 812277DEST_PATH_IMAGE002
表示t时刻被困人员
Figure 133537DEST_PATH_IMAGE003
的健康状态评分，
Figure 700916DEST_PATH_IMAGE004
表示被困人员，t表示时间，
Figure 765824DEST_PATH_IMAGE005
、
Figure 367838DEST_PATH_IMAGE006
、
Figure 876311DEST_PATH_IMAGE008
均为健康状态评估系数，
Figure 180253DEST_PATH_IMAGE009
为心跳数据误差系数，
Figure 811303DEST_PATH_IMAGE010
为呼吸数据误差系数，
Figure 517091DEST_PATH_IMAGE011
、
Figure 930886DEST_PATH_IMAGE012
均为时间误差系数，
Figure 456545DEST_PATH_IMAGE013
表示心跳数据，
Figure DEST_PATH_IMAGE014
表示呼吸数据。
6.一种大型机器人掩埋救援系统，其特征在于，包括：
场景感知模块，用于通过救援机器人的三维激光雷达对场景进行动态扫描，采用基于图优化的即时定位与地图构建技术构建三维模型以获取点云数据；具体的，所述点云数据包括建筑物废墟的物体外观形状和点云坐标信息；
目标检测模块，用于利用摄像头获取目标图像以进行目标检测以得到检测结果；其中，所述目标图像包括彩色图像和深度图像；所述获取目标图像以进行目标检测以得到检测结果的方法包括：利用目标检测算法对所述彩色图像进行目标检测以识别场景中的建筑物材料以得到识别结果；同时利用深度图像获取其深度信息；基于识别结果和深度信息获取建筑物材料的物品集作为检测结果；
活体检测模块，用于通过活体检测雷达对建筑物废墟进行生命信号检测和定位以获取被困人员的生命体征数据；
健康状态评估模块，用于基于被困人员的生命体征数据对被困人员进行健康状态评估以得到健康状态评估数据；
救援决策模块，用于通过健康状态评估数据制定救援决策，并基于点云数据、检测结果和救援决策利用人工势场法进行救援机器人局部路径规划，同时根据救援决策发出控制指令使救援机器人进行救援操作。
CN202210990343.1A 2022-08-18 2022-08-18 一种大型机器人掩埋救援方法及系统 Active CN115063541B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210990343.1A CN115063541B (zh) 2022-08-18 2022-08-18 一种大型机器人掩埋救援方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210990343.1A CN115063541B (zh) 2022-08-18 2022-08-18 一种大型机器人掩埋救援方法及系统

Publications (2)

Publication Number Publication Date
CN115063541A CN115063541A (zh) 2022-09-16
CN115063541B true CN115063541B (zh) 2022-12-02

Family

ID=83208148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210990343.1A Active CN115063541B (zh) 2022-08-18 2022-08-18 一种大型机器人掩埋救援方法及系统

Country Status (1)

Country Link
CN (1) CN115063541B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116167594B (zh) * 2023-04-21 2023-10-17 中国地质大学（北京） 滑坡体下人体生命体征的探测无人机平台及探测方法
CN118262478B (zh) * 2024-05-29 2024-09-06 江苏中胤消防装备有限公司 一种智能穿戴水域救援设备远程通讯系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN208436283U (zh) * 2018-03-21 2019-01-29 邓建建 一种深井自动探测救援机器人
CN111459166A (zh) * 2020-04-22 2020-07-28 北京工业大学 一种灾后救援环境下含受困人员位置信息的情景地图构建方法
WO2020262728A1 (en) * 2019-06-26 2020-12-30 Chang Yoon Kyung Biological signal monitoring system and emergency rescue service system using thereof
CN114426069A (zh) * 2021-12-14 2022-05-03 哈尔滨理工大学 一种基于实时语义分割的室内救援车及图像语义分割方法
CN114637295A (zh) * 2022-03-16 2022-06-17 浙江工业大学 一种基于人工势场法与实例分割的机器人智能避障方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN208436283U (zh) * 2018-03-21 2019-01-29 邓建建 一种深井自动探测救援机器人
WO2020262728A1 (en) * 2019-06-26 2020-12-30 Chang Yoon Kyung Biological signal monitoring system and emergency rescue service system using thereof
CN111459166A (zh) * 2020-04-22 2020-07-28 北京工业大学 一种灾后救援环境下含受困人员位置信息的情景地图构建方法
CN114426069A (zh) * 2021-12-14 2022-05-03 哈尔滨理工大学 一种基于实时语义分割的室内救援车及图像语义分割方法
CN114637295A (zh) * 2022-03-16 2022-06-17 浙江工业大学 一种基于人工势场法与实例分割的机器人智能避障方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A survey on systematic approaches in managing forest fires;AdityaDhall et al.;《Applied Geography 》;20200707;102266（1-16） *
复杂环境下搜救机器人路径规划方法研究;李世国;《中国优秀硕士学位论文全文数据库 信息科技辑》;20220315;I140-994 *
特殊复杂条件搜救机器人研究;吴健 等;《电子世界》;20200330;11-12 *

Also Published As

Publication number Publication date
CN115063541A (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
CN115063541B (zh) 一种大型机器人掩埋救援方法及系统
Fallon et al. Sensor fusion for flexible human-portable building-scale mapping
CN102288176B (zh) 基于信息融合的煤矿救灾机器人导航系统及方法
Kashyap et al. Multi-objective trajectory planning of humanoid robot using hybrid controller for multi-target problem in complex terrain
Alarcón et al. An efficient object-oriented exploration algorithm for unmanned aerial vehicles
CN111258309A (zh) 一种用于城市消防机器人的灭火方法
Rashid et al. Intelligent seeker robot to locate dead bodies and survivors under debris
Baudoin et al. View-finder: robotics assistance to fire-fighting services and crisis management
CN117570959A (zh) 一种人机协同救援态势地图构建方法
Zhao et al. A multi-sensor fusion system for improving indoor mobility of the visually impaired
Puck et al. Modular, risk-aware mapping and fusion of environmental hazards
Hahn et al. Heat mapping for improved victim detection
Rivadeneyra et al. Probabilistic multi-level maps from LIDAR data
Wang Bidirectional ACO intelligent fire evacuation route optimization
Carpin et al. Autonomous mapping in the real robot rescue league
Baek et al. A Mobile Robot Framework in Industrial Disaster for Human Rescue
Amigoni et al. Robocup 2012 rescue simulation league winners
Visser et al. Amsterdam Oxford Joint Rescue Forces-Team Description Paper-Virtual Robot competition-Rescue Simulation League-RoboCup 2008
Koutamanis Multilevel analysis of fire escape routes in a virtual environment
Hui et al. Simulation analysis of the search effectiveness on information-based firefighting
Mitroudas et al. Multi-criteria Decision Making for Autonomous UAV Landing
Charalampous et al. Social mapping on RGB-D scenes
CN112248032B (zh) 一种救援机器人生命体特征探测与识别方法
Kleiner Mapping and exploration for search and rescue with humans and mobile robots
CN118809622A (zh) 基于机器学习的人形机器人视觉识别与动作控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant