CN113139418A - 救援方法、装置及计算机可读存储介质 - Google Patents

救援方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN113139418A
CN113139418A CN202011418700.4A CN202011418700A CN113139418A CN 113139418 A CN113139418 A CN 113139418A CN 202011418700 A CN202011418700 A CN 202011418700A CN 113139418 A CN113139418 A CN 113139418A
Authority
CN
China
Prior art keywords
robot
rescued
person
persons
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011418700.4A
Other languages
English (en)
Other versions
CN113139418B (zh
Inventor
李雪
董强
孙芯彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Tianhe Defense Technology Co ltd
Original Assignee
Xi'an Tianhe Defense Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Tianhe Defense Technology Co ltd filed Critical Xi'an Tianhe Defense Technology Co ltd
Priority to CN202011418700.4A priority Critical patent/CN113139418B/zh
Publication of CN113139418A publication Critical patent/CN113139418A/zh
Application granted granted Critical
Publication of CN113139418B publication Critical patent/CN113139418B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C27/00Rotorcraft; Rotors peculiar thereto
    • B64C27/04Helicopters
    • B64C27/08Helicopters with two or more rotors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D9/00Equipment for handling freight; Equipment for facilitating passenger embarkation or the like
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/26Government or public services
    • G06Q50/265Personal security, identity or safety
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Tourism & Hospitality (AREA)
  • Development Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Educational Administration (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Manipulator (AREA)

Abstract

本申请涉及人工智能领域,提供了一种救援方法,应用于机器人,机器人包括红外摄像头、固定装置,该方法包括:通过红外摄像头获取目标地点的N个待救援人员的图像;基于图像确定N个待救援人员中每个待救援人员的手腕位置和腰部位置;利用固定装置,对每个待救援人员的手腕位置和腰部位置进行固定;将固定好的待救援人员带离目标地点。本申请提供的救援方法,通过机器人对高层建筑的受困人员进行及时有效地救援。

Description

救援方法、装置及计算机可读存储介质
技术领域
本申请属于人工智能技术领域,尤其涉及一种救援方法、装置及计算机可读存储介质。
背景技术
随着城市的发展,高层建筑也越来越多。随之而来的就是高层消防救援的问题。数据表明,全国设有自动消防设施的高层建筑的平均完好率不足50%,高层一旦失火,灭火救人就会面临很多问题。
目前大多城市均是通过消防人员借助消防云梯等辅助设备进行救援。
但是,消防云梯的高度有限,对于超过72米的高层,消防云梯的作用微乎其微;此外,即使消防员能够负重爬楼到达着火点,也可能会因为体力消耗太大影响救援的效率。
发明内容
本申请实施例提供了一种救援方法及装置,可以解决位于高层建筑的受困人员救援困难的问题。
第一方面,本申请实施例提供了一种救援方法,应用于机器人,机器人包括红外摄像头、固定装置,该救援方法包括:通过红外摄像头获取目标地点的N个待救援人员的图像;基于图像确定N个待救援人员中每个待救援人员的手腕位置和腰部位置;利用固定装置,对每个待救援人员的手腕位置和腰部位置进行固定;将固定好的待救援人员带离目标地点。
示例性的,目标地点可以是火灾现场、事故现场等等突发性场景;待救援人员可以是上述突发性场景下的受困人员,例如,高层建筑失火楼层的受困人员或者家庭成员因为疾病突发性休克或者昏迷时,急救人员没办法及时赶到等等场景下的待救援人员。
应理解,机器人通过红外摄像头能够获取到包含所有待救援人员的图像。然后,机器人根据确定的待救援人员的数量,对待救援人员进行救援,直至将待救援人员全部带离目标地点。
示例性的,机器人可以一次只带离一个待救援人员,也可以一次带离两个待救援人员,还可以一次带离三个待救援人员。机器人带离的待救援人员的数量视具体情况而定,例如,当机器人续航能力充足,负重能力较强的时候,一次带离的待救援人员的数量可以多一些。本申请对此不作限制。
应理解,机器人在对待救援人员进行固定的时候,压力传感器用于感知机器人是否将待救援人员完全固定。只有在机器人将待救援人员完全固定后,机器人才会将待救援人员带离目标地点。
结合第一方面,在第一方面的一种可能的实现方式中,基于图像确定N个待救援人员中每个待救援人员的手腕位置和腰部位置,包括:基于图像,利用人头检测算法确定待救援人员的数量N。
应理解,通过人头检测算法可以先确定出待救援人员的数量,在已知待救援人员的数量的前提下,机器人能够对待救援人员进行更有效地救援。
结合第一方面,在第一方面的一种可能的实现方式中,机器人还包括切割装置,该方法还包括:
基于图像,确定N个待救援人员的体型参数;基于体型参数,通过切割装置切割目标地点的门或窗户以得到逃生出口,逃生出口能够使N个待救援人员中每一个待救援人员通过。
应理解,当目标地点处于封闭状态的时候,例如,无法从内部打开目标地点的门或者窗户时,机器人能够通过自身的切割装置对目标地点的门或者窗户进行切割以得到能够使得所有待救援人员全部通过的逃生出口。
还应理解,逃生出口的大小与待救援人员的体型参数有关;体型参数可以包括待救援人员的身高、身宽;也可以包括待救援人员的身体姿势等等。本申请对此不作限制。
示例性的,逃生出口的高度应大于或者等于任意一个待救援人员的高度,逃生出口的宽度应大于或者等于任意一个待救援人员的宽度;也可以是逃生出口的面积与待救援人员的体型参数相关。本申请对此不作限制。
结合第一方面,在第一方面的一种可能的实现方式中,该方法还包括:
基于图像,判断一个或多个待救援人员的身体状况;基于身体状况,判断一个或多个待救援人员中是否存在处于无法自由移动状态的人员;当一个或多个待救援人员中存在处于无法自由移动状态的人员时,机器人优先对处于无法自由移动状态的人员进行救援。
应理解,当待救援人员中存在处于无法自由移动状态的人员时,机器人会优先对这些人员进行救援,以使得处于无法自由移动状态的人员能够得到更加及时的救助。
还应理解,其他情况下,机器人还可以按照其他顺序对待救援人员进行救援。例如,机器人按照待救援人员距离逃生出口远近的顺序进行救援,具体地,机器人对靠近逃生出口的人进行优先救援,本申请对此不作限制。
结合第一方面,在第一方面的一种可能的实现方式中,机器人还包括扬声器,该方法还包括:通过扬声器发送救援指导信息。
在本申请的一些实施例中,为了避免救援时发生人员拥挤等情况,机器人可以通过扬声器指导待救援人员有序的等待救援。
结合第一方面,在第一方面的一种可能的实现方式中,通过红外摄像头获取目标地点一个或多个待救援人员的图像的方式包括:机器人接收其他电子设备发送的指令,指令用于指示机器人获取图像;机器人根据指令通过红外摄像头获取图像。
应理解,机器人能够接收控制中心服务器的指令进行对应的操作。例如,接收控制中心服务器获取目标地点图像的指令,然后机器人根据该指令通过红外摄像头获取目标地点的图像。
结合第一方面,在第一方面的一种可能的实现方式中,机器人还包括至少一个压力传感器,压力传感器用于检测固定装置与待救援人员的手腕位置以及腰部位置接触时的压力值;该方法还包括:获取压力值,当压力值大于或者等于预设阈值的时候,确定固定装置完成固定。
应理解,为了避免意外发生,机器人将待救援人员完全固定好之后,才会将待救援人员从逃生出口带离目标地点。
第二方面,本申请实施例提供了一种救援装置,包括:
一个或多个处理器;
一个或多个存储器;
多个应用程序;以及一个多个程序,其中所述一个或多个程序被存储在所述存储器中,当所述一个或者多个程序被所述处理器执行时,使得所述装置执行上述第一方面中任一项所述的救援方法。
第三方面,本申请实施例提供了一种计算机可读存储介质,包括:所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现上述第一方面中任一项所述的救援方法。
第四方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行上述第一方面中任一项所述的救援方法。
可以理解的是,上述第二方面至第四方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请的一些实施例提供的一例救援方法场景示意图;
图2是本申请的一些实施例提供的一例机器人100的组成示意图;
图3是本申请的一些实施例提供的一例机器人100实施救援方法的流程示意图;
图4是本申请的一些实施例提供的一例高度遮挡场景示意图;
图5中的(a)-(b)是本申请的一些实施例提供的一例高斯模糊前后的图像对比图;
图6是本申请的一些实施例提供的一例确定受困人员体型参数示意图;
图7是本申请的一些实施例提供的一例机器人切割目标地点门的示意图;
图8是本申请的一些实施例提供的一例人体骨骼关节示意图;
图9是本申请的一些实施例提供的又一例人体骨骼关节示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
本申请实施例提供的救援方法可以应用于机器人,其中,机器人包括但不限于无人机、小型飞行器等等能够实现救援的机器人,本申请实施例对终端设备的具体类型不作任何限制。
图1是本申请的一些实施例提供的一例救援方法场景示意图,包括机器人100,以及建筑物B。
如图1所示,建筑物B的楼层a失火,机器人100从地面起飞,到达失火楼层a,并对里面的受困人员展开救援。
图2是本申请的一些实施例提供的一例机器人100的组成示意图。
示例性的,如图2所示,该机器人组成100包括:处理器10、存储器11、存储在存储器11中并可以在处理器10上运行的计算机程序12、扬声器13、红外摄像头14、麦克风15、收发器16以及救援单元17。
处理器10执行计算机程序12时实现本申请提供的机器人巡检任务的规划方法。
示例性的,所述计算机程序12可以被分割成一个或多个模块/单元,一个或多个模块/单元被存储在存储器11中,并由处理器10执行,以完成本申请。一个或者多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序12在该机器人中的执行过程。
本领域技术人员可以理解,图2仅仅是该机器人组成100的一个示例,并不构成对机器人组成的限定,在其他机器人组成中可以包括比图2更多或者更少的部件,例如,还可以包括输入输出设备、网络接入设备、总线等。
处理器10可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrate Circuit,ASIC)、现场可编辑门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者警惕管理逻辑器件、分立硬件组件等。通用处理器10可以是微处理器或者该处理器也可以是任何常规的处理器等。例如,在本申请的一些实施例中,处理器10可以对机器人获取的图像数据进行分析处理,确定目标地点受困人员的数量、受困人员的体型参数以及受困人员的手腕位置和腰部位置等等。
存储器11可以是该机器人组成100中的内部存储单元,例如机器人组成100的硬盘或者内存。存储器11也可以是外部存储设备,例如机器人上配备的插接式硬盘、智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。例如,在本申请的一些实施例中,存储器11可以存储机器人100获取的图像信息。
进一步地,存储器11还可以既包括内部存储单元也包括外部存储设备。存储器11用于存储计算机程序以及系统所需要的其他数据和程序。存储器11还可以用于暂时地存储已经输出或者将要输出的数据。计算机程序包括计算机程序代码,可以是源代码形式、对象代码形式、可执行文件或者某些中间形式等。
扬声器13,也称为“喇叭”,用于将音频电信号转换为声音信号。在本申请的一些实施例中,地面人员可以通过扬声器13向受困人员传达救援指导信息。
红外摄像头14用于捕获静态图像或者视频。在本申请的一些实施例中,机器人通过红外摄像头14获取目标地点的图像。
麦克风15,也称为“话筒”,“传声器”,用于将声音信号转换为电信号。在本申请的一些实施例中,受困人员能够用过麦克风15向控制中心人员传达目标地点的状况以便于地面人员实施更有效地救援行动。
收发器16,可以提供应用在机器人上的包括无线局域网(wireless local areanetwork,WLAN),(如无线保真(wireless fidelity,Wi-Fi)、蓝牙(bluetooth,BT))等无线通信的解决方案。在本申请的一些实施例中,机器人可以通过收发器16与其他电子设备进行通信连接。
救援单元17可以包括固定装置171、切割装置172、压力传感器173等设备或装置。
固定装置171,机器人使用固定装置171固定受困人员。其中,固定装置171可以采用固定链的形式。本申请对固定装置的具体表现形式不作限制。
切割装置172,机器人使用切割装置172对失火楼层的门或者窗户进行切割。具体地,切割装置172可以采用切割刀的形式。本申请对切割装置172的具体表现形式不作限制。
压力传感器173,用于感受压力信号,可以将压力信号转换成电信号。在本申请的一些实施例中,压力传感器173可以设置在固定装置171中,用于感知固定装置171是否将受困人员完全固定,当压力传感器173的压力值大于预设阈值时,认为固定装置171将受困人员完全固定,即固定装置171完成固定。
可以理解的是,本申请的技术方案也可以应用在其他需要对受困人员进行救援的场景,本申请对此不作限制。
下面将结合图1所示的场景图以及具有本申请的图2组成的机器人100为例,对本申请的技术方案做详细阐述。
图3是本申请的一些实施例提供的一例机器人实施救援方法的流程示意图。
在本申请的一些实施例中,本申请的技术方案还可以均由机器人100侧实现。
在本申请的另一些实施例中,本申请的技术方案还可以由机器人100与控制平台交互的方式实现,即控制平台通过机器人100获取失火楼层a的图像,并根据所获取的图像确定失火楼层a中的受困人员的全部数量以及每个受困人员的手腕位置和腰部的位置;然后根据所获取的图像确定全部受困人员的体型参数,并以受困人员体型参数中最大的体型参数确定机器人100对失火楼层a的门或窗户要切割的面积,以得到逃生出口;最后控制平台控制机器人100通过逃生出口对受困人员进行救援。
可选地,上述控制平台的具体表现形式可以是终端服务器、超级计算机、台式电脑、平板电脑、个人手提电脑等等能够进行数据处理和运算的设备。
在本申请实施例中,将以在机器人100侧实现本申请的技术方案为例,对本申请的技术方案进行具体说明。
示例性的,如图3所示,该方法300包括:
301:开始。
302:机器人100到达失火地点所在楼层a。
可选地,机器人100可以是根据火警报警电话前往失火楼层a所在地点。
303:机器人100通过红外摄像头14拍摄楼层a,进而确定楼层a中受困人员的全部数量。
示例性的,机器人100通过红外摄像头14拍摄失火楼层a,获得包含N个受困人员的图像(其中,N为大于或者等于1的正整数),然后机器人100利用全卷积人头检测算法(Fully-convolutional-Head-Detector,FCHD)对前述图像进行分析处理,确定失火楼层a中受困人员的数量。
可选地,机器人100可以通过红外摄像头14实时拍摄目标地点,当机器人100根据热辐射波长检测出有人形存在,就截取有人形存在的视频帧。
应理解,视频是由一系列捕获的图像(称为帧)以给定的频率显示,通过在特定帧处停止就可以可获得单个视频帧,在本申请中,视频帧的表现形式为图像。
还应理解,FCHD算法不同于其他人头检测算法,FCHD算法是结合头部检测方法与人群计数方法的一种人头检测方法,能够在高度遮挡的场景中实现准确的人头检测。
图4是本申请的一些实施例提供的一例高度遮挡场景示意图。
示例性,如图4所示,包括多名受困人员,其中,受困人员x、y、z距离很近,在图像中就呈现出高度遮挡区域G。此时,使用FCHD算法可以准确地检测出区域G中包含的三个受困人员。
在本申请的另一些实施例中,机器人100也可以使用其他人头检测算法检测受困人员的全部数量,本申请对此不作限制。
304:机器人100确定每个受困人员的体型参数。
在本申请的一些实施例中,机器人100可以根据热辐射波长检测受困人员在图像中的人形轮廓,然后根据图像中的人形轮廓确定受困人员的体型参数。
应理解,由于人体周围存在小的热辐射点,所以,机器人100根据热辐射波长检测到的人形轮廓可能比较模糊。为了使图像中的人形轮廓更清晰,机器人100可以在开源的计算机视觉库(Open Source Computer Vision Library,Open-CV)上使用高斯模糊对该图像进行处理。
图5是本申请的一些实施例提供的一例高斯模糊前后的图像对比图。
示例性的,如图5中的(a)图所示,为机器人100获取的包含人形的图像,可以看出,图像中的人形轮廓比较模糊。
如图5中的(b)图所示,为机器人100使用高斯模糊对上述图像进行处理后得到的图像,由于人体周围小的热辐点已经经过高斯模糊进行了去噪处理,所以,人形轮廓相对于图像处理前的更加清晰。
在本申请的一些实施例中,机器人100还可以根据实际情况,在Open-CV上对所获取的图像进行二值化处理(例如,使用THRESH_BINARY|THRESH_TRIANGLE对图像进行二值化处理)、形态学操作(例如,使用闭操作,对图像先进行膨胀然后进行腐蚀)等等,以得到质量更高、轮廓更清晰的图像,本申请对此不作限制。
在本申请的一些实施例中,当机器人100获取到人形轮廓清晰的图像后,可以将图像划分为p*p个网格。
然后,机器人100可以根据受困人员在图像中人形轮廓对应的网格数量,计算人形轮廓最高高度h和最长宽度w,然后最终得到人体的身高H和身宽W。
图6是本申请的一些实施例提供的一例确定受困人员体型参数示意图。
示例性的,如图6所示,人形轮廓L内的网格的最高高度为h,最长宽度为w。可以理解的是,当拍摄设备、以及焦距等摄像头参数固定时,红外摄像头14所获取的图像中的人体与实际人体之间的比例关系也是确定的。
所以,可以根据图像中人形轮廓L内的网格的最高高度h,最长宽度w最终确定人体的身高H和身宽W。
继续参考图6,在本申请的另一些实施例中,机器人100也可以只计算受困人员人体轮廓内所有网格的面积以得到受困人员人体垂直投影在门或者窗口所在平面的面积。
示例性的,如图6所示,图像中人形轮廓L内有N个网格,每个网格的面积是n*m,所以,图像中人体的面积就位N*n*m。
应理解,实际人体垂直投影在门或者窗口所在平面的面积与上述由图像中网格最高高度以及最长宽度确定人体身高H和身宽W的原理一致,此处不再赘述。
305:根据全部受困人员体型参数中最大的体型参数,利用切割装置172在楼层a门或窗户位置切割出逃生出口。
为了便于描述,下文以切割失火楼层a的门为例做详细说明。
应理解,机器人100使用切割装置172切割窗户的方式与切割门的方式是一致的。
图7是本申请的一些实施例提供的一例机器人切割目标地点门的示意图。
示例性,如图7所示,当失火楼层a无法从内部或者外部打开的时候,机器人100会通过红外摄像头14获取失火楼层a的门701所在位置,然后利用切割装置172按照上述受困人员的最高身高h以及最宽身宽w,以门701的中点702为中心对门701进行切割,以得到高度为h、宽度为w的逃生出口703。
应理解,机器人100也可以按照上述受困人员最高身高h的一半(即h/2)以及最宽身宽w对门701进行切割,以得到能够使得受困人员通过的逃生出口,本申请对此不作限制。
在本申请的一些实施例中,机器人100可以根据全部受困人员的体型参数,然后判断是否按照国际逃生出口标准对门701进行切割,例如,当全部受困人员的体型参数均满足国际逃生出口标准时候,机器人100就按照国际逃生出口标准对门701进行切割。
在本申请的另一些实施例中,受困人员的体型参数还可以包括受困人员的身体姿势,机器人100在使用切割装置172切割门701的时候,还可以考虑受困人员通过逃生出口703时的身体姿势。
示例性的,为了使受困人员能够更快、更安全的离开失火楼层a,机器人100可以通过扬声器13向受困人员发送救援指导信息,使得他们在通过逃生出口的时候,能够尽量蜷缩自己的身体,然后机器人100根据受困人员蜷缩身体时的最高高度以及最长长度确定要切割的逃生出口703的最大面积。
可以理解的是,通过这种方式切割的逃生出口的面积不会大于按照受困人员直立的身高、身长切割出来的逃生出口的面积。所以,通过这种方式,机器人100可以尽快的切割出能够使得所有受困人员都通过的逃生出口703,为受困人员争取了更多的逃生时机。
可选地,机器人100可以以门701的任意位置为中心对门701进行切割,本申请对此不做限制。
可选地,逃生出口的具体形状可以为圆形、方形等任意能够使得受困人员通过的形状,本申请对此不作限制。
在本申请的另一些实施例中,如果失火楼层a没有门/窗,那么机器人100将对失火楼层a的墙体进行切割,具体的方式与上述方式一致,此处不再赘述。
306:机器人100确定每个受困人员的手腕关节位置和髋关节位置。
在本申请的一些实施例中,机器人100基于上述图像,使用Small-OpenPose算法识别出图像中所有受困人员的骨骼,确定出每个受困人员的手腕关节所在位置以及髋关节所在位置,以此确定每个受困人员的手腕位置和腰部位置。
其中,Small-OpenPose算法是对传统的OpenPose算法的改进。
OpenPose算法的输入是一张图像,输出则是通过该算法检测到的图像中所有人体的骨骼关节位置图像。
图8是本申请的一些实施例提供的一例人体骨骼关节示意图。
示例性的,如图8所示,经过OpenPose输出后,每个人体有18个关节,包括头,两眼,两耳,鼻子,颈,两肩,两肘,两手腕,两髋,两膝盖,两脚踝。每个关节位置在OpenPose中可以用二维坐标表示,此时每个人体骨骼共有36个值。
但是,通过Small-OpenPose算法可以将图像中人体骨骼关节中的与机器人100要固定的位置无关的部分识别点以及动作(例如,抬手、摆手等动作)删去,仅识别与机器人100通过固定装置171需要固定的位置有关的部分骨骼关节点位置。进而将18个关节点降低为9关节点,包括颈,两肩,两肘,两手腕,两髋。其中,每个关节位置在OpenPose中用二维坐标表示,每个人体骨骼共有18个值。
图9是本申请的一些实施例提供的又一例人体骨骼关节示意图。
示例性的,如图9所示,需要识别的人体关节位置变成了9个,每个关节位置在图像的用二维坐标表示,因此每个人体骨骼总共有18个值。
相比OpenPose算法,Small-OpenPose算法删除了不必要的识别部分(即两个眼睛、鼻子、两个耳朵、两个膝盖、两个脚踝),从而减少了需要识别的人体关节点位置,进而提高了识别人体关节点位置的效率,以便于机器人100进行救援的时候,能够更快地对受困人员的手部和腰部进行固定。
307:机器人100将固定链171从逃生出口伸入,并利用固定链171固定受困人员的手腕位置和腰部位置,将受困人员从逃生出口救出。
在本申请的一些实施例中,为了防止受困人员因为惊慌而发生挣扎,机器人100可以使用固定链171先对受困人员的腰部进行固定,之后再对受困人员的手腕进行固定。
可选地,机器人100可以根据其压力传感器173感知受困人员是否完全固定。只有当受困人员完全被固定,机器人100才会通过固定链171将受困人员从逃生出口救出,并放置在地面。其中,当压力传感器173的压力值超过预设阈值的时候,则认为固定链171对受困人员完全固定。其中,预设阈值可以由控制平台根据实际情况进行设置,本申请对此不作限制。
在本申请的一些实施例中,如果失火楼层a外面设置有逃生梯或者阳台之类的平台,那么,机器人100在使用切割装置172切割开逃生出口后,也可以通过扬声器13向受困人员发送救援指导信息,使得受困人员从先从逃生出口爬出至逃生梯或者阳台等平台上,然后再使用固定链171对受困人员进行固定,从而使得机器人100能够在相对宽阔的平台对受困人员进行固定。而且,受困人员按照救援指导信息依次爬出逃生出口,也能够使得救援工作更有秩序的展开。
在本申请的另一些实施例中,机器人100可以先通过红外摄像头14确定失火楼层a的中受困人员的身体状况,然后优先对身体状态差的受困人员进行固定并救援。
示例性的,如果受困人员中有人处于昏迷状态或者受伤等无法自主移动的状态,那么机器人100可以通过固定链171先对此类受困人员进行固定,以将其通过逃生出口优先带离失火楼层a。
示例性的,机器人100也可以通过扬声器13向在场的其他受困人员喊话,以使得其他受困人员能够协助机器人100固定处于昏迷状态等无法自主移动的人。机器人100也可以直接对处于昏迷状态等无法自主移动的受困人员通过固定链171进行固定,具体方式与上述方式一致,此处不再赘述。
通过上述方法,机器人100可以充分考虑受困人员的身体状况,分出救援的轻重缓急,进而对受困人员实施更有效的救援。
结束:308。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
在本申请的一些实施例中,机器人100也可以根据控制中心人员的情报信息预先获取受困人员的数量以及体型参数,此时,方法300中可以省略步骤303至306,即在机器人100上实现步骤301、302、307、308即可。
例如,控制平台工作人员接到火警报警信息后,将根据报警信息得知的受困人员数量以及体型参数都输入至机器人100,然后机器人100根据已知的受困人员数量以及体型参数对受困人员进行救援,具体救援方式与上述方式一致,此处不再赘述。
在本申请的另一些实施例中,机器人100也可以利用Small-OpenPose识别出受困人员关节点位置,然后直接根据受困人员关节点位置确定受困人员的体型参数。
示例性的,机器人100可以基于Small-OpenPose识别出来的受困人员的颈部关节位置以及两肩关节位置,确定受困人员的人形身高(颈部关节位置+预设高度)以及身宽,然后利用切割装置172对失火楼层a的门或者窗口进行切割。其中,预设高度可以是根据大数据采集的成年人的标准头长。本申请对此不作限制。
本申请提供的技术方案,能够在高层建筑物失火时,消防云梯高度不够或者消防人员无法安全抵达失火楼层对受困人员进行救援的时候,通过机器人100对困在失火楼层的受困人员进行有效救援;除此之外,在其他救援人员无法及时到达或者通过救援人员无法展开有效救援的场景中,本申请的技术方案也可以通过类似的方式对待救援人员进行有效的救援。通过本申请的方法,不仅能够对待救援人员进行及时、有效地救援,而且保障了救援人员的安全。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品,当计算机程序产品在移动终端上运行时,使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/网络设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/网络设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (9)

1.一种救援方法,其特征在于,应用于机器人,所述机器人包括红外摄像头、固定装置,所述方法包括:
通过所述红外摄像头获取目标地点的N个待救援人员的图像;
基于所述图像确定所述N个待救援人员中每个待救援人员的手腕位置和腰部位置;
利用所述固定装置,对所述每个待救援人员的手腕位置和腰部位置进行固定;
将固定好的所述待救援人员带离所述目标地点。
2.如权利要求1所述的方法,其特征在于,所述基于所述图像确定所述N个待救援人员中每个待救援人员的手腕位置和腰部位置,包括:
基于所述图像,利用人头检测算法确定所述待救援人员的数量N。
3.如权利要求1或2所述的方法,其特征在于,所述机器人还包括切割装置,所述方法还包括:
基于所述图像,确定所述N个待救援人员的体型参数;
基于所述体型参数,通过所述切割装置切割所述目标地点的门或窗户以得到逃生出口,所述逃生出口能够使所述N个待救援人员中每一个待救援人员通过。
4.如权利要求1或2所述的方法,其特征在于,所述方法还包括:
基于所述图像,判断所述一个或多个待救援人员的身体状况;
基于所述身体状况,判断所述一个或多个待救援人员中是否存在处于无法自由移动状态的人员;
当所述一个或多个待救援人员中存在处于无法自由移动状态的人员时,所述机器人优先对所述处于无法自由移动状态的人员进行救援。
5.如权利要求1或2所述的方法,其特征在于,所述机器人还包括扬声器,所述方法还包括:
通过所述扬声器发送救援指导信息。
6.如权利要求1或2所述的方法,其特征在于,所述通过所述红外摄像头获取目标地点一个或多个待救援人员的图像的方式包括:
所述机器人接收其他电子设备发送的指令,所述指令用于指示所述机器人获取所述图像;
所述机器人根据所述指令通过所述红外摄像头获取所述图像。
7.如权利要求1或2所述的方法,其特征在于,所述机器人还包括至少一个压力传感器,所述压力传感器用于检测所述固定装置与所述待救援人员的手腕位置以及腰部位置接触时的压力值;以及,所述方法还包括:
获取所述压力值;
当所述压力值大于或者等于预设阈值的时候,确定所述固定装置完成固定。
8.一种救援装置,其特征在于,包括:
一个或多个处理器;
一个或多个存储器;
多个应用程序;以及一个多个程序,其中所述一个或多个程序被存储在所述存储器中,当所述一个或者多个程序被所述处理器执行时,使得所述装置执行如权利要求1至7任一项所述的方法。
9.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
CN202011418700.4A 2020-12-07 2020-12-07 救援方法、装置及计算机可读存储介质 Active CN113139418B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011418700.4A CN113139418B (zh) 2020-12-07 2020-12-07 救援方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011418700.4A CN113139418B (zh) 2020-12-07 2020-12-07 救援方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113139418A true CN113139418A (zh) 2021-07-20
CN113139418B CN113139418B (zh) 2024-08-13

Family

ID=76809822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011418700.4A Active CN113139418B (zh) 2020-12-07 2020-12-07 救援方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113139418B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706330A (zh) * 2021-09-11 2021-11-26 杭州宏欣安全科技有限公司 一种生产线安全管理方法、系统、装置及存储介质
CN113933871A (zh) * 2021-10-15 2022-01-14 贵州师范学院 基于无人机和北斗定位的洪水灾情检测系统

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102553100A (zh) * 2010-12-07 2012-07-11 南通市振华钢绳有限公司 窄井救生器
CN107050708A (zh) * 2017-04-24 2017-08-18 苏州奇控机器人科技有限公司 一种消防救援机器人
CN207311822U (zh) * 2017-09-12 2018-05-04 西安科技大学 一种用于高层建筑灭火救援的无人机装置
CN108434622A (zh) * 2018-04-03 2018-08-24 沈阳朗峰科技有限公司 一种具有自动远程破窗装置的机器人
CN207972805U (zh) * 2017-12-30 2018-10-16 河北工程大学 高层救援多轴无人机
CN109144062A (zh) * 2018-08-22 2019-01-04 佛山科学技术学院 一种危险救援机器人路径规划方法
CN208468399U (zh) * 2018-05-19 2019-02-05 南安墨潇工业产品设计有限公司 一种自适应地形的救援机器人
CN109866920A (zh) * 2017-12-01 2019-06-11 时可文 一种能载人的无人机
CN109909987A (zh) * 2019-03-29 2019-06-21 长安大学 一种基于定位与成像技术的救援机器蛇及其工作方法
CN110193153A (zh) * 2019-06-03 2019-09-03 河南大域航空科技有限公司 一种基于无人机的野外火灾救援辅助装置
CN110749324A (zh) * 2019-10-28 2020-02-04 深圳市赛为智能股份有限公司 无人机救援定位方法、装置、计算机设备及存储介质
CN111091046A (zh) * 2019-10-28 2020-05-01 北京灵鹦科技有限公司 一种基于机器视觉的用户不良坐姿矫正系统
KR20200047128A (ko) * 2018-10-26 2020-05-07 국방과학연구소 부상자 분류 방법 및 그 방법을 수행하는 구조 로봇
KR20200094915A (ko) * 2019-01-31 2020-08-10 한국기술교육대학교 산학협력단 운동 자세 교정 시스템 및 이를 이용한 교정 방법
CN211751883U (zh) * 2019-09-03 2020-10-27 中重开诚(重庆)机器人有限公司 一种消防机器人用破除装置

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102553100A (zh) * 2010-12-07 2012-07-11 南通市振华钢绳有限公司 窄井救生器
CN107050708A (zh) * 2017-04-24 2017-08-18 苏州奇控机器人科技有限公司 一种消防救援机器人
CN207311822U (zh) * 2017-09-12 2018-05-04 西安科技大学 一种用于高层建筑灭火救援的无人机装置
CN109866920A (zh) * 2017-12-01 2019-06-11 时可文 一种能载人的无人机
CN207972805U (zh) * 2017-12-30 2018-10-16 河北工程大学 高层救援多轴无人机
CN108434622A (zh) * 2018-04-03 2018-08-24 沈阳朗峰科技有限公司 一种具有自动远程破窗装置的机器人
CN208468399U (zh) * 2018-05-19 2019-02-05 南安墨潇工业产品设计有限公司 一种自适应地形的救援机器人
CN109144062A (zh) * 2018-08-22 2019-01-04 佛山科学技术学院 一种危险救援机器人路径规划方法
KR20200047128A (ko) * 2018-10-26 2020-05-07 국방과학연구소 부상자 분류 방법 및 그 방법을 수행하는 구조 로봇
KR20200094915A (ko) * 2019-01-31 2020-08-10 한국기술교육대학교 산학협력단 운동 자세 교정 시스템 및 이를 이용한 교정 방법
CN109909987A (zh) * 2019-03-29 2019-06-21 长安大学 一种基于定位与成像技术的救援机器蛇及其工作方法
CN110193153A (zh) * 2019-06-03 2019-09-03 河南大域航空科技有限公司 一种基于无人机的野外火灾救援辅助装置
CN211751883U (zh) * 2019-09-03 2020-10-27 中重开诚(重庆)机器人有限公司 一种消防机器人用破除装置
CN110749324A (zh) * 2019-10-28 2020-02-04 深圳市赛为智能股份有限公司 无人机救援定位方法、装置、计算机设备及存储介质
CN111091046A (zh) * 2019-10-28 2020-05-01 北京灵鹦科技有限公司 一种基于机器视觉的用户不良坐姿矫正系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706330A (zh) * 2021-09-11 2021-11-26 杭州宏欣安全科技有限公司 一种生产线安全管理方法、系统、装置及存储介质
CN113933871A (zh) * 2021-10-15 2022-01-14 贵州师范学院 基于无人机和北斗定位的洪水灾情检测系统

Also Published As

Publication number Publication date
CN113139418B (zh) 2024-08-13

Similar Documents

Publication Publication Date Title
CN110210323B (zh) 一种基于机器视觉的溺水行为在线识别方法
CN109819208B (zh) 一种基于人工智能动态监控的密集人群安防监控管理方法
Yadav Deep learning based safe social distancing and face mask detection in public areas for covid-19 safety guidelines adherence
KR102260120B1 (ko) 딥러닝기반 행동인식장치 및 그 장치의 구동방법
CN112085010B (zh) 一种基于图像识别的口罩检测和部署系统及方法
CN105913604B (zh) 基于无人机的火灾发生测定方法及其装置
CN113139418B (zh) 救援方法、装置及计算机可读存储介质
CN111144263A (zh) 一种建筑工人高坠事故预警方法及装置
CN111564224A (zh) 一种具有健康监测的智能监控系统及其实现方法
Shoaib et al. View-invariant fall detection for elderly in real home environment
CN108840192A (zh) 一种电梯的监控方法、装置、电子设备及存储介质
Alshbatat et al. Automated vision-based surveillance system to detect drowning incidents in swimming pools
CN111242004A (zh) 一种基于电梯监控数据处理的自动告警方法及系统
US20230196895A1 (en) Method for monitoring state of wearing safety protective equipment and server for providing the method
JP2019532387A (ja) 電子ゲート環境のための乳幼児検出
JP2020093890A (ja) クレーン作業監視システム、クレーン作業監視方法、危険状態判定装置、及びプログラム
CN114299106A (zh) 一种基于视觉传感与轨迹预测的高空抛物预警系统及方法
CN107503792A (zh) 一种机器人救生方法及系统
CN114677703A (zh) 隐私保护的口罩合规性水平测量的系统和方法
Handalage et al. Computer vision enabled drowning detection system
CN114155492A (zh) 高空作业安全带挂绳高挂低用识别方法、装置和电子设备
CN114894253A (zh) 一种应急视觉智能增强方法、系统及设备
CN111427354A (zh) 一种基于Kinect的安防巡检AGV小车
CN113705357A (zh) 基于摄像机识别电动车的方法及系统、设备及存储介质
JP2021135646A (ja) 異常行動検知方法、異常行動検知プログラム及び異常行動検知装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant