CN105718903A - 一种无人机救援系统及其救援方法 - Google Patents

一种无人机救援系统及其救援方法 Download PDF

Info

Publication number
CN105718903A
CN105718903A CN201610047601.7A CN201610047601A CN105718903A CN 105718903 A CN105718903 A CN 105718903A CN 201610047601 A CN201610047601 A CN 201610047601A CN 105718903 A CN105718903 A CN 105718903A
Authority
CN
China
Prior art keywords
scene
rescue
target scene
submodule
judged
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610047601.7A
Other languages
English (en)
Other versions
CN105718903B (zh
Inventor
杨余久
张如意
邵航
黄旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Weilai Media Technology Research Institute
Shenzhen Graduate School Tsinghua University
Original Assignee
Shenzhen Weilai Media Technology Research Institute
Shenzhen Graduate School Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Weilai Media Technology Research Institute, Shenzhen Graduate School Tsinghua University filed Critical Shenzhen Weilai Media Technology Research Institute
Priority to CN201610047601.7A priority Critical patent/CN105718903B/zh
Publication of CN105718903A publication Critical patent/CN105718903A/zh
Application granted granted Critical
Publication of CN105718903B publication Critical patent/CN105718903B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/173Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开无人机救援系统及其救援方法,系统包括无人机、用于采集现场视频的环境信息采集模块、救援执行模块、控制处理模块和救援方案存储模块;控制处理模块包括用于从采集的现场视频中通过二次级联模型进行图像场景识别以搜索伤员的场景识别单元、从救援方案存储模块中寻找与场景判断结果匹配的救援方案的匹配单元以及控制救援执行模块对伤员进行救助的控制单元。救援方法包括对前述救援系统的各个模块进行控制的步骤。本发明能够自主、快速、准确、高效地进行受难场景识别,即搜寻伤员,并给予相应的医疗救助。

Description

一种无人机救援系统及其救援方法
技术领域
本发明涉及无人机技术领域,尤其涉及一种应用于受伤急救场景下的无人机救援系统及其救援方法。
背景技术
无人机经过了几十年的发展历程,从技术角度看已经比较成熟。其优点是成本低,具有高度灵活性,能够携带一些重要的设备从空中完成特殊任务,比如空中检测,空中监视,空中传信,空中喊话,紧急救援等;在执行特殊任务时,一般不会造成人员伤亡,生存能力强,机动性能好,实用方便,在处理自然灾害、事故灾难以及社会安全事件等方面能发挥出重要作用。
然而,为了让无人机更加智能,减少其使用难度,提高其工作效率,越来越多的传感器和处理芯片被搭载在无人机上面,以使其功能更加完善,更加智能地完成特殊任务。其中,无人机搭载摄像头传感器,由于计算机视觉理论和工程应用方面的发展,为无人机的智能化,提供一条十分宽广的发展道路,并且在更多特殊任务中发挥越来越大的作用。
特别地,在受伤场景,紧急医疗救助在医学认为伤后1小时是挽救生命、减少致残的“黄金时间”。在我国大部分地区,由于通讯和运输工具落后,同时因为受伤事故导致交通拥挤,严重影响医生到现场救助的时间,尤其在山区和交通拥挤市区,使得现场人力救治需要2小时以上的反应时间,即使救护车出车也会因为交通拥挤或者其他因素无法让医生在第一时间赶到第一现场提供医学救助,从而错失救治良机,因此快速的急救反应可以提高抢救成功率。
无人机救援系统能够克服交通不便、通讯落后的不利因素,在救援黄金时间内到达受伤急救现场,提供一定的紧急救援,提高抢救成功率。目前存在一些无人机救援系统,需要处于指挥中心的工作人员远程控制来执行,实现过程大致是:工作人员控制无人机进入受伤现场,并控制无人机飞行拍摄现场画面,然后在指挥中心实时跟踪观看无人机传回的拍摄画面,从中寻找受伤人员,找到受伤人员后再远程给予医疗帮助。目前的这种无人机救援存在以下一些缺陷:1)无人机的整个工作需要工作人员参与和控制,当受伤现场较大需要多台无人机参与救援时,则相应地需要多个工作人员来参与,不方便统筹管理,浪费人力;2)通过工作人员实时跟踪观看现场画面来寻找受伤人员,效率低下,且找到受伤人员之后无法立即定位以使无人机迅速飞到受伤人员附近,使得受伤人员得到救助的时间大大延长。
发明内容
本发明的主要目的在于克服上述现有技术的不足,提出一种无人机救援系统,其能够自主、快速、准确地进行目标场景识别以搜索伤员并给予医疗救助,整个过程中无需过多的人为干预,当有多台无人机参与救援时也无需增加工作人员,尤其突显其高效性,能够达到高效、及时救援的目的。
本发明提供的无人机救援系统如下:
一种无人机救援系统,包括:无人机,搭载于无人机上的环境信息采集模块、救援执行模块,以及搭载于无人机上或处于远程控制中心的控制处理模块和救援方案存储模块;
所述环境信息采集模块用于实时采集受伤现场的视频流;
所述控制处理模块包括场景识别单元、匹配单元和控制单元;
所述场景识别单元连接至所述环境信息采集模块,用于接收所述视频流并采用二次级联模型对当前接收到的视频流进行目标场景识别以从该视频流中搜索伤员;其中所述二次级联模型分为第一级单视角场景识别阶段和第二级多视角场景识别阶段,在所述单视角场景识别阶段获取疑似目标场景,在所述多视角场景识别阶段对所述疑似目标场景进行多视角投票判决,以判断是否为所述目标场景,并将场景判断结果发送至所述匹配单元;
所述匹配单元连接至所述救援方案存储模块以及所述控制单元,用于根据所述场景判断结果从所述救援方案存储模块中匹配与所述场景判断结果相对应的救援方案,并将匹配结果反馈至所述控制单元;
所述控制单元连接至所述救援执行模块,根据所述匹配结果控制所述救援执行模块给予伤员医疗救助,其中,若匹配结果为:存在与所述场景判断结果相对应的救援方案,则所述医疗救助为通过播放视频来向伤员展示相对应的救援方案并投递急救物资;若匹配结果为:不存在与所述场景判断结果相对应的救援方案,则所述医疗救助为通过救护人员远程指导伤员进行自救。
本发明提供的上述无人机救援系统,通过控制处理模块对实时采集的受伤现场视频进行处理,尤其是通过所述二次级联模型对当前采集的视频流进行目标场景识别,自主搜索伤员,无需通过人工观看视频来寻找,能够高效、准确地搜索到伤员,尤其是当有多台无人机进入现场参与救援时,本发明的上述搜索伤员的方法更加能够突显其高效的优势;同时,通过匹配单元可以从救援方案数据库中搜寻是否存在与当前场景判断结果相对应的救援方案,如果找到适配的救援方案,则会将救援方案发送至控制单元,以控制救援执行模块按照该适配的救援方案来执行对伤员的救助,反之,则会告知控制单元不存在与当前场景判断结果相适配的救援方案,此种情况则会连接到远程请求医护人员的远程指导。整个过程无需通过无人机操作人员进行太多干预,不但节省了人力,更重要的是提高了效率,很大程度上避免了耽搁救援时间的情况发生。
所述场景识别单元包括用于实现所述二次级联模型的以下子模块:
第一特征提取子模块:对视频流每帧图像进行去噪和外观特征的提取;
第一识别子模块:作为一级分类识别器,以第一特征提取子模块提取到的外观特征为输入,计算当前所拍摄的图片场景为所述目标场景的置信度;
置信度判断子模块:判断所述置信度是否大于第一阈值,若否,则控制无人机进行受伤现场其他区域的视频流采集;若是,则将置信度大于所述第一阈值的图像场景记为所述疑似目标场景;
视角控制子模块:控制无人机对所述疑似目标场景进行多视角拍摄,以获取所述疑似目标场景的多个视角图像;
第二特征提取子模块:对所述疑似目标场景的多个视角图像分别进行外观特征的提取;
第二识别子模块:包括多个二级分类识别器,以第二特征提取子模块从所述疑似目标场景的多个视角图像中分别提取到的多个外观特征作为各二级分类识别器的输入,得到多个不同视角的分类器场景识别结果;
投票判断子模块:将第二识别子模块得到的多个分类器场景识别结果进行统计,若判断为目标场景的个数比判断为非目标场景的个数多,则将所述疑似目标场景确定为目标场景;若判断为目标场景的个数比判断为非目标场景的个数少,则将所述疑似目标场景判断为非目标场景;
其中,第一特征提取子模块、第一识别子模块以及置信度判断子模块用于所述单视角图像场景识别阶段,第二特征提取子模块、第二识别子模块以及投票判断子模块用于所述多视角图像场景识别阶段。
上述技术方案提供的二次级联模型,在单视角场景识别阶段通过第一特征提取子模块、第一识别子模块以及置信度判断子模块高效过滤掉肯定不是人的区域(即场景),获得所述疑似目标场景;然后再在多视角场景识别阶段通过第二特征提取子模块、第二识别子模块以及投票判决子模块,对所述疑似目标场景的多视角图像进行处理,投票统计而产生场景识别结果来最终判定是否为目标场景,从而确定是否为伤员。从接收到视频流到确定伤员的过程完全通过计算机视觉和图像处理,无需人为干预,能够快速、准确地搜索到伤员。
更进一步地,所述救援执行模块包括医疗救助播放单元以及物资运输机构,所述医疗救助播放单元用于向伤员播放视频,所述物资运输机构用于向伤员投递急救物资。
另,本发明还提供了前述无人机救援系统的救援方法,包括以下控制步骤:
S1、控制所述环境信息采集模块实时采集受伤现场的视频流并发送至所述场景识别单元;
S2、控制所述场景识别单元采用所述二次级联模型对当前接收到的视频流进行目标场景识别以从该视频流中搜索伤员;其中所述二次级联模型分为第一级单视角场景识别阶段和第二级多视角场景识别阶段,在所述单视角场景识别阶段获取疑似目标场景,在所述多视角场景识别阶段对所述疑似目标场景进行多视角投票判决,以判断是否为所述目标场景,并将场景判断结果发送至所述匹配单元;
S3、控制所述场景识别单元将所述场景判断结果反馈给所述匹配单元;
S4、控制所述匹配单元从所述救援方案存储模块中匹配与所述场景判断结果相对应的救援方案,并将匹配结果反馈至所述控制单元;
S5、根据所述匹配结果,控制所述救援执行模块给予伤员医疗救助,其中,若匹配结果为:存在与所述场景判断结果相对应的救援方案,则所述医疗救助为通过播放视频来向伤员展示相对应的救援方案并投递急救物资;若匹配结果为:不存在与所述场景判断结果相对应的救援方案,则所述医疗救助为通过救护人员远程指导伤员进行自救。
更进一步地,前述步骤S2中采用二次级联模型进行目标场景识别的过程具体包括以下步骤A1~A7:
A1、对视频流每帧图像进行去噪和外观特征的提取;
A2、将步骤A1得到的外观特征输入一级分类识别器,计算当前所拍摄的图片场景为所述目标场景的置信度;
A3、判断所述置信度是否大于第一阈值,若否,则控制无人机进行受伤现场其他区域的视频流采集;若是,则将置信度大于所述第一阈值的图像场景记为所述疑似目标场景;
A4、控制无人机对所述疑似目标场景进行多视角拍摄,以获取所述疑似目标场景的多个视角图像;
A5、对所述疑似目标场景的多个视角图像分别进行外观特征的提取;
A6、提供多个二级分类识别器,将步骤A5中从所述疑似目标场景的多个视角图像中分别提取到的多个外观特征分别输入各二级分类识别器,得到多个不同视角的分类器场景识别结果;
A7、将第二识别子模块得到的多个分类器场景识别结果进行统计,若判断为目标场景的个数比判断为非目标场景的个数多,则将所述疑似目标场景确定为目标场景;若判断为目标场景的个数比判断为非目标场景的个数少,则将所述疑似目标场景判断为非目标场景。
更进一步地,通过视角控制子模块控制所述环境信息采集模块从多个视角拍摄所述疑似目标场景,以获取所述疑目标场景的多个视角图像;并且,通过多个二级分类识别器进行投票统计而产生场景识别结果的方式来最终判定是否为目标场景。
附图说明
图1是本发明具体实施方式提供的一种无人机救援系统的架构图;
图2是本发明的无人机救援系统采用二次级联模型搜索伤员的流程图。
具体实施方式
下面结合附图和具体的实施方式对本发明作进一步说明。
本发明的具体实施方式提供一种无人机救援系统,其系统架构可参考图1,该系统包括:无人机(图中未示)、环境信息采集模块、救援执行模块、控制处理模块和救援方案存储模块,其中环境信息采集模块和救援执行模块搭载于无人机上,控制处理模块和救援方案存储模块可以搭载于无人机上,也可以处于远程控制中心例如地面中心指挥站。所述环境信息采集模块用于实时采集受伤现场的视频流。所述控制处理模块包括场景识别单元、匹配单元和控制单元,其中:所述场景识别单元连接至所述环境信息采集模块,用于接收所述视频流并采用二次级联模型对当前接收到的视频流进行目标场景识别以从该视频流中搜索伤员;其中所述二次级联模型分为第一级单视角场景识别阶段和第二级多视角场景识别阶段,在所述单视角场景识别阶段获取疑似目标场景,在所述多视角场景识别阶段对所述疑似目标场景进行多视角投票判决,以判断是否为所述目标场景,并将场景判断结果发送至所述匹配单元。所述匹配单元连接至所述救援方案存储模块以及所述控制单元,用于根据所述场景判断结果从所述救援方案存储模块中匹配与所述场景判断结果相对应的救援方案,并将匹配结果反馈至所述控制单元。所述控制单元连接至所述救援执行模块,根据所述匹配结果控制所述救援执行模块给予伤员医疗救助,其中,若匹配结果为:存在与所述场景判断结果相对应的救援方案,则所述医疗救助为通过播放视频来向伤员展示相对应的救援方案并投递急救物资;若匹配结果为:不存在与所述场景判断结果相对应的救援方案,则所述医疗救助为通过救护人员远程指导伤员进行自救。
在一种具体的实施例中,所述场景识别单元包括用于实现所述二次级联模型的以下子模块:
第一特征提取子模块:对视频流每帧图像进行去噪和外观特征的提取。去噪处理例如是通过标准化gamma空间和颜色空间以及白平衡来进行光照和摄像头本身的噪声去除。
第一识别子模块:作为一级分类识别器,以第一特征提取子模块提取到的外观特征为输入,计算当前所拍摄的图片场景为所述目标场景的置信度。
置信度判断子模块:判断所述置信度是否大于第一阈值,若否,则控制无人机进行受伤现场其他区域的视频流采集;若是,则将置信度大于所述第一阈值的图像场景记为所述疑似目标场景。
视角控制子模块:控制无人机对所述疑似目标场景进行多视角拍摄,以获取所述疑似目标场景的多个视角图像。
第二特征提取子模块:对所述疑似目标场景的多个视角图像分别进行外观特征的提取。例如,分别对视角一、视角二、视角三……的图像进行外观特征提取。
第二识别子模块:包括多个二级分类识别器,以第二特征提取子模块从所述疑似目标场景的多个视角图像中分别提取到的多个外观特征作为各二级分类识别器的输入,得到多个不同视角的分类器场景识别结果。参考图2,具体的说,对视角一的图像进行外观特征提取得到视图一特征,对对视角二的图像进行外观特征提取得到视图二特征,以此类推,得到对应的N个不同的外观特征,分别输入到N个二级分类识别器中,得到多个不同视角的分类器场景识别结果。
投票判断子模块:将第二识别子模块得到的多个分类器场景识别结果进行统计,若判断为目标场景的个数比判断为非目标场景的个数多,则将所述疑似目标场景确定为目标场景;若判断为目标场景的个数比判断为非目标场景的个数少,则将所述疑似目标场景判断为非目标场景。
上述子模块中,第一特征提取子模块、第一识别子模块以及置信度判断子模块用于所述单视角图像场景识别阶段,第二特征提取子模块、第二识别子模块以及投票判断子模块用于所述多视角图像场景识别阶段。
在一种具体的实施例中,所述救援执行模块包括医疗救助播放单元以及物资运输机构,所述医疗救助播放单元用于向伤员播放视频,所述物资运输机构用于向伤员投递急救物资。
本发明另一具体实施方式提供了前述无人机救援系统的救援方法,包括以下控制步骤:
S1、控制所述环境信息采集模块实时采集受伤现场的视频流并发送至所述场景识别单元;
S2、控制所述场景识别单元采用所述二次级联模型对当前接收到的视频流进行目标场景识别以从该视频流中搜索伤员;其中所述二次级联模型分为第一级单视角场景识别阶段和第二级多视角场景识别阶段,在所述单视角场景识别阶段获取疑似目标场景,在所述多视角场景识别阶段对所述疑似目标场景进行多视角投票判决,以判断是否为所述目标场景,并将场景判断结果发送至所述匹配单元;
S3、控制所述场景识别单元将所述场景判断结果反馈给所述匹配单元;
S4、控制所述匹配单元从所述救援方案存储模块中匹配与所述场景判断结果相对应的救援方案,并将匹配结果反馈至所述控制单元;
S5、根据所述匹配结果,控制所述救援执行模块给予伤员医疗救助,其中,若匹配结果为:存在与所述场景判断结果相对应的救援方案,则所述医疗救助为通过播放视频来向伤员展示相对应的救援方案并投递急救物资;若匹配结果为:不存在与所述场景判断结果相对应的救援方案,则所述医疗救助为通过救护人员远程指导伤员进行自救。
参考图2,所述步骤S2中采用二次级联模型进行目标场景识别的过程具体包括以下步骤A1~A7:
A1、对视频流每帧图像进行去噪和外观特征的提取;
A2、将步骤A1得到的外观特征输入一级分类识别器,计算当前所拍摄的图片场景为所述目标场景的置信度;
A3、判断所述置信度是否大于第一阈值,若否,则控制无人机进行受伤现场其他区域的视频流采集;若是,则将置信度大于所述第一阈值的图像场景记为所述疑似目标场景;
A4、控制无人机对所述疑似目标场景进行多视角拍摄,以获取所述疑似目标场景的多个视角图像;
A5、对所述疑似目标场景的多个视角图像分别进行外观特征的提取;
A6、提供多个二级分类识别器,将步骤A5中从所述疑似目标场景的多个视角图像中分别提取到的多个外观特征分别输入各二级分类识别器,得到多个不同视角的分类器场景识别结果。例如,对视角一的图像进行外观特征提取得到视图一特征,对对视角二的图像进行外观特征提取得到视图二特征,以此类推,得到对应的N个不同的外观特征,分别输入到N个二级分类识别器中,得到N个不同视角的分类器场景识别结果。
A7、将第二识别子模块得到的多个分类器场景识别结果进行统计,若判断为目标场景的个数比判断为非目标场景的个数多,则将所述疑似目标场景确定为目标场景;若判断为目标场景的个数比判断为非目标场景的个数少,则将所述疑似目标场景判断为非目标场景。例如,将上述步骤A6得到的N个分类器场景识别结果进行投票统计判决,若判断为目标场景的分类器场景识别结果的个数大于N/2,即判断为目标场景的个数比判断为非目标场景的个数多,则将所述疑似目标场景判定为目标场景,否则,则将所述疑似目标场景判断为非目标场景,然后控制无人机飞往受伤现场的其他区域进行视频流采集,将采集的到视频流采用前述步骤进行处理,以此类推。
前述提到的一级分类识别器和二级分类识别器可以采用已知的SVM分类器、神经网络等来实现;另,外观特征的提取可以采用HOG(方向梯度直方图)、LBP(局部二值模式)等已知的图像特征提取算法来实现。在此均不再赘述。
上述方法步骤中,通过视角控制子模块控制所述环境信息采集模块从多个视角拍摄所述疑似目标场景,以获取所述疑目标场景的多个视角图像;并且,通过多个二级分类识别器进行投票统计而产生场景识别结果的方式来最终判定是否为目标场景。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说,在不脱离本发明构思的前提下,还可以做出若干等同替代或明显变型,而且性能或用途相同,都应当视为属于本发明的保护范围。

Claims (6)

1.一种无人机救援系统,其特征在于,包括:无人机,搭载于无人机上的环境信息采集模块、救援执行模块,以及搭载于无人机上或处于远程控制中心的控制处理模块和救援方案存储模块;
所述环境信息采集模块用于实时采集受伤现场的视频流;
所述控制处理模块包括场景识别单元、匹配单元和控制单元;
所述场景识别单元连接至所述环境信息采集模块,用于接收所述视频流并采用二次级联模型对当前接收到的视频流进行目标场景识别以从该视频流中搜索伤员;其中所述二次级联模型分为第一级单视角场景识别阶段和第二级多视角场景识别阶段,在所述单视角场景识别阶段获取疑似目标场景,在所述多视角场景识别阶段对所述疑似目标场景进行多视角投票判决,以判断是否为所述目标场景,并将场景判断结果发送至所述匹配单元;
所述匹配单元连接至所述救援方案存储模块以及所述控制单元,用于根据所述场景判断结果从所述救援方案存储模块中匹配与所述场景判断结果相对应的救援方案,并将匹配结果反馈至所述控制单元;
所述控制单元连接至所述救援执行模块,根据所述匹配结果控制所述救援执行模块给予伤员医疗救助,其中,若匹配结果为:存在与所述场景判断结果相对应的救援方案,则所述医疗救助为通过播放视频来向伤员展示相对应的救援方案并投递急救物资;若匹配结果为:不存在与所述场景判断结果相对应的救援方案,则所述医疗救助为通过救护人员远程指导伤员进行自救。
2.如权利要求1所述的无人机救援系统,其特征在于:所述场景识别单元包括用于实现所述二次级联模型的以下子模块:
第一特征提取子模块:对视频流每帧图像进行去噪和外观特征的提取;
第一识别子模块:作为一级分类识别器,以第一特征提取子模块提取到的外观特征为输入,计算当前所拍摄的图片场景为所述目标场景的置信度;
置信度判断子模块:判断所述置信度是否大于第一阈值,若否,则控制无人机进行受伤现场其他区域的视频流采集;若是,则将置信度大于所述第一阈值的图像场景记为所述疑似目标场景;
视角控制子模块:控制无人机对所述疑似目标场景进行多视角拍摄,以获取所述疑似目标场景的多个视角图像;
第二特征提取子模块:对所述疑似目标场景的多个视角图像分别进行外观特征的提取;
第二识别子模块:包括多个二级分类识别器,以第二特征提取子模块从所述疑似目标场景的多个视角图像中分别提取到的多个外观特征作为各二级分类识别器的输入,得到多个不同视角的分类器场景识别结果;
投票判断子模块:将第二识别子模块得到的多个分类器场景识别结果进行统计,若判断为目标场景的个数比判断为非目标场景的个数多,则将所述疑似目标场景确定为目标场景;若判断为目标场景的个数比判断为非目标场景的个数少,则将所述疑似目标场景判断为非目标场景;
其中,第一特征提取子模块、第一识别子模块以及置信度判断子模块用于所述单视角图像场景识别阶段,第二特征提取子模块、第二识别子模块以及投票判断子模块用于所述多视角图像场景识别阶段。
3.如权利要求1所述的无人机救援系统,其特征在于:所述救援执行模块包括医疗救助播放单元以及物资运输机构,所述医疗救助播放单元用于向伤员播放视频,所述物资运输机构用于向伤员投递急救物资。
4.如权利要求1所述的无人机救援系统的救援方法,其特征在于,包括以下控制步骤:
S1、控制所述环境信息采集模块实时采集受伤现场的视频流并发送至所述场景识别单元;
S2、控制所述场景识别单元采用所述二次级联模型对当前接收到的视频流进行目标场景识别以从该视频流中搜索伤员;其中所述二次级联模型分为第一级单视角场景识别阶段和第二级多视角场景识别阶段,在所述单视角场景识别阶段获取疑似目标场景,在所述多视角场景识别阶段对所述疑似目标场景进行多视角投票判决,以判断是否为所述目标场景,并将场景判断结果发送至所述匹配单元;
S3、控制所述场景识别单元将所述场景判断结果反馈给所述匹配单元;
S4、控制所述匹配单元从所述救援方案存储模块中匹配与所述场景判断结果相对应的救援方案,并将匹配结果反馈至所述控制单元;
S5、根据所述匹配结果,控制所述救援执行模块给予伤员医疗救助,其中,若匹配结果为:存在与所述场景判断结果相对应的救援方案,则所述医疗救助为通过播放视频来向伤员展示相对应的救援方案并投递急救物资;若匹配结果为:不存在与所述场景判断结果相对应的救援方案,则所述医疗救助为通过救护人员远程指导伤员进行自救。
5.如权利要求4所述的救援方法,其特征在于:所述步骤S2中采用二次级联模型进行目标场景识别的过程具体包括以下步骤A1~A7:
A1、对视频流每帧图像进行去噪和外观特征的提取;
A2、将步骤A1得到的外观特征输入一级分类识别器,计算当前所拍摄的图片场景为所述目标场景的置信度;
A3、判断所述置信度是否大于第一阈值,若否,则控制无人机进行受伤现场其他区域的视频流采集;若是,则将置信度大于所述第一阈值的图像场景记为所述疑似目标场景;
A4、控制无人机对所述疑似目标场景进行多视角拍摄,以获取所述疑似目标场景的多个视角图像;
A5、对所述疑似目标场景的多个视角图像分别进行外观特征的提取;
A6、提供多个二级分类识别器,将步骤A5中从所述疑似目标场景的多个视角图像中分别提取到的多个外观特征分别输入各二级分类识别器,得到多个不同视角的分类器场景识别结果;
A7、将第二识别子模块得到的多个分类器场景识别结果进行统计,若判断为目标场景的个数比判断为非目标场景的个数多,则将所述疑似目标场景确定为目标场景;若判断为目标场景的个数比判断为非目标场景的个数少,则将所述疑似目标场景判断为非目标场景。
6.如权利要求5所述的救援方法,其特征在于:通过视角控制子模块控制所述环境信息采集模块从多个视角拍摄所述疑似目标场景,以获取所述疑目标场景的多个视角图像;并且,通过多个二级分类识别器进行投票统计而产生场景识别结果的方式来最终判定是否为目标场景。
CN201610047601.7A 2016-01-22 2016-01-22 一种无人机救援系统及其救援方法 Active CN105718903B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610047601.7A CN105718903B (zh) 2016-01-22 2016-01-22 一种无人机救援系统及其救援方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610047601.7A CN105718903B (zh) 2016-01-22 2016-01-22 一种无人机救援系统及其救援方法

Publications (2)

Publication Number Publication Date
CN105718903A true CN105718903A (zh) 2016-06-29
CN105718903B CN105718903B (zh) 2018-12-21

Family

ID=56154747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610047601.7A Active CN105718903B (zh) 2016-01-22 2016-01-22 一种无人机救援系统及其救援方法

Country Status (1)

Country Link
CN (1) CN105718903B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106020238A (zh) * 2016-07-06 2016-10-12 深圳市高巨创新科技开发有限公司 一种无人机搜救方法及系统
CN107145146A (zh) * 2017-04-21 2017-09-08 成都梵辰科技有限公司 用于灾区搜救的无人机及其搜救方法
CN108509827A (zh) * 2017-02-27 2018-09-07 阿里巴巴集团控股有限公司 视频流中异常内容的识别方法及视频流处理系统和方法
CN109214244A (zh) * 2017-07-03 2019-01-15 昊翔电能运动科技(昆山)有限公司 基于无人机的救援系统及救援方法
CN112478160A (zh) * 2020-12-03 2021-03-12 桂林航天工业学院 一种救援无人机
CN112651671A (zh) * 2021-01-18 2021-04-13 中国民航信息网络股份有限公司 一种航班舱位调整方法及相关设备
CN115439767A (zh) * 2022-11-08 2022-12-06 深圳互酷科技有限公司 无人机事故取证方法、系统、终端设备与介质
CN116469565A (zh) * 2023-03-29 2023-07-21 中国人民解放军总医院 航空医学应急救援自适应模拟场景控制方法、系统及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105872081A (zh) * 2016-05-16 2016-08-17 深圳市智璟科技有限公司 一种应用无人机运送急救物品的系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203528817U (zh) * 2013-06-18 2014-04-09 桂林理工大学 一种基于无人机的山地旅游紧急救援系统
CN104554657A (zh) * 2015-01-23 2015-04-29 胡家诚 一种利用无人机投放救援设备的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203528817U (zh) * 2013-06-18 2014-04-09 桂林理工大学 一种基于无人机的山地旅游紧急救援系统
CN104554657A (zh) * 2015-01-23 2015-04-29 胡家诚 一种利用无人机投放救援设备的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANDREAS BIRK等: "《Safety,Secutity,and Rescue Missions with an Unmanned Aerial Vehicle(UAV)》", 《JOURNAL OF INTELLIGENT & ROBOTIC SYSTEMS》 *
高金璐,李兴玮: "《基于无人机平台的搜索救援系统模型研究》", 《系统仿真技术及其应用》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106020238A (zh) * 2016-07-06 2016-10-12 深圳市高巨创新科技开发有限公司 一种无人机搜救方法及系统
CN108509827A (zh) * 2017-02-27 2018-09-07 阿里巴巴集团控股有限公司 视频流中异常内容的识别方法及视频流处理系统和方法
CN108509827B (zh) * 2017-02-27 2022-07-08 阿里巴巴集团控股有限公司 视频流中异常内容的识别方法及视频流处理系统和方法
CN107145146A (zh) * 2017-04-21 2017-09-08 成都梵辰科技有限公司 用于灾区搜救的无人机及其搜救方法
CN109214244A (zh) * 2017-07-03 2019-01-15 昊翔电能运动科技(昆山)有限公司 基于无人机的救援系统及救援方法
CN112478160A (zh) * 2020-12-03 2021-03-12 桂林航天工业学院 一种救援无人机
CN112478160B (zh) * 2020-12-03 2022-06-10 桂林航天工业学院 一种救援无人机
CN112651671A (zh) * 2021-01-18 2021-04-13 中国民航信息网络股份有限公司 一种航班舱位调整方法及相关设备
CN115439767A (zh) * 2022-11-08 2022-12-06 深圳互酷科技有限公司 无人机事故取证方法、系统、终端设备与介质
CN116469565A (zh) * 2023-03-29 2023-07-21 中国人民解放军总医院 航空医学应急救援自适应模拟场景控制方法、系统及装置

Also Published As

Publication number Publication date
CN105718903B (zh) 2018-12-21

Similar Documents

Publication Publication Date Title
CN105718903A (zh) 一种无人机救援系统及其救援方法
US10516858B2 (en) Monitoring system, monitoring method, and program
CN105447459B (zh) 一种无人机自动检测目标和跟踪方法
CN109886096B (zh) 一种智慧旅游监管及安全应急管理联动指挥系统
US10824863B2 (en) Systems for searching for persons using autonomous vehicles
US10498955B2 (en) Commercial drone detection
CN205450784U (zh) 无人机电力巡线系统
CN107451527A (zh) 一种基于无人机的大型公共场所搜寻系统
CN110276254B (zh) 基于无人机的禁止摆摊区域摊贩自动识别预警方法
CN104802962A (zh) 一种水上救援系统及其方法
CN104700576A (zh) 一种水上快速救援系统及其方法
CN106162089A (zh) 一种电力巡线图像自动识别分析系统及其分析方法
CN105741477A (zh) 带有智能消防语音助手的飞行器
CN111369760A (zh) 一种基于无人机的夜间行人安全预警装置及方法
CN105761275A (zh) 带有双目视觉结构的消防预警飞行器
CN206115282U (zh) 地面站融合系统
Kashihara et al. Supportive information to find victims from aerial video in search and rescue operation
AU2020102304A4 (en) I-Drone: INTELLIGENT DRONE TO DETECT THE HUMAN AND PROVIDE HELP
CN106598064A (zh) 一种无人机的电路线路智能识别装置及方法
CN113963373A (zh) 一种基于视频图像动态检测与跟踪算法系统及方法
WO2018158822A1 (ja) 異常検知システム、方法及びプログラム
CN112073696A (zh) 一种基于无人机的现场交通事故采集执法系统及方法
KR102203292B1 (ko) Cctv 겸용 드론을 이용한 cctv 감시 시스템
CN116823604A (zh) 一种机场禁飞区黑飞处理方法和系统
Salmon et al. Mobile Bot Swarms: They're closer than you might think!

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant