CN110348304A - 一种可搭载于无人机的海事遇险人员搜索系统以及目标识别方法 - Google Patents

一种可搭载于无人机的海事遇险人员搜索系统以及目标识别方法 Download PDF

Info

Publication number
CN110348304A
CN110348304A CN201910490484.5A CN201910490484A CN110348304A CN 110348304 A CN110348304 A CN 110348304A CN 201910490484 A CN201910490484 A CN 201910490484A CN 110348304 A CN110348304 A CN 110348304A
Authority
CN
China
Prior art keywords
target
information
block
bounding box
confidence level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910490484.5A
Other languages
English (en)
Inventor
李刚
郑瑞栋
王春磊
汪琪
陈恒宇
陈楷龄
余文曌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN201910490484.5A priority Critical patent/CN110348304A/zh
Publication of CN110348304A publication Critical patent/CN110348304A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Computer Security & Cryptography (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Educational Administration (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种可搭载于无人机的海事遇险人员搜索系统以及目标识别方法，其中的系统包括获取遇险海域内的视频图像信息的图像获取模块、将遇险海域内的视频图像信息发送至目标识别模块的第一信息发送模块、对回传的视频图像信息采用YOLO识别算法进行识别，识别出待救援目标的目标识别模块、将识别后的待救援的目标的信息发送至信息可视化模块的第二信息发送模块；以及对识别后的待救援的目标的信息进行可视化显示的信息可视化模块。本发明可以实时并精准地对获取图像进行处理，提高了识别的准确性，进而可以大大提高待救援目标被发现的几率。

Description

一种可搭载于无人机的海事遇险人员搜索系统以及目标识别 方法
技术领域
本发明涉及目标识别技术领域，尤其涉及一种可搭载于无人机的海事遇险人员搜索系统以及目标识别方法。
背景技术
随着科学技术的发展，航运事业也得到了较快的发展，海洋经济也成为了国民经济的重要组成部分。然而，随着海洋经济的发展，水上安全事故也不断增加。
现有技术中，通常是通过船载GPS设备进行初步定位、或者由遇险人员通过传统对讲机发出求救信号后，再派出飞机或者船只前往出事海域进行搜救，并通过工作人员的经验对可疑区域内进行观察，然后实施营救。
本申请发明人在实施本发明的过程中，发现现有技术中至少存在如下技术问题：
现有的方法需要依赖工作人员的经验来搜索遇险人员，可能导致误判，另一方面，在领海基线以外至200海里的远洋区域，由于海况恶劣、气候复杂、水域环境多变,采用现有方法实施难度较大。因此，现有技术中的方法存在识别不准确、搜救难度大的技术问题。
发明内容
本发明实施例提供了一种可搭载于无人机的海事遇险人员搜索系统以及目标识别方法，用以解决或者至少部分解决现有技术中的方法存在的识别不准确、搜救难度大的技术问题。
为了解决上述问题，本发明第一方面提供了一种可搭载于无人机的海事遇险人员搜索系统，所述系统包括图像获取模块、第一信息发送模块、目标识别模块、第二信息发送模块和信息可视化模块，
其中，所述图像获取模块为搭载于无人机上的高清摄像头，用于获取遇险海域内的视频图像信息；
第一信息发送模块，用于将遇险海域内的视频图像信息发送至目标识别模块；
目标识别模块，用于对接收的视频图像信息采用YOLO算法进行识别，得到待救援的目标的信息，YOLO算法的识别过程包括：对于每个预测框根据类别置信度选取最大的类别作为其预测标签，以得到各个预测框的预测类别及对应的置信度值，并设置置信度阈值，将置信度值小于置信度阈值的预测框进行过滤，得到置信度较高的预测框，再对这些预测框采用非极大值抑制算法进行筛选，筛选置信度最高的待救援目标进行框选；
第二信息发送模块，将识别后的待救援的目标的信息发送至信息可视化模块；
信息可视化模块，用于对识别后的待救援的目标的信息进行可视化显示，以供搜救。
在一种实施方式中，目标识别模块，具体用于：
将遇险海域内的视频图像分割为S*S个区块，其中，每个区块负责检测目标物体的中心是否落在该区块内，对于每一个区块预测出C个类别概率值，类别概率值用以表征由该单元格负责预测的目标属于各个类别的概率，同时预测b 个边界框，并预测每个边界框的边界框类别置信度，边界框类别置信度用以表征该边界框中目标属于各个类别的可能性大小以及边界框匹配目标的好坏；
根据每个区块预测的类别信息和每个边界框预测的置信度，得到每个边界框的中心置信度；
根据计算出的边界框的中心置信度，采用预先设置的置信度阈值，剔除置信度较低的区块；
将目标物体可能存在的区块进行非极大值抑制计算，得到待救援的目标物体位置，并进行框选。
在一种实施方式中，目标识别模块包括优化单元，用于：
采用损失函数将区块与边界框及每个边界框所得置信度的维度进行统一化处理。
在一种实施方式中，待救援的目标的信息包括待救援设备的类型和待救援人员信息。
在一种实施方式中，所述系统还包括报警模块，用于在目标识别模块识别到待救援目标后进行报警。
基于同样的发明构思，本发明第二方面提供了一种基于第一方面所述系统的目标识别方法，包括：
步骤S1：通过搭载于无人机上的高清摄像头获取遇险海域内的视频图像信息；
步骤S2：通过第一信息发送模块将遇险海域内的视频图像信息发送至目标识别模块；
步骤S3：通过目标识别模块，用于对接收的视频图像信息采用YOLO算法进行识别，得到待救援的目标的信息，其中，YOLO算法的识别过程包括：对于每个预测框根据类别置信度选取最大的类别作为其预测标签，以得到各个预测框的预测类别及对应的置信度值，并设置置信度阈值，将置信度值小于置信度阈值的预测框进行过滤，得到置信度较高的预测框，再对这些预测框采用非极大值抑制算法进行筛选，筛选置信度最高的待救援目标进行框选。
在一种实施方式中，所述方法还包括：
通过第二信息发送模块将识别后的待救援的目标的信息发送至信息可视化模块；
以及通过信息可视化模块对识别后的待救援的目标的信息进行可视化显示，以供搜救。
在一种实施方式中，目标识别的过程具体包括：
将遇险海域内的视频图像分割为S*S个区块，其中，每个区块负责检测目标物体的中心是否落在该区块内，对于每一个区块预测出C个类别概率值，类别概率值用以表征由该单元格负责预测的目标属于各个类别的概率，同时预测b 个边界框，并预测每个边界框的边界框类别置信度，边界框类别置信度用以表征该边界框中目标属于各个类别的可能性大小以及边界框匹配目标的好坏；
根据每个区块预测的类别信息和每个边界框预测的置信度，得到每个边界框的中心置信度；
根据计算出的边界框的中心置信度，采用预先设置的置信度阈值，剔除置信度较低的区块；
将目标物体可能存在的区块进行非极大值抑制计算，得到待救援的目标物体位置，并进行框选。
在一种实施方式中，所述方法还包括：
采用损失函数将区块与边界框及每个边界框所得的置信度的维度进行统一化处理。
本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：
本发明提供的搜救系统，通过图像获取模块获取遇险海域内的视频图像信息；由第一信息发送模块将遇险海域内的视频图像信息发送至目标识别模块；并通过目标识别模块，用于对回传的视频图像信息采用YOLO识别算法进行识别，识别出待救援目标，然后通过第二信息发送模块，将识别后的待救援的目标的信息发送至信息可视化模块；最后通过信息可视化模块对识别后的待救援的目标的信息进行可视化显示，以供搜救。
一方面，本发明的搜救系统可以通过搭载于无人机上的高清摄像头来获取遇险海域内的视频图像信息；然后将视频图像信息回传进行处理，可以解决传统方法中海上环境无法获取现场图像，导致搜救实施困难的问题，另一方面，本发明通过目标识别模块对接收的视频图像信息采用YOLO算法进行识别，得到待救援的目标的信息，可实时并精准地对获取图像进行处理，提高了识别的准确性，进而可以大大提高待救援目标被发现的几率，解决了现有技术中的方法存在的存在识别不准确、搜救难度大的技术问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一种实施方式中一种可搭载于无人机的海事遇险人员搜索系统的结构框图；
图2为图1所示搜救系统中的信息可视化模块的展示形式示意图；
图3为采用本发明提供的搜救系统检测出遇险人员的结果示意图；
图4为采用本发明提供的搜救系统检测出救生筏的结果示意图；
图5为基于图1中的搜救系统实现的目标识别方法的流程图。
具体实施方式
本发明实施例提供了一种可搭载于无人机的海事遇险人员搜索系统以及目标识别方法，用以解决或者至少部分解决现有技术中的方法存在的存在识别不准确、搜救难度大的技术问题，从而达到提高识别准确性，提高搜救几率的技术效果。
为了达到上述技术效果，本发明的主要构思如下：
基于YOLOV3目标检测算法及无人机航拍技术，搭建了一个高识别精度且信息完善的搜救系统，并对识别的待救援目标信息进行可视化，提供实时界面和遇险海域信息整体展示，形成数据整合、关联分析和数据可视化等服务能力，为搜救人员尽早提供目标海域内是否存在遇险人员信息服务数据。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本发明申请人通过大量的研究与实践发现，现有的海事搜救系统或者方法，需要依赖工作人员的经验到可疑区域来搜索遇险人员，可能导致误判，另一方面，在领海基线以外至200海里的远洋区域，由于海况恶劣、气候复杂、水域环境多变,采用现有方法实施难度较大。随着时代发展，无人机技术已经得到深入且快速的发展，且无人机在航拍领域已经不断完善。无人机不仅可以应用于民用领域，如爱好者航拍、交通路况预测及播报等方面，还可应用于军事上的领土边界巡逻、侦察等方面，具有极其广泛的应用前景。同时，目标识别算法已经在人脸面部识别得到广泛的应用，但是在无人机对海事遇险搜救方面仍有空缺，而传统的搜救方法无法做到快速且精确定位遇险人员并进做出及时的救援。最突出难点在领海基线以外至200海里的远洋区域,由于海况恶劣、气候复杂、水域环境多变,救助能力还需进一步提高。
因而，本发明本在无人机航拍的基础上，采用YOLOV3算法，通过目标识别的方法得以快速感知到遇险人员位置并进行跟踪以进行救援。
本实施例提供了一种可搭载于无人机的海事遇险人员搜索系统，如图1所示，所述系统包括图像获取模块101、第一信息发送模块102、目标识别模块103、第二信息发送模块104和信息可视化模块105，
其中，所述图像获取模块为搭载于无人机上的高清摄像头，用于获取遇险海域内的视频图像信息；
第一信息发送模块，用于将遇险海域内的视频图像信息发送至目标识别模块；
目标识别模块，用于对接收的视频图像信息采用YOLO算法进行识别，得到待救援的目标的信息，YOLO算法的识别过程包括：对于每个预测框根据类别置信度选取最大的类别作为其预测标签，以得到各个预测框的预测类别及对应的置信度值，并设置置信度阈值，将置信度值小于置信度阈值的预测框进行过滤，得到置信度较高的预测框，再对这些预测框采用非极大值抑制算法进行筛选，筛选置信度最高的待救援目标进行框选；
第二信息发送模块，将识别后的待救援的目标的信息发送至信息可视化模块；
信息可视化模块，用于对识别后的待救援的目标的信息进行可视化显示，以供搜救。
具体来说，信息获取模块可以为搭载于无人机上的高清摄像头。在具体实施过程中，本发明针对海上情况多变复杂且可进行高精度识别等特点进行选取无人机，选取采用DJI大疆Inspire 2四轴无人机其可搭载的ZENMUSE X7相机像素高达24MP，能清晰地传回海上遇险现场图像信息供YOLO算法进行后续处理。
目标识别模块为本地处理中心的核心部分，目标识别模块采用YOLOV3算法对无人机传回的视频帧图像进行处理，首先，对于每个预测框，根据类别置信度选取最大的类别作为其预测标签，以得到各个预测框的预测类别及对应的置信度值，例如大小都为[7,7,2]。并设置置信度阈值，将置信度小于该阈值的预测框过滤，得到置信度较高的预测框，再对这些预测框使用非极大值抑制算法 (non-maximum-suppression，NMS)，最后选出置信度最高的目标进行框选，从而完成目标识别。此外，还可以标注出遇险人员或设备的数量。
信息可视化模块用以实现信息可视化效果，将锁定遇险人员及设备的数据回传至主机，与该遇险人员及设备实时视频信息统一显示，实现目标信息捕捉，提供对位置等信息的可视化。
在具体实施方式中，所述信息可视化模块的展示形式包括2D、3D和AR三种模式。
具体来说，信息可视化模块的其中一种展示形式如图2所示。AR模式可将真实海域内图像与虚拟信息集成，实现实时交互。本发明将AR模式融入系统中，扩大对海事遇险人员及设备信息的获取范围实现提前救援决策，有效地缩短了现在海事遇险人员获救时间，有利于提高海事遇险人员生存几率，为各类海事人员搜救的信息服务提供数据支撑。
在一种实施方式中，目标识别模块，具体用于：
将遇险海域内的视频图像分割为S*S个区块，其中，每个区块负责检测目标物体的中心是否落在该区块内，对于每一个区块预测出C个类别概率值，类别概率值用以表征由该单元格负责预测的目标属于各个类别的概率，同时预测b 个边界框，并预测每个边界框的边界框类别置信度，边界框类别置信度用以表征该边界框中目标属于各个类别的可能性大小以及边界框匹配目标的好坏；
根据每个区块预测的类别信息和每个边界框预测的置信度，得到每个边界框的中心置信度；
根据计算出的边界框的中心置信度，采用预先设置的置信度阈值，剔除置信度较低的区块；
将目标物体可能存在的区块进行非极大值抑制计算，得到待救援的目标物体位置，并进行框选。
具体来说，每个区块负责检测目标物体的中心是否落在该区块内，每个区块需要预测b个bounding-box，对于每个边界框bounding-box还要预测一个置信度，并回归自身位置将二者的置信度进行乘积则可得到该区块的置信度，置信度表明该bounding-box内含有目标物体的置信值，运算公式如(1)所示。
其中，Pr(Object)表示所预测的box中含有object的置信度,表示这个box预测的准确性，二者的乘积即为该区块的置信度。
在算法运行时，每个区块预测的class信息和每个bounding-box预测的置信度的乘积就可以得到每个bounding-box的中心置信度，中心置信度计算公式如 (3)所示。
在每个bounding-box中心置信度计算完成后，设置一个类别的阈值，依此来剔除置信度较低的区块，最后将目标物体可能存在的区块进行非极大值抑制 (Non-MaximumSuppression,NMS)计算，得到最终待救援目标物体的位置和相关信息。
下面通过一个示例具体介绍本发明采用的目标识别算法，
YOLO算法的训练
1.1建立YOLOV3算法数据库
由于无人机航拍的飞行高度无法单一确定且海上情况多变，大大增加了目标检测的难度，因此应在无人机飞行高度范围内获取大量穿着救生衣/救生圈的遇险人员、救生艇及救生筏的视频样本图片进行标注，并加以训练。其中，标注的数据如表1所示，训练样本如表2所示。
表1
总数量 救生艇 救生筏 水中人员
437892 15747 27421 31947
本发明通过标注大量的数据，考虑到各种不同目标的特征，可以为后续的训练和预测提供基础，从而提供目标识别的准确性。
表2
训练名称 救生艇 救生筏 落水遇险人员
训练数量 725 443 1127
本实施例将检测目标分为三类：救生艇、救生筏、落水遇险人员。使用LabelImg工具添加样本标签,建立基础数据库。详细参数如表1所示，训练样本选取具有良好特征的目标进行标记,测试数据则需对样本图片中的所有目标进行标记，将XML标签转化为可供YOLO识别的TXT文本，完成数据库的建立。
1.2目标模型训练
以Darknet53为网络框架,YOLO v3为检测模型,训练待救援目标检测系统。
1.3 YOLOV3检测系统
YOLOV3在本系统中主要起目标识别的作用，YOLO算法将无人机传回的视频中的关键帧进行截取并分析，对其进行一次CNN运算，将输入的关键帧图片进行卷积操作处理，即将图片划分为N*N个网格，每个格子的中心负责检测是否为待救援目标，并且每个单元格会预测B个边界框(bounding box)以及边界框的置信度(cofidence box)。
在一种实施方式中，目标识别模块包括优化单元，用于：
采用损失函数将区块与边界框及每个边界框所得的置信度的维度进行统一化处理。
具体来说，在预测置信度时，每个区块除了要预测其自身位置(x，y，h) 及置信度c外，还需预测一个类别信息。由于区块与bounding-box及每个 bounding-box所得的置信度维度存在巨大差异，且每个区块预测多个 bounding-box，为使得bounding-box对其是否存在目标物体尽心更精准的预测，为此本发明采用损失函数以将区块与bounding-box及每个bounding-box所得的置信度维度进行统一化且使得每个bounding-box所得到的置信度更加精准，损失函数如(2)所示。
公式(2)中，λ为一任意给定的常数，i与j分别为区块单元及边界框预测值(i＝0、...、s2，j＝0、...、B)，(x,y)是预测边界框的位置，是从训练数据中得到的实际位置， 表示每个网格预测的宽度和高度，ci表示每个网格预测置信度，pi(c)为每个网格预测类别信息。上加角标均表示训练数据中得到的实际值。
在一种实施方式中，待救援的目标的信息包括待救援设备的类型和待救援人员信息。
具体来说，待救援设备的类型可以为救生艇、救生筏等，待救援人员信息可以包括人员的数量等。
在一种实施方式中，所述系统还包括报警模块，用于在目标识别模块识别到待救援目标后进行报警。
具体来说，本发明实施例提供的系统在对无人机传回视频处理之后若发现待救援目标，则通过报警模块进行报警，例如对系统的使用者进行语音提示等。
下面通过几个具体示例对本发明提供的搜救系统的应用予以说明：
本系统在对目标物体进行大量训练后随机从网络上搜寻相关图行进行试验，表3为测试结果统计。如图3和4所示，为部分图形识别效果展示，其中图3 为检测的目标为待救援人员，图4检测的目标为救生艇。
表3
图3和图4为选取的具有代表性的测试图样，可直观的显示出YOLO算法在本系统中对待救援人员及可能存在待救援人员的海上求生设备的检测结果。其检测结果包括对系统使用者的提醒及发现待救援人员及可能存在待救援人员的海上求生设备的名称及数量。
总体上，根据以上各图的检测结果，本系统可对不同角度及高度下获取的图形信息进行较好的处理。
实施例二
基于与实施例一同样的发明构思，本发明实施例二提供了一种基于实施例一所述的可搭载于无人机的海事遇险人员搜索系统的目标识别方法，如图5所示，该方法包括：
步骤S1：通过搭载于无人机上的高清摄像头获取遇险海域内的视频图像信息；
步骤S2：通过第一信息发送模块将遇险海域内的视频图像信息发送至目标识别模块；
步骤S3：通过目标识别模块，用于对接收的视频图像信息采用YOLO算法进行识别，得到待救援的目标的信息，其中，YOLO算法的识别过程包括：对于每个预测框根据类别置信度选取最大的类别作为其预测标签，以得到各个预测框的预测类别及对应的置信度值，并设置置信度阈值，将置信度值小于置信度阈值的预测框进行过滤，得到置信度较高的预测框，再对这些预测框采用非极大值抑制算法进行筛选，筛选置信度最高的待救援目标进行框选。
具体地，由于本实施例提供的方法是实施例一中搜救系统实现目标识别方法的方法，而通过搜救系统的各个模块进行目标识别的实施方式已经在实施一中详细介绍，故在此不再赘述。
作为一种可选实施方式，所述方法还包括：
通过第二信息发送模块将识别后的待救援的目标的信息发送至信息可视化模块；
以及通过信息可视化模块对识别后的待救援的目标的信息进行可视化显示，以供搜救。
在一种实施方式中，目标识别的过程具体包括：
将遇险海域内的视频图像分割为S*S个区块，其中，每个区块负责检测目标物体的中心是否落在该区块内，对于每一个区块预测出C个类别概率值，类别概率值用以表征由该单元格负责预测的目标属于各个类别的概率，同时预测b 个边界框，并预测每个边界框的边界框类别置信度，边界框类别置信度用以表征该边界框中目标属于各个类别的可能性大小以及边界框匹配目标的好坏；
根据每个区块预测的类别信息和每个边界框预测的置信度，得到每个边界框的中心置信度；
根据计算出的边界框的中心置信度，采用预先设置的置信度阈值，剔除置信度较低的区块；
将目标物体可能存在的区块进行非极大值抑制计算，得到待救援的目标物体位置，并进行框选。
在一种实施方式中，所述方法还包括：
采用损失函数将区块与边界框及每个边界框所得的置信度的维度进行统一化处理。
由于本发明实施例二所介绍的方法，为利用实施一中的系统所采用方法，故而基于本发明实施例一所介绍的系统，本领域所属人员能够了解该目标识别方法的实施方式及变形，故而在此不再赘述。凡是利用本发明实施例一的系统实施的方法都属于本发明所欲保护的范围。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种可搭载于无人机的海事遇险人员搜索系统，其特征在于，所述系统包括图像获取模块、第一信息发送模块、目标识别模块、第二信息发送模块和信息可视化模块，其中，所述图像获取模块为搭载于无人机上的高清摄像头，用于获取遇险海域内的视频图像信息；
第一信息发送模块，用于将遇险海域内的视频图像信息发送至目标识别模块；
目标识别模块，用于对接收的视频图像信息采用YOLO算法进行识别，得到待救援的目标的信息，YOLO算法的识别过程包括：对于每个预测框根据类别置信度选取最大的类别作为其预测标签，以得到各个预测框的预测类别及对应的置信度值，并设置置信度阈值，将置信度值小于置信度阈值的预测框进行过滤，得到置信度较高的预测框，再对这些预测框采用非极大值抑制算法进行筛选，筛选置信度最高的待救援目标进行框选；
第二信息发送模块，将识别后的待救援的目标的信息发送至信息可视化模块；
信息可视化模块，用于对识别后的待救援的目标的信息进行可视化显示，以供搜救。
2.如权利要求1所述的搜索系统，其特征在于，目标识别模块，具体用于：
将遇险海域内的视频图像分割为S*S个区块，其中，每个区块负责检测目标物体的中心是否落在该区块内，对于每一个区块预测出C个类别概率值，类别概率值用以表征由该单元格负责预测的目标属于各个类别的概率，同时预测b个边界框，并预测每个边界框的边界框类别置信度，边界框类别置信度用以表征该边界框中目标属于各个类别的可能性大小以及边界框匹配目标的好坏；
根据每个区块预测的类别信息和每个边界框预测的置信度，得到每个边界框的中心置信度；
根据计算出的边界框的中心置信度，采用预先设置的置信度阈值，剔除置信度较低的区块；
将目标物体可能存在的区块进行非极大值抑制计算，得到待救援的目标物体位置，并进行框选。
3.如权利要求2所述的搜索系统，其特征在于，目标识别模块包括优化单元，用于：
采用损失函数将区块与边界框及每个边界框所得的置信度的维度进行统一化处理。
4.如权利要求1所述的搜索系统，其特征在于，待救援的目标的信息包括待救援设备的类型和待救援人员信息。
5.如权利要求1所述的搜索系统，其特征在于，所述系统还包括报警模块，用于在目标识别模块识别到待救援目标后进行报警。
6.一种基于权利要求1所述的可搭载于无人机的海事遇险人员搜索系统的目标识别方法，其特征在于，包括：
步骤S1：通过搭载于无人机上的高清摄像头获取遇险海域内的视频图像信息；
步骤S2：通过第一信息发送模块将遇险海域内的视频图像信息发送至目标识别模块；
步骤S3：通过目标识别模块，用于对接收的视频图像信息采用YOLO算法进行识别，得到待救援的目标的信息，其中，YOLO算法的识别过程包括：对于每个预测框根据类别置信度选取最大的类别作为其预测标签，以得到各个预测框的预测类别及对应的置信度值，并设置置信度阈值，将置信度值小于置信度阈值的预测框进行过滤，得到置信度较高的预测框，再对这些预测框采用非极大值抑制算法进行筛选，筛选置信度最高的待救援目标进行框选。
7.如权利要求6所述的方法，其特征在于，所述方法还包括：
通过第二信息发送模块将识别后的待救援的目标的信息发送至信息可视化模块；
以及通过信息可视化模块对识别后的待救援的目标的信息进行可视化显示，以供搜救。
8.如权利要求6所述的方法，其特征在于，目标识别的过程具体包括：
将遇险海域内的视频图像分割为S*S个区块，其中，每个区块负责检测目标物体的中心是否落在该区块内，对于每一个区块预测出C个类别概率值，类别概率值用以表征由该单元格负责预测的目标属于各个类别的概率，同时预测b个边界框，并预测每个边界框的边界框类别置信度，边界框类别置信度用以表征该边界框中目标属于各个类别的可能性大小以及边界框匹配目标的好坏；
根据每个区块预测的类别信息和每个边界框预测的置信度，得到每个边界框的中心置信度；
根据计算出的边界框的中心置信度，采用预先设置的置信度阈值，剔除置信度较低的区块；
将目标物体可能存在的区块进行非极大值抑制计算，得到待救援的目标物体位置，并进行框选。
9.如权利要求7所述的方法，其特征在于，所述方法还包括：
采用损失函数将区块与边界框及每个边界框所得的置信度的维度进行统一化处理。
CN201910490484.5A 2019-06-06 2019-06-06 一种可搭载于无人机的海事遇险人员搜索系统以及目标识别方法 Pending CN110348304A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910490484.5A CN110348304A (zh) 2019-06-06 2019-06-06 一种可搭载于无人机的海事遇险人员搜索系统以及目标识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910490484.5A CN110348304A (zh) 2019-06-06 2019-06-06 一种可搭载于无人机的海事遇险人员搜索系统以及目标识别方法

Publications (1)

Publication Number Publication Date
CN110348304A true CN110348304A (zh) 2019-10-18

Family

ID=68181539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910490484.5A Pending CN110348304A (zh) 2019-06-06 2019-06-06 一种可搭载于无人机的海事遇险人员搜索系统以及目标识别方法

Country Status (1)

Country Link
CN (1) CN110348304A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781836A (zh) * 2019-10-28 2020-02-11 深圳市赛为智能股份有限公司 人体识别方法、装置、计算机设备及存储介质
CN111144291A (zh) * 2019-12-25 2020-05-12 中铁信(北京)网络技术研究院有限公司 基于目标检测的视频监控区域人员入侵判别方法及装置
CN111401297A (zh) * 2020-04-03 2020-07-10 天津理工大学 一种基于边缘计算和神经网络的三栖机器人目标识别系统及方法
CN111565259A (zh) * 2019-11-20 2020-08-21 王涛 Ip数据包无线发送平台及方法
CN111709308A (zh) * 2020-05-25 2020-09-25 五邑大学 一种基于无人机的海上遇险人员检测和跟踪方法及其系统
CN111797940A (zh) * 2020-07-20 2020-10-20 中国科学院长春光学精密机械与物理研究所 一种基于海洋搜救的图像识别方法及相关装置
CN111982120A (zh) * 2020-08-20 2020-11-24 青岛海米飞驰智能科技有限公司 一种基于水上机器人的搜救目标识别方法、系统及设备
CN112623154A (zh) * 2020-12-29 2021-04-09 武汉理工大学 基于ar的水面搜救方法、系统和存储介质
CN112660376A (zh) * 2020-12-24 2021-04-16 中航贵州飞机有限责任公司 一种利用无人机载epirb及光电吊舱设备实施搜索救援的方法
CN112686826A (zh) * 2021-01-13 2021-04-20 东华大学 一种恶劣气候环境下的海洋搜救方法
CN113283314A (zh) * 2021-05-11 2021-08-20 桂林电子科技大学 一种基于YOLOv3和手势识别的无人机的夜间搜救方法
CN113810655A (zh) * 2020-06-16 2021-12-17 闽江学院 一种湖区智能救生系统的实现方法
CN114022685A (zh) * 2020-07-17 2022-02-08 南京南瑞信息通信科技有限公司 一种安全员位置检测方法及系统
CN116704386A (zh) * 2023-08-01 2023-09-05 四川开澜科技有限公司 一种基于ai的精准应急救援方法及装置
CN117372960A (zh) * 2023-10-24 2024-01-09 宁夏隆合科技有限公司 一种结合场景关系的无人机巡检目标属性自动提取方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107140157A (zh) * 2017-06-08 2017-09-08 广东容祺智能科技有限公司 一种无人机水上应急救援装置及方法
CN109977943A (zh) * 2019-02-14 2019-07-05 平安科技（深圳）有限公司 一种基于yolo的图像目标识别方法、系统和存储介质
CN110187714A (zh) * 2019-04-22 2019-08-30 西安电子科技大学 一种基于无人机的水上垃圾打捞控制方法及系统、无人机

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107140157A (zh) * 2017-06-08 2017-09-08 广东容祺智能科技有限公司 一种无人机水上应急救援装置及方法
CN109977943A (zh) * 2019-02-14 2019-07-05 平安科技（深圳）有限公司 一种基于yolo的图像目标识别方法、系统和存储介质
CN110187714A (zh) * 2019-04-22 2019-08-30 西安电子科技大学 一种基于无人机的水上垃圾打捞控制方法及系统、无人机

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JOSEPH REDMON等: "You Only Look Once:Unified, Real-Time Object Detection", 《ARXIV》 *
曹德胜等: "无人机水上遇险搜救关键技术研究", 《交通运输研究》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781836A (zh) * 2019-10-28 2020-02-11 深圳市赛为智能股份有限公司 人体识别方法、装置、计算机设备及存储介质
CN111565259A (zh) * 2019-11-20 2020-08-21 王涛 Ip数据包无线发送平台及方法
CN111144291A (zh) * 2019-12-25 2020-05-12 中铁信(北京)网络技术研究院有限公司 基于目标检测的视频监控区域人员入侵判别方法及装置
CN111144291B (zh) * 2019-12-25 2023-06-09 中铁信(北京)网络技术研究院有限公司 基于目标检测的视频监控区域人员入侵判别方法及装置
CN111401297A (zh) * 2020-04-03 2020-07-10 天津理工大学 一种基于边缘计算和神经网络的三栖机器人目标识别系统及方法
CN111709308A (zh) * 2020-05-25 2020-09-25 五邑大学 一种基于无人机的海上遇险人员检测和跟踪方法及其系统
CN111709308B (zh) * 2020-05-25 2021-12-28 未来航空科技(江门)有限公司 一种基于无人机的海上遇险人员检测和跟踪方法及其系统
CN113810655A (zh) * 2020-06-16 2021-12-17 闽江学院 一种湖区智能救生系统的实现方法
CN113810655B (zh) * 2020-06-16 2023-10-31 闽江学院 一种湖区智能救生系统的实现方法
CN114022685B (zh) * 2020-07-17 2022-10-21 南京南瑞信息通信科技有限公司 一种安全员位置检测方法及系统
CN114022685A (zh) * 2020-07-17 2022-02-08 南京南瑞信息通信科技有限公司 一种安全员位置检测方法及系统
CN111797940A (zh) * 2020-07-20 2020-10-20 中国科学院长春光学精密机械与物理研究所 一种基于海洋搜救的图像识别方法及相关装置
CN111982120A (zh) * 2020-08-20 2020-11-24 青岛海米飞驰智能科技有限公司 一种基于水上机器人的搜救目标识别方法、系统及设备
CN112660376A (zh) * 2020-12-24 2021-04-16 中航贵州飞机有限责任公司 一种利用无人机载epirb及光电吊舱设备实施搜索救援的方法
CN112623154A (zh) * 2020-12-29 2021-04-09 武汉理工大学 基于ar的水面搜救方法、系统和存储介质
CN112686826A (zh) * 2021-01-13 2021-04-20 东华大学 一种恶劣气候环境下的海洋搜救方法
CN113283314A (zh) * 2021-05-11 2021-08-20 桂林电子科技大学 一种基于YOLOv3和手势识别的无人机的夜间搜救方法
CN116704386A (zh) * 2023-08-01 2023-09-05 四川开澜科技有限公司 一种基于ai的精准应急救援方法及装置
CN116704386B (zh) * 2023-08-01 2023-10-20 四川开澜科技有限公司 一种基于ai的精准应急救援方法及装置
CN117372960A (zh) * 2023-10-24 2024-01-09 宁夏隆合科技有限公司 一种结合场景关系的无人机巡检目标属性自动提取方法

Similar Documents

Publication Publication Date Title
CN110348304A (zh) 一种可搭载于无人机的海事遇险人员搜索系统以及目标识别方法
CN107818326B (zh) 一种基于场景多维特征的船只检测方法及系统
WO2021142902A1 (zh) 基于DANet的无人机海岸线漂浮垃圾巡检系统
CN109725310B (zh) 一种基于yolo算法以及岸基雷达系统的船舶定位监管系统
CN104166841B (zh) 一种视频监控网络中指定行人或车辆的快速检测识别方法
CN109977897A (zh) 一种基于深度学习的船舶特征重识别方法、应用方法及系统
KR102095555B1 (ko) 필드양식장 불법행위감시가 가능한 무인비행체 및 인공지능 딥러닝을 이용한 불법행위 분석과 인식에 따른 감시 방법
CN108806334A (zh) 一种基于图像的智能船舶身份识别方法
CN110348303A (zh) 一种可搭载于无人艇的辅助水面巡逻系统以及水面监测方法
CN109766830A (zh) 一种基于人工智能图像处理的舰船目标识别系统及方法
CN106816038A (zh) 一种内河水域异常行为船舶自动识别系统及方法
CN104992140B (zh) 一种基于遥感图像的海面异常漂浮物检测方法
CN112241692B (zh) 基于航拍图超像素纹理的渠道异物智能检测与分类方法
CN108061572A (zh) 一种海洋核动力平台综合态势显控系统及方法
CN113239854A (zh) 一种基于深度学习的船舶身份识别方法及系统
CN114035606A (zh) 杆塔巡检系统、杆塔巡检方法、控制装置和存储介质
CN113505704B (zh) 图像识别的人员安全侦测方法、系统、设备及存储介质
CN114170487A (zh) 一种基于视觉的水面油污检测方法
CN110321775A (zh) 一种基于多旋翼无人机的水上落水人员自主识别方法
KR102602439B1 (ko) 인공지능 기반 cctv 촬영 이미지 정보를 이용한 이안류 탐지 방법 및 그 장치
CN113447902A (zh) 一种基于机器学习的对海监视雷达目标识别方法
CN116311096A (zh) 基于YOLOv7-MO的毛虾捕捞目标识别与计数系统及其操作方法
CN116258908A (zh) 一种基于无人机遥感影像数据的地灾预测评估分类方法
Yu et al. A deep learning-based SAR ship detection
CN113361968B (zh) 基于人工智能和大数据的电网基建人员安全风险评估方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191018