CN111709308A - 一种基于无人机的海上遇险人员检测和跟踪方法及其系统 - Google Patents

一种基于无人机的海上遇险人员检测和跟踪方法及其系统 Download PDF

Info

Publication number
CN111709308A
CN111709308A CN202010447305.2A CN202010447305A CN111709308A CN 111709308 A CN111709308 A CN 111709308A CN 202010447305 A CN202010447305 A CN 202010447305A CN 111709308 A CN111709308 A CN 111709308A
Authority
CN
China
Prior art keywords
distress
information
persons
unmanned aerial
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010447305.2A
Other languages
English (en)
Other versions
CN111709308B (zh
Inventor
翟懿奎
张俊亮
余翠琳
王金鑫
王天雷
徐颖
甘俊英
曾军英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Future aviation technology (Jiangmen) Co.,Ltd.
Original Assignee
Wuyi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuyi University filed Critical Wuyi University
Priority to CN202010447305.2A priority Critical patent/CN111709308B/zh
Publication of CN111709308A publication Critical patent/CN111709308A/zh
Application granted granted Critical
Publication of CN111709308B publication Critical patent/CN111709308B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0294—Trajectory determination or predictive filtering, e.g. target tracking or Kalman filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Computer Security & Cryptography (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Educational Administration (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于无人机的海上遇险人员检测和跟踪方法及其系统，包括：获取无人机身上搭载的摄像头拍摄的海上遇险现场的图像信息；输入图像信息至YOLOv3小目标检测模型，提取候选区域；计算候选区域对应的存在遇险人员的置信度，根据置信度得到遇险人员的目标信息；根据目标信息，测量遇险人员的求救信号，获取信号强度指示信息；根据信号强度指示信息，得到遇险人员的定位信息。通过建立YOLOv3小目标检测模型，提高对图像信息的处理速度和检测遇险人员的准确率；通过信号强度指示信息和基于多无人机的巡逻算法，实现对遇险人员的实时跟踪和定位，进一步缩小搜救范围，提高海上救援的效率。

Description

一种基于无人机的海上遇险人员检测和跟踪方法及其系统
技术领域
本发明涉及无人机技术领域，尤其是一种基于无人机的海上遇险人员检测和跟踪方法及其系统。
背景技术
随着海运事业的飞速发展，水上安全事故也不断增加。针对海上发起的求助，一般都会对海上的遇险人员进行搜救，而对于渺茫的大海而言，人类相对渺小，而且受到风浪的影响，位置也会随时变化，几乎无法掌握的遇险人员的位置，一旦发生险情，援救的时间变得至关重要，遇险人员的搜救将面临着很大的挑战。目前部分海上遇险现场已采用无人机进行搜寻和救援，但是由于海上环境复杂多变，现有的无人机检测方法存在误判率高、检测时间长等问题，只能定位遇险人员当前的位置，缺乏跟踪定位的能力。
发明内容
为解决上述问题，本发明的目的在于提供一种基于无人机的海上遇险人员检测和跟踪方法及其系统，以实现对海上遇险人员的高效检测和跟踪定位。
本发明解决其问题所采用的技术方案是：
本发明的第一方面，一种基于无人机的海上遇险人员检测和跟踪方法，包括：获取无人机身上搭载的摄像头拍摄的海上遇险现场的图像信息；输入所述图像信息至YOLOv3小目标检测模型，提取候选区域；计算所述候选区域对应的存在遇险人员的置信度，根据所述置信度得到遇险人员的目标信息；根据所述目标信息，测量遇险人员的求救信号，经过基于接收信号强度定位算法，获取信号强度指示信息；根据所述信号强度指示信息，利用基于多无人机的巡逻算法，得到遇险人员的定位信息；定期重复获取所述定位信息，得到遇险人员的跟踪定位信息；将所述跟踪定位信息发送给搜救船队。
上述基于无人机的海上遇险人员检测和跟踪方法至少具有以下的有益效果：通过建立YOLOv3小目标检测模型，提高对图像信息的处理速度和检测遇险人员的准确率；通过信号强度指示信息和基于多无人机的巡逻算法，实现对遇险人员的实时跟踪和定位，进一步缩小搜救范围，提高海上救援的效率。
进一步，所述YOLOv3小目标检测模型对单元格的划分进行调整，把所述图像信息划分为21×9个单元格。这种划分方式，优化了横纵向检测权重，更好地应对图像信息中密集度不相等的情况，提高检测的准确率。
进一步，所述YOLOv3小目标检测模型包括多个3×3的卷积层和多个1×1的卷积层。通过增加3×3的卷积层，减小神经网络的参数,加快计算速度,并获得更深层次的特征；通过增加1×1的卷积层,进一步减少了模型参数,同时增加了模型的非线性,提高模型的学习能力。
进一步，所述YOLOv3小目标检测模型利用小人物检测数据集进行训练学习。通过利用小人物检测数据集进行训练学习，数据集具有人物图像较小、人物纵横比存在较大差异、物体密度高的特征，提高远距离且大背景下的微小目标检测性能。
进一步，所述YOLOv3小目标检测模型还包括用于保持额外训练集和所述小人物检测数据集尺度一致的尺度匹配算法。通过设置尺度匹配算法，使与海上救援环境相差较大的额外训练集在训练过程中得到校正，保证YOLOv3小目标检测模型的性能和准确性。
进一步，所述YOLOv3小目标检测模型还通过多次复制粘贴的方式增强所述图像信息中小目标图像的识别。通过多次复制粘贴图像信息的小目标图像来对目标的数据集进行特征增强，增加了小目标位置的多样性。同时，每个图像中小目标数量的增加进一步解决了少量正匹配的锚点的问题。
进一步，根据所述信号强度指示信息，利用基于多无人机的巡逻算法，得到遇险人员的定位信息，包括：所述无人机以最大化定期测量所述信号强度指示信息的方式移动，所述信号强度指示信息进行如下的操作处理：
Ri,j(k)＝h(di,j(k))+vi,j(k)
其中，Ri,j(k)是从第j个遇险人员到第i个无人机的测量所述信号强度指示信息的第k个样本，vi,j(k)是零相关且方差为δ2的不相关测量噪声，h(di,j(k))是第j个遇险人员与第i个无人机之间的距离di,j(k)的递减函数，其公式如下：
Figure BDA0002506298800000041
其中，R0是在给定距离d0处的信号强度，α是衰减系数，K为无单位常数；
第j个遇险人员位置向量uv,j(k)进行如下的操作处理：
Ai(k)uv,j(k)＝bi,j(k)
其中，向量bi,j(k)为di,j(k)的平方差向量，矩阵Ai(k)为第i个无人机坐标的位移矩阵。
进一步，所述遇险人员的定位信息还包括偏差角
Figure BDA0002506298800000046
其计算公式如下：
Figure BDA0002506298800000042
其中，
Figure BDA0002506298800000043
和
Figure BDA0002506298800000044
为利用最小二乘法估计函数导出估计的第j个遇险人员位置矢量
Figure BDA0002506298800000045
的坐标向量。
通过定期重复进行遇险人员位置向量和偏差角的计算，实现跟踪遇险人员位置随时间变化的情况，为搜救船队提供更加准确、实时的跟踪定位信息，提高救援效率和遇险人员的生还率。
本发明的第二方面，一种基于无人机的海上遇险人员检测和跟踪系统，包括：摄像模块，为无人机身上搭载的摄像头，用于获取海上遇险现场的图像信息；检测模块，被配置为对所述图像信息进行提取候选区域；计算所述候选区域对应的存在遇险人员的置信度，得到遇险人员的目标信息；射频信号发射模块，安装在所述遇险人员身上，用于发送求救信号；节点传感模块，用于检测所述求救信号；跟踪模块，被配置为根据所述求救信号的强度，经过基于接收信号强度定位算法，获取信号强度指示信息；根据所述信号强度指示信息，利用基于多无人机的巡逻算法，得到遇险人员的定位信息；定期重复获取所述定位信息，得到遇险人员的跟踪定位信息；信息发送模块，用于将所述跟踪定位信息发送给搜救船队。
本发明的第三方面，一种存储介质，所述存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上所述的基于无人机的海上遇险人员检测和跟踪方法。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
下面结合附图和实例对本发明作进一步说明。
图1为本发明实施例一种基于无人机的海上遇险人员检测和跟踪方法的流程图；
图2为图1中YOLOv3小目标检测模型的结构图；
图3为图1中YOLOv3小目标检测模型的流程图；
图4为本发明实施例一种基于无人机的海上遇险人员检测和跟踪系统的结构图；
图5为图3中小人物检测数据集的分类示例图。
具体实施方式
参照图1，本发明实施例提供了一种基于无人机的海上遇险人员检测和跟踪方法，包括步骤S110、获取无人机身上搭载的摄像头拍摄的海上遇险现场的图像信息；步骤S120、输入所述图像信息至YOLOv3小目标检测模型，提取候选区域；计算所述候选区域对应的存在遇险人员的置信度，根据所述置信度得到遇险人员的目标信息；步骤S130、根据所述目标信息，测量遇险人员的求救信号，经过基于接收信号强度定位算法，获取信号强度指示信息；步骤S140、根据所述信号强度指示信息，利用基于多无人机的巡逻算法，得到遇险人员的定位信息；步骤S150、定期重复获取所述定位信息，得到遇险人员的跟踪定位信息；步骤S160、将所述跟踪定位信息发送给搜救船队。
通过建立YOLOv3小目标检测模型，提高对图像信息的处理速度和检测遇险人员的准确率；通过信号强度指示信息和基于多无人机的巡逻算法，实现对遇险人员的实时跟踪和定位，进一步缩小搜救范围，提高海上救援的效率。
对候选区域进行目标检测,预测每个候选区域中存在待判别目标的置信度Conf(Object),将不存在目标的候选区域的置信度置为0，其公式如下：
Figure BDA0002506298800000061
其中，Pr(Object)表示是否有遇险人员落入候选区域对应的单元格中。若有,单元格对应的候选区域的目标置信度
Figure BDA0002506298800000071
否则,候选区域中没有遇险人员,Conf(Object)＝0；Pr(Person|Object)为预测目标是遇险人员的条件概率；
Figure BDA0002506298800000072
表示预测框(Pred)与实际框(Truth)的交集面积与并集面积之比,即:
Figure BDA0002506298800000073
对每个候选区域预测其中包含非遇险人员的概率以及边界框的位置,则每个候选区域输出的预测值为:
[X,Y,W,H,Conf(Object),Conf]
参照图2，另一个实施例，步骤S120、输入所述图像信息至YOLOv3小目标检测模型，提取候选区域，包括：
步骤S121、建立YOLOv3小目标检测模型。YOLOv3小目标检测模型包括多个3×3的卷积层210和多个1×1的卷积层210。通过增加3×3的卷积层210，减小神经网络的参数,加快计算速度,并获得更深层次的特征；通过增加1×1的卷积层210,进一步减少了模型参数,同时增加了模型的非线性,提高模型的学习能力。在本实施例中，YOLOv3小目标检测模型网络中包含11个3×3的卷积层210,4个1×1的卷积层210,6个池化层220,前5个是步长为2的池化层220,最后一个是步长为1的池化层220。
步骤S122、对单元格的划分进行调整。YOLOv3小目标检测模型对单元格的划分进行调整，把图像信息划分为21×9个单元格。这种划分方式，优化了横纵向检测权重，更好地应对图像信息中密集度不相等的情况，提高检测的准确率。
步骤S123、利用小人物检测数据集进行训练学习。参照图3，另一个实施例，YOLOv3小目标检测模型利用小人物检测数据集进行训练学习。通过利用小人物检测数据集进行训练学习，数据集具有人物图像较小、人物纵横比存在较大差异、物体密度高的特征，提高远距离且大背景下的微小目标检测性能。Hij＝(xij,yij,wij,hij)描述数据集中第i个图像Ii的第j个目标的边界框，目标的绝对大小计算如下公式所示：
Figure BDA0002506298800000081
其中，(xij,yij)表示左上点的坐标,wij,hij是宽度和边界框的高度；Wi，Hi分别表示Ii的宽度和高度；AS(Hij)为目标边界框区域的平方根。
在本实施例中，所采用的小人物检测数据集为TinyPerson数据集。TinyPerson数据集中的图像是从Internet收集的：首先，从不同的网站收集高分辨率的视频；其次，每隔50帧从视频中采样一次图像；然后，删除具有一定重复性和均匀性的图像；最后，用边界框手动注释72651个图片对象。
参照图5，在TinyPerson数据集中，将人员分类为“海上人”(海中人员)和“地球人”(陆上人员)。并定义了四个规则来确定一个人属于哪种类别：船上的人被视为海上人；躺在水中的人被视为海上人；水中半身以上者被视为海上人；其他人被视为地球人。另外，在TinyPerson数据集中，存在三种将人员标记为“忽略”的条件：人群，将其识别为人员；含糊不清的区域，很难清楚地区分是否有一个或多个人；水面倒影。在TinyPerson数据集中，有些物体很难被识别为人类，则将它们标记为“不确定”。例如，沙地上的人类归为地球人，海水中的人类归为地球人，不确认的人群归为忽略，并将不同类别的人员用不同颜色的矩形进行标记。
步骤S124、对额外训练集执行尺度匹配算法。YOLOv3小目标检测模型还包括用于保持额外训练集和小人物检测数据集尺度一致的尺度匹配算法。通过设置尺度匹配算法，使与海上救援环境相差较大的额外训练集在训练过程中得到校正，保证YOLOv3小目标检测模型的性能和准确性。在本实施例中，通过设置尺度变换T，该变换用于将额外数据集E中目标大小的概率分布转换为目标数据集D，即TinyPerson数据集中的概率分布，如下公式所示：
Psize(s；T(E))≈Psize(s；D)
其中，Psize(s；D)为D中目标大小s的概率密度函数。则尺度比C需满足以下公式：
Figure BDA0002506298800000091
Figure BDA0002506298800000092
其中，
Figure BDA0002506298800000093
为概率密度函数与目标数据集D相同的样本，
Figure BDA0002506298800000094
为尺度匹配后的结果。当额外数据集E中存在大量目标时，尺度匹配将应用于E中的所有目标以获得T(E)，其中Psize(s；T(E))将会接近Psize(s；D)。
在本实施例中，为保证尺度匹配的精度，还需对估计Psize(s；Dtrain)的直方图H进行校正，其中，Dtrain是TinyPerson数据集的训练集。第k个bin的概率H[k]如下公式所示：
Figure BDA0002506298800000101
其中，R[k]-和R[k]+是直方图中第k个bin的大小边界，N是Dtrain中的目标数，Gij(Dtrain)是数据集Dtrain的第i个图像中的第j个目标。
H的拟合效果量度SR如下公式所示：
Figure BDA0002506298800000102
其中K定义为H的单元数，并设置为100，SR的α设置为10，1/(α*K)用作阈值。在本实施例中，使用校正的直方图后，TinyPerson数据集的SR从0.67降至0.33。
此外，由于尺度匹配可能会引起原始数据集的大小混乱，即一个很小的目标可能会抽样一个很大的尺寸。因此在本实施例中，采用单调尺度匹配算法进行训练。单调尺度匹配能保持规模单调性的大小，进一步用于规模变换。本实施例使用单调函数f将额外数据集E中的目标大小S映射到
Figure BDA0002506298800000103
使
Figure BDA0002506298800000104
的分布与Psize(s；Dtrain)相同。对于s0∈[min(s),max(s)]，其计算公式如下所示：
Figure BDA0002506298800000105
其中，min(s)和max(s)分别表示E中目标的最小值和最大值。
步骤S125、通过多次复制粘贴的方式增强所述图像信息中小目标图像的识别。通过多次复制粘贴图像信息的小目标图像来对目标的数据集进行特征增强，增加了小目标位置的多样性。在本实施例中，使用增强对小目标物体检测和分割的影响，通过多次复制粘贴每个图像中的所有小目标一次来对目标的数据集增强，根据TinyPerson数据集中提供的实例分割掩码从其原始位置复制任何对象，然后将该副本粘贴到不同的位置。在将目标粘贴到新位置之前，对其应用随机变换。通过将目标大小更改为±20％并将其旋转±15°来缩放目标。同时仅考虑非遮挡的目标，确保新粘贴的目标不与任何现有目标重叠，并且距图像边界至少5个像素。这增加了小目标位置的多样性，同时确保了这些目标出现在正确的位置中。每个图像中小目标数量的增加进一步解决了少量正匹配的锚点的问题。在本实施例中，同时保留原始图像和增强图像，用小目标对图像进行过度采样两倍，用更小的目标扩充复制的副本。
另一个实施例，根据信号强度指示信息，利用基于多无人机的巡逻算法，得到遇险人员的定位信息，包括：无人机以最大化定期测量信号强度指示信息的方式移动，信号强度指示信息进行如下的操作处理：
Ri,j(k)＝h(di,j(k))+vi,j(k)
其中，Ri,j(k)是从第j个遇险人员到第i个无人机的测量信号强度指示信息的第k个样本，vi,j(k)是零相关且方差为δ2的不相关测量噪声，h(di,j(k))是第j个遇险人员与第i个无人机之间的距离di,j(k)的递减函数，其公式如下：
Figure BDA0002506298800000121
其中R0是在给定距离d0处的信号强度，α是衰减系数，它取决于信号传播环境，K为无单位常数，它取决于发射机天线的特性以及直线距离d0的自由空间路径损耗；
另外，第i架无人机和第j个遇险人员的第k个坐标为:ui(k)＝[xi(k),yi(k),zi(k)]T和uv,j(k)＝[xv,j(k),yv,j(k),zv,j(k)]T，由于飞行的无人机和漂浮在海面的遇险人员的固定高度情况。将第i个无人机坐标xi(k)和yi(k)仅根据x和y将定位问题的解决方案限制为随时间变化的第j个遇险人员位置的估计。距离di,j(k)如下公式所示：
Figure BDA0002506298800000122
其中α是无人机的高度。由于无人机的近乎均匀的运动，第i个无人机坐标能通过以下线性模型描述：
xi(k)＝(xi(k-1)+v0Tcos(θi(k))
yi(k)＝(yi(k-1)+v0Tsin(θi(k))
其中v0是无人机速度，T是分隔两个连续测量值的周期，θi(k)是相对于先前位置的无人机偏差。
由此可得，距离di,j(k)的平方差如下公式所示：
Figure BDA0002506298800000123
经m+2次测量后，得出以下结果：
Figure BDA0002506298800000131
Figure BDA0002506298800000132
其中，向量bi,j(k)为di,j(k)的平方差向量，矩阵Ai(k)为第i个无人机坐标的位移矩阵。
第j个遇险人员位置向量uv,j(k)如下公式所示：
Ai(k)uv,j(k)＝bi,j(k)
进一步，遇险人员的定位信息还包括偏差角
Figure BDA0002506298800000133
其计算公式如下：
Figure BDA0002506298800000134
其中，
Figure BDA0002506298800000135
和
Figure BDA0002506298800000136
为利用最小二乘法估计函数导出估计的第j个遇险人员位置矢量
Figure BDA0002506298800000137
的坐标向量。
通过定期重复进行遇险人员位置向量和偏差角的计算，实现跟踪遇险人员位置随时间变化的情况，为搜救船队提供更加准确、实时的跟踪定位信息，提高救援效率和遇险人员的生还率。
参照图4，另一个实施例，一种基于无人机的海上遇险人员检测和跟踪系统，包括：摄像模块100，为无人机身上搭载的摄像头，用于获取海上遇险现场的图像信息；检测模块200，被配置为对图像信息进行提取候选区域；计算候选区域对应的存在遇险人员的置信度，得到遇险人员的目标信息；射频信号发射模块300，安装在遇险人员身上，用于发送求救信号；节点传感模块400，用于检测求救信号；跟踪模块500，被配置为根据求救信号的强度，经过基于接收信号强度定位算法，获取信号强度指示信息；根据信号强度指示信息，利用基于多无人机的巡逻算法，得到遇险人员的定位信息；定期重复获取所述定位信息，得到遇险人员的跟踪定位信息；信息发送模块600，用于将跟踪定位信息发送给搜救船队。
本实施例通过设置检测模块200，提高对图像信息的处理速度和检测遇险人员的准确率；跟踪模块500能通过信号强度指示信息和基于多无人机的巡逻算法，实现对遇险人员的实时跟踪和定位，进一步缩小搜救范围，提高海上救援的效率。
以上，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。

Claims (10)

1.一种基于无人机的海上遇险人员检测和跟踪方法，其特征在于，包括：
获取无人机身上搭载的摄像头拍摄的海上遇险现场的图像信息；
输入所述图像信息至YOLOv3小目标检测模型，提取候选区域；计算所述候选区域对应的存在遇险人员的置信度，根据所述置信度得到遇险人员的目标信息；
根据所述目标信息，测量遇险人员的求救信号，经过基于接收信号强度定位算法，获取信号强度指示信息；
根据所述信号强度指示信息，利用基于多无人机的巡逻算法，得到遇险人员的定位信息；
定期重复获取所述定位信息，得到遇险人员的跟踪定位信息；
将所述跟踪定位信息发送给搜救船队。
2.根据权利要求1所述的基于无人机的海上遇险人员检测和跟踪方法，其特征在于，所述YOLOv3小目标检测模型对单元格的划分进行调整，把所述图像信息划分为21×9个单元格。
3.根据权利要求2所述的基于无人机的海上遇险人员检测和跟踪方法，其特征在于，所述YOLOv3小目标检测模型包括多个3×3的卷积层和多个1×1的卷积层。
4.根据权利要求3所述的基于无人机的海上遇险人员检测和跟踪方法，其特征在于，所述YOLOv3小目标检测模型利用小人物检测数据集进行训练学习。
5.根据权利要求4所述的基于无人机的海上遇险人员检测和跟踪方法，其特征在于，所述YOLOv3小目标检测模型还包括用于保持额外训练集和所述小人物检测数据集尺度一致的尺度匹配算法。
6.根据权利要求4所述的基于无人机的海上遇险人员检测和跟踪方法，其特征在于，所述YOLOv3小目标检测模型还通过多次复制粘贴的方式增强所述图像信息中小目标图像的识别。
7.根据权利要求1所述的基于无人机的海上遇险人员检测和跟踪方法，其特征在于，根据所述信号强度指示信息，利用基于多无人机的巡逻算法，得到遇险人员的定位信息，包括：所述无人机以最大化定期测量所述信号强度指示信息的方式移动，所述信号强度指示信息进行如下的操作处理：
Ri,j(k)＝h(di,j(k))+vi,j(k)
其中，Ri,j(k)是从第j个遇险人员到第i个无人机的测量所述信号强度指示信息的第k个样本，vi,j(k)是零相关且方差为δ2的不相关测量噪声，h(di,j(k))是第j个遇险人员与第i个无人机之间的距离di,j(k)的递减函数，其公式如下：
Figure FDA0002506298790000021
其中，R0是在给定距离d0处的信号强度，α是衰减系数，K为无单位常数；
第j个遇险人员位置向量uv,j(k)进行如下的操作处理：
Ai(k)uv,j(k)＝bi,j(k)
其中，向量bi,j(k)为di,j(k)的平方差向量，矩阵Ai(k)为第i个无人机坐标的位移矩阵。
8.根据权利要求7所述的基于无人机的海上遇险人员检测和跟踪方法，其特征在于，所述遇险人员的定位信息还包括偏差角
Figure FDA0002506298790000031
其计算公式如下：
Figure FDA0002506298790000032
其中，
Figure FDA0002506298790000033
和
Figure FDA0002506298790000034
为利用最小二乘法估计函数导出估计的第j个遇险人员位置矢量
Figure FDA0002506298790000035
的坐标向量。
9.一种应用如权利要求1至8任一项所述的基于无人机的海上遇险人员检测和跟踪系统，其特征在于，包括：
摄像模块，为无人机身上搭载的摄像头，用于获取海上遇险现场的图像信息；
检测模块，被配置为对所述图像信息进行提取候选区域；计算所述候选区域对应的存在遇险人员的置信度，得到遇险人员的目标信息；
射频信号发射模块，安装在所述遇险人员身上，用于发送求救信号；
节点传感模块，用于检测所述求救信号；
跟踪模块，被配置为根据所述求救信号的强度，经过基于接收信号强度定位算法，获取信号强度指示信息；根据所述信号强度指示信息，利用基于多无人机的巡逻算法，得到遇险人员的定位信息；定期重复获取所述定位信息，得到遇险人员的跟踪定位信息；
信息发送模块，用于将所述跟踪定位信息发送给搜救船队。
10.一种存储介质，其特征在于，所述存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至8任一项所述的基于无人机的海上遇险人员检测和跟踪方法。
CN202010447305.2A 2020-05-25 2020-05-25 一种基于无人机的海上遇险人员检测和跟踪方法及其系统 Active CN111709308B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010447305.2A CN111709308B (zh) 2020-05-25 2020-05-25 一种基于无人机的海上遇险人员检测和跟踪方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010447305.2A CN111709308B (zh) 2020-05-25 2020-05-25 一种基于无人机的海上遇险人员检测和跟踪方法及其系统

Publications (2)

Publication Number Publication Date
CN111709308A true CN111709308A (zh) 2020-09-25
CN111709308B CN111709308B (zh) 2021-12-28

Family

ID=72537466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010447305.2A Active CN111709308B (zh) 2020-05-25 2020-05-25 一种基于无人机的海上遇险人员检测和跟踪方法及其系统

Country Status (1)

Country Link
CN (1) CN111709308B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115131357A (zh) * 2022-09-01 2022-09-30 合肥中科类脑智能技术有限公司 一种输电通道挂空悬浮物检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4494119A (en) * 1983-08-04 1985-01-15 122923 Canada Limited Distress radiolocation method and system
US20180329020A1 (en) * 2015-11-06 2018-11-15 Squarehead Technology As Uav detection
CN109960275A (zh) * 2018-08-30 2019-07-02 中宇航通（北京）科技有限公司 一种无人机搜救系统与方法
CN109961460A (zh) * 2018-12-26 2019-07-02 国网浙江省电力有限公司 一种基于改进YOLOv3模型的多目标巡检方法
US20190204416A1 (en) * 2017-12-28 2019-07-04 Furuno Electric Co., Ltd. Target object detecting device, method of detecting a target object and computer readable medium
CN110348304A (zh) * 2019-06-06 2019-10-18 武汉理工大学 一种可搭载于无人机的海事遇险人员搜索系统以及目标识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4494119A (en) * 1983-08-04 1985-01-15 122923 Canada Limited Distress radiolocation method and system
US20180329020A1 (en) * 2015-11-06 2018-11-15 Squarehead Technology As Uav detection
US20190204416A1 (en) * 2017-12-28 2019-07-04 Furuno Electric Co., Ltd. Target object detecting device, method of detecting a target object and computer readable medium
CN109960275A (zh) * 2018-08-30 2019-07-02 中宇航通（北京）科技有限公司 一种无人机搜救系统与方法
CN109961460A (zh) * 2018-12-26 2019-07-02 国网浙江省电力有限公司 一种基于改进YOLOv3模型的多目标巡检方法
CN110348304A (zh) * 2019-06-06 2019-10-18 武汉理工大学 一种可搭载于无人机的海事遇险人员搜索系统以及目标识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115131357A (zh) * 2022-09-01 2022-09-30 合肥中科类脑智能技术有限公司 一种输电通道挂空悬浮物检测方法
CN115131357B (zh) * 2022-09-01 2022-11-08 合肥中科类脑智能技术有限公司 一种输电通道挂空悬浮物检测方法

Also Published As

Publication number Publication date
CN111709308B (zh) 2021-12-28

Similar Documents

Publication Publication Date Title
Shao et al. Saliency-aware convolution neural network for ship detection in surveillance video
CN108460382B (zh) 基于深度学习单步检测器的光学遥感图像舰船检测方法
CN111738112B (zh) 基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法
CN109598241B (zh) 基于Faster R-CNN的卫星图像海上舰船识别方法
CN110378308B (zh) 改进的基于Faster R-CNN的港口SAR图像近岸舰船检测方法
CN110889324A (zh) 一种基于yolo v3面向末端制导的热红外图像目标识别方法
US20220024549A1 (en) System and method for measuring the distance to an object in water
CN109919026B (zh) 一种水面无人艇局部路径规划方法
CN110287837A (zh) 基于先验估计网络和空间约束混合模型的海面障碍物检测方法
CN111723632B (zh) 一种基于孪生网络的船舶跟踪方法及系统
CN113177593B (zh) 一种水上交通环境中雷达点云与影像数据的融合方法
CN111273378A (zh) 一种基于风应力扰动的台风中心定位方法
CN110751077B (zh) 一种基于部件匹配与距离约束的光学遥感图片船舶检测方法
Guo et al. Fusion of ship perceptual information for electronic navigational chart and radar images based on deep learning
CN110298855B (zh) 一种基于高斯混合模型和纹理分析的海天线检测方法
CN111709308B (zh) 一种基于无人机的海上遇险人员检测和跟踪方法及其系统
Lyu et al. Sea-surface object detection based on electro-optical sensors: A review
Chen et al. A novel scheme for extracting sea surface wind information from rain-contaminated x-band marine radar images
Petković et al. An overview on horizon detection methods in maritime video surveillance
Liu et al. Moving Ship Optimal Association for Maritime Surveillance: Fusing AIS and Sentinel-2 Data
Shi et al. Obstacle type recognition in visual images via dilated convolutional neural network for unmanned surface vehicles
CN113933828A (zh) 一种无人艇环境自适应多尺度目标检测方法及系统
CN111311640B (zh) 一种基于运动估计的无人机识别跟踪方法
CN114445572B (zh) 一种基于DeeplabV3+的陌生海域中障碍物即时定位与地图构建方法
CN115187959B (zh) 一种基于双目视觉的飞行汽车山地着陆方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211117

Address after: 529100 No. e07-3-9, East District, Xinhui Economic Development Zone, Xinhui District, Jiangmen City, Guangdong Province (workshop)

Applicant after: Future aviation technology (Jiangmen) Co.,Ltd.

Address before: No.22, Dongcheng village, Pengjiang district, Jiangmen City, Guangdong Province

Applicant before: WUYI University

GR01 Patent grant
GR01 Patent grant