CN113743385A - 一种无人船水面目标检测方法、装置及无人船 - Google Patents

一种无人船水面目标检测方法、装置及无人船 Download PDF

Info

Publication number
CN113743385A
CN113743385A CN202111306079.7A CN202111306079A CN113743385A CN 113743385 A CN113743385 A CN 113743385A CN 202111306079 A CN202111306079 A CN 202111306079A CN 113743385 A CN113743385 A CN 113743385A
Authority
CN
China
Prior art keywords
water surface
surface target
target
unmanned ship
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111306079.7A
Other languages
English (en)
Inventor
程宇威
朱健楠
毛文杰
池雨豪
虞梦苓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Orca Electronic Intelligent Technology Co ltd
Original Assignee
Shaanxi Orca Electronic Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Orca Electronic Intelligent Technology Co ltd filed Critical Shaanxi Orca Electronic Intelligent Technology Co ltd
Priority to CN202111306079.7A priority Critical patent/CN113743385A/zh
Publication of CN113743385A publication Critical patent/CN113743385A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种无人船水面目标检测方法、装置及无人船，其中方法包括标定无人船的传感器的内外参；采集无人船航行时的实时传感器数据，并进行时间配准；实时检测无人船航行时水面目标的存在性；当检测到存在水面目标时，则对水面目标进行持续追踪；对雷达数据进行预处理；将预处理后的雷达点云投影到对应的图像上；将对水面目标进行持续追踪的跟踪结果与投影的雷达点云进行匹配；计算匹配水面目标与无人船的相对位置关系。本发明通过多传感器融合可以避免单一传感器的局限性，获取更多的信息，提高目标识别的能力，对水面目标的识别和检测更加精准。

Description

一种无人船水面目标检测方法、装置及无人船
技术领域
本发明涉及无人船，更具体地说是一种无人船水面目标检测方法、装置及无人船。
背景技术
目前，随着无人驾驶技术的日渐成熟，水面无人驾驶技术越来越受到广大学者的关注和重视。水面无人船是一种具备高扩展性的水面任务平台，其能搭载不同的设备从而实现不同的任务需求。水面无人作业环境复杂，气候多变，高鲁棒的全天候(指全天气候变化多样)全自动目标检测、识别、跟踪，是保障船只安全航行和执行任务的关键技术，其通常通过搭载的光学摄像机、毫米波雷达等传感设备实现。
不同于陆地无人驾驶，水面无人船航行过程中受波浪影响导致成像晃动，从而致使检测和跟踪失败；雨雾、光照等，也严重影响光学成像设备图像的分析和判断。同时，由于传感器自身局限性，单目相机可以获取目标的类别信息，却难以获取目标精确的距离和方位；毫米波雷达可以获取目标精确的距离方位，却难以获取目标的准确类别。因此，针对无人船搭载传感器的自身特性及应用场景需求，有必要设计一种多传感器决策级融合的无人船水面目标检测方法。
发明内容
本发明的目的在于克服现有技术的不足，提供一种无人船水面目标检测方法、装置及无人船。
为实现上述目的，本发明采用以下技术方案：
第一方面，一种无人船水面目标检测方法，所述方法包括：
标定无人船的传感器的内外参；
采集无人船航行时的实时传感器数据，并进行时间配准；
实时检测无人船航行时水面目标的存在性；
当检测到存在水面目标时，则对水面目标进行持续追踪；
对雷达数据进行预处理；
将预处理后的雷达点云投影到对应的图像上；
将对水面目标进行持续追踪的跟踪结果与投影的雷达点云进行匹配；
计算匹配水面目标与无人船的相对位置关系。
其进一步技术方案为：所述的实时检测无人船航行时水面目标的存在性，具体包括：
初始化训练好的目标检测网络；
对采集到的水面图像进行等比例缩放，以将水面图像信息转化为满足目标检测网络输入数据要求的图像信息数据；
将图像信息数据输入训练好的目标检测网络中；
目标检测网络对接收到的图像信息数据进行特征提取和对接收到的图像信息数据中的水面目标的位置进行预测；
对目标检测网络预测的水面目标的位置框坐标信息进行选择性输出；
将筛选之后的目标检测网络预测的水面目标的位置框坐标信息输出并生成水面目标的图像边界框。
其进一步技术方案为：所述的初始化训练好的目标检测网络中，所述目标检测网络是通过预先采集并已经标明了水面目标的图像信息数据进行训练，观察训练过程中的损失函数Loss的值，得到适应使用场景并且能够正确提取图像数据中水面目标的模型文件。
其进一步技术方案为：所述的目标检测网络对接收到的图像信息数据进行特征提取和对接收到的图像信息数据中的水面目标的位置进行预测，根据接收到的图像信息数据中存储的权重参数的权重值对图像信息数据进行特征提取，并且得出图像中有可能是水面目标的图像区域的位置坐标以及对做出该预测的置信度。
其进一步技术方案为：所述的对目标检测网络预测的水面目标的位置框坐标信息进行选择性输出，具体包括：
判断得出的预测的置信度的值是否大于设定的置信度的值；
若是，则判定目标检测网络预测到的水面目标是真实存在的，且图像信息数据中的位置坐标也是真实的；
若否，则判定目标检测网络预测到的水面目标是不真实存在的，并将该次的预测值屏蔽不予采用。
其进一步技术方案为：所述的对水面目标进行持续追踪，具体包括：
将采集到的图像信息数据中的连续多帧图片通过卷积神经网络提取多帧图片间的相似度度量特征；
利用最大匹配，得到多帧图片间的相同目标对准；
通过卡尔曼滤波和匈牙利算法结合，得到目标追踪轨迹。
其进一步技术方案为：所述的对雷达数据进行预处理，具体包括：
通过滤波算法滤除单帧雷达点云的杂点；
将当前帧与前两帧点云进行合并后进行聚类。
第二方面，一种无人船水面目标检测装置，所述装置包括标定单元、采集单元、检测单元、追踪单元、预处理单元、投影单元、匹配单元以及计算单元；
标定单元，用于标定无人船的传感器的内外参；
采集单元，用于采集无人船航行时的实时传感器数据，并进行时间配准；
检测单元，用于实时检测无人船航行时水面目标的存在性；
追踪单元，用于当检测到存在水面目标时，则对水面目标进行持续追踪；
预处理单元，用于对雷达数据进行预处理；
投影单元，用于将预处理后的雷达点云投影到对应的图像上；
匹配单元，用于将对水面目标进行持续追踪的跟踪结果与投影的雷达点云进行匹配；
计算单元，用于计算匹配水面目标与无人船的相对位置关系。
第三方面，一种无人船，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的一种无人船水面目标检测方法步骤。
第四方面，一种存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时，使得所述处理器执行如上述的一种无人船水面目标检测方法步骤。
本发明与现有技术相比的有益效果是：本发明通过多传感器融合可以避免单一传感器的局限性，获取更多的信息，提高目标识别的能力，对水面目标的识别和检测更加精准。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明技术手段，可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征及优点能够更明显易懂，以下特举较佳实施例，详细说明如下。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种无人船水面目标检测方法具体实施例的流程图；
图2为本发明一种无人船水面目标检测装置具体实施例结构示意性框图；
图3为本发明一种无人船具体实施例的示意性框图。
具体实施方式
下面将结合本发明具体实施例，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和权利要求书中使用时，术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
本发明公开了一种无人船水面目标检测方法，请参考图1，该方法包括以下步骤：
S10、标定无人船的传感器的内外参。
内外参（即内参数和外参数）的标定即是通过变换方法将一种传感器的数据映射到另一种传感器数据空间上，使两种传感器数据中世界坐标系下同一空间点一一对应。
S20、采集无人船航行时的实时传感器数据，并进行时间配准。
时间配准是指利用算法得到两种或多种传感器在同一时间下的结果，该结果用于进行数据变换与目标匹配。
S30、实时检测无人船航行时水面目标的存在性。
在实际的应用场景中，水面目标是指水平漂浮垃圾。利用无人船搭载的单目相机实时获取视频流，通过视觉目标检测模块，采用深度学习的方法，提取水面目标图像的特征信息，生成水面目标的图像边界框。
无人船使用的深度学习的方法，是机器学习的一种。深度学习通过组合底层特征形成更为抽象的高层表示属性类别或特征，从而发现数据的分布式特征表示。在无人船所需要执行的水面目标的目标检测任务中，使用了yolov3的深度学习模型来完成这一任务。
在一些实施例中，步骤S30具体包括以下步骤：
S301、初始化训练好的目标检测网络。
本实施例中，目标检测网络为yolov3深度学习模型，初始化已经训练成熟的yolov3深度学习模型。对yolov3深度学习模型的训练是通过预先采集并已经标明了水面目标的yolov3深度学习模型进行训练，观察训练过程中的损失函数Loss的值，得到适应使用场景并且能够正确提取图像数据中水面目标的模型文件。其中Loss的计算公式如下:
Figure 433797DEST_PATH_IMAGE001
通过Loss的值来判断整个模型是否完成训练。其中S表示grid size,
Figure 422482DEST_PATH_IMAGE002
表示但不限于
Figure 971275DEST_PATH_IMAGE003
，B代表box,
Figure 137945DEST_PATH_IMAGE004
表示如果i，j处的box没有目标，其值为1，否则为0；x、y、w、h分别表示预测边界框相对于图像左上角的中心点坐标及相对于图像宽高的比例；c表示类别，
Figure 873820DEST_PATH_IMAGE005
为缩放系数。
S302、对采集到的水面图像进行等比例缩放，以将水面图像信息转化为满足目标检测网络输入数据要求的图像信息数据。
S303、将图像信息数据输入训练好的目标检测网络中。
将预处理后的图像数据image输入训练好的yolov3深度学习模型中。
S304、目标检测网络对接收到的图像信息数据进行特征提取和对接收到的图像信息数据中的水面目标的位置进行预测。
yolov3深度学习模型对接收到的image数据进行特征提取和对image数据中水面目标的位置进行预测。当image数据被输入到深度学习模型中时，深度学习模型开始根据其中存储的权重参数的权重值对image数据进行特征提取，并且得出图像中有可能是水面目标的图像区域的位置坐标以及对做出该预测的置信度。
S305、对目标检测网络预测的水面目标的位置框坐标信息进行选择性输出。
根据设定的检测可信度阈值对yolov3深度学习模型预测的水面目标的位置框信息进行选择性输出。
在一些实施例中，步骤S305具体包括以下步骤：
S3051、判断得出的预测的置信度的值是否大于设定的置信度的值；若是，则执行步骤S3052，若否，则执行步骤S3053。
S3052、则判定目标检测网络预测到的水面目标是真实存在的，且图像信息数据中的位置坐标也是真实的；
S3053、则判定目标检测网络预测到的水面目标是不真实存在的，并将该次的预测值屏蔽不予采用。
对于步骤S3051、S3052、S3053，在yolov3深度学习模型输出了位置坐标和预测的置信度后，判断输出的得出的预测的置信度的值是否大于设定的置信度的值，若是，则认为模型预测到的水面目标是真实存在的，并且在image中的位置坐标也是真实的。反之，则认为模型预测到的水面目标不是真实存在的，将这该预测值屏蔽不予采用。
S306、将筛选之后的目标检测网络预测的水面目标的位置框坐标信息输出并生成水面目标的图像边界框。
S40、当检测到存在水面目标时，则对水面目标进行持续追踪。
水面目标进行持续追踪通过目标追踪模块来实现，将连续多帧图片的目标检测结果作为输入，通过卷积神经网络提取多帧图片间的相似度度量特征，利用最大匹配，实现多帧间的相同目标对准。最后，通过卡尔曼滤波器实现目标追踪轨迹输出。
在一些实施例中，步骤S40具体包括以下步骤：
S401、将采集到的图像信息数据中的连续多帧图片通过卷积神经网络提取多帧图片间的相似度度量特征；
S402、利用最大匹配，得到多帧图片间的相同目标对准；
S403、通过卡尔曼滤波和匈牙利算法结合，得到目标追踪轨迹。
对于步骤S401、S402、S403，通过图像信息数据中某一帧图像数据中得到了图像边界框，则将得到的图像边界框初始化为目标追踪模块中的跟踪序列。目标追踪模块首先利用提前训练过的CNN卷积神经网络提取每一个图像边界框的特征,然后再过滤掉置信度小于目标追踪模块设定的置信度的图像边界框，最后再生成目标追踪模块中需要的跟踪序列并创建标注id。上述目标追踪模块网络的模型训练与上述的yolov3深度学习模型权重训练相似。
使用卡尔曼滤波预测前一帧中的跟踪序列在当前帧的状态。后面帧进来后，首先用基于外观信息的马氏距离计算跟踪序列和检测结果边界框的代价矩阵，然后相继对跟踪序列和边界框的代价矩阵进行级联匹配和IOU(Intersection-over-Union,IoU,交并比)匹配,最后得到当前帧的所有匹配对、未匹配的跟踪序列以及未匹配的边界框。
用本帧中匹配到的目标检测每一个图像边界框去更新卡尔曼跟踪器，计算卡尔曼增益K，状态更新和协方差更新，并将状态更新值输出，作为本帧的跟踪的每一个图像边界框，对于本帧中没有匹配到的目标重新初始化跟踪器。
S50、对雷达数据进行预处理。
在一些实施例中，步骤S50具体包括以下步骤：
S501、通过滤波算法滤除单帧雷达点云的杂点；
S502、将当前帧与前两帧点云进行合并后进行聚类。
对于步骤S501、S502，通过滤波算法滤除单帧毫米波雷达点云的杂点，并将当前帧与前两帧点云进行合并提高点的数量，然后进行聚类，使不同目标点云之间界限更加清晰。
S60、将预处理后的雷达点云投影到对应的图像上。
毫米波雷达与单目相机的变换矩阵是在IMU（Inertial Measurement Unit，惯性测量单元）俯仰角度为0的情况下获得，故标定获得的毫米波雷达-单目相机之间的旋转、平移矩阵，将处理后的毫米波雷达点云投影到对应的图像上，并根据IMU的俯仰信息进行补偿。
S70、将对水面目标进行持续追踪的跟踪结果与投影的雷达点云进行匹配。
毫米波雷达点云投影到对应的图像上后，得到的目标框与目标真实点云投影后的最小外接框由于标定误差的存在并不能严格对齐，故通过匈牙利算法、IOU、和最大最小像素距离，实现视觉目标与投影后点云的一一匹配。
S80、计算匹配水面目标与无人船的相对位置关系。
通过步骤S70中的结果，可以获取到视觉检测类别信息（如瓶子、船只等）及对应的点云坐标，根据毫米波雷达点云三维坐标及其与无人船坐标系的相对关系，即可得到目标与无人船的相对位置关系（∆x,∆y）。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
对应于上述的一种无人船水面目标检测方法，本发明具体实施例还提供了一种无人船水面目标检测装置。
请参考图2，一种无人船水面目标检测装置，该装置包括标定单元1、采集单元2、检测单元3、追踪单元4、预处理单元5、投影单元6、匹配单元7以及计算单元8；
标定单元1，用于标定无人船的传感器的内外参；
采集单元2，用于采集无人船航行时的实时传感器数据，并进行时间配准；
检测单元3，用于实时检测无人船航行时水面目标的存在性；
追踪单元4，用于当检测到存在水面目标时，则对水面目标进行持续追踪；
预处理单元5，用于对雷达数据进行预处理；
投影单元6，用于将预处理后的雷达点云投影到对应的图像上；
匹配单元7，用于将对水面目标进行持续追踪的跟踪结果与投影的雷达点云进行匹配；
计算单元8，用于计算匹配水面目标与无人船的相对位置关系。
在一些实施例中，检测单元3包括初始化模块、比例缩放模块、输入模块、特征提取模块、选择性输出模块以及生成模块；
初始化模块，用于初始化训练好的目标检测网络；
比例缩放模块，用于对采集到的水面图像进行等比例缩放，以将水面图像信息转化为满足目标检测网络输入数据要求的图像信息数据；
输入模块，用于将图像信息数据输入训练好的目标检测网络中；
特征提取模块，用于目标检测网络对接收到的图像信息数据进行特征提取和对接收到的图像信息数据中的水面目标的位置进行预测；
选择性输出模块，用于对目标检测网络预测的水面目标的位置框坐标信息进行选择性输出；
生成模块，用于将筛选之后的目标检测网络预测的水面目标的位置框坐标信息输出并生成水面目标的图像边界框。
在一些实施例中，选择性输出模块包括判断子模块、第一判定子模块以及第二判定子模块；
判断子模块，用于判断得出的预测的置信度的值是否大于设定的置信度的值；
第一判定子模块，用于判定目标检测网络预测到的水面目标是真实存在的，且图像信息数据中的位置坐标也是真实的；
第二判定子模块，用于判定目标检测网络预测到的水面目标是不真实存在的，并将该次的预测值屏蔽不予采用。
在一些实施例中，追踪单元4包括提取模块、第一计算模块以及第二计算模块；
提取模块，用于将采集到的图像信息数据中的连续多帧图片通过卷积神经网络提取多帧图片间的相似度度量特征；
第一计算模块，用于利用最大匹配，得到多帧图片间的相同目标对准；
第二计算模块，用于通过卡尔曼滤波和匈牙利算法结合，得到目标追踪轨迹。
在一些实施例中，预处理单元5包括消除模块以及合并模块；
消除模块，用于通过滤波算法滤除单帧雷达点云的杂点；
合并模块，用于将当前帧与前两帧点云进行合并后进行聚类。
如图3所示，本发明具体实施例还提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述的一种无人船水面目标检测方法步骤。
该计算机设备700可以是终端或服务器。该计算机设备700包括通过系统总线710连接的处理器720、存储器和网络接口750，其中，存储器可以包括非易失性存储介质730和内存储器740。
该非易失性存储介质730可存储操作系统731和计算机程序732。该计算机程序732被执行时，可使得处理器720执行任意一种无人船水面目标检测方法。
该处理器720用于提供计算和控制能力，支撑整个计算机设备700的运行。
该内存储器740为非易失性存储介质730中的计算机程序732的运行提供环境，该计算机程序732被处理器720执行时，可使得处理器720执行任意一种无人船水面目标检测方法。
该网络接口750用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备700的限定，具体的计算机设备700可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。其中，所述处理器720用于运行存储在存储器中的程序代码，以实现以下步骤：
标定无人船的传感器的内外参；
采集无人船航行时的实时传感器数据，并进行时间配准；
实时检测无人船航行时水面目标的存在性；
当检测到存在水面目标时，则对水面目标进行持续追踪；
对雷达数据进行预处理；
将预处理后的雷达点云投影到对应的图像上；
将对水面目标进行持续追踪的跟踪结果与投影的雷达点云进行匹配；
计算匹配水面目标与无人船的相对位置关系。
其进一步技术方案为：所述的实时检测无人船航行时水面目标的存在性，具体包括：
初始化训练好的目标检测网络；
对采集到的水面图像进行等比例缩放，以将水面图像信息转化为满足目标检测网络输入数据要求的图像信息数据；
将图像信息数据输入训练好的目标检测网络中；
目标检测网络对接收到的图像信息数据进行特征提取和对接收到的图像信息数据中的水面目标的位置进行预测；
对目标检测网络预测的水面目标的位置框坐标信息进行选择性输出；
将筛选之后的目标检测网络预测的水面目标的位置框坐标信息输出并生成水面目标的图像边界框。
其进一步技术方案为：所述的初始化训练好的目标检测网络中，所述目标检测网络是通过预先采集并已经标明了水面目标的图像信息数据进行训练，观察训练过程中的损失函数Loss的值，得到适应使用场景并且能够正确提取图像数据中水面目标的模型文件。
其进一步技术方案为：所述的目标检测网络对接收到的图像信息数据进行特征提取和对接收到的图像信息数据中的水面目标的位置进行预测，根据接收到的图像信息数据中存储的权重参数的权重值对图像信息数据进行特征提取，并且得出图像中有可能是水面目标的图像区域的位置坐标以及对做出该预测的置信度。
其进一步技术方案为：所述的对目标检测网络预测的水面目标的位置框坐标信息进行选择性输出，具体包括：
判断得出的预测的置信度的值是否大于设定的置信度的值；
若是，则判定目标检测网络预测到的水面目标是真实存在的，且图像信息数据中的位置坐标也是真实的；
若否，则判定目标检测网络预测到的水面目标是不真实存在的，并将该次的预测值屏蔽不予采用。
其进一步技术方案为：所述的对水面目标进行持续追踪，具体包括：
将采集到的图像信息数据中的连续多帧图片通过卷积神经网络提取多帧图片间的相似度度量特征；
利用最大匹配，得到多帧图片间的相同目标对准；
通过卡尔曼滤波和匈牙利算法结合，得到目标追踪轨迹。
其进一步技术方案为：所述的对雷达数据进行预处理，具体包括：
通过滤波算法滤除单帧雷达点云的杂点；
将当前帧与前两帧点云进行合并后进行聚类。
应当理解，在本申请实施例中，处理器720可以是中央处理单元 (CentralProcessing Unit，CPU)，该处理器720还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路 (Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域技术人员可以理解，图3中示出的计算机设备700结构并不构成对计算机设备700的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明中各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述装置中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
综上：本发明通过多传感器融合可以避免单一传感器的局限性，获取更多的信息，提高目标识别的能力，对水面目标的识别和检测更加精准。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种无人船水面目标检测方法，其特征在于，所述方法包括：
标定无人船的传感器的内外参；
采集无人船航行时的实时传感器数据，并进行时间配准；
实时检测无人船航行时水面目标的存在性；
当检测到存在水面目标时，则对水面目标进行持续追踪；
对雷达数据进行预处理；
将预处理后的雷达点云投影到对应的图像上；
将对水面目标进行持续追踪的跟踪结果与投影的雷达点云进行匹配；
计算匹配水面目标与无人船的相对位置关系。
2.根据权利要求1所述的一种无人船水面目标检测方法，其特征在于，所述的实时检测无人船航行时水面目标的存在性，具体包括：
初始化训练好的目标检测网络；
对采集到的水面图像进行等比例缩放，以将水面图像信息转化为满足目标检测网络输入数据要求的图像信息数据；
将图像信息数据输入训练好的目标检测网络中；
目标检测网络对接收到的图像信息数据进行特征提取和对接收到的图像信息数据中的水面目标的位置进行预测；
对目标检测网络预测的水面目标的位置框坐标信息进行选择性输出；
将筛选之后的目标检测网络预测的水面目标的位置框坐标信息输出并生成水面目标的图像边界框。
3.根据权利要求2所述的一种无人船水面目标检测方法，其特征在于，所述的初始化训练好的目标检测网络中，所述目标检测网络是通过预先采集并已经标明了水面目标的图像信息数据进行训练，观察训练过程中的损失函数Loss的值，得到适应使用场景并且能够正确提取图像数据中水面目标的模型文件。
4.根据权利要求3所述的一种无人船水面目标检测方法，其特征在于，所述的目标检测网络对接收到的图像信息数据进行特征提取和对接收到的图像信息数据中的水面目标的位置进行预测，根据接收到的图像信息数据中存储的权重参数的权重值对图像信息数据进行特征提取，并且得出图像中有可能是水面目标的图像区域的位置坐标以及对做出该预测的置信度。
5.根据权利要求4所述的一种无人船水面目标检测方法，其特征在于，所述的对目标检测网络预测的水面目标的位置框坐标信息进行选择性输出，具体包括：
判断得出的预测的置信度的值是否大于设定的置信度的值；
若是，则判定目标检测网络预测到的水面目标是真实存在的，且图像信息数据中的位置坐标也是真实的；
若否，则判定目标检测网络预测到的水面目标是不真实存在的，并将该次的预测值屏蔽不予采用。
6.根据权利要求2所述的一种无人船水面目标检测方法，其特征在于，所述的对水面目标进行持续追踪，具体包括：
将采集到的图像信息数据中的连续多帧图片通过卷积神经网络提取多帧图片间的相似度度量特征；
利用最大匹配，得到多帧图片间的相同目标对准；
通过卡尔曼滤波和匈牙利算法结合，得到目标追踪轨迹。
7.根据权利要求1所述的一种无人船水面目标检测方法，其特征在于，所述的对雷达数据进行预处理，具体包括：
通过滤波算法滤除单帧雷达点云的杂点；
将当前帧与前两帧点云进行合并后进行聚类。
8.一种无人船水面目标检测装置，其特征在于，所述装置包括标定单元、采集单元、检测单元、追踪单元、预处理单元、投影单元、匹配单元以及计算单元；
标定单元，用于标定无人船的传感器的内外参；
采集单元，用于采集无人船航行时的实时传感器数据，并进行时间配准；
检测单元，用于实时检测无人船航行时水面目标的存在性；
追踪单元，用于当检测到存在水面目标时，则对水面目标进行持续追踪；
预处理单元，用于对雷达数据进行预处理；
投影单元，用于将预处理后的雷达点云投影到对应的图像上；
匹配单元，用于将对水面目标进行持续追踪的跟踪结果与投影的雷达点云进行匹配；
计算单元，用于计算匹配水面目标与无人船的相对位置关系。
9.一种无人船，其特征在于，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～7中任意一项所述的一种无人船水面目标检测方法步骤。
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时，使得所述处理器执行如权利要求1～7任意一项所述的一种无人船水面目标检测方法步骤。
CN202111306079.7A 2021-11-05 2021-11-05 一种无人船水面目标检测方法、装置及无人船 Pending CN113743385A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111306079.7A CN113743385A (zh) 2021-11-05 2021-11-05 一种无人船水面目标检测方法、装置及无人船

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111306079.7A CN113743385A (zh) 2021-11-05 2021-11-05 一种无人船水面目标检测方法、装置及无人船

Publications (1)

Publication Number Publication Date
CN113743385A true CN113743385A (zh) 2021-12-03

Family

ID=78727548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111306079.7A Pending CN113743385A (zh) 2021-11-05 2021-11-05 一种无人船水面目标检测方法、装置及无人船

Country Status (1)

Country Link
CN (1) CN113743385A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359967A (zh) * 2022-01-10 2022-04-15 杭州巨岩欣成科技有限公司 泳池防溺水人体目标检测方法、装置、计算机设备及存储介质
CN115639536A (zh) * 2022-11-18 2023-01-24 陕西欧卡电子智能科技有限公司 基于多传感器融合的无人船感知目标检测方法及装置
CN116106853A (zh) * 2023-04-12 2023-05-12 陕西欧卡电子智能科技有限公司 基于毫米波雷达的水面场景目标动静状态识别方法
CN116430338A (zh) * 2023-03-20 2023-07-14 北京中科创益科技有限公司 一种移动目标的追踪方法、系统及设备
CN117218212A (zh) * 2023-11-09 2023-12-12 杭州巨岩欣成科技有限公司 相机标定自适应调整方法、装置、计算机设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109444911A (zh) * 2018-10-18 2019-03-08 哈尔滨工程大学 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法
CN110246159A (zh) * 2019-06-14 2019-09-17 湖南大学 基于视觉和雷达信息融合的3d目标运动分析方法
CN110675431A (zh) * 2019-10-08 2020-01-10 中国人民解放军军事科学院国防科技创新研究院 一种融合图像和激光点云的三维多目标跟踪方法
CN110823252A (zh) * 2019-11-06 2020-02-21 大连理工大学 一种多线激光雷达和单目视觉的自动标定方法
CN110942449A (zh) * 2019-10-30 2020-03-31 华南理工大学 一种基于激光与视觉融合的车辆检测方法
CN111862157A (zh) * 2020-07-20 2020-10-30 重庆大学 一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法
CN111958595A (zh) * 2020-08-13 2020-11-20 成都理工大学 一种变电站巡检机器人多传感器异步信息融合系统及方法
CN112102369A (zh) * 2020-09-11 2020-12-18 陕西欧卡电子智能科技有限公司 水面漂浮目标自主巡检方法、装置、设备及存储介质
CN112207804A (zh) * 2020-12-07 2021-01-12 国网瑞嘉(天津)智能机器人有限公司 带电作业机器人及多传感器识别定位方法
CN112233097A (zh) * 2020-10-19 2021-01-15 中国科学技术大学 基于空时域多维融合的道路场景他车检测系统和方法
CN112308881A (zh) * 2020-11-02 2021-02-02 西安电子科技大学 一种基于遥感图像的舰船多目标跟踪方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109444911A (zh) * 2018-10-18 2019-03-08 哈尔滨工程大学 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法
CN110246159A (zh) * 2019-06-14 2019-09-17 湖南大学 基于视觉和雷达信息融合的3d目标运动分析方法
CN110675431A (zh) * 2019-10-08 2020-01-10 中国人民解放军军事科学院国防科技创新研究院 一种融合图像和激光点云的三维多目标跟踪方法
CN110942449A (zh) * 2019-10-30 2020-03-31 华南理工大学 一种基于激光与视觉融合的车辆检测方法
CN110823252A (zh) * 2019-11-06 2020-02-21 大连理工大学 一种多线激光雷达和单目视觉的自动标定方法
CN111862157A (zh) * 2020-07-20 2020-10-30 重庆大学 一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法
CN111958595A (zh) * 2020-08-13 2020-11-20 成都理工大学 一种变电站巡检机器人多传感器异步信息融合系统及方法
CN112102369A (zh) * 2020-09-11 2020-12-18 陕西欧卡电子智能科技有限公司 水面漂浮目标自主巡检方法、装置、设备及存储介质
CN112233097A (zh) * 2020-10-19 2021-01-15 中国科学技术大学 基于空时域多维融合的道路场景他车检测系统和方法
CN112308881A (zh) * 2020-11-02 2021-02-02 西安电子科技大学 一种基于遥感图像的舰船多目标跟踪方法
CN112207804A (zh) * 2020-12-07 2021-01-12 国网瑞嘉(天津)智能机器人有限公司 带电作业机器人及多传感器识别定位方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359967A (zh) * 2022-01-10 2022-04-15 杭州巨岩欣成科技有限公司 泳池防溺水人体目标检测方法、装置、计算机设备及存储介质
CN115639536A (zh) * 2022-11-18 2023-01-24 陕西欧卡电子智能科技有限公司 基于多传感器融合的无人船感知目标检测方法及装置
CN116430338A (zh) * 2023-03-20 2023-07-14 北京中科创益科技有限公司 一种移动目标的追踪方法、系统及设备
CN116430338B (zh) * 2023-03-20 2024-05-10 北京中科创益科技有限公司 一种移动目标的追踪方法、系统及设备
CN116106853A (zh) * 2023-04-12 2023-05-12 陕西欧卡电子智能科技有限公司 基于毫米波雷达的水面场景目标动静状态识别方法
CN116106853B (zh) * 2023-04-12 2023-09-01 陕西欧卡电子智能科技有限公司 基于毫米波雷达的水面场景目标动静状态识别方法
CN117218212A (zh) * 2023-11-09 2023-12-12 杭州巨岩欣成科技有限公司 相机标定自适应调整方法、装置、计算机设备及存储介质
CN117218212B (zh) * 2023-11-09 2024-02-13 杭州巨岩欣成科技有限公司 相机标定自适应调整方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN109740665B (zh) 基于专家知识约束的遮挡图像船只目标检测方法及系统
CN113743385A (zh) 一种无人船水面目标检测方法、装置及无人船
CN111862201B (zh) 一种基于深度学习的空间非合作目标相对位姿估计方法
US11403860B1 (en) Multi-sensor object detection fusion system and method using point cloud projection
Henson et al. Attitude-trajectory estimation for forward-looking multibeam sonar based on acoustic image registration
WO2018127539A1 (en) Methods and devices for extracting an object from a video sequence
CN114782499A (zh) 一种基于光流和视图几何约束的图像静态区域提取方法及装置
US20220277581A1 (en) Hand pose estimation method, device and storage medium
CN114325634A (zh) 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法
CN113177593A (zh) 一种水上交通环境中雷达点云与影像数据的融合方法
He et al. Ground and aerial collaborative mapping in urban environments
CN112652020A (zh) 一种基于AdaLAM算法的视觉SLAM方法
CN117523461B (zh) 一种基于机载单目相机的运动目标跟踪与定位方法
Cheng et al. C 2-YOLO: Rotating Object Detection Network for Remote Sensing Images with Complex Backgrounds
Wang et al. 3D-LIDAR based branch estimation and intersection location for autonomous vehicles
Li et al. Sea–sky line detection using gray variation differences in the time domain for unmanned surface vehicles
CN113933828A (zh) 一种无人艇环境自适应多尺度目标检测方法及系统
Petković et al. An overview on horizon detection methods in maritime video surveillance
CN116844124A (zh) 三维目标检测框标注方法、装置、电子设备和存储介质
CN117132649A (zh) 人工智能融合北斗卫星导航的船舶视频定位方法及装置
CN110826575A (zh) 一种基于机器学习的水下目标识别方法
CN115861352A (zh) 单目视觉、imu和激光雷达的数据融合和边缘提取方法
Sulaj et al. Examples of real-time UAV data processing with cloud computing
CN112766100A (zh) 一种基于关键点的3d目标检测方法
Rocha et al. Beyond Land: A Review of Benchmarking Datasets, Algorithms, and Metrics for Visual-Based Ship Tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination