CN114926726B - 基于多任务网络的无人船感知方法及相关设备 - Google Patents

基于多任务网络的无人船感知方法及相关设备 Download PDF

Info

Publication number
CN114926726B
CN114926726B CN202210854459.2A CN202210854459A CN114926726B CN 114926726 B CN114926726 B CN 114926726B CN 202210854459 A CN202210854459 A CN 202210854459A CN 114926726 B CN114926726 B CN 114926726B
Authority
CN
China
Prior art keywords
data
perception
network
ship
unmanned ship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210854459.2A
Other languages
English (en)
Other versions
CN114926726A (zh
Inventor
程宇威
朱健楠
许浒
池雨豪
虞梦苓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Orca Electronic Intelligent Technology Co ltd
Original Assignee
Shaanxi Orca Electronic Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Orca Electronic Intelligent Technology Co ltd filed Critical Shaanxi Orca Electronic Intelligent Technology Co ltd
Priority to CN202210854459.2A priority Critical patent/CN114926726B/zh
Publication of CN114926726A publication Critical patent/CN114926726A/zh
Application granted granted Critical
Publication of CN114926726B publication Critical patent/CN114926726B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于多任务网络的无人船感知方法及相关设备，方法包括，使用无人船的传感器采集不同条件下的水域场景原始数据；将水域场景原始数据转化为多任务感知网络训练数据；根据多任务感知网络训练数据对多任务感知网络进行训练，得到训练好的多任务感知网络模型；无人船实时运行训练好的多任务感知模型，得到初步感知结果，包含目标检测、水域岸边分界线分割、摄像头脏污识别、船只运动预测、水面垃圾识别、深度估计；对多任务感知模型的感知结果进行融合，得到融合感知结果。本发明的有益效果在于：相对于多个单任务网络相比，多任务网络节约了计算资源又提高了感知的鲁棒性，大大提高了无人船感知环境的准确率和效率。

Description

基于多任务网络的无人船感知方法及相关设备
技术领域
本发明涉及无人船感知技术领域，尤其是指一种基于多任务网络的无人船感知方法及相关设备。
背景技术
无人船在执行水面自动驾驶任务时往往需要面对复杂水域场景，对于无人船的规划决策系统而言，需要获取多种感知结果，从而更好地在复杂水域场景进行无人船路径规划。无人船为了实现实时的多种感知结果的获取，需要在无人船嵌入式系统中并行检测多种感知网络得到感知结果。尽管目前无人船移动端的嵌入式系统的计算水平在不断提升，但始终需要高效的感知网络设计来适应无人船感知摄像头的增加和感知预测网络性能的提升。
发明内容
本发明所要解决的技术问题是：提供一种提高检测效率和准确度的无人船感知方法。
为了解决上述技术问题，本发明采用的技术方案为：一种基于多任务网络的无人船感知方法，包括步骤，
S10、使用无人船的传感器采集不同条件下的水域场景原始数据；
S20、将水域场景原始数据转化为多任务感知网络训练数据；
S30、根据多任务感知网络训练数据对多任务感知网络进行训练，得到训练好的多任务感知网络模型；
S40、无人船实时运行训练好的多任务感知模型，得到初步感知结果，包含目标检测、水域岸边分界线分割、摄像头脏污识别、船只运动预测、水面垃圾识别、深度估计；
S50、对多任务感知模型的感知结果进行融合，得到融合感知结果。
进一步的，步骤S10具体包括，
S11、对无人船搭载的摄像头进行标定得到摄像头内参，将摄像头与激光雷达进行联合标定得到摄像头外参；
S12、以无人船的上电时刻位置为原点，以无人船前朝向为y 轴正方向，无人船右朝向为x 轴正方向建立无人船坐标系；
S13、在不同水域场景下，无人船采集传感器原始数据；传感器原始数据包括，图像数据、激光雷达点云位置数据、毫米波雷达点云位置数据、GPS位置数据、IMU数据；
S14、在相同水域场景下，无人船在不同天气，不同光线条件，不同季节下采集传感器原始数据；
S15、将多艘无人船的传感器原始数据汇聚后得到用于网络训练的水域场景原始数据。
进一步的，步骤S20具体包括，
S21、从水域场景原始数据中获取无人船采集的图像数据，进行数据标注，数据标注包括但不限于目标检测标注、水域岸边分界线分割标注、摄像头脏污标注、船只标注、水面垃圾标注；标注完的数据得到目标检测标签数据集、水域岸边分界线分割标签数据集、摄像头脏污标签数据集、水面垃圾标签数据集；
S22、对水域场景原始数据中的图像数据、激光雷达点云位置数据、毫米波雷达点云位置数据、GPS位置数据、IMU数据进行数据时间同步；
S23、将同步后的激光雷达点云位置数据、毫米波雷达点云位置数据投影到图像上，对投影位置进行高斯核卷积后得到深度估计标签结果；
S24、匹配激光雷达点云位置数据、毫米波雷达点云位置数据和船只标注结果，匹配成功得到船只点云数据，融入船只的GPS位置数据，作为船只运动预测标签结果；
S25、将水域场景原始数据中的所有时刻图像得到的深度估计标签结果及船只运动预测标签结果分别集合，得到深度估计标签数据集及船只运动预测标签数据集。
进一步的，所述步骤S30具体包括，
S31、获取同一时刻的若干张图像数据和对应的标签数据输入到多任务感知网络模型；
S32、通过多任务感知网络模型的主干特征提取网络进行图像特征提取得到全局图像特征；
S33、将全局图像特征放入多任务感知网络模型的子任务分支网络，得到子任务感知结果；
S34、对子任务感知结果进行模型损失计算得到子任务的模型损失值；
S35、将每个子任务的模型损失值相加，得到模型损失值，将模型损失值进行模型反向传播，更新子任务网络权重和主干特征提取网络权重，保存该次多任务感知模型权重；
S36、将新的多任务感知模型权重迭代进行下一次模型的训练，在多任务感知网络训练数据依次获取新一时刻的训练数据；
S37、在多任务感知网络训练数据依次对每一组数据进行训练，当模型损失值小于预定阈值时，终止训练，得到训练好的多任务感知模型权重。
进一步的，步骤S40具体包括，
S41、将无人船采集的同一时刻的若干张图像数据、GPS位置数据作为训练好的多任务感知模型的数据输入；
S42、通过训练好的多任务感知网络模型的主干特征提取网络进行图像特征提取得到全局图像特征；
S43、将全局图像特征放入训练好的多任务感知网络模型的子任务分支网络，得到子任务感知结果。
进一步的，步骤S50具体包括，
S51、判断摄像头脏污的置信度是否大于预设的置信度阈值判断摄像头是否脏污,如果摄像头脏污的置信度大于置信度阈值，则脏污感知结果为摄像头脏污，屏蔽该时刻其他感知结果；
S52、若摄像头处于非脏污状态，则将图像水域岸边分界线分割结果、目标检测结果、垃圾估计结果、深度估计结果、船只预测结果输入至数据融合模块进行数据融合，得到融合感知结果。
进一步的，步骤S32中，主干特征提取网络采用共享模型权重，主干特征提取网络包含四组到八组的特征提取子网络。
本发明还提供一种基于多任务网络的无人船感知装置，包括，
数据采集模块，用于使用无人船的传感器采集不同条件下的水域场景原始数据；
数据转换模块，用于将水域场景原始数据转化为多任务感知网络训练数据；
网络训练模块，用于根据多任务感知网络训练数据对多任务感知网络进行训练，得到训练好的多任务感知网络模型；
无人船感知模块，用于无人船实时运行训练好的多任务感知模型，得到初步感知结果，包含目标检测、水域岸边分界线分割、摄像头脏污识别、船只运动预测、水面垃圾识别、深度估计；
感知结果融合模块，用于对多任务感知模型的感知结果进行融合，得到融合感知结果。
本发明还提供一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如上所述的基于多任务网络的无人船感知方法。
本发明还提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现如上所述的基于多任务网络的无人船感知方法。
本发明的有益效果在于：无人船在面对复杂水域场景时，在一个神经网络模型中实时运行多种感知任务，包含目标检测、水域分割、摄像头脏污检测、垃圾识别、距离估计、船只估计。将多种感知任务的结果进行决策级融合，输出融合后的实时感知结果，实现鲁棒性的无人船智能感知。相对于多个单任务网络相比，多任务网络节约了计算资源又提高了感知的鲁棒性，大大提高了无人船感知环境的准确率和效率。
附图说明
下面结合附图详述本发明的具体结构。
图1为本发明实施例的基于多任务网络的无人船感知方法流程图；
图2为本发明实施例的多任务感知模型训练过程图；
图3为本发明实施例的主干特征提取网络图；
图4为本发明实施例的特征提取子网络图；
图5为本发明实施例的多任务感知模型实时推理过程图；
图6为本发明实施例的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如图1所示，本发明第一实施例为：一种基于多任务网络的无人船感知方法，包括步骤，
S10、使用无人船的传感器采集不同条件下的水域场景原始数据D1；
其中，无人船搭载多种传感器，包含一个或多个摄像头、多线激光雷达、若干个毫米波雷达，GPS定位模块、惯性测量单元IMU。
S20、将水域场景原始数据D1转化为多任务感知网络训练数据D2；
S30、根据多任务感知网络训练数据对多任务感知网络进行训练，得到训练好的多任务感知网络模型；
S40、无人船实时运行训练好的多任务感知模型，得到初步感知结果，包含目标检测、水域岸边分界线分割、摄像头脏污识别、船只运动预测、水面垃圾识别、深度估计；
S50、对多任务感知模型的感知结果进行融合，得到融合感知结果。
其中，步骤S10具体包括，
S11、对无人船搭载的摄像头进行标定得到摄像头内参K1，将摄像头与激光雷达进行联合标定得到摄像头外参K2；
S12、以无人船的上电时刻位置为原点X1，以无人船前朝向为y 轴正方向，无人船右朝向为x 轴正方向建立无人船坐标系；
S13、在不同水域场景下，无人船采集传感器原始数据；传感器原始数据包括，图像数据、激光雷达点云位置数据、毫米波雷达点云位置数据、GPS位置数据、IMU数据；
其中，对摄像头进行图像ISP处理算法后得到图像数据，根据雷达数据协议解析得到激光雷达点云位置数据和毫米波雷达点云位置数据，根据实时差分定位技术获得高精度GPS位置数据，通过卡尔曼滤波算法对IMU噪声进行过滤得到高精度IMU数据。
S14、在相同水域场景下，无人船在不同天气，不同光线条件，不同季节下采集传感器原始数据；
S15、将多艘无人船的传感器原始数据汇聚后得到用于网络训练的水域场景原始数据。
进一步的，步骤S20具体包括，
S21、从水域场景原始数据D1中获取无人船采集的图像数据，进行数据标注，数据标注包括但不限于目标检测标注、水域岸边分界线分割标注、摄像头脏污标注、船只标注、水面垃圾标注；标注完的数据得到目标检测标签数据集、水域岸边分界线分割标签数据集、摄像头脏污标签数据集、水面垃圾标签数据集；
S22、对水域场景原始数据D1中的图像数据、激光雷达点云位置数据、毫米波雷达点云位置数据、GPS位置数据、IMU数据进行数据时间同步；
S23、将同步后的水域场景原始数据D1中获取同一时刻t的图像数据
Figure 366528DEST_PATH_IMAGE001
，将同步后的 激光雷达点云位置数据
Figure 18089DEST_PATH_IMAGE002
、毫米波雷达点云位置数据
Figure 532247DEST_PATH_IMAGE003
，利用摄像头内参
Figure 661877DEST_PATH_IMAGE004
和摄像头外参
Figure 210670DEST_PATH_IMAGE005
将雷达点云结果投影到图像上，对投影位置进行高斯核卷积
Figure 767553DEST_PATH_IMAGE006
后得到深度估计标签结果
Figure 769007DEST_PATH_IMAGE007
；
Figure 207989DEST_PATH_IMAGE008
其中，其中
Figure 611289DEST_PATH_IMAGE009
为高斯核均值为1，
Figure 339073DEST_PATH_IMAGE010
为高斯核方差为30。
Figure 827823DEST_PATH_IMAGE011
为激光雷达点云加上毫米波 雷达点云的点云总数，
Figure 299256DEST_PATH_IMAGE012
为第i个点云(
Figure 557062DEST_PATH_IMAGE013
)的三维欧式距离。
Figure 721327DEST_PATH_IMAGE014
S24、匹配激光雷达点云位置数据、毫米波雷达点云位置数据和船只标注结果，匹 配成功得到船只点云数据
Figure 681062DEST_PATH_IMAGE015
，融入t时刻船只GPS位置
Figure 690606DEST_PATH_IMAGE016
后得到t时刻观测运动船只的GPS 位置
Figure 68498DEST_PATH_IMAGE017
，作为船只运动预测标签：
Figure 138085DEST_PATH_IMAGE018
S25、对水域场景原始数据D1中的所有时刻图像重复执行步骤S23、S24，将水域场景原始数据中的所有时刻图像得到的深度估计标签结果及船只运动预测标签结果分别集合，得到深度估计标签数据集及船只运动预测标签数据集。
如图2为多任务感知模型训练过程图，所述步骤S30具体包括，
S31、从多任务感知网络训练数据D2中依次获取相同时刻的若干张图像数据和对应的标签数据输入到多任务感知网络模型；
其中，包含同一t时刻的若干张摄像头采集图像
Figure 601427DEST_PATH_IMAGE019
，GPS位置数据和与之对 应的标签数据
Figure 414663DEST_PATH_IMAGE020
,
Figure 647061DEST_PATH_IMAGE019
作为多任务感知网络模型的输入；
S32、通过多任务感知网络模型的主干特征提取网络进行图像特征提取得到全局图像特征；如图3所示为主干特征提取网络结构图，图4所示为特征提取子网络图。
其中，主干特征提取网络采用共享模型权重，分别对于
Figure 638282DEST_PATH_IMAGE019
分别进行特征提 取，得到图像特征
Figure 323341DEST_PATH_IMAGE021
。主干特征提取网络依据模型大小需求包含四到八组特征提取 子网络，特征提取子网络使用残差结构设计，将特征输入依次经过卷积层1，池化层1，激活 层1，卷积层2，池化层2，激活层2，卷积3层，池化层3，激活层3，与特征输入进行拼接后得到 特征输出。
将提取的图像特征
Figure 940267DEST_PATH_IMAGE021
进行拼接得到全局图像特征F，全局图像特征F包含了 无人船搭载所有摄像头的图像特征信息，能够获取跨摄像头的融合特征信息，采用直连拼 接获取F:
Figure 27172DEST_PATH_IMAGE022
S33、将全局图像特征放入多任务感知网络模型的子任务分支网络，得到子任务感知结果；
其中，将全局图像特征F放入子任务分支网络，得到子任务感知结果
Figure 438562DEST_PATH_IMAGE023
。子 任务分支网络包含脏污检测分支网络、图像分割分支网络、目标检测分支网络、垃圾估计分 支网络、船只预测分支网络。对于船只预测分支网络融入GPS位置数据，其他子任务分支网 络依据不同的任务类型采用不同大小的回归网络结构。
S34、对子任务感知结果进行模型损失计算得到子任务的模型损失值；
其中，对子任务感知结果
Figure 610917DEST_PATH_IMAGE023
进行模型损失计算得到模型损失值
Figure 15222DEST_PATH_IMAGE024
。 其中，对脏污检测分支网络的感知结果
Figure 222213DEST_PATH_IMAGE025
和脏污检测标签值
Figure 70083DEST_PATH_IMAGE026
采用交叉熵损失函数 CrossEntropy计算模型损失值
Figure 729734DEST_PATH_IMAGE027
：
Figure 688463DEST_PATH_IMAGE028
对图像分割分支网络的感知结果
Figure 218802DEST_PATH_IMAGE029
和水域岸边分界线标签值
Figure 237573DEST_PATH_IMAGE030
采用交叉熵损失 函数CrossEntropy计算模型损失值
Figure 132324DEST_PATH_IMAGE031
：
Figure 894743DEST_PATH_IMAGE032
对目标检测分支网络的感知结果
Figure 810747DEST_PATH_IMAGE033
和目标检测标签值
Figure 469261DEST_PATH_IMAGE034
根据位置误差Loc, 置信 度误差Cof和目标分类误差Obj计算模型损失值
Figure 103505DEST_PATH_IMAGE035
：
Figure 404036DEST_PATH_IMAGE036
对垃圾估计分支网络的感知结果
Figure 440125DEST_PATH_IMAGE037
和垃圾估计标签值
Figure 784388DEST_PATH_IMAGE038
根据均方误差损失函数 MSE计算模型损失值
Figure 905927DEST_PATH_IMAGE039
：
Figure 10150DEST_PATH_IMAGE040
对深度估计分支网络的感知结果
Figure 369587DEST_PATH_IMAGE041
和深度估计标签值
Figure 901062DEST_PATH_IMAGE042
根据均方误差损失函数 MSE计算模型损失值
Figure 244319DEST_PATH_IMAGE043
：
Figure 152232DEST_PATH_IMAGE044
对船只预测分支网络的感知结果
Figure 648067DEST_PATH_IMAGE045
和船只预测标签值
Figure 350443DEST_PATH_IMAGE046
根据均方误差损失函数 MSE计算模型损失值
Figure 180996DEST_PATH_IMAGE043
：
Figure 627021DEST_PATH_IMAGE047
S35、将每个子任务的模型损失值
Figure 961050DEST_PATH_IMAGE024
相加，得到模型损失值L，将模型损失 值L进行模型反向传播，更新子任务网络权重和主干特征提取网络权重，保存该次多任务感 知模型权重，L的计算公式为：
Figure 834329DEST_PATH_IMAGE048
其中，
Figure 152177DEST_PATH_IMAGE049
为子任务训练超参数。
S36、将新的多任务感知模型权重迭代进行下一次模型的训练，在多任务感知网络训练数据D2依次获取新一时刻的训练数据；
S37、在多任务感知网络训练数据D2依次对每一组数据进行训练，当模型损失值小于预定阈值时，终止训练，得到训练好的多任务感知模型权重。
其中，图5所示为多任务感知模型实时推理过程图，步骤S40具体包括，
S41、将无人船采集的同一t时刻的若干张图像数据
Figure 385581DEST_PATH_IMAGE019
、GPS位置数据作为训 练好的多任务感知模型的数据输入；
S42、通过训练好的多任务感知网络模型的主干特征提取网络进行图像特征提取得到全局图像特征；
S43、将全局图像特征F放入训练好的多任务感知网络模型的子任务分支网络，得 到子任务感知结果
Figure 105276DEST_PATH_IMAGE023
。
其中，步骤S50具体包括，
S51、根据脏污检测感知结果
Figure 149455DEST_PATH_IMAGE025
，根据置信度阈值判断摄像头是否脏污, 如果摄像 头脏污的置信度大于预设的置信度阈值，则脏污感知结果为摄像头脏污，屏蔽该时刻其他 感知结果；
S52、若摄像头处于非脏污状态，则将图像水域岸边分界线分割结果
Figure 689021DEST_PATH_IMAGE029
、目标检测 结果
Figure 476848DEST_PATH_IMAGE033
、垃圾估计结果
Figure 51049DEST_PATH_IMAGE037
、深度估计结果
Figure 266130DEST_PATH_IMAGE041
、船只预测结果
Figure 40794DEST_PATH_IMAGE045
输入至数据融合模块进行数据 融合，得到融合感知结果Q:
Figure 632313DEST_PATH_IMAGE050
其中，为了避免误检干扰船只感知结果，在融合模块中根据图像水域岸边分界线 分割结果，过滤掉岸上的检测目标，仅保留水域内的船只检测结果和垃圾估计结果；将深度 估计结果
Figure 795441DEST_PATH_IMAGE041
与图像水域岸边分界线分割结果
Figure 181423DEST_PATH_IMAGE029
融合得到水域岸边分界线的距离位置；将深 度估计结果
Figure 961160DEST_PATH_IMAGE041
与目标检测结果
Figure 90790DEST_PATH_IMAGE033
融合得到检测目标的距离位置；将船只预测结果
Figure 374004DEST_PATH_IMAGE045
与目标 检测结果
Figure 445734DEST_PATH_IMAGE033
融合得到新船只目标的预测轨迹。
本发明的实施例中，无人船在面对复杂水域场景时，在一个神经网络模型中实时运行多种感知任务，包含目标检测、水域分割、摄像头脏污检测、垃圾识别、距离估计、船只估计。将多种感知任务的结果进行决策级融合，输出融合后的实时感知结果，实现鲁棒性的无人船智能感知。相对于多个单任务网络相比，多任务网络节约了计算资源又提高了感知的鲁棒性，大大提高了无人船感知环境的准确率和效率。
本发明的另一实施例为：一种基于多任务网络的无人船感知装置，包括，
数据采集模块，用于使用无人船的传感器采集不同条件下的水域场景原始数据；
数据转换模块，用于将水域场景原始数据转化为多任务感知网络训练数据；
网络训练模块，用于根据多任务感知网络训练数据对多任务感知网络进行训练，得到训练好的多任务感知网络模型；
无人船感知模块，用于无人船实时运行训练好的多任务感知模型，得到初步感知结果，包含目标检测、水域岸边分界线分割、摄像头脏污识别、船只运动预测、水面垃圾识别、深度估计；
感知结果融合模块，用于对多任务感知模型的感知结果进行融合，得到融合感知结果。
其中，数据采集模块具体包括，
标定单元，用于对无人船搭载的摄像头进行标定得到摄像头内参，将摄像头与激光雷达进行联合标定得到摄像头外参；
坐标系建立单元，用于以无人船的上电时刻位置为原点，以无人船前朝向为y 轴正方向，无人船右朝向为x 轴正方向建立无人船坐标系；
第一采集单元，用于在不同水域场景下，无人船采集传感器原始数据；传感器原始数据包括，图像数据、激光雷达点云位置数据、毫米波雷达点云位置数据、GPS位置数据、IMU数据；
第二采集单元，用于在相同水域场景下，无人船在不同天气，不同光线条件，不同季节下采集传感器原始数据；
原始数据汇聚单元，用于将多艘无人船的传感器原始数据汇聚后得到用于网络训练的水域场景原始数据。
其中，数据转换模块具体包括，
数据标注单元，用于从水域场景原始数据中获取无人船采集的图像数据，进行数据标注，数据标注包括但不限于目标检测标注、水域岸边分界线分割标注、摄像头脏污标注、船只标注、水面垃圾标注；标注完的数据得到目标检测标签数据集、水域岸边分界线分割标签数据集、摄像头脏污标签数据集、水面垃圾标签数据集；
数据时间同步单元，用于对水域场景原始数据中的图像数据、激光雷达点云位置数据、毫米波雷达点云位置数据、GPS位置数据、IMU数据进行数据时间同步；
数据投影单元，用于将同步后的激光雷达点云位置数据、毫米波雷达点云位置数据投影到图像上，对投影位置进行高斯核卷积后得到深度估计标签结果；
运动预测单元，用于匹配激光雷达点云位置数据、毫米波雷达点云位置数据和船只标注结果，匹配成功得到船只点云数据，融入船只的GPS位置数据，作为船只运动预测标签结果；
数据集形成单元，用于将水域场景原始数据中的所有时刻图像得到的深度估计标签结果及船只运动预测标签结果分别集合，得到深度估计标签数据集及船只运动预测标签数据集。
其中，网络训练模块具体包括，
数据获取单元，用于获取同一时刻的若干张图像数据和对应的标签数据输入到多任务感知网络模型；
特征提取单元，用于通过多任务感知网络模型的主干特征提取网络进行图像特征提取得到全局图像特征；
子任务感知单元，用于将全局图像特征放入多任务感知网络模型的子任务分支网络，得到子任务感知结果；
模型损失值计算单元，用于对子任务感知结果进行模型损失计算得到子任务的模型损失值；
模型权重计算单元，用于将每个子任务的模型损失值相加，得到模型损失值，将模型损失值进行模型反向传播，更新子任务网络权重和主干特征提取网络权重，保存该次多任务感知模型权重；
模型迭代单元，用于将新的多任务感知模型权重迭代进行下一次模型的训练，在多任务感知网络训练数据依次获取新一时刻的训练数据；
训练模型形成单元，用于在多任务感知网络训练数据依次对每一组数据进行训练，当模型损失值小于预定阈值时，终止训练，得到训练好的多任务感知模型权重。
其中，无人船感知模块具体包括，
数据采集单元，用于将无人船采集的同一时刻的若干张图像数据、GPS位置数据作为训练好的多任务感知模型的数据输入；
特征提取单元，用于通过训练好的多任务感知网络模型的主干特征提取网络进行图像特征提取得到全局图像特征；
子任务感知单元，用于将全局图像特征放入训练好的多任务感知网络模型的子任务分支网络，得到子任务感知结果。
其中，感知结果融合模块具体包括，
脏污处理单元，用于根据脏污检测感知结果，根据置信度阈值判断摄像头是否脏污, 如果摄像头，则脏污感知结果为摄像头脏污，屏蔽该时刻其他感知结果；
感知结果融合单元，用于若摄像头处于非脏污状态，则将图像水域岸边分界线分割结果、目标检测结果、垃圾估计结果、深度估计结果、船只预测结果输入至数据融合模块进行数据融合，得到融合感知结果。
其中，特征提取单元中，主干特征提取网络采用共享模型权重，主干特征提取网络包含四组到八组的特征提取子网络。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述基于多任务网络的无人船感知装置和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述基于多任务网络的无人船感知装置可以实现为一种计算机程序的形式，该计算机程序可以在如图6所示的计算机设备上运行。
请参阅图6，图6是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是终端，也可以是服务器，其中，终端可以是智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等具有通信功能的电子设备。服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图6，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504 。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种基于多任务网络的无人船感知方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种基于多任务网络的无人船感知方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如上所述的基于多任务网络的无人船感知方法。
应当理解，在本申请实施例中，处理器502可以是中央处理单元 (CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路 (Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中计算机程序包括程序指令。该程序指令被处理器执行时使处理器执行如上所述的基于多任务网络的无人船感知方法。
所述存储介质可以是U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，终端，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种基于多任务网络的无人船感知方法，其特征在于：包括步骤，
S10、使用无人船的传感器采集不同条件下的水域场景原始数据；
S20、将水域场景原始数据转化为多任务感知网络训练数据；
S30、根据多任务感知网络训练数据对多任务感知网络进行训练，得到训练好的多任务感知网络模型；
S40、无人船实时运行训练好的多任务感知模型，得到初步感知结果，包含目标检测、水域岸边分界线分割、摄像头脏污识别、船只运动预测、水面垃圾识别、深度估计；
S50、对多任务感知模型的感知结果进行融合，得到融合感知结果；
步骤S20具体包括，
S21、从水域场景原始数据中获取无人船采集的图像数据，进行数据标注，数据标注包括但不限于目标检测标注、水域岸边分界线分割标注、摄像头脏污标注、船只标注、水面垃圾标注；标注完的数据得到目标检测标签数据集、水域岸边分界线分割标签数据集、摄像头脏污标签数据集、水面垃圾标签数据集；
S22、对水域场景原始数据中的图像数据、激光雷达点云位置数据、毫米波雷达点云位置数据、GPS位置数据、IMU数据进行数据时间同步；
S23、将同步后的激光雷达点云位置数据、毫米波雷达点云位置数据投影到图像上，对投影位置进行高斯核卷积后得到深度估计标签结果；
S24、匹配激光雷达点云位置数据、毫米波雷达点云位置数据和船只标注结果，匹配成功得到船只点云数据，融入船只的GPS位置数据，作为船只运动预测标签结果；
S25、将水域场景原始数据中的所有时刻图像得到的深度估计标签结果及船只运动预测标签结果分别集合，得到深度估计标签数据集及船只运动预测标签数据集。
2.如权利要求1所述的基于多任务网络的无人船感知方法，其特征在于：步骤S10具体包括，
S11、对无人船搭载的摄像头进行标定得到摄像头内参，将摄像头与激光雷达进行联合标定得到摄像头外参；
S12、以无人船的上电时刻位置为原点，以无人船前朝向为y 轴正方向，无人船右朝向为x 轴正方向建立无人船坐标系；
S13、在不同水域场景下，无人船采集传感器原始数据；传感器原始数据包括，图像数据、激光雷达点云位置数据、毫米波雷达点云位置数据、GPS位置数据、IMU数据；
S14、在相同水域场景下，无人船在不同天气，不同光线条件，不同季节下采集传感器原始数据；
S15、将多艘无人船的传感器原始数据汇聚后得到用于网络训练的水域场景原始数据。
3.如权利要求2所述的基于多任务网络的无人船感知方法，其特征在于：所述步骤S30具体包括，
S31、获取同一时刻的若干张图像数据和对应的标签数据输入到多任务感知网络模型；
S32、通过多任务感知网络模型的主干特征提取网络进行图像特征提取得到全局图像特征；
S33、将全局图像特征放入多任务感知网络模型的子任务分支网络，得到子任务感知结果；
S34、对子任务感知结果进行模型损失计算得到子任务的模型损失值；
S35、将每个子任务的模型损失值相加，得到模型损失值，将模型损失值进行模型反向传播，更新子任务网络权重和主干特征提取网络权重，保存该次多任务感知模型权重；
S36、将新的多任务感知模型权重迭代进行下一次模型的训练，在多任务感知网络训练数据依次获取新一时刻的训练数据；
S37、在多任务感知网络训练数据依次对每一组数据进行训练，当模型损失值小于预定阈值时，终止训练，得到训练好的多任务感知模型权重。
4.如权利要求3所述的基于多任务网络的无人船感知方法，其特征在于：步骤S40具体包括，
S41、将无人船采集的同一时刻的若干张图像数据、GPS位置数据作为训练好的多任务感知模型的数据输入；
S42、通过训练好的多任务感知网络模型的主干特征提取网络进行图像特征提取得到全局图像特征；
S43、将全局图像特征放入训练好的多任务感知网络模型的子任务分支网络，得到子任务感知结果。
5.如权利要求1所述的基于多任务网络的无人船感知方法，其特征在于：步骤S50具体包括，
S51、判断摄像头脏污的置信度是否大于预设的置信度阈值, 如果摄像头脏污的置信度大于置信度阈值，则脏污感知结果为摄像头脏污，屏蔽该时刻其他感知结果；
S52、若摄像头处于非脏污状态，则将图像水域岸边分界线分割结果、目标检测结果、垃圾估计结果、深度估计结果、船只预测结果输入至数据融合模块进行数据融合，得到融合感知结果。
6.如权利要求3所述的基于多任务网络的无人船感知方法，其特征在于：步骤S32中，主干特征提取网络采用共享模型权重，主干特征提取网络包含四组到八组的特征提取子网络。
7.一种基于多任务网络的无人船感知装置，其特征在于：包括，
数据采集模块，用于使用无人船的传感器采集不同条件下的水域场景原始数据；
数据转换模块，用于将水域场景原始数据转化为多任务感知网络训练数据；
网络训练模块，用于根据多任务感知网络训练数据对多任务感知网络进行训练，得到训练好的多任务感知网络模型；
无人船感知模块，用于无人船实时运行训练好的多任务感知模型，得到初步感知结果，包含目标检测、水域岸边分界线分割、摄像头脏污识别、船只运动预测、水面垃圾识别、深度估计；
感知结果融合模块，用于对多任务感知模型的感知结果进行融合，得到融合感知结果；
数据转换模块具体包括，
数据标注单元，用于从水域场景原始数据中获取无人船采集的图像数据，进行数据标注，数据标注包括但不限于目标检测标注、水域岸边分界线分割标注、摄像头脏污标注、船只标注、水面垃圾标注；标注完的数据得到目标检测标签数据集、水域岸边分界线分割标签数据集、摄像头脏污标签数据集、水面垃圾标签数据集；
数据时间同步单元，用于对水域场景原始数据中的图像数据、激光雷达点云位置数据、毫米波雷达点云位置数据、GPS位置数据、IMU数据进行数据时间同步；
数据投影单元，用于将同步后的激光雷达点云位置数据、毫米波雷达点云位置数据投影到图像上，对投影位置进行高斯核卷积后得到深度估计标签结果；
运动预测单元，用于匹配激光雷达点云位置数据、毫米波雷达点云位置数据和船只标注结果，匹配成功得到船只点云数据，融入船只的GPS位置数据，作为船只运动预测标签结果；
数据集形成单元，用于将水域场景原始数据中的所有时刻图像得到的深度估计标签结果及船只运动预测标签结果分别集合，得到深度估计标签数据集及船只运动预测标签数据集。
8.一种计算机设备，其特征在于：所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的基于多任务网络的无人船感知方法。
9.一种存储介质，其特征在于：所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现如权利要求1至6中任一项所述的基于多任务网络的无人船感知方法。
CN202210854459.2A 2022-07-20 2022-07-20 基于多任务网络的无人船感知方法及相关设备 Active CN114926726B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210854459.2A CN114926726B (zh) 2022-07-20 2022-07-20 基于多任务网络的无人船感知方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210854459.2A CN114926726B (zh) 2022-07-20 2022-07-20 基于多任务网络的无人船感知方法及相关设备

Publications (2)

Publication Number Publication Date
CN114926726A CN114926726A (zh) 2022-08-19
CN114926726B true CN114926726B (zh) 2022-10-28

Family

ID=82816023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210854459.2A Active CN114926726B (zh) 2022-07-20 2022-07-20 基于多任务网络的无人船感知方法及相关设备

Country Status (1)

Country Link
CN (1) CN114926726B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115639536B (zh) * 2022-11-18 2023-03-21 陕西欧卡电子智能科技有限公司 基于多传感器融合的无人船感知目标检测方法及装置
CN116385825B (zh) * 2023-03-22 2024-04-30 小米汽车科技有限公司 模型联合训练方法、装置及车辆
CN116994074A (zh) * 2023-09-27 2023-11-03 安徽大学 一种基于深度学习的摄像头脏污检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178253A (zh) * 2019-12-27 2020-05-19 深圳佑驾创新科技有限公司 自动驾驶的视觉感知方法、装置、计算机设备和存储介质
CN114627363A (zh) * 2022-03-07 2022-06-14 海南大学 一种基于多任务学习的全景海上船舶态势感知方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11370423B2 (en) * 2018-06-15 2022-06-28 Uatc, Llc Multi-task machine-learned models for object intention determination in autonomous driving
CN109444911B (zh) * 2018-10-18 2023-05-05 哈尔滨工程大学 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178253A (zh) * 2019-12-27 2020-05-19 深圳佑驾创新科技有限公司 自动驾驶的视觉感知方法、装置、计算机设备和存储介质
CN114627363A (zh) * 2022-03-07 2022-06-14 海南大学 一种基于多任务学习的全景海上船舶态势感知方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Are We Ready for Unmanned Surface Vehicles in Inland Waterways? The USVInland Multisensor Dataset and Benchmark;Yuwei Cheng et al.;《IEEE Robotics and Automation Letters》;20210430;第6卷(第2期);第3966-3968页 *
基于激光雷达与毫米波雷达融合的车辆目标检测算法;王海 等;《江苏大学学报(自然科学版)》;20210730;第42卷(第4期);第392-394页 *

Also Published As

Publication number Publication date
CN114926726A (zh) 2022-08-19

Similar Documents

Publication Publication Date Title
CN114926726B (zh) 基于多任务网络的无人船感知方法及相关设备
CN106960446B (zh) 一种面向无人艇应用的水面目标检测跟踪一体化方法
WO2017020528A1 (zh) 车道线的识别建模方法、装置、存储介质和设备及识别方法、装置、存储介质和设备
CN111222395A (zh) 目标检测方法、装置与电子设备
CN110781836A (zh) 人体识别方法、装置、计算机设备及存储介质
CN112947419B (zh) 避障方法、装置及设备
CN110969793B (zh) 环岛电子围网的周界防船舶入侵方法、系统及存储介质
CN113743385A (zh) 一种无人船水面目标检测方法、装置及无人船
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
CN116486288A (zh) 基于轻量级密度估计网络的航拍目标计数与检测方法
CN111402293A (zh) 面向智能交通的一种车辆跟踪方法及装置
CN115937552A (zh) 一种基于融合手工特征与深度特征的图像匹配方法
CN116503760A (zh) 基于自适应边缘特征语义分割的无人机巡航检测方法
CN116452810A (zh) 一种多层次语义分割方法、装置、电子设备及存储介质
WO2021056501A1 (zh) 提取特征点的方法、可移动平台及存储介质
CN113205139A (zh) 一种基于密度聚类的无人艇水上球体检测方法
Yu et al. Visual Perception and Control of Underwater Robots
CN116363628A (zh) 标志检测方法、装置、非易失性存储介质及计算机设备
CN115236643A (zh) 一种传感器标定方法、系统、装置、电子设备及介质
CN115331151A (zh) 一种视频测速方法、装置、电子设备和存储介质
CN112069997B (zh) 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置
Tamayo et al. Improving Object Distance Estimation in Automated Driving Systems Using Camera Images, LiDAR Point Clouds and Hierarchical Clustering
CN117419690B (zh) 一种无人船的位姿估计方法、装置及介质
Widyaningrum et al. Tailored features for semantic segmentation with a DGCNN using free training samples of a colored airborne point cloud
CN115639536B (zh) 基于多传感器融合的无人船感知目标检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant