CN115115974A - 基于神经网络的智能航行态势感知系统 - Google Patents

基于神经网络的智能航行态势感知系统 Download PDF

Info

Publication number
CN115115974A
CN115115974A CN202210646528.0A CN202210646528A CN115115974A CN 115115974 A CN115115974 A CN 115115974A CN 202210646528 A CN202210646528 A CN 202210646528A CN 115115974 A CN115115974 A CN 115115974A
Authority
CN
China
Prior art keywords
module
target detection
dense
image
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210646528.0A
Other languages
English (en)
Inventor
田思佳
段懿洋
刘东航
王超
何晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Shipbuilding Corp System Engineering Research Institute
Original Assignee
China Shipbuilding Corp System Engineering Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Shipbuilding Corp System Engineering Research Institute filed Critical China Shipbuilding Corp System Engineering Research Institute
Priority to CN202210646528.0A priority Critical patent/CN115115974A/zh
Publication of CN115115974A publication Critical patent/CN115115974A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于神经网络的智能航行态势感知系统，包括：图像发布模块，用于获取外部视频流数据并转换成图像数据；目标检测模块，基于Dense‑YOLO网络进行海上多目标的检测，将检测获取的目标物体的位置和类别作为输出；控制模块，获取目标检测模块的输出数据，定制航线规划和决策指令，并输出至物理执行设备；图像发布模块、目标检测模块、控制模块之间基于ROS框架通信。本发明的有益效果：本发明使用融合了Densenet网络的YOLOV3算法，对海上多目标对象进行检测，获取目标类别和位置信息；在系统开发和工程应用验证方面，基于机器人操作系统(ROS)制定整体的解决方法；通过软件算法和系统框架的多层面择优构建，最终形成了智能航行态势感知系统。

Description

基于神经网络的智能航行态势感知系统
技术领域
本发明涉及神经网络学习技术领域，尤其涉及一种基于神经网络的智能航行态势感知系统。
背景技术
智能航行是利用感知获得的信息进行分析处理，与控制技术配合，实现智能化航行的技术。要实现船舶的智能航行，船舶系统必须具备多个功能模块，模块间相互协作。当前主要考虑航行环境感知、航行态势认知和航行决策控制3方面的内容，即“感知空间”“认知空间”和“决策执行空间”。航行系统功能模块如图1所示，其中感知空间作为船舶进行环境感知的关键部分，目前融入了可见光、红外光、雷达等多手段信息采集处理方式，以达到准确感知态势的目的。
环境感知作为智能航行的核心技术之一，其中的海上船舶目标检测识别模块是实现船舶智能航行的重要前提。光电视觉系统能够获取更加丰富的目标特征信息，在海上近距离目标感知、判断与识别中具有独特的优势，并随着视觉信息处理技术的发展，受到越来越多的关注。
真实海面背景复杂、光线多变、船舶目标发生形变等是海上船舶目标检测任务的主要难点。传统的基于视觉的目标检测方法，基本路线是”滑动窗口搜索、目标特征提取、分类器分类识别”。由于存在大量冗余窗口、手工设计特征难以准确描述目标物体等问题，传统目标检测方法难以满足实际任务中的精度要求。
同时，海上船舶智能航行遵从“感知-控制-执行”的工作模式，涉及层面从应用程序到底层硬件、传感器。在复杂船舶硬件平台下进行任务创建和行为控制对技术开发门槛要求很高。
发明内容
为了解决上述技术问题，本发明实施例提供一种基于神经网络的智能航行态势感知系统，针对真实海面背景复杂、光线多变、船舶目标发生形变等海上船舶目标检测任务的难点问题，基于机器人操作系统(ROS)制定整体解决方案。
本发明实施例提供了一种基于神经网络的智能航行态势感知系统，其特征在于：
图像发布模块，用于获取外部视频流数据，并转换成图像数据；
目标检测模块，获取图像发布模块处理后的图像数据，基于Dense-YOLO网络进行海上多目标的检测，将检测获取的目标物体的位置和类别作为输出；
控制模块，获取目标检测模块的输出数据，定制航线规划和决策指令，并输出至物理执行设备；
其中，图像发布模块和目标检测模块之间，目标检测模块和控制模块之间基于ROS框架通信。
进一步地，图像发布模块将视频流数据中的图像类型转换为ROS定义的内部图像类型。
进一步地，目标检测模块至少包含有Dense-YOLO模块；Dense-YOLO模块以YOLO V3网络模型作为主体构建，用于对图像内容进行检测，输出检测到的目标物体位置信和类别信息。
进一步地，目标检测模块至少包含有密集神经网络模块；密集神经网络模块以Dense-YOLO网络作为基础构建，内嵌在Dense-YOLO模块中，替换Dense-YOLO模块中的残差神经网络模块。
进一步地，密集神经网络模块至少包含密集神经网络模块一和密集神经网络模块二；密集神经网络模块一替换Dense-YOLO模块中对尺度2进行预测输入的残差神经网络模块，密集神经网络模块二替换Dense-YOLO模块中对尺度3进行预测输入的残差神经网络模块。
进一步地，图像发布模块和目标检测模块之间通过发布/订阅的模型传递图像信息。
进一步地，图像发布模块接收到外部传感器或摄像头的图像数据后，将其转换为ROS中的图像类型并通过话题进行发布；目标检测模块堵塞等待接收图像数据，当有数据到达后，开始以一定的频率对图像数据进行目标检测处理。
进一步地，目标检测模块和控制模块之间通过客户端/服务器模型进行数据交流。
进一步地，控制模块向目标检测模块发起检测结果的请求，然后堵塞等待目标检测模块应答；目标检测模块接收到请求后，读取视频图像，进行目标检测，将检测结果作为应答内容应答控制模块；控制模块根据应答内容进行后续的控制动作执行，最终输出控制指令。
本发明的有益效果：本发明使用融合了Densenet网络的YOLOV3算法，对海上多目标对象进行检测，获取目标类别和位置信息；在系统开发和工程应用验证方面，基于机器人操作系统(ROS)制定整体的解决方法；通过软件算法和系统框架的多层面择优构建，最终形成了智能航行态势感知系统。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的现有技术中的智能航行功能模块示意图；
图2是本发明实施例提供的系统框图；
图3是Dense-YOLO模块的内部以YOLO V3网络为基础的结构图。
具体实施方式
为使得本发明的申请目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
下面结合附图和具体实施例，进一步阐明本发明。
在本发明的描述中，需要理解的是，术语“上”、“下”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
本发明的目的是针对真实海面背景复杂、光线多变、船舶目标发生形变等海上船舶目标检测任务的难点问题，整个基于神经网络的智能航行态势感知系统包括图像发布模块、目标检测模块和控制模块，借鉴Dense-YOLO网络，保证在不同场景下目标检测的准确率。同时感知系统将检测网络模块封装为ROS框架中的目标检测节点，借助ROS集成的通信机制，将感知处理结果传递到控制节点，进行后续的决策、规划处理。
如图2所示，本发明的感知系统中的图像发布模块和目标检测模块之间通过发布/订阅的模型传递图像信息。目标检测模块和控制模块之间通过客户端/服务器模型进行数据交流。图像发布模块、目标检测模块、控制模块之间基于ROS设计功能节点与通信方式，有效简化在复杂机器人硬件平台下的任务创建和行为控制。
具体地，图像发布模块用于获取外部视频流数据，并转换成图像数据。这里的获取方式可以采用有线方式或者无线方式，以摄像头或者其他传感器所获取的视频流数据作为检测对象。图像发布模块将视频流数据中的图像类型转换为ROS定义的内部图像类型Sensor_msgs/Image，并通过话题进行发布。目标检测模块堵塞等待接收图像数据，当有数据到达后，开始以一定的频率对图像数据进行目标检测处理。
具体地，目标检测模块获取图像发布模块处理后的图像数据，基于Dense-YOLO网络进行海上多目标的检测，将检测获取的目标物体的位置和类别作为输出。在满足工程检测速度的要求下，目标检测模块实现较高的目标检测准确率。目标检测模块将检测获取的目标物体的位置和类别作为输出传递给控制模块。
在目标检测模块和控制模块进行通讯时，控制模块向目标检测模块发起检测结果的请求，然后堵塞等待目标检测模块应答。目标检测模块接收到请求后，读取视频图像，进行目标检测，将检测结果作为应答内容应答控制模块。控制模块根据应答内容进行后续的控制动作执行，最终输出控制指令。
作为一个具体的实施例，目标检测模块内至少包含有Dense-YOLO模块(Dense-YOLO算法模型就内嵌在Dense-YOLO模块内部)，该Dense-YOLO模块以YOLO V3网络模型作为主体构建，用于对图像内容进行检测，输出检测到的目标物体位置信和类别信息。
与现有常见方案不同的是，如图3所示，目标检测模块至少包含有密集神经网络模块，密集神经网络模块以Dense-YOLO网络作为基础构建，内嵌在Dense-YOLO模块中，替换Dense-YOLO模块中的残差神经网络模块。
Dense-YOLO模块利用Densenet网络的特点，用密集神经网络模块替换掉了YOLOV3网络中针对尺度进行预测输入的残差神经网络模块，通过搭建一个带有紧密连接的Dense-YOLO网络，使尺度在进行预测之前能够接收到密集连接块输出的多层卷积特征，实现图像特征的融合及复用，通过这一设计，加强了图片特征的传递，使网络更好地识别海面上的小目标对象。
作为一个具体的实施例，密集神经网络模块至少包含密集神经网络模块一和密集神经网络模块二，其中密集神经网络模块一替换Dense-YOLO模块中对尺度2进行预测输入的残差神经网络模块，密集神经网络模块二替换Dense-YOLO模块中对尺度3进行预测输入的残差神经网络模块。
具体地，控制模块获取目标检测模块的输出数据，定制航线规划和决策指令，并输出至物理执行设备，在对航行航线进行重新规划后，整个感知系统仍在不断地进行图像检测，以保障在不同场景下目标检测的准确率
以上详细描述了本发明的优选实施方式，但是本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换(如数量、形状、位置等)，这些等同变换均属于本发明的保护。

Claims (9)

1.一种基于神经网络的智能航行态势感知系统，其特征在于：所述感知系统包括：
图像发布模块，用于获取外部视频流数据，并转换成图像数据；
目标检测模块，获取图像发布模块处理后的图像数据，基于Dense-YOLO网络进行海上多目标的检测，将检测获取的目标物体的位置和类别作为输出；
控制模块，获取目标检测模块的输出数据，定制航线规划和决策指令，并输出至物理执行设备；
其中，所述图像发布模块和目标检测模块之间，目标检测模块和控制模块之间基于ROS框架通信。
2.根据权利要求1所述的基于神经网络的智能航行态势感知系统，其特征在于：所述图像发布模块将视频流数据中的图像类型转换为ROS定义的内部图像类型。
3.根据权利要求1所述的基于神经网络的智能航行态势感知系统，其特征在于：所述目标检测模块至少包含有Dense-YOLO模块；
所述Dense-YOLO模块以YOLO V3网络模型作为主体构建，用于对图像内容进行检测，输出检测到的目标物体位置信和类别信息。
4.根据权利要求3所述的基于神经网络的智能航行态势感知系统，其特征在于：所述目标检测模块至少包含有密集神经网络模块；
所述密集神经网络模块以Dense-YOLO网络作为基础构建，内嵌在Dense-YOLO模块中，替换Dense-YOLO模块中的残差神经网络模块。
5.根据权利要求4所述的基于神经网络的智能航行态势感知系统，其特征在于：所述密集神经网络模块至少包含密集神经网络模块一和密集神经网络模块二；所述密集神经网络模块一替换Dense-YOLO模块中对尺度2进行预测输入的残差神经网络模块，密集神经网络模块二替换Dense-YOLO模块中对尺度3进行预测输入的残差神经网络模块。
6.根据权利要求1所述的基于神经网络的智能航行态势感知系统，其特征在于：所述图像发布模块和目标检测模块之间通过发布/订阅的模型传递图像信息。
7.根据权利要求7所述的基于神经网络的智能航行态势感知系统，其特征在于：所述图像发布模块接收到外部传感器或摄像头的图像数据后，将其转换为ROS中的图像类型并通过话题进行发布；
所述目标检测模块堵塞等待接收图像数据，当有数据到达后，开始以一定的频率对图像数据进行目标检测处理。
8.根据权利要求1所述的基于神经网络的智能航行态势感知系统，其特征在于：所述目标检测模块和控制模块之间通过客户端/服务器模型进行数据交流。
9.根据权利要求9所述的基于神经网络的智能航行态势感知系统，其特征在于：所述控制模块向目标检测模块发起检测结果的请求，然后堵塞等待目标检测模块应答；所述目标检测模块接收到请求后，读取视频图像，进行目标检测，将检测结果作为应答内容应答控制模块；所述控制模块根据应答内容进行后续的控制动作执行，最终输出控制指令。
CN202210646528.0A 2022-06-08 2022-06-08 基于神经网络的智能航行态势感知系统 Pending CN115115974A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210646528.0A CN115115974A (zh) 2022-06-08 2022-06-08 基于神经网络的智能航行态势感知系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210646528.0A CN115115974A (zh) 2022-06-08 2022-06-08 基于神经网络的智能航行态势感知系统

Publications (1)

Publication Number Publication Date
CN115115974A true CN115115974A (zh) 2022-09-27

Family

ID=83326914

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210646528.0A Pending CN115115974A (zh) 2022-06-08 2022-06-08 基于神经网络的智能航行态势感知系统

Country Status (1)

Country Link
CN (1) CN115115974A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070142A (zh) * 2019-04-29 2019-07-30 上海大学 一种基于yolo神经网络的海上船只目标检测方法
CN112364720A (zh) * 2020-10-23 2021-02-12 西安科锐盛创新科技有限公司 一种车辆类别快速识别与统计方法
CN112380919A (zh) * 2020-10-23 2021-02-19 西安科锐盛创新科技有限公司 一种车辆类别统计方法
CN112417973A (zh) * 2020-10-23 2021-02-26 西安科锐盛创新科技有限公司 一种基于车联网的无人驾驶系统
WO2022083784A1 (zh) * 2020-10-23 2022-04-28 西安科锐盛创新科技有限公司 一种基于车联网的道路检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070142A (zh) * 2019-04-29 2019-07-30 上海大学 一种基于yolo神经网络的海上船只目标检测方法
CN112364720A (zh) * 2020-10-23 2021-02-12 西安科锐盛创新科技有限公司 一种车辆类别快速识别与统计方法
CN112380919A (zh) * 2020-10-23 2021-02-19 西安科锐盛创新科技有限公司 一种车辆类别统计方法
CN112417973A (zh) * 2020-10-23 2021-02-26 西安科锐盛创新科技有限公司 一种基于车联网的无人驾驶系统
WO2022083784A1 (zh) * 2020-10-23 2022-04-28 西安科锐盛创新科技有限公司 一种基于车联网的道路检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李涛: "基于改进ＹＯＬＯ算法的ＦＳＡＣ赛车实时目标检测系统", 合肥工业大学学报(自然科学版), no. 9, 28 September 2020 (2020-09-28) *
葛嘉琪;: "基于YOLO-v2视觉神经网络在移动机器人平台ROS框架下的实现", 中国水运(下半月), no. 06, 15 June 2020 (2020-06-15), pages 1 - 5 *

Similar Documents

Publication Publication Date Title
CN111860589B (zh) 一种多传感器多目标协同探测信息融合方法、系统
CN109559277A (zh) 一种面向数据共享的多无人机协同地图构建方法
CN110782481A (zh) 无人艇智能决策方法及系统
CN110888126B (zh) 基于多源传感器的无人船信息感知系统数据综合处理方法
CN113743479A (zh) 端-边-云车路协同融合感知架构及其构建方法
CN116543283B (zh) 一种考虑模态不确定性的多模态目标检测方法
CN113971775A (zh) 一种基于优化yolov4算法的违章行为识别方法及系统
CN115115974A (zh) 基于神经网络的智能航行态势感知系统
CN117237548A (zh) 一种无人机飞行环境实时建模方法
Zheng et al. A fusion algorithm of target dynamic information for asynchronous multi-sensors
CN117325903A (zh) 轨道智能探伤的高置信决策系统
CN116907510A (zh) 一种基于物联网技术的智能化运动识别方法
CN116935152A (zh) 目标检测方法和装置、电子设备及存储介质
CN115979250A (zh) 基于uwb模块、语义地图与视觉信息的定位方法
CN114281091B (zh) 一种基于行为识别的无人机集群内部信息传递方法
CN113029154B (zh) 一种盲人导航方法及装置
CN113392884B (zh) 基于lstm网络和注意力机制的坐标融合方法
CN112257750B (zh) 一种面向复合式探测节点的分布式融合系统
CN112069997B (zh) 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置
CN115457529A (zh) 实体交互检测方法、建立实体交互检测模型的方法及装置
CN115131756A (zh) 一种目标检测方法及装置
CN109753064A (zh) 一种用于无人船的环境信息采集及处理系统
CN117784785A (zh) 一种无人集群协同感知方法、装置及设备
US20220164611A1 (en) System and method for multi-sensor, multi-layer targeted labeling and user interfaces therefor
Tian et al. A Visual Perception Method for Autonomous Navigation at Sea Based on ROS

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination