CN114463362A - 一种基于深度学习的三维避碰声呐障碍物检测方法及系统 - Google Patents

一种基于深度学习的三维避碰声呐障碍物检测方法及系统 Download PDF

Info

Publication number
CN114463362A
CN114463362A CN202111649696.7A CN202111649696A CN114463362A CN 114463362 A CN114463362 A CN 114463362A CN 202111649696 A CN202111649696 A CN 202111649696A CN 114463362 A CN114463362 A CN 114463362A
Authority
CN
China
Prior art keywords
dimensional
obstacle
image
point cloud
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111649696.7A
Other languages
English (en)
Inventor
徐从营
杨邦清
曾盎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yichang Testing Technique Research Institute
Original Assignee
Yichang Testing Technique Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yichang Testing Technique Research Institute filed Critical Yichang Testing Technique Research Institute
Priority to CN202111649696.7A priority Critical patent/CN114463362A/zh
Publication of CN114463362A publication Critical patent/CN114463362A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Acoustics & Sound (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

本发明涉及无人航行器技术领域，公开一种基于深度学习的三维避碰声呐障碍物检测方法及系统，包括：三维避碰声呐探测障碍物，并采集障碍物的三维点云数据；对所述三维点云数据进行处理，生成二维扇形图像，并进行障碍物标注，得到训练图像样本；通过深度学习模型对训练图像样本进行训练，并对障碍物进行图像检测识别，获取障碍物的位置信息，得到障碍物小图像；基于自适应的双阈值检测算法进行图像分割，获取障碍物轮廓信息，并得到障碍物成像的平均灰度值；进行三维点云数据栅格化处理生成三维栅格图像，获取障碍物的三维边界数据；根据三维边界数据对障碍物进行避碰控制。本发明能够获取准确的障碍物三维边界信息，整体简单、可靠也易于实现。

Description

一种基于深度学习的三维避碰声呐障碍物检测方法及系统
技术领域
本发明涉及无人航行器控制技术领域，更具体的说，特别涉及一种基于深度学习的三维避碰声呐障碍物检测方法及系统。
背景技术
对于声呐图像的检测与识别大多采用传统统计机器学习方法进行研究。然而，通过大量的研究实验结果表明，水下声呐目标图像由于波束众多，信噪比低，使用传统图像处理方式或者声信号处理方式不能提取到声呐目标深层次特征，也就导致了在复杂水下环境中目标检测效果不佳。
此外，由于水下目标检测一般都是应用于国家国防安全领域，不仅要对水下目标进行精确的检测，而且还需要对检测结果进行实时现场反馈。因此针对这些问题，如何能有效的结合水声学知识、统计机器学习理论及深度学习方法，以尽快突破水下目标检测瓶颈，做到高效的对水下目标进行智能检测，仍然是一项具有挑战性的研究。
发明内容
本发明的目的在于针对现有技术存在的技术问题，提供一种基于深度学习的三维避碰声呐障碍物检测方法及系统，可用于各类三维避碰声呐数据的处理，获取准确的障碍物三维边界信息，整体简单、可靠也易于实现。
为了解决以上提出的问题，本发明采用的技术方案为：
本发明提供一种基于深度学习的三维避碰声呐障碍物检测方法，该检测方法的具体步骤包括如下：
三维避碰声呐探测障碍物，并采集障碍物的三维点云数据；
对所述三维点云数据进行处理，生成二维扇形图像，并在二维扇形图像中进行障碍物标注，得到训练图像样本；
通过深度学习模型对所述训练图像样本进行训练，并对障碍物进行图像检测识别，获取障碍物的位置信息，得到所述位置信息对应的障碍物小图像；
对所述障碍物小图像，基于自适应的双阈值检测算法进行图像分割，获取障碍物轮廓信息，并得到障碍物成像的平均灰度值；
根据识别出的障碍物轮廓信息和成像的平均灰度值，进行三维点云数据栅格化处理生成三维栅格图像，获取障碍物的三维边界数据；
将所述三维边界数据发送给AUV控制单元，实现对障碍物进行避碰控制。
进一步的，所述对三维点云数据进行处理，生成二维扇形图像，并在二维扇形图像中进行障碍物标注，具体包括如下：
对所述三维点云数据进行降维处理，得到二维数组；
将所述二维数组进行扇形展开，生成二维扇形图像，并得到障碍物的图像数据样本；
根据所述图像数据样本中所有的二维扇形图像，按照设定像素尺寸大小进行裁剪，得到二维裁剪图像；
在二维裁剪图像中进行障碍物标注得到障碍物区域，并对标注后的图像数据样本按比例分类，得到训练图像样本。
进一步的，采用最大值法对三维点云数据进行降维处理，在垂直方向取数列的最大值，将三维点云数据对应的三维数组降低为二维数组。
进一步的，所述通过深度学习模型对所述训练图像样本进行训练，具体包括如下：
设置模型的训练参数，并采用YOLOV3深度学习模型对训练图像样本进行数据训练，得到模型权值文件；
根据所述模型权值文件，在已标注障碍物区域的训练图像样本中，进行障碍物在线检测识别，进一步得到障碍物在所述障碍物区域中的位置信息；
将所述位置信息对应的障碍物图像进行裁剪，生成障碍物小图像。
进一步的，所述深度学习模型的训练参数设置如下：批量大小设置为32，训练图像宽度和高度为512像素，分类数为1，filters参数为18，训练次数不小于20000次，损失函数值不能大于0.2。
进一步的，所述自适应双阈值图像分割算法，具体包括如下：
采用最大类间方差法对障碍物小图像进行直方图统计，得到障碍物小图像的自适应分割阈值dth；
根据所述自适应分割阈值dth，确定高低分割阈值并进行图像二值化，得到二值化分割图像；
将二值化分割图像进行形态学闭运算处理，去除孤立噪声点；
根据处理后的分割图像，通过二值连通成分标记的序贯算法，分别对分割出的障碍物目标区域及背景区域进行连通性分析，对障碍物的目标区域内部的孔洞进行填充，得到完整的障碍物轮廓信息；
根据所述障碍物完整的轮廓信息后，统计轮廓信息内的原始图像灰度值，计算得到障碍物成像的像素灰度值。
进一步的，所述得到二值化分割图像，具体过程包括：
设置高低阈值分别为dth1、dth2，其中dth1>dth2，并取dth1＝1.2dth，dth2＝0.2dth；
根据所述高低分割阈值进行障碍物小图像的二值化，即设d[i,j]为图像坐标[i,j]处的像素值，若d[i,j]>dth1，则将图像坐标对应的像素点认定为目标点；
采用递归边界跟踪方法，将所述目标点的八邻域区域内的像素值>dth2的像素点也判定为目标点；
根据判定的所有目标点，得到二值化分割图像。
进一步的，所述三维点云数据栅格化处理，具体过程包括如下：
创建三维避碰声呐避碰通道的显示空间；
根据需要的避碰通道分辨率，将所述显示空间按照高、宽、深三个方向划分三维栅格；
将三维点云数据按位置信息映射至三维栅格的区域内，得到映射数据，并根据障碍物成像的像素灰度值对映射数据进行处理，保留像素大于像素灰度值的数据；
根据所有的三维栅格内包含的全部数据灰度值，计算灰度值总和并进行伪彩赋值，得到障碍物的三维栅格图像；
从三维栅格图像中提取三维栅格化结果，得到障碍物的三维边界数据。
进一步的，所述显示空间采用高H×宽W×深L的立方体空间，并划分为高h×宽w×深l个三维栅格。
本发明还提供一种基于深度学习的三维避碰声呐障碍物检测系统，其该检测系统包括：
探测采集模块：用于三维避碰声呐探测障碍物，并采集障碍物的三维点云数据；
处理标注模块：用于对所述三维点云数据进行处理，生成二维扇形图像，并在二维扇形图像中进行障碍物标注，得到训练图像样本；
样本训练模块：用于通过深度学习模型对所述训练图像样本进行训练，并对障碍物进行图像检测识别，获取障碍物的位置信息，得到所述位置信息对应的障碍物小图像；
图像分割模块：用于对所述障碍物小图像，基于自适应的双阈值检测算法进行图像分割，获取障碍物轮廓信息，并得到障碍物成像的平均灰度值；
边界数据获取模块：用于根据识别出的障碍物轮廓信息和成像的平均灰度值，进行三维点云数据栅格化处理生成三维栅格图像，获取障碍物的三维边界数据；
避碰控制模块：用于将所述三维边界数据发送给AUV控制单元，实现对障碍物进行避碰控制。
与现有技术相比，本发明的有益效果在于：
本发明能够准确、快速地实现对障碍物进行检测识别，精确获取障碍物的三维轮廓信息，便于AUV进行精准的三维避碰控制，适用于各种三维避碰声呐数据获取三维障碍物边界信息，整个检测方法和系统简单、可靠也易于实现。
附图说明
为了更清楚地说明本发明中的方案，下面将对实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1为本发明基于深度学习的三维避碰声呐障碍物检测方法的流程图。
图2为本发明对三维点云数据进行处理的流程图。
图3为本发明扇形展开的二维扇形图像示意图。
图4为本发明图像数据样本中进行障碍物标注的示意图。
图5为本发明深度学习模型对训练图像样本进行训练的流程图。
图6为本发明自适应双阈值图像分割算法的流程图。
图7为本发明采用自适应双阈值图像分割算法分割障碍物的效果图。
图8为本发明三维点云数据栅格化处理的流程图。
图9为本发明障碍物检测结果及三维栅格化处理的示意图。
图10为本发明基于深度学习的三维避碰声呐障碍物检测系统的原理图。
具体实施方式
除非另有定义，本文所使用的所有技术和科学术语与属于本发明技术领域的技术人员通常理解的含义相同；本文在说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明，例如，术语“长度”、“宽度”、“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置为基于附图所示的方位或位置，仅是便于描述，不能理解为对本技术方案的限制。
本发明的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含；本发明的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。本发明的说明书和权利要求书及上述附图说明中，当元件被称为“固定于”或“安装于”或“设置于”或“连接于”另一个元件上，它可以是直接或间接位于该另一个元件上。例如，当一个元件被称为“连接于”另一个元件上，它可以是直接或间接连接到该另一个元件上。
此外，在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
参阅图1所示，本发明提供一种基于深度学习的三维避碰声呐障碍物检测方法，该检测方法的具体步骤包括如下：
步骤S1：三维避碰声呐探测障碍物，并采集障碍物的三维点云数据。
步骤S2：对采集得到的三维点云数据进行处理，生成二维扇形图像，并在二维扇形图像中进行障碍物标注，得到训练图像样本。
本步骤S2中，参阅图2所示，所述对三维点云数据进行处理，具体过程包括如下：
步骤S21：对所述三维点云数据进行降维处理，得到二维数组；
进一步的，为保证处理后的数据还保留有障碍物的细节信息，因此使用最大值法对三维点云数据进行降维处理，并在垂直方向取数列的最大值，将三维点云数据对应的三维数组降低为二维数组。
具体的，假设三维点云数据中存在一组48×32×609的三维数组，需降低为48×609的二维数组，可在垂直方向上取所有值的最大值方法，生成三维避碰声呐数据的二维数组。
步骤S22：将得到的二维数组进行扇形展开，生成如图3所示的二维扇形图像，并得到初始的障碍物的图像数据样本。
具体的，在对二维数组进行扇形展开时，可根据角度和距离信息计算扇形图像中每个像素所对应的二维数组数据值。例如将48×609的二维数组展开成角度为90°，像素宽度为1000，高度为609的扇形图像，则可以坐标为[500,609]的像素为中心建立图像坐标系，计算每个像素所对应的角度和距离，其中角度值[-50°～+50°]对应二维数组的1～48列，距离值1～609对应二维数组1～609行，以此得到二维扇形图像，即得到障碍物的图像数据样本。
步骤S23：获取一定数量的障碍物图像数据样本后，将其中所有的二维扇形图像按照设定像素尺寸大小进行裁剪，得到二维裁剪图像。
具体的，将二维扇形图像统一裁剪为800×500像素尺寸大小，去除二维扇形图像两侧黑边无效区域，最大限度利用声呐扇形探测区域进行障碍物标注。
步骤S24：在二维裁剪图像中进行障碍物标注，得到二维裁剪图像中的障碍物区域，并对标注后的图像数据样本按比例分类，得到训练图像样本。
具体的，使用YOV3自带的YOLO-MARK标注软件在二维裁剪图像中进行障碍物标注，图像数据样本中的全部二维裁剪图像均标注完成后，如附图4中a～f得到的标注后的图像数据样本，其中矩形框对应的区域为障碍物区域，将标注后的图像数据样本按3:1比例，分成训练数据集和测试数据集。
本步骤S2中，通过对三维避碰声呐采集的数据，进行降维处理并进行扇形展开，获取了三维避碰声呐反应障碍物数据直观的二维扇形图像，通过积累足够的训练图像样本得到训练数据集和测试数据集，使其具备了使用深度学习算法进行障碍物检测的条件，处理过程简单、方便也易于实现。
步骤S3：通过深度学习模型对所述训练图像样本进行训练，并对障碍物进行图像检测识别，获取障碍物的位置信息，得到所述位置信息对应的障碍物小图像；
本步骤S3中，通过深度学习模型对所述训练图像样本进行训练，参阅图5所示，具体过程包括如下：
步骤S31：采用YOLOV3深度学习模型对训练图像样本进行数据训练，获取在该深度学习模型下的障碍物识别的模型权值文件。
具体的，深度学习模型的训练参数设置如下：批量大小设置为32，训练图像宽度和高度为512像素，分类数为1，filters参数为18，训练次数不小于20000次，损失函数值不能大于0.2，能够保证模型训练的可靠性和准确性。
本实施例中，使用训练图像样本的训练数据集在深度学习模型中进行训练，然后使用测试数据集进行训练效果的测试，通过反复训练和测试，获得该深度学习模型对障碍物识别的模型权值文件，其中要保证检测概率高，一般要求障碍物检测概率不低于90％。
步骤S32：根据所述模型权值文件，进行障碍物的在线实时检测，检测实际使用过程中，每帧二维裁剪图像中障碍物区域内障碍物所在的位置信息即矩形区域信息。
本实施例中，通过测试数据集测试障碍物检测概率满足要求后，即得到了YOLOV3深度学习模型的模型权值文件，便于将其应用于三维避碰声呐数据实时采集处理软件中，进行障碍物的在线实时检测，能够可靠地获取障碍物的位置信息。
步骤S33：根据障碍物在每帧二维裁剪图像中的位置信息，对所述位置信息对应的障碍物图像进一步进行裁剪，生成障碍物小图像等待进行进一步处理。
本步骤S3中，通过对YOLOV3深度学习模型对训练图像样本进行训练和测试，得到了可实际部署的模型权值文件，可用来对三维避碰声呐采集的每帧二维裁剪图像进行在线实时的障碍物位置检测，确定每帧图像中障碍物所在的位置信息，进一步通过裁剪获取每个障碍物小图像，便于后续精确识别出障碍物轮廓信息，简单、可靠也易于实现。
步骤S4：对识别出的障碍物小图像，使用基于自适应的双阈值检测算法进行图像分割，获取精确地障碍物轮廓信息，并得到障碍物成像的平均灰度值。
本步骤S4中，所述自适应双阈值图像分割算法，参阅图6所示，具体包括如下：
步骤S41：使用Otsu(最大类间方差法)算法对障碍物小图像进行直方图统计，得到障碍物小图像的自适应分割阈值dth；
步骤S42：根据所述自适应分割阈值dth，确定高低分割阈值并进行图像二值化，得到二值化分割图像；
进一步的，所述得到二值化分割图像，具体过程包括：
设置高低阈值分别为dth1、dth2，其中dth1>dth2，并取dth1＝1.2dth，dth2＝0.2dth；
根据所述高低分割阈值进行障碍物小图像的二值化，即假设d[i,j]为图像坐标[i,j]处的像素值，如果d[i,j]>dth1，则将图像坐标对应的像素点认定为目标点；
采用递归边界跟踪方法，将所述目标点八邻域区域(即8个相邻的像素)内的像素值>dth2的像素点也判定为目标点，此方法可最大程度的分割出目标区域。
根据判定的所有目标点，得到二值化分割图像。
步骤S43：将二值化分割图像进行形态学闭运算处理，去除孤立噪声点；
步骤S44：根据处理后的分割图像，使用二值连通成分标记的序贯算法，分别对分割出的障碍物目标区域及背景区域进行连通性分析，对障碍物的目标区域内部的孔洞进行填充，最终得到完整的障碍物轮廓信息。
步骤S45：根据所述障碍物完整的轮廓信息后，统计轮廓信息内的原始图像灰度值，计算得到障碍物成像的像素灰度值。
具体的，当一张图像中含有多个障碍物时，可首先对单个障碍物图像进行处理，最后取全部障碍物成像均值的最小值为最终检测值，以保证所有障碍物检测的完整性。图7中所示，针对二维扇形图像a1和b1，采用上述自适应双阈值图像分割算法进行障碍物分割后，分别得到的障碍物轮廓信息为图7中a2和b2，即可以清晰地得到障碍物轮廓信息，并可以保证其检测的完整性。
本步骤S4中，通过自适应双阈值图像分割算法，可以精确地分割出每个障碍物小图像中障碍物的轮廓信息，这样就可得到精确的障碍物成像的像素灰度值，为障碍物的三维点云数据划分确定了分割阈值。
步骤S5：根据障碍物成像的像素灰度值，进行三维点云数据栅格化处理并生成三维栅格图像，获取障碍物的三维边界数据。
本步骤S5中，所述三维点云数据栅格化处理，参阅图8所示，具体过程包括如下：
步骤S51：使用OPenGL创建三维避碰声呐避碰通道的显示空间；
具体的，避碰通道的尺寸可根据安全航行阈值条件设置，其中避碰通道指AUV正前方为保证安全航行需要设置的高H×宽W×深L的立方体空间，该立方体空间可保证AUV安全航行，只需检测该立方体空间内是否存在障碍物即可判断AUV是否需要进行避碰。
步骤S52：根据需要的避碰通道分辨率，将所述显示空间按照高、宽、深三个方向划分三维栅格，即划分为h×w×l个三维栅格，其中h、w、l分别对应高、宽、深三个方向。
具体的，在立方体空间的高H、宽W和深L三个方向，分别划分h个、w个和l个，形成三维栅格。
步骤S53：将三维点云数据按位置信息映射至三维栅格的区域内，得到映射数据，并根据障碍物成像的像素灰度值对映射数据进行处理，三维栅格内只保留像素大于像素灰度值的数据。
步骤S54：根据所有的三维栅格内包含的全部数据灰度值，计算灰度值总和并进行伪彩赋值，即栅格内全部数据的灰度值总和越大，伪彩亮度越高，得到障碍物的三维栅格图像。
步骤S55：从三维栅格图像中提取三维栅格化结果，得到障碍物的三维边界数据，包括障碍物的最大高度、左边界和右边界数据。
本步骤S5中，图9中a～f所示分别为障碍物检测结果与对应在三维栅格内，得到的三维栅格图像，通过三维栅格图像可以可靠地得到障碍物的三维边界数据。通过设置AUV三维避碰通道，并将三维避碰声呐三维点云数据进行栅格化处理，采用立方体的显示空间进行显示，可方便获取到避碰通道内障碍物的三维边界信息，为AUV提供了精简准确的障碍物三维信息，方便进行避碰控制。
步骤S6：将所述三维边界数据发送给AUV(水下航行器)控制单元，实现对障碍物进行避碰控制。
本实施例中，通过在三维格栅中得到障碍物的三维边界数据，方便水下航行器控制单元实现对障碍物进行避碰控制，整个检测方法简单、可靠也易于实现，并基于深度学习模型能保证检测方法的准确性。
参阅图10所示，本发明还提供一种基于深度学习的三维避碰声呐障碍物检测系统，该检测系统包括：
探测采集模块：用于三维避碰声呐探测障碍物，并采集障碍物的三维点云数据；
处理标注模块：用于对所述三维点云数据进行处理，生成二维扇形图像，并在二维扇形图像中进行障碍物标注，得到训练图像样本；
样本训练模块：用于通过深度学习模型对所述训练图像样本进行训练，并对障碍物进行图像检测识别，获取障碍物的位置信息，得到所述位置信息对应的障碍物小图像；
图像分割模块：用于对所述障碍物小图像，基于自适应的双阈值检测算法进行图像分割，获取障碍物轮廓信息，并得到障碍物成像的平均灰度值；
边界数据获取模块：用于根据识别出的障碍物轮廓信息和成像的平均灰度值，进行三维点云数据栅格化处理生成三维栅格图像，获取障碍物的三维边界数据；
避碰控制模块：用于将所述三维边界数据发送给AUV控制单元，实现对障碍物进行避碰控制。
具体地，本发明实施例提供的系统具体用于执行上述方法实施例，本发明实施例对此不再进行赘述。
本发明提供的基于深度学习的三维避碰声呐障碍物检测方法及系统，通过三维避碰声呐采集障碍物的三维点云数据，先对数据进行处理生成二维扇形图像，并进行障碍物标注得到训练图像样本；再通过深度学习模型对所述训练图像样本进行训练，获取障碍物的位置信息和障碍物小图像；基于自适应的双阈值检测算法进行图像分割，获取障碍物轮廓信息，并得到障碍物成像的平均灰度值；最后进行三维栅格化处理，获取障碍物的三维边界数据，实现对障碍物进行避碰控制；本发明能够准确、快速地实现对障碍物进行检测，精确获取障碍物的三维轮廓信息，整个检测方法和系统简单、可靠也易于实现。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的三维避碰声呐障碍物检测方法，其特征在于：该检测方法的具体步骤包括如下：
三维避碰声呐探测障碍物，并采集障碍物的三维点云数据；
对所述三维点云数据进行处理，生成二维扇形图像，并在二维扇形图像中进行障碍物标注，得到训练图像样本；
通过深度学习模型对所述训练图像样本进行训练，并对障碍物进行图像检测识别，获取障碍物的位置信息，得到所述位置信息对应的障碍物小图像；
对所述障碍物小图像，基于自适应的双阈值检测算法进行图像分割，获取障碍物轮廓信息，并得到障碍物成像的平均灰度值；
根据识别出的障碍物轮廓信息和成像的平均灰度值，进行三维点云数据栅格化处理生成三维栅格图像，获取障碍物的三维边界数据；
将所述三维边界数据发送给AUV控制单元，实现对障碍物进行避碰控制。
2.根据权利要求1所述的基于深度学习的三维避碰声呐障碍物检测方法，其特征在于：所述对三维点云数据进行处理，生成二维扇形图像，并在二维扇形图像中进行障碍物标注，具体包括如下：
对所述三维点云数据进行降维处理，得到二维数组；
将所述二维数组进行扇形展开，生成二维扇形图像，并得到障碍物的图像数据样本；
根据所述图像数据样本中所有的二维扇形图像，按照设定像素尺寸大小进行裁剪，得到二维裁剪图像；
在二维裁剪图像中进行障碍物标注得到障碍物区域，并对标注后的图像数据样本按比例分类，得到训练图像样本。
3.根据权利要求2所述的基于深度学习的三维避碰声呐障碍物检测方法，其特征在于：采用最大值法对三维点云数据进行降维处理，在垂直方向取数列的最大值，将三维点云数据对应的三维数组降低为二维数组。
4.根据权利要求1所述的基于深度学习的三维避碰声呐障碍物检测方法，其特征在于：所述通过深度学习模型对所述训练图像样本进行训练，具体包括如下：
设置模型的训练参数，并采用YOLOV3深度学习模型对训练图像样本进行数据训练，得到模型权值文件；
根据所述模型权值文件，在已标注障碍物区域的训练图像样本中，进行障碍物在线检测识别，进一步得到障碍物在所述障碍物区域中的位置信息；
将所述位置信息对应的障碍物图像进行裁剪，生成障碍物小图像。
5.根据权利要求4所述的基于深度学习的三维避碰声呐障碍物检测方法，其特征在于：所述深度学习模型的训练参数设置如下：批量大小设置为32，训练图像宽度和高度为512像素，分类数为1，filters参数为18，训练次数不小于20000次，损失函数值不能大于0.2。
6.根据权利要求1所述的基于深度学习的三维避碰声呐障碍物检测方法，其特征在于：所述自适应双阈值图像分割算法，具体包括如下：
采用最大类间方差法对障碍物小图像进行直方图统计，得到障碍物小图像的自适应分割阈值dth；
根据所述自适应分割阈值dth，确定高低分割阈值并进行图像二值化，得到二值化分割图像；
将二值化分割图像进行形态学闭运算处理，去除孤立噪声点；
根据处理后的分割图像，通过二值连通成分标记的序贯算法，分别对分割出的障碍物目标区域及背景区域进行连通性分析，对障碍物的目标区域内部的孔洞进行填充，得到完整的障碍物轮廓信息；
根据所述障碍物完整的轮廓信息后，统计轮廓信息内的原始图像灰度值，计算得到障碍物成像的像素灰度值。
7.根据权利要求6所述的基于深度学习的三维避碰声呐障碍物检测方法，其特征在于：所述得到二值化分割图像，具体过程包括：
设置高低阈值分别为dth1、dth2，其中dth1>dth2，并取dth1＝1.2dth，dth2＝0.2dth；
根据所述高低分割阈值进行障碍物小图像的二值化，即设d[i,j]为图像坐标[i,j]处的像素值，若d[i,j]>dth1，则将图像坐标对应的像素点认定为目标点；
采用递归边界跟踪方法，将所述目标点的八邻域区域内的像素值>dth2的像素点也判定为目标点；
根据判定的所有目标点，得到二值化分割图像。
8.根据权利要求1所述的基于深度学习的三维避碰声呐障碍物检测方法，其特征在于：所述三维点云数据栅格化处理，具体过程包括如下：
创建三维避碰声呐避碰通道的显示空间；
根据需要的避碰通道分辨率，将所述显示空间按照高、宽、深三个方向划分三维栅格；
将三维点云数据按位置信息映射至三维栅格的区域内，得到映射数据，并根据障碍物成像的像素灰度值对映射数据进行处理，保留像素大于像素灰度值的数据；
根据所有的三维栅格内包含的全部数据灰度值，计算灰度值总和并进行伪彩赋值，得到障碍物的三维栅格图像；
从三维栅格图像中提取三维栅格化结果，得到障碍物的三维边界数据。
9.根据权利要求8所述的基于深度学习的三维避碰声呐障碍物检测方法，其特征在于：所述显示空间采用高H×宽W×深L的立方体空间，并划分为高h×宽w×深l个三维栅格。
10.一种基于权利要求1-9任一项所述基于深度学习的三维避碰声呐障碍物检测方法的检测系统，其特征在于：该检测系统包括：
探测采集模块：用于三维避碰声呐探测障碍物，并采集障碍物的三维点云数据；
处理标注模块：用于对所述三维点云数据进行处理，生成二维扇形图像，并在二维扇形图像中进行障碍物标注，得到训练图像样本；
样本训练模块：用于通过深度学习模型对所述训练图像样本进行训练，并对障碍物进行图像检测识别，获取障碍物的位置信息，得到所述位置信息对应的障碍物小图像；
图像分割模块：用于对所述障碍物小图像，基于自适应的双阈值检测算法进行图像分割，获取障碍物轮廓信息，并得到障碍物成像的平均灰度值；
边界数据获取模块：用于根据识别出的障碍物轮廓信息和成像的平均灰度值，进行三维点云数据栅格化处理生成三维栅格图像，获取障碍物的三维边界数据；
避碰控制模块：用于将所述三维边界数据发送给AUV控制单元，实现对障碍物进行避碰控制。
CN202111649696.7A 2021-12-29 2021-12-29 一种基于深度学习的三维避碰声呐障碍物检测方法及系统 Pending CN114463362A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111649696.7A CN114463362A (zh) 2021-12-29 2021-12-29 一种基于深度学习的三维避碰声呐障碍物检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111649696.7A CN114463362A (zh) 2021-12-29 2021-12-29 一种基于深度学习的三维避碰声呐障碍物检测方法及系统

Publications (1)

Publication Number Publication Date
CN114463362A true CN114463362A (zh) 2022-05-10

Family

ID=81408300

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111649696.7A Pending CN114463362A (zh) 2021-12-29 2021-12-29 一种基于深度学习的三维避碰声呐障碍物检测方法及系统

Country Status (1)

Country Link
CN (1) CN114463362A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114721404A (zh) * 2022-06-08 2022-07-08 超节点创新科技(深圳)有限公司 避障方法、机器人和存储介质
CN115953418A (zh) * 2023-02-01 2023-04-11 公安部第一研究所 安检ct三维图像中笔记本区域剥离方法、存储介质及设备
CN117690122A (zh) * 2024-02-02 2024-03-12 中科数创(临沂)数字科技有限公司 一种档案库房用通道障碍检测系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114721404A (zh) * 2022-06-08 2022-07-08 超节点创新科技(深圳)有限公司 避障方法、机器人和存储介质
CN114721404B (zh) * 2022-06-08 2022-09-13 超节点创新科技(深圳)有限公司 避障方法、机器人和存储介质
CN115953418A (zh) * 2023-02-01 2023-04-11 公安部第一研究所 安检ct三维图像中笔记本区域剥离方法、存储介质及设备
CN115953418B (zh) * 2023-02-01 2023-11-07 公安部第一研究所 安检ct三维图像中笔记本区域剥离方法、存储介质及设备
CN117690122A (zh) * 2024-02-02 2024-03-12 中科数创(临沂)数字科技有限公司 一种档案库房用通道障碍检测系统
CN117690122B (zh) * 2024-02-02 2024-04-26 中科数创(临沂)数字科技有限公司 一种档案库房用通道障碍检测系统

Similar Documents

Publication Publication Date Title
CN114463362A (zh) 一种基于深度学习的三维避碰声呐障碍物检测方法及系统
CN105261017B (zh) 基于路面约束的图像分割法提取行人感兴趣区域的方法
JP5822255B2 (ja) 対象物識別装置及びプログラム
Galceran et al. A real-time underwater object detection algorithm for multi-beam forward looking sonar
CN108828621A (zh) 基于三维激光雷达的障碍检测和路面分割算法
CN113156421A (zh) 基于毫米波雷达和摄像头信息融合的障碍物检测方法
CN104463877B (zh) 一种基于雷达影像与电子海图信息的岸线配准方法
US20040252863A1 (en) Stereo-vision based imminent collision detection
EP2584529A2 (en) Method of image processing and device therefore
WO2005022077A2 (en) Method and apparatus for differentiating pedestrians, vehicles, and other objects
US10497128B2 (en) Method and system for sea background modeling and suppression on high-resolution remote sensing sea images
US11875515B2 (en) Method for morphology identification, trajectory tracking and velocity measurement of high-concentration microbubbles
CN108805050B (zh) 基于局部二值模式的电线检测方法
CN104915642B (zh) 前方车辆测距方法及装置
CN111913177A (zh) 对目标物探测方法、装置以及存储介质
CN109063669B (zh) 一种基于图像识别的桥区船舶航行态势分析方法及装置
CN114488190A (zh) 一种激光雷达3d点云地面检测方法
CN112329587B (zh) 饮料瓶的分类方法、装置及电子设备
Liu et al. Multi-type road marking recognition using adaboost detection and extreme learning machine classification
CN105574529A (zh) 一种侧扫声纳目标检测方法
CN114743181A (zh) 一种道路车辆目标检测方法、系统、电子设备及存储介质
CN115327572A (zh) 一种车辆前方障碍物检测方法
CN110458019B (zh) 稀缺认知样本条件下的排除倒影干扰的水面目标检测方法
JP2010197378A (ja) レーダ画像処理装置
JP2005157731A (ja) 車線認識装置および車線認識方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination