CN112750114A - 港口障碍物的检测方法、装置、电子装置和存储介质 - Google Patents

港口障碍物的检测方法、装置、电子装置和存储介质 Download PDF

Info

Publication number
CN112750114A
CN112750114A CN202110050375.9A CN202110050375A CN112750114A CN 112750114 A CN112750114 A CN 112750114A CN 202110050375 A CN202110050375 A CN 202110050375A CN 112750114 A CN112750114 A CN 112750114A
Authority
CN
China
Prior art keywords
point cloud
port
points
point
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110050375.9A
Other languages
English (en)
Inventor
刘鹤云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sinian Zhijia Technology Co ltd
Original Assignee
Beijing Sinian Zhijia Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sinian Zhijia Technology Co ltd filed Critical Beijing Sinian Zhijia Technology Co ltd
Priority to CN202110050375.9A priority Critical patent/CN112750114A/zh
Publication of CN112750114A publication Critical patent/CN112750114A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种港口障碍物的检测方法、装置、电子装置和存储介质，其中，该港口障碍物的检测方法包括：获取感知范围全覆盖当前自动驾驶车辆的传感器的每个坐标数据，并根据预设融合原点对每个所述坐标数据进行融合，得到点云数据；对所述点云数据进行障碍物的粗提取，得到点云点；利用训练完备的神经网络模型对所述点云点进行障碍物的细提取，以完成港口障碍物的检测。通过本申请，基于多传感器融合和神经网络模型的方案能够提高检测精度和效率，满足港口真实作业需求，安全且稳定。

Description

港口障碍物的检测方法、装置、电子装置和存储介质
技术领域
本申请涉及无人驾驶障碍物检测技术领域，特别是涉及港口障碍物的检测方法、装置、电子装置和存储介质。
背景技术
随着无人驾驶技术的发展和普及，越来越多的封闭或半开放场景开始采用无人驾驶技术对作业过程进行辅助和支持，港口环境即是其中之一。由于机器的特性之一是能够进行7×24小时的无间断工作，因而从效率提升和成本管控的角度，港口自动驾驶车辆作业是替代传统港口人工作业的未来趋势和重要手段，而港口障碍物的检测占据无人驾驶车辆作业的重要位置。
障碍物检测，主要指的是利用多种传感器，完成周边环境中障碍物的感知，辨识障碍物的位置和类型。而港口中的障碍物检测面临诸多挑战。港口包含大量的金属物体，例如龙门吊、集装箱、护栏建筑物等，这极大的限制了毫米波传感器的使用。且港口里包含较多的异常车型；卡车也是以半挂车为主，这种铰链式车型严重影响了分割和聚类的难度。
目前的障碍物检测方案为：先利用激光对路面进行分割，提取障碍物疑似点云；通过欧式聚类或其他聚类方法得到障碍物的凸包；再利用激光对路面进行分割，提取障碍物疑似点云；通过相机投影，辨识障碍物的凸包和类型；再投影回3d空间中。但是对于港口自动驾驶来说这种方案存在的问题是：由于港口的障碍物体积大的影响使得单个相机通常无法通过2d框完成精确检测，且跨越多个相机幅面的障碍物很难完成检测；同时，半挂车转弯的时候，整体呈现的是一个凹多边形，利用凸包会造成误检，不能满足港口真实作业需求。
目前针对相关技术中，，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种港口障碍物的检测方法、装置、电子装置和存储介质，以至少解决相关技术中，由于港口的障碍物体积大的影响使得单个相机通常无法通过2d框完成精确检测，且跨越多个相机幅面的障碍物很难完成检测；同时，半挂车转弯的时候，整体呈现的是一个凹多边形，利用凸包会造成误检的问题。
第一方面，本申请实施例提供了一种港口障碍物的检测方法，包括：
获取感知范围全覆盖当前自动驾驶车辆的传感器的每个坐标数据，并根据预设融合原点对每个所述坐标数据进行融合，得到点云数据；
对所述点云数据进行障碍物的粗提取，得到点云点；
利用训练完备的神经网络模型对所述点云点进行障碍物的细提取，以完成港口障碍物的检测。
在其中一些实施例中，还包括：
将若干传感器设置于自动驾驶车辆上，且所述干传感器的感知范围全覆盖当前自动驾驶车辆。
在其中一些实施例中，还包括：
对神经网络模型的训练，包括：
获取大量的粗提取得到的点云点；
构建H×W的张量空间，将所述点云点进行映射；
根据预设的2D的CNN的backbone网络对映射后的点云点进行网格图像的特征提取，得到特征数据；
利用预设的single shot detection(SSD)检测头将所述特征数据作为训练集以完成神经网络模型进行训练。
在其中一些实施例中，对所述点云数据进行障碍物的粗提取，得到点云点，包括：
对所述点云数据进行分割，并利用随机一致性采样算法对分割后的点云数据进行平面拟合，得到拟合的点云点；
遍历所有拟合的点云点，判断属于障碍物或地面点；
若拟合的点云点属于障碍物，则进行提取，得到点云点。
在其中一些实施例中，还包括：
若拟合的点云点属于地面点，则删除该点云点。
在其中一些实施例中，利用随机一致性采样算法对分割后的点云数据进行平面拟合，得到拟合的点云点，包括：
每次都从局部区域中随机选择不共线的三个点，并对这三个点进行第一平面拟合；
统计内点的数目，并根据统计结果选择得到点云簇；
利用最小二乘法对所述点云簇进行第二平面拟合，得到拟合的点云点。
第二方面，本申请实施例提供了一种港口障碍物的检测装置，包括获取模块、粗提取模块、细提取模块；
所述获取模块，用于获取感知范围全覆盖当前自动驾驶车辆的传感器的每个坐标数据，并根据预设融合原点对每个所述坐标数据进行融合，得到点云数据；
所述粗提取模块，用于对所述点云数据进行障碍物的粗提取，得到点云点；
所述细提取模块，用于利用训练完备的神经网络模型对所述点云点进行障碍物的细提取，以完成港口障碍物的检测。
第三方面，本申请实施例提供了一种港口障碍物的检测系统，包括：终端设备、传输设备以及服务器设备；其中，所述终端设备通过传输设备连接服务器设备；
所述终端设备用于点云数据；
所述传输设备用于传输点云数据；
所述服务器设备用于执行如第一方面所述的港口障碍物的检测方法。
第四方面，本申请实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的港口障碍物的检测方法。
第五方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的港口障碍物的检测方法。
相比于相关技术，本申请实施例提供的港口障碍物的检测方法、装置、电子装置和存储介质，通过获取感知范围全覆盖当前自动驾驶车辆的传感器的每个坐标数据，并根据预设融合原点对每个坐标数据进行融合，得到点云数据；对点云数据进行障碍物的粗提取，得到点云点；利用训练完备的神经网络模型对点云点进行障碍物的细提取，以完成港口障碍物的检测。解决了由于港口的障碍物体积大的影响使得单个相机通常无法通过2d框完成精确检测，且跨越多个相机幅面的障碍物很难完成检测；同时，半挂车转弯的时候，整体呈现的是一个凹多边形，利用凸包会造成误检的问题；基于多传感器融合和神经网络模型的方案能够提高检测精度和效率，满足港口真实作业需求，安全且稳定。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本申请一实施例提供的港口障碍物的检测方法的终端设备的硬件结构框图；
图2是本申请一实施例提供的港口障碍物的检测方法的流程图；
图3是本申请一实施例多传感器融合后的点云数据示意图；
图4是本申请一实施例中步骤S220的流程图；
图5是本申请一实施例障碍物粗提取后的示意图；
图6是本申请一实施例障碍物细提取后的示意图；
图7是本申请一实施例提供的港口障碍物的检测装置的结构框图。
图中：210、获取模块；220、粗提取模块；230、细提取模块。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本实施例提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。以运行在终端上为例，图1是本发明实施例的港口障碍物的检测方法的终端的硬件结构框图。如图1所示，终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限定。例如，终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的港口障碍物的检测方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括终端10的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
本实施例提供了一种港口障碍物的检测方法，图2是根据本申请实施例的港口障碍物的检测方法的流程图，如图2所示，该流程包括如下步骤：
步骤S210，获取感知范围全覆盖当前自动驾驶车辆的传感器的每个坐标数据，并根据预设融合原点对每个坐标数据进行融合，得到点云数据；
步骤S220，对点云数据进行障碍物的粗提取，得到点云点；
步骤S230，利用训练完备的神经网络模型对点云点进行障碍物的细提取，以完成港口障碍物的检测。
需要说明的是，传感器是预先设置。具体的是将若干传感器设置于自动驾驶车辆上，且干传感器的感知范围全覆盖当前自动驾驶车辆。也就是说传感器设置的个数是以感知范围全覆盖当前自动驾驶车辆为基础，而不是传感器的数量，对于不同的车辆类型，传感器的数量也是不一样的。比如，卡车、偏置码头车以及平板车上传感器的数量就不一定相同；卡车上的传感器可以是4个，通过拼接这4个传感器的坐标数据，能够达到360°全覆盖的目的。在一个实施例中，传感器可以是激光雷达，对此并不进行限制。
对于不同的车辆类型预设的融合原点也是不相同。比如，对于卡车或者偏置码头车而言，一般设为后轴中心；对于平板车而言，一般设为车辆中心点。上述的设置可以构建多传感器融合的坐标系，基于上述预设的原点，平行车辆前行方向为x轴，z轴垂直于地面向上，y轴满足右手坐标系原则。将所有传感器标定到设置好的多传感器融合的坐标系上，一般标定的参数包括三维坐标和三个轴的偏转角，即x、y、z、航向角、俯仰角、横滚角。当采集到各个传感器回传的点云数据后，通过旋转和平移，可以得到融合后的点云数据。如图3给出了一帧多传感器融合后的点云数据。
再通过对点云数据进行障碍物的粗提取，得到点云点；利用训练完备的神经网络模型对点云点进行障碍物的细提取，以完成港口障碍物的检测。通过上述步骤，利用多传感器可以全覆盖自动驾驶车辆，且利用多传感器融合的点云数据可以覆盖障碍物；从而避免现有技术中由于港口的障碍物体积大的影响使得单个相机通常无法通过2d框完成精确检测，且跨越多个相机幅面的障碍物很难完成检测的问题；并且融合的点云数据无论当前无人驾驶车辆的行驶怎么变化，始终能够达到360°全覆盖车辆，这样就是的半挂车转弯的时候，整体呈现的是一个凹多边形，也能够检测到，避免误检的问题。总的来说，本申请基于多传感器融合和神经网络模型的方案能够提高检测精度和效率，满足港口真实作业需求，安全且稳定。
下面通过优选实施例对本申请实施例进行描述和说明。
图4是本申请优选实施例的港口障碍物的检测方法步骤S220的流程图，包括以下步骤；
步骤S221，对点云数据进行分割，并利用随机一致性采样算法对分割后的点云数据进行平面拟合，得到拟合的点云点；
步骤S222，遍历所有拟合的点云点，判断属于障碍物或地面点；
步骤S223，若拟合的点云点属于障碍物，则进行提取，得到点云点。
步骤S224，若拟合的点云点属于地面点，则删除该点云点。
在一个实施例中，具体的过程可以为：
步骤一，为对融合后的点云数据进行分割，完成障碍物的粗提取；这样作为深度学习的样本数据能够保证深度学习的效果。这里的分割方法可以是将点云进行栅格化处理，即(xi,yi,zi)的点云点被映射到(u,v)栅格中，满足：
Figure BDA0002898837270000071
式中，scale表示栅格的分辨率，即像素/m；
Figure BDA0002898837270000072
那么意味着最多只有M×N个栅格点参与后续计算。
步骤二，对栅格化处理后的点云数据的每个局部区域，利用随机一致性采样算法(RANdom Sampling Consensus)进行平面拟合。具体的可以包括：每次都从局部区域中随机选择不共线的三个点，并对这三个点进行第一平面拟合；统计内点的数目，并根据统计结果选择得到点云簇；利用最小二乘法对点云簇进行第二平面拟合，得到拟合的点云点。在本实施例中，在统计内点的数目时，选择内点数目最多的点云簇。这里采用的最小二乘法完成平面拟合为：
Figure BDA0002898837270000073
式中，a、b、c为平面方程的参数；xi,yi,zi为第i个点云点的坐标点。
步骤三，遍历所有的点云点，判断属于障碍物还是地面点；若拟合的点云点属于障碍物，则进行提取，得到点云点；若拟合的点云点属于地面点，则删除该点云点。
Figure BDA0002898837270000074
式中，ci表示第i个点云点的类别，
Figure BDA0002898837270000075
表示该点对应的局部平面的z值，Th用来判断属于障碍物还是地面点。如图5所示，在剩余的点云中，不再包括地面点，即完成障碍物的粗提取过程。
在一个实施例中，为了快速完成港口障碍物的检测，需要预先训练神经网络模型；对神经网络模型的训练，包括一下步骤；
获取大量的粗提取得到的点云点；
构建H×W的张量空间，将点云点进行映射；
根据预设的2D的CNN的backbone网络对映射后的点云点进行网格图像的特征提取，得到特征数据；
利用预设的single shot detection(SSD)检测头将特征数据作为训练集以完成神经网络模型进行训练。
在一个实施例中，具体的过程可以为：
步骤一，构建H×W的张量空间，将障碍物粗提取的点云点全部映射，以(xi,yi,zi)为例，映射的网格为(s,t)，满足：
Figure BDA0002898837270000081
式中，scale′表示网格的分辨率，即像素/m；
Figure BDA0002898837270000082
在每个网格处，归一化点云的数目：将大于N的值进行随机采样，只保留N个；小于N的填充为0。每个点保留四维特征(xi,yi,zi，ri)，其中ri表示该点云的反射率。
在一个实施例中，考虑到原始特征不够抽象，不足以很好的表达点云点的柱状特征。增加了一个柱状提取网络，通过卷积加上最大池化变成H×W×C的张量空间，完成点云柱状体的抽象表达。其中，C表示每个网格点的特征表达维度。
步骤二，引入2DCNN的backbone网络，可以进行网格图像的特征提取。具体过程为：首先，对张量空间进行逐层卷积，通过减小输出张量空间的尺寸来降低检测的搜索空间。其次，再对下采样的结果进行逐层反卷积，通过增大输出张量空间的尺寸来增加特征的颗粒度，保证分类和检测框的拟合效果。最后，合并所有张量空间，作为输出点云网格图像的深层次表达。
在一个实施例中，可以采用3×3的小卷积和，并通过残差单元减少参数和计算量；同时，因为障碍物粗提取已经滤除大量的误检元素，所以特征层的数目可以要求降低。上述过程能够保证算法耗时满足车载需求。
步骤三，预先涉及single shot detection(SSD)经典检测头来完成障碍物的辨识。具体的，主要设计了6个输出项(xj,yj,wj,hj,tj,θj)，分别代表相对x坐标、相对y坐标、宽度、高度、类别以及航向角。其中，回归问题的损失函数用smooth L1，分类问题的损失函数采用focal loss进行优化。训练得到的神经网络模型存储在无人驾驶车辆上，载入内存后即可完成实时障碍物细提取。细提取的结果如图6所示。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种港口障碍物的检测装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图7是根据本申请实施例的港口障碍物的检测装置的结构框图，如图7所示，该装置包括获取模块210、粗提取模块220、细提取模块230；
获取模块210，用于获取感知范围全覆盖当前自动驾驶车辆的传感器的每个坐标数据，并根据预设融合原点对每个坐标数据进行融合，得到点云数据；
粗提取模块220，用于对点云数据进行障碍物的粗提取，得到点云点；
细提取模块230，用于利用训练完备的神经网络模型对点云点进行障碍物的细提取，以完成港口障碍物的检测。
本申请利用多传感器可以全覆盖自动驾驶车辆，且利用多传感器融合的点云数据可以覆盖障碍物；从而避免现有技术中由于港口的障碍物体积大的影响使得单个相机通常无法通过2d框完成精确检测，且跨越多个相机幅面的障碍物很难完成检测的问题；并且融合的点云数据无论当前无人驾驶车辆的行驶怎么变化，始终能够达到360°全覆盖车辆，这样就是的半挂车转弯的时候，整体呈现的是一个凹多边形，也能够检测到，避免误检的问题。总的来说，本申请基于多传感器融合和神经网络模型的方案能够提高检测精度和效率，满足港口真实作业需求，安全且稳定。
在一个实施例中，还包括预训练模块；
预训练模块，用于对神经网络模型的训练，包括：获取大量的粗提取得到的点云点；构建H×W的张量空间，将所述点云点进行映射；根据预设的2D的CNN的backbone网络对映射后的点云点进行网格图像的特征提取，得到特征数据；利用预设的single shotdetection(SSD)检测头将所述特征数据作为训练集以完成神经网络模型进行训练。
在一个实施例中，粗提取模块220，还用于对所述点云数据进行分割，并利用随机一致性采样算法对分割后的点云数据进行平面拟合，得到拟合的点云点；
遍历所有拟合的点云点，判断属于障碍物或地面点；
若拟合的点云点属于障碍物，则进行提取，得到点云点；
若拟合的点云点属于地面点，则删除该点云点。
在一个实施例中，粗提取模块220，还用于每次都从局部区域中随机选择不共线的三个点，并对这三个点进行第一平面拟合；
统计内点的数目，并根据统计结果选择得到点云簇；
利用最小二乘法对所述点云簇进行第二平面拟合，得到拟合的点云点。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取感知范围全覆盖当前自动驾驶车辆的传感器的每个坐标数据，并根据预设融合原点对每个坐标数据进行融合，得到点云数据；
S2，对点云数据进行障碍物的粗提取，得到点云点；
S3，利用训练完备的神经网络模型对点云点进行障碍物的细提取，以完成港口障碍物的检测。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
另外，结合上述实施例中的港口障碍物的检测方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种港口障碍物的检测方法。
本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种港口障碍物的检测方法，其特征在于，包括：
获取感知范围全覆盖当前自动驾驶车辆的传感器的每个坐标数据，并根据预设融合原点对每个所述坐标数据进行融合，得到点云数据；
对所述点云数据进行障碍物的粗提取，得到点云点；
利用训练完备的神经网络模型对所述点云点进行障碍物的细提取，以完成港口障碍物的检测。
2.根据权利要求1所述的港口障碍物的检测方法，其特征在于，还包括：
将若干传感器设置于自动驾驶车辆上，且所述干传感器的感知范围全覆盖当前自动驾驶车辆。
3.根据权利要求1所述的港口障碍物的检测方法，其特征在于，还包括：
对神经网络模型的训练，包括：
获取大量的粗提取得到的点云点；
构建H×W的张量空间，将所述点云点进行映射；
根据预设的2D的CNN的backbone网络对映射后的点云点进行网格图像的特征提取，得到特征数据；
利用预设的single shot detection(SSD)检测头将所述特征数据作为训练集以完成神经网络模型进行训练。
4.根据权利要求1所述的港口障碍物的检测方法，其特征在于，对所述点云数据进行障碍物的粗提取，得到点云点，包括：
对所述点云数据进行分割，并利用随机一致性采样算法对分割后的点云数据进行平面拟合，得到拟合的点云点；
遍历所有拟合的点云点，判断属于障碍物或地面点；
若拟合的点云点属于障碍物，则进行提取，得到点云点。
5.根据权利要求4所述的港口障碍物的检测方法，其特征在于，还包括：
若拟合的点云点属于地面点，则删除该点云点。
6.根据权利要求4所述的港口障碍物的检测方法，其特征在于，利用随机一致性采样算法对分割后的点云数据进行平面拟合，得到拟合的点云点，包括：
每次都从局部区域中随机选择不共线的三个点，并对这三个点进行第一平面拟合；
统计内点的数目，并根据统计结果选择得到点云簇；
利用最小二乘法对所述点云簇进行第二平面拟合，得到拟合的点云点。
7.一种港口障碍物的检测装置，其特征在于，包括获取模块、粗提取模块、细提取模块；
所述获取模块，用于获取感知范围全覆盖当前自动驾驶车辆的传感器的每个坐标数据，并根据预设融合原点对每个所述坐标数据进行融合，得到点云数据；
所述粗提取模块，用于对所述点云数据进行障碍物的粗提取，得到点云点；
所述细提取模块，用于利用训练完备的神经网络模型对所述点云点进行障碍物的细提取，以完成港口障碍物的检测。
8.一种港口障碍物的检测系统，其特征在于，包括：终端设备、传输设备以及服务器设备；其中，所述终端设备通过传输设备连接服务器设备；
所述终端设备用于点云数据；
所述传输设备用于传输点云数据；
所述服务器设备用于执行如权利要求1至6中任一项所述的港口障碍物的检测方法。
9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至6中任一项所述的港口障碍物的检测方法。
10.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至6中任一项所述的港口障碍物的检测方法。
CN202110050375.9A 2021-01-14 2021-01-14 港口障碍物的检测方法、装置、电子装置和存储介质 Pending CN112750114A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110050375.9A CN112750114A (zh) 2021-01-14 2021-01-14 港口障碍物的检测方法、装置、电子装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110050375.9A CN112750114A (zh) 2021-01-14 2021-01-14 港口障碍物的检测方法、装置、电子装置和存储介质

Publications (1)

Publication Number Publication Date
CN112750114A true CN112750114A (zh) 2021-05-04

Family

ID=75652096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110050375.9A Pending CN112750114A (zh) 2021-01-14 2021-01-14 港口障碍物的检测方法、装置、电子装置和存储介质

Country Status (1)

Country Link
CN (1) CN112750114A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110531376A (zh) * 2019-08-23 2019-12-03 畅加风行(苏州)智能科技有限公司 用于港口无人驾驶车辆的障碍物检测和跟踪方法
CN110658531A (zh) * 2019-08-23 2020-01-07 畅加风行(苏州)智能科技有限公司 一种用于港口自动驾驶车辆的动态目标追踪方法
CN110764108A (zh) * 2019-11-05 2020-02-07 畅加风行(苏州)智能科技有限公司 一种用于港口自动驾驶场景的障碍物检测方法及装置
CN111199206A (zh) * 2019-12-30 2020-05-26 上海眼控科技股份有限公司 三维目标检测方法、装置、计算机设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110531376A (zh) * 2019-08-23 2019-12-03 畅加风行(苏州)智能科技有限公司 用于港口无人驾驶车辆的障碍物检测和跟踪方法
CN110658531A (zh) * 2019-08-23 2020-01-07 畅加风行(苏州)智能科技有限公司 一种用于港口自动驾驶车辆的动态目标追踪方法
CN110764108A (zh) * 2019-11-05 2020-02-07 畅加风行(苏州)智能科技有限公司 一种用于港口自动驾驶场景的障碍物检测方法及装置
CN111199206A (zh) * 2019-12-30 2020-05-26 上海眼控科技股份有限公司 三维目标检测方法、装置、计算机设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ERZAYI 等: "PointPillars", BLOG.CSDN.NET/BAIDU_32284829/ARTICLE/DETAILS/110119440, pages 1 - 2 *
管郡智 等: "基于多区域 RANSAC 的地面点云提取算法", 电子技术与软件工程, pages 176 - 177 *
管郡智 等: "基于多区域RANSAC的地面点云提取算法", 电子技术与软件工程, no. 14 *

Similar Documents

Publication Publication Date Title
CN107844750B (zh) 一种水面全景图像目标检测识别方法
DE112018000899T5 (de) Gemeinsame 3D-Objekterfassung und Ausrichtungsabschätzung über multimodale Fusion
CN115244421A (zh) 使用相机地图和/或雷达信息的对象尺寸估计
CN110148144A (zh) 点云数据的分割方法和装置、存储介质、电子装置
CN110246183B (zh) 车轮接地点检测方法、装置及存储介质
CN109657638B (zh) 障碍物定位方法、装置和终端
CN112581612A (zh) 基于激光雷达和环视摄像头融合的车载栅格地图生成方法及系统
CN111257882B (zh) 数据融合方法、装置、无人驾驶设备和可读存储介质
WO2024012211A1 (zh) 自动驾驶环境感知方法、介质及车辆
Saleem et al. Steering angle prediction techniques for autonomous ground vehicles: a review
CN114792416A (zh) 一种目标检测方法及装置
CN115147333A (zh) 一种目标检测方法及装置
CN114898321A (zh) 道路可行驶区域检测方法、装置、设备、介质及系统
Song et al. Automatic detection and classification of road, car, and pedestrian using binocular cameras in traffic scenes with a common framework
García-Pulido et al. UAV landing platform recognition using cognitive computation combining geometric analysis and computer vision techniques
CN114332845A (zh) 一种3d目标检测的方法及设备
CN114841910A (zh) 车载镜头遮挡识别方法及装置
CN112733678A (zh) 测距方法、装置、计算机设备和存储介质
CN112750114A (zh) 港口障碍物的检测方法、装置、电子装置和存储介质
CN116797894A (zh) 一种增强特征信息的雷达与视频融合目标检测方法
CN113611008B (zh) 一种车辆行驶场景采集方法、装置、设备及介质
CN115346184A (zh) 一种车道信息检测方法、终端及计算机存储介质
Chen et al. A new adaptive region of interest extraction method for two-lane detection
CN114384486A (zh) 一种数据处理方法及装置
Wang et al. A novel lane changing algorithm with efficient method of lane detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210504