CN112651986A - 环境识别方法、识别装置、识别系统、电子设备及介质 - Google Patents

环境识别方法、识别装置、识别系统、电子设备及介质 Download PDF

Info

Publication number
CN112651986A
CN112651986A CN202011566878.3A CN202011566878A CN112651986A CN 112651986 A CN112651986 A CN 112651986A CN 202011566878 A CN202011566878 A CN 202011566878A CN 112651986 A CN112651986 A CN 112651986A
Authority
CN
China
Prior art keywords
point cloud
dimensional
environment
hough space
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011566878.3A
Other languages
English (en)
Other versions
CN112651986B (zh
Inventor
宋伟
刘振
张凌峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China University of Technology
Original Assignee
North China University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China University of Technology filed Critical North China University of Technology
Priority to CN202011566878.3A priority Critical patent/CN112651986B/zh
Publication of CN112651986A publication Critical patent/CN112651986A/zh
Application granted granted Critical
Publication of CN112651986B publication Critical patent/CN112651986B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供基于三维霍夫空间与三维卷积神经网络的环境识别方法、装置、系统、电子设备及介质。该方法包括以下步骤：对环境进行扫描，获取该环境的点云数据；对点云数据进行分割，得到若干个点云集群；将点云集群映射到三维霍夫空间，对三维霍夫空间栅格化，得到与单元格对应的判别信息；并且将判别信息输入预先训练的三维卷积神经网络模型，获得对该环境的识别结果。根据本发明提供的环境识别方法，结合三维霍夫空间与三维卷积神经网络实现对点云物体的识别，克服了点云数据的非结构化、分布稀疏、无序等缺陷，避免了点云几何结构的丢失与分辨率的降低，提高了物体识别的准确性，适用于各种需要三维物体识别技术的领域。

Description

环境识别方法、识别装置、识别系统、电子设备及介质
技术领域
本发明涉及机器学习技术领域，尤其是深度学习技术领域，具体涉及基于三维霍夫空间与三维卷积神经网络的环境识别方法、环境识别装置、环境识别系统、电子设备及介质。
背景技术
目前，随着人工智能的发展，高精度地识别环境、尤其是环境中的三维物体已成为极具研究价值的重要课题。并且，这种识别技术在交通、工业和军事等领域均发挥重要作用。在交通领域，三维物体识别给无人驾驶的交通工具提供精确实时的环境信息，从而实现安全高效的自主导航、规避障碍物、路径规划等。在工业领域，利用三维物体识别可以分析设备故障、排查安全隐患、确认运行状态等。在军事领域，高效的三维物体识别可用于目标侦查系统、警戒系统、防御系统中。
最传统、最直观的方法利用二维数码相机获取待识别环境的信息，但是二维图像的成像过程要从三维空间映射到二维空间，必然会丢失大量信息，且极易受环境光照强度、物体表面反射特性和纹理特征等诸多因素的影响。随着人们对计算机视觉系统的要求越来越高，基于二维图像的环境感知已经无法满足要求。与传统的测绘技术相比，基于激光雷达测距技术获取的环境信息数据具有速度快、精度高、抗干扰能力强等优点，可以大规模地获取准确的动态三维数字几何信息。因此，激光雷达采集的三维点云信息，被广泛应用于三维物体识别领域。
现有的点云识别方法多是通过分析提取物体的几何属性、形状属性、结构属性等特征进行比对、学习，从而完成物体的识别。然而，例如由激光雷达传感器获取的点云信息具有数据量大、密度不均匀、非结构化且空间分布不连续等特点，基于特征的物体识别方法计算量大、耗时严重且易受噪声的影响。
发明内容
为了至少解决现有技术中存在的部分问题，提高识别的准确度，本发明提供了基于三维霍夫空间与三维卷积神经网络的环境识别方法方法、环境识别装置、环境识别系统以及相应的电子设备和非暂态计算机可读存储介质。
第一方面，本发明提供一种基于三维霍夫空间与三维卷积神经网络的环境识别方法，包括以下步骤：
对环境进行扫描，获取该环境的点云数据；
对点云数据进行分割，得到若干个点云集群；
将点云集群映射到三维霍夫空间，对三维霍夫空间栅格化，得到与单元格对应的判别信息；并且
将判别信息输入预先训练的三维卷积神经网络模型，获得对该环境的识别结果。
根据本发明提供的环境识别方法，优选地，利用激光雷达传感器获取所述环境的点云数据。
根据本发明提供的环境识别方法，其中，对点云数据进行分割，得到若干个点云集群，具体包括：采用三维连通标记算法对点云数据进行分割；通过逆映射获得与索引值相同的网格相对应的点标签，以得到若干个点云集群。
根据本发明提供的环境识别方法，其中，将点云集群映射到三维霍夫空间，对三维霍夫空间栅格化，得到与单元格对应的判别信息，具体包括：利用三维霍夫变换算法将点云集群映射到三维霍夫空间；对三维霍夫空间栅格化；统计每个单元格的有效点计数，作为判别信息。
根据本发明提供的环境识别方法，其中，在将判别信息输入预先训练的三维卷积神经网络模型之前，还包括：获取点云样本，并由点云样本得到判别信息样本；初始化三维卷积神经网络模型，将判别信息样本作为该模型的输入值，进行卷积、池化、全连接处理；训练该模型，直至其误差接近于0；对训练好的模型进行精度测试；将通过精度测试的模型作为预先训练的三维卷积神经网络模型使用。
根据本发明提供的环境识别方法，优选地，该环境为无人驾驶地面车辆周围的环境；相应地，在对点云数据进行分割之前，对点云数据进行预处理，滤除地面点数据。
第二方面，本发明还提供一种基于三维霍夫空间与三维卷积神经网络的环境识别装置，包括：
获取模块，用于对环境进行扫描，获取该环境的点云数据；
分割模块，用于对点云数据进行分割，得到若干个点云集群；
变换模块，用于将点云集群映射到三维霍夫空间，对三维霍夫空间栅格化，得到与单元格对应的判别信息；以及
识别模块，用于将判别信息输入预先训练的三维卷积神经网络模型，获得对该环境的识别结果。
第三方面，本发明还提供一种基于三维霍夫空间与三维卷积神经网络的环境识别系统，包括：激光雷达传感器、处理器和无人驾驶交通工具，其中，
激光雷达传感器用于对无人驾驶交通工具的环境进行扫描，获取该环境的点云数据，并将点云数据传输给处理器；
处理器用于：对点云数据进行分割，得到若干个点云集群；将点云集群映射到三维霍夫空间，对三维霍夫空间栅格化，得到与单元格对应的判别信息；并且将判别信息输入预先训练的三维卷积神经网络模型，获得对该环境的识别结果；
无人驾驶交通工具从处理器接收识别结果。
第四方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行该计算机程序时实现如上述任一种的基于三维霍夫空间与三维卷积神经网络的环境识别方法的步骤。
第五方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种的基于三维霍夫空间与三维卷积神经网络的环境识别方法的步骤。
由上述技术方案可知，本发明提供的基于三维霍夫空间与三维卷积神经网络的环境识别方法、环境识别装置、环境识别系统、电子设备及存储介质，通过利用三维霍夫空间处理所获取的环境点云数据得到判别信息，再利用三维卷积神经网络模型处理判别信息，获取对环境的识别结果，克服了点云数据的非结构化、分布稀疏、无序等缺陷，避免了点云几何结构的丢失与分辨率的降低，从而实现对环境的高精度识别。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍。显而易见地，下面描述中的附图是本发明的一部分实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的基于三维霍夫空间与三维卷积神经网络的环境识别方法的流程图；
图2示出了根据本发明一实施例提供的环境识别方法在某个点云场景中的物体分割结果；
图3示出了本发明一实施例提供的环境识别方法中采用的三维霍夫变换算法的笛卡尔坐标系与霍夫空间坐标系；
图4是本发明一实施例提供的进行分类的五种点云物体的空间分布状态的示意图；
图5是本发明一实施例提供的由五种点云物体生成的三维霍夫空间状态的示意图；
图6是本发明一实施例提供的三维卷积神经网络模型的结构示意图；
图7是本发明一实施例提供的在不同霍夫空间栅格化参数下进行训练时误差与分类精确度随训练次数变化的曲线图；
图8示出了本发明一实施例提供的三维卷积神经网络模型在不同霍夫空间栅格化参数下的五种点云物体的分类精确度对比；
图9示出了本发明一实施例提供的霍夫空间栅格化参数为25×25×25时五种点云物体的分类混淆矩阵；
图10示出了使用三维卷积神经网络模型的环境识别效果；
图11是本发明一实施例提供的基于三维霍夫空间与三维卷积神经网络的环境识别装置的示意图；
图12是本发明一实施例提供的基于三维霍夫空间与三维卷积神经网络的环境识别系统的示意图；以及
图13是本发明一实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明一实施例提供的基于三维霍夫空间与三维卷积神经网络的环境识别方法的流程图，如图1所示，该方法包括以下步骤：
步骤101，对环境进行扫描，获取该环境的点云数据；
高精度地识别周边环境对于智能监测、远程控制、移动机器人、娱乐游戏、增强现实、人机交互等领域中都有着重要意义。本发明通过扫描待识别的周边环境获取包含丰富信息的点云数据，力图通过点云数据尽量还原现实世界。
环境的点云数据优选为周边环境的三维点云数据。三维点云数据与像素呈连续排列方式的图像数据不同，呈现非结构化、无序且稀疏的分布。
步骤102，对点云数据进行分割，得到若干个点云集群；
对待识别环境中可能存在的待识别物体预先进行快速分割，可以进一步地提高物体识别的速度。若当前环境中存在多种待识别物体，则可以分割出与每种待识别物体分别对应的物体点云数据，具体表现为若干个独立的点云集群。
很多情况下，待识别的环境为地面环境，因而点云数据中包括大量表征地面的地面点云数据，此时可以考虑先对点云数据进行滤除地面数据的预处理，再对非地面点云数据进行分割。参见图2，其示出了根据本实施的方法在某个点云场景中的物体分割结果。
步骤103，将点云集群映射到三维霍夫空间，对三维霍夫空间栅格化，得到与单元格对应的判别信息；
本发明利用霍夫变换来检测辨别对象特征，将获取到的点云集群利用三维霍夫变换算法映射到三维霍夫空间。
对三维霍夫空间进行栅格化处理，可以得到栅格化直方图，通过栅格化直方图可以获知每个栅格的点云分布。通过对栅格化直方图的遍历，针对每个单元格统计点云判别信息。
步骤104，将判别信息输入预先训练的三维卷积神经网络模型，获得对该环境的识别结果。
三维卷积神经网络(3D Convolutional Neural Networks，即3D CNN)以连续的多帧作为输入，增加了时间维度的信息，能够提取到更具表达性的时间和空间的特征信息。
本发明实施例提供的基于三维卷积神经网络的环境识别方法，可在实际使用环节之前，预先进行卷积神经网络的训练与测试，以实现点云场景下的高精度识别。
由上述技术方案可知，本实施例提供的基于三维霍夫空间与三维卷积神经网络的环境识别方法，通过将周边环境高精度的点云数据分割之后映射到三维霍夫空间进行处理，再利用三维卷积神经网络从高维数据提取复杂特征的能力输出点云物体识别结果，克服了点云数据的非结构化、分布稀疏、无序等缺陷，避免了点云几何结构的丢失与分辨率的降低，提高了物体识别的准确性。
本方法结合三维霍夫空间与三维卷积神经网络实现对点云物体的识别，适用于各种需要三维物体识别技术的领域，例如无人驾驶、智能环境监测、远程控制、工业装配、增强现实、人机交互、城市形态分析和数字文化遗产保护等，具有较强的通用性和可移植性，可推动三维识别领域的技术进步，推进社会新型产业的发展，并带来显著的社会效益和经济效益。
基于上述实施例的内容，在本实施例的基于三维霍夫空间与三维卷积神经网络的环境识别方法中，优选利用激光雷达传感器获取所述环境的点云数据。
通过激光雷达(LiDAR，Light Detection And Ranging)传感器获取未知环境的点云数据，可以获取高精度、高密度的三维信息。激光雷达传感器获取数据的方式主要分为三大类：星载(卫星平台)、机载(无人机)和地面(地上三维激光扫描、车载MMS、手持激光扫描)，适用范围广泛。
通过激光雷达传感器采集信息具有采集数据速度快、获取环境信息精度高、有效测量距离远等特点，举例来说，其有效探测范围可达100米，每秒扫描得到的坐标点可达几十万个，而且不易受光照、遮挡、天气、物体表面特性和纹理特征等影响，能够满足高精度点云物体识别的需求。
基于上述实施例的内容，在本实施例的基于三维霍夫空间与三维卷积神经网络的环境识别方法中，对点云数据进行分割，得到若干个点云集群，具体包括：采用三维连通标记算法对点云数据进行分割；通过逆映射获得与索引值相同的网格相对应的点标签，以得到若干个点云集群。
具体地，就三维连通标记算法而言，先设置多个单元网格，并为每个单元网格赋予索引值，每个单元网格均不断对比其上、下、左、右、前、后的网格的索引值，以找出最小索引值，并将最小索引值更新为自身的索引标签。接着，将拥有相同索引值的单元网格进行逆映射以得到点标签，将这些点标签进行标记，得到一个个分割好的点云集群，从而实现点云数据的分割。
由于对物体的快速分割操作计算量较大，可以不使用CPU(中央处理器)进行上述操作，而是调用GPU(图形处理器)分割点云数据，平衡了设备操作性能，也提高了分割的运算速度。
在执行霍夫变换之前，对点云数据的预先过滤和分割处理可以提高通过点云数据识别环境的速度，从而满足大规模数据实时处理的需求。
基于上述实施例的内容，在本实施例的基于三维霍夫空间与三维卷积神经网络的环境识别方法中，将点云集群映射到三维霍夫空间，对三维霍夫空间栅格化，得到与单元格对应的判别信息，具体包括：利用三维霍夫变换算法将点云集群映射到三维霍夫空间；对三维霍夫空间栅格化；统计每个单元格的有效点计数，作为判别信息。
首先，将获取到的点云集群利用三维霍夫变换算法映射至三维霍夫空间，其中三维霍夫变换算法如公式(1)所示：
Figure BDA0002861901780000091
参见图3所示的三维霍夫变换算法的笛卡尔坐标系与三维霍夫空间坐标系，公式(1)中各个参数的含义如下：x、y、z为样本点P在三维笛卡尔坐标系中的坐标，r、θ、
Figure BDA0002861901780000092
是点P在霍夫空间中的相应表达，其中，r为原点O到点P的距离，θ为线OP与z轴的夹角，
Figure BDA0002861901780000093
为线OP在x-y平面上的投影线与x轴的夹角。
然后，对该三维霍夫空间进行栅格化处理，并通过大量的遍历，在θ∈[0,2π]，
Figure BDA0002861901780000094
的范围内计算每个单元网格的有效点计数，从而获取到一系列的点云物体判别信息。
在进行霍夫空间下的数据处理时，将针对前述若干个独立的点云集群、也即与每种待识别物体分别对应的物体点云数据分别进行处理。参见图4、图5，图4示出了本发明一实施例提供的进行分类的五种点云物体的空间分布状态，分别是灌木、行人、车辆、乔木、建筑物，图5示出了由五种点云物体生成的三维霍夫空间状态。
基于上述实施例的内容，在本实施例的基于三维霍夫空间与三维卷积神经网络的环境识别方法中，在将判别信息输入预先训练的三维卷积神经网络模型之前，还包括预先训练网络模型的步骤如下：获取点云样本，并由点云样本得到判别信息样本；初始化三维卷积神经网络模型，将判别信息样本作为该模型的输入值，进行卷积、池化、全连接处理；训练该模型，直至其误差接近于0；对训练好的模型进行精度测试；将通过精度测试的模型作为预先训练的三维卷积神经网络模型使用。
首先，在通过例如与步骤101类似的操作获取点云样本之后，可以通过与前述步骤102、103类似的操作由点云样本得到判别信息样本。
然后，初始化三维卷积神经网络模型，该模型优选包含八层，即输入层、卷积层、池化层、卷积层、池化层、全连接层、全连接层和输出层，其中输出层显示了五种物体类型，即灌木、行人、车辆、乔木、建筑物。该模型将判别信息样本(例如，有效点计数)作为输入值，接着，进行卷积—池化—卷积—池化—全连接等操作。
其中卷积操作的主要作用是提取输入数据特征，池化操作的主要作用是在保留有用信息的基础上减少数据处理量，加快训练网络的速度。通常情况下，卷积神经网络至少包含二次卷积—池化操作，如本实施例所示的卷积层、池化层、卷积层、池化层，但本发明不限于此，例如，参见图6所示的模型结构，其中包含三次卷积—池化操作和四次全连接操作。增加卷积层数，在前一层卷积层基础上能够提取更加抽象的特征。
卷积计算过程如公式(2)所示。
Figure BDA0002861901780000101
公式(2)中，f(x)为ReLU激活函数，alj kmn表示第l个三维卷积层的第j个特征映射上的霍夫累加器空间数据A(k,m,n)的特征值，k、m、n为坐标值，blj为第l个三维卷积层的第j个特征映射的偏置值，q为第(l-1)个三维卷积层的特征映射集，Cl、Dl、El分别为三维卷积核的长度、高度和宽度，wij cde为连接上一层网络特征映射的三维卷积核(c,d,e)的权重。
假设训练样本为X＝{x1，x2，...，xH}，标记样本为Y＝{y1，y2，...，yH}，H为样本数，神经元的输入与输出分别为z和a，权重和偏置为W和b，则损失函数如公式(3)所示。
Figure BDA0002861901780000102
得到损失值后，根据公式(4)计算输出层的残差，再根据公式(5)反向计算每一层网络的残差。接着，在此基础上计算权重与偏置的偏导，如公式(6)、(7)所示。
Figure BDA0002861901780000111
Figure BDA0002861901780000112
Figure BDA0002861901780000113
Figure BDA0002861901780000114
最后，使用梯度下降法更新每一层的权重与偏置，如公式(8)、(9)所示，其中α为学习率。
Figure BDA0002861901780000115
Figure BDA0002861901780000116
在此基础上，对该三维卷积神经网络模型进行大量的训练，直至其误差接近于0。参见图7，其示出了在不同霍夫空间栅格化参数K×M×N下进行训练时，误差val_loss与分类精确度val_accuracy随训练次数、即迭代次数变化的曲线图。
对于训练好的三维卷积神经网络模型进行精度测试，通过精度测试的三维卷积神经网络模型应用即可作为前述预先训练的三维卷积神经网络模型应用到全局点云，实现大场景中的点云物体识别。
参见图8至图10，图8示出了训练好的三维卷积神经网络模型在不同霍夫空间栅格化参数K×M×N下的五种点云物体的分类精确度对比，其中在栅格化参数为25×25×25时的平均精确度为98.1％；图9为霍夫空间栅格化参数为25×25×25时五种点云物体的分类混淆矩阵；图10示出了使用三维卷积神经网络模型对点云大场景的识别效果。
根据本实施例提供的环境识别方法，在实际使用环节之前，预先进行三维卷积神经网络的训练与测试，将该模型的预测误差降至最低，有效保证了预测精度，从而进一步保证了点云场景下的高精度环境识别。
基于上述实施例的内容，在本实施例的基于三维霍夫空间与三维卷积神经网络的环境识别方法中，优选地，该环境为无人驾驶地面车辆(UGV，Unmanned Ground Vehicles)周围的环境。
在智慧交通体系中，环境感知问题对于自动驾驶至关重要，本发明的各实施例可应用于无人驾驶交通工具，尤其是无人驾驶地面车辆。无人驾驶地面车辆可以利用激光雷达传感器扫描道路地形采集点云数据，获得高精度的环境信息。激光雷达传感器邻近该无人驾驶地面车辆设置，优选地，安装在车顶。
因为在无人驾驶地面车辆所处的道路环境中，地表具有高度一致且占据大量数据的特点，通常，在对点云数据进行分割之前，对点云数据进行预处理，滤除地面点数据。优选地，利用高度阈值方法对点云数据滤除地面点数据。
首先，计算机CPU获取所存储的未经处理的环境点云数据，然后利用高度阈值方法滤除地面点。具体而言，将三维点云数据按照一个栅格中点的密度作为高度投影到表示高度的坐标轴上，基于该坐标轴的投影数量直方图估算地表高度，并且以地表高度作为高度阈值获取非地面点的集合。例如，滤除高度值大于高度阈值的点，将剩余的数据作为非地面点云数据。非地面点云数据被发送到计算机GPU中进行分割，得到若干个对应不同种类物体的点云集群。
根据上述实施例的环境识别方法通过对道路交通信息进行同步感知，可为无人驾驶地面车辆的环境认知和路径规划仿真测试提供精准的信息依据，还可兼顾全局导航任务，有助于实现无人车辆的路径规划、自主导航、安全避障等功能。
下面对本发明提供的一种基于三维霍夫空间与三维卷积神经网络的环境识别装置进行描述，下文描述的环境识别装置与上文描述的环境识别方法可相互对应参照。参见图11，本实施例提供的环境识别装置具体包括：
获取模块21，用于对环境进行扫描，获取该环境的点云数据；
分割模块23，用于对点云数据进行分割，得到若干个点云集群；
变换模块25，用于将点云集群映射到三维霍夫空间，对三维霍夫空间栅格化，得到与单元格对应的判别信息；以及
识别模块27，用于将判别信息输入预先训练的三维卷积神经网络模型，获得对该环境的识别结果。
由于本发明实施例提供的环境识别装置，可以用于执行上述各实施例所述的环境识别方法，其工作原理和有益效果类似，故此处不再详述，具体内容可参见上述实施例的介绍。
在本实施例中，需要说明的是，本发明实施例的装置可以由软件和/或硬件的方式实现，并可以集成在诸如手机、平板电脑等用户终端设备中。该装置中的单元只是按照功能逻辑进行划分的，并且不局限于上述的划分，只要能够实现相应的功能即可。各个单元可以集成于一体，也可以分离部署；可以合并为一个单元，也可以进一步拆分成多个子单元。
下面介绍本发明提供的一种基于三维霍夫空间与三维卷积神经网络的环境识别系统。该环境识别系统包括：激光雷达传感器、处理器和无人驾驶交通工具，其中，激光雷达传感器用于对无人驾驶交通工具的环境进行扫描，获取该环境的点云数据，并将点云数据传输给处理器；处理器用于：对点云数据进行分割，得到若干个点云集群；将点云集群映射到三维霍夫空间，对三维霍夫空间栅格化，得到与单元格对应的判别信息；并且将判别信息输入预先训练的三维卷积神经网络模型，获得对该环境的识别结果；无人驾驶交通工具从处理器接收识别结果。
参见图12，在根据本发明一实施例的基于三维霍夫空间与三维卷积神经网络的环境识别系统中，无人驾驶交通工具优选为无人驾驶地面车辆，处理器优选为计算机的图形处理器GPU。计算机与激光雷达传感器和无人驾驶地面车辆分别通信连接。
激光雷达传感器邻近无人驾驶地面车辆设置，比如安装在车辆顶上，便于扫描车辆周边环境，快速、准确地采集高精度的三维点云数据，随即将获取的环境点云数据有线地或无线地传输给计算机，令GPU可以读取数据。GPU可以对接收到的环境点云数据执行上述各实施例所述的环境识别方法，获得对车辆环境的识别结果，并将识别结果传输给无人驾驶地面车辆。无人驾驶地面车辆接收GPU的识别结果，认知车辆周边环境，有助于实现无人车辆的路径规划、自主导航、安全避障等功能。
根据本发明的基于三维霍夫空间与三维卷积神经网络的环境识别系统不限于本实施例，而是可以适用于各种需要三维物体识别技术的领域，例如无人驾驶、智能环境监测、远程控制、工业装配、增强现实、人机交互、城市形态分析和数字文化遗产保护等，具有较强的通用性和可移植性。该系统通过将高精度的环境点云数据分割之后映射到三维霍夫空间进行处理，再利用三维卷积神经网络提取复杂特征的能力输出点云物体识别结果，克服了点云数据的非结构化、分布稀疏、无序等缺陷，避免了点云几何结构的丢失与分辨率的降低，提高了物体识别的准确性。
基于相同的发明构思，本发明又一实施例提供了一种电子设备，参见图13，所述电子设备可以包括：处理器810、通信接口820、存储器830和通信总线840，其中，处理器810、通信接口820、存储器830通过通信总线840完成相互间的通信。
处理器810可以调用存储器830中的计算机程序，以执行一种基于三维霍夫空间与三维卷积神经网络的环境识别方法，该环境识别方法例如包括以下步骤：对环境进行扫描，获取该环境的点云数据；对点云数据进行分割，得到若干个点云集群；将点云集群映射到三维霍夫空间，对三维霍夫空间栅格化，得到与单元格对应的判别信息；并且将判别信息输入预先训练的三维卷积神经网络模型，获得对该环境的识别结果。
本领域技术人员可以理解，处理器810还可以实现本发明任意实施例所提供的环境识别方法，并且图13所示的电子设备仅仅是一种示例，其也可以通过能够调用指令实现前述环境识别方法的任意设备来实现。
上述的存储器830中的逻辑指令也可以通过软件功能单元的形式实现并作为独立的产品销售或使用，这时将其存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
基于相同的发明构思，本发明又一实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现上述基于三维霍夫空间与三维卷积神经网络的环境识别方法的步骤。例如，处理器执行该计算机程序时实现下述过程：对环境进行扫描，获取该环境的点云数据；对点云数据进行分割，得到若干个点云集群；将点云集群映射到三维霍夫空间，对三维霍夫空间栅格化，得到与单元格对应的判别信息；并且将判别信息输入预先训练的三维卷积神经网络模型，获得对该环境的识别结果。
基于相同的发明构思，本发明又一实施例提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述基于三维霍夫空间与三维卷积神经网络的环境识别方法的步骤。例如，处理器执行该计算机程序时实现下述过程：对环境进行扫描，获取该环境的点云数据；对点云数据进行分割，得到若干个点云集群；将点云集群映射到三维霍夫空间，对三维霍夫空间栅格化，得到与单元格对应的判别信息；并且将判别信息输入预先训练的三维卷积神经网络模型，获得对该环境的识别结果。
通常，前述存储介质可包括诸如U盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
可以理解的是，前述计算机程序可以执行的细化功能和扩展功能可参照上述实施例的描述。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元示出的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于三维霍夫空间与三维卷积神经网络的环境识别方法，其特征在于，包括以下步骤：
对环境进行扫描，获取所述环境的点云数据；
对所述点云数据进行分割，得到若干个点云集群；
将所述点云集群映射到三维霍夫空间，对所述三维霍夫空间栅格化，得到与单元格对应的判别信息；并且
将所述判别信息输入预先训练的三维卷积神经网络模型，获得对所述环境的识别结果。
2.根据权利要求1所述的环境识别方法，其特征在于，
利用激光雷达传感器获取所述环境的点云数据。
3.根据权利要求1所述的环境识别方法，其特征在于，所述对所述点云数据进行分割，得到若干个点云集群，具体包括：
采用三维连通标记算法对所述点云数据进行分割；
通过逆映射获得与索引值相同的网格相对应的点标签，以得到所述若干个点云集群。
4.根据权利要求1所述的环境识别方法，其特征在于，所述将所述点云集群映射到三维霍夫空间，对所述三维霍夫空间栅格化，得到与单元格对应的判别信息，具体包括：
利用三维霍夫变换算法将所述点云集群映射到三维霍夫空间；
对所述三维霍夫空间栅格化；
统计每个单元格的有效点计数，作为所述判别信息。
5.根据权利要求1所述的环境识别方法，其特征在于，在将所述判别信息输入预先训练的三维卷积神经网络模型之前，还包括：
获取点云样本，并由所述点云样本得到判别信息样本；
初始化三维卷积神经网络模型，将所述判别信息样本作为所述模型的输入值，进行卷积、池化、全连接处理；
训练所述模型，直至其误差接近于0；
对训练好的模型进行精度测试；
将通过精度测试的模型作为所述预先训练的三维卷积神经网络模型使用。
6.根据权利要求1-5中任一项所述的环境识别方法，其特征在于，
所述环境为无人驾驶地面车辆周围的环境；以及
在对所述点云数据进行分割之前，对所述点云数据进行预处理，滤除地面点数据。
7.一种基于三维霍夫空间与三维卷积神经网络的环境识别装置，其特征在于，包括：
获取模块，用于对环境进行扫描，获取所述环境的点云数据；
分割模块，用于对所述点云数据进行分割，得到若干个点云集群；
变换模块，用于将所述点云集群映射到三维霍夫空间，对所述三维霍夫空间栅格化，得到与单元格对应的判别信息；以及
识别模块，用于将所述判别信息输入预先训练的三维卷积神经网络模型，获得对所述环境的识别结果。
8.一种基于三维霍夫空间与三维卷积神经网络的环境识别系统，其特征在于，包括：激光雷达传感器、处理器和无人驾驶交通工具，其中，
所述激光雷达传感器用于对所述无人驾驶交通工具的环境进行扫描，获取所述环境的点云数据，并将所述点云数据传输给所述处理器；
所述处理器用于：对所述点云数据进行分割，得到若干个点云集群；将所述点云集群映射到三维霍夫空间，对所述三维霍夫空间栅格化，得到与单元格对应的判别信息；并且将所述判别信息输入预先训练的三维卷积神经网络模型，获得对所述环境的识别结果；
所述无人驾驶交通工具从所述处理器接收所述识别结果。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6中任一项所述的基于三维霍夫空间与三维卷积神经网络的环境识别方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的基于三维霍夫空间与三维卷积神经网络的环境识别方法的步骤。
CN202011566878.3A 2020-12-25 2020-12-25 环境识别方法、识别装置、识别系统、电子设备及介质 Active CN112651986B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011566878.3A CN112651986B (zh) 2020-12-25 2020-12-25 环境识别方法、识别装置、识别系统、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011566878.3A CN112651986B (zh) 2020-12-25 2020-12-25 环境识别方法、识别装置、识别系统、电子设备及介质

Publications (2)

Publication Number Publication Date
CN112651986A true CN112651986A (zh) 2021-04-13
CN112651986B CN112651986B (zh) 2024-05-24

Family

ID=75363297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011566878.3A Active CN112651986B (zh) 2020-12-25 2020-12-25 环境识别方法、识别装置、识别系统、电子设备及介质

Country Status (1)

Country Link
CN (1) CN112651986B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023226227A1 (zh) * 2022-05-27 2023-11-30 福建龙氟新材料有限公司 用于电子级氢氟酸制备的自动配料系统及其配料方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711410A (zh) * 2018-11-20 2019-05-03 北方工业大学 一种三维物体快速分割和识别方法、装置及系统
CN109816714A (zh) * 2019-01-15 2019-05-28 西北大学 一种基于三维卷积神经网络的点云物体类型识别方法
CN110059608A (zh) * 2019-04-11 2019-07-26 腾讯科技（深圳）有限公司 一种物体检测方法、装置、电子设备和存储介质
CN110472553A (zh) * 2019-08-12 2019-11-19 北京易航远智科技有限公司 图像和激光点云融合的目标追踪方法、计算装置和介质
US20190361454A1 (en) * 2018-05-24 2019-11-28 GM Global Technology Operations LLC Control systems, control methods and controllers for an autonomous vehicle
CN110853032A (zh) * 2019-11-21 2020-02-28 北京航空航天大学 基于多模态深度学习的无人机视频美学质量评价方法
CN111145187A (zh) * 2019-12-23 2020-05-12 北方工业大学 基于霍夫空间的物体识别方法、系统、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190361454A1 (en) * 2018-05-24 2019-11-28 GM Global Technology Operations LLC Control systems, control methods and controllers for an autonomous vehicle
CN109711410A (zh) * 2018-11-20 2019-05-03 北方工业大学 一种三维物体快速分割和识别方法、装置及系统
CN109816714A (zh) * 2019-01-15 2019-05-28 西北大学 一种基于三维卷积神经网络的点云物体类型识别方法
CN110059608A (zh) * 2019-04-11 2019-07-26 腾讯科技（深圳）有限公司 一种物体检测方法、装置、电子设备和存储介质
CN110472553A (zh) * 2019-08-12 2019-11-19 北京易航远智科技有限公司 图像和激光点云融合的目标追踪方法、计算装置和介质
CN110853032A (zh) * 2019-11-21 2020-02-28 北京航空航天大学 基于多模态深度学习的无人机视频美学质量评价方法
CN111145187A (zh) * 2019-12-23 2020-05-12 北方工业大学 基于霍夫空间的物体识别方法、系统、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A.GARCIA-GARCIA等: "PointNet: A 3D Convolutional Neural Network for real-time object class recognition", 《2016 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS (IJCNN)》, 3 November 2016 (2016-11-03), pages 1504 - 1512 *
WEI SONG等: "3D Hough Transform Algorithm for Ground Surface Extraction from LiDAR Point Clouds", 《2019 INTERNATIONAL CONFERENCE ON INTERNET OF THINGS (ITHINGS) AND IEEE GREEN COMPUTING AND COMMUNICATIONS (GREENCOM) AND IEEE CYBER, PHYSICAL AND SOCIAL COMPUTING (CPSCOM) AND IEEE SMART DATA (SMARTDATA)》, pages 1 *
张凌峰: "基于深度学习的激光点云环境感知", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》, no. 01, 15 January 2022 (2022-01-15), pages 034 - 1134 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023226227A1 (zh) * 2022-05-27 2023-11-30 福建龙氟新材料有限公司 用于电子级氢氟酸制备的自动配料系统及其配料方法

Also Published As

Publication number Publication date
CN112651986B (zh) 2024-05-24

Similar Documents

Publication Publication Date Title
CN111091105B (zh) 基于新的边框回归损失函数的遥感图像目标检测方法
CN109711410A (zh) 一种三维物体快速分割和识别方法、装置及系统
Zhu et al. Segmentation and classification of range image from an intelligent vehicle in urban environment
CN113378760A (zh) 训练目标检测模型和检测目标的方法及装置
CN114037836A (zh) 一种将人工智能识别技术应用于三维输变电工程测算的方法
Zelener et al. Cnn-based object segmentation in urban lidar with missing points
CN114463736A (zh) 一种基于多模态信息融合的多目标检测方法及装置
CN113537180B (zh) 树障的识别方法、装置、计算机设备和存储介质
CN114820463A (zh) 点云检测和分割方法、装置，以及，电子设备
CN108399424A (zh) 一种点云分类方法、智能终端及存储介质
CN113688738B (zh) 一种基于激光雷达点云数据的目标识别系统及方法
CN117975436A (zh) 基于多模态融合和可变形注意力的三维目标检测方法
CN115100741B (zh) 一种点云行人距离风险检测方法、系统、设备和介质
CN114120067A (zh) 一种物体识别方法、装置、设备及介质
CN114627073B (zh) 地形识别方法、装置、计算机设备和存储介质
CN118411507A (zh) 一种具有动态目标的场景的语义地图构建方法及系统
CN115147798A (zh) 可行驶区域预测方法、模型、装置及车辆
CN114241448A (zh) 障碍物航向角的获取方法、装置、电子设备及车辆
CN112651986B (zh) 环境识别方法、识别装置、识别系统、电子设备及介质
CN115683109B (zh) 基于cuda和三维栅格地图的视觉动态障碍物检测方法
Wu et al. Research on asphalt pavement disease detection based on improved YOLOv5s
Caros et al. Object segmentation of cluttered airborne lidar point clouds
Wang et al. Information extraction of the vehicle from high-resolution remote sensing image based on convolution neural network
CN111145187B (zh) 基于霍夫空间的物体识别方法、系统、设备及存储介质
CN115565072A (zh) 一种道路垃圾识别和定位方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant