CN111145187A - 基于霍夫空间的物体识别方法、系统、设备及存储介质 - Google Patents
基于霍夫空间的物体识别方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN111145187A CN111145187A CN201911338975.4A CN201911338975A CN111145187A CN 111145187 A CN111145187 A CN 111145187A CN 201911338975 A CN201911338975 A CN 201911338975A CN 111145187 A CN111145187 A CN 111145187A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud data
- hough space
- neural network
- accumulated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 61
- 230000007613 environmental effect Effects 0.000 claims abstract description 38
- 238000013507 mapping Methods 0.000 claims abstract description 35
- 238000012549 training Methods 0.000 claims description 15
- 238000003062 neural network model Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 7
- 238000007477 logistic regression Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 24
- 230000008569 process Effects 0.000 abstract description 20
- 238000009826 distribution Methods 0.000 abstract description 12
- 238000013135 deep learning Methods 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 12
- 239000011159 matrix material Substances 0.000 description 9
- 230000011218 segmentation Effects 0.000 description 9
- 210000002569 neuron Anatomy 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000011176 pooling Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 210000004027 cell Anatomy 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20061—Hough transform
Abstract
本发明实施例公开了基于霍夫空间的物体识别方法、系统、设备及存储介质。本发明实施例先获取当前环境下的环境点云数据；将所述环境点云数据映射至霍夫空间下，并对所述霍夫空间进行栅格化处理，以得到与单元网格对应的累计判别信息；将所述累计判别信息通过预设卷积神经网络进行物体识别。本发明实施例不同于常规的深度学习技术，不会直接处理原始的非结构化分布的三维点云数据，而通过引入霍夫空间下的点云数据处理过程，将预设卷积神经网络的输入量替换为了更加规范化的霍夫空间处理下的累计判别信息，可以将点云数据与深度学习有效结合并提高点云物体识别的精度。
Description
技术领域
本发明涉及物体识别技术领域，尤其涉及基于霍夫空间的物体识别方法、系统、设备及存储介质。
背景技术
随着人工智能技术的日益成熟，在智慧交通体系中，无人驾驶汽车可通过视觉、激光传感器扫描道路地形的图像和三维数据，利用人工智能算法对道路交通信息进行同步感知，还可兼顾全局导航任务，实现了局部区域行驶的安全路径规划。
可见，无人车的自主导航和安全避障会显得更为重要。
而就常规视觉传感器获取到的视觉图像而言，该视觉图像中的远景信息分辨率低，这导致所估算的远景地形的三维坐标精度不高；同时，这些视觉传感器测量精度易受光照和天气的影响，在地貌无特征点的情况下甚至无法获取三维数据。
与常规视觉传感器相比，激光雷达(LiDAR，Light detection and ranging)传感器依据激光测距原理扫描地形环境三维点云数据，使得采集到的三维点云数据具备不易受光照和天气影响、有效测量距离远、获取地形信息精度高及抗有源干扰能力强等特点。
此外，LiDAR传感器已在智能机器人导航、定位、避障及路径规划等研究领域中得到广泛应用，适用于智能汽车的环境感知；智能汽车通过识别LiDAR点云数据中障碍物的位置和类别，实现了自动避撞和路径规划等自主控制行为。
但是，LiDAR传感器采集到的点云数据呈现非结构化分布，若采用常规的结合多视图、体素等方法的深度学习技术来处理该点云数据以进行目标检测与物体识别，易丢失大量有效判别信息，物体识别精度较低。
发明内容
为了解决上述问题，本发明实施例提供基于霍夫空间的物体识别方法、系统、设备及存储介质。
第一方面，本发明实施例提供一种基于霍夫空间的物体识别方法，包括：
获取当前环境下的环境点云数据；
将所述环境点云数据映射至霍夫空间下，并对所述霍夫空间进行栅格化处理，以得到与单元网格对应的累计判别信息；
将所述累计判别信息通过预设卷积神经网络进行物体识别。
优选地，所述获取当前环境下的环境点云数据之后，所述基于霍夫空间的物体识别方法还包括：
从所述环境点云数据中提取非地面点云数据；
对所述非地面点云数据进行分割，以得到单个的物体点云数据；
所述将所述环境点云数据映射至霍夫空间下，并对所述霍夫空间进行栅格化处理，以得到与单元网格对应的累计判别信息，具体包括：
将所述物体点云数据映射至霍夫空间下，并对所述霍夫空间进行栅格化处理，以得到与单元网格对应的累计判别信息。
优选地，所述对所述非地面点云数据进行分割，以得到单个的物体点云数据，具体包括：
基于三维连通区域标记方式对所述非地面点云数据进行分割，以得到单个的物体点云数据。
优选地，所述将所述物体点云数据映射至霍夫空间下，并对所述霍夫空间进行栅格化处理，以得到与单元网格对应的累计判别信息，具体包括：
将所述物体点云数据映射至二维平面下，以得到所述二维平面下的二维点；
将所述二维点通过霍夫变换公式映射至霍夫空间下，并对所述霍夫空间进行栅格化处理，以得到与单元网格对应的累计判别信息。
优选地，所述从所述环境点云数据中提取非地面点云数据，具体包括：
从所述环境点云数据中滤除地面点云数据，以得到待使用点云数据；
将所述待使用点云数据映射至栅格化的三维标记框内，并统计所述三维标记框的框内点数量；
保留所述框内点数量在预设点数量范围内的待使用点云数据，以得到非地面点云数据。
优选地，所述获取当前环境下的环境点云数据之前，所述基于霍夫空间的物体识别方法还包括：
获取环境点云样本；
从所述环境点云样本中提取非地面点云样本；
对所述非地面点云样本进行分割，以得到物体点云样本；
将所述物体点云样本映射至霍夫空间下，并对所述霍夫空间进行栅格化处理，以得到与单元网格对应的累计判别样本；
根据所述累计判别样本进行卷积神经网络的训练，以获得预设卷积神经网络。
优选地，所述根据所述累计判别样本进行卷积神经网络的训练，以获得预设卷积神经网络，具体包括：
获取预设神经网络模型；
将所述累计判别样本输入所述预设神经网络模型的输入层中，并在所述预设神经网络模型的输出层中通过预设逻辑回归模型进行物体分类，以进行卷积神经网络的训练，得到预设卷积神经网络。
第二方面，本发明实施例提供一种基于霍夫空间的物体识别系统，包括：
数据获取模块，用于获取当前环境下的环境点云数据；
累计判别模块，用于将所述环境点云数据映射至霍夫空间下，并对所述霍夫空间进行栅格化处理，以得到与单元网格对应的累计判别信息；
物体识别模块，用于将所述累计判别信息通过预设卷积神经网络进行物体识别。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明第一方面提供的一种基于霍夫空间的物体识别方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本发明第一方面提供的一种基于霍夫空间的物体识别方法的步骤。
本发明实施例提供的基于霍夫空间的物体识别方法、系统、设备及存储介质，先获取当前环境下的环境点云数据；将所述环境点云数据映射至霍夫空间下，并对所述霍夫空间进行栅格化处理，以得到与单元网格对应的累计判别信息；将所述累计判别信息通过预设卷积神经网络进行物体识别。本发明实施例不同于常规的深度学习技术，不会直接处理原始的非结构化分布的三维点云数据，而通过引入霍夫空间下的数据处理过程，将预设卷积神经网络的输入量替换为了更加规范化的霍夫空间处理下的累计判别信息，可以提高物体识别的精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于霍夫空间的物体识别方法的流程图；
图2为本发明又一实施例提供的一种基于霍夫空间的物体识别方法的流程图；
图3为本发明又一实施例提供的四类物体的点云空间分布示意图；
图4为本发明又一实施例提供的霍夫变换算法的转换示意图；
图5为本发明又一实施例提供的霍夫空间生成示意图；
图6为本发明再一实施例提供的一种基于霍夫空间的物体识别方法的流程图；
图7为本发明再一实施例提供的卷积过程示意图；
图8为本发明再一实施例提供的混淆矩阵示意图；
图9为本发明实施例提供的一种基于霍夫空间的物体识别系统的结构示意图；
图10为本发明实施例提供的一种电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的一种基于霍夫空间的物体识别方法的流程图，如图1所示，该方法包括：
S1，获取当前环境下的环境点云数据。
本发明实施例的执行主体为电子设备，该电子设备可为一车载终端，该车载终端可安装于无人地面车辆(UGV，Unmanned Ground Vehicles)的上方。
该车载终端可包括一LiDAR传感器，或者，可外接一LiDAR传感器。接着，可通过LiDAR传感器去采集当前环境下的环境点云数据。
其中，环境点云数据为周围环境下的三维点云数据。
此外，三维点云数据与像素呈连续排列方式的图像数据不同，三维点云数据呈现非结构化分布、无序、分布稀疏且连续扫描获得的多帧数据在内存中是排列无序的，很难直接使用神经网络中的卷积核来提取出三维点之间的拓扑关系。
S2，将所述环境点云数据映射至霍夫空间下，并对所述霍夫空间进行栅格化处理，以得到与单元网格对应的累计判别信息。
接着，可将这些环境点云数据映射至霍夫空间下，再对霍夫空间进行栅格化处理。由于栅格化处理后将存在多个单元网格，可累计每个单元网格内的点的数量，并将点的数量作为累计判别信息。此累计判别信息后面将用于物体识别。
S3，将所述累计判别信息通过预设卷积神经网络进行物体识别。
为了识别当前环境下的三维物体，可将累计判别信息作为预设卷积神经网络(CNN，Convolutional Neural Networks)的输入量，以获得物体识别结果。比如，该物体识别结果可为树、行人或其他。
需要说明的是，本发明实施例额外引入了霍夫空间下的处理过程，使得预设卷积神经网络的输入量不再是原始的非结构化分布的环境点云数据，而是更加规范化的霍夫空间处理下的累计判别信息。可见，如此可以更好地应用预设卷积神经网络进行物体识别，提高了物体识别的精度。通过实现了对于三维物体的快速识别，可使得UGV能够进行自动避撞和路径规划等智能化行为。
比如，预设卷积神经网络的输入量可能规定为100个变量，而三维点云数据在三维空间中呈现非结构化分布且连续扫描获得的多帧数据也排列无序，可能此刻的三维点云数据有1000个变量作为预设卷积神经网络的输入量，明显地，预设卷积神经网络并不能很好地处理原始的三维点云数据。
此外，本发明实施例应用较为广泛，可应用于无人驾驶、三维环境建模、智能监测、远程控制、娱乐游戏、增强现实以及人机交互等应用中。
本发明实施例提供的基于霍夫空间的物体识别方法，先获取当前环境下的环境点云数据；将所述环境点云数据映射至霍夫空间下，并对所述霍夫空间进行栅格化处理，以得到与单元网格对应的累计判别信息；将所述累计判别信息通过预设卷积神经网络进行物体识别。本发明实施例不同于常规的深度学习技术，不会直接处理原始的非结构化分布的三维点云数据，而通过引入霍夫空间下的数据处理过程，将预设卷积神经网络的输入量替换为了更加规范化的霍夫空间处理下的累计判别信息，可以提高物体识别的精度。
图2为本发明又一实施例提供的一种基于霍夫空间的物体识别方法的流程图，本发明又一实施例基于上述图1所示的实施例。
本实施例中，所述S1之后，所述基于霍夫空间的物体识别方法还包括：
S101，从所述环境点云数据中提取非地面点云数据。
S102，对所述非地面点云数据进行分割，以得到单个的物体点云数据。
可以理解的是，本发明实施例将对当前环境中可能存在的待识别物体预先进行快速分割，以进一步地提高物体识别的速度。
具体地，环境点云数据中将包括有表征地面的地面点云数据，非地面点云数据为相对于地面点云数据的数据类型。
若当前环境中存在多个待识别物体，则将分割出与每个待识别物体分别对应的物体点云数据，具体表现为，一系列独立的点云集群。
所述S2，具体包括：
S201，将所述物体点云数据映射至霍夫空间下，并对所述霍夫空间进行栅格化处理，以得到与单元网格对应的累计判别信息。
故而，在进行霍夫空间下的数据处理时，将针对各物体点云数据分别进行数据处理。
其中，图3所示的点云空间分布示意图涉及四类待识别物体，分别为墙壁、灌木、行人及树木这四种点云物体对应的点云空间分布。
本发明实施例提供的基于霍夫空间的物体识别方法，将在进行霍夫空间的映射操作之前，预先进行多个物体的快速分割，该快速分割行为可以提高最终点云物体识别的识别速度，以满足大规模数据实时处理的需求。
在上述实施例的基础上，优选地，所述对所述非地面点云数据进行分割，以得到单个的物体点云数据，具体包括：
基于三维连通区域标记方式对所述非地面点云数据进行分割，以得到单个的物体点云数据。
应当理解的是，本发明实施例可通过三维连通区域标记方式进行点云数据的分割操作。
具体地，就三维连通区域标记方式而言，将先设置多个单元网格，并为每个单元网格赋予索引值；每个单元网格均不断对比自身、其上、下、左、右、前以及后的网格的索引值，以找出最小索引值，并将最小索引值更新为自身的索引标签；接着，将拥有相同索引值的单元网格进行逆映射以得到点标签，进而得到单个物体对应的点云集群，从而实现点云数据的分割。
其中，单个物体对应的点云集群即为物体点云数据。
此外，可调用图形处理器(GPU，Graphics Processing Unit)基于三维连通区域标记方式对所述非地面点云数据进行分割，以得到物体点云数据。
由于物体的快速分割操作会带来较大的计算量，不宜使用电子设备的中央处理器(CPU，central processing unit)进行上述操作，可在电子设备的GPU内存进行上述操作，以提高计算速度。
可见，本发明实施例通过调用GPU进行物体的快速分割操作，平衡了电子设备的运行性能，也提高了分割操作的执行速度。
在上述实施例的基础上，优选地，所述将所述物体点云数据映射至霍夫空间下，并对所述霍夫空间进行栅格化处理，以得到与单元网格对应的累计判别信息，具体包括：
将所述物体点云数据映射至二维平面下，以得到所述二维平面下的二维点；
将所述二维点通过霍夫变换公式映射至霍夫空间下，并对所述霍夫空间进行栅格化处理，以得到与单元网格对应的累计判别信息。
可给出一类霍夫空间下的具体数据处理方式，但不限于此。
具体而言，可先将单个的点云集群即单个的物体点云数据映射至二维平面下，二维平面可为x-z平面，以获得一系列的二维点；接着，可应用霍夫变换算法处理该二维点以映射至霍夫空间下，具体使用的霍夫变换公式如下，
r＝xcos(θ)+zsin(θ)，
其中，(x，z)为二维点p的点坐标，r为原点o到p的距离，θ为直线op与x轴的夹角。
此处，可参见图4所示的转换示意图。
接着，可对该霍夫空间进行栅格化处理，并在θ∈[0,π]的范围内计算每个单元网格的累加点计数，从而获取一系列有效的累计判别信息。
此外，可参见图5所示的霍夫空间生成示意图。
其中，Individual Object Point Clouds表示每个物体对应的物体点云数据，Projection表示映射，x-z Plane表示x-z平面，Map to Hough Space表示映射至霍夫空间，Rasterize Hough Space表示对霍夫空间进行栅格化处理，Accumulator Count表示累加点计数。
在上述实施例的基础上，优选地，所述从所述环境点云数据中提取非地面点云数据，具体包括：
从所述环境点云数据中滤除地面点云数据，以得到待使用点云数据；
将所述待使用点云数据映射至栅格化的三维标记框内，并统计所述三维标记框的框内点数量；
保留所述框内点数量在预设点数量范围内的待使用点云数据，以得到非地面点云数据。
可以理解的是，为了获得更为精准的非地面点云数据，可进行下列操作。
具体为，可先通过设置阈值范围的方式从环境点云数据中滤除掉表征地面点的地面点云数据，再将剩余的环境点云数据即待使用点云数据映射至已栅格化的三维标记框内。
其中，待使用点云数据为不太精确的非地面点云数据。
接着，可统计每个三维标记框即单元网格内的点计数，点计数即为上述框内点数量。
然后，可通过设置阈值的方式筛选出数值较小的点计数，并将数值较小的点计数重新设置为0，从而可以获取到较为精确的非地面点云数据。
其中，预设点数量范围为数值较大的点计数范围，通过预设点数量范围可筛选出数值较小的点计数，保留数值较大的点计数，数值较小的点计数则归0处理，如此也就达到了去除噪点的效果。
可见，本发明实施例将对原始的环境点云数据进行进一步的预处理操作，从而可以获得更加精确的非地面点云数据。
图6为本发明再一实施例提供的一种基于霍夫空间的物体识别方法的流程图，本发明再一实施例基于上述图1所示的实施例。
本实施例中，所述S1之前，所述基于霍夫空间的物体识别方法还包括：
S01，获取环境点云样本。
图1以及图2所示的本发明实施例主要涉及实际使用环节，如下所示的本发明实施例将主要涉及网络结构的训练环节。
其中，本发明实施例提及的环境点云样本与环境点云数据为相同的数据类型，不同的名称仅作不同使用状况下的区别，其他数据类型以此类推。
S02，从所述环境点云样本中提取非地面点云样本。
S03，对所述非地面点云样本进行分割，以得到物体点云样本。
可以理解的是，本发明实施例将对当前环境中可能存在的待识别物体预先进行快速分割，以进一步地提高物体识别的速度。
具体地，环境点云样本中将包括有表征地面的地面点云样本，非地面点云样本为相对于地面点云样本的数据类型。
若当前环境中存在多个待识别物体，则将分割出与每个待识别物体分别对应的物体点云样本，具体表现为，一系列独立的点云集群。
S04，将所述物体点云样本映射至霍夫空间下，并对所述霍夫空间进行栅格化处理，以得到与单元网格对应的累计判别样本。
故而，在进行霍夫空间下的数据处理时，将针对各物体点云样本分别进行数据处理。
可先将这些物体点云样本映射至霍夫空间下，再对霍夫空间进行栅格化处理。由于栅格化处理后将存在多个单元网格，可累计每个单元网格内的点的数量，并将点的数量作为累计判别样本。此累计判别样本后面将用于卷积神经网络的训练。
S05，根据所述累计判别样本进行卷积神经网络的训练，以获得预设卷积神经网络。
最终，将完成对于卷积神经网络的训练，使得在实际使用环节可直接使用该训练好的预设卷积神经网络。
本发明实施例提供的基于霍夫空间的物体识别方法，可在实际使用环节之前，预先进行卷积神经网络的训练与测试，以实现对于点云物体的高精度识别，最终实现了点云场景下的物体识别。
在上述实施例的基础上，优选地，所述根据所述累计判别样本进行卷积神经网络的训练，以获得预设卷积神经网络，具体包括：
获取预设神经网络模型；
将所述累计判别样本输入所述预设神经网络模型的输入层中，并在所述预设神经网络模型的输出层中通过预设逻辑回归模型进行物体分类，以进行卷积神经网络的训练，得到预设卷积神经网络。
就卷积神经网络的训练过程而言，可先创建预设神经网络模型，该预设神经网络模型可为九层，即一个输入层、三个卷积层、两个池化层、两个全连接层和一个输出层。
其中，预设神经网络模型可为CNN模型。
采取的卷积神经网络的训练方式具体为，可将霍夫空间栅格化后获取的每个单元网格的累加点计数即累计判别样本作为输入值，在输出层中运用预设逻辑回归模型softmax函数对多类物体进行分类。
通过迭代不断地更新该CNN模型的权值与偏置值，直至训练到该CNN模型的损失值较小时，可对这个CNN模型进行精度测试。若精度符合预设精度范围，则可将此时训练出的卷积神经网络作为预设卷积神经网络，停止网络训练。
采取的卷积神经网络的训练方式可给出更具体的实现方式，如下：
第一，可先创建出一CNN模型，该模型有九层，即一个输入层、三个卷积层、两个池化层、两个全连接层和一个输出层。
CNN模型按照顺序将为，输入层、第一卷积层、第二卷积层、第一池化层、第三卷积层、第二池化层、第一全连接层、第二全连接层以及输出层。
第二，在正向传播过程中，卷积过程的计算公式为，
其中，矩阵Sr,j,k为3×3的取样矩阵，Ki为3×3的卷积核矩阵，di,j,k为输出矩阵Di的一个元素，Bi为偏置，R为输入矩阵Cr的个数，σ为ReLU激活函数，r、j及k均表示序号。
其中，卷积过程可参见图7，CONV input表示卷积层输入，CONV kernel表示卷积层内核，CONV output表示卷积层输出。
第三，该卷积神经网络的池化过程采取的是最大池化方法。
第四，全连接层的计算公式为，
其中，
和
分别为第l层与第l+1层神经元参数，
的值为第l+1层第i个神经元与第l层第j个神经元连接的权值，
为第l层到第l+1层第i个神经元的偏置，M为第l层神经元个数，i、l、j均表示序号。
第五，在输出层将运用softmax函数对四类物体进行分类，如下列分类公式所示，
其中，zr为输出层神经元参数，yr′为经过softmax函数计算的输出值即预测值，R为输出层的神经元个数。
还可应用如下公式进行误差的计算，
η＝-∑(yrlog(y′r))，
其中，yr′为经过softmax函数计算的输出值即预测值，yr为正确值，η为该CNN模型的损失值。若损失较大，可使用梯度下降法由输出层向输入层反向传播并更新权值与偏置值。
第六，在反向过程中，第l层的第j个神经元的残差
由如下残差计算得出，
其中，
为残差，σ′为ReLU激活函数的导数，其他参数含义参见本发明实施例，此处不作赘述。
接着，可通过如下两个公式获取第l层权值与偏置的导数，
然后，还可通过如下两个公式更新权值与偏置。
其中，参数含义参见本发明实施例，此处不作赘述。
最终，将对这个CNN模型进行精度测试。
此外，图8所示的混淆矩阵为CNN模型对点云物体进行分类的混淆矩阵，该混淆矩阵显示了该CNN模型对四类物体进行分类时分类精确性，且它的平均准确率为90.24％。
其中，Predicted class表示模型预测值，Wall表示墙壁，Bush表示灌木，Pedestrian表示行人，Tree表示树木，True Class表示实际样本值。
可见，通过对卷积神经网络的训练与测试，可以实现对于点云物体的高精度识别。
图9为本发明实施例提供的一种基于霍夫空间的物体识别系统的结构示意图，如图9所示，该系统包括：数据获取模块301、累计判别模块302以及物体识别模块303；
数据获取模块301，用于获取当前环境下的环境点云数据；
累计判别模块302，用于将所述环境点云数据映射至霍夫空间下，并对所述霍夫空间进行栅格化处理，以得到与单元网格对应的累计判别信息；
物体识别模块303，用于将所述累计判别信息通过预设卷积神经网络进行物体识别。
本发明实施例提供的基于霍夫空间的物体识别系统，先获取当前环境下的环境点云数据；将所述环境点云数据映射至霍夫空间下，并对所述霍夫空间进行栅格化处理，以得到与单元网格对应的累计判别信息；将所述累计判别信息通过预设卷积神经网络进行物体识别。本发明实施例不同于常规的深度学习技术，不会直接处理原始的非结构化分布的三维点云数据，而通过引入霍夫空间下的数据处理过程，将预设卷积神经网络的输入量替换为了更加规范化的霍夫空间处理下的累计判别信息，可以提高物体识别的精度。
本发明实施例提供的系统实施例是为了实现上述各方法实施例的，具体流程和详细内容请参照上述方法实施例，此处不再赘述。
图10为本发明实施例提供的一种电子设备的实体结构示意图，如图10所示，该电子设备可以包括：处理器(processor)401、通信接口(Communications Interface)402、存储器(memory)403和总线404，其中，处理器401，通信接口402，存储器403通过总线404完成相互间的通信。通信接口402可以用于电子设备的信息传输。处理器401可以调用存储器403中的逻辑指令，以执行包括如下的方法：
获取当前环境下的环境点云数据；
将所述环境点云数据映射至霍夫空间下，并对所述霍夫空间进行栅格化处理，以得到与单元网格对应的累计判别信息；
将所述累计判别信息通过预设卷积神经网络进行物体识别。
此外，上述的存储器403中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明上述各方法实施例的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：
获取当前环境下的环境点云数据；
将所述环境点云数据映射至霍夫空间下，并对所述霍夫空间进行栅格化处理，以得到与单元网格对应的累计判别信息；
将所述累计判别信息通过预设卷积神经网络进行物体识别。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于霍夫空间的物体识别方法，其特征在于，包括：
获取当前环境下的环境点云数据；
将所述环境点云数据映射至霍夫空间下，并对所述霍夫空间进行栅格化处理，以得到与单元网格对应的累计判别信息；
将所述累计判别信息通过预设卷积神经网络进行物体识别。
2.根据权利要求1所述的基于霍夫空间的物体识别方法，其特征在于，所述获取当前环境下的环境点云数据之后，所述基于霍夫空间的物体识别方法还包括：
从所述环境点云数据中提取非地面点云数据；
对所述非地面点云数据进行分割，以得到单个的物体点云数据；
所述将所述环境点云数据映射至霍夫空间下，并对所述霍夫空间进行栅格化处理，以得到与单元网格对应的累计判别信息，具体包括：
将所述物体点云数据映射至霍夫空间下，并对所述霍夫空间进行栅格化处理，以得到与单元网格对应的累计判别信息。
3.根据权利要求2所述的基于霍夫空间的物体识别方法，其特征在于，所述对所述非地面点云数据进行分割，以得到单个的物体点云数据，具体包括：
基于三维连通区域标记方式对所述非地面点云数据进行分割，以得到单个的物体点云数据。
4.根据权利要求2所述的基于霍夫空间的物体识别方法，其特征在于，所述将所述物体点云数据映射至霍夫空间下，并对所述霍夫空间进行栅格化处理，以得到与单元网格对应的累计判别信息，具体包括：
将所述物体点云数据映射至二维平面下，以得到所述二维平面下的二维点；
将所述二维点通过霍夫变换公式映射至霍夫空间下，并对所述霍夫空间进行栅格化处理，以得到与单元网格对应的累计判别信息。
5.根据权利要求2所述的基于霍夫空间的物体识别方法，其特征在于，所述从所述环境点云数据中提取非地面点云数据，具体包括：
从所述环境点云数据中滤除地面点云数据，以得到待使用点云数据；
将所述待使用点云数据映射至栅格化的三维标记框内，并统计所述三维标记框的框内点数量；
保留所述框内点数量在预设点数量范围内的待使用点云数据，以得到非地面点云数据。
6.根据权利要求1至5中任一项所述的基于霍夫空间的物体识别方法，其特征在于，所述获取当前环境下的环境点云数据之前，所述基于霍夫空间的物体识别方法还包括：
获取环境点云样本；
从所述环境点云样本中提取非地面点云样本；
对所述非地面点云样本进行分割，以得到物体点云样本；
将所述物体点云样本映射至霍夫空间下，并对所述霍夫空间进行栅格化处理，以得到与单元网格对应的累计判别样本；
根据所述累计判别样本进行卷积神经网络的训练，以获得预设卷积神经网络。
7.根据权利要求6所述的基于霍夫空间的物体识别方法，其特征在于，所述根据所述累计判别样本进行卷积神经网络的训练，以获得预设卷积神经网络，具体包括：
获取预设神经网络模型；
将所述累计判别样本输入所述预设神经网络模型的输入层中，并在所述预设神经网络模型的输出层中通过预设逻辑回归模型进行物体分类，以进行卷积神经网络的训练，得到预设卷积神经网络。
8.一种基于霍夫空间的物体识别系统，其特征在于，包括：
数据获取模块，用于获取当前环境下的环境点云数据；
累计判别模块，用于将所述环境点云数据映射至霍夫空间下，并对所述霍夫空间进行栅格化处理，以得到与单元网格对应的累计判别信息；
物体识别模块，用于将所述累计判别信息通过预设卷积神经网络进行物体识别。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7中任一项所述基于霍夫空间的物体识别方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述基于霍夫空间的物体识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911338975.4A CN111145187B (zh) | 2019-12-23 | 2019-12-23 | 基于霍夫空间的物体识别方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911338975.4A CN111145187B (zh) | 2019-12-23 | 2019-12-23 | 基于霍夫空间的物体识别方法、系统、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111145187A true CN111145187A (zh) | 2020-05-12 |
| CN111145187B CN111145187B (zh) | 2023-10-17 |
Family
ID=70519381
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911338975.4A Active CN111145187B (zh) | 2019-12-23 | 2019-12-23 | 基于霍夫空间的物体识别方法、系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111145187B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112651986A (zh) * | 2020-12-25 | 2021-04-13 | 北方工业大学 | 环境识别方法、识别装置、识别系统、电子设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150199839A1 (en) * | 2012-08-02 | 2015-07-16 | Earthmine, Inc. | Three-Dimentional Plane Panorama Creation Through Hough-Based Line Detection |
| CN108470159A (zh) * | 2018-03-09 | 2018-08-31 | 腾讯科技（深圳）有限公司 | 车道线数据处理方法、装置、计算机设备和存储介质 |
| CN109711410A (zh) * | 2018-11-20 | 2019-05-03 | 北方工业大学 | 一种三维物体快速分割和识别方法、装置及系统 |
| CN110046677A (zh) * | 2019-04-26 | 2019-07-23 | 山东大学 | 数据预处理方法、地图构建方法、回环检测方法及系统 |
| CN110389586A (zh) * | 2018-04-19 | 2019-10-29 | 法拉第未来公司 | 用于地面和自由空间探测的系统和方法 |
-
2019
- 2019-12-23 CN CN201911338975.4A patent/CN111145187B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150199839A1 (en) * | 2012-08-02 | 2015-07-16 | Earthmine, Inc. | Three-Dimentional Plane Panorama Creation Through Hough-Based Line Detection |
| CN108470159A (zh) * | 2018-03-09 | 2018-08-31 | 腾讯科技（深圳）有限公司 | 车道线数据处理方法、装置、计算机设备和存储介质 |
| CN110389586A (zh) * | 2018-04-19 | 2019-10-29 | 法拉第未来公司 | 用于地面和自由空间探测的系统和方法 |
| CN109711410A (zh) * | 2018-11-20 | 2019-05-03 | 北方工业大学 | 一种三维物体快速分割和识别方法、装置及系统 |
| CN110046677A (zh) * | 2019-04-26 | 2019-07-23 | 山东大学 | 数据预处理方法、地图构建方法、回环检测方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| WEI SONG 等: "3D Hough Transform Algorithm for Ground Surface Extraction from LiDAR Point Clouds", pages 916 - 921 * |
| WEI SONG 等: "CNN-based 3D object classification using Hough space of LiDAR point clouds", pages 1 - 14 * |
| 秦小明 等: "基于激光雷达的车轮自动识别研究", pages 75 - 78 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112651986A (zh) * | 2020-12-25 | 2021-04-13 | 北方工业大学 | 环境识别方法、识别装置、识别系统、电子设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111145187B (zh) | 2023-10-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109087510B (zh) | 交通监测方法及装置 | |
| CN114384920B (zh) | 一种基于局部栅格地图实时构建的动态避障方法 | |
| CN109932730B (zh) | 基于多尺度单极三维检测网络的激光雷达目标检测方法 | |
| CN109711410A (zh) | 一种三维物体快速分割和识别方法、装置及系统 | |
| CN112581612B (zh) | 基于激光雷达和环视摄像头融合的车载栅格地图生成方法及系统 | |
| CN113126115B (zh) | 基于点云的语义slam方法、装置、电子设备和存储介质 | |
| CN113902897A (zh) | 目标检测模型的训练、目标检测方法、装置、设备和介质 | |
| CN114022830A (zh) | 一种目标确定方法以及目标确定装置 | |
| CN112883991A (zh) | 对象分类方法、对象分类电路、机动车辆 | |
| CN115205803A (zh) | 自动驾驶环境感知方法、介质及车辆 | |
| Saleem et al. | Steering angle prediction techniques for autonomous ground vehicles: a review | |
| CN114120067A (zh) | 一种物体识别方法、装置、设备及介质 | |
| CN112257668A (zh) | 主辅路判断方法、装置、电子设备及存储介质 | |
| CN114241448A (zh) | 障碍物航向角的获取方法、装置、电子设备及车辆 | |
| CN115147798A (zh) | 可行驶区域预测方法、模型、装置及车辆 | |
| CN111401190A (zh) | 车辆检测方法、装置、计算机设备和存储介质 | |
| CN115100741A (zh) | 一种点云行人距离风险检测方法、系统、设备和介质 | |
| CN114495089A (zh) | 基于多尺度异源特征自适应融合的三维目标检测方法 | |
| CN111145187B (zh) | 基于霍夫空间的物体识别方法、系统、设备及存储介质 | |
| CN111079634B (zh) | 车辆行驶中检测障碍物的方法、装置、系统及车辆 | |
| CN112085101A (zh) | 一种高性能高可靠的环境融合感知方法及系统 | |
| CN112651986A (zh) | 环境识别方法、识别装置、识别系统、电子设备及介质 | |
| CN112906519B (zh) | 一种车辆类型识别方法及装置 | |
| CN115240168A (zh) | 感知结果获取方法、装置、计算机设备、存储介质 | |
| Wu et al. | Research on Asphalt Pavement Disease Detection Based on Improved YOLOv5s |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240108 Address after: 1111, Building 2, Shangfengyuan, Baijiatuan, Haidian District, Beijing, 100029 Patentee after: ZHONGQU (BEIJING) TECHNOLOGY CO.,LTD. Address before: 100144 Beijing City, Shijingshan District Jin Yuan Zhuang Road No. 5 Patentee before: NORTH CHINA University OF TECHNOLOGY |