CN113408456A - 一种环境感知算法、系统、装置、电子设备及存储介质 - Google Patents
一种环境感知算法、系统、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113408456A CN113408456A CN202110728698.9A CN202110728698A CN113408456A CN 113408456 A CN113408456 A CN 113408456A CN 202110728698 A CN202110728698 A CN 202110728698A CN 113408456 A CN113408456 A CN 113408456A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- data
- image data
- cutting
- cloud data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 23
- 230000008447 perception Effects 0.000 title claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 43
- 230000004927 fusion Effects 0.000 claims abstract description 40
- 238000013528 artificial neural network Methods 0.000 claims abstract description 16
- 238000013135 deep learning Methods 0.000 claims abstract description 12
- 238000001514 detection method Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 238000000034 method Methods 0.000 abstract description 19
- 239000011159 matrix material Substances 0.000 description 17
- 238000004891 communication Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000035484 reaction time Effects 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
Abstract
本申请提供了一种环境感知算法、系统、装置、电子设备及存储介质，其技术方案要点是：包括：获取点云数据以及图像数据；将对应的所述点云数据以及所述图像数据进行切割；将切割后的所述点云数据投影至切割后的所述图像数据中，使所述点云数据与所述图像数据进行融合，得到融合数据；根据所述融合数据进行特征提取；将提取的所述特征输入至神经网络和/或深度学习框架中进行处理，最终输出环境感知结果。本申请提供的一种环境感知算法、系统、装置、电子设备及存储介质具有提高智能驾驶车辆对周围环境的感知能力和实时性，并使其事故概率降低的优点。
Description
技术领域
本申请涉及图像数据处理技术领域，具体而言，涉及一种环境感知算法、系统、装置、电子设备及存储介质。
背景技术
目前，Apollo等无人驾驶主流系统方案中的激光雷达点云处理是在点云数据地面分割、空间聚类等基础上实现的。但此类算法存在较多缺陷，首先，车辆正常行驶工况复杂多变，采用基于规则的算法不可能完全解决所有场景；其次，车辆行驶工况下会出现遮挡问题，特别是车流量大、路况复杂的情况，在这种情况下，该算法的漏检率和错检率将大大提高。
目前主流的研究方向是基于神经网络的点云运算方法，这种方法可以大大降低漏检率，但由于激光雷达无法感知周围场景的颜色信息，限制了算法精度的进一步提高。摄像头能密集地感知周围环境的颜色信息，但对深度信息的感知能力较差。因此，将点云数据与图像数据融合是提高智能驾驶车辆感知能力的一个重要方向。
在数据融合中，存在数据级融合、特征级融合和目标级融合三种融合方式，其中特征级融合算法占主导地位，应用在图像数据与点云数据的融合中，即先对图像数据进行卷积，提取出相关特征，然后再对点云或点云特征进行融合，但此种方法计算量较大，图像特征与点云数据没有完全的对应关系，因此存在漏检率高、错检率高的问题。
针对上述问题，亟需进行改进。
发明内容
本申请实施例的目的在于提供一种环境感知算法、系统、装置、电子设备及存储介质，具有提高智能驾驶车辆对周围环境的感知能力和实时性，并使其事故概率降低的优点。
第一方面，本申请提供了一种环境感知算法，技术方案如下：
包括：
获取点云数据以及图像数据；
将对应的所述点云数据以及所述图像数据进行切割；
将切割后的所述点云数据投影至切割后的所述图像数据中，使所述点云数据与所述图像数据进行融合，得到融合数据；
根据所述融合数据进行特征提取；
将提取的所述特征输入至神经网络和/或深度学习框架中进行处理，最终输出环境感知结果。
进一步地，在本申请实施例中，所述将对应的所述点云数据以及所述图像数据进行切割的步骤包括：
所述点云数据通过激光雷达获取，所述图像数据通过摄像头获取，根据所述摄像头的参数以及输出的所述图像数据的图像尺寸确定视锥；
根据所述视锥确定第一切割范围；
根据所述第一切割范围对所述图像数据进行切割；
将所述第一切割范围的坐标换算至所述点云数据的坐标系中得到与所述第一切割范围对应的第二切割范围；
根据所述第二切割范围对所述点云数据进行切割。
进一步地，在本申请实施例中，所述根据所述视锥确定第一切割范围的步骤包括：
根据所述激光雷达的探测范围确定第一切割平面与第二切割平面；
根据所述第一切割平面与所述第二切割平面对所述视锥进行切割得到所述第一切割范围。
进一步地，在本申请实施例中，所述根据所述融合数据进行特征提取的步骤包括：
将所述融合数据使用预设的点云柱进行分割；
提取所述点云柱内的特征。
第二方面，本申请还提供了一种环境感知系统，技术方案如下：
包括：
摄像头模块，用于获取图像数据；
激光雷达模块，用于获取点云数据；
处理器模块，用于接收并处理所述图像数据以及所述点云数据信息，将对应的所述点云数据以及所述图像数据进行切割；将切割后的所述点云数据投影至切割后的所述图像数据中，使所述点云数据与所述图像数据进行融合，得到融合数据；根据所述融合数据进行特征提取；
决策模块，用于接收所述处理器模块提取的特征，并对该特征进行处理最终输出环境感知结果。
进一步地，在本申请实施例中，所述处理器模块包括分布式融合处理器以及高性能处理器。
进一步地，在本申请实施例中，所述处理器模块包括融合模块以及计算模块。
第三方面，本申请还提供了一种执行装置，技术方案如下：
包括：
获取模块，用于获取点云数据以及图像数据；
第一处理模块，用于将对应的所述点云数据以及所述图像数据进行切割；
第二处理模块，用于将切割后的所述点云数据投影至切割后的所述图像数据中，使所述点云数据与所述图像数据进行融合，得到融合数据；
第三处理模块，用于根据所述融合数据进行特征提取；
第四处理模块，用于将提取的所述特征输入至神经网络和/或深度学习框架中进行处理，最终输出环境感知结果。
第四方面，本申请还提供了一种电子设备，技术方案如下：包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上任一项所述方法中的步骤。
第五方面，本申请还提供了一种存储介质，技术方案如下：其上存储有计算机程序，所述计算机程序被处理器执行时，运行如上任一项所述方法中的步骤。
由上可知，本申请实施例提供的一种环境感知算法、系统、装置、电子设备及存储介质，通过获取点云数据以及图像数据；将对应的点云数据以及图像数据进行切割；将切割后的点云数据投影至切割后的图像数据中，使点云数据与图像数据进行融合，得到融合数据；根据融合数据进行特征提取；将提取的特征输入至神经网络和/或深度学习框架中进行处理，最终输出环境感知结果，在这个过程中，能够将点云数据与图像数据的空间对应关系统一起来，提升点云的特征维度，具有提高智能驾驶车辆对周围环境的感知能力和实时性，并使其事故概率降低的有益效果。
本申请的其他特征和优点将在随后的说明书阐述，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
图1为本申请实施例提供的一种环境感知算法流程图。
图2为本申请实施例提供的执行装置结构示意图。
图3为本申请实施例提供的电子设备结构示意图。
图4为本申请实施例提供的一种环境感知算法流程图示意图。
图5为本申请实施例提供的一种环境感知系统的分布式架构示意图。
图6为本申请实施例提供的一种环境感知系统的集中式架构示意图。
图7为本申请实施例提供的视锥示意图。
图8为本申请实施例提供的通过摄像头获取的图像数据。
图9为本申请实施例提供的通过激光雷达获取的点云数据。
图10为本申请实施例提供的融合数据。
图11为本申请实施例提供的最终输出的环境感知结果。
图中：210、获取模块；220、第一处理模块；230、第二处理模块；240、第三处理模块；250、第四处理模块；300、电子设备；310、处理器；320、存储器；410、摄像头模块；420、图像采集卡；430、分布式融合处理器； 440、激光雷达模块；450、高性能处理器；460、决策模块；451、融合模块；452、计算模块。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参照图1至图11，第一方面，本申请提出了一种环境感知算法，技术方案具体包括：
S110、获取点云数据以及图像数据；
S120、将对应的点云数据以及图像数据进行切割；
S130、将切割后的点云数据投影至切割后的图像数据中，使点云数据与图像数据进行融合，得到融合数据；
S140、根据融合数据进行特征提取；其中，提取融合数据中的特征可以通过特征提取网络来进行。
S150、将提取的特征输入至神经网络和/或深度学习框架中进行处理，最终输出环境感知结果。其中，神经网络可以采用改进后的PointPillars神经网络算法。
通过上述技术方案，在获取了点云数据以及图像数据之后，先将对应的点云数据以及图像数据进行切割，其中，可以根据获取的图像数据大小来决定对图像数据进行切割或不进行切割，由于点云数据的范围一般比图像数据的范围大，当不对图像数据进行切割时，任然需要对点云数据进行切割，使切割后点云数据与图像数据对应，将切割后的点云数据对应的投影在切割后的图像数据中，进而得到融合数据，这样就能够使点云数据与图像数据的空间对应关系统一起来，提升点云的特征维度，然后提取融合数据的特征，将特征输入至神经网络和/或深度学习框架中进行处理，最终输出环境感知结果，有效提高对周围环境的感知能力和实时性。
进一步地，参照图3以及图7，在其中一些实施例中，将对应的点云数据以及图像数据进行切割的步骤包括：
点云数据通过激光雷达获取，图像数据通过摄像头获取，根据摄像头的参数以及输出的图像数据的图像尺寸确定视锥；
根据视锥确定第一切割范围；
根据第一切割范围对图像数据进行切割；
将第一切割范围的坐标换算至点云数据的坐标系中得到与第一切割范围对应的第二切割范围；
根据第二切割范围对点云数据进行切割。
具体的，在一些实施方式中，摄像头与激光雷达设置在汽车上，首先通过对摄像头与激光雷达的联合标定来获取摄像头的投影矩阵P、旋转校正矩阵
激光雷达到摄像头的转换矩阵
例如，在一些具体实施例中，摄像头的投影矩阵P、旋转校正矩阵
激光雷达到摄像头的转换矩阵
如下所示：
然后，通过激光雷达获取点云数据，通过摄像头获取图像数据，点云数据包含空间位置信息(x、y、z)和反射率(r)，数据以帧为单位，一帧数据为激光雷达转一圈扫过360°所产生的点云数据，在一些实施例中，采用64线程的激光雷达，摄像头采集的图像数据的尺寸为1224×370；
其中，可以通过摄像头的投影矩阵P，求得归一化焦距(fx、fy)、图像中心(u0、v0)、旋转矩阵R、平移向量T。其中，在一些具体实施例中， fx＝707.049，fy＝707.049，u0＝604.081，v0＝180.507，
接着通过输出的图像尺寸与摄像头参数确定视锥，根据视锥确定第一切割范围，将第一切割范围内的图像切割出来，然后将第一切割范围对应在点云数据中的第二切割范围内的点云数据切割出来。
通过上述技术方案，由于激光雷达采集的点云数据与摄像头采集的图像数据的内容比较庞大，无法瞬时对所有的数据进行快速处理，因此需要对数据进行切割，通过上述方案，先对图像数据以及点云数据中较为核心重要的数据进行切割做处理，并且，点云数据的切割范围与图像数据的切割范围对应相同，因此能够将点云数据与图像数据的空间对应关系统一起来，提升点云的特征维度，使结果更加准确。
进一步地，参照图7，在其中一些实施例中，根据视锥确定第一切割范围的步骤包括：
根据激光雷达的探测范围确定第一切割平面Z1与第二切割平面Z2；
根据第一切割平面Z1与第二切割平面Z2对视锥进行切割得到第一切割范围。
具体的，在一些实施方式中，根据激光雷达的检测范围确定第一切割平面Z1以及第二切割平面Z2。例如第一切割平面Z1在摄像头前方0.01米，第二切割平面Z2为在摄像头前方100米，第一切割平面Z1与第二切割平面 Z2呈竖直状对视锥进行切割，将视锥切割成一个四棱台，四棱台的空间体积则为第一切割范围，以上述参数为例，经过切割后的四棱台，其八个角点的空间坐标为：
然后，根据投影矩阵P、旋转矩阵R、平移向量T、旋转校正矩阵
和激光雷达到摄像头转换矩阵
将摄像头坐标系中的四棱台转换到激光雷达坐标系中，计算得到的在点云数据中四棱台八个角点的坐标为：
通过上述技术方案，因为激光雷达可以检测深度信息，因此根据激光雷达的探测范围，确定第一切割平面Z1和第二切割平面Z2，分别代表较近的平面和较远的平面，通过第一切割平面Z1与第二切割平面Z2切割视锥得到的四棱台的角点为：
进一步的，可以根据车辆的行驶速度来决定第一切割平面Z1和第二切割平面Z2的位置，车辆的行驶速度越慢，就有更大的可操作空间，可以缩小检测范围来降低能耗，车辆的行驶速度越快，反应时间以及可操作空间越小，因此可以扩大检测范围来增加反应时间以及增大可操作的空间。
进一步地，在其中一些实施例中，根据融合数据进行特征提取的步骤包括：
将融合数据使用预设的点云柱进行分割；
提取点云柱内的特征。
具体的，在一些实施方式中，在提取融合数据的特征之前，需要将切割后的点云数据通过投影矩阵P、旋转校正矩阵
与激光雷达到摄像头的变换矩阵
计算投影矩阵Ttrans，
并根据投影矩阵将点云投影至图像中，并将对应像素RGB信息融合至点云数据中得到融合数据；具体的，以上述参数为例，在一些实施例中，
然后将融合数据根据俯视图通过点云柱进行分割，针对每个点云柱进行特征提取，生成特征的伪图像。
其中，在一些实施例中，点云柱的尺寸为0.16米×0.16米，高度为4 米，高度过高的物体对周围环境的贡献较小。其中提取的特征为点云柱内点云数据的x、y轴点云平均值的二范数，反射率、颜色信息的平均值。
接着将特征的伪图像使用多层卷积神经网络进行卷积处理，将卷积后的数据输入至SSD深度学习框架中进行处理，得出周围环境的感知结果。
第二方面，参照图4、图5和图6，本申请还提供了一种环境感知系统，技术方案具体包括：
摄像头模块410，用于获取图像数据；
激光雷达模块440，用于获取点云数据；
处理器模块，用于接收并处理图像数据以及点云数据信息，将对应的点云数据以及图像数据进行切割；将切割后的点云数据投影至切割后的图像数据中，使点云数据与图像数据进行融合，得到融合数据；根据融合数据进行特征提取；
决策模块460，用于接收处理器模块处理过的信息，并对该信息进行处理最终输出环境感知结果。
通过上述技术方案，处理器模块在接收了从激光雷达模块440上获取的点云数据以及从摄像头模块410上获取的图像数据之后，先将对应的点云数据以及图像数据进行切割，然后将切割后的点云数据对应的投影在切割后的图像数据中，进而得到融合数据，这样就能够使点云数据与图像数据的空间对应关系统一起来，提升点云的特征维度，然后对融合数据的特征进行提取，将提取出的特征输入至决策模块460中，决策模块460对从融合数据中提取的特征数据进行处理，最终输出环境感知结果，有效提高对周围环境的感知能力和实时性。
其中，本申请所提供的一种环境感知系统还包含了两种硬件架构分别为如图5所示的分布式架构以及如图6所示的集中式架构，分布式架构的处理器模块包括分布式融合处理器430以及高性能处理器450，通过分布式融合处理器430可以很大程度上分担高性能处理器450的运算量，加快本申请上述算法的运行速度。
此外，集中式架构的处理器模块包括融合模块451以及计算模块452，将融合模块451与计算模块452集成在一块高性能处理器450中进行运算，可以大大提升数据传输效率。
其中，摄像头模块410与处理器模块之间还设置有图像采集卡420，图像采集卡420将摄像头模块410输入的模拟信号转为视频图像的数字信号，将数字信号输入至处理器模块中。
其中，处理器模块还会对摄像头模块410以及激光雷达模块440进行时间校准，确保处理器模块处理的是同一时刻下采集到的图像数据以及点云数据。
第三方面，本申请还提供了一种执行装置，技术方案具体包括：
获取模块210，用于获取点云数据以及图像数据；
第一处理模块220，用于将对应的点云数据以及图像数据进行切割；
第二处理模块230，用于将切割后的点云数据投影至切割后的图像数据中，使点云数据与图像数据进行融合，得到融合数据；
第三处理模块240，用于根据融合数据进行特征提取；
第四处理模块250，用于将提取的特征输入至神经网络和/或深度学习框架中进行处理，最终输出环境感知结果。
通过上述技术方案，获取模块210在获取了点云数据以及图像数据之后，第一处理模块220先将对应的点云数据以及图像数据进行切割，第二处理模块230然后将切割后的点云数据对应的投影在切割后的图像数据中，进而得到融合数据，这样就能够使点云数据与图像数据的空间对应关系统一起来，提升点云的特征维度，第三处理模块240对融合数据进行特征提取，最后第四模块将提取的融合数据中的特征输入至神经网络和/或深度学习框架中进行处理，最终输出环境感知结果，有效提高对周围环境的感知能力和实时性。
第四方面，本申请还提供了一种电子设备300，技术方案如下：包括处理器310以及存储器320，存储器320存储有计算机可读取指令，当计算机可读取指令由处理器310执行时，运行如上述方法中的步骤。
通过上述技术方案，处理器310和存储器320通过通信总线和/或其他形式的连接机构(未标出)互连并相互通讯，存储器320存储有处理器310 可执行的计算机程序，当计算设备运行时，处理器310执行该计算机程序，以执行时执行上述实施例的任一可选的实现方式中的方法，以实现以下功能：获取点云数据以及图像数据；将对应的点云数据以及图像数据进行切割；将切割后的点云数据投影至切割后的图像数据中，使点云数据与图像数据进行融合，得到融合数据；根据融合数据进行特征提取；将提取的特征输入至神经网络和/或深度学习框架中进行处理，最终输出环境感知结果。
第五方面，本申请还提供了一种存储介质，技术方案如下：其上存储有计算机程序，计算机程序被处理器执行时，运行如上述方法中的步骤。
通过上述技术方案，计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的方法，以实现以下功能：获取点云数据以及图像数据；将对应的点云数据以及图像数据进行切割；将切割后的点云数据投影至切割后的图像数据中，使点云数据与图像数据进行融合，得到融合数据；根据融合数据进行特征提取；将提取的特征输入至神经网络和/或深度学习框架中进行处理，最终输出环境感知结果。
其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory,简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory,简称EPROM)，可编程只读存储器 (Programmable Red-Only Memory,简称PROM)，只读存储器(Read-OnlyMemory,简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种环境感知算法，其特征在于，包括：
获取点云数据以及图像数据；
将对应的所述点云数据以及所述图像数据进行切割；
将切割后的所述点云数据投影至切割后的所述图像数据中，使所述点云数据与所述图像数据进行融合，得到融合数据；
根据所述融合数据进行特征提取；
将提取的所述特征输入至神经网络和/或深度学习框架中进行处理，最终输出环境感知结果。
2.根据权利要求1所述的一种环境感知算法，其特征在于，所述将对应的所述点云数据以及所述图像数据进行切割的步骤包括：
所述点云数据通过激光雷达获取，所述图像数据通过摄像头获取，根据所述摄像头的参数以及输出的所述图像数据的图像尺寸确定视锥；
根据所述视锥确定第一切割范围；
根据所述第一切割范围对所述图像数据进行切割；
将所述第一切割范围的坐标换算至所述点云数据的坐标系中得到与所述第一切割范围对应的第二切割范围；
根据所述第二切割范围对所述点云数据进行切割。
3.根据权利要求2所述的一种环境感知算法，其特征在于，所述根据所述视锥确定第一切割范围的步骤包括：
根据所述激光雷达的探测范围确定第一切割平面与第二切割平面；
根据所述第一切割平面与所述第二切割平面对所述视锥进行切割得到所述第一切割范围。
4.根据权利要求1所述的一种环境感知算法，其特征在于，所述根据所述融合数据进行特征提取的步骤包括：
将所述融合数据使用预设的点云柱进行分割；
提取所述点云柱内的特征。
5.一种环境感知系统，其特征在于，包括：
摄像头模块，用于获取图像数据；
激光雷达模块，用于获取点云数据；
处理器模块，用于接收并处理所述图像数据以及所述点云数据信息，将对应的所述点云数据以及所述图像数据进行切割；将切割后的所述点云数据投影至切割后的所述图像数据中，使所述点云数据与所述图像数据进行融合，得到融合数据；根据所述融合数据进行特征提取；
决策模块，用于接收所述处理器模块提取的特征，并对该特征进行处理最终输出环境感知结果。
6.根据权利要求5所述的一种环境感知系统，其特征在于，所述处理器模块包括分布式融合处理器以及高性能处理器。
7.根据权利要求5所述的一种环境感知系统，其特征在于，所述处理器模块包括融合模块以及计算模块。
8.一种执行装置，其特征在于，包括：
获取模块，用于获取点云数据以及图像数据；
第一处理模块，用于将对应的所述点云数据以及所述图像数据进行切割；
第二处理模块，用于将切割后的所述点云数据投影至切割后的所述图像数据中，使所述点云数据与所述图像数据进行融合，得到融合数据；
第三处理模块，用于根据所述融合数据进行特征提取；
第四处理模块，用于将提取的所述特征输入至神经网络和/或深度学习框架中进行处理，最终输出环境感知结果。
9.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-4任一项算法中的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，运行如权利要求1-4任一项算法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110728698.9A CN113408456A (zh) | 2021-06-29 | 2021-06-29 | 一种环境感知算法、系统、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110728698.9A CN113408456A (zh) | 2021-06-29 | 2021-06-29 | 一种环境感知算法、系统、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113408456A true CN113408456A (zh) | 2021-09-17 |
Family
ID=77680398
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110728698.9A Withdrawn CN113408456A (zh) | 2021-06-29 | 2021-06-29 | 一种环境感知算法、系统、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113408456A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116012376A (zh) * | 2023-03-23 | 2023-04-25 | 深圳佑驾创新科技有限公司 | 目标检测方法、装置以及车辆 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109544456A (zh) * | 2018-11-26 | 2019-03-29 | 湖南科技大学 | 基于二维图像和三维点云数据融合的全景环境感知方法 |
| US20200160559A1 (en) * | 2018-11-16 | 2020-05-21 | Uatc, Llc | Multi-Task Multi-Sensor Fusion for Three-Dimensional Object Detection |
| CN111583663A (zh) * | 2020-04-26 | 2020-08-25 | 宁波吉利汽车研究开发有限公司 | 基于稀疏点云的单目感知修正方法、装置及存储介质 |
| CN112101092A (zh) * | 2020-07-31 | 2020-12-18 | 北京智行者科技有限公司 | 自动驾驶环境感知方法及系统 |
-
2021
- 2021-06-29 CN CN202110728698.9A patent/CN113408456A/zh not_active Withdrawn
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200160559A1 (en) * | 2018-11-16 | 2020-05-21 | Uatc, Llc | Multi-Task Multi-Sensor Fusion for Three-Dimensional Object Detection |
| CN109544456A (zh) * | 2018-11-26 | 2019-03-29 | 湖南科技大学 | 基于二维图像和三维点云数据融合的全景环境感知方法 |
| CN111583663A (zh) * | 2020-04-26 | 2020-08-25 | 宁波吉利汽车研究开发有限公司 | 基于稀疏点云的单目感知修正方法、装置及存储介质 |
| CN112101092A (zh) * | 2020-07-31 | 2020-12-18 | 北京智行者科技有限公司 | 自动驾驶环境感知方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 罗玉涛 等: "基于稀疏彩色点云的自动驾驶汽车3D目标检测方法", 《汽车工程》, vol. 43, no. 4, pages 492 - 500 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116012376A (zh) * | 2023-03-23 | 2023-04-25 | 深圳佑驾创新科技有限公司 | 目标检测方法、装置以及车辆 |
| CN116012376B (zh) * | 2023-03-23 | 2023-07-04 | 深圳佑驾创新科技有限公司 | 目标检测方法、装置以及车辆 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111461245A (zh) | 一种融合点云和图像的轮式机器人语义建图方法及系统 | |
| CN113673425B (zh) | 一种基于Transformer的多视角目标检测方法及系统 | |
| CN111209825B (zh) | 一种用于动态目标3d检测的方法和装置 | |
| CN113936256A (zh) | 一种图像目标检测方法、装置、设备以及存储介质 | |
| CN111260666B (zh) | 图像处理方法及装置、电子设备、计算机可读存储介质 | |
| CN113761999A (zh) | 一种目标检测方法、装置、电子设备和存储介质 | |
| WO2022206414A1 (zh) | 三维目标检测方法及装置 | |
| CN112154448A (zh) | 目标检测方法、设备及可移动平台 | |
| Gao et al. | EOVNet: Earth-observation image-based vehicle detection network | |
| CN113989744A (zh) | 一种基于超大尺寸高分辨图像的行人目标检测方法及系统 | |
| CN112508989A (zh) | 一种图像处理方法、装置、服务器以及介质 | |
| Zhang et al. | PSNet: Perspective-sensitive convolutional network for object detection | |
| CN114972941A (zh) | 被遮挡车辆三维检测的决策融合方法、装置及电子设备 | |
| CN114972758A (zh) | 一种基于点云弱监督的实例分割方法 | |
| CN113408456A (zh) | 一种环境感知算法、系统、装置、电子设备及存储介质 | |
| CN113759338B (zh) | 一种目标检测方法、装置、电子设备及存储介质 | |
| CN113569911A (zh) | 车辆识别方法、装置、电子设备及存储介质 | |
| CN112818968A (zh) | 一种目标物分类方法及装置 | |
| CN112529011A (zh) | 目标检测方法及相关装置 | |
| CN112241963A (zh) | 基于车载视频的车道线识别方法、系统和电子设备 | |
| CN115147809B (zh) | 一种障碍物检测方法、装置、设备以及存储介质 | |
| CN114648639B (zh) | 一种目标车辆的检测方法、系统及装置 | |
| CN116188587A (zh) | 定位方法、装置及车辆 | |
| CN113901903A (zh) | 道路识别方法和装置 | |
| CN117372988B (zh) | 道路边界检测方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210917 |