CN114612895A - 非标准道路场景中的道路检测方法及装置 - Google Patents
非标准道路场景中的道路检测方法及装置 Download PDFInfo
- Publication number
- CN114612895A CN114612895A CN202210270841.9A CN202210270841A CN114612895A CN 114612895 A CN114612895 A CN 114612895A CN 202210270841 A CN202210270841 A CN 202210270841A CN 114612895 A CN114612895 A CN 114612895A
- Authority
- CN
- China
- Prior art keywords
- data
- point cloud
- road
- input
- ground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 139
- 238000013528 artificial neural network Methods 0.000 claims abstract description 90
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims abstract description 55
- 240000004050 Pentaglottis sempervirens Species 0.000 claims abstract description 43
- 238000012549 training Methods 0.000 claims description 123
- 238000000034 method Methods 0.000 claims description 63
- 238000013527 convolutional neural network Methods 0.000 claims description 57
- 230000004927 fusion Effects 0.000 claims description 32
- 238000013507 mapping Methods 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 30
- 241001300198 Caperonia palustris Species 0.000 claims description 18
- 235000000384 Veronica chamaedrys Nutrition 0.000 claims description 18
- 238000011176 pooling Methods 0.000 claims description 11
- 238000010276 construction Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000013479 data entry Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 23
- 230000015654 memory Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 14
- 238000007781 pre-processing Methods 0.000 description 14
- 230000001788 irregular Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 241000905137 Veronica schmidtiana Species 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000006855 networking Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 229910052500 inorganic mineral Inorganic materials 0.000 description 2
- 238000007620 mathematical function Methods 0.000 description 2
- 239000011707 mineral Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 241000274965 Cyrestis thyodamas Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000004441 surface measurement Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了非标准道路场景中的道路检测方法及装置，涉及自动驾驶技术领域。其中道路检测方法包括：传感器数据获取步骤，获取点云数据和图像数据；道路所在地面获取步骤，将点云数据转换为体素数据，基于已标注的图像数据转换为鸟瞰图像后与体素数据融合、从而根据图像数据标注来生成体素数据正负样本而训练的前馈神经网络，从体素数据中检测地面三维结构；道路检测步骤，从地面三维数据包含的点云数据中学习到道路区域点集。该技术方案学习到真实的道路三维结构，提高了道路感知的准确性和驾驶安全性。
Description
技术领域
本发明涉及自动驾驶领域，尤其涉及自动驾驶的模型训练和道路检测方法及装置。
背景技术
自动驾驶技术是一种通过计算机实现辅助驾驶或无人驾驶的技术，其依靠可见光相机、毫米波雷达、激光雷达、惯性导航系统、全球定位系统等传感系统，使计算机可以部分或全部代替人类驾驶员自动安全地操作车辆。
现有技术中，自动驾驶技术主要应用于标准道路场景。标准道路例如根据道路交通相关法律法规规定的具有特定标线、标识等信息的道路。在标准道路场景下，自动驾驶技术可以获取规范的道路标线标识等环境感知信息，可以利用规范的地图测绘提供的普通地图和高精度地图，也可以与智能交通系统中的交通基础设施进行规范的信息交换。
但是，自动驾驶技术不仅可以应用在标准道路场景中，也可以应用在非标准道路场景。非标准道路场景例如野外环境等自然场景，例如乡村道路等农业环境场景，例如园区内部道路等场景，例如矿山矿井等特定作业场景。
因此，现有技术对道路所在地面使用二维结构建模，传感器获取的三维信息可以通过投影方便地映射到地面二维平面，可以节省地面区域道路检测的计算量。但基于二维结构地面模型的现有技术，无法适应非标准道路场景。同时，现有技术基于标准道路场景的道路标线、标识、地图等信息，也无法适应非标准道路场景。
综上，需要解决非标准道路场景下，如何对不平整地面进行三维建模并实现传感器三维信息有效投影到地面的技术问题，以及如何解决道路区域与非道路区域不易区分的技术问题。
发明内容
本发明提供了一种非标准道路场景的模型训练和道路检测方法及装置，以解决上述现有技术中存在的问题。
根据本发明的第一方面，提供了一种模型训练方法，包括：
构建和训练传感器数据获取子模型；
构建和训练道路所在地面获取子模型；
构建和训练道路检测子模型；
所述传感器数据获取子模型包括点云数据输入分支和图像数据输入分支；所述点云数据输入分支包括输入点云数据的输入层；所述图像数据输入分支包括输入图像数据的输入层；
所述传感器数据获取子模型的训练过程包括：输入点云数据的输入层和输入图像数据的输入层直接进行输入；
道路所在地面获取子模型包括一个前馈神经网络；所述前馈神经网络包括主输入分支和从输入分支；所述主输入分支包括点云层和一个或多个体素层；所述点云层接收点云数据输入，所述一个或多个体素层将点云数据转换为体素数据；所述从输入分支包括图像层和一个或多个映射层；所述图像层接收图像数据输入，所述一个或多个映射层将图像数据转换为鸟瞰图像；所述前馈神经网络还包括一个或多个融合层和一个或多个地面层；所述一个或多个融合层接收所述鸟瞰图像、所述体素数据，根据鸟瞰图像和体素数据的空间位置对其进行融合；所述一个或多个地面层接收所述融合层输出的体素数据，提取属于地面区域的体素集合，获得地面三维结构；
所述前馈神经网络的训练过程包括：预处理；点云数据转换为体素数据；图像数据转换为鸟瞰图像；数据融合和正负样本生成；利用正负样本训练前馈神经网络；
所述道路检测包括一个卷积神经网络；所述卷积神经网络包括多个神经网络层；所述多个神经网络层至少包括输入层、卷积层、池化层、全连接层；所述输入层接收所述地面三维结构包含的点云数据；所述卷积神经网络从所述点云数据中提取到道路区域点集；所述道路检测子模型根据所述道路区域点集的三维坐标，得到道路区域的位置信息；
所述卷积神经网络的训练过程包括：图像数据转换为鸟瞰图像；获取地面三维结构的点云数据；利用正负样本训练卷积神经网络。
根据本发明的第二方面，提供了一种道路检测方法，包括：
传感器数据获取步骤；
道路所在地面获取步骤；
道路所在地面获取步骤；
所述传感器数据获取步骤包括，点云数据输入步骤和图像数据输入步骤；所述点云数据输入步骤接收原始点云数据输入、并对原始点云数据进行预处理，获得点云数据；所述图像数据输入步骤接收原始图像数据输入、并对原始图像数据进行预处理，获得图像数据；
所述道路所在地面获取步骤包括，主输入步骤、地面检测步骤；所述主输入步骤接收点云数据的输入，基于体素对空间划分，根据点云数据的空间坐标将其归入相应的体素，获得体素数据；所述地面检测步骤，基于已标注的图像数据转换为鸟瞰图像后与体素数据融合从而根据图像数据标注来生成体素数据正负样本而训练的前馈神经网络，从体素数据中检测地面三维结构；所述地面三维结构是体素数据中表示地面的子集；
所述道路检测步骤包括：接收地面三维结构包含的点云数据；基于卷积神经网络从所述点云数据中学习到道路区域点集；所述卷积神经网络包括多个神经网络层；所述多个神经网络层至少包括输入层、卷积层、池化层、全连接层；基于已标注的训练图像数据转换为鸟瞰图像后与点云数据融合从而根据图像数据标注来生成点云数据正负样本而训练所述卷积神经网络。
根据本发明的第三方面，提供了一种模型训练装置，包括：
传感器数据获取子模型构建和训练模块：所述传感器数据获取子模型包括点云数据输入分支和图像数据输入分支；所述点云数据输入分支包括输入点云数据的输入层；所述图像数据输入分支包括输入图像数据的输入层；所述传感器数据获取子模型的训练过程包括：输入点云数据的输入层和输入图像数据的输入层直接进行输入；
道路所在地面获取子模型构建和训练模块：道路所在地面获取子模型包括一个前馈神经网络；所述前馈神经网络包括主输入分支和从输入分支；所述主输入分支包括点云层和一个或多个体素层；所述点云层接收点云数据输入，所述一个或多个体素层将点云数据转换为体素数据；所述从输入分支包括图像层和一个或多个映射层；所述图像层接收图像数据输入，所述一个或多个映射层将图像数据转换为鸟瞰图像；所述前馈神经网络还包括一个或多个融合层和一个或多个地面层；所述一个或多个融合层接收所述鸟瞰图像、所述体素数据，根据鸟瞰图像和体素数据的空间位置对其进行融合；所述一个或多个地面层接收所述融合层输出的体素数据，提取属于地面区域的体素集合，获得地面三维结构；所述前馈神经网络的训练过程包括：预处理；点云数据转换为体素数据；图像数据转换为鸟瞰图像；数据融合和正负样本生成；利用正负样本训练前馈神经网络；
道路检测子模型构建和训练模块：所述道路检测子模型包括一个卷积神经网络；所述卷积神经网络包括多个神经网络层；所述多个神经网络层至少包括输入层、卷积层、池化层、全连接层；所述输入层接收所述地面三维结构包含的点云数据；所述卷积神经网络从所述点云数据中提取到道路区域点集；所述道路检测子模型根据所述道路区域点集的三维坐标，得到道路区域的位置信息；所述卷积神经网络的训练过程包括：图像数据转换为鸟瞰图像；获取地面三维结构的点云数据；利用正负样本训练卷积神经网络。
根据本发明的第四方面，提供了一种道路检测装置，包括：
传感器数据获取模块，包括点云数据输入子模块和图像数据输入子模块；所述点云数据输入子模块接收原始点云数据输入、并对原始点云数据进行预处理，获得点云数据；所述图像数据输入子模块接收原始图像数据输入、并对原始图像数据进行预处理，获得图像数据；
道路所在地面获取模块，包括主输入子模块、地面检测子模块；所述主输入子模块接收点云数据的输入，基于体素对空间划分，根据点云数据的空间坐标将其归入相应的体素，获得体素数据；所述地面检测子模块，基于已标注的图像数据转换为鸟瞰图像后与体素数据融合从而根据图像数据标注来生成体素数据正负样本而训练的前馈神经网络，从体素数据中检测地面三维结构；所述地面三维结构是体素数据中表示地面的子集；
道路所在地面获取模块：接收地面三维结构包含的点云数据；基于卷积神经网络从所述点云数据中学习到道路区域点集；所述卷积神经网络包括多个神经网络层；所述多个神经网络层至少包括输入层、卷积层、池化层、全连接层；基于已标注的训练图像数据转换为鸟瞰图像后与点云数据融合从而根据图像数据标注来生成点云数据正负样本而训练所述卷积神经网络。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
与现有技术相比，本发明的有益效果是：
采用多阶段子模型串联的端到端的模型结构；使用体素标记来描述地面的结构，通过体素将包含地面的空间进行划分，通过体素标记来标识出不平整的地面；使用点云数据为主进行道路检测，能够利用点云数据提供的道路三维结构信息，基于道路三维结构有效地区分了道路区域和非道路区域，提高了针对非标准道路场景下道路检测精确性；同时，道路检测模型还使用了图像信息，从而提高了道路检测的鲁棒性；检测道路不平整的真实情况，而不是基于道路平整的假设，提高了驾驶的安全性。
附图说明
附图用于更好地理解本方案，不构成对本发明的限定。其中：
图1示出了标准道路场景的示意图；
图2示出了根据本发明一个实施例提供的非标准道路场景的示意图；
图3示出了标准道路场景的鸟瞰投影；
图4示出了根据本发明一个实施例提供的道路检测模型的示意图；
图5示出了根据本发明一个实施例提供的非标准道路场景的相机成像示意图；
图6示出了根据本发明一个实施例提供的非标准道路场景的雷达成像示意图；
图7示出了根据本发明一个实施例提供的点云示意图；
图8示出了根据本发明一个实施例提供的体素示意图；
图9示出了根据本发明一个实施例提供的非标准道路场景中二维结构地面和三维结构地面的对比；
图10示出了根据本发明一个实施例提供的道路所在地面判断子模块的结构示意图；
图11示出了根据本发明一个实施例提供的道路所在地面判断子模块的训练示意图；
图12示出了根据本发明一个实施例提供的模型训练方法的示意图；
图13示出了根据本发明一个实施例提供的道路检测方法的示意图；
图14示出了根据本发明一个实施例提供的模型训练装置的示意图；
图15示出了根据本发明一个实施例提供的道路检测装置的示意图；
图16示出了根据本发明一个实施例提供的电子设备的示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
所涉及的技术术语包括：
模型：模型是指对某个实际问题或客观事物、规律进行抽象后的一种形式化表达方法。在自动驾驶领域，模型处理的是自动驾驶相关的实际问题，例如进行道路检测的模型。为解决自动驾驶领域的实际问题，此处所称的模型不仅可以是神经网络模型，也可以是人工智能模型，还可以是模式识别、机器学习等计算机和其他相关领域的模型。
点云：点云是指点数据的集合。点云可以通过摄影测量原理或激光测量原理获得。根据激光测量原理获得的点云，包括三维坐标（XYZ）和激光回波强度（intensity），根据摄影测量原理获得的点云，包括三维坐标（XYZ）和颜色信息（RGB）。
深度图：深度图是指包含深度（depth）信息的图像。深度图也可以包含可见光图像信息，例如RGB-D深度图就同时包含可见光信息RGB和深度信息D。深度图可以由深度相机或双目或多目视觉等多种方式获得。
传感器数据：传感器数据是指传感器获取到的数据。在本发明实施例中，根据情况也会特指自动驾驶相关的传感器获取到的数据。常见的传感器例如可见光相机、红外相机、深度相机、毫米波雷达、激光雷达等。传感器数据既可以是直接从传感器中产生的原始传感器数据，也可以是经过预处理、配准、转换、融合、特征提取等处理后的传感器数据。
标准道路场景：标准道路是指符合道路交通相关法律法规规定的、具有特定标线标识等信息的法定道路。标准道路场景下，自动驾驶技术可以通过规范的道路标线、标识等信息来获取准确的道路信息，也可以与交通基础设施进行规范的信息交换，从而获得自动驾驶所必需的环境信息。
非标准道路场景：非标准道路场景是指不具备道路交通相关法律法规规定的标线标识等信息的道路。非标准道路场景，例如野外环境等自然场景，例如乡村土路等农业环境场景，例如园区内部道路等内部场景，又例如矿山矿井等特定作业场景。
道路所在地面：道路所在地面是指道路所在的地面，包含道路区域的地面和非道路区域的地面。标准道路场景中，道路所在地面一般是平整的。基于平整的道路所在地面的先验知识，可以将该平整地面视为一个二维结构，基于平整地面假设的道路检测相对简单一些。非标准道路场景中，道路所在地面一般是不平整的。道路所在地面需要用三维结构描述。自然界产生的不平整地面一般无法使用简单的数学函数描述。
地面三维结构：地面三维结构是指描述地面的三维结构的数据。通过体素将包含地面的空间进行划分，通过体素标记来标识出包含地面的体素，从而可以描述出地面三维结构。
道路区域：道路所在路面上的道路区域。通过传感器数据可以获取到包含精确三维坐标的点云数据，将点云数据中属于道路区域的点学习出来，就可以得到道路区域的位置信息。
非道路区域：道路所在路面上，排除掉道路区域剩下的区域。通过传感器数据可以获取到包含精确三维坐标的点云数据，将点云数据中属于道路所在地面的点学习出来，再将点云数据中属于道路区域的点学习出来。对属于道路所在地面的点集合、属于道路区域的点集合做一个集合求差运算，就可以得到非道路区域的位置信息。
体素：体素（voxel）是指三维空间分割中的最小单位；类似于图像像素是二维空间分割中的最小单位。为了提高效率，常根据三维点云生成体素，即以体素的方式组织点云数据。每个体素对应着三维空间的一定范围，该范围内的所有三维点都落在同一个体素中。体素具有体素标记（voxel label），是指体素对应的标记，例如体素属于哪个区域；类似于图像中通过给每个像素赋予像素标记（pixel label），可以确定每个像素属于哪个区域。体素标记不仅可以指示体素属于哪个区域，还可以包括体素的其他属性，例如体素内点的密度。
鸟瞰：鸟瞰（bird’s eye view, BEV），是指从天空到地面方向的视角。虽然自动驾驶传感器能够获取涵盖整个天空、四周和地面的三维空间的信息，但可以针对具体任务对信息范围进行一定的限制。例如对于道路检测来说，主要依赖地面以及地面附近的信息。
前向：前向，是指与鸟瞰不同的视角，一般自动驾驶车辆的前置相机的方向就是前向。一般用camera view 表示。
端到端模型：端到端（end to end）模型，是指模型直接接收原始数据输入，并输出最终需要的结果。对于神经网络模型而言，是指网络中的所有子模块可以连接成一个神经网络，直接接收第一个子模块的输入，最终输出最后一个子模块的输出。
实施例一
随着信息技术的不断推进，汽车产业也正在发生着技术更新，自动驾驶技术是汽车企业和科技企业着力发展的目标之一。
早期的自动驾驶技术主要强调辅助驾驶，例如高级驾驶辅助系统(advanceddriving assistant system，ADAS)。ADAS是利用安装在车上的各式各样传感器(毫米波雷达、激光雷达、可见光相机、全球定位系统等)，在汽车行驶过程中感知周围的环境，进行目标的辨识与追踪，并结合导航仪地图数据进行运算，从而预先让自动驾驶车辆或驾驶者察觉到可能发生的危险，有效增加汽车驾驶的舒适性和安全性。ADAS的典型任务例如车道把持、自动跟车、自动泊车等。
而国际汽车工程师协会(SAE International)将自动驾驶技术分为Level 0-Level 5共5个等级，L0指的是人工驾驶，L1指辅助驾驶、L2为半自动化、L3为高度自动化、L4为超高自动化驾驶、L5为全自动化驾驶(达到人类驾驶水平)。
自动驾驶技术存在智能化和网联化两条相互关联的技术路线。智能化是通过在车辆上搭载先进的车载传感器、控制器、执行器等装置，具备复杂的环境感知、智能决策和执行等功能，可实现安全、舒适、节能、高效行驶，并最终可替代人来操作。网联化是以车辆为主体和主要节点，并融合现代通信与网络技术，实现V2X（vehicle to everything，即车对外界的信息交换）智能信息交换共享，使车辆与外部节点实现信息共享和协同控制，以达到车辆安全、有序、高效、节能行驶。车辆的网联化与智能交通系统也有着紧密的联系。在智能交通系统中，也要求车辆与交通基础设施之间进行信息共享和协同。
图1是标准道路场景的示意图。
目前的现有技术中，自动驾驶技术主要应用于标准道路场景。道路检测是自动驾驶技术的重要任务。道路检测是将道路与其他环境区分开；进一步地，道路检测还要求将道路的不同部分进行区分，例如路肩检测、车道检测、十字路口检测。标准道路场景下，可以通过规范的道路标线、标识等信息来获取准确的道路信息。
图2是根据本发明实施例提供的非标准道路场景的示意图。
非标准道路场景也同样存在着自动驾驶的强劲需求。非标准道路场景，例如野外环境等自然场景，例如乡村土路等农业环境场景，例如园区内部道路等内部场景，又例如矿山矿井等特定作业场景。
如图2所示，非标准道路场景中的道路所在地面是不平整的。非标准道路场景中的道路所在地面很可能没有经过平整。例如在农业环境场景，道路所在地面有可能会随着原始地形地貌而起伏变化；又例如在矿山场景，道路所在地面有可能会随着矿物的堆积而改变。
综合来说，非标准道路场景下的道路检测存在如下困难：
（一）非标准道路场景下，无法利用标准道路场景的道路标线、标识、地图等信息，因而难以利用这些规则去构建简单的道路分类器或道路分割算法。
非标准道路场景，很少有规范的地图测绘机构提供的普通地图和高精度地图。同时，非标准道路场景中也很少有规范的交通基础设施信息交换可供自动驾驶车辆使用。非标准道路场景中的道路可能走向无规律、路面不平整、道路与非道路环境的区分不明显。
（二）非标准道路场景下，道路所在地面不平整无规律，无法以平整地面作为预设条件进行计算。
在标准道路场景中，满足平整地面的预设条件时，自动驾驶传感器获取的三维信息可以较为容易地投影到地面所在的平面上，在这个平面上投影的信息属于二维结构。
图3示出了标准道路场景的鸟瞰投影。
在标准道路场景的平整地面上，将自动驾驶传感器获取的三维信息投影到二维平面上，是没有问题的。即便地面有略微的倾斜、或者地面有轻微的隆起或凹陷，也属于可以接受的误差。
非标准道路场景中，如果道路所在地面的隆起或凹陷比较明显，那么忽略这些地形特征，或者简单地用一个平面对其拟合，就会对驾驶安全性造成影响。
而在非标准道路场景中，自然产生（例如矿物堆积而形成）的不平整地面一般无法使用简单的数学函数描述。在非标准道路场景中，道路的不平整增加了使用先验知识对其描述的难度。由于道路所在路面不平整，道路所在地面需要用三维结构描述。
（三）非标准道路场景下，道路区域和非道路区域不容易区分。
在非标准道路场景中，道路区域和非道路区域的组成、材质等属性可能是相同的。例如野外环境等自然场景，矿山矿井等特定作业场景，道路很可能仅仅是人员车辆自发形成的；例如乡村土路等农业环境场景，道路区域和非道路都是包含土石，区别可能就是道路区域的杂草少一些；例如园区内部道路等内部场景，道路区域和非道路区域可能都是无标线的，仅仅通过路障来规范引导车辆。
针对上述技术问题，本发明实施例提供了一种道路检测模型100。
上述道路检测模型为解决上述技术问题，具有如下特点：
（一）采用多阶段子模型串联的端到端的模型结构
非标准道路场景下的道路检测需要我们使用更适应这种情况的人工智能方法或神经网络方法。
图4示出了根据本发明实施例提供的道路检测模型的示意图。
本发明实施例提供的道路检测模型100，包括三个阶段的子模型，传感器数据获取子模型110，道路所在地面获取子模型120，道路检测子模型130。
三个子模型的形式可以是人工智能模型，也可以是神经网络。三个子模型之间具有前后关系，其中传感器数据获取子模型110从外界获取数据，经处理后的传感器数据210输入道路所在地面获取子模型120，最终由道路检测子模型130向外界输出最终的道路检测结果。
三个子模型共同构成了端到端的道路检测模型；三个子模型可以分别训练，也可以构成端到端的道路检测模型一起训练。
由于现有技术的道路检测模型基于标准道路场景的道路平整的假设（如图3所示），因此现有技术中对道路所在地面可以使用二维结构建模。然而本发明实施例是基于非标准道路场景的道路不平整无规律的假设，因此需要一个单独的道路所在地面获取子模型120，学习地面三维结构220。
地面获取子模型120学习到的地面三维结构，输入到道路检测子模型130，输出检测到的道路区域。从而实现了多阶段子模型串联的道路检测。
（二）使用道路所在地面子模型120学习道路三维结构
地面获取子模型120学习到的地面三维结构使用体素标记来描述地面的结构。通过体素将包含地面的空间进行划分，通过体素标记来标识出包含地面的体素，从而可以描述出地面三维结构。
（三）使用道路检测子模型130学习道路区域和非道路区域
道路检测子模型130，接收道路所在地面子模型120的输出，输出检测到的道路区域。通过传感器数据可以获取到包含精确三维坐标的点云数据，将点云数据中属于道路区域的点学习出来，就可以得到道路区域的位置信息。
下面分别对三个子模型进行介绍。
（一）传感器数据获取子模型110
传感器数据获取子模型110主要获取两种类型的数据：点云数据和图像数据。其中点云数据是用于道路检测的主要信息来源。在某些情况下，可以仅使用点云数据进行道路检测。
而图像数据经变换后与点云数据融合，可以提高道路检测的准确率。此外，图像数据在模型训练阶段用于标注训练数据集。
常见的自动驾驶传感器例如可见光相机、红外相机、深度相机、毫米波雷达、激光雷达等，可以进行信息获取。
图5示出了根据本发明实施例提供的非标准道路场景的相机成像示意图。
如图5所示，相机可以是可见光相机、红外相机、深度相机等。而两个或多个相机可以构成双目或多目视觉系统，可以获取非标准道路场景的三维信息。一个相机构成单目视觉系统，单目视觉系统通过连续获取多图图像，可以获取非标准道路场景的三维信息。
图6示出了根据本发明实施例提供的非标准道路场景的雷达成像示意图。
如图6所示，雷达可以是毫米波雷达、激光雷达等。雷达可获取非标准道路场景的点云，可以获取非标准道路场景的三维信息。
传感器数据获取子模型110，以人工智能模型的形式实现时，可以采用传统的数据预处理、坐标系转换等算法；以神经网络的形式实现时，可以采用训练前馈网络的形式，来实施上述步骤。
传感器数据获取子模型110，根据传感器类型的不同进行相应的处理：
（1）传感器数据类型为雷达点云
图7示出了根据本发明实施例提供的点云示意图。
为便于理解，该示意图中出现了车辆的虚线骨架，实际上车辆的虚线骨架并不是点云数据。在图7中，激光雷达的线束从左向右照射在车辆上，因此车辆后部能够直接被激光雷达线束扫到的地方，才会获取到点云数据。
为便于理解，该示意图中在车辆的后方地面附近，示意了4个扫到地面的激光雷达线束。这4个线束并不是规范的圆弧曲线，而是体现了非标准道路所在地面的不平整。
雷达点云数据会被规范为包括点三维坐标、点属性的形式。根据激光测量原理获得的点云，包括三维坐标（XYZ）和激光回波强度（intensity），根据摄影测量原理获得的点云，包括三维坐标（XYZ）和颜色信息（RGB）。本发明实施例可以根据采用的传感器类型的不同而采用相应的数据格式。
（2）传感器数据类型为深度图
深度图可以利用深度相机或双目或多目相机获取。例如，RGB-D深度图。深度图可以经过补全算法获得点云数据。将深度图转化为点云数据之后，可以根据上一节的方法进行处理。
（3）传感器数据类型为图像
传感器数据类型为图像时，如图5所示，传感器一般安装在自动驾驶车辆的行驶方向上，即前向（camera view）传感器。
通过对传感器进行标定，可以将传感器获取的图像从前向视角转换到鸟瞰视角。
（二）道路所在地面获取子模型120
由于现有技术的道路检测模型基于标准道路场景的道路平整的假设（如图3所示），因此现有技术中对道路所在地面可以使用二维结构建模。
然而本发明实施例是基于非标准道路场景的道路不平整无规律的假设，道路所在地面本质上是一个三维结构。
图9示出了根据本发明实施例提供的非标准道路场景中二维结构地面和三维结构地面的对比。
为便于理解，图9中的二维结构地面即现有技术中的地面模型，可以是对当前地面拟合而成的平面。在图9中，实际地面的三维结构其深度是参差不齐的（即图中从二维结构指向地面的箭头长度参差不齐）。
因此需要一个可以表征三维结构的道路所在地面获取子模型120（参见图11）。
输入道路所在地面获取子模型120的数据是传感器数据210；传感器数据210包括点云数据210A和图像数据210B。
其中点云数据210A输入后，被转换为体素数据；从体素数据中可以学习出地面三维结构220。
其中图像数据210B从另一个输入分支输入后，被转换为鸟瞰图像。在网络训练阶段，所述鸟瞰图像与体素数据融合；所述图像数据210B具有地面区域标注，所述标注将通过所述鸟瞰图像传递给所述体素数据；此时所述体素数据及其标注作为训练数据，可以用于训练地面获取子模型120。而在网络使用阶段，可以选择鸟瞰图像是否与体素数据融合，以提高体素数据的准确性；从输入分支与所述前馈神经网络不连接时，所述前馈神经网络从体素数据中学习出地面三维结构220。
道路所在地面获取子模型120输出的是地面三维结构220；地面三维结构220是体素数据的子集，使用体素标记来描述体素数据中属于地面的体素。
图8示出了根据本发明实施例提供的体素示意图。
为便于理解，该示意图中仅示意性地给出了3*4*5数量的体素。而实际上自动驾驶传感器涉及的三维空间是非常广阔的，三维空间划分成的体素中，相当一部分体素是空的，即体素标记具有一定的稀疏性。
为便于理解，该示意图中仅示意了笛卡尔坐标系形式的体素分布。本发明实施例中的体素标记并不限定于这种形式，也可以采用其他坐标系。
为便于理解，该示意图中仅示意了各个坐标轴上的体素尺寸相同。本发明实施例中的体素数据并不限定于这种形式，也可以采用其他方式。
（三）道路检测子模型130
由于现有技术的道路检测模型基于标准道路场景的道路平整的假设（如图3所示），因此现有技术中对道路所在地面可以使用二维结构建模。
然而本发明实施例是基于非标准道路场景的道路不平整无规律的假设，并将道路表示为地面三维结构220，因此需要一个能够处理三维结构的道路检测子模型130。
道路检测子模型130，根据输入该子模型的地面三维结构220，通过训练三维卷积神经网络，从地面三维结构220相关的点云数据中学习到道路区域的点集。然后根据道路区域的点集的三维坐标，得到道路区域的位置信息。
三个子模型共同构成了端到端的道路检测模型；三个子模型可以分别训练，也可以构成端到端的道路检测模型统一训练。在统一训练时，所述模型训练方法将包括五个步骤（图中未示出）：构建传感器数据获取子模型；构建道路所在地面获取子模型；构建道路检测子模型；将上述三个字模型组合成道路检测模型；训练所述道路检测模型。
上述训练好的模型，可以存储在自动驾驶车辆本地或者车辆之外的服务器上，在自动驾驶车辆进行实际道路检测时，应用已训练神经网络，根据车辆实际获取的图像信息和点云信息，来进行道路检测。此外，已训练神经网络模型，也可以存储在电子设备600中，如附图16所示。
本发明实施例并不限定模型训练和道路检测方法的应用场景的具体实现，其可以根据实际情况确定，此处不再赘述。
如图12所示，在本实施例中，道路检测模型训练方法包括以下步骤：
步骤S110，构建和训练传感器数据获取子模型；
步骤S120：构建和训练道路所在地面获取子模型；
步骤S130：构建和训练道路检测子模型130；
下面的实施例将分别对三个子模块的构建和训练进行说明。
实施例二
对道路检测模型100的道路所在地面获取子模块120进行了详细说明，道路检测模型100的其余部分与实施例一相同。
传感器数据获取子模型包括点云数据输入分支和图像数据输入分支；所述点云数据输入分支包括输入点云数据的输入层和执行点云数据预处理的一个或多个神经网络层；所述图像数据输入分支包括输入图像数据的输入层和执行图像数据预处理的一个或多个神经网络层；
所述传感器数据获取子模型的训练过程包括：输入点云数据的输入层和输入图像数据的输入层直接进行输入；将预处理过程转换为矩阵运算，根据矩阵运算来设置执行点云数据预处理的一个或多个神经网络层、执行图像数据预处理的一个或多个神经网络层的连接方式和各层参数；
具体地，传感器数据获取子模型还包括深度图数据输入分支；所述深度图数据输入分支包括输入深度图数据的输入层和执行深度图数据预处理的一个或多个神经网络层、以及将深度图转换为点云数据的一个或多个神经网络层；
所述将深度图转换为点云数据的一个或多个神经网络层的训练过程包括：给定使用深度图坐标系的深度图训练数据和对应的使用点云坐标系的点云训练数据，以深度相机的内参为约束条件执行坐标系变换；
基于上述特征，本实施例具有如下有益效果：道路检测模型使用点云数据进行道路检测，能够利用点云数据提供的道路三维结构信息，可以提高针对道路不平整无规律条件下的道路检测的准确性；同时，道路检测模型还融合使用了图像信息，便利了训练过程，提高了道路检测的鲁棒性。
实施例三
在本实施例中，对道路检测模型100的道路所在地面获取子模块120进行了详细说明，道路检测模型100的其余部分与实施例一相同。
图10示出了根据本发明实施例提供的道路所在地面获取子模型120的结构示意图。
如图10所示，道路所在地面获取子模型120包括一个前馈神经网络121。
所述前馈神经网络121包括一个或多个前馈神经网络层；所述前馈神经网络121包括主输入分支和从输入分支；所述主输入分支包括点云层122和一个或多个体素层123；点云层122接收点云数据210A输入，一个或多个体素层123将点云数据转换为体素数据；所述从输入分支包括图像层124和一个或多个映射层125；图像层124接收图像数据210B输入，一个或多个映射层125将图像数据转换为鸟瞰图像；
所述前馈神经网络121还包括一个或多个融合层126和一个或多个地面层127；一个或多个融合层126接收映射层125输出的鸟瞰图像、体素层123输出的体素数据，根据体素的空间范围对其进行融合；一个或多个地面层127接收融合层126的输出，最终输出属于地面区域的体素集合。
所述前馈神经网络121的训练过程包括：预处理；点云数据转换为体素数据；图像数据转换为鸟瞰图像；数据融合和正负样本生成；利用正负样本训练前馈神经网络。
图11示出了根据本发明实施例提供的道路所在地面获取子模型120的训练示意图。
如图11所示，训练过程具体包括：
S121、前馈神经网络构建；
S122、预处理；
标定相机传感器，标定雷达传感器；
S123、点云数据转换为体素数据；
获取训练点云数据；对空间进行体素划分；所述空间至少覆盖部分地面道路区域；将训练点云数据转化为体素数据；
S124、图像数据转换为鸟瞰图像；
获取已标注地面区域的训练图像数据；
将训练图像通过逆透视映射和配准映射转化到鸟瞰视角，获得鸟瞰图像；其中逆透视映射将前向视角的图像转换为鸟瞰视角的图像；其中配准映射根据相机传感器和雷达传感器的标定进行相机图像和雷达点云的配准校正；鸟瞰图像仍然具有对应的地面区域标注；
S125、数据融合和正负样本生成；
将鸟瞰图像与体素数据按照空间位置进行融合；其中每个体素对应一个或多个鸟瞰图像的像素；每个体素所对应的标注可根据所述像素的标注来生成；所述鸟瞰图像的像素标注根据所述训练图像的标注映射而来。
上述具有地面区域标注的体素数据作为正样本；其他未被赋予地面区域标注的体素数据作为负样本；
S126、利用正负样本训练前馈神经网络；
利用上述正样本和负样本，训练所述前馈神经网络。
基于所述特征，本实施例具有如下有益效果：通过学习地面三维结构，提高了道路不平整无规律条件下道路检测的准确性；相比于现有技术对道路所在地面使用二维结构建模，本发明实施例学习到道路的不平整的情况，从而提高驾驶的安全性。传统的道路检测技术常常依赖于道路平整的先验知识；而对于矿山、乡村等非标准道路环境无法预先获得先验知识，检测地面三维结构的步骤是非常必要的。
实施例四
在本实施例中，对道路检测模型100的道路检测子模块130进行了详细说明，道路检测模型100的其余部分与实施例一相同。
道路检测子模型130包括一个卷积神经网络；
所述卷积神经网络包括多个神经网络层；所述多个神经网络层至少包括输入层、卷积层、池化层、全连接层；所述输入层接收道路所在地面获取子模块120输出的地面三维结构220包含的点云数据；所述卷积神经网络从所述点云数据中学习到道路区域点集；
所述道路检测子模型130根据所述道路区域点集的三维坐标，得到道路区域的位置信息。
具体地，所述卷积神经网络为三维卷积神经网络。
所述卷积神经网络的训练过程包括：图像数据转换为鸟瞰图像；获取地面三维结构的点云数据；利用正负样本训练卷积神经网络。
具体地，所述卷积神经网络的训练过程包括：
S131、图像数据转换为鸟瞰图像；
获取已标注的训练图像数据；
将训练图像通过逆透视映射和配准映射转化到鸟瞰视角，获得鸟瞰图像；其中逆透视映射将前向视角的图像转换为鸟瞰视角的图像；其中配准映射根据相机传感器和雷达传感器的标定进行相机图像和雷达点云的配准校正；鸟瞰图像仍然具有对应的道路区域标注；
S132、数据融合和正负样本生成；
将鸟瞰图像的像素与地面三维结构220按照空间位置进行融合；其中每个体素对应一个或多个鸟瞰图像的像素；每个体素所对应的标注可根据所述像素的标注来生成；所述鸟瞰图像的像素标注根据所述训练图像的标注映射而来；
获取每个体素中包含的点云数据；点云数据对应的标注与其所在体素的标注相同；
以上述具有道路区域标注的点云数据作为正样本；以其他未被赋予道路区域标注的点云数据作为负样本；
S133、利用正负样本训练卷积神经网络；
利用上述正样本和负样本，训练所述卷积神经网络。
基于所述特征，本实施例具有如下有益效果：通过学习地面三维结构，提高了道路不平整无规律条件下道路检测的准确性；相比于现有技术对道路所在地面使用二维结构建模，本发明实施例学习到道路的不平整的情况，从而提高驾驶的安全性。
实施例五
如图13所示，在本实施例中，应用已训练好的道路检测模型进行道路检测的方法包括以下步骤：
步骤S210：传感器数据获取。
所述步骤S210具体包括：点云数据输入步骤和图像数据输入步骤；所述点云数据输入步骤接收原始点云数据输入、并对原始点云数据进行预处理，获得点云数据210A；所述图像数据输入步骤接收原始图像数据输入、并对原始图像数据进行预处理，获得图像数据210B；
所述步骤S210还包括：深度图数据输入步骤；所述深度图数据输入步骤接收深度图数据输入、并对深度图数据进行预处理、以及深度图转换点云步骤；所述深度图转换点云步骤将深度图转化为点云数据210A；
具体地，所述深度图转换点云步骤以深度相机的内参为约束条件执行坐标系变换；
基于所述步骤S210，本实施例具有如下有益效果：道路检测模型使用点云数据为主进行道路检测，能够利用点云数据提供的道路三维结构信息，提高了针对非标准道路场景下道路不平整无规律条件下的道路检测精确性；同时，道路检测模型还使用了图像信息，从而提高了道路检测的鲁棒性。
步骤S220：道路所在地面获取。
所述步骤S120具体包括：主输入步骤、地面检测步骤；
其中主输入步骤接收点云数据210A的输入，基于体素对空间划分，根据点云数据的空间坐标将其归入相应的体素，获得体素数据；所述地面检测步骤，基于已标注的训练图像数据转换为鸟瞰图像后与体素数据融合从而根据图像数据标注来生成体素数据正负样本而训练的前馈神经网络，从体素数据中检测地面三维结构220；所述地面三维结构220是体素数据中表示地面的子集；
所述步骤S220还包括：从输入步骤、融合步骤；
所述从输入步骤接收图像数据210B的输入，将其转换为鸟瞰图像；所述融合步骤将鸟瞰图像与体素数据融合；
具体地，所述前馈神经网络121的训练过程参见前述实施例。
基于所述步骤S220，本实施例具有如下有益效果：道路检测模型学习到的地面三维结构使用体素标记来描述地面的结构。通过体素将包含地面的空间进行划分，通过体素标记来标识出包含地面的体素，从而可以描述出地面三维结构，从而提高了非标准道路场景的道路不平整无规律条件下道路检测的鲁棒性。相比于现有技术对道路所在地面使用二维结构建模，本发明实施例学习到道路的不平整的情况，从而提高驾驶的安全性。传统的道路检测技术常常依赖于道路平整的先验知识；而对于矿山、乡村等非标准道路环境，检测地面三维结构的步骤是非常必要的。
步骤S330：道路检测。
所述步骤S330具体包括：
接收地面三维结构220包含的点云数据；
基于卷积神经网络从所述点云数据中学习到道路区域点集；所述卷积神经网络包括多个神经网络层；所述多个神经网络层至少包括输入层、卷积层、池化层、全连接层；基于已标注的训练图像数据转换为鸟瞰图像后与点云数据融合从而根据图像数据标注来生成点云数据正负样本而训练所述卷积神经网络。
所述道路检测子模型130根据所述道路区域点集的三维坐标，得到道路区域的位置信息。
具体地，所述道路检测子模型130的卷积神经网络的构建和训练过程参见前述实施例。
基于所述步骤S330，本实施例具有如下有益效果：道路检测模型充分利用检测到的地面三维结构，提高了道路检测的准确性。
上述道路检测过程，可以基于存储在自动驾驶车辆本地或者车辆之外的服务器上的道路检测模型，在自动驾驶车辆进行实际道路检测时，应用已训练好的模型，根据车辆实际获取的图像信息和点云信息，来进行道路检测。此外，已训练神经网络模型，也可以存储在电子设备600中，如附图16所示。
本发明实施例并不限定道路检测方法的应用场景的具体实现，其可以根据实际情况确定，此处不再赘述。
实施例六
针对上述非标准道路场景的问题，本发明实施例提供了一种模型训练装置。模型训练装置如附图14所示。
如图14所示，模型训练装置1100包括：
传感器数据获取子模型构建和训练模块1110：
传感器数据获取子模型包括点云数据输入分支和图像数据输入分支；所述点云数据输入分支包括输入点云数据的输入层和执行点云数据预处理的一个或多个神经网络层；所述图像数据输入分支包括输入图像数据的输入层和执行图像数据预处理的一个或多个神经网络层；
所述传感器数据获取子模型的训练过程包括：输入点云数据的输入层和输入图像数据的输入层直接进行输入；将预处理过程转换为矩阵运算，根据矩阵运算来设置执行点云数据预处理的一个或多个神经网络层、执行图像数据预处理的一个或多个神经网络层的连接方式和各层参数；
道路所在地面获取子模型构建和训练模块1120：
道路所在地面获取子模块包括一个前馈神经网络121；
所述前馈神经网络121包括主输入分支和从输入分支；所述主输入分支包括点云层122和一个或多个体素层123；点云层122接收点云数据210A输入，一个或多个体素层123将点云数据转换为体素数据；所述从输入分支包括图像层124和一个或多个映射层125；图像层124接收图像数据210B输入，一个或多个映射层125将图像数据转换为鸟瞰图像；
所述前馈神经网络121还包括一个或多个融合层126和一个或多个地面层127；一个或多个融合层126接收映射层125输出的鸟瞰图像、体素层123输出的体素数据，根据鸟瞰图像和体素数据的空间位置关系对其进行融合；响应于输入的图像数据210B具有标注信息，映射后的鸟瞰图像以及融合后的体素数据将具有相同的标注信息；一个或多个地面层127接收融合层126的输出，从中提取出属于地面区域的体素集合，得到地面三维结构220；
所述前馈神经网络的训练过程包括：预处理；点云数据转换为体素数据；图像数据转换为鸟瞰图像；数据融合和正负样本生成；利用正负样本训练前馈神经网络；
道路检测子模型构建和训练模块1130：
道路检测子模型130包括一个卷积神经网络；
所述卷积神经网络包括多个神经网络层；所述多个神经网络层至少包括输入层、卷积层、池化层、全连接层；所述输入层接收道路所在地面获取子模块120输出的地面三维结构220包含的点云数据；所述卷积神经网络从所述点云数据中学习到道路区域点集；
所述道路检测子模型130根据所述道路区域点集的三维坐标，得到道路区域的位置信息；
所述卷积神经网络的训练过程包括：图像数据转换为鸟瞰图像；获取地面三维结构的点云数据；利用正负样本训练卷积神经网络；
具体地，所述卷积神经网络为三维卷积神经网络。
实施例七
针对上述非标准道路场景的问题，本发明实施例提供了一种道路检测装置。道路检测装置如附图15所示。
如图15所示，道路检测装置1200具有如下模块：
传感器数据获取模块1210，包括点云数据输入子模块和图像数据输入子模块；所述点云数据输入子模块接收原始点云数据输入、并对原始点云数据进行预处理，获得点云数据210A；所述图像数据输入子模块接收原始图像数据输入、并对原始图像数据进行预处理，获得点云数据210B；。
道路所在地面获取模块1220，包括主输入子模块、地面检测子模块；
其中主输入子模块接收点云数据210A的输入，基于体素对空间划分，根据点云数据的空间坐标将其归入相应的体素，获得体素数据；所述地面检测子模块，基于已标注的训练图像数据转换为鸟瞰图像后与点云数据融合从而根据图像数据标注来生成体素数据正负样本以训练生成的前馈神经网络，从体素数据中检测地面三维结构220；所述地面三维结构220是体素数据中表示地面的子集。
道路检测模块1230：获取包含道路的图像信息，将所述图像信息输入第一神经网络通路的输入层；获取包含道路的点云信息，将所述点云信息输入第二神经网络通路的输入层；所述第三神经网络通路的输出层输出道路坐标信息。
上述模型训练装置和道路检测装置的各个模块的有益效果参见前述实施例，此处不再赘述。
值得说明的是，本发明实施例并不限定模型训练装置和道路检测装置的应用场景的具体实现，其可以根据实际情况确定，此处不再赘述。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，处理模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上处理模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
实施例八
如图16所示，在本实施例中，一种模型训练电子设备600，包括：
至少一个处理器601，存储器608，以及与其他电子设备通信的接口609；所述存储器608存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述电子设备能够执行上述模型训练方法。
在本实施例中，道路检测电子设备700（图中未示出），也具有类似图16所示的结构，能够执行上述道路检测方法。
所述模型训练电子设备600和道路检测电子设备700，可以是同一台设备，也可以是独立的两台设备；其中任一台电子设备可以安装在车辆上，也可以安装在服务器上通过通信网络与车载设备进行交互。本实施例并不限定模型训练或道路检测电子设备的应用场景的具体实现，其可以根据实际情况确定，此处不再赘述。
电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。该电子设备可以是上述的第一设备，也可以是车辆控制设备，或者车辆上的控制中心，对此本方案不做限制。
如图16所示，该电子设备还包括：一个或多个ROM602、RAM603、总线、I/O接口、输入单元606、输出单元607等，以及用于连接各部件的接口，包括高速接口和低速接口，以及与其他电子设备进行通信的接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上 以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图16中以一个处理器601为例。
存储器608即为本发明所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本发明所提供的方法。本发明的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本发明所提供的方法。存储器608作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、 非瞬时计算机可执行程序以及模块，如本发明实施例中的方法对应的程序指令/模块。处理器601通过运行存储在存储器608中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的方法。
存储器608可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据自动驾驶车辆的控制的电子设备的使用所创建的数据等。此外，存储器608可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器608可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至数据处理的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
电子设备的各个部件可以通过总线或者其他方式连接，图7中以通过总线连接为例。
输入单元606可接收输入的数字或字符信息，以及产生与数据处理的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出单元607可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
实施例九
根据本实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据上述实施例所述的模型训练方法或道路检测方法。
实施例十
根据本实施例提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述实施例所述的模型训练方法或道路检测方法。
上述实施例所述的存储有计算机程序的计算机可读存储介质和计算机程序产品，这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。本实施例对其不做具体限定。
实施例十一
根据本实施例提供了一种自动驾驶车辆，包括根据上述实施例所述的模型训练装置或上述实施例所述的道路检测装置。
可以理解的是，本实施例同样适用于有人驾驶车辆，有人驾驶车辆可以基于获取到的道路信息以提供给驾驶员提示或自动控制等形式辅助控制车辆的运行。其中，有些车辆内设置有行车电脑或车载单元(on board unit，OBU)，有些车辆内搭载有用户终端例如手机，以及持有用户终端的用户等。车辆内的手机、行车电脑或OBU可作为实施模型训练或道路检测的电子设备。
可以理解的是，本实施例同样适用于智能交通网络中，该智能交通网络中可以包括多辆可以进行无线通信的车辆、和各个车辆进行无线通信的交通控制设备、远程服务器、路侧设备、基站，其中，远程服务器或交通控制设备还可以对交通设施进行控制等等。
本发明实施例并不对车辆的类型、数量、应用场景进行限定。
本发明描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
可以将本发明描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据 服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界 面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明公开的技术方案所期望的结果，本发明在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (10)
1.一种模型训练方法，包括：
构建和训练传感器数据获取子模型（110）；
构建和训练道路所在地面获取子模型（120）；
构建和训练道路检测子模型（130）；
所述传感器数据获取子模型（110）包括点云数据输入分支和图像数据输入分支；所述点云数据输入分支包括输入点云数据的输入层；所述图像数据输入分支包括输入图像数据的输入层；
所述传感器数据获取子模型的训练过程包括：输入点云数据的输入层和输入图像数据的输入层直接进行输入；
道路所在地面获取子模型（120）包括一个前馈神经网络；所述前馈神经网络包括主输入分支和从输入分支；所述主输入分支包括点云层和一个或多个体素层；所述点云层接收点云数据输入，所述一个或多个体素层将点云数据转换为体素数据；所述从输入分支包括图像层和一个或多个映射层；所述图像层接收图像数据输入，所述一个或多个映射层将图像数据转换为鸟瞰图像；所述前馈神经网络还包括一个或多个融合层和一个或多个地面层；所述一个或多个融合层接收所述鸟瞰图像、所述体素数据，根据鸟瞰图像和体素数据的空间位置对其进行融合；所述一个或多个地面层接收所述融合层输出的体素数据，提取属于地面区域的体素集合，获得地面三维结构（220）；
所述前馈神经网络的训练过程包括：预处理；点云数据转换为体素数据；图像数据转换为鸟瞰图像；数据融合和正负样本生成；利用正负样本训练前馈神经网络；
所述道路检测子模型（130）包括一个卷积神经网络；所述卷积神经网络包括多个神经网络层；所述多个神经网络层至少包括输入层、卷积层、池化层、全连接层；所述输入层接收所述地面三维结构（220）包含的点云数据；所述卷积神经网络从所述点云数据中提取到道路区域点集（230）；所述道路检测子模型（130）根据所述道路区域点集（230）的三维坐标，得到道路区域的位置信息；
所述卷积神经网络的训练过程包括：图像数据转换为鸟瞰图像；获取地面三维结构的点云数据；利用正负样本训练卷积神经网络。
2.根据权利要求1所述的方法，包括：
传感器数据获取子模型还包括深度图数据输入分支；所述深度图数据输入分支包括输入深度图数据的输入层、以及将深度图转换为点云数据的一个或多个神经网络层；
所述将深度图转换为点云数据的一个或多个神经网络层的训练过程包括：给定使用深度图坐标系的深度图训练数据和对应的使用点云坐标系的点云训练数据，以深度相机的内参为约束条件执行坐标系变换。
3.根据权利要求1所述的方法，包括：
道路所在地面获取子模型（120）的训练过程具体包括：
前馈神经网络构建；
预处理：标定相机传感器，标定雷达传感器；
点云数据转换为体素数据：获取训练点云数据；对空间进行体素划分；将训练点云数据转化为体素数据；
图像数据转换为鸟瞰图像：获取已标注地面区域的训练图像数据；将训练图像通过逆透视映射到鸟瞰视角，获得鸟瞰图像；
数据融合和正负样本生成：将鸟瞰图像与体素数据按照空间位置进行融合；根据训练图像的标注映射到鸟瞰图像再映射到体素数据；上述具有地面区域标注的体素数据作为正样本；其他未被赋予地面区域标注的体素数据作为负样本；
利用所述正负样本训练所述前馈神经网络。
4.根据权利要求1所述的方法，包括：
图像数据转换为鸟瞰图像：获取已标注的训练图像数据；将训练图像通过逆透视映射和配准映射转化到鸟瞰视角，获得鸟瞰图像；
数据融合和正负样本生成：将鸟瞰图像的像素与地面三维结构（220）按照空间位置进行融合；根据训练图像的标注映射到鸟瞰图像再映射到体素数据；获取每个体素中包含的点云数据；点云数据对应的标注与其所在体素的标注相同；上述具有道路区域标注的点云数据作为正样本；以其他未被赋予道路区域标注的点云数据作为负样本；
利用所述正负样本训练所述卷积神经网络；
所述卷积神经网络为三维卷积神经网络。
5.一种道路检测方法，包括：
传感器数据获取步骤；
道路所在地面获取步骤；
道路所在地面获取步骤；
所述传感器数据获取步骤包括，点云数据输入步骤和图像数据输入步骤；所述点云数据输入步骤接收原始点云数据输入、并对原始点云数据进行预处理，获得点云数据；所述图像数据输入步骤接收原始图像数据输入、并对原始图像数据进行预处理，获得图像数据；
所述道路所在地面获取步骤包括，主输入步骤、地面检测步骤；所述主输入步骤接收点云数据的输入，基于体素对空间划分，根据点云数据的空间坐标将其归入相应的体素，获得体素数据；所述地面检测步骤，基于已标注的图像数据转换为鸟瞰图像后与体素数据融合从而根据图像数据标注来生成体素数据正负样本而训练的前馈神经网络，从体素数据中检测地面三维结构（220）；所述地面三维结构（220）是体素数据中表示地面的子集；
所述道路检测步骤包括：接收地面三维结构（220）包含的点云数据；基于卷积神经网络从所述点云数据中学习到道路区域点集；所述卷积神经网络包括多个神经网络层；所述多个神经网络层至少包括输入层、卷积层、池化层、全连接层；基于已标注的训练图像数据转换为鸟瞰图像后与点云数据融合从而根据图像数据标注来生成点云数据正负样本而训练所述卷积神经网络。
6.根据权利要求5所述的方法，所述传感器数据获取步骤，还包括深度图数据输入步骤；
所述深度图数据输入步骤接收深度图数据输入、以及深度图转换点云步骤；所述深度图转换点云步骤将深度图转化为点云数据。
7.根据权利要求6所述的方法，包括：
所述深度图转换点云步骤以深度相机的内参为约束条件执行坐标系变换。
8.根据权利要求5所述的方法，所述道路所在地面获取步骤，还包括从输入步骤、融合步骤；
所述从输入步骤接收图像数据的输入，将其转换为鸟瞰图像；所述融合步骤将鸟瞰图像与体素数据融合。
9.一种模型训练装置，包括：
传感器数据获取子模型（110）构建和训练模块：所述传感器数据获取子模型（110）包括点云数据输入分支和图像数据输入分支；所述点云数据输入分支包括输入点云数据的输入层；所述图像数据输入分支包括输入图像数据的输入层；所述传感器数据获取子模型的训练过程包括：输入点云数据的输入层和输入图像数据的输入层直接进行输入；
道路所在地面获取子模型（120）构建和训练模块：道路所在地面获取子模型（120）包括一个前馈神经网络；所述前馈神经网络包括主输入分支和从输入分支；所述主输入分支包括点云层和一个或多个体素层；所述点云层接收点云数据输入，所述一个或多个体素层将点云数据转换为体素数据；所述从输入分支包括图像层和一个或多个映射层；所述图像层接收图像数据输入，所述一个或多个映射层将图像数据转换为鸟瞰图像；所述前馈神经网络还包括一个或多个融合层和一个或多个地面层；所述一个或多个融合层接收所述鸟瞰图像、所述体素数据，根据鸟瞰图像和体素数据的空间位置对其进行融合；所述一个或多个地面层接收所述融合层输出的体素数据，提取属于地面区域的体素集合，获得地面三维结构（220）；所述前馈神经网络的训练过程包括：预处理；点云数据转换为体素数据；图像数据转换为鸟瞰图像；数据融合和正负样本生成；利用正负样本训练前馈神经网络；
道路检测子模型（130）构建和训练模块：所述道路检测子模型（130）包括一个卷积神经网络；所述卷积神经网络包括多个神经网络层；所述多个神经网络层至少包括输入层、卷积层、池化层、全连接层；所述输入层接收所述地面三维结构（220）包含的点云数据；所述卷积神经网络从所述点云数据中提取到道路区域点集（230）；所述道路检测子模型（130）根据所述道路区域点集（230）的三维坐标，得到道路区域的位置信息；所述卷积神经网络的训练过程包括：图像数据转换为鸟瞰图像；获取地面三维结构的点云数据；利用正负样本训练卷积神经网络。
10.一种道路检测装置，包括：
传感器数据获取模块，包括点云数据输入子模块和图像数据输入子模块；所述点云数据输入子模块接收原始点云数据输入、并对原始点云数据进行预处理，获得点云数据；所述图像数据输入子模块接收原始图像数据输入、并对原始图像数据进行预处理，获得图像数据；
道路所在地面获取模块，包括主输入子模块、地面检测子模块；所述主输入子模块接收点云数据的输入，基于体素对空间划分，根据点云数据的空间坐标将其归入相应的体素，获得体素数据；所述地面检测子模块，基于已标注的图像数据转换为鸟瞰图像后与体素数据融合从而根据图像数据标注来生成体素数据正负样本而训练的前馈神经网络，从体素数据中检测地面三维结构（220）；所述地面三维结构（220）是体素数据中表示地面的子集；
道路所在地面获取模块：接收地面三维结构（220）包含的点云数据；基于卷积神经网络从所述点云数据中学习到道路区域点集；所述卷积神经网络包括多个神经网络层；所述多个神经网络层至少包括输入层、卷积层、池化层、全连接层；基于已标注的训练图像数据转换为鸟瞰图像后与点云数据融合从而根据图像数据标注来生成点云数据正负样本而训练所述卷积神经网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210270841.9A CN114612895B (zh) | 2022-03-18 | 2022-03-18 | 非标准道路场景中的道路检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210270841.9A CN114612895B (zh) | 2022-03-18 | 2022-03-18 | 非标准道路场景中的道路检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114612895A true CN114612895A (zh) | 2022-06-10 |
| CN114612895B CN114612895B (zh) | 2024-08-23 |
Family
ID=81865103
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210270841.9A Active CN114612895B (zh) | 2022-03-18 | 2022-03-18 | 非标准道路场景中的道路检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114612895B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115205501A (zh) * | 2022-08-10 | 2022-10-18 | 小米汽车科技有限公司 | 路面状况的显示方法、装置、设备及介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190147250A1 (en) * | 2017-11-15 | 2019-05-16 | Uber Technologies, Inc. | Semantic Segmentation of Three-Dimensional Data |
| CN110543858A (zh) * | 2019-09-05 | 2019-12-06 | 西北工业大学 | 多模态自适应融合的三维目标检测方法 |
| CN111429514A (zh) * | 2020-03-11 | 2020-07-17 | 浙江大学 | 一种融合多帧时序点云的激光雷达3d实时目标检测方法 |
| CN111626217A (zh) * | 2020-05-28 | 2020-09-04 | 宁波博登智能科技有限责任公司 | 一种基于二维图片和三维点云融合的目标检测和追踪方法 |
| CN113658100A (zh) * | 2021-07-16 | 2021-11-16 | 上海高德威智能交通系统有限公司 | 三维目标物体检测方法、装置、电子设备及存储介质 |
| US20210365697A1 (en) * | 2020-05-20 | 2021-11-25 | Toyota Research Institute, Inc. | System and method for generating feature space data |
| CN113989797A (zh) * | 2021-10-26 | 2022-01-28 | 清华大学苏州汽车研究院（相城） | 一种基于体素点云融合的三维动态目标检测方法及装置 |
-
2022
- 2022-03-18 CN CN202210270841.9A patent/CN114612895B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190147250A1 (en) * | 2017-11-15 | 2019-05-16 | Uber Technologies, Inc. | Semantic Segmentation of Three-Dimensional Data |
| CN110543858A (zh) * | 2019-09-05 | 2019-12-06 | 西北工业大学 | 多模态自适应融合的三维目标检测方法 |
| CN111429514A (zh) * | 2020-03-11 | 2020-07-17 | 浙江大学 | 一种融合多帧时序点云的激光雷达3d实时目标检测方法 |
| US20210365697A1 (en) * | 2020-05-20 | 2021-11-25 | Toyota Research Institute, Inc. | System and method for generating feature space data |
| CN111626217A (zh) * | 2020-05-28 | 2020-09-04 | 宁波博登智能科技有限责任公司 | 一种基于二维图片和三维点云融合的目标检测和追踪方法 |
| CN113658100A (zh) * | 2021-07-16 | 2021-11-16 | 上海高德威智能交通系统有限公司 | 三维目标物体检测方法、装置、电子设备及存储介质 |
| CN113989797A (zh) * | 2021-10-26 | 2022-01-28 | 清华大学苏州汽车研究院（相城） | 一种基于体素点云融合的三维动态目标检测方法及装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115205501A (zh) * | 2022-08-10 | 2022-10-18 | 小米汽车科技有限公司 | 路面状况的显示方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114612895B (zh) | 2024-08-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111874006B (zh) | 路线规划处理方法和装置 | |
| WO2020094033A1 (en) | Method and system for converting point cloud data for use with 2d convolutional neural networks | |
| Furgale et al. | Toward automated driving in cities using close-to-market sensors: An overview of the v-charge project | |
| US10552982B2 (en) | Method for automatically establishing extrinsic parameters of a camera of a vehicle | |
| CN114413881B (zh) | 高精矢量地图的构建方法、装置及存储介质 | |
| US11887336B2 (en) | Method for estimating a relative position of an object in the surroundings of a vehicle and electronic control unit for a vehicle and vehicle | |
| CN110988912A (zh) | 自动驾驶车辆的道路目标与距离检测方法、系统、装置 | |
| CN108802785A (zh) | 基于高精度矢量地图和单目视觉传感器的车辆自定位方法 | |
| CN111442776A (zh) | 顺序地面场景图像投影合成与复杂场景重构的方法及设备 | |
| WO2021072709A1 (zh) | 目标检测与跟踪方法、系统、设备及存储介质 | |
| CN117576652B (zh) | 道路对象的识别方法、装置和存储介质及电子设备 | |
| US12050661B2 (en) | Systems and methods for object detection using stereovision information | |
| CN114612895B (zh) | 非标准道路场景中的道路检测方法及装置 | |
| Manivannan et al. | Vision based intelligent vehicle steering control using single camera for automated highway system | |
| CN113763423B (zh) | 一种基于多模态数据的系统性目标识别与跟踪方法 | |
| Chavan et al. | Obstacle detection and avoidance for automated vehicle: A review | |
| CN114677660B (zh) | 模型训练和道路检测方法及装置 | |
| Kim et al. | Urban localization based on aerial imagery by correcting projection distortion | |
| CN116403186A (zh) | 基于FPN Swin Transformer与Pointnet++ 的自动驾驶三维目标检测方法 | |
| CN116071442A (zh) | 三维点云数据的处理方法、装置和无人车 | |
| Berrio et al. | Semantic sensor fusion: From camera to sparse LiDAR information | |
| KR102618951B1 (ko) | 시각적 매핑 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 | |
| EP4155681B1 (en) | Visual localization against a prior map | |
| JP2019053462A (ja) | ランドマーク選定方法及びランドマーク選定装置 | |
| US20240362793A1 (en) | Operating a device such as a vehicle with machine learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |