CN114677660A - 模型训练和道路检测方法及装置 - Google Patents
模型训练和道路检测方法及装置 Download PDFInfo
- Publication number
- CN114677660A CN114677660A CN202210262571.7A CN202210262571A CN114677660A CN 114677660 A CN114677660 A CN 114677660A CN 202210262571 A CN202210262571 A CN 202210262571A CN 114677660 A CN114677660 A CN 114677660A
- Authority
- CN
- China
- Prior art keywords
- neural network
- road
- information
- layer
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 105
- 238000001514 detection method Methods 0.000 title claims abstract description 69
- 238000013528 artificial neural network Methods 0.000 claims abstract description 404
- 230000037361 pathway Effects 0.000 claims description 62
- 238000000034 method Methods 0.000 claims description 31
- 230000015654 memory Effects 0.000 claims description 24
- 238000010586 diagram Methods 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 19
- 238000010276 construction Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 238000011478 gradient descent method Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000008447 perception Effects 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 16
- 230000009286 beneficial effect Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000007613 environmental effect Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 5
- 230000001788 irregular Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000006855 networking Effects 0.000 description 3
- 239000013589 supplement Substances 0.000 description 3
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241000274965 Cyrestis thyodamas Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本公开公开了一种模型训练和道路检测方法及装置，涉及自动驾驶技术领域。其中道路检测方法包括：获取已训练神经网络；所述神经网络包括第一、第二、第三神经网络通路；所述第一神经网络通路以图像信息作为输入；第二神经网络通路以点云信息作为输入；三个神经网络通路之间具有并列的层连接关系；获取包含道路的图像信息，将所述图像信息输入第一神经网络通路；获取包含道路的点云信息，将所述点云信息输入第二神经网络通路；所述第三神经网络通路的输出层输出道路坐标信息。该技术方案不依赖道路标线和标识，提高了道路感知的准确性和驾驶安全性。
Description
技术领域
本公开涉及自动驾驶领域，尤其涉及自动驾驶的模型训练和道路检测方法及装置。
背景技术
自动驾驶技术是一种通过计算机实现辅助驾驶或无人驾驶的技术，其依靠可见光相机、毫米波雷达、激光雷达、惯性导航系统、全球定位系统等传感系统，使计算机可以部分或全部代替人类驾驶员自动安全地操作车辆。
现有技术中，自动驾驶技术主要应用于标准道路场景。标准道路例如根据道路交通相关法律法规规定的具有特定标线、标识等信息的道路。在标准道路场景下，自动驾驶技术可以获取规范的道路标线标识等环境感知信息，可以利用规范的地图测绘提供的普通地图和高精度地图，也可以与智能交通系统中的交通基础设施进行规范的信息交换。
但是，自动驾驶技术不仅可以应用在标准道路场景中，也可以应用在非标准道路场景。非标准道路场景例如野外环境等自然场景，例如乡村道路等农业环境场景，例如园区内部道路等场景，例如矿山矿井等特定作业场景。
发明内容
本公开提供了一种非标准道路场景的模型训练和道路检测方法及装置。
根据本公开的第一方面，提供了一种模型训练方法，包括：
构建第一神经网络通路；所述第一神经网络通路的输入层接收包含道路的图像信息；所述第一神经网络通路包含多个第一神经网络层；不同的所述第一神经网络层输出不同尺度的第一道路特征图信息；
构建第二神经网络通路；所述第二神经网络通路的输入层接收包含道路的点云信息；所述第二神经网络通路包含多个第二神经网络层；不同的所述第二神经网络层输出不同尺度的第二道路特征图信息；
构建第三神经网络通路；所述第三神经网络通路包含多个第三神经网络层；每个所述第三神经网络层接收相同尺度的第一神经网络层和第二神经网络层的输出；所述第三神经网络通路的输出层输出道路坐标信息。
获取训练样本集；所述训练样本集包括多个道路图像样本和对应的多个道路点云样本，以及对应的道路标注数据；
训练神经网络；给定多个道路图像样本和对应的道路标注数据作为第一神经网络通路的输入输出训练数据；给定多个道路点云样本和对应的道路标注数据作为第二神经网络通路的输入输出训练数据；给定多个道路图像样本和对应的多个道路点云样本，以及对应的道路标注数据，作为第三神经网络通路的输入输出训练数据；对各个神经网络通路进行训练；所述训练是基于训练样本集通过梯度下降法来学习各个神经网络通路中的网络参数。
根据本公开的第二方面，提供了一种道路检测方法，包括：
获取已训练神经网络；所述神经网络包括第一神经网络通路、第二神经网络通路和第三神经网络通路；所述第一神经网络通路包含多个第一神经网络层；不同的所述第一神经网络层输出不同尺度的第一道路特征图信息；所述第二神经网络通路包含多个第二神经网络层；不同的所述第二神经网络层输出不同尺度的第二道路特征图信息；所述第三神经网络通路包含多个第三神经网络层；每个所述第三神经网络层接收相同尺度的第一神经网络层和第二神经网络层的输出；
获取道路坐标；获取包含道路的图像信息，将所述图像信息输入第一神经网络通路的输入层；获取包含道路的点云信息，将所述点云信息输入第二神经网络通路的输入层；所述第三神经网络通路的输出层输出道路坐标信息。
根据本公开的第三方面，提供了一种模型训练装置，包括：
第一神经网络通路构建模块：所述第一神经网络通路的输入层接收包含道路的图像信息；所述第一神经网络通路包含多个第一神经网络层；不同的所述第一神经网络层输出不同尺度的第一道路特征图信息；
第二神经网络通路构建模块：所述第二神经网络通路的输入层接收包含道路的点云信息；所述第二神经网络通路包含多个第二神经网络层；不同的所述第二神经网络层输出不同尺度的第二道路特征图信息；
第三神经网络通路构建模块：所述第三神经网络通路包含多个第三神经网络层；每个所述第三神经网络层接收相同尺度的第一神经网络层和第二神经网络层的输出；所述第三神经网络通路的输出层输出道路坐标信息。
训练样本集获取模块：所述训练样本集包括多个道路图像样本和对应的多个道路点云样本，以及对应的道路标注数据；
神经网络训练模块：给定多个道路图像样本和对应的道路标注数据作为第一神经网络通路的输入输出训练数据；给定多个道路点云样本和对应的道路标注数据作为第二神经网络通路的输入输出训练数据；给定多个道路图像样本和对应的多个道路点云样本，以及对应的道路标注数据，作为第三神经网络通路的输入输出训练数据；对各个神经网络通路进行训练；所述训练是基于训练样本集通过梯度下降法来学习各个神经网络通路中的网络参数。
根据本公开的第四方面，提供了一种道路检测装置，包括：
已训练神经网络获取模块：所述神经网络包括第一神经网络通路、第二神经网络通路和第三神经网络通路；所述第一神经网络通路包含多个第一神经网络层；不同的所述第一神经网络层输出不同尺度的第一道路特征图信息；所述第二神经网络通路包含多个第二神经网络层；不同的所述第二神经网络层输出不同尺度的第二道路特征图信息；所述第三神经网络通路包含多个第三神经网络层；每个所述第三神经网络层接收相同尺度的第一神经网络层和第二神经网络层的输出；
道路坐标获取模块：获取包含道路的图像信息，将所述图像信息输入第一神经网络通路的输入层；获取包含道路的点云信息，将所述点云信息输入第二神经网络通路的输入层；所述第三神经网络通路的输出层输出道路坐标信息。
根据本公开的第五方面，提供了一种电子设备，包括：
至少一个处理器，存储器，以及与其他电子设备通信的接口；
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述电子设备能够执行根据第三方面所述的模型训练装置。
根据本公开的第六方面，提供了一种电子设备，包括：
至少一个处理器，存储器，以及与其他电子设备通信的接口；
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述电子设备能够执行根据第四方面所述的道路检测装置。
根据本公开的第七方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据第一方面所述的模型训练方法或根据第二方面所述的道路检测方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
与现有技术相比，本发明的有益效果是：
道路检测模型充分利用可见光相机或红外相机获取的图像信息和毫米波雷达或激光雷达获取的点云信息，从而提高了道路检测的鲁棒性。不同于标准道路环境具有统一的法律法规可供遵循；非标准道路环境具有各种复杂的情形。图像信息可以提供与人类视觉相似的信息输入，而点云信息则可以提供有效的环境深度信息作为补充，共同提高了道路检测的鲁棒性。通过三个神经网络通道的设置，分别从图像信息和点云信息中提取深度特征，并将图像信息和点云信息在深度学习的各个尺度上进行了融合，提高了道路检测时综合利用多种信息的效果。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1示出了根据本公开一个实施例提供的道路场景的示意图；
图2示出了根据本公开一个实施例提供的模型训练方法的示意图；
图3示出了根据本公开一个实施例提供的道路检测模型的示意图；
图4示出了根据本公开一个实施例提供的道路检测方法的示意图；
图5示出了根据本公开一个实施例提供的模型训练装置的示意图；
图6示出了根据本公开一个实施例提供的道路检测装置的示意图；
图7示出了根据本公开一个实施例提供的电子设备的示意图；
图8示出了根据本公开一个实施例提供的图像信息的示意图；
图9示出了根据本公开一个实施例提供的点云信息的示意图；
图10示出了根据本公开一个实施例提供的第一神经网络通路的示意图；
图11示出了根据本公开一个实施例提供的第二神经网络通路的示意图；
图12示出了根据本公开一个实施例提供的第三神经网络通路的示意图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
随着信息技术的不断推进，汽车产业也正在发生着技术更新，自动驾驶技术是汽车企业和科技企业着力发展的目标之一。
早期的自动驾驶技术主要强调辅助驾驶，例如高级驾驶辅助系统(advanceddriving assistant system，ADAS)。ADAS是利用安装在车上的各式各样传感器(毫米波雷达、激光雷达、可见光相机、全球定位系统等)，在汽车行驶过程中感知周围的环境，进行目标的辨识与追踪，并结合导航仪地图数据进行运算，从而预先让自动驾驶车辆或驾驶者察觉到可能发生的危险，有效增加汽车驾驶的舒适性和安全性。ADAS的典型任务例如车道把持、自动跟车、自动泊车等。
而国际汽车工程师协会(SAE International)将自动驾驶技术分为Level 0-Level 5共5个等级，L0指的是人工驾驶，L1指辅助驾驶、L2为半自动化、L3为高度自动化、L4为超高自动化驾驶、L5为全自动化驾驶(达到人类驾驶水平)。
自动驾驶技术存在智能化和网联化两条相互关联的技术路线。智能化是通过在车辆上搭载先进的车载传感器、控制器、执行器等装置，具备复杂的环境感知、智能决策和执行等功能，可实现安全、舒适、节能、高效行驶，并最终可替代人来操作。网联化是以车辆为主体和主要节点，并融合现代通信与网络技术，实现V2X（vehicle to everything，即车对外界的信息交换）智能信息交换共享，使车辆与外部节点实现信息共享和协同控制，以达到车辆安全、有序、高效、节能行驶。车辆的网联化与智能交通系统也有着紧密的联系。在智能交通系统中，也要求车辆与交通基础设施之间进行信息共享和协同。
目前的现有技术中，自动驾驶技术主要应用于标准道路场景。标准道路是指符合道路交通相关法律法规规定的、具有特定标线标识等信息的法定道路。标准道路场景下，自动驾驶技术可以通过规范的道路标线、标识等信息来获取准确的道路信息，也可以与交通基础设施进行规范的信息交换，从而获得自动驾驶所必需的环境信息。
但是，非标准道路场景也同样存在着自动驾驶的强劲需求。非标准道路场景是指不具备道路交通相关法律法规规定的标线标识等信息的道路。非标准道路场景，例如野外环境等自然场景，例如乡村土路等农业环境场景，例如园区内部道路等内部场景，又例如矿山矿井等特定作业场景。
非标准道路场景下，自动驾驶技术无法采用标准道路场景的道路标线、标识等信息，因而对于环境感知会造成一定的困难。非标准道路场景，很少有规范的地图测绘机构提供的普通地图和高精度地图。而非标准道路场景中，也很少有规范的交通基础设施信息交换可供自动驾驶车辆使用。
实施例一
针对上述问题，本公开实施例提供了一种针对非标准道路场景的自动驾驶模型训练和道路检测方法。
图1是根据本公开实施例提供的道路场景的示意图。
如图1所示，该场景中包含多条不规则的道路或行车轨迹。标准道路场景中道路走向往往是规则的，例如直路和直路交叉构成十字路口。在非标准道路场景中，道路本身可以是任意曲线的，道路之间的交叉也并不仅仅是十字交叉，而有可能形成较为复杂的图案。
在矿山、乡村等非硬化地面环境中，道路有可能仅仅是由车辙形成的行车轨迹构成。对于四轮车辆来说，天然地会形成两道平行曲线的车辙印。
如图2所示，在本实施例中，道路检测模型210的输入信息是图像信息240、点云信息250，输出是道路坐标信息260。
在本实施例中，道路检测模型210包括三个神经网络通路，第一神经网络通路210、第二神经网络通路220、第三神经网络通路230。
三个神经网络通路本身可以作为独立的神经网络进行训练。特别是第一神经网络通路210独立接收图像信息240作为网络输入；第二神经网络通路220独立接收点云信息250作为网络输入。第三神经网络通路230的输入信息来自于第一神经网络通路210和第二神经网络通路220。
三个神经网络通路之间具有信息交互。第一神经网络通路210向第三神经网络通路230传递信息；第二神经网络通路220向第三神经网络通路230传递信息。
值得注意的是，该模型的三个神经网络通路，并不是将第一神经网络通路210的输出层连接到第三神经网络通路230的输入层，也不是将第二神经网络通路220的输出层连接到第三神经网络通路230的输入层。
三个神经网络通路之间的信息交互，是一种并列的层连接关系。是在多个神经网络层之间平行进行的。上述并列的层连接关系的具体过程可参见附图10到附图12的相关内容。
如图3所示，在本实施例中，道路检测模型的训练包括以下步骤：
步骤S110，构建第一神经网络通路。
所述步骤S110具体包括：所述第一神经网络通路的输入层接收包含道路的图像信息；所述第一神经网络通路包含多个第一神经网络层；不同的所述第一神经网络层输出不同尺度的第一道路特征图信息。
基于所述步骤S110，本实施例具有如下有益效果：道路检测模型引入了可见光相机或红外相机获取的图像信息，从而提高了道路检测的鲁棒性。而对于非标准道路来说，很多时候单纯依靠雷达信息是不足于检测的。例如对于硬化地面的非标准道路而言，很多时候地面是平坦的，在雷达中表现为平坦的表面，而必须通过地面的标线或车轮印记来识别非标准道路。而对于矿山等非规则地面环境中，道路并没有经过平整，可能于道路周围环境一样存在着微小的起伏，因而单纯利用雷达信息是不足以检测到道路的。
步骤S120：构建第二神经网络通路。
所述步骤S120具体包括：所述第二神经网络通路的输入层接收包含道路的点云信息；所述第二神经网络通路包含多个第二神经网络层；不同的所述第二神经网络层输出不同尺度的第二道路特征图信息。
基于所述步骤S120，本实施例具有如下有益效果：道路检测模型引入了毫米波雷达或激光雷达获取的点云信息，从而提高了道路检测的鲁棒性。而对于非标准道路来说，很多时候单纯依靠可见光信息是不足于检测的。例如对于夜晚环境而言，非标准道路可能并不具备足够的照明；此时可见光图像无法获取有用信息，而红外图像中的道路有时候是低可分辨的。而对于矿山、乡村等非硬化地面环境中，有可能道路仅仅是通过车辙印来标记的，此时通过雷达获取的高低起伏信息可以有效地辅助道路检测。此外，传统的道路检测技术常常依赖于道路平坦的先验知识；而对于矿山、乡村等非标准道路环境，例如道路存在于山坡上，此时利用雷达信息来辅助三维计算机视觉的建模是非常有效的。
步骤S130：构建第三神经网络通路。
所述步骤S130具体包括：所述第三神经网络通路包含多个第三神经网络层；每个所述第三神经网络层接收相同尺度的第一神经网络层和第二神经网络层的输出；所述第三神经网络通路的输出层输出道路坐标信息。
基于所述步骤S130，本实施例具有如下有益效果：道路检测模型充分利用可见光相机或红外相机获取的图像信息和毫米波雷达或激光雷达获取的点云信息，从而提高了道路检测的鲁棒性。不同于标准道路环境具有统一的法律法规可供遵循；非标准道路环境具有各种复杂的情形。图像信息可以提供与人类视觉相似的信息输入，而点云信息则可以提供有效的环境深度信息作为补充，共同提高了道路检测的鲁棒性。
步骤S140：获取训练样本集。
所述步骤S140具体包括：所述训练样本集包括多个道路图像样本和对应的多个道路点云样本，以及对应的道路标注数据。
基于所述步骤S140，本实施例具有如下有益效果：为道路检测模型提供了监督学习的训练数据。
步骤S150：训练神经网络。
所述步骤S150具体包括：给定多个道路图像样本和对应的道路标注数据作为第一神经网络通路的输入输出训练数据；给定多个道路点云样本和对应的道路标注数据作为第二神经网络通路的输入输出训练数据；给定多个道路图像样本和对应的多个道路点云样本，以及对应的道路标注数据，作为第三神经网络通路的输入输出训练数据；对各个神经网络通路进行训练；所述训练是基于训练样本集通过梯度下降法来学习各个神经网络通路中的网络参数。
基于所述步骤S150，本实施例具有如下有益效果：通过三个神经网络通道的设置，分别从图像信息和点云信息中提取深度特征，并将图像信息和点云信息在深度学习的各个尺度上进行了融合，提高了道路检测时综合利用多种信息的效果。
上述训练好的模型，可以存储在自动驾驶车辆本地或者车辆之外的服务器上，在自动驾驶车辆进行实际道路检测时，应用已训练神经网络，根据车辆实际获取的图像信息和点云信息，来进行道路检测。此外，已训练神经网络模型，也可以存储在电子设备中，如附图7所示。
如图4所示，在本实施例中，应用已训练神经网络进行道路检测的方法包括以下步骤：
步骤S310：获取已训练神经网络。
所述步骤S310具体包括：所述神经网络包括第一神经网络通路、第二神经网络通路和第三神经网络通路；所述第一神经网络通路包含多个第一神经网络层；不同的所述第一神经网络层输出不同尺度的第一道路特征图信息；所述第二神经网络通路包含多个第二神经网络层；不同的所述第二神经网络层输出不同尺度的第二道路特征图信息；所述第三神经网络通路包含多个第三神经网络层；每个所述第三神经网络层接收相同尺度的第一神经网络层和第二神经网络层的输出。
基于所述步骤S310，本实施例具有如下有益效果：已训练神经网络模型可以一次训练之后多次使用。一般来说，神经网络模型的训练需要一定时间消耗和空间消耗。所述空间消耗为一定规模的训练数据集占据的空间；所述时间消耗为训练模型所需要的算力和时间。
可以理解的是，所述步骤S310中，获取已训练神经网络，可以是获取已训练神经网络的访问接口；所述访问接口可被本地调用以使用所述已训练神经网络的所有功能；所述已训练神经网络部署在本地和/或服务器和/或云端，并在本地具有使用所述已训练神经网络的访问接口。
步骤S320：获取道路坐标。
所述步骤S320具体包括：获取包含道路的图像信息，将所述图像信息输入第一神经网络通路的输入层；获取包含道路的点云信息，将所述点云信息输入第二神经网络通路的输入层；所述第三神经网络通路的输出层输出道路坐标信息。
基于所述步骤S320，本实施例具有如下有益效果：通过三个神经网络通道的设置，分别从图像信息和点云信息中提取深度特征，并将图像信息和点云信息在深度学习的各个尺度上进行了融合，提高了道路检测时综合利用多种信息的效果。
可以理解的是，所述道路坐标信息是道路离散点的坐标集合和/或拟合为道路曲线段或曲面片的坐标集合。
值得说明的是，本公开实施例并不限定模型训练和道路检测方法的应用场景的具体实现，其可以根据实际情况确定，此处不再赘述。
实施例二
针对上述非标准道路场景的问题，本公开实施例提供了一种自动驾驶模型训练装置和道路检测装置。其中模型训练装置如附图5所示，而道路检测装置如附图6所示。
如图5所示，在本实施例中，模型训练装置400具有如下模块：
第一神经网络通路构建模块401：所述第一神经网络通路的输入层接收包含道路的图像信息；所述第一神经网络通路包含多个第一神经网络层；不同的所述第一神经网络层输出不同尺度的第一道路特征图信息。
基于所述模块401，本实施例具有如下有益效果：道路检测模型引入了可见光相机或红外相机获取的图像信息，从而提高了道路检测的鲁棒性。而对于非标准道路来说，很多时候单纯依靠雷达信息是不足于检测的。例如对于硬化地面的非标准道路而言，很多时候地面是平坦的，在雷达中表现为平坦的表面，而必须通过地面的标线或车轮印记来识别非标准道路。而对于矿山等非规则地面环境中，道路并没有经过平整，可能于道路周围环境一样存在着微小的起伏，因而单纯利用雷达信息是不足以检测到道路的。
第二神经网络通路构建模块402：所述第二神经网络通路的输入层接收包含道路的点云信息；所述第二神经网络通路包含多个第二神经网络层；不同的所述第二神经网络层输出不同尺度的第二道路特征图信息。
基于所述模块402，本实施例具有如下有益效果：道路检测模型引入了毫米波雷达或激光雷达获取的点云信息，从而提高了道路检测的鲁棒性。而对于非标准道路来说，很多时候单纯依靠可见光信息是不足于检测的。例如对于夜晚环境而言，非标准道路可能并不具备足够的照明；此时可见光图像无法获取有用信息，而红外图像中的道路有时候是低可分辨的。而对于矿山、乡村等非硬化地面环境中，有可能道路仅仅是通过车辙印来标记的，此时通过雷达获取的高低起伏信息可以有效地辅助道路检测。此外，传统的道路检测技术常常依赖于道路平坦的先验知识；而对于矿山、乡村等非标准道路环境，例如道路存在于山坡上，此时利用雷达信息来辅助三维计算机视觉的建模是非常有效的。
第三神经网络通路构建模块403：所述第三神经网络通路包含多个第三神经网络层；每个所述第三神经网络层接收相同尺度的第一神经网络层和第二神经网络层的输出；所述第三神经网络通路的输出层输出道路坐标信息。
基于所述模块403，本实施例具有如下有益效果：道路检测模型充分利用可见光相机或红外相机获取的图像信息和毫米波雷达或激光雷达获取的点云信息，从而提高了道路检测的鲁棒性。不同于标准道路环境具有统一的法律法规可供遵循；非标准道路环境具有各种复杂的情形。图像信息可以提供与人类视觉相似的信息输入，而点云信息则可以提供有效的环境深度信息作为补充，共同提高了道路检测的鲁棒性。
训练样本集获取模块404：所述训练样本集包括多个道路图像样本和对应的多个道路点云样本，以及对应的道路标注数据。
基于所述模块404，本实施例具有如下有益效果：为道路检测模型提供了监督学习的训练数据。
神经网络训练模块405：给定多个道路图像样本和对应的道路标注数据作为第一神经网络通路的输入输出训练数据；给定多个道路点云样本和对应的道路标注数据作为第二神经网络通路的输入输出训练数据；给定多个道路图像样本和对应的多个道路点云样本，以及对应的道路标注数据，作为第三神经网络通路的输入输出训练数据；对各个神经网络通路进行训练；所述训练是基于训练样本集通过梯度下降法来学习各个神经网络通路中的网络参数。
基于所述模块405，本实施例具有如下有益效果：通过三个神经网络通道的设置，分别从图像信息和点云信息中提取深度特征，并将图像信息和点云信息在深度学习的各个尺度上进行了融合，提高了道路检测时综合利用多种信息的效果。
如图6所示，在本实施例中，模型训练装置500具有如下模块：
已训练神经网络获取模块501：所述神经网络包括第一神经网络通路、第二神经网络通路和第三神经网络通路；所述第一神经网络通路包含多个第一神经网络层；不同的所述第一神经网络层输出不同尺度的第一道路特征图信息；所述第二神经网络通路包含多个第二神经网络层；不同的所述第二神经网络层输出不同尺度的第二道路特征图信息；所述第三神经网络通路包含多个第三神经网络层；每个所述第三神经网络层接收相同尺度的第一神经网络层和第二神经网络层的输出。
基于所述模块501，本实施例具有如下有益效果：已训练神经网络模型可以一次训练之后多次使用。一般来说，神经网络模型的训练需要一定时间消耗和空间消耗。所述空间消耗为一定规模的训练数据集占据的空间；所述时间消耗为训练模型所需要的算力和时间。
道路坐标获取模块502：获取包含道路的图像信息，将所述图像信息输入第一神经网络通路的输入层；获取包含道路的点云信息，将所述点云信息输入第二神经网络通路的输入层；所述第三神经网络通路的输出层输出道路坐标信息。
基于所述模块502，本实施例具有如下有益效果：通过三个神经网络通道的设置，分别从图像信息和点云信息中提取深度特征，并将图像信息和点云信息在深度学习的各个尺度上进行了融合，提高了道路检测时综合利用多种信息的效果。
值得说明的是，本公开实施例并不限定模型训练和道路检测装置的应用场景的具体实现，其可以根据实际情况确定，此处不再赘述。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，处理模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上处理模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
实施例三
如图7所示，在本实施例中，一种模型训练电子设备600，包括：
至少一个处理器601，存储器608，以及与其他电子设备通信的接口609；所述存储器608存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述电子设备能够执行上述模型训练方法。
在本实施例中，道路检测电子设备700（图中未示出），也类似图7所示，包括：
至少一个处理器601，存储器608，以及与其他电子设备通信的接口609；所述存储器608存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述电子设备能够执行上述道路检测方法。
所述模型训练电子设备600和道路检测电子设备700，可以是同一台设备，也可以是独立的两台设备；其中任一台电子设备可以安装在车辆上，也可以安装在服务器上通过通信网络与车载设备进行交互。本实施例并不限定模型训练和道路检测电子设备的应用场景的具体实现，其可以根据实际情况确定，此处不再赘述。
电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。该电子设备可以是上述的第一设备，也可以是车辆控制设备，或者车辆上的控制中心，对此本方案不做限制。
如图7所示，该电子设备还包括：一个或多个ROM602、RAM603、总线、I/O接口、输入单元606、输出单元607等，以及用于连接各部件的接口，包括高速接口和低速接口，以及与其他电子设备进行通信的接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上 以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器601为例。
存储器608即为本公开所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本公开所提供的方法。本公开的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本公开所提供的方法。存储器608作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、 非瞬时计算机可执行程序以及模块，如本公开实施例中的方法对应的程序指令/模块。处理器601通过运行存储在存储器608中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的方法。
存储器608可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据自动驾驶车辆的控制的电子设备的使用所创建的数据等。此外，存储器608可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器608可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至数据处理的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
电子设备的各个部件可以通过总线或者其他方式连接，图7中以通过总线连接为例。
输入单元606可接收输入的数字或字符信息，以及产生与数据处理的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出单元607可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
实施例四
根据上述实施例所述的模型训练和道路检测方法、装置和电子设备，本实施例对其图像信息240的获取，以及点云信息250的获取，进行了进一步的描述。
如图8所示是图像信息240的获取场景。
图8中的图像信息获取装置是一种前向摄像机。可以看出，前向摄像机中的道路呈现“近宽远窄”的特点。
图8中的图像信息是包含道路的图像信息；该图像信息是图像原始信息和/或图像特征信息；所述图像原始信息由可见光相机和/或红外相机获取；所述图像特征信息由图像原始信息经图像特征提取算法处理得到。
获取所述包含道路的图像信息之前，还包括标定图像获取设备，计算将图像坐标系转换至世界坐标系的第一转换矩阵。所述世界坐标系可以是车辆坐标系，也可以是指定的坐标系。
值得说明的是，本公开实施例并不限定图像获取设备的具体实现，其可以根据实际情况确定，例如单目摄像机、双目摄像机、全景摄像机等，以及可见光摄像机、红外摄像机等，以及各种可能的安装方式，此处不再赘述。
如图9所示是点云信息250的获取场景。
图9中的点云信息获取装置是一种多线激光雷达。图9中多条虚线即示例了激光雷达的多条扫描线。可以看出，多线激光雷达获取到的道路呈现出一条明显的“中间凹陷”的道路。
图9中的点云信息是包含道路的点云信息；该点云信息是点云原始信息和/或点云特征信息；所述点云原始信息由毫米波雷达或激光雷达获取；所述点云特征信息由点云原始信息经点云特征提取算法处理得到。
获取所述包含道路的点云信息之前，还包括标定点云获取设备，计算将点云坐标系转换至世界坐标系的第二转换矩阵。
值得说明的是，本公开实施例并不限定点云获取设备的具体实现，其可以根据实际情况确定，例如毫米波雷达、激光雷达等，以及各种线数的激光雷达等，以及各种可能的安装方式，此处不再赘述。
训练样本集包括道路图像样本及其对应的道路标注数据，以及包括道路点云样本及其对应的道路标注数据。
如附图8和附图9所示的图像信息和点云信息，作为所述模型的输入信息；而道路图像样本对应的道路标注数据可以是任何符合神经网络预期输出的数据形式，例如附图8中指示道路位置或边缘的像素点或曲线；而道路点云样本对应的道路标注数据可以是任何符合神经网络预期输出的数据形式，例如附图9中指示道路位置或边缘的扫描线上的高低差。
利用所述训练样本集训练神经网络的具体方式包括；给定多个道路图像样本和对应的道路标注数据作为第一神经网络通路的输入输出训练数据；给定多个道路点云样本和对应的道路标注数据作为第二神经网络通路的输入输出训练数据；给定多个道路图像样本和对应的多个道路点云样本，以及对应的道路标注数据，作为第三神经网络通路的输入输出训练数据；对各个神经网络通路进行训练；所述训练是基于训练样本集通过梯度下降法来学习各个神经网络通路中的网络参数。
可以理解的是，本实施例不限定场景中道路的数量，也不限定道路的具体分布方式，其可以根据自动驾驶车辆所在的实际场景进行限定。对于各种道路数量和分布的道路场景，基于深度神经网络的道路检测模型都可以通过学习和训练获得准确检测道路的能力。
本实施例对图像信息240和点云信息250的获取以及训练样本集的构建和模型训练进行了描述。而构成完整技术方案所需的其他技术特征，参见前述实施例，在此不再赘述。
实施例五
根据上述实施例所述的模型训练和道路检测方法、装置和电子设备，本实施例对其第一神经网络通路210、第二神经网络通路220、第三神经网络通路230，进行了进一步的描述。
如图10所示是第一神经网络通路210的示意图。
所述第一神经网络通路210包含多个第一神经网络层211、212、213。在实际的深度神经网络中，包含的神经网络层的数量并不限于3个，而是有可能是任意数量，在此不做限定。实际上，深度神经网络的特点就是神经网络的层数比较多而表现为“很深”。
多个第一神经网络层211、212、213之间在第一神经网络通路210中是前后连接的关系。如图10所示，211、212、213之间是前后相邻层的关系。例如，第一神经网络通路可以是卷积神经网络，第一神经网络层可以是卷积层，而第一神经网络层的尺度不同即卷积神经网络中具有尺度不同的卷积层。
如图10所示，不同的所述第一神经网络层输出不同尺度的第一道路特征图信息。例如，第一神经网络层211输出第一道路特征图信息214；第一神经网络层212输出第一道路特征图信息215；第一神经网络层213输出第一道路特征图信息216。
如图11所示是第二神经网络通路220的示意图。
所述第二神经网络通路220包含多个第二神经网络层221、222、223。在实际的深度神经网络中，包含的神经网络层的数量并不限于3个，而是有可能是任意数量，在此不做限定。实际上，深度神经网络的特点就是神经网络的层数比较多而表现为“很深”。
多个第二神经网络层221、222、223之间在第二神经网络通路220中是前后连接的关系。如图11所示，221、222、223之间是前后相邻层的关系。例如，第二神经网络通路可以是卷积神经网络，第二神经网络层可以是卷积层，而第二神经网络层的尺度不同即卷积神经网络中具有尺度不同的卷积层。
如图11所示，不同的所述第二神经网络层输出不同尺度的第二道路特征图信息。例如，第二神经网络层221输出第二道路特征图信息224；第二神经网络层222输出第二道路特征图信息225；第二神经网络层223输出第二道路特征图信息226。
如图12所示是第三神经网络通路230的示意图。
所述第三神经网络通路230包含多个第三神经网络层231、232、233。在实际的深度神经网络中，包含的神经网络层的数量并不限于3个，而是有可能是任意数量，在此不做限定。实际上，深度神经网络的特点就是神经网络的层数比较多而表现为“很深”。
多个第三神经网络层231、232、233之间在第三神经网络通路230中是前后连接的关系。如图12所示，231、232、233之间是前后相邻层的关系。例如，第三神经网络通路可以是卷积神经网络，第三神经网络层可以是卷积层，而第三神经网络层的尺度不同即卷积神经网络中具有尺度不同的卷积层。
如图12所示，不同的所述第三神经网络层接收不同尺度的第一道路特征图信息和第二道路特征图信息作为输入。
例如，第三神经网络层231通过第一中间层234接收第一道路特征图信息214作为输入（214在图12中未示出，参见图10），通过第二中间层237接收第二道路特征图信息224作为输入（224在图12中未示出，参见图11）。
例如，第三神经网络层232通过第一中间层235接收第一道路特征图信息215作为输入（215在图12中未示出，参见图10），通过第二中间层238接收第二道路特征图信息225作为输入（225在图12中未示出，参见图11）。
例如，第三神经网络层233通过第一中间层236接收第一道路特征图信息216作为输入（216在图12中未示出，参见图10），通过第二中间层239接收第二道路特征图信息226作为输入（226在图12中未示出，参见图11）。
如附图10、12所示，由于第一神经网络层通过第一中间层与第三神经网络层连接，因此所述第一神经网络层的数量等于所述第三神经网络层的数量；所述第一神经网络层输出的第一道路特征图信息经过第一中间层输入相同尺度的第三神经网络层。
如附图11、12所示，由于第二神经网络层通过第二中间层与第三神经网络层连接，因此所述第二神经网络层的数量等于所述第三神经网络层的数量；所述第二神经网络层输出的第二道路特征图信息经过第二中间层输入相同尺度的第三神经网络层。
上述第一中间层和第二中间层的作用是正则化。所述第一道路特征图信息是二维特征图信息和/或三维特征图信息；所述第二道路特征图信息是二维特征图信息和/或三维特征图信息；所述第一道路特征图信息和所述第二道路特征图信息拥有相同的维数。
所述第一中间层与所述第一神经网络层连接，将所述第一神经网络层输出的所述第一道路特征图信息经过正则化处理后得到第一道路正则化信息；所述第二中间层与所述第二神经网络层连接，将所述第二神经网络层输出的所述第二道路特征图信息经过正则化处理后得到第二道路正则化信息；所述第三神经网络层对第一道路正则化信息和第二道路正则化信息进行合并卷积，得到保存了图像道路信息和点云道路信息的综合道路信息。
所述第三神经网络通路还具有第三映射层（图12中未示出）；所述第三映射层与所述第三卷积层相连，将所述第三卷积层输出的综合道路信息映射为世界坐标系下的道路坐标信息。
可以理解的是，本实施例对三个神经网络通路的具体结构不做限定。例如所述第一神经网络通路具有第一输入层、第一卷积层、第一输出层；所述第一神经网络层来自于第一卷积层；所述第二神经网络通路具有第二输入层、第二卷积层、第二输出层；所述第二神经网络层来自于第二卷积层；所述第三神经网络通路具有第三卷积层、第三输出层；所述第三神经网络层来自于第三卷积层。
实施例六
根据本实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据上述实施例所述的模型训练方法或道路检测方法。
实施例七
根据本实施例提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述实施例所述的模型训练方法或道路检测方法。
实施例六和实施例七所述的存储有计算机程序的计算机可读存储介质和计算机程序产品，这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。本实施例对其不做具体限定。
实施例八
根据本实施例提供了一种自动驾驶车辆，包括根据上述实施例所述的模型训练装置或上述实施例所述的道路检测装置。
可以理解的是，本实施例同样适用于有人驾驶车辆，驾驶员可以基于有人驾驶车辆获取到的道路信息辅助控制车辆的运行。本公开实施例并不对车辆的类型和数量进行限定。
可以理解的是，上述应用场景只是示意性说明，本公开实施例并不对车辆的应用场景进行具体限定。例如，自动驾驶车辆的控制方法的应用场景具体为矿山智能交通网络中，该智能交通网络中可以包括多辆可以进行无线通信的车辆、和各个车辆进行无线通信的交通控制设备、远程服务器、路侧设备、基站，其中，远程服务器或交通控制设备还可以对交通设施进行控制等等。
其中，有些车辆内设置有行车电脑或车载单元(on board unit，OBU)，有些车辆内搭载有用户终端例如手机，以及持有用户终端的用户等。车辆内的手机、行车电脑或OBU可作为实施模型训练或道路检测的电子设备。
本公开描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
可以将本公开描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据 服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界 面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本公开在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (11)
1.一种模型训练方法，包括：
构建第一神经网络通路；所述第一神经网络通路的输入层接收包含道路的图像信息；所述第一神经网络通路包含多个第一神经网络层；不同的所述第一神经网络层输出不同尺度的第一道路特征图信息；
构建第二神经网络通路；所述第二神经网络通路的输入层接收包含道路的点云信息；所述第二神经网络通路包含多个第二神经网络层；不同的所述第二神经网络层输出不同尺度的第二道路特征图信息；
构建第三神经网络通路；所述第三神经网络通路包含多个第三神经网络层；每个所述第三神经网络层接收相同尺度的第一神经网络层和第二神经网络层的输出；所述第三神经网络通路的输出层输出道路坐标信息；
获取训练样本集；所述训练样本集包括多个道路图像样本和对应的多个道路点云样本，以及对应的道路标注数据；
训练神经网络；给定多个道路图像样本和对应的道路标注数据作为第一神经网络通路的输入输出训练数据；给定多个道路点云样本和对应的道路标注数据作为第二神经网络通路的输入输出训练数据；给定多个道路图像样本和对应的多个道路点云样本，以及对应的道路标注数据，作为第三神经网络通路的输入输出训练数据；对各个神经网络通路进行训练；所述训练是基于训练样本集通过梯度下降法来学习各个神经网络通路中的网络参数。
2.根据权利要求1所述的方法，包括：
所述第一神经网络层的数量等于所述第三神经网络层的数量；所述第一神经网络层输出的第一道路特征图信息输入相同尺度的第三神经网络层；
所述第二神经网络层的数量等于所述第三神经网络层的数量；所述第二神经网络层输出的第二道路特征图信息输入相同尺度的第三神经网络层；
所述第一神经网络通路具有第一输入层、第一卷积层、第一输出层；所述第一神经网络层来自于第一卷积层；
所述第二神经网络通路具有第二输入层、第二卷积层、第二输出层；所述第二神经网络层来自于第二卷积层。
3.根据权利要求1所述的方法，包括：
所述第三神经网络通路具有第三卷积层、第三输出层；所述第三神经网络层来自于第三卷积层；
每个所述第三神经网络层还包括一个第一中间层；所述第一中间层与所述第一神经网络层连接，将所述第一神经网络层输出的所述第一道路特征图信息经过正则化处理后得到第一道路正则化信息；
每个所述第三神经网络层还包括一个第二中间层；所述第二中间层与所述第二神经网络层连接，将所述第二神经网络层输出的所述第二道路特征图信息经过正则化处理后得到第二道路正则化信息；
所述第三神经网络层对第一道路正则化信息和第二道路正则化信息进行合并卷积，得到保存了图像道路信息和点云道路信息的综合道路信息；
所述第三神经网络通路还具有第三映射层；所述第三映射层与所述第三卷积层相连，将所述第三卷积层输出的综合道路信息映射为世界坐标系下的道路坐标信息。
4.一种道路检测方法，包括：
获取已训练神经网络；所述神经网络包括第一神经网络通路、第二神经网络通路和第三神经网络通路；所述第一神经网络通路包含多个第一神经网络层；不同的所述第一神经网络层输出不同尺度的第一道路特征图信息；所述第二神经网络通路包含多个第二神经网络层；不同的所述第二神经网络层输出不同尺度的第二道路特征图信息；所述第三神经网络通路包含多个第三神经网络层；每个所述第三神经网络层接收相同尺度的第一神经网络层和第二神经网络层的输出；
获取道路坐标；获取包含道路的图像信息，将所述图像信息输入第一神经网络通路的输入层；获取包含道路的点云信息，将所述点云信息输入第二神经网络通路的输入层；所述第三神经网络通路的输出层输出道路坐标信息。
5.根据权利要求4所述的方法，所述获取已训练神经网络，包括：
获取已训练神经网络的访问接口；所述访问接口可被本地调用以使用所述已训练神经网络的所有功能；
所述已训练神经网络部署在本地和/或服务器和/或云端，并在本地具有使用所述已训练神经网络的访问接口。
6.根据权利要求4所述的方法，包括：
所述包含道路的图像信息是图像原始信息和/或图像特征信息；所述图像原始信息由可见光相机和/或红外相机获取；所述图像特征信息由图像原始信息经图像特征提取算法处理得到；
所述包含道路的点云信息是点云原始信息和/或点云特征信息；所述点云原始信息由毫米波雷达或激光雷达获取；所述点云特征信息由点云原始信息经点云特征提取算法处理得到；
获取所述包含道路的图像信息之前，还包括标定图像获取设备，计算将图像坐标系转换至世界坐标系的第一转换矩阵；
获取所述包含道路的点云信息之前，还包括标定点云获取设备，计算将点云坐标系转换至世界坐标系的第二转换矩阵。
7.根据权利要求4所述的方法，包括：
所述第一道路特征图信息是二维特征图信息和/或三维特征图信息；
所述第二道路特征图信息是二维特征图信息和/或三维特征图信息；
所述第一道路特征图信息和所述第二道路特征图信息拥有相同的维数；
所述道路坐标信息是道路离散点的坐标集合和/或拟合为道路曲线段或曲面片的坐标集合。
8.一种模型训练装置，包括：
第一神经网络通路构建模块：所述第一神经网络通路的输入层接收包含道路的图像信息；所述第一神经网络通路包含多个第一神经网络层；不同的所述第一神经网络层输出不同尺度的第一道路特征图信息；
第二神经网络通路构建模块：所述第二神经网络通路的输入层接收包含道路的点云信息；所述第二神经网络通路包含多个第二神经网络层；不同的所述第二神经网络层输出不同尺度的第二道路特征图信息；
第三神经网络通路构建模块：所述第三神经网络通路包含多个第三神经网络层；每个所述第三神经网络层接收相同尺度的第一神经网络层和第二神经网络层的输出；所述第三神经网络通路的输出层输出道路坐标信息；
训练样本集获取模块：所述训练样本集包括多个道路图像样本和对应的多个道路点云样本，以及对应的道路标注数据；
神经网络训练模块：给定多个道路图像样本和对应的道路标注数据作为第一神经网络通路的输入输出训练数据；给定多个道路点云样本和对应的道路标注数据作为第二神经网络通路的输入输出训练数据；给定多个道路图像样本和对应的多个道路点云样本，以及对应的道路标注数据，作为第三神经网络通路的输入输出训练数据；对各个神经网络通路进行训练；所述训练是基于训练样本集通过梯度下降法来学习各个神经网络通路中的网络参数。
9.一种道路检测装置，包括：
已训练神经网络获取模块：所述神经网络包括第一神经网络通路、第二神经网络通路和第三神经网络通路；所述第一神经网络通路包含多个第一神经网络层；不同的所述第一神经网络层输出不同尺度的第一道路特征图信息；所述第二神经网络通路包含多个第二神经网络层；不同的所述第二神经网络层输出不同尺度的第二道路特征图信息；所述第三神经网络通路包含多个第三神经网络层；每个所述第三神经网络层接收相同尺度的第一神经网络层和第二神经网络层的输出；
道路坐标获取模块：获取包含道路的图像信息，将所述图像信息输入第一神经网络通路的输入层；获取包含道路的点云信息，将所述点云信息输入第二神经网络通路的输入层；所述第三神经网络通路的输出层输出道路坐标信息。
10.一种电子设备，其特征在于，包括：
至少一个处理器，存储器，以及与其他电子设备通信的接口；
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述电子设备能够执行权利要求1-7中任一项所述的方法。
11.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210262571.7A CN114677660B (zh) | 2022-03-17 | 2022-03-17 | 模型训练和道路检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210262571.7A CN114677660B (zh) | 2022-03-17 | 2022-03-17 | 模型训练和道路检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114677660A true CN114677660A (zh) | 2022-06-28 |
| CN114677660B CN114677660B (zh) | 2024-08-23 |
Family
ID=82074778
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210262571.7A Active CN114677660B (zh) | 2022-03-17 | 2022-03-17 | 模型训练和道路检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114677660B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116504089A (zh) * | 2023-06-27 | 2023-07-28 | 东风悦享科技有限公司 | 一种基于路面破损因素的无人公交集群灵活调度系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019056845A1 (zh) * | 2017-09-19 | 2019-03-28 | 北京市商汤科技开发有限公司 | 道路图生成方法、装置、电子设备和计算机存储介质 |
| CN109544555A (zh) * | 2018-11-26 | 2019-03-29 | 陕西师范大学 | 基于生成式对抗网络的细小裂缝分割方法 |
| CN110232418A (zh) * | 2019-06-19 | 2019-09-13 | 深圳前海达闼云端智能科技有限公司 | 一种语义识别方法、终端及计算机可读存储介质 |
| CN111860425A (zh) * | 2020-07-30 | 2020-10-30 | 清华大学 | 一种深度多模态跨层交叉融合方法、终端设备及存储介质 |
| CN113887349A (zh) * | 2021-09-18 | 2022-01-04 | 浙江大学 | 一种基于图像和点云融合网络的道路区域图像识别方法 |
| CN114170533A (zh) * | 2021-12-08 | 2022-03-11 | 西安电子科技大学 | 基于注意力机制和多模态表征学习的滑坡识别方法及系统 |
-
2022
- 2022-03-17 CN CN202210262571.7A patent/CN114677660B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019056845A1 (zh) * | 2017-09-19 | 2019-03-28 | 北京市商汤科技开发有限公司 | 道路图生成方法、装置、电子设备和计算机存储介质 |
| CN109544555A (zh) * | 2018-11-26 | 2019-03-29 | 陕西师范大学 | 基于生成式对抗网络的细小裂缝分割方法 |
| CN110232418A (zh) * | 2019-06-19 | 2019-09-13 | 深圳前海达闼云端智能科技有限公司 | 一种语义识别方法、终端及计算机可读存储介质 |
| CN111860425A (zh) * | 2020-07-30 | 2020-10-30 | 清华大学 | 一种深度多模态跨层交叉融合方法、终端设备及存储介质 |
| CN113887349A (zh) * | 2021-09-18 | 2022-01-04 | 浙江大学 | 一种基于图像和点云融合网络的道路区域图像识别方法 |
| CN114170533A (zh) * | 2021-12-08 | 2022-03-11 | 西安电子科技大学 | 基于注意力机制和多模态表征学习的滑坡识别方法及系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116504089A (zh) * | 2023-06-27 | 2023-07-28 | 东风悦享科技有限公司 | 一种基于路面破损因素的无人公交集群灵活调度系统 |
| CN116504089B (zh) * | 2023-06-27 | 2023-09-12 | 东风悦享科技有限公司 | 一种基于路面破损因素的无人公交集群灵活调度系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114677660B (zh) | 2024-08-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11217012B2 (en) | System and method for identifying travel way features for autonomous vehicle motion control | |
| US11691648B2 (en) | Drivable surface identification techniques | |
| Suhr et al. | Sensor fusion-based low-cost vehicle localization system for complex urban environments | |
| EP4145393B1 (en) | Vehicle localization | |
| CN110462343B (zh) | 使用自动标记的图像来对车辆进行导航的方法和系统 | |
| US11248925B2 (en) | Augmented road line detection and display system | |
| US20180150976A1 (en) | Method for automatically establishing extrinsic parameters of a camera of a vehicle | |
| CN110794844B (zh) | 自动驾驶方法、装置、电子设备及可读存储介质 | |
| US11755917B2 (en) | Generating depth from camera images and known depth data using neural networks | |
| CN111563450B (zh) | 数据处理方法、装置、设备及存储介质 | |
| CN111767360B (zh) | 路口虚拟车道标注的方法及装置 | |
| CN113887400B (zh) | 障碍物检测方法、模型训练方法、装置及自动驾驶车辆 | |
| CN114127738A (zh) | 自动地图制作和定位 | |
| CN111174722A (zh) | 一种三维轮廓重建方法及装置 | |
| de Paula Veronese et al. | Evaluating the limits of a LiDAR for an autonomous driving localization | |
| CN114677660B (zh) | 模型训练和道路检测方法及装置 | |
| Wang et al. | Lane detection algorithm based on temporal–spatial information matching and fusion | |
| CN114612895A (zh) | 非标准道路场景中的道路检测方法及装置 | |
| CN116071442A (zh) | 三维点云数据的处理方法、装置和无人车 | |
| CN114789735A (zh) | 一种高效的驾驶辅助方法、装置、设备和车辆 | |
| CN112613335B (zh) | 识别装置、识别方法及存储介质 | |
| CN117631676B (zh) | 一种矿区无人驾驶车辆自动引导前进的方法和装置 | |
| EP4332896A1 (en) | Object tracking device | |
| CN116883504B (zh) | 车辆朝向的校准方法、装置、计算机设备及存储介质 | |
| CN115571146B (zh) | 一种基于空地协同的矿区车辆行驶主动感知方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |