CN114627073B - 地形识别方法、装置、计算机设备和存储介质 - Google Patents
地形识别方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN114627073B CN114627073B CN202210247301.9A CN202210247301A CN114627073B CN 114627073 B CN114627073 B CN 114627073B CN 202210247301 A CN202210247301 A CN 202210247301A CN 114627073 B CN114627073 B CN 114627073B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- road surface
- pavement
- image
- ground point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000011218 segmentation Effects 0.000 claims abstract description 48
- 238000004590 computer program Methods 0.000 claims abstract description 41
- 238000013507 mapping Methods 0.000 claims abstract description 28
- 238000013145 classification model Methods 0.000 claims description 25
- 238000013528 artificial neural network Methods 0.000 claims description 19
- 230000004927 fusion Effects 0.000 claims description 15
- 238000002310 reflectometry Methods 0.000 claims description 11
- 230000007613 environmental effect Effects 0.000 claims description 10
- 238000013136 deep learning model Methods 0.000 description 13
- 239000004576 sand Substances 0.000 description 11
- 238000012876 topography Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 239000011435 rock Substances 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 239000010426 asphalt Substances 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 239000004927 clay Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种地形识别方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：通过摄像头获取车辆周围环境的环境图像，并通过激光雷达获取车辆周围环境的点云数据；对环境图像进行路面识别，基于路面识别结果对路面识别图像中的每个像素赋予路面可能性指标，得到目标图像；对车辆周围环境的点云数据进行路面分割，得到地面点云；对地面点云和目标图像进行融合，将路面可能性指标映射到所述地面点云中；将携带有路面可能性指标的地面点云投影到栅格地图，确定地形识别结果。采用本方法能够提高地形识别的准确性。
Description
技术领域
本申请涉及数据识别技术领域，特别是涉及一种地形识别方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着汽车技术的发展，出现了路面地形识别技术。路面地形识别技术应用于在戈壁、沙土路等野外环境行驶的车辆，能够基于激光雷达或者摄像头进行地形识别，根据激光雷达检测到的地面点云数据或者摄像头获取到的路面图像信息，识别出车辆可行驶的路面区域，以辅助车辆在不同地形下行驶更稳定。
目前的路面地形识别技术主要使用激光雷达或者摄像头等单一的传感器进行地形识别，容易出现误差，因此存在地形识别的准确性不高的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高地形识别准确性的地形识别方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种地形识别方法。所述方法包括：
通过摄像头获取车辆周围环境的环境图像，并通过激光雷达获取车辆周围环境的点云数据；
对环境图像进行路面识别，基于路面识别结果对路面识别图像中的每个像素赋予路面可能性指标，得到目标图像；
对车辆周围环境的点云数据进行路面分割，得到地面点云；
对地面点云和目标图像进行融合，将路面可能性指标映射到地面点云中；
将携带有路面可能性指标的地面点云投影到栅格地图，确定地形识别结果。
在其中一个实施例中，路面识别结果包括路面可信度和路面颜色特征，路面识别图像包括第一路面识别图像和第二路面识别图像，路面可能性指标包括第一路面可能性指标和第二路面可能性指标，目标图像包括第一目标图像和第二目标图像，对环境图像进行路面识别，基于路面识别结果对路面识别图像中的每个像素赋予路面可能性指标，得到目标图像，包括：基于路面分割模型对环境图像进行路面识别，得到第一路面识别图像和路面可信度；根据路面可信度对第一路面识别图像中的每个像素赋予第一路面可能性指标，得到第一目标图像；基于场景分类模型和场景先验信息，对环境图像进行路面识别，得到路面颜色特征，基于路面颜色特征和环境图像得到第二路面识别图像；根据路面颜色特征对第二路面识别图像中的每个像素赋予第二路面可能性指标，得到第二目标图像。
在其中一个实施例中，场景先验信息包括场景中的对象类别，基于场景分类模型和场景先验信息，对环境图像进行路面识别，得到路面颜色特征，包括：基于场景分类模型对环境图像进行场景分类，得到场景分类结果；确定与场景分类结果对应的场景先验信息，基于与场景分类结果对应的场景先验信息，确定路面颜色特征。
在其中一个实施例中，对车辆周围环境的点云数据进行路面分割，得到地面点云，包括：获取车辆周围环境的点云数据中感兴趣区域的点云数据；对感兴趣区域的点云数据进行路面分割，识别出地面点云和非地面点云，并对非地面点云赋予路面可能性为零。
在其中一个实施例中，对地面点云和目标图像进行融合，将路面可能性指标映射到地面点云中，包括：根据激光雷达和摄像头内外参数，将地面点云投影到目标图像，获得地面点云和目标图像的关联关系；根据关联关系将目标图像中各像素所对应的路面可能性指标映射到地面点云中。
在其中一个实施例中，地形识别结果包括栅格地图中的每个栅格记录的参数，参数至少包括地面点云数量、地面点云高度差、地面点云反射率和路面可能性指标中的一种，方法还包括：根据每个栅格记录的参数，基于规则的方式和神经网络的方式中的至少一种方式计算每个栅格的通过成本；对每个栅格的通过成本进行加权求和，确定栅格地图的最终通过成本。
第二方面，本申请还提供了一种地形识别装置。所述装置包括：
获取模块，用于通过摄像头获取车辆周围环境的环境图像，并通过激光雷达获取车辆周围环境的点云数据；
识别模块，用于对环境图像进行路面识别，基于路面识别结果对路面识别图像中的每个像素赋予路面可能性指标，得到目标图像；
识别模块，还用于对车辆周围环境的点云数据进行路面分割，得到地面点云；
融合模块，用于对地面点云和目标图像进行融合，将路面可能性指标映射到地面点云中；
确定模块，用于将携带有路面可能性指标的地面点云投影到栅格地图，确定地形识别结果。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
通过摄像头获取车辆周围环境的环境图像，并通过激光雷达获取车辆周围环境的点云数据；
对环境图像进行路面识别，基于路面识别结果对路面识别图像中的每个像素赋予路面可能性指标，得到目标图像；
对车辆周围环境的点云数据进行路面分割，得到地面点云；
对地面点云和目标图像进行融合，将路面可能性指标映射到地面点云中；
将携带有路面可能性指标的地面点云投影到栅格地图，确定地形识别结果。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
通过摄像头获取车辆周围环境的环境图像，并通过激光雷达获取车辆周围环境的点云数据；
对环境图像进行路面识别，基于路面识别结果对路面识别图像中的每个像素赋予路面可能性指标，得到目标图像；
对车辆周围环境的点云数据进行路面分割，得到地面点云；
对地面点云和目标图像进行融合，将路面可能性指标映射到地面点云中；
将携带有路面可能性指标的地面点云投影到栅格地图，确定地形识别结果。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
通过摄像头获取车辆周围环境的环境图像，并通过激光雷达获取车辆周围环境的点云数据；
对环境图像进行路面识别，基于路面识别结果对路面识别图像中的每个像素赋予路面可能性指标，得到目标图像；
对车辆周围环境的点云数据进行路面分割，得到地面点云；
对地面点云和目标图像进行融合，将路面可能性指标映射到地面点云中；
将携带有路面可能性指标的地面点云投影到栅格地图，确定地形识别结果。
上述地形识别方法、装置、计算机设备、存储介质和计算机程序产品，通过摄像头和激光雷达分别获取车辆周围环境的环境图像和点云数据；并采用深度学习模型对环境图像进行路面识别，得到目标图像，目标图像中的每个像素均携带有路面可能性指标，采用点云分割算法对点云数据进行路面分割，得到地面点云，地面点云为剔除非地面点云后的点云数据；对地面点云和目标图像进行融合，将路面可能性指标映射到地面点云中，得到携带有路面可能性指标的地面点云；将携带有路面可能性指标的地面点云投影到栅格地图，最终生成包括空间位置信息、反射强度信息及路面可能性指标等多种信息的栅格地图，通过栅格地图能够精确的反映车辆周围的路面信息，从而达到了提高地形识别准确性的目的，能够更好地适用于野外环境，为路径规划提供地形信息。
附图说明
图1为一个实施例中地形识别方法的应用环境图；
图2为一个实施例中地形识别方法的流程示意图；
图3为一个实施例中路面识别步骤的流程示意图；
图4为一个实施例中路面识别系统的结构框图；
图5为另一个实施例中地形识别方法的流程示意图；
图6为一个实施例中地形识别装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的地形识别方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。终端102可单独执行本申请实施例提供的地形识别方法，终端102和服务器104也可协同执行本申请实施例提供的地形识别方法。
当终端102单独执行地形识别方法时，终端102通过摄像头获取车辆周围环境的环境图像，并通过激光雷达获取车辆周围环境的点云数据；对环境图像进行路面识别，基于路面识别结果对路面识别图像中的每个像素赋予路面可能性指标，得到目标图像；对车辆周围环境的点云数据进行路面分割，得到地面点云；对地面点云和目标图像进行融合，将路面可能性指标映射到地面点云中；将携带有路面可能性指标的地面点云投影到栅格地图，确定地形识别结果。
当终端102和服务器104协同执行地形识别方法时，终端102通过摄像头获取车辆周围环境的环境图像，并通过激光雷达获取车辆周围环境的点云数据，并将环境图像和车辆周围环境的点云数据发送至服务器104。服务器104对环境图像进行路面识别，基于路面识别结果对路面识别图像中的每个像素赋予路面可能性指标，得到目标图像；对车辆周围环境的点云数据进行路面分割，得到地面点云；对地面点云和目标图像进行融合，将路面可能性指标映射到地面点云中；将携带有路面可能性指标的地面点云投影到栅格地图，确定地形识别结果。
其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
应当理解的是，本申请实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。除非上下文另外清楚地指出，否则单数形式的“一个”、“一”或者“该”等类似词语也不表示数量限制，而是表示存在至少一个。
在一个实施例中，如图2所示，提供了一种地形识别方法，该方法可以由终端或服务器单独执行，也可以由终端和服务器协同执行。本申请实施例以该方法应用于图1中的终端为例进行说明，包括以下步骤：
步骤202，通过摄像头获取车辆周围环境的环境图像，并通过激光雷达获取车辆周围环境的点云数据。
其中，摄像头和激光雷达均安装在车辆顶部，用于获取车辆周围环境的数据。车辆为城市或野外环境下处于行驶状态的车辆，尤其是沙土路、戈壁、雪地等野外环境，可以为无人车，也可以为有驾驶员驾驶的车辆。点云数据是在获取物体表面每个采样点的空间坐标后，得到的三维坐标系中的一组向量的集合，点云数据具有空间位置信息和反射强度信息，可以用三维坐标来表示点云数据的空间位置信息，不同障碍物的反射强度(反射率)不同，对应的点云数据的反射强度信息也不同。例如，当车辆在戈壁中行驶时，摄像头所获取的环境图像里可以包括沙子、脚印、车辙、岩石、树木和天空等。激光雷达所获取的车辆周围环境的点云数据可以包括地面、树木、天空等的空间位置信息和反射强度信息。
具体地，终端通过摄像头采集车辆周围环境的环境图像，并通过激光雷达进行障碍物检测，以获取车辆周围环境的点云数据。
步骤204，对环境图像进行路面识别，基于路面识别结果对环境图像中的每个像素赋予路面可能性指标，得到目标图像。
其中，路面识别可以通过训练好的深度学习模型实现，也可以通过其他数学模型实现。路面识别图像是对环境图像进行路面识别得到的图像，包括不同类别的对象。路面识别结果是指路面识别图像中的当前像素为路面识别图像所包括的不同类别的对象的可信度。例如，获取车辆在戈壁行驶的环境图像，则路面识别图像是包括沙子、脚印、车辙、岩石、树木和天空等不同类别的对象的图像，路面识别结果是路面识别图像中的当前像素为沙子、脚印、车辙、岩石、树木或天空等不同类别的对象的可信度。
路面可能性指标是指路面识别图像中的当前像素是路面像素的概率，可以基于单个维度进行确定，如类别，例如若识别结果显示当前像素的类别为沙子，则确定当前像素的路面可能性指标为50％；若识别结果显示当前像素的类别为有脚印的沙子，则确定当前像素的路面可能性指标为80％；路面可能性指标也可以基于两个或两个以上的维度进行确定，如类别和颜色，例如若识别结果显示当前像素的类别为沙子、颜色为黄色，则根据类别维度，确定当前像素的路面可能性指标为50％，并根据颜色维度，确定当前像素的路面可能性指标为90％。目标图像是每个像素均携带有路面可能性指标的路面识别图像。
具体地，终端通过训练好的深度学习模型提取环境图像的图像特征，对环境图像的图像特征进行识别，得到路面识别图像和路面识别结果；基于路面识别结果确定路面识别图像中的每个像素的路面可能性指标，并将每个像素的路面可能性指标标记在路面识别图像中；基于标记有路面可能性指标的路面识别图像，得到目标图像。
步骤206，对车辆周围环境的点云数据进行路面分割，得到地面点云。
其中，车辆周围环境的点云数据中含有地面点云和非地面点云，由于非地面点云对后面将地面点云和目标图像进行融合的步骤会造成干扰，因此需要对点云数据进行分割，并将非地面点云从点云数据中剔除。应当理解，地面点云包括标识路面的点云和标识非路面的点云，而路面点云可以包括标识可行驶区域的点云和标识非行驶区域的点云。目前常用的三维点云的地面分割方法包括基于网格的方法、基于分类器的方法和基于模型的方法(如平面拟合)等，每种方法的地面点云分离效果不同，本实施例对此不作限定。
具体地，终端通过点云分割算法对车辆周围环境的点云数据进行路面分割，将地面点云和非地面点云进行划分，并将非地面点云从点云数据中剔除，得到地面点云。
步骤208，对地面点云和目标图像进行融合，将路面可能性指标映射到地面点云中。
其中，地面点云和目标图像融合是指基于目标图像，将表示目标图像的二维数据和表示地面点云的三维数据进行特征层级的融合，使得融合后的地面点云携带有路面可能性指标。
具体地，终端对地面点云和目标图像进行特征层级的融合，将地面点云投影到目标图像，并将目标图像携带的路面可能性指标映射到地面点云中，得到携带有路面可能性指标的地面点云。
步骤210，将携带有路面可能性指标的地面点云投影到栅格地图，确定地形识别结果。
其中，栅格地图是把环境划分成一系列栅格，其中每个栅格给定一个可能值，表示该栅格被占据的概率。地形识别结果为车辆周围环境中的路面信息，用于为后续的行车路径规划提供输入。
具体地，终端将携带有路面可能性指标的地面点云投影到栅格地图，生成包括空间位置信息、反射强度信息和路面可能性指标的等多种信息的栅格地图，栅格地图将车辆位置作为其中心点；确定每个栅格被占据的概率，基于每个栅格被占据的概率，确定地形识别结果。
上述地形识别方法中，通过摄像头和激光雷达分别获取车辆周围环境的环境图像和点云数据；并采用深度学习模型对环境图像进行路面识别，得到目标图像，目标图像中的每个像素均携带有路面可能性指标，采用点云分割算法对点云数据进行路面分割，得到地面点云，地面点云为剔除非地面点云后的点云数据；对地面点云和目标图像进行融合，将路面可能性指标映射到地面点云中，得到携带有路面可能性指标的地面点云；将携带有路面可能性指标的地面点云投影到栅格地图，最终生成包括空间位置信息、反射强度信息及路面可能性指标等多种信息的栅格地图，通过栅格地图能够精确的反映车辆周围的路面信息，从而达到了提高地形识别准确性的目的，能够更好地适用于野外环境，为路径规划提供地形信息。
在一个实施例中，路面识别结果包括路面可信度和路面颜色特征，路面识别图像包括第一路面识别图像和第二路面识别图像，路面可能性指标包括第一路面可能性指标和第二路面可能性指标，目标图像包括第一目标图像和第二目标图像，如图3所示，对环境图像进行路面识别，基于路面识别结果对路面识别图像中的每个像素赋予路面可能性指标，得到目标图像，包括：
步骤302，基于路面分割模型对环境图像进行路面识别，得到第一路面识别图像和路面可信度。
其中，路面分割模型是通过对深度学习模型进行训练得到的，用于语义分割，对一张图片上的所有像素点进行分类。路面分割模型的输入为环境图像，输出为第一路面识别图像和路面可信度。第一路面识别图像是将环境图像按类别划分为多个区域的图像，每个区域所属类别不同，并且每个像素携带有路面可信度。路面可信度指的是第一路面识别图像中的当前像素所属类别为路面的可信程度。
具体地，终端构建深度学习模型，根据车辆的运行工况，预先采集多个路面图像作为样本图像，分别提取各样本图像的图像特征，基于提取的各样本图像的图像特征，对深度学习模型进行训练，训练完成后得到路面分割模型。然后，终端通过路面分割模型，对环境图像进行路面识别，得到第一路面识别图像和路面可信度。
步骤304，根据路面可信度对第一路面识别图像中的每个像素赋予第一路面可能性指标，得到第一目标图像。
其中，第一路面可能性指标是从路面可信度维度确定的路面可能性指标。第一目标图像是每个像素均携带有第一路面可能性指标的第一路面识别图像。路面可信度和第一路面可能性指标的关系可以是像素的路面可信度越大，像素的第一路面可能性指标就越大。
具体地，终端根据第一路面识别图像中每个像素的路面可信度，确定每个像素的第一路面可能性指标，并将每个像素的第一路面可能性指标标记在第一路面识别图像中；基于标记有第一路面可能性指标的第一路面识别图像，得到第一目标图像。
步骤306，基于场景分类模型和场景先验信息，对环境图像进行路面识别，得到路面颜色特征，基于路面颜色特征和环境图像得到第二路面识别图像。
其中，场景分类模型是通过对深度学习模型进行训练得到的，用于场景分类。场景分类模型的输入为环境图像，输出为场景分类结果，场景分类结果可以是标识场景的场景名称或者数值。场景先验信息是与场景对应的公知常识。例如，戈壁场景的场景先验信息可以是：沙子是黄色的，沙子上会出现脚印、车辙、岩石，岩石是黑灰色的，树木是绿色的，天空是蓝色的。
路面颜色特征是不同场景下的路面颜色，可以是单一的颜色，也可以是包括两种及以上的颜色。例如，戈壁场景的路面颜色特征是黄色(沙子是黄色的)，城市场景的路面颜色特征是黑色(柏油公路是黑色的)，乡村场景的路面颜色特征是黄色(泥土路是黄色的)和白色(水泥地面是白色的)。第二路面识别图像是按颜色划分为至少一个区域的图像，每个区域的颜色不同并且均属于路面颜色特征。例如，当路面颜色特征为黄色时，第二路面识别图像是所有区域均为黄色的图像；当路面颜色特征为黄色和白色时，第二路面识别图像是一部分区域为黄色、其余区域为白色的图像。
具体地，终端构建深度学习模型，根据车辆常见的行车场景，预先采集多个不同场景下的路面图像作为样本图像，分别提取各样本图像的图像特征，基于提取的各样本图像的图像特征，对深度学习模型进行训练，训练完成后得到场景分类模型。然后，终端通过场景分类模型，对环境图像进行场景分类，并基于场景先验信息，得到路面颜色特征；基于环境图像，创建一个空白图像，该空白图像的尺寸和环境图像的尺寸一样，并且按照路面颜色特征对空白图像中的每个像素进行颜色处理，得到第二路面识别图像。
步骤308，根据路面颜色特征对第二路面识别图像中的每个像素赋予第二路面可能性指标，得到第二目标图像。
其中，第二路面可能性指标是从路面颜色特征维度确定的路面可能性指标。第二目标图像是每个像素均携带有第二路面可能性指标的第二路面识别图像。路面颜色特征和第二路面可能性指标的关系可以是根据对历史数据的分析进行定义的，也可以是基于专家经验认为定义的，例如像素的路面颜色特征越接近单一的颜色，像素的第二路面可能性指标就越大。
具体地，终端根据第一路面识别图像中每个像素的路面颜色特征，确定每个像素的第二路面可能性指标，并将每个像素的第二路面可能性指标标记在第二路面识别图像中；基于标记有第二路面可能性指标的第二路面识别图像，得到第二目标图像。
本实施例中，通过基于深度学习模型的路面分割模型和场景分类模型、并结合场景先验信息对环境图像进行路面识别，得到按类别划分为多个区域的第一路面识别图像、路面可信度，以及路面颜色特征和第二路面识别图像，达到了基于多种传感器进行路面识别获取更精确的路面信息的目的；还通过从路面可信度和路面颜色特征这两个维度，确定两个不同的路面可能性指标，能够达到更精确地识别路面的目的，提高了路面识别的可靠性。
在一个实施例中，场景先验信息包括场景中的对象类别，基于场景分类模型和场景先验信息，对环境图像进行路面识别，得到路面颜色特征，包括：基于场景分类模型对环境图像进行场景分类，得到场景分类结果；确定与场景分类结果对应的场景先验信息，基于与场景分类结果对应的场景先验信息，确定路面颜色特征。
其中，场景先验信息包括场景中的对象类别以及对象类别的颜色特征等属性信息。场景分类结果可以是标识场景的场景名称或者数值，例如戈壁、沙漠、草原、雪地、城市公路等场景。
具体地，终端通过场景分类模型，对环境图像进行场景分类，得到场景分类结果；基于场景分类结果，确定与场景分类结果对应的场景先验信息；基于与场景分类结果对应的场景先验信息，确定与场景分类结果对应的路面颜色特征。例如，在有车辙的戈壁场景中，黄色区域为可行驶区域的可能性较高，因此，终端基于戈壁场景中沙土为黄色等场景先验信息，确定此场景下的路面颜色特征为黄色。
本实施例中，通过基于深度学习模型的场景分类模型对环境图像进行场景分类，然后根据场景分类结果和场景先验信息确定当前场景下的路面颜色特征，以基于路面颜色特征得到第二路面识别图像，能够达到在进行路面识别时综合考虑路面的类别信息和颜色信息等多方面属性信息的目的，从而能够提高地形识别的准确性。
在一个实施例中，对车辆周围环境的点云数据进行路面分割，得到地面点云，包括：获取车辆周围环境的点云数据中感兴趣区域的点云数据；对感兴趣区域的点云数据进行路面分割，识别出地面点云和非地面点云，并对非地面点云赋予路面可能性为零。
其中，感兴趣区域是指路面候选区域，属于车辆周围环境的一部分，例如与地面距离在预设范围内的向量组成的区域，或者包括车辙的区域。
具体地，终端从车辆周围环境的点云数据中提取得到感兴趣区域的点云数据，通过点云分割算法对感兴趣区域的点云数据进行路面分割，划分出地面点云和非地面点云，并对非地面点云赋予路面可能性为零，从而将非地面点云从点云数据中剔除，仅保留地面点云。
本实施例中，通过对车辆周围环境中的点云数据进行路面分割，划分出地面点云和非地面点云，并将非地面点云从点云数据中剔除，能够避免非地面点云对后面融合步骤的干扰，达到降噪的目的，从而能够快速识别出路面地形。
在一个实施例中，对地面点云和目标图像进行融合，将路面可能性指标映射到地面点云中，包括：根据激光雷达和摄像头内外参数，将地面点云投影到目标图像，获得地面点云和目标图像的关联关系；根据关联关系将目标图像中各像素所对应的路面可能性指标映射到地面点云中。
其中，摄像头内外参数是指摄像头的内参和外参。
具体地，终端根据激光雷达和摄像头内外参数，获取三维坐标系的各个地面点云的坐标和二维坐标系中目标图像中各个像素点的坐标，将地面点云投影到目标图像，获得地面点云和目标图像的关联关系；根据关联关系将目标图像中各像素所对应的路面可能性指标映射到地面点云中，以实现地面点云和目标图像的特征层级的融合。
在另一个实施例中，路面可能性指标包括第一路面可能性指标和第二路面可能性指标，目标图像包括第一目标图像和第二目标图像，对地面点云和目标图像进行融合，将路面可能性指标映射到地面点云中，包括：根据激光雷达和摄像头内外参数，将地面点云分别投影到第一目标图像和第二目标对象，获得地面点云和第一目标图像的第一关联关系、地面点云和第二目标图像的第二关联关系；根据第一关联关系将第一目标图像中各像素所对应的第一路面可能性指标映射到地面点云中，并根据第二关联关系将第二目标图像中各像素所对应的第二路面可能性指标映射到地面点云中，以实现地面点云和第一目标图像、地面点云和第二目标图像的特征层级的融合。
其中，第一关联关系是地面点云和第一目标图像的关联关系，第二关联关系是地面点云和第二目标图像的关联关系。
本实施例中，由于目标图像中的每个像素均携带有路面可能性指标，因此，地面点云和目标图像的融合不仅是特征层级的数据融合，也是像素层级的数据融合，通过将地面点云和目标图像进行融合能够提供更准确和全面的路面信息。
在一个实施例中，地形识别结果包括栅格地图中的每个栅格记录的参数，参数至少包括地面点云数量、地面点云高度差、地面点云反射率和路面可能性指标中的一种，地形识别方法还包括：根据每个栅格记录的参数，基于规则的方式和神经网络的方式中的至少一种方式计算每个栅格的通过成本；对每个栅格的通过成本进行加权求和，确定栅格地图的最终通过成本。
其中，地面点云高度差指的是每个栅格中所包含的地面点云中具有最大高度的地面点云和具有最小高度的地面点云之间的高度差。基于规则的方式是通过判断地面点云数量、地面点云高度差等参数是否在预定范围内来确定每个栅格的通过成本。神经网络的方式是通过使用人工标注的带标签的样本数据对神经网络进行训练来确定每个栅格的通过成本。每个栅格的通过成本与每个栅格被占据的概率成正比，每个栅格被占据的概率越大，栅格的通过成本越大，最终通过成本是所有栅格被占据的概率的总和。当仅基于神经网络的方式、或者当基于规则的方式和神经网络的方式计算每个栅格的通过成本时，最终通过成本的计算还与神经网络的置信度有关，最终通过成本可以是对每个栅格被占据的概率进行加权求和之后再与神经网络的置信度做乘积运算得到的。
具体地，终端根据每个栅格记录的参数，参数至少包括地面点云数量、地面点云高度差、地面点云反射率和路面可能性指标中的一种，基于规则的方式和神经网络的方式中的至少一种方式计算每个栅格的通过成本；对每个栅格的通过成本进行加权求和，得到栅格地图的最终通过成本，以基于栅格地图的最终通过成本，为后续的行车路径规划提供输入，例如终端对栅格地图中通过成本小的栅格进行膨胀。
本实施例中，基于每个栅格记录的参数，通过规则的方式和神经网络的方式中的至少一种方式，能够达到计算每个栅格的通过成本以及栅格地图的最终通过成本的目的，为后续的行车路径规划提供输入。
在一个实施例中，如图4所示，提供了一种地形识别系统，用于戈壁、沙土路等野外硬质路面下，该系统至少包含一个激光雷达、一个摄像头以及一个控制器，用于处理激光雷达、摄像头数据。该地形识别系统采用如图5所示的地形识别方法，通过对车辆周围路面地形进行建模，输出栅格地图，为野外环境路径规划提供输入。
具体地，该地形识别方法包括以下步骤：
一、根据越野车运行工况，提前进行路面数据采集，并进行针对性的深度学习模型训练，训练好的模型通过tensorrt部署，实现实时性。训练好的深度学习语义分割算法可以实现对摄像头图片中的路面像素进行分割，根据深度学习输出的可信度对分割得到的图像中的每个像素赋予第一路面可能性指标，生成图像1。
二、通过预训练的深度学习场景识别算法，对当前车辆所处的场景进行分类，然后根据分类结果对应的场景先验信息，确定当前的路面颜色特征，例如在有车辙的戈壁场景中，黄色区域为可行驶区域的可能性相对较高；新建一个与摄像机图片尺寸相同的空白图像，基于路面颜色特征，对空白图像进行颜色处理，然后对颜色处理后的图像中最大可能性路面像素进行识别，并对颜色处理后的图像中的每个像素赋予第二路面可能性指标，生成图像2。
三、对感兴趣区域激光雷达点云进行提取，并对地面进行分割，针对非地面点云，每个三维点赋路面可能性为零，针对地面点云，根据激光雷达与摄像头内外参，分别将点云投影到图像1和图像2，获得三维点与图像像素之间的关联关系，根据关联关系，将图像1、图像2中的第一、第二路面可能性指标映射到地面点云中。
四、将带有第一、第二路面可能性指标的三维地面点云投影到栅格地图，每个栅格记录点云数量、点云高度差、点云反射率、来自图片1的第一路面可能性指标、来自图片2的第二路面可能性指标等信息，栅格地图中心为车辆原点，能够精确的反映车辆周围的路面地形信息。
五、根据每个栅格记录的参数，计算本栅格通过成本，用于后续路径规划，具体的计算方法采用基于规则及浅层神经网络两种方式，基于规则的方式是通过人工特征如最大高度、高度差等信息计算通过成本，基于浅层神经网络的方式是通过人工标注的真实数据对神经网络进行训练，最终通过成本根据神经网络置信度信息进行加权。
六、对得到的栅格地图进行滤波平滑处理，对路面可能性大的地方进行膨胀，并通过通讯中间件进行发布，为路径规划提供输入。
本实施例基于摄像头及激光雷达的融合，在视觉方面，根据场景先验信息，综合考虑了路面的颜色信息，最后得到的栅格地图能够充分利用激光雷达高度、反射率信息及摄像头深度学习、颜色特征信息，提高了路面地形建模精度，提高了地形识别的准确性，能够更好地适应野外环境。此外，在栅格地图中，通过浅层神经网络及人工规则的方式对栅格地图记录的特征进行处理，加权计算得到栅格地图的最终通过成本。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的地形识别方法的地形识别装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个地形识别装置实施例中的具体限定可以参见上文中对于地形识别方法的限定，在此不再赘述。
在一个实施例中，如图6所示，提供了一种地形识别装置600，包括：获取模块602、识别模块604、融合模块606和确定模块608，其中：
获取模块602，用于通过摄像头获取车辆周围环境的环境图像，并通过激光雷达获取车辆周围环境的点云数据。
识别模块604，用于对环境图像进行路面识别，基于路面识别结果对路面识别图像中的每个像素赋予路面可能性指标，得到目标图像。
识别模块604，还用于对车辆周围环境的点云数据进行路面分割，得到地面点云。
融合模块606，用于对地面点云和目标图像进行融合，将路面可能性指标映射到地面点云中。
确定模块608，用于将携带有路面可能性指标的地面点云投影到栅格地图，确定地形识别结果。
在一个实施例中，路面识别结果包括路面可信度和路面颜色特征，路面识别图像包括第一路面识别图像和第二路面识别图像，路面可能性指标包括第一路面可能性指标和第二路面可能性指标，目标图像包括第一目标图像和第二目标图像，识别模块604还用于基于路面分割模型对环境图像进行路面识别，得到第一路面识别图像和路面可信度；根据路面可信度对第一路面识别图像中的每个像素赋予第一路面可能性指标，得到第一目标图像；基于场景分类模型和场景先验信息，对环境图像进行路面识别，得到路面颜色特征，基于路面颜色特征和环境图像得到第二路面识别图像；根据路面颜色特征对第二路面识别图像中的每个像素赋予第二路面可能性指标，得到第二目标图像。
在一个实施例中，场景先验信息包括场景中的对象类别，识别模块604还用于基于场景分类模型对环境图像进行场景分类，得到场景分类结果；确定与场景分类结果对应的场景先验信息，基于与场景分类结果对应的场景先验信息，确定路面颜色特征。
在一个实施例中，识别模块604还用于获取车辆周围环境的点云数据中感兴趣区域的点云数据；对感兴趣区域的点云数据进行路面分割，识别出地面点云和非地面点云，并对非地面点云赋予路面可能性为零。
在一个实施例总，融合模块606还用于根据激光雷达和摄像头内外参数，将地面点云投影到目标图像，获得地面点云和目标图像的关联关系；根据关联关系将目标图像中各像素所对应的路面可能性指标映射到地面点云中。
在一个实施例中，地形识别结果包括栅格地图中的每个栅格记录的参数，参数至少包括地面点云数量、地面点云高度差、地面点云反射率和路面可能性指标中的一种，地形识别装置600还包括计算模块，该计算模块用于根据每个栅格记录的参数，基于规则的方式和神经网络的方式中的至少一种方式计算每个栅格的通过成本；对每个栅格的通过成本进行加权求和，确定栅格地图的最终通过成本。
上述地形识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种地形识别方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
通过摄像头获取车辆周围环境的环境图像，并通过激光雷达获取车辆周围环境的点云数据；
对环境图像进行路面识别，基于路面识别结果对路面识别图像中的每个像素赋予路面可能性指标，得到目标图像；
对车辆周围环境的点云数据进行路面分割，得到地面点云；
对地面点云和目标图像进行融合，将路面可能性指标映射到地面点云中；
将携带有路面可能性指标的地面点云投影到栅格地图，确定地形识别结果。
在一个实施例中，路面识别结果包括路面可信度和路面颜色特征，路面识别图像包括第一路面识别图像和第二路面识别图像，路面可能性指标包括第一路面可能性指标和第二路面可能性指标，目标图像包括第一目标图像和第二目标图像，处理器执行计算机程序时还实现以下步骤：基于路面分割模型对环境图像进行路面识别，得到第一路面识别图像和路面可信度；根据路面可信度对第一路面识别图像中的每个像素赋予第一路面可能性指标，得到第一目标图像；基于场景分类模型和场景先验信息，对环境图像进行路面识别，得到路面颜色特征，基于路面颜色特征和环境图像得到第二路面识别图像；根据路面颜色特征对第二路面识别图像中的每个像素赋予第二路面可能性指标，得到第二目标图像。
在一个实施例中，场景先验信息包括场景中的对象类别，处理器执行计算机程序时还实现以下步骤：基于场景分类模型对环境图像进行场景分类，得到场景分类结果；确定与场景分类结果对应的场景先验信息，基于与场景分类结果对应的场景先验信息，确定路面颜色特征。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取车辆周围环境的点云数据中感兴趣区域的点云数据；对感兴趣区域的点云数据进行路面分割，识别出地面点云和非地面点云，并对非地面点云赋予路面可能性为零。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据激光雷达和摄像头内外参数，将地面点云投影到目标图像，获得地面点云和目标图像的关联关系；根据关联关系将目标图像中各像素所对应的路面可能性指标映射到地面点云中。
在一个实施例中，地形识别结果包括栅格地图中的每个栅格记录的参数，参数至少包括地面点云数量、地面点云高度差、地面点云反射率和路面可能性指标中的一种，处理器执行计算机程序时还实现以下步骤：根据每个栅格记录的参数，基于规则的方式和神经网络的方式中的至少一种方式计算每个栅格的通过成本；对每个栅格的通过成本进行加权求和，确定栅格地图的最终通过成本。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
通过摄像头获取车辆周围环境的环境图像，并通过激光雷达获取车辆周围环境的点云数据；
对环境图像进行路面识别，基于路面识别结果对路面识别图像中的每个像素赋予路面可能性指标，得到目标图像；
对车辆周围环境的点云数据进行路面分割，得到地面点云；
对地面点云和目标图像进行融合，将路面可能性指标映射到地面点云中；
将携带有路面可能性指标的地面点云投影到栅格地图，确定地形识别结果。
在一个实施例中，路面识别结果包括路面可信度和路面颜色特征，路面识别图像包括第一路面识别图像和第二路面识别图像，路面可能性指标包括第一路面可能性指标和第二路面可能性指标，目标图像包括第一目标图像和第二目标图像，计算机程序被处理器执行时还实现以下步骤：基于路面分割模型对环境图像进行路面识别，得到第一路面识别图像和路面可信度；根据路面可信度对第一路面识别图像中的每个像素赋予第一路面可能性指标，得到第一目标图像；基于场景分类模型和场景先验信息，对环境图像进行路面识别，得到路面颜色特征，基于路面颜色特征和环境图像得到第二路面识别图像；根据路面颜色特征对第二路面识别图像中的每个像素赋予第二路面可能性指标，得到第二目标图像。
在一个实施例中，场景先验信息包括场景中的对象类别，计算机程序被处理器执行时还实现以下步骤：基于场景分类模型对环境图像进行场景分类，得到场景分类结果；确定与场景分类结果对应的场景先验信息，基于与场景分类结果对应的场景先验信息，确定路面颜色特征。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取车辆周围环境的点云数据中感兴趣区域的点云数据；对感兴趣区域的点云数据进行路面分割，识别出地面点云和非地面点云，并对非地面点云赋予路面可能性为零。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据激光雷达和摄像头内外参数，将地面点云投影到目标图像，获得地面点云和目标图像的关联关系；根据关联关系将目标图像中各像素所对应的路面可能性指标映射到地面点云中。
在一个实施例中，地形识别结果包括栅格地图中的每个栅格记录的参数，参数至少包括地面点云数量、地面点云高度差、地面点云反射率和路面可能性指标中的一种，计算机程序被处理器执行时还实现以下步骤：根据每个栅格记录的参数，基于规则的方式和神经网络的方式中的至少一种方式计算每个栅格的通过成本；对每个栅格的通过成本进行加权求和，确定栅格地图的最终通过成本。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
通过摄像头获取车辆周围环境的环境图像，并通过激光雷达获取车辆周围环境的点云数据；
对环境图像进行路面识别，基于路面识别结果对路面识别图像中的每个像素赋予路面可能性指标，得到目标图像；
对车辆周围环境的点云数据进行路面分割，得到地面点云；
对地面点云和目标图像进行融合，将路面可能性指标映射到地面点云中；
将携带有路面可能性指标的地面点云投影到栅格地图，确定地形识别结果。
在一个实施例中，路面识别结果包括路面可信度和路面颜色特征，路面识别图像包括第一路面识别图像和第二路面识别图像，路面可能性指标包括第一路面可能性指标和第二路面可能性指标，目标图像包括第一目标图像和第二目标图像，计算机程序被处理器执行时还实现以下步骤：基于路面分割模型对环境图像进行路面识别，得到第一路面识别图像和路面可信度；根据路面可信度对第一路面识别图像中的每个像素赋予第一路面可能性指标，得到第一目标图像；基于场景分类模型和场景先验信息，对环境图像进行路面识别，得到路面颜色特征，基于路面颜色特征和环境图像得到第二路面识别图像；根据路面颜色特征对第二路面识别图像中的每个像素赋予第二路面可能性指标，得到第二目标图像。
在一个实施例中，场景先验信息包括场景中的对象类别，计算机程序被处理器执行时还实现以下步骤：基于场景分类模型对环境图像进行场景分类，得到场景分类结果；确定与场景分类结果对应的场景先验信息，基于与场景分类结果对应的场景先验信息，确定路面颜色特征。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取车辆周围环境的点云数据中感兴趣区域的点云数据；对感兴趣区域的点云数据进行路面分割，识别出地面点云和非地面点云，并对非地面点云赋予路面可能性为零。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据激光雷达和摄像头内外参数，将地面点云投影到目标图像，获得地面点云和目标图像的关联关系；根据关联关系将目标图像中各像素所对应的路面可能性指标映射到地面点云中。
在一个实施例中，地形识别结果包括栅格地图中的每个栅格记录的参数，参数至少包括地面点云数量、地面点云高度差、地面点云反射率和路面可能性指标中的一种，计算机程序被处理器执行时还实现以下步骤：根据每个栅格记录的参数，基于规则的方式和神经网络的方式中的至少一种方式计算每个栅格的通过成本；对每个栅格的通过成本进行加权求和，确定栅格地图的最终通过成本。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (7)
1.一种地形识别方法，其特征在于，所述方法包括：
通过摄像头获取车辆周围环境的环境图像，并通过激光雷达获取车辆周围环境的点云数据；
基于路面分割模型对所述环境图像进行路面识别，得到第一路面识别图像和路面可信度；根据所述路面可信度对所述第一路面识别图像中的每个像素赋予第一路面可能性指标，得到第一目标图像；基于场景分类模型和场景先验信息，对所述环境图像进行路面识别，得到路面颜色特征，基于所述路面颜色特征和所述环境图像得到第二路面识别图像；根据所述路面颜色特征对所述第二路面识别图像中的每个像素赋予第二路面可能性指标，得到第二目标图像；获取所述车辆周围环境的点云数据中感兴趣区域的点云数据；对所述感兴趣区域的点云数据进行路面分割，识别出地面点云和非地面点云，并对所述非地面点云赋予路面可能性为零；
根据激光雷达和摄像头内外参数，将所述地面点云投影到目标图像，获得所述地面点云和所述目标图像的关联关系；根据所述关联关系将所述目标图像中各像素所对应的路面可能性指标映射到所述地面点云中；所述目标图像包括第一目标图像和第二目标图像，所述路面可能性指标包括第一路面可能性指标和第二路面可能性指标；
将携带有所述路面可能性指标的地面点云投影到栅格地图，确定地形识别结果。
2.根据权利要求1所述的方法，其特征在于，所述场景先验信息包括场景中的对象类别，所述基于场景分类模型和场景先验信息，对所述环境图像进行路面识别，得到路面颜色特征，包括：
基于场景分类模型对所述环境图像进行场景分类，得到场景分类结果；
确定与场景分类结果对应的场景先验信息，基于所述与场景分类结果对应的场景先验信息，确定路面颜色特征。
3.根据权利要求1或2中任一项所述的方法，其特征在于，所述地形识别结果包括栅格地图中的每个栅格记录的参数，所述参数至少包括地面点云数量、地面点云高度差、地面点云反射率和所述路面可能性指标中的一种，所述方法还包括：
根据所述每个栅格记录的参数，基于规则的方式和神经网络的方式中的至少一种方式计算每个栅格的通过成本；
对每个栅格的通过成本进行加权求和，确定栅格地图的最终通过成本。
4.一种地形识别装置，其特征在于，所述装置包括：
获取模块，用于通过摄像头获取车辆周围环境的环境图像，并通过激光雷达获取车辆周围环境的点云数据；
识别模块，用于基于路面分割模型对所述环境图像进行路面识别，得到第一路面识别图像和路面可信度；根据所述路面可信度对所述第一路面识别图像中的每个像素赋予第一路面可能性指标，得到第一目标图像；基于场景分类模型和场景先验信息，对所述环境图像进行路面识别，得到路面颜色特征，基于所述路面颜色特征和所述环境图像得到第二路面识别图像；根据所述路面颜色特征对所述第二路面识别图像中的每个像素赋予第二路面可能性指标，得到第二目标图像；
所述识别模块，还用于获取所述车辆周围环境的点云数据中感兴趣区域的点云数据；对所述感兴趣区域的点云数据进行路面分割，识别出地面点云和非地面点云，并对所述非地面点云赋予路面可能性为零；
融合模块，用于根据激光雷达和摄像头内外参数，将所述地面点云投影到目标图像，获得所述地面点云和所述目标图像的关联关系；根据所述关联关系将所述目标图像中各像素所对应的路面可能性指标映射到所述地面点云中；所述目标图像包括第一目标图像和第二目标图像，所述路面可能性指标包括第一路面可能性指标和第二路面可能性指标；
确定模块，用于将携带有所述路面可能性指标的地面点云投影到栅格地图，确定地形识别结果。
5.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3中任一项所述的方法的步骤。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至3中任一项所述的方法的步骤。
7.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至3中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210247301.9A CN114627073B (zh) | 2022-03-14 | 2022-03-14 | 地形识别方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210247301.9A CN114627073B (zh) | 2022-03-14 | 2022-03-14 | 地形识别方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114627073A CN114627073A (zh) | 2022-06-14 |
| CN114627073B true CN114627073B (zh) | 2024-06-04 |
Family
ID=81901937
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210247301.9A Active CN114627073B (zh) | 2022-03-14 | 2022-03-14 | 地形识别方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114627073B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115376109B (zh) * | 2022-10-25 | 2023-03-24 | 杭州华橙软件技术有限公司 | 障碍物检测方法、障碍物检测装置以及存储介质 |
| CN117576652B (zh) * | 2024-01-19 | 2024-04-26 | 福思(杭州)智能科技有限公司 | 道路对象的识别方法、装置和存储介质及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109840880A (zh) * | 2017-11-27 | 2019-06-04 | 北京图森未来科技有限公司 | 一种路面识别方法和装置 |
| CN111160302A (zh) * | 2019-12-31 | 2020-05-15 | 深圳一清创新科技有限公司 | 基于自动驾驶环境的障碍物信息识别方法和装置 |
| CN113496491A (zh) * | 2020-03-19 | 2021-10-12 | 广州汽车集团股份有限公司 | 一种基于多线激光雷达的路面分割方法及装置 |
| WO2022047744A1 (zh) * | 2020-09-04 | 2022-03-10 | 华为技术有限公司 | 一种用于地图的路面提取方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9715016B2 (en) * | 2015-03-11 | 2017-07-25 | The Boeing Company | Real time multi dimensional image fusing |
-
2022
- 2022-03-14 CN CN202210247301.9A patent/CN114627073B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109840880A (zh) * | 2017-11-27 | 2019-06-04 | 北京图森未来科技有限公司 | 一种路面识别方法和装置 |
| CN111160302A (zh) * | 2019-12-31 | 2020-05-15 | 深圳一清创新科技有限公司 | 基于自动驾驶环境的障碍物信息识别方法和装置 |
| CN113496491A (zh) * | 2020-03-19 | 2021-10-12 | 广州汽车集团股份有限公司 | 一种基于多线激光雷达的路面分割方法及装置 |
| WO2022047744A1 (zh) * | 2020-09-04 | 2022-03-10 | 华为技术有限公司 | 一种用于地图的路面提取方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114627073A (zh) | 2022-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Automatic building information model reconstruction in high-density urban areas: Augmenting multi-source data with architectural knowledge | |
| Shinzato et al. | Road terrain detection: Avoiding common obstacle detection assumptions using sensor fusion | |
| CN114627073B (zh) | 地形识别方法、装置、计算机设备和存储介质 | |
| Sameen et al. | A Two‐Stage Optimization Strategy for Fuzzy Object‐Based Analysis Using Airborne LiDAR and High‐Resolution Orthophotos for Urban Road Extraction | |
| US20210149408A1 (en) | Generating Depth From Camera Images and Known Depth Data Using Neural Networks | |
| CN114097006A (zh) | 交叉模态传感器数据对准 | |
| CN111582410B (zh) | 图像识别模型训练方法、装置、计算机设备及存储介质 | |
| Schoepfer et al. | A" Green Index" incorporating remote sensing and citizen's perception of green space | |
| US20220196432A1 (en) | System and method for determining location and orientation of an object in a space | |
| CN115497061A (zh) | 一种基于双目视觉的道路可行驶区域识别方法及装置 | |
| Ballinas-Hernández et al. | Marked and unmarked speed bump detection for autonomous vehicles using stereo vision | |
| CN116823966A (zh) | 相机的内参标定方法、装置、计算机设备和存储介质 | |
| CN115544190A (zh) | 语义地图更新方法、装置、计算机设备和存储介质 | |
| CN115565072A (zh) | 一种道路垃圾识别和定位方法、装置、电子设备及介质 | |
| CN115223146A (zh) | 障碍物检测方法、装置、计算机设备和存储介质 | |
| Widyaningrum et al. | Tailored features for semantic segmentation with a DGCNN using free training samples of a colored airborne point cloud | |
| JP2023152480A (ja) | 地図データ生成方法、地図データ生成装置及び地図データ生成プログラム | |
| Arvanitis et al. | Cooperative saliency-based obstacle detection and ar rendering for increased situational awareness | |
| Roman-Rivera et al. | 3D Point Cloud Outliers and Noise Reduction Using Neural Networks | |
| Erdem et al. | Reproducible Extraction of Building Footprints from Airborne LiDAR Data: A Demo Paper | |
| CN112651986A (zh) | 环境识别方法、识别装置、识别系统、电子设备及介质 | |
| Huang et al. | Ground filtering algorithm for mobile LIDAR using order and neighborhood point information | |
| Ozcanli et al. | Geo-localization using volumetric representations of overhead imagery | |
| CN116665157B (zh) | 道路图像处理方法、装置、计算机设备和存储介质 | |
| CN116007637B (zh) | 定位装置、方法、车载设备、车辆、及计算机程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |