CN112417976B - 一种路面检测识别方法、装置、智能终端及存储介质 - Google Patents

Abstract

本发明公开了一种路面检测识别方法、装置、智能终端及存储介质，其中，上述路面检测识别方法包括：获取图像数据；基于上述图像数据生成视差图；基于上述图像数据生成语义图；基于上述视差图和上述语义图进行路面检测识别，获取识别结果；输出上述识别结果。由于本发明方案通过语义图和视差图共同进行路面识别检测，不仅考虑了视野中所有像素对应的视差，还考虑了视野中所有像素对应的语义，结合视差和语义进行路面检测识别。因此，相较于现有技术中仅通过视差图进行路面检测识别的方案，本发明方案可更准确的进行路面检测识别。

Description

一种路面检测识别方法、装置、智能终端及存储介质

技术领域

本发明涉及机器视觉技术领域，尤其涉及的是一种路面检测识别方法、装置、智能终端及存储介质。

背景技术

自动驾驶技术是代替人类来感知车辆周围环境、进行驾驶决策规划并自动执行驾驶操作的技术。随着计算机视觉技术的发展和成熟，自动驾驶技术受到了广泛关注。车辆自动驾驶过程中，需要基于周围环境的图像，识别出可供车辆行驶的路面，从而保证车辆安全行驶。

现有技术中，通常依赖于视差图进行路面检测识别。现有技术的问题在于，仅通过视差图进行路面检测识别时，笼统的考虑视野中所有像素及其对应的视差，会造成路面检测识别的准确率较低。同时，当视差有误差时，也会造成路面检测识别的准确率降低。

因此，现有技术还有待改进和发展。

发明内容

针对现有技术中仅通过视差图进行路面检测识别时，笼统的考虑视野中所有像素及其对应的视差，会造成路面检测识别的准确率降低的技术问题，本发明提供一种路面检测识别方法、装置、智能终端及存储介质，可通过获取图像数据；基于上述图像数据生成视差图；基于上述图像数据生成语义图；基于上述视差图和上述语义图进行路面检测识别，获取识别结果；输出上述识别结果。通过语义图和视差图共同进行路面识别检测，不仅考虑了视野中所有像素对应的视差，还考虑了视野中所有像素对应的语义，结合视差和语义进行路面检测识别，从而可达到提高路面检测识别准确率的技术效果。

为了实现上述技术效果，本发明第一方面提供一种路面检测识别方法，其中，上述方法包括：

获取图像数据；

基于上述图像数据生成视差图；

基于上述图像数据生成语义图；

基于上述视差图和上述语义图进行路面检测识别，获取识别结果；

输出上述识别结果。

可选的，上述图像数据包括目标图像和双目图像，上述获取图像数据，包括：

获取目标图像，其中，上述目标图像为待检测区域的图像；

基于上述目标图像获取与上述目标图像对应的双目图像。

可选的，上述基于上述图像数据生成视差图，包括：

分别计算上述双目图像中各像素对应的视差；

基于上述各像素对应的视差生成与上述目标图像相对应的视差图。

可选的，上述基于上述图像数据生成语义图，包括：

对上述目标图像进行语义分割；

获取上述目标图像的各像素的语义信息；

基于上述各像素的语义信息生成与上述目标图像相对应的语义图。

可选的，上述基于上述视差图和上述语义图进行路面检测识别，获取识别结果，包括：

基于上述视差图、上述语义图以及预设的目标语义信息生成与上述目标图像对应的目标语义视差图；

获取上述目标语义视差图中的目标直线；

基于上述目标直线进行路面检测识别，获取识别结果。

可选的，上述基于上述目标直线进行路面检测识别，获取识别结果，包括：

基于上述目标直线获取目标像素，其中，上述目标像素为上述视差图中与上述目标直线处的元素的数值相关联的像素；

基于上述目标像素对上述目标图像中对应位置的像素进行标记，作为识别结果。

本发明第二方面提供一种路面检测识别装置，其中，上述装置包括：

图像获取模块，用于获取图像数据；

视差图生成模块，用于基于上述图像数据生成视差图；

语义图生成模块，用于基于上述图像数据生成语义图；

检测识别模块，用于基于上述视差图和上述语义图进行路面检测识别，获取识别结果；

结果输出模块，用于输出上述识别结果。

可选的，上述图像获取模块包括：

目标图像获取单元，用于获取目标图像，其中，上述目标图像为待检测区域的图像；

双目图像获取单元，用于基于上述目标图像获取与上述目标图像对应的双目图像。

本发明第三方面提供一种智能终端，包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的程序，上述程序被上述处理器执行时实现上述任意一种路面检测识别方法的步骤。

本发明第四方面提供一种非临时性计算机可读存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时实现上述任意一种路面检测识别方法的步骤。

由上可见，本发明方案获取图像数据；基于上述图像数据生成视差图；基于上述图像数据生成语义图；基于上述视差图和上述语义图进行路面检测识别，获取识别结果；输出上述识别结果。由于本发明方案通过语义图和视差图共同进行路面识别检测，不仅考虑了视野中所有像素对应的视差，还考虑了视野中所有像素对应的语义，结合视差和语义进行路面检测识别。因此，相较于现有技术中仅通过视差图进行路面检测识别的方案，本发明方案可更准确的进行路面检测识别。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例提供的一种路面检测识别方法的流程示意图；

图2是本发明实施例图1中步骤S100的具体流程示意图；

图3是本发明实施例图1中步骤S200的具体流程示意图；

图4是本发明实施例提供的一种视差图；

图5是本发明实施例图1中步骤S300的具体流程示意图；

图6是本发明实施例提供的一种语义图；

图7是本发明实施例图1中步骤S400的具体流程示意图；

图8是本发明实施例提供的一种现有技术中基于图4生成的V-视差图；

图9是本发明实施例提供的一种基于图4和图6生成的目标语义视差图；

图10是本发明实施例图7中步骤S403的具体流程示意图；

图11是本发明实施例提供的一种路面检测识别装置的结构示意图；

图12是本发明实施例图11中图像获取模块11的具体结构示意图；

图13是本发明实施例提供的一种智能终端的内部结构原理框图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况下，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当…时”或“一旦”或“响应于确定”或“响应于检测到”。类似的，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述的条件或事件]”或“响应于检测到[所描述条件或事件]”。

下面结合本发明实施例的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

随着汽车的普及，日常交通运输越来越繁忙，交通安全日益成为人们所关注的焦点。现有技术中，在驾驶过程中，通常通过驾驶员观察路面，并判断路面情况。然而，在驾驶员处于疲劳或未注意到时，往往会发生危险。在此基础上，自动驾驶技术不仅可以增加交通的安全性，还可以自动有效的选择出行路线，以快速到达目的地。同时，自动驾驶技术也可以作为驾驶员的辅助工具，方便驾驶员了解行车情况并可进行辅助控制，规避风险。目前，自动驾驶技术还面临许多亟待解决的问题，路面检测识别便是其中具有代表性的一个问题。

自动驾驶技术中，需要基于周围环境的图像，识别出可供车辆行驶的路面，从而保证车辆安全行驶。现有技术中，通常基于视差图考虑车辆行进方向视野中所有像素及其对应的视差进行路面检测识别，在此基础上，当路面不平整或有遮挡物时，不平整处或遮挡物处的视差会与正常的路面视差有较大差距，因而会造成路面检测识别的准确率较低。同时，当视差有误差时，也会造成路面检测识别的准确率降低。

为了解决现有技术中存在的问题，本发明提供一种路面检测识别方法，在本发明实施例中，当要进行路面检测识别时，先获取图像数据；基于上述图像数据生成视差图；基于上述图像数据生成语义图；基于上述视差图和上述语义图进行路面检测识别，获取识别结果；输出上述识别结果。如此，通过语义图和视差图共同进行路面识别检测，不仅考虑了视野中所有像素对应的视差，还考虑了视野中所有像素对应的语义，结合视差和语义进行路面检测识别。因此，相较于现有技术中仅通过视差图进行路面检测识别的方案，本发明实施例方案可更准确的进行路面检测识别。

示例性方法

如图1所示，本发明实施例提供一种路面检测识别方法，上述方法包括如下步骤：

步骤S100，获取图像数据。

其中，上述图像数据为汽车行进过程中前方视野的图像数据，上述图像数据可以通过设置于汽车前端的摄像头获得。

在一种应用场景中，可以基于预设的时间间隔持续获取上述图像数据，以持续对前方道路进行路面检测识别，保证行车安全。在另一种应用场景中，可以基于当前车速以及摄像头的视野范围确定获取上述图像数据的时间间隔，实现对当前车辆的前方道路进行恰好连续的路面检测识别，在保证行车安全的同时减小路面检测识别过程中的计算需求。

步骤S200，基于上述图像数据生成视差图。

步骤S300，基于上述图像数据生成语义图。

其中，上述视差图体现上述图像数据中的视差信息，上述语义图体现上述图像数据中的图像语义信息。上述视差图可以通过经典的视差计算方法获得，例如绝对差值法、图割法等，在此不做具体限定。

步骤S400，基于上述视差图和上述语义图进行路面检测识别，获取识别结果。

具体的，上述语义图中包括指示路面的语义信息，基于上述指示路面的语义信息指示的位置和上述视差图对路面进行检测识别，获取路面对应的区域位置，作为识别结果。

可选的，还可以基于上述路面对应的区域位置计算出路面相对于当前车辆的坐标数据，作为识别结果。

步骤S500，输出上述识别结果。

可选的，可以通过图片的形式输出上述识别结果，即，将路面对应的区域位置在图片中标记出来并输出。

可选的，在基于上述路面检测识别方法控制车辆自动驾驶时，还可以通过坐标数据的形式输出上述识别结果，即，输出路面相对于当前车辆的坐标数据，具体的，可以输出路面轮廓相对于当前车辆的坐标数据，从而可基于上述坐标数据控制车辆的行进方向。

可选的，在基于上述路面检测识别方法辅助驾驶员驾驶时，还可以通过语音播报的形式输出上述识别结果，如，播报“当前方向车辆左侧2米至右侧4米范围内为路面”，从而使驾驶员了解路面情况，保障行车安全。

进一步的，还可以基于上述路面的识别结果判断路面情况并输出，例如，当检测出的路面轮廓有弯曲时，说明前方有拐弯，此时可以控制车辆减速过弯或对驾驶员进行提示，进一步提高行车安全性。

由上可见，本发明实施例提供的路面检测识别方法获取图像数据；基于上述图像数据生成视差图；基于上述图像数据生成语义图；基于上述视差图和上述语义图进行路面检测识别，获取识别结果；输出上述识别结果。由于本实施例方案通过语义图和视差图共同进行路面识别检测，不仅考虑了视野中所有像素对应的视差，还考虑了视野中所有像素对应的语义，结合视差和语义进行路面检测识别。因此，相较于现有技术中仅通过视差图进行路面检测识别的方案，本发明方案可更准确的进行路面检测识别。

具体的，如图2所示，本实施例中，上述步骤S100包括：

步骤S101，获取目标图像，其中，上述目标图像为待检测区域的图像。

步骤S102，基于上述目标图像获取与上述目标图像对应的双目图像。

其中，上述待检测区域为车辆行进方向前方的区域，实际应用中，需要在车辆行进过程中对前方道路进行路面检测识别，以便控制车辆行进。

本实施例中，可以通过设置于车辆前端中部的目标图像获取摄像头获取车辆的目标图像，并通过设置于车辆前端的左右两边的双目图像获取摄像头获取与上述目标图像相对应的双目图像。例如，可以在车辆的左右后视镜处分别设置摄像头，用于获取双目图像。通过两个具有一定距离的摄像头采集获得双目图像，进而可计算获得与目标图像相对应的视差图。

可选的，可以将上述目标图像作为上述双目图像中的一个视图，例如将上述目标图像作为上述双目图像的左视图或右视图，如此，只需进一步获取上述双目图像的另一个视图，且可以减小图像处理和计算量，提高检测识别速度。在此基础上，只需要在车辆前端的左右两边设置两个摄像头即可。

具体的，如图3所示，本实施例中，上述步骤S200包括：

步骤S201，分别计算上述双目图像中各像素对应的视差。

步骤S202，基于上述各像素对应的视差生成与上述目标图像相对应的视差图。

具体的，上述双目图像与上述目标图像中的像素一一对应。在两个具有一定距离的摄像头所采集的图像中，同一目标的映像具有一定的方向差异，这一差异便是视差，越近的目标，视差越大。因此，可以以双目图像中的像素作为目标，计算上述双目图像中各像素对应的视差，从而生成视差图。

图4示出了本实施例提供的一种视差图，如图4所示，上述视差图包括n*m个元素，其中，上述n为视差图的行数，m为视差图的列数，m和n都为大于或等于1的整数，本实施例中，n＝6，m＝6。上述每一个元素分别为目标图像的相应像素对应的视差，即，对应的目标图像包括n*m个像素。

具体的，如图5所示，本实施例中，上述步骤S300包括：

步骤S301，对上述目标图像进行语义分割。

步骤S302，获取上述目标图像的各像素的语义信息。

步骤S303，基于上述各像素的语义信息生成与上述目标图像相对应的语义图。

可选的，上述步骤S301中进行语义分割可以通过全卷积神经网络算法实现，还可以有其它实现方法，在此不做具体限定。

可选的，上述步骤S302中，可以基于语义分割后的结果以及预设的语义关键词获取上述目标图像的各像素的语义信息。其中，预设的语义关键词可以是预先设置的车辆行进道路上可能出现的对象，例如路面、路障、动物体、人体、路标、护栏等，以便进行语音信息匹配，快速获取各像素的语义信息。具体的，上述语义关键词可以根据实际使用过程中的需求进行调整，在此不做具体限制。例如，仅关心路面和障碍物时，仅设置“路”和“障碍物”作为语义关键词，将除路面以外的其它物体都识别为障碍物。

图6示出了本实施例提供的一种语义图，上述语义图与图4中所示的视差图基于同一目标图像获得。如图6所示，上述语义图包括n*m个元素，其中，上述n为语义图的行数，m为语义图的列数，m和n都为大于或等于1的整数，本实施例中，n＝6，m＝6。上述每一个元素分别为目标图像的相应像素对应的语义信息，即，对应的目标图像包括n*m个像素。

可选的，上述步骤S301中，对上述目标图像进行语义分割后，还可以对上述语义分割及结果进行调整，调整某些像素对应的语义信息，以减小自动语义分割过程中产生的误判对路面检测识别结果的影响，提高路面检测识别的准确性。例如，上述图6中第5行和第6行的第1个元素对应的像素本应当是树，被错误的识别成路面，此时可以人工调整，将其修改为树，以提高路面检测识别的准确性。

可选的，也可以对上述目标图像进行多次语义分割后综合判断并获取上述目标图像的各像素的语义信息，进而形成更准确的语义图，在此不做具体限制。

具体的，如图7所示，本实施例中，上述步骤S400包括：

步骤S401，基于上述视差图、上述语义图以及预设的目标语义信息生成与上述目标图像对应的目标语义视差图。

步骤S402，获取上述目标语义视差图中的目标直线。

步骤S403，基于上述目标直线进行路面检测识别，获取识别结果。

可选的，上述步骤S401具体包括，基于上述视差图中与上述语义图中的目标语义所对应的像素相对应的视差元素，生成上述目标语义视差图。其中，上述目标语义视差图是一种基于语义图生成的语义V-视差图。

图8示出了现有技术中一种基于上述图4的视差图生成的V-视差图，图9示出了本实施例提供的一种基于上述图4的视差图和上述图6的语义图生成的目标语义视差图。

其中，上述V-视差图中每一行的第i个元素统计目标图像的该行中视差为i-1的像素的个数，其中，i大于等于1且小于等于A+1，A为上述视差图中最大的视差值(即上述视差图中最大的元素值)。可见上述V-视差图要考虑视差图中每一个元素，因而使得上述V-视差图的元素的值较为复杂。

而上述目标语义视差图仅考虑上述语义图(图6)中对应的语义信息为“路”的区域。具体的，本实施例中，在上述步骤S401中，先将上述语义图中的语义信息为待检测目标的区域作为目标区域，本实施例中，上述待检测目标为路，因此将上述语义图中语义信息为“路”相对应的区域作为目标区域，具体包括图6中的两处灰色区域。然后对上述视差图中与上述目标区域相对应的区域内的视差进行统计，生成上述目标语义视差图。上述目标语义视差图中每一行的第i个元素统计目标图像与目标区域对应的区域中，该行的视差为i-1的像素的个数，其中，i大于等于1且小于等于A+1，A为上述视差图中最大的视差值(即上述视差图中最大的元素值)。

可见，本实施例方案中，基于语义图确定目标区域，仅对视差图中与目标区域对应区域内的视差进行统计，能过滤掉场景中其它物体的干扰，提高路面检测识别的准确性。同时，使得获得的目标语义视差图的元素组成也更简单，有利于快速准确的识别目标直线。

可选的，上述目标语义视差图中的目标直线为目标语义视差图中最主要的直线。其中，上述目标直线上的元素统计的视差即为路面对应的像素的视差。本实施例中，上述目标语义视差图中的目标直线如图9中的灰色部分所示。可选的，可以基于经典霍夫变换侦测上述语义视差图中的目标直线，还可以有其它方案，在此不做具体限制。

具体的，基于现有技术生成的上述视差图(图8)中的灰色部分也是该视差图的目标直线，对比图8和图9可知，由于图8中元素组成复杂，因此在图8中识别目标直线要更为困难，且更容易误判。因此，本实施例提供的方案可减小路面检测识别难度，提高路面检测识别精准度。

同时，如上文所述，上述语义图(图6)中第5行和第6行的第1个元素对应的像素本应当是树，被错误的识别成路面。本实施例中，未进行调整，直接基于目标区域生成的目标语义视差图。但据获得的目标语义视差图(图9)可知，上述错误的部分并未被统计到上述目标语义视差图的目标直线对应的元素中，因此基于目标直线进行路面检测识别时不会受到该错误部分的影响。可见，基于视差图和语义图共同进行路面检测识别有一定的容错能力，可以提高路面检测识别的准确性和鲁棒性。

可选的，还可以基于上述目标直线、上述视差图以及上述语义图检测识别出路面不平的情况。例如，在实际宽度相同的道路上，若上述目标直线上的元素中有一个元素的值与其它元素的值不同，该元素对应的语义图中该行识别有3个元素对应的语义信息为路，而对应的视差图中该行的3个元素的值中有一个值与其它元素的值不相等，例如3个元素的值分别为3，2，3，则说明该处路面不平。可以据此进一步控制车辆驾驶或提示驾驶员，提高行车安全性。

具体的，如图10所示，本实施例中，上述步骤S403包括：

步骤S4031，基于上述目标直线获取目标像素，其中，上述目标像素为上述视差图中与上述目标直线处的元素的数值相关联的像素。

具体的，如图9所示的目标语义视差图中的目标直线的第一个元素为上述目标语义视差图中第2行第1个的元素，其元素值为3。其元素值代表目标图像中有3个像素对应的视差值为0，即该行有3个目标像素。对应的这3个目标像素的具体位置可以基于视差图中该行被统计的像素的确认。结合图4可知，视差图中，上述3个目标像素是视差图中第2行的第3个、第4个以及第5个的像素。可选的，上述目标像素也可以为上述语义图中与上述目标直线处的元素的数值相关联的像素，其查找过程与基于视差图的查找过程相似，在此不再赘述。

步骤S4032，基于上述目标像素对上述目标图像中对应位置的像素进行标记，作为识别结果。

由于上述视差图与上述目标图像的像素位置是一一对应的，因此可以基于上述目标像素对上述目标图像中对应位置的像素进行标记。

本实施例中，如上所述，基于目标直线上的第一个元素，可以标记目标图像中第2行的第3个、第4个以及第5个的像素为路面。基于目标直线的所有元素即可识别出上述目标图像中所有与路面相对应的像素。

示例性设备

如图11中所示，对应于上述路面检测识别方法，本发明实施例还提供一种路面检测识别装置，上述路面检测识别装置包括：

图像获取模块11，用于获取图像数据。

其中，上述图像数据为汽车行进过程中前方视野的图像数据，上述图像获取模块11可以包括设置于汽车前端的摄像头。

在一种应用场景中，上述图像获取模块11可以基于预设的时间间隔持续获取上述图像数据，以持续对前方道路进行路面检测识别，保证行车安全。在另一种应用场景中，上述图像获取模块11可以基于当前车速以及摄像头的视野范围确定获取上述图像数据的时间间隔，实现对当前车辆的前方道路进行恰好连续的路面检测识别，在保证行车安全的同时减小路面检测识别过程中的计算需求。

视差图生成模块12，用于基于上述图像数据生成视差图。

语义图生成模块13，用于基于上述图像数据生成语义图。

其中，上述视差图体现上述图像数据中的视差信息，上述语义图体现上述图像数据中的图像语义信息。上述视差图生成模块12可以通过经典的视差计算方法获得视差图，例如绝对差值法、图割法等，在此不做具体限定。

检测识别模块14，用于基于上述视差图和上述语义图进行路面检测识别，获取识别结果。

具体的，上述语义图中包括指示路面的语义信息，上述检测识别模块14基于上述指示路面的语义信息指示的位置和上述视差图对路面进行检测识别，获取路面对应的区域位置，作为识别结果。

结果输出模块15，用于输出上述识别结果。

可选的，可以通过图片的形式输出上述识别结果，即，将路面对应的区域位置在图片中标记出来并输出。

可选的，在基于上述路面检测识别方法控制车辆自动驾驶时，还可以通过坐标数据的形式输出上述识别结果，即，输出路面相对于当前车辆的坐标数据，具体的，可以输出路面轮廓相对于当前车辆的坐标数据，从而可基于上述坐标数据控制车辆的行进方向。

可选的，在基于上述路面检测识别方法辅助驾驶员驾驶时，还可以通过语音播报的形式输出上述识别结果，如，播报“当前方向车辆左侧2米至右侧4米范围内为路面”，从而使驾驶员了解路面情况，保障行车安全。

进一步的，还可以基于上述路面的识别结果判断路面情况并输出，例如，当检测出的路面轮廓有弯曲时，说明前方有拐弯，此时可以控制车辆减速过弯或对驾驶员进行提示，进一步提高行车安全性。

由上可见，本发明实施例提供的路面检测识别装置通过图像获取模块11获取图像数据；通过视差图生成模块12基于上述图像数据生成视差图；通过语义图生成模块13基于上述图像数据生成语义图；通过检测识别模块14基于上述视差图和上述语义图进行路面检测识别，获取识别结果；通过结果输出模块15输出上述识别结果。由于本实施例方案通过语义图和视差图共同进行路面识别检测，不仅考虑了视野中所有像素对应的视差，还考虑了视野中所有像素对应的语义，结合视差和语义进行路面检测识别。因此，相较于现有技术中仅通过视差图进行路面检测识别的方案，本发明方案可更准确的进行路面检测识别。

具体的，如图12所示，本实施例中，上述图像获取模块11包括：

目标图像获取单元111，用于获取目标图像，其中，上述目标图像为待检测区域的图像。

双目图像获取单元112，用于基于上述目标图像获取与上述目标图像对应的双目图像。

其中，上述待检测区域为车辆行进方向前方的区域，实际应用中，需要在车辆行进过程中对前方道路进行路面检测识别，以便控制车辆行进。

本实施例中，上述目标图像获取单元111可以包括设置于车辆前端中部的目标图像获取摄像头，上述双目图像获取单元112可以包括设置于车辆前端的左右两边的双目图像获取摄像头。例如，可以在车辆的左右后视镜处分别设置摄像头，用于获取双目图像。通过两个具有一定距离的摄像头采集获得双目图像，进而可计算获得与目标图像相对应的视差图。

可选的，可以将上述目标图像作为上述双目图像中的一个视图，例如将上述目标图像作为上述双目图像的左视图或右视图，如此，只需进一步获取上述双目图像的另一个视图，且可以减小图像处理和计算量，提高检测识别速度。在此基础上，只需要在车辆前端的左右两边设置两个摄像头即可。

可选的，上述视差图生成模块12具体用于：分别计算上述双目图像中各像素对应的视差；基于上述各像素对应的视差生成与上述目标图像相对应的视差图。

具体的，上述双目图像与上述目标图像中的像素一一对应。在两个具有一定距离的摄像头所采集的图像中，同一目标的映像具有一定的方向差异，这一差异便是视差，越近的目标，视差越大。因此，可以以双目图像中的像素作为目标，计算上述双目图像中各像素对应的视差，从而生成视差图。

图4示出了本实施例提供的一种视差图，如图4所示，上述视差图包括n*m个元素，其中，上述n为视差图的行数，m为视差图的列数，m和n都为大于或等于1的整数，本实施例中，n＝6，m＝6。上述每一个元素分别为目标图像的相应像素对应的视差，即，对应的目标图像包括n*m个像素。

可选的，上述语义图生成模块13具体用于：对上述目标图像进行语义分割；获取上述目标图像的各像素的语义信息；基于上述各像素的语义信息生成与上述目标图像相对应的语义图。

可选的，上述进行语义分割可以通过全卷积神经网络算法实现，还可以有其它实现方法，在此不做具体限定。

可选的，上述获取上述目标图像的各像素的语义信息的过程中，可以基于语义分割后的结果以及预设的语义关键词获取上述目标图像的各像素的语义信息。其中，预设的语义关键词可以是预先设置的车辆行进道路上可能出现的对象，例如路面、路障、动物体、人体、路标、护栏等，以便进行语音信息匹配，快速获取各像素的语义信息。具体的，上述语义关键词可以根据实际使用过程中的需求进行调整，在此不做具体限制。例如，仅关心路面和障碍物时，仅设置“路”和“障碍物”作为语义关键词，将除路面以外的其它物体都识别为障碍物。

图6示出了本实施例提供的一种语义图，上述语义图与图4中所示的视差图基于同一目标图像获得。如图6所示，上述语义图包括n*m个元素，其中，上述n为语义图的行数，m为语义图的列数，m和n都为大于或等于1的整数，本实施例中，n＝6，m＝6。上述每一个元素分别为目标图像的相应像素对应的语义信息，即，对应的目标图像包括n*m个像素。

可选的，对上述目标图像进行语义分割后，上述语义图生成模块13还可以对上述语义分割及结果进行调整，调整某些像素对应的语义信息，以减小自动语义分割过程中产生的误判对路面检测识别结果的影响，提高路面检测识别的准确性。例如，上述图6中第5行和第6行的第1个元素对应的像素本应当是树，被错误的识别成路面，此时可以人工调整，将其修改为树，以提高路面检测识别的准确性。

可选的，上述语义图生成模块13也可以对上述目标图像进行多次语义分割后综合判断并获取上述目标图像的各像素的语义信息，进而形成更准确的语义图，在此不做具体限制。

可选的，上述检测识别模块14具体用于：基于上述视差图、上述语义图以及预设的目标语义信息生成与上述目标图像对应的目标语义视差图；获取上述目标语义视差图中的目标直线；基于上述目标直线进行路面检测识别，获取识别结果。

可选的，上述检测识别模块14具体用于，基于上述视差图中与上述语义图中的目标语义所对应的像素相对应的视差元素，生成上述目标语义视差图。其中，上述目标语义视差图是一种基于语义图生成的语义V-视差图。

图8示出了现有技术中一种基于上述图4的视差图生成的V-视差图，图9示出了本实施例提供的一种基于上述图4的视差图和上述图6的语义图生成的目标语义视差图。

其中，上述V-视差图中每一行的第i个元素统计目标图像的该行中视差为i-1的像素的个数，其中，i大于等于1且小于等于A+1，A为上述视差图中最大的视差值(即上述视差图中最大的元素值)。可见上述V-视差图要考虑视差图中每一个元素，因而使得上述V-视差图的元素的值较为复杂。

而上述目标语义视差图仅考虑上述语义图(图6)中对应的语义信息为“路”的区域。具体的，本实施例中，上述检测识别模块14先将上述语义图中的语义信息为待检测目标的区域作为目标区域，本实施例中，上述待检测目标为路，因此将上述语义图中语义信息为“路”相对应的区域作为目标区域，具体包括图6中的两处灰色区域。然后对上述视差图中与上述目标区域相对应的区域内的视差进行统计，生成上述目标语义视差图。上述目标语义视差图中每一行的第i个元素统计目标图像与目标区域对应的区域中，该行的视差为i-1的像素的个数，其中，i大于等于1且小于等于A+1，A为上述视差图中最大的视差值(即上述视差图中最大的元素值)。

可见，本实施例方案中，基于语义图确定目标区域，仅对视差图中与目标区域对应区域内的视差进行统计，能过滤掉场景中其它物体的干扰，提高路面检测识别的准确性。同时，使得获得的目标语义视差图的元素组成也更简单，有利于快速准确的识别目标直线。

可选的，上述目标语义视差图中的目标直线为目标语义视差图中最主要的直线。其中，上述目标直线上的元素统计的视差即为路面对应的像素的视差。本实施例中，上述目标语义视差图中的目标直线如图9中的灰色部分所示。可选的，可以基于经典霍夫变换侦测上述语义视差图中的目标直线，还可以有其它方案，在此不做具体限制。

具体的，基于现有技术生成的上述视差图(图8)中的灰色部分也是该视差图的目标直线，对比图8和图9可知，由于图8中元素组成复杂，因此在图8中识别目标直线要更为困难，且更容易误判。因此，本实施例提供的方案可减小路面检测识别难度，提高路面检测识别精准度。

同时，如上文所述，上述语义图(图6)中第5行和第6行的第1个元素对应的像素本应当是树，被错误的识别成路面。本实施例中，未进行调整，直接基于目标区域生成的目标语义视差图。但据获得的目标语义视差图(图9)可知，上述错误的部分并未被统计到上述目标语义视差图的目标直线对应的元素中，因此基于目标直线进行路面检测识别时不会受到该错误部分的影响。可见，基于视差图和语义图共同进行路面检测识别有一定的容错能力，可以提高路面检测识别的准确性和鲁棒性。

可选的，上述检测识别模块14还可以基于上述目标直线、上述视差图以及上述语义图检测识别出路面不平的情况。例如，在实际宽度相同的道路上，若上述目标直线上的元素中有一个元素的值与其它元素的值不同，该元素对应的语义图中该行识别有3个元素对应的语义信息为路，而对应的视差图中该行的3个元素的值中有一个值与其它元素的值不相等，例如3个元素的值分别为3，2，3，则说明该处路面不平。可以据此进一步控制车辆驾驶或提示驾驶员，提高行车安全性。

进一步的，上述检测识别模块14具体用于：基于上述目标直线获取目标像素，其中，上述目标像素为上述视差图中与上述目标直线处的元素的数值相关联的像素；基于上述目标像素对上述目标图像中对应位置的像素进行标记，作为识别结果。

具体的，如图9所示的目标语义视差图中的目标直线的第一个元素为上述目标语义视差图中第2行第1个的元素，其元素值为3。其元素值代表目标图像中有3个像素对应的视差值为0，即该行有3个目标像素。对应的这3个目标像素的具体位置可以基于视差图中该行被统计的像素的确认。结合图4可知，视差图中，上述3个目标像素是视差图中第2行的第3个、第4个以及第5个的像素。可选的，上述目标像素也可以为上述语义图中与上述目标直线处的元素的数值相关联的像素，其查找过程与基于视差图的查找过程相似，在此不再赘述。

由于上述视差图与上述目标图像的像素位置是一一对应的，因此可以基于上述目标像素对上述目标图像中对应位置的像素进行标记。

本实施例中，如上所述，基于目标直线上的第一个元素，可以标记目标图像中第2行的第3个、第4个以及第5个的像素为路面。基于目标直线的所有元素即可识别出上述目标图像中所有与路面相对应的像素。

基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图13所示。上述智能终端包括通过系统总线连接的处理器、存储器、网络接口以及显示屏。其中，该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时实现上述任意一种路面检测识别方法的步骤。该智能终端的显示屏可以是液晶显示屏或者电子墨水显示屏。

本领域技术人员可以理解，图13中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体的智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种智能终端，包括有存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的程序，上述程序被上述处理器执行时进行以下操作指令：

获取图像数据；

基于上述图像数据生成视差图；

基于上述图像数据生成语义图；

基于上述视差图和上述语义图进行路面检测识别，获取识别结果；

输出上述识别结果。

本发明实施例还提供一种非临时性计算机可读存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时实现本发明实施例提供的任一种路面检测识别方法所述的步骤。

应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以由另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述计算机程序可存储于以计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不是相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (9)

1.一种路面检测识别方法，其特征在于，所述方法包括：

获取图像数据；

基于所述图像数据生成视差图；

基于所述图像数据生成语义图；

基于所述视差图和所述语义图进行路面检测识别，获取识别结果；

所述基于所述视差图和所述语义图进行路面检测识别，获取识别结果，包括：

基于所述视差图、所述语义图以及预设的目标语义信息生成与目标图像对应的目标语义视差图；

获取所述目标语义视差图中的目标直线；

所述目标直线上的元素统计的视差包括路面对应的像素的视差；

基于所述目标直线进行路面检测识别，获取识别结果；

输出所述识别结果。

2.根据权利要求1所述的路面检测识别方法，其特征在于，所述图像数据包括目标图像和双目图像，所述获取图像数据，包括：

获取目标图像，其中，所述目标图像为待检测区域的图像；

基于所述目标图像获取与所述目标图像对应的双目图像。

3.根据权利要求2所述的路面检测识别方法，其特征在于，所述基于所述图像数据生成视差图，包括：

分别计算所述双目图像中各像素对应的视差；

基于所述各像素对应的视差生成与所述目标图像相对应的视差图。

4.根据权利要求2所述的路面检测识别方法，其特征在于，所述基于所述图像数据生成语义图，包括：

对所述目标图像进行语义分割；

获取所述目标图像的各像素的语义信息；

基于所述各像素的语义信息生成与所述目标图像相对应的语义图。

5.根据权利要求1所述的路面检测识别方法，其特征在于，所述基于所述目标直线进行路面检测识别，获取识别结果，包括：

基于所述目标直线获取目标像素，其中，所述目标像素为所述视差图中与所述目标直线处的元素的数值相关联的像素；

基于所述目标像素对所述目标图像中对应位置的像素进行标记，作为识别结果。

6.一种路面检测识别装置，其特征在于，所述装置包括：

图像获取模块，用于获取图像数据；

视差图生成模块，用于基于所述图像数据生成视差图；

语义图生成模块，用于基于所述图像数据生成语义图；

检测识别模块，用于基于所述视差图和所述语义图进行路面检测识别，获取识别结果；

所述基于所述视差图和所述语义图进行路面检测识别，获取识别结果，包括：

基于所述视差图、所述语义图以及预设的目标语义信息生成与目标图像对应的目标语义视差图；

获取所述目标语义视差图中的目标直线；

所述目标直线上的元素统计的视差包括路面对应的像素的视差；

基于所述目标直线进行路面检测识别，获取识别结果；

结果输出模块，用于输出所述识别结果。

7.根据权利要求6所述的路面检测识别装置，其特征在于，所述图像获取模块包括：

目标图像获取单元，用于获取目标图像，其中，所述目标图像为待检测区域的图像；

双目图像获取单元，用于基于所述目标图像获取与所述目标图像对应的双目图像。

8.一种智能终端，其特征在于，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如权利要求1-5任意一项所述方法的步骤。

9.一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-5任意一项所述的方法的步骤。