CN109657628A - 一种用于确定车辆的可行驶区域的方法与设备 - Google Patents
一种用于确定车辆的可行驶区域的方法与设备 Download PDFInfo
- Publication number
- CN109657628A CN109657628A CN201811579761.1A CN201811579761A CN109657628A CN 109657628 A CN109657628 A CN 109657628A CN 201811579761 A CN201811579761 A CN 201811579761A CN 109657628 A CN109657628 A CN 109657628A
- Authority
- CN
- China
- Prior art keywords
- profile
- travelable
- image
- travelable region
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Abstract
本申请的目的是提供一种用于确定车辆的可行驶区域的方法与设备，对车辆环境图像进行预处理，以获得对应的类别图像，其中所述类别图像包括至少一个轮廓；基于所述至少一个轮廓，确定一可行驶区域轮廓；以及根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息，并基于类别属性信息包括可行驶的采样点，确定车辆的可行驶区域。本申请能够简化信息传输通道，传输的信息也更易于处理，便于实现车辆的实时控制和决策。
Description
技术领域
本申请涉及计算机视觉领域，尤其涉及一种用于确定车辆的可行驶区域的技术。
背景技术
近年来，计算机技术越来越多地应用到车辆驾驶领域。伴随着汽车产业的发展，车辆智能驾驶系统往往需要获取车辆周围环境中可行驶区域的结构化信息，用于车辆行驶的实时控制和决策。
目前，车辆感知模块的可行驶区域检测大多基于深度学习中的语义分割技术得到像素级的类别图像，进而获取相应的可行驶区域。但是，这种可行驶区域检测技术通常精准度还有待提高，也无法获得对可行驶区域的结构化信息的描述。此外，这种可行驶区域检测技术需要传输的数据量较大，数据传输通道复杂，为车辆的实时控制和决策带来了挑战。
发明内容
本申请的一个目的是提供一种用于确定车辆的可行驶区域的方法。
根据本申请的一个方面，提供了一种用于确定车辆的可行驶区域的方法，该方法包括以下步骤：
对车辆环境图像进行预处理，以获得对应的类别图像，其中所述类别图像包括至少一个轮廓；
基于所述至少一个轮廓，确定一可行驶区域轮廓；以及
根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息，并基于类别属性信息包括可行驶的采样点，确定车辆的可行驶区域；
其中，所述多个采样点位于所述可行驶区域轮廓上。
根据本申请的另一个方面，提供了一种用于确定车辆的可行驶区域的设备，该设备包括：
图像预处理模块，用于对车辆环境图像进行预处理，以获得对应的类别图像，其中所述类别图像包括至少一个轮廓；
轮廓处理模块，用于基于所述至少一个轮廓，确定一可行驶区域轮廓；以及
可行驶区域确定模块，用于根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息，并基于类别属性信息包括可行驶的采样点，确定车辆的可行驶区域；
其中，所述多个采样点位于所述可行驶区域轮廓上。
根据本申请的一个方面，提供了一种用于确定车辆的可行驶区域的设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以上所述方法的操作。
根据本申请的另一个方面，提供了一种包括指令的计算机可读介质，所述指令在被执行时使得系统进行以上所述方法的操作。
与现有技术相比，本申请基于采样点的类别属性确定车辆的可行驶区域，能够更准确地描述可行驶区域，并且大大减少了检测可行驶区域时所需要传输的数据量，因此能够简化信息传输通道，传输的信息也更易于处理，便于实现车辆的实时控制和决策。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是根据本申请一个实施例的用于确定车辆的可行驶区域的方法流程图；
图2示出根据本申请另一个实施例的采样点分布；
图3示出根据本申请另一个实施例的可行驶区域确定设备的功能模块；
图4示出一种示例性系统的功能模块。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，如android操作系统、iOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。
当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在本申请的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。
以下基于一种可行驶区域确定设备，对本申请的具体实施方式进行详细描述。
根据本申请的一个方面，提供了一种用于确定车辆的可行驶区域的方法。参考图1，该方法包括步骤S100、步骤S200和步骤S300。
在步骤S100中，可行驶区域确定设备对车辆环境图像进行预处理，以获得对应的类别图像，其中所述类别图像包括至少一个轮廓。在一些实施例中，所述类别图像用于区分原车辆环境图像中的各部分，例如用于区分其中的可行驶区域和不可行驶区域。其中，所述至少一个轮廓，是基于对车辆环境图像中的连通区域的轮廓信息进行分析而获得的。在一些实施例中，以上所述的预处理包括以下的一种或者多种：
1)对车辆环境图像中的像素执行类别化操作，例如对该图像进行二值化以获得相应的二值化图像；
2)对车辆环境图像执行语义分割操作，例如系统通过摄像头采集到车辆周围环境的图像后，将该图像输入事先训练好的可行驶区域检测模型，以获得语义分割结果(例如该图像所对应的类别图像，或者用于生成该类别图像的中间图像)，在一些实施例中该可行驶区域检测模型为语义分割模型，用于对上述图像进行语义分割操作；其中，一幅图像一般由若干个像素(pixel)组成，而语义分割操作则用于将这些像素按照图像中表达语义含义的不同而进行分组或者分割，分组或者分割的操作可通过基于像素聚类的分割方法(Clustering-based Segmentation Methods)、图划分分割方法(Graph PatitioningSegmentation Methods)、包括但不限于卷积神经网络的深度学习(Deep Learning,DL)模型等方式实现，且这些分组或者分割操作的实现方式仅为举例，其他现有的或者今后可能出现的实现方式如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。
其中在一些实施例中，以上两种处理过程同步进行，例如系统基于图像中像素的类别属性以及道路的特点对可行驶区域和非可行驶区域进行分割，得到关于可行驶区域的二值化图像。另外，对于生成的类别图像，像素的类别可根据需要进行不同的划分，例如在一些实施例中像素的类别包括可行驶、不可行驶，而在另一些实施例中像素的类别则包括护栏、隔离带、当前车道、对向车道、步行道等。本领域技术人员应能理解，以上所述的像素的类别仅为举例，其他现有的或者今后可能出现的像素的类别如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。
在步骤S200中，可行驶区域确定设备基于所述至少一个轮廓，确定一可行驶区域轮廓。例如，在一些实施例中，可行驶区域确定设备根据二值化图像获取所有轮廓信息，根据所有轮廓信息筛选一预选可行驶区域轮廓(或称，最优轮廓)，再根据该最优轮廓的特征(例如，包括但不限于根据该最优轮廓的顶点个数、面积大小等)，确定该最优轮廓的置信度。在一些实施例中，上述至少一个轮廓可通过深度学习模型获取。例如，对于一张原始图片而言，在该原始图片和滤波器(例如一组固定的权重，对应于深度学习模型中的卷积核)做内积后能得到新的二维数据；通过不同的滤波器能得到不同的输出数据，例如轮廓、颜色深浅等。当然，本领域技术人员应能理解，以上所述的基于深度学习模型进行图像分割以获取所述至少一个轮廓的方式仅为举例，其他现有的或今后可能出现的用于图像分割方式如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。例如，在一些实施例中，系统基于包括但不限于能量泛函、图论、阈值、边缘、小波变换等方式进行图像分割。
在步骤S300中，可行驶区域确定设备根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息，并基于类别属性信息包括可行驶的采样点，确定车辆的可行驶区域。例如在一些实施例中，以上所述的车辆环境图像由设置于车辆前端(例如，设置于车辆的前挡风玻璃上)的车载摄像装置获取，且对应于车辆行驶方向的区域(例如，以车辆的保险杠——例如前保险杠——中心为基准，正面覆盖车辆行驶方向)。其中，系统在此求解的采样点作为上述可行驶区域轮廓的边界点，这些采样点围成的闭合、无孔洞区域即为可行驶区域。以车载摄像装置安装于车辆前方为例，系统基于车辆环境图像确定了若干采样点的类别属性信息。参考图2，这些采样点将车辆前方的区域在水平方向上划分为若干个部分，例如这若干个部分在地面上的投影呈扇形分布。系统根据这些采样点分别所对应的图像部分属于可行驶区域还是非可行驶区域，确定各采样点的类别属性信息(例如，可行驶，或者不可行驶)。根据这些采样点，即可确定车辆前方的可行驶区域的范围，例如以这些采样点中的两个或者更多个作为不同类型区域的分界点。
其中，上述采样点位于所述可行驶区域轮廓上。例如，在一些实施例中，所述可行驶区域轮廓由点集构成，而以上所述的多个采样点是从该点集中选取的，从而这些采样点位于所述可行驶区域轮廓上。
在一些实施例中，为加快图像预处理的速度以改善可行驶区域识别操作的实时性，在步骤S100中，可行驶区域确定设备对车辆环境图像进行预处理(例如，预处理包括但不限于二值化操作、语义分割操作等)以获得对应的预处理图像，其中所述预处理图像的尺寸小于所述车辆环境图像；随后，为了获得与原先的车辆环境图像相匹配的类别图像，可行驶区域确定设备对所述预处理图像进行插值操作，以获得与所述车辆环境图像尺寸相同的类别图像，其中所述类别图像包括至少一个轮廓。通过将类别图像的尺寸还原为原图像尺寸，系统的测距结果将更准确，且方便后续的算法处理。其中，若采用常用的图像插值方式(例如，包括但不限于双线性插值、双立方插值)，在将预处理图像处理为类别图像时会引入其他像素值的像素。为了避免引入其他像素值的像素以进一步提高类别图像的精度，从而进一步提高可行驶区域检测结果的精度，在一些实施例中，所述插值操作包括最近邻插值操作。
在一些实施例中，上述至少一个轮廓是基于类别图像中每个像素的像素属性确定的。例如，在步骤S100中，可行驶区域确定设备对车辆环境图像进行预处理以获得对应的类别图像，其中所述类别图像包括多个像素，并基于所述类别图像中的像素属性包括可行驶的像素确定至少一个轮廓。相应地，步骤S300包括子步骤S310(未示出)和子步骤S320(未示出)。在子步骤S310中，可行驶区域确定设备根据所述可行驶区域轮廓中像素的像素属性，分别确定多个采样点的类别属性信息；在子步骤S320中，可行驶区域确定设备基于类别属性信息包括可行驶的采样点，确定车辆的可行驶区域。例如，在一些实施例中，像素的类别包括可行驶、不可行驶，分别对应于可行驶、不可行驶的像素属性；而在另一些实施例中像素的类别则包括护栏、隔离带、当前车道、对向车道、步行道等，其中当前车道的像素类别对应于可行驶的像素属性，而护栏、隔离带、对向车道、步行道的像素类别对应于不可行驶的像素属性。
在一些实施例中，在子步骤S310中，可行驶区域确定设备根据每个采样点在所述可行驶区域轮廓中所对应像素的像素属性，以及所述对应像素的预设邻域(例如该领域的半径为一个或若干个像素)内像素的像素属性，分别确定多个采样点的类别属性信息。例如，根据该邻域内像素的像素属性为“可行驶”的像素的比例，确定采样点对应像素的像素属性为“可行驶”的置信度，并根据该置信度确定采样点对应像素的像素属性。通过设置上述邻域，采样点对应像素的像素属性受到噪声干扰的可能性大大降低，从而可行驶区域的检测精度也得到提高。
在一些实施例中，为了提高可行驶区域轮廓的确定效率，确定可行驶区域轮廓的操作基于预设的感兴趣区域(Region of Interest,ROI)进行。在步骤S200中，可行驶区域确定设备基于预设感兴趣区域确定所述至少一个轮廓中每个轮廓的可行驶置信度，并基于所述每个轮廓的可行驶置信度确定一可行驶区域轮廓。例如，在一些实施例中，上所述预设感兴趣区域覆盖车辆正前方盲区，并基于该预设感兴趣区域确定每个轮廓对应于可行驶区域的可行驶置信度。将预设感兴趣区域设置为车辆正前方盲区，有助于确定车辆前方最近的轮廓。其中，所述可行驶置信度可基于预设感兴趣区域中的特征点(例如，矩形感兴趣区域的顶点)在每个轮廓中的个数确定，例如可行驶置信度根据特征点在相应轮廓中的个数占特征点总数的比例确定。本领域技术人员应能理解，以上所述的矩形感兴趣区域仅为举例，其他现有的或今后可能出现的感兴趣区域的形式如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。例如，在一些实施例中，所述预设感兴趣区域以方框、圆、椭圆、不规则多边形等方式勾勒。
在一些实施例中，可行驶区域确定设备基于轮廓的面积确定可行驶区域轮廓。在步骤S200中，可行驶区域确定设备基于面积大于预设的面积阈值的至少一个轮廓，确定一预选可行驶区域轮廓；当所述预选可行驶轮廓内部包含至少一个子轮廓，并且所述至少一个子轮廓的面积小于所述面积阈值，移除所述至少一个子轮廓。例如，系统首先获取所有轮廓的轮廓信息，遍历各轮廓；若当前轮廓的面积小于预设的面积阈值，则忽略该轮廓，继续处理其他轮廓；若当前轮廓的面积大于预设的面积阈值，将当前轮廓加入可行驶区域轮廓的候选轮廓；最终系统从候选轮廓中选取面积最大的轮廓作为可行驶区域轮廓。若最终确定的可行驶区域轮廓中还包含子轮廓，例如可行驶区域轮廓内包含孔洞，则根据该子轮廓的面积处理子轮廓。例如，若某个子轮廓的面积小于上述面积阈值，则移除该子轮廓，例如将该子轮廓覆盖为可行驶区域轮廓。另一方面，在一些实施例中，上述预选可行驶区域轮廓未包含子轮廓，则系统将上述预选可行驶区域轮廓作为可行驶区域轮廓。
其中，上述基于感兴趣区域和基于轮廓面积的两种用于确定可行驶区域轮廓的方式可单独实施、亦可综合实施，例如综合考虑感兴趣区域顶点在相应轮廓内的数量以及轮廓的面积。在综合实施这两种处理方式的情形下，可设置两种处理方式的优先级，例如在确定可行驶区域轮廓时感兴趣区域顶点在相应轮廓内的数量因素，优先于轮廓的面积因素。在一些实施例中，该优先级的设置可基于两种处理方式的权重，计算相应轮廓为可行驶区域轮廓的可信度，并选取可信度最高的轮廓为可行驶区域轮廓。
在一些实施例中，上述采样点还包括距离属性信息，用于表征相应的可行驶区域/非可行驶区域与车辆的距离，以提高车辆纵向(行驶方向)的控制效率。在步骤S300中，可行驶区域确定设备根据所述可行驶区域轮廓中像素的距离属性，分别确定多个采样点的距离属性信息。在一些实施例中，上述距离属性信息是基于单目摄像头完成的，利用标定好的摄像头内、外参数完成基于单目摄像头的测距(例如基于摄像头模型，将三维空间中的点和二维图像上的像素点相关联以实现)，从而得到对应于各采样点的图像中各点在真实行车环境中距离行驶中车辆的距离信息。
在一些实施例中，上述采样点是从可行驶区域轮廓上选取的。例如，所述可行驶区域轮廓由点集构成，而上述采样点则是从该点集中选取若干个点而取得的。为了从可行驶区域轮廓上确定这些采样点，在一些实施例中，上述方法还包括步骤S400(未示出)。在步骤S400中，可行驶区域确定设备根据多个参考位置分别确定多个采样点，其中所述多个参考位置被覆盖于所述可行驶区域轮廓的范围内。其中，所述多个参考位置用于在所述可行驶区域轮廓上确定对应的点作为前述采样点；在一些实施例中，所述多个参考位置被覆盖于所述可行驶区域轮廓的范围内，指的是所述多个参考位置均能对应可行驶区域轮廓上的一个或者多个点。在步骤S300中，可行驶区域确定设备根据所述可行驶区域轮廓分别确定所述多个采样点的类别属性信息，并基于类别属性信息包括可行驶的采样点，确定车辆的可行驶区域，其中所述多个采样点位于所述可行驶区域轮廓上。
在一些实施例中，上述多个采样点基于所述多个参考位置确定，所述多个参考位置在地面上的投影呈扇形分布；对于一封闭的可行驶区域轮廓而言，每个参考位置将对应于该可行驶区域轮廓上的两个点。以所述多个参考位置之一为例，在所述可行驶区域轮廓由点集来表征的情形下，若该参考位置恰好对应于所述可行驶区域轮廓上的一个(或两个)点，则将该一个(或两个)点作为该参考位置所对应的采样点；若该参考位置未恰好对应于所述可行驶区域轮廓上的任何点，则确定该可行驶区域轮廓上的所有点中与该参考位置在水平方向上的角度差(例如以车辆的前保险杠中心为顶点)最小的点为采样点。其中，在判断该水平方向的角度差的过程中，对于封闭的可行驶区域轮廓而言，对于同一个参考位置而言，在一些实施例中可同时确定两个采样点，该两个采样点在竖直方向上位于不同高度。
在上述基础上，在一些实施例中，可同时考虑相应的轮廓是否含有孔洞(例如对应于不可忽略的障碍物，如行人，等)。如果轮廓内部不存在孔洞，则基于以上所述的方法，根据所述角度差确定参考位置所对应的采样点，即可；如果轮廓内部含有孔洞，则还需要同时判断孔洞的边界和孔洞的具体种类(例如该孔洞代表路沿、对向车道、行人或其他障碍物等)，并计算孔洞与前保中心点的距离信息。例如，当该孔洞代表对向车道，则虽然对向车道通常不供当前车辆行驶，即该孔洞通常不属于可行驶区域，但是在紧急情况下车辆却可借助对向车道避险，因而该孔洞在紧急情况下转化为可行驶区域；又例如，当该孔洞代表行人，由于行人所在位置一定不可供车辆行驶，当行人较远时相应区域可供车辆行驶，而行人较近时则必须停车，因此孔洞所表征的障碍物的距离对车辆的行驶控制也很重要。从而，通过对孔洞的判断操作，系统可以确定当前行车场景下可行驶区域轮廓的边界点的分布信息，从而确定可行驶区域的分布信息。
在一些实施例中，系统进一步判断上述采样点的具体类别(例如本车道、对向车道等)，从而确定采样点的具体类别。在一些实施例中，对某个采样点的具体类别的判断，可基于该采样点周围一定的相邻区域内像素所对应的具体类别确定。例如，系统以该采样点为中心确定一区域(例如，该区域可以是但不限于圆形或者矩形区域)，并以该区域中各种具体类别的像素中占比最多的像素的具体类别，作为该采样点的具体类别，用于后续处理，例如用于判断孔洞的性质。
若需要将以上确定的采样点的相关信息用于后续控制，例如供横向控制模块(例如用于控制车辆的行驶方向)和纵向控制模块(例如用于控制车辆的行驶速度)，在行车环境下，不同区域的信息对于控制系统的重要性是不同的，例如车辆正前方远处信息的重要性，要高于两侧前方远处信息的重要性。为了合理分配系统的计算资源以满足对于不同区域信息重要性的不同需求，在一些实施例中，以上所述的多个参考位置在水平方向上非线性分布；相应地，所述多个采样点在水平方向上非线性分布。例如，继续参考图2，上述参考位置按照中央密集、两侧稀疏的方式水平排列；图中，各条射线分别通过各参考位置。
此外，上述参考位置和采样点的数量可根据所需的精度要求、系统的处理能力和信息传输的效率综合考虑，例如设置参考位置和采样点的数量为40个，其中参考位置全部分布于上述感兴趣区域轮廓的范围内，并按照以上所述非线性分布。
根据本申请的另一个方面，提供了一种用于确定车辆的可行驶区域的设备。参考图3，该设备包括图像预处理模块100、轮廓处理模块200和可行驶区域确定模块300。
图像预处理模块100对车辆环境图像进行预处理，以获得对应的类别图像，其中所述类别图像包括至少一个轮廓。在一些实施例中，所述类别图像用于区分原车辆环境图像中的各部分，例如用于区分其中的可行驶区域和不可行驶区域。其中，所述至少一个轮廓，是基于对车辆环境图像中的连通区域的轮廓信息进行分析而获得的。在一些实施例中，以上所述的预处理包括以下的一种或者多种：
1)对车辆环境图像中的像素执行类别化操作，例如对该图像进行二值化以获得相应的二值化图像；
2)对车辆环境图像执行语义分割操作，例如系统通过摄像头采集到车辆周围环境的图像后，将该图像输入事先训练好的可行驶区域检测模型，以获得语义分割结果(例如该图像所对应的类别图像，或者用于生成该类别图像的中间图像)，在一些实施例中该可行驶区域检测模型为语义分割模型，用于对上述图像进行语义分割操作；其中，一幅图像一般由若干个像素(pixel)组成，而语义分割操作则用于将这些像素按照图像中表达语义含义的不同而进行分组或者分割，分组或者分割的操作可通过基于像素聚类的分割方法(Clustering-based Segmentation Methods)、图划分分割方法(Graph PatitioningSegmentation Methods)、包括但不限于卷积神经网络的深度学习(Deep Learning,DL)模型等方式实现，且这些分组或者分割操作的实现方式仅为举例，其他现有的或者今后可能出现的实现方式如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。
其中在一些实施例中，以上两种处理过程同步进行，例如系统基于图像中像素的类别属性以及道路的特点对可行驶区域和非可行驶区域进行分割，得到关于可行驶区域的二值化图像。另外，对于生成的类别图像，像素的类别可根据需要进行不同的划分，例如在一些实施例中像素的类别包括可行驶、不可行驶，而在另一些实施例中像素的类别则包括护栏、隔离带、当前车道、对向车道、步行道等。本领域技术人员应能理解，以上所述的像素的类别仅为举例，其他现有的或者今后可能出现的像素的类别如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。
轮廓处理模块200基于所述至少一个轮廓，确定一可行驶区域轮廓。例如，在一些实施例中，轮廓处理模块200根据二值化图像获取所有轮廓信息，根据所有轮廓信息筛选一预选可行驶区域轮廓(或称，最优轮廓)，再根据该最优轮廓的特征(例如，包括但不限于根据该最优轮廓的顶点个数、面积大小等)，确定该最优轮廓的置信度。在一些实施例中，上述至少一个轮廓可通过深度学习模型获取。例如，对于一张原始图片而言，在该原始图片和滤波器(例如一组固定的权重，对应于深度学习模型中的卷积核)做内积后能得到新的二维数据；通过不同的滤波器能得到不同的输出数据，例如轮廓、颜色深浅等。当然，本领域技术人员应能理解，以上所述的基于深度学习模型进行图像分割以获取所述至少一个轮廓的方式仅为举例，其他现有的或今后可能出现的用于图像分割方式如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。例如，在一些实施例中，系统基于包括但不限于能量泛函、图论、阈值、边缘、小波变换等方式进行图像分割。
可行驶区域确定模块300根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息，并基于类别属性信息包括可行驶的采样点，确定车辆的可行驶区域。例如在一些实施例中，以上所述的车辆环境图像由设置于车辆前端(例如，设置于车辆的前挡风玻璃上)的车载摄像装置获取，且对应于车辆行驶方向的区域(例如，以车辆的保险杠——例如前保险杠——中心为基准，正面覆盖车辆行驶方向)。其中，系统在此求解的采样点作为上述可行驶区域轮廓的边界点，这些采样点围成的闭合、无孔洞区域即为可行驶区域。以车载摄像装置安装于车辆前方为例，系统基于车辆环境图像确定了若干采样点的类别属性信息。参考图2，这些采样点将车辆前方的区域在水平方向上划分为若干个部分，例如这若干个部分在地面上的投影呈扇形分布。系统根据这些采样点分别所对应的图像部分属于可行驶区域还是非可行驶区域，确定各采样点的类别属性信息(例如，可行驶，或者不可行驶)。根据这些采样点，即可确定车辆前方的可行驶区域的范围，例如以这些采样点中的两个或者更多个作为不同类型区域的分界点。
其中，上述采样点位于所述可行驶区域轮廓上。例如，在一些实施例中，所述可行驶区域轮廓由点集构成，而以上所述的多个采样点是从该点集中选取的，从而这些采样点位于所述可行驶区域轮廓上。
在一些实施例中，为加快图像预处理的速度以改善可行驶区域识别操作的实时性，图像预处理模块100对车辆环境图像进行预处理(例如，预处理包括但不限于二值化操作、语义分割操作等)以获得对应的预处理图像，其中所述预处理图像的尺寸小于所述车辆环境图像；随后，为了获得与原先的车辆环境图像相匹配的类别图像，可行驶区域确定设备对所述预处理图像进行插值操作，以获得与所述车辆环境图像尺寸相同的类别图像，其中所述类别图像包括至少一个轮廓。通过将类别图像的尺寸还原为原图像尺寸，系统的测距结果将更准确，且方便后续的算法处理。其中，若采用常用的图像插值方式(例如，包括但不限于双线性插值、双立方插值)，在将预处理图像处理为类别图像时会引入其他像素值的像素。为了避免引入其他像素值的像素以进一步提高类别图像的精度，从而进一步提高可行驶区域检测结果的精度，在一些实施例中，所述插值操作包括最近邻插值操作。
在一些实施例中，上述至少一个轮廓是基于类别图像中每个像素的像素属性确定的。例如，图像预处理模块100对车辆环境图像进行预处理以获得对应的类别图像，其中所述类别图像包括多个像素，并基于所述类别图像中的像素属性包括可行驶的像素确定至少一个轮廓。相应地，可行驶区域确定模块300包括采样点类别确定单元310(未示出)和可行驶区域确定单元320(未示出)。采样点类别确定单元310根据所述可行驶区域轮廓中像素的像素属性，分别确定多个采样点的类别属性信息；可行驶区域确定单元320基于类别属性信息包括可行驶的采样点，确定车辆的可行驶区域。例如，在一些实施例中，像素的类别包括可行驶、不可行驶，分别对应于可行驶、不可行驶的像素属性；而在另一些实施例中像素的类别则包括护栏、隔离带、当前车道、对向车道、步行道等，其中当前车道的像素类别对应于可行驶的像素属性，而护栏、隔离带、对向车道、步行道的像素类别对应于不可行驶的像素属性。
在一些实施例中，采样点类别确定单元310根据每个采样点在所述可行驶区域轮廓中所对应像素的像素属性，以及所述对应像素的预设邻域(例如该领域的半径为一个或若干个像素)内像素的像素属性，分别确定多个采样点的类别属性信息。例如，根据该邻域内像素的像素属性为“可行驶”的像素的比例，确定采样点对应像素的像素属性为“可行驶”的置信度，并根据该置信度确定采样点对应像素的像素属性。通过设置上述邻域，采样点对应像素的像素属性受到噪声干扰的可能性大大降低，从而可行驶区域的检测精度也得到提高。
在一些实施例中，为了提高可行驶区域轮廓的确定效率，确定可行驶区域轮廓的操作基于预设的感兴趣区域(Region of Interest,ROI)进行。轮廓处理模块200基于预设感兴趣区域确定所述至少一个轮廓中每个轮廓的可行驶置信度，并基于所述每个轮廓的可行驶置信度确定一可行驶区域轮廓。例如，在一些实施例中，上所述预设感兴趣区域覆盖车辆正前方盲区，并基于该预设感兴趣区域确定每个轮廓对应于可行驶区域的可行驶置信度。将预设感兴趣区域设置为车辆正前方盲区，有助于确定车辆前方最近的轮廓。其中，所述可行驶置信度可基于预设感兴趣区域中的特征点(例如，矩形感兴趣区域的顶点)在每个轮廓中的个数确定，例如可行驶置信度根据特征点在相应轮廓中的个数占特征点总数的比例确定。本领域技术人员应能理解，以上所述的矩形感兴趣区域仅为举例，其他现有的或今后可能出现的感兴趣区域的形式如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。例如，在一些实施例中，所述预设感兴趣区域以方框、圆、椭圆、不规则多边形等方式勾勒。
在一些实施例中，可行驶区域确定设备基于轮廓的面积确定可行驶区域轮廓。轮廓处理模块200基于面积大于预设的面积阈值的至少一个轮廓，确定一预选可行驶区域轮廓；当所述预选可行驶轮廓内部包含至少一个子轮廓，并且所述至少一个子轮廓的面积小于所述面积阈值，移除所述至少一个子轮廓。例如，系统首先获取所有轮廓的轮廓信息，遍历各轮廓；若当前轮廓的面积小于预设的面积阈值，则忽略该轮廓，继续处理其他轮廓；若当前轮廓的面积大于预设的面积阈值，将当前轮廓加入可行驶区域轮廓的候选轮廓；最终系统从候选轮廓中选取面积最大的轮廓作为可行驶区域轮廓。若最终确定的可行驶区域轮廓中还包含子轮廓，例如可行驶区域轮廓内包含孔洞，则根据该子轮廓的面积处理子轮廓。例如，若某个子轮廓的面积小于上述面积阈值，则移除该子轮廓，例如将该子轮廓覆盖为可行驶区域轮廓。另一方面，在一些实施例中，上述预选可行驶区域轮廓未包含子轮廓，则系统将上述预选可行驶区域轮廓作为可行驶区域轮廓。
其中，上述基于感兴趣区域和基于轮廓面积的两种用于确定可行驶区域轮廓的方式可单独实施、亦可综合实施，例如综合考虑感兴趣区域顶点在相应轮廓内的数量以及轮廓的面积。在综合实施这两种处理方式的情形下，可设置两种处理方式的优先级，例如在确定可行驶区域轮廓时感兴趣区域顶点在相应轮廓内的数量因素，优先于轮廓的面积因素。在一些实施例中，该优先级的设置可基于两种处理方式的权重，计算相应轮廓为可行驶区域轮廓的可信度，并选取可信度最高的轮廓为可行驶区域轮廓。
在一些实施例中，上述采样点还包括距离属性信息，用于表征相应的可行驶区域/非可行驶区域与车辆的距离，以提高车辆纵向(行驶方向)的控制效率。可行驶区域确定模块300根据所述可行驶区域轮廓中像素的距离属性，分别确定多个采样点的距离属性信息。在一些实施例中，上述距离属性信息是基于单目摄像头完成的，利用标定好的摄像头内、外参数完成基于单目摄像头的测距(例如基于摄像头模型，将三维空间中的点和二维图像上的像素点相关联以实现)，从而得到对应于各采样点的图像中各点在真实行车环境中距离行驶中车辆的距离信息。
在一些实施例中，上述采样点是从可行驶区域轮廓上选取的。例如，所述可行驶区域轮廓由点集构成，而上述采样点则是从该点集中选取若干个点而取得的。为了从可行驶区域轮廓上确定这些采样点，在一些实施例中，上述设备还包括采样点确定模块400(未示出)。采样点确定模块400根据多个参考位置分别确定多个采样点，其中所述多个参考位置被覆盖于所述可行驶区域轮廓的范围内。其中，所述多个参考位置用于在所述可行驶区域轮廓上确定对应的点作为前述采样点；在一些实施例中，所述多个参考位置被覆盖于所述可行驶区域轮廓的范围内，指的是所述多个参考位置均能对应可行驶区域轮廓上的一个或者多个点。可行驶区域确定模块300根据所述可行驶区域轮廓分别确定所述多个采样点的类别属性信息，并基于类别属性信息包括可行驶的采样点，确定车辆的可行驶区域，其中所述多个采样点位于所述可行驶区域轮廓上。
在一些实施例中，上述多个采样点基于所述多个参考位置确定，所述多个参考位置在地面上的投影呈扇形分布；对于一封闭的可行驶区域轮廓而言，每个参考位置将对应于该可行驶区域轮廓上的两个点。以所述多个参考位置之一为例，在所述可行驶区域轮廓由点集来表征的情形下，若该参考位置恰好对应于所述可行驶区域轮廓上的一个(或两个)点，则将该一个(或两个)点作为该参考位置所对应的采样点；若该参考位置未恰好对应于所述可行驶区域轮廓上的任何点，则确定该可行驶区域轮廓上的所有点中与该参考位置在水平方向上的角度差(例如以车辆的前保险杠中心为顶点)最小的点为采样点。其中，在判断该水平方向的角度差的过程中，对于封闭的可行驶区域轮廓而言，对于同一个参考位置而言，在一些实施例中可同时确定两个采样点，该两个采样点在竖直方向上位于不同高度。
在上述基础上，在一些实施例中，可同时考虑相应的轮廓是否含有孔洞(例如对应于不可忽略的障碍物，如行人，等)。如果轮廓内部不存在孔洞，则基于以上所述的方法，根据所述角度差确定参考位置所对应的采样点，即可；如果轮廓内部含有孔洞，则还需要同时判断孔洞的边界和孔洞的具体种类(例如该孔洞代表路沿、对向车道、行人或其他障碍物等)，并计算孔洞与前保中心点的距离信息。例如，当该孔洞代表对向车道，则虽然对向车道通常不供当前车辆行驶，即该孔洞通常不属于可行驶区域，但是在紧急情况下车辆却可借助对向车道避险，因而该孔洞在紧急情况下转化为可行驶区域；又例如，当该孔洞代表行人，由于行人所在位置一定不可供车辆行驶，当行人较远时相应区域可供车辆行驶，而行人较近时则必须停车，因此孔洞所表征的障碍物的距离对车辆的行驶控制也很重要。从而，通过对孔洞的判断操作，系统可以确定当前行车场景下可行驶区域轮廓的边界点的分布信息，从而确定可行驶区域的分布信息。
在一些实施例中，系统进一步判断上述采样点的具体类别(例如本车道、对向车道等)，从而确定采样点的具体类别。在一些实施例中，对某个采样点的具体类别的判断，可基于该采样点周围一定的相邻区域内像素所对应的具体类别确定。例如，系统以该采样点为中心确定一区域(例如，该区域可以是但不限于圆形或者矩形区域)，并以该区域中各种具体类别的像素中占比最多的像素的具体类别，作为该采样点的具体类别，用于后续处理，例如用于判断孔洞的性质。
若需要将以上确定的采样点的相关信息用于后续控制，例如供横向控制模块(例如用于控制车辆的行驶方向)和纵向控制模块(例如用于控制车辆的行驶速度)，在行车环境下，不同区域的信息对于控制系统的重要性是不同的，例如车辆正前方远处信息的重要性，要高于两侧前方远处信息的重要性。为了合理分配系统的计算资源以满足对于不同区域信息重要性的不同需求，以上所述的多个参考位置在水平方向上非线性分布；相应地，在一些实施例中，所述多个采样点在水平方向上非线性分布。例如，继续参考图2，上述参考位置按照中央密集、两侧稀疏的方式水平排列；图中，各条射线分别通过各参考位置。
此外，上述参考位置和采样点的数量可根据所需的精度要求、系统的处理能力和信息传输的效率综合考虑，例如设置参考位置和采样点的数量为40个，其中参考位置全部分布于上述感兴趣区域轮廓的范围内，并按照以上所述非线性分布。
本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。
图4示出了可被用于实施本申请中所述的各个实施例的示例性系统。
如图4所示，在一些实施例中，系统500能够作为各所述实施例中的任意一个可行驶区域确定设备。在一些实施例中，系统500可包括具有指令的一个或多个计算机可读介质(例如，系统存储器或NVM/存储设备520)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如，(一个或多个)处理器505)。
对于一个实施例，系统控制模块510可包括任意适当的接口控制器，以向(一个或多个)处理器505中的至少一个和/或与系统控制模块510通信的任意适当的设备或组件提供任意适当的接口。
系统控制模块510可包括存储器控制器模块530，以向系统存储器515提供接口。存储器控制器模块530可以是硬件模块、软件模块和/或固件模块。
系统存储器515可被用于例如为系统500加载和存储数据和/或指令。对于一个实施例，系统存储器515可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，系统存储器515可包括双倍数据速率类型四同步动态随机存取存储器(DDR5SDRAM)。
对于一个实施例，系统控制模块510可包括一个或多个输入/输出(I/O)控制器，以向NVM/存储设备520及(一个或多个)通信接口525提供接口。
例如，NVM/存储设备520可被用于存储数据和/或指令。NVM/存储设备520可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备520可包括在物理上作为系统500被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，NVM/存储设备520可通过网络经由(一个或多个)通信接口525进行访问。
(一个或多个)通信接口525可为系统500提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统500可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
对于一个实施例，(一个或多个)处理器505中的至少一个可与系统控制模块510的一个或多个控制器(例如，存储器控制器模块530)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器505中的至少一个可与系统控制模块510的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例，(一个或多个)处理器505中的至少一个可与系统控制模块510的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器505中的至少一个可与系统控制模块510的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中，系统500可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，系统500可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，系统500包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(RAM,DRAM,SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM)；以及磁性和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
在权利要求书中规定了各个实施例的各个方面。在下列编号条款中规定了各个实施例的这些和其他方面：
1.一种用于确定车辆的可行驶区域的方法，其中，该方法包括：
对车辆环境图像进行预处理，以获得对应的类别图像，其中所述类别图像包括至少一个轮廓；
基于所述至少一个轮廓，确定一可行驶区域轮廓；
根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息，并基于类别属性信息包括可行驶的采样点，确定车辆的可行驶区域；
其中，所述多个采样点位于所述可行驶区域轮廓上。
2.根据条款1所述的方法，其中，所述预处理包括以下至少任一项：
对车辆环境图像中的像素执行类别化操作；
对车辆环境图像执行语义分割操作。
3.根据条款1所述的方法，其中，所述对车辆环境图像进行预处理，以获得对应的类别图像，其中所述类别图像包括至少一个轮廓，包括:
对车辆环境图像进行预处理，以获得对应的预处理图像，其中所述预处理图像的尺寸小于所述车辆环境图像；
对所述预处理图像进行插值操作，以获得与所述车辆环境图像尺寸相同的类别图像，其中所述类别图像包括至少一个轮廓。
4.根据条款3所述的方法，其中，所述插值操作包括最近邻插值操作。
5.根据条款1所述的方法，其中，所述对车辆环境图像进行预处理，以获得对应的类别图像，其中所述类别图像包括至少一个轮廓，包括：
对车辆环境图像进行预处理，以获得对应的类别图像，其中所述类别图像包括多个像素；
基于所述类别图像中的像素属性包括可行驶的像素，确定至少一个轮廓；
所述根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息，并基于类别属性信息包括可行驶的采样点，确定车辆的可行驶区域，包括：
根据所述可行驶区域轮廓中像素的像素属性，分别确定多个采样点的类别属性信息；
基于类别属性信息包括可行驶的采样点，确定车辆的可行驶区域。
6.根据条款5所述的方法，其中，所述根据所述可行驶区域轮廓中像素的像素属性，分别确定多个采样点的类别属性信息，包括：
根据每个采样点在所述可行驶区域轮廓中所对应像素的像素属性，以及所述对应像素的预设邻域内像素的像素属性，分别确定多个采样点的类别属性信息。
7.根据条款1所述的方法，其中，所述基于所述至少一个轮廓，确定一可行驶区域轮廓，包括：
基于预设感兴趣区域，确定所述至少一个轮廓中每个轮廓的可行驶置信度；
基于所述每个轮廓的可行驶置信度确定一可行驶区域轮廓。
8.根据条款1所述的方法，其中，所述基于所述至少一个轮廓，确定一可行驶区域轮廓，包括：
基于面积大于预设的面积阈值的至少一个轮廓，确定一预选可行驶区域轮廓；
当所述预选可行驶轮廓内部包含至少一个子轮廓，基于所述预选可行驶区域轮廓以及所述至少一个子轮廓确定一可行驶区域轮廓。
9.根据条款1所述的方法，其中，所述根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息，并基于类别属性信息包括可行驶的采样点，确定车辆的可行驶区域，还包括：
根据所述可行驶区域轮廓中像素的距离属性，分别确定多个采样点的距离属性信息。
10.根据条款1所述的方法，其中，所述方法还包括：
根据多个参考位置分别确定多个采样点，其中所述多个参考位置被覆盖于所述可行驶区域轮廓的范围内；
所述根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息，并基于类别属性信息包括可行驶的采样点，确定车辆的可行驶区域，包括：
根据所述可行驶区域轮廓分别确定所述多个采样点的类别属性信息，并基于类别属性信息包括可行驶的采样点，确定车辆的可行驶区域。
11.根据条款10所述的方法，其中，所述多个参考位置在水平方向上非线性分布。
12.根据条款10所述的方法，其中，所述根据多个参考位置分别确定多个采样点，其中所述多个参考位置被覆盖于所述可行驶区域轮廓的范围内，包括：
根据多个参考位置，在所述可行驶区域轮廓上分别确定多个采样点，其中所述多个参考位置被覆盖于所述可行驶区域轮廓的范围内。
13.一种用于确定车辆的可行驶区域的设备，其中，该设备包括：
图像预处理模块，用于对车辆环境图像进行预处理，以获得对应的类别图像，其中所述类别图像包括至少一个轮廓；
轮廓处理模块，用于基于所述至少一个轮廓，确定一可行驶区域轮廓；
可行驶区域确定模块，用于根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息，并基于类别属性信息包括可行驶的采样点，确定车辆的可行驶区域；
其中，所述多个采样点位于所述可行驶区域轮廓上。
14.根据条款13所述的设备，其中，所述预处理包括以下至少任一项：
对车辆环境图像中的像素执行类别化操作；
对车辆环境图像执行语义分割操作。
15.根据条款13所述的设备，其中，所述图像预处理模块用于：
对车辆环境图像进行预处理，以获得对应的预处理图像，其中所述预处理图像的尺寸小于所述车辆环境图像；
对所述预处理图像进行插值操作，以获得与所述车辆环境图像尺寸相同的类别图像，其中所述类别图像包括至少一个轮廓。
16.根据条款15所述的设备，其中，所述插值操作包括最近邻插值操作。
17.根据条款13所述的设备，其中，所述预处理模块用于：
对车辆环境图像进行预处理，以获得对应的类别图像，其中所述类别图像包括多个像素；
基于所述类别图像中的像素属性包括可行驶的像素，确定至少一个轮廓；
所述可行驶区域确定模块包括：
采样点类别确定单元，用于根据所述可行驶区域轮廓中像素的像素属性，分别确定多个采样点的类别属性信息；
可行驶区域确定单元，用于基于类别属性信息包括可行驶的采样点，确定车辆的可行驶区域。
18.根据条款17所述的设备，其中，所述采样点类别确定单元用于：
根据每个采样点在所述可行驶区域轮廓中所对应像素的像素属性，以及所述对应像素的预设邻域内像素的像素属性，分别确定多个采样点的类别属性信息。
19.根据条款13所述的设备，其中，所述轮廓处理模块用于：
基于预设感兴趣区域，确定所述至少一个轮廓中每个轮廓的可行驶置信度；
基于所述每个轮廓的可行驶置信度确定一可行驶区域轮廓。
20.根据条款13所述的设备，其中，所述轮廓处理模块用于：
基于面积大于预设的面积阈值的至少一个轮廓，确定一预选可行驶区域轮廓；
当所述预选可行驶轮廓内部包含至少一个子轮廓，基于所述预选可行驶区域轮廓确定一可行驶区域轮廓。
21.根据条款13所述的设备，其中，所述可行驶区域确定模块还用于：
根据所述可行驶区域轮廓中像素的距离属性，分别确定多个采样点的距离属性信息。
22.根据条款13所述的设备，其中，所述设备还包括：
采样点确定模块，用于根据多个参考位置分别确定多个采样点，其中所述多个参考位置被覆盖于所述可行驶区域轮廓的范围内；
所述可行驶区域确定模块用于：
根据所述可行驶区域轮廓分别确定所述多个采样点的类别属性信息，并基于类别属性信息包括可行驶的采样点，确定车辆的可行驶区域。
23.根据条款22所述的设备，其中，所述多个参考位置在水平方向上非线性分布。
24.根据条款22所述的设备，其中，所述采样点确定模块用于：
根据多个参考位置，在所述可行驶区域轮廓上分别确定多个采样点，其中所述多个参考位置被覆盖于所述可行驶区域轮廓的范围内。
25.一种用于确定车辆的可行驶区域的设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据条款1至12中任一项所述方法的操作。
26.一种包括指令的计算机可读介质，所述指令在被执行时使得系统进行根据条款1至12中任一项所述方法的操作。
Claims (10)
1.一种用于确定车辆的可行驶区域的方法，其中，该方法包括：
对车辆环境图像进行预处理，以获得对应的类别图像，其中所述类别图像包括至少一个轮廓；
基于所述至少一个轮廓，确定一可行驶区域轮廓；
根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息，并基于类别属性信息包括可行驶的采样点，确定车辆的可行驶区域；
其中，所述多个采样点位于所述可行驶区域轮廓上。
2.根据权利要求1所述的方法，其中，所述预处理包括以下至少任一项：
对车辆环境图像中的像素执行类别化操作；
对车辆环境图像执行语义分割操作。
3.根据权利要求1所述的方法，其中，所述对车辆环境图像进行预处理，以获得对应的类别图像，其中所述类别图像包括至少一个轮廓，包括:
对车辆环境图像进行预处理，以获得对应的预处理图像，其中所述预处理图像的尺寸小于所述车辆环境图像；
对所述预处理图像进行插值操作，以获得与所述车辆环境图像尺寸相同的类别图像，其中所述类别图像包括至少一个轮廓。
4.根据权利要求1所述的方法，其中，所述对车辆环境图像进行预处理，以获得对应的类别图像，其中所述类别图像包括至少一个轮廓，包括：
对车辆环境图像进行预处理，以获得对应的类别图像，其中所述类别图像包括多个像素；
基于所述类别图像中的像素属性包括可行驶的像素，确定至少一个轮廓；
所述根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息，并基于类别属性信息包括可行驶的采样点，确定车辆的可行驶区域，包括：
根据所述可行驶区域轮廓中像素的像素属性，分别确定多个采样点的类别属性信息；
基于类别属性信息包括可行驶的采样点，确定车辆的可行驶区域。
5.根据权利要求1所述的方法，其中，所述基于所述至少一个轮廓，确定一可行驶区域轮廓，包括：
基于预设感兴趣区域，确定所述至少一个轮廓中每个轮廓的可行驶置信度；
基于所述每个轮廓的可行驶置信度确定一可行驶区域轮廓。
6.根据权利要求1所述的方法，其中，所述基于所述至少一个轮廓，确定一可行驶区域轮廓，包括：
基于面积大于预设的面积阈值的至少一个轮廓，确定一预选可行驶区域轮廓；
当所述预选可行驶轮廓内部包含至少一个子轮廓，基于所述预选可行驶区域轮廓以及所述至少一个子轮廓确定一可行驶区域轮廓。
7.根据权利要求1所述的方法，其中，所述根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息，并基于类别属性信息包括可行驶的采样点，确定车辆的可行驶区域，还包括：
根据所述可行驶区域轮廓中像素的距离属性，分别确定多个采样点的距离属性信息。
8.一种用于确定车辆的可行驶区域的设备，其中，该设备包括：
图像预处理模块，用于对车辆环境图像进行预处理，以获得对应的类别图像，其中所述类别图像包括至少一个轮廓；
轮廓处理模块，用于基于所述至少一个轮廓，确定一可行驶区域轮廓；
可行驶区域确定模块，用于根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息，并基于类别属性信息包括可行驶的采样点，确定车辆的可行驶区域；
其中，所述多个采样点位于所述可行驶区域轮廓上。
9.一种用于确定车辆的可行驶区域的设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据权利要求1至7中任一项所述方法的操作。
10.一种包括指令的计算机可读介质，所述指令在被执行时使得系统进行根据权利要求1至7中任一项所述方法的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811579761.1A CN109657628B (zh) | 2018-12-24 | 2018-12-24 | 一种用于确定车辆的可行驶区域的方法与设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811579761.1A CN109657628B (zh) | 2018-12-24 | 2018-12-24 | 一种用于确定车辆的可行驶区域的方法与设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109657628A true CN109657628A (zh) | 2019-04-19 |
| CN109657628B CN109657628B (zh) | 2023-06-23 |
Family
ID=66115778
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811579761.1A Active CN109657628B (zh) | 2018-12-24 | 2018-12-24 | 一种用于确定车辆的可行驶区域的方法与设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109657628B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114067120A (zh) * | 2022-01-17 | 2022-02-18 | 腾讯科技（深圳）有限公司 | 基于增强现实的导航铺路方法、装置、计算机可读介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102722705A (zh) * | 2012-06-12 | 2012-10-10 | 武汉大学 | 一种基于ransac算法的多车道线检测方法 |
| CN104597453A (zh) * | 2015-01-27 | 2015-05-06 | 长春理工大学 | 惯性测量装置校正的车辆安全行驶区域检测方法及装置 |
| CN105069411A (zh) * | 2015-07-24 | 2015-11-18 | 深圳市佳信捷技术股份有限公司 | 道路识别方法和装置 |
| WO2017041396A1 (zh) * | 2015-09-10 | 2017-03-16 | 百度在线网络技术（北京）有限公司 | 一种车道线数据的处理方法、装置、存储介质及设备 |
| CN107169464A (zh) * | 2017-05-25 | 2017-09-15 | 中国农业科学院农业资源与农业区划研究所 | 一种基于激光点云的道路边界检测方法 |
| CN107438873A (zh) * | 2017-07-07 | 2017-12-05 | 驭势科技（北京）有限公司 | 一种用于控制车辆行驶的方法与设备 |
| CN108197531A (zh) * | 2017-12-15 | 2018-06-22 | 海信集团有限公司 | 一种道路曲线检测方法、装置和终端 |
| CN108594244A (zh) * | 2018-04-28 | 2018-09-28 | 吉林大学 | 基于立体视觉和激光雷达的障碍物识别迁移学习方法 |
| CN108764187A (zh) * | 2018-06-01 | 2018-11-06 | 百度在线网络技术（北京）有限公司 | 提取车道线的方法、装置、设备、存储介质以及采集实体 |
| CN108805065A (zh) * | 2018-05-31 | 2018-11-13 | 华南理工大学 | 一种基于几何特征改进的车道线检测方法 |
| CN108985194A (zh) * | 2018-06-29 | 2018-12-11 | 华南理工大学 | 一种基于图像语义分割的智能车辆可行驶区域的识别方法 |
-
2018
- 2018-12-24 CN CN201811579761.1A patent/CN109657628B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102722705A (zh) * | 2012-06-12 | 2012-10-10 | 武汉大学 | 一种基于ransac算法的多车道线检测方法 |
| CN104597453A (zh) * | 2015-01-27 | 2015-05-06 | 长春理工大学 | 惯性测量装置校正的车辆安全行驶区域检测方法及装置 |
| CN105069411A (zh) * | 2015-07-24 | 2015-11-18 | 深圳市佳信捷技术股份有限公司 | 道路识别方法和装置 |
| WO2017041396A1 (zh) * | 2015-09-10 | 2017-03-16 | 百度在线网络技术（北京）有限公司 | 一种车道线数据的处理方法、装置、存储介质及设备 |
| CN107169464A (zh) * | 2017-05-25 | 2017-09-15 | 中国农业科学院农业资源与农业区划研究所 | 一种基于激光点云的道路边界检测方法 |
| CN107438873A (zh) * | 2017-07-07 | 2017-12-05 | 驭势科技（北京）有限公司 | 一种用于控制车辆行驶的方法与设备 |
| CN108197531A (zh) * | 2017-12-15 | 2018-06-22 | 海信集团有限公司 | 一种道路曲线检测方法、装置和终端 |
| CN108594244A (zh) * | 2018-04-28 | 2018-09-28 | 吉林大学 | 基于立体视觉和激光雷达的障碍物识别迁移学习方法 |
| CN108805065A (zh) * | 2018-05-31 | 2018-11-13 | 华南理工大学 | 一种基于几何特征改进的车道线检测方法 |
| CN108764187A (zh) * | 2018-06-01 | 2018-11-06 | 百度在线网络技术（北京）有限公司 | 提取车道线的方法、装置、设备、存储介质以及采集实体 |
| CN108985194A (zh) * | 2018-06-29 | 2018-12-11 | 华南理工大学 | 一种基于图像语义分割的智能车辆可行驶区域的识别方法 |
Non-Patent Citations (9)
| Title |
|---|
| AHARON BAR HILLEL ET AL.: "Recent progress in road and lane detection: a survey", 《MACHINE VISION AND APPLICATIONS》 * |
| AHARON BAR HILLEL ET AL.: "Recent progress in road and lane detection: a survey", 《MACHINE VISION AND APPLICATIONS》, 7 February 2012 (2012-02-07), pages 727 - 745 * |
| HUI KONG ET AL.: "General Road Detection From a Single Image", 《 IEEE TRANSACTIONS ON IMAGE PROCESSING 》 * |
| HUI KONG ET AL.: "General Road Detection From a Single Image", 《 IEEE TRANSACTIONS ON IMAGE PROCESSING 》, vol. 19, no. 8, 5 April 2010 (2010-04-05), pages 2211 - 2220, XP011328592, DOI: 10.1109/TIP.2010.2045715 * |
| 刘丹等: "融合超像素3D与Appearance特征的可行驶区域检测", 《计算机工程》, vol. 43, no. 7, pages 293 - 297 * |
| 曹中华: "城市道路智能视觉监控研究及实现", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 * |
| 曹中华: "城市道路智能视觉监控研究及实现", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》, no. 12, 25 December 2004 (2004-12-25), pages 140 - 664 * |
| 段建民等: "基于车载4线激光雷达的前方道路可行驶区域检测", 《汽车技术》 * |
| 段建民等: "基于车载4线激光雷达的前方道路可行驶区域检测", 《汽车技术》, no. 2, 24 February 2016 (2016-02-24), pages 55 - 62 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114067120A (zh) * | 2022-01-17 | 2022-02-18 | 腾讯科技（深圳）有限公司 | 基于增强现实的导航铺路方法、装置、计算机可读介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109657628B (zh) | 2023-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Muhammad et al. | Deep learning for safe autonomous driving: Current challenges and future directions | |
| Chen et al. | Lane departure warning systems and lane line detection methods based on image processing and semantic segmentation: A review | |
| WO2018068653A1 (zh) | 点云数据处理方法、装置及存储介质 | |
| Ghanem et al. | Lane detection under artificial colored light in tunnels and on highways: an IoT-based framework for smart city infrastructure | |
| EP4152204A1 (en) | Lane line detection method, and related apparatus | |
| Ma et al. | Capsule-based networks for road marking extraction and classification from mobile LiDAR point clouds | |
| KR102539942B1 (ko) | 궤적 계획 모델을 훈련하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램 | |
| EP3076367A1 (en) | Method for road detection from one image | |
| CN110119148A (zh) | 一种六自由度姿态估计方法、装置及计算机可读存储介质 | |
| US11721065B2 (en) | Monocular 3D vehicle modeling and auto-labeling using semantic keypoints | |
| Perng et al. | Development of an embedded road boundary detection system based on deep learning | |
| Belaroussi et al. | Angle vertex and bisector geometric model for triangular road sign detection | |
| Cai et al. | Applying machine learning and google street view to explore effects of drivers’ visual environment on traffic safety | |
| CN112819864B (zh) | 一种行驶状态检测方法、装置及存储介质 | |
| CN105426868A (zh) | 一种基于自适应感兴趣区域的车道检测方法 | |
| CN111126459A (zh) | 一种车辆细粒度识别的方法及装置 | |
| Shang et al. | Robust unstructured road detection: the importance of contextual information | |
| Wang et al. | The research on edge detection algorithm of lane | |
| CN110188687A (zh) | 汽车的地形识别方法、系统、设备及存储介质 | |
| CN104658036B (zh) | 一种快速建立智能交通三维场的方法 | |
| Zhang et al. | Road marking segmentation based on siamese attention module and maximum stable external region | |
| CN109683613A (zh) | 一种用于确定车辆的辅助控制信息的方法与设备 | |
| CN114973199A (zh) | 一种基于卷积神经网络的轨道交通列车障碍物检测方法 | |
| Wang et al. | Lane detection algorithm based on temporal–spatial information matching and fusion | |
| CN109657628A (zh) | 一种用于确定车辆的可行驶区域的方法与设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |