CN107844749B - 路面检测方法及装置、电子设备、存储介质 - Google Patents

路面检测方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
CN107844749B
CN107844749B CN201710976047.5A CN201710976047A CN107844749B CN 107844749 B CN107844749 B CN 107844749B CN 201710976047 A CN201710976047 A CN 201710976047A CN 107844749 B CN107844749 B CN 107844749B
Authority
CN
China
Prior art keywords
road surface
disparity map
global
reference line
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710976047.5A
Other languages
English (en)
Other versions
CN107844749A (zh
Inventor
夏克江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Co Ltd
Original Assignee
Hisense Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Co Ltd filed Critical Hisense Co Ltd
Priority to CN201710976047.5A priority Critical patent/CN107844749B/zh
Publication of CN107844749A publication Critical patent/CN107844749A/zh
Application granted granted Critical
Publication of CN107844749B publication Critical patent/CN107844749B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公开揭示了一种路面检测方法及装置、电子设备、计算机可读存储介质，该方法包括：获取包含路面区域的V视差图，在V视差图中拟合代表路面区域的全局路面参考线；根据全局路面参考线确定V视差图中的路面支撑点；将V视差图纵向切分为若干子图像，分别对每张子图像中的路面支撑点进行直线拟合，得到每张子图像中代表路面区域的斜线段；根据所述全局路面参考线，对若干子图像中代表路面区域的斜线段进行修正，得到优化后的代表路面区域的斜线段。本公开提供的技术方案，可以提高V视差图中远处路面斜线段的检测准确性，解决因远处视差点较少拟合斜线存在检测误差的问题，进而提高路面检测精度。

Description

路面检测方法及装置、电子设备、存储介质
技术领域
本公开涉及辅助驾驶领域，特别涉及一种路面检测方法及装置、电子设备、计算机可读存储介质。
背景技术
高级驾驶辅助系统(ADAS)是一种通过图像处理和计算机视觉技术处理雷达、传感器或者摄像头采集到的路况信息，对前方行人、车辆做出预测并在存在潜在危险的情况下对驾驶员提出警告或者控制车辆紧急制动。
基于以上分析，在高级驾驶辅助系统中，对前方路面障碍物进行准确检测是有效预警的关键，而准确的提取道路区域是有效检测路面障碍物的先决条件。在基于双目立体视觉的前方障碍物检测方法中，通过双目相机采集左右图像，通过立体匹配算法得到左右图像的视差图像。计算此视差图的侧视图，得到对应的V视差图(V-Disparity-MAP，纵向视差直方图)，在V视差图中通过直线拟合方法，拟合一条代表路面的斜线，从而能够根据拟合得到的斜线返回到原视差图当中完成路面的检测工作。
但是对于远处路面的拟合，受到相机成像质量的影响，V视差图中出现路面有效视差点较少、障碍物有效视差点较少并且视差点分布零散的问题。此类情况通过直线拟合算法拟合代表远处路面的斜线，拟合精度难以保证。
发明内容
为了解决相关技术中存在的在V视差图中通过直线拟合算法来拟合代表远处路面的斜线，拟合精度难以保证的问题，本公开提供了一种路面检测方法。
一方面，本公开提供了一种路面检测方法，该方法包括：
获取包含路面区域的V视差图，在所述V视差图中拟合代表路面区域的全局路面参考线；
根据所述全局路面参考线确定所述V视差图中的路面支撑点；所述路面支撑点为所述V视差图所对应视差图像中路面区域在所述V视差图中所映射的点；
将所述V视差图纵向切分为若干子图像，分别对每张子图像中的路面支撑点进行直线拟合，得到每张子图像中代表路面区域的斜线段；
根据所述全局路面参考线，对所述若干子图像中代表路面区域的斜线段进行修正，得到优化后的代表路面区域的斜线段。
另一方面，本公开提供了一种路面检测装置，该装置包括：
全局拟合模块，用于获取包含路面区域的V视差图，在所述V视差图中拟合代表路面区域的全局路面参考线；
支撑点确定模块，用于根据所述全局路面参考线确定所述V视差图中的路面支撑点；所述路面支撑点为所述V视差图所对应视差图像中路面区域在所述V视差图中所映射的点；
局部拟合模块，用于将所述V视差图纵向切分为若干子图像，分别对每张子图像中的路面支撑点进行直线拟合，得到每张子图像中代表路面区域的斜线段；
分段修正模块，用于根据所述全局路面参考线，对所述若干子图像中代表路面区域的斜线段进行修正，得到优化后的代表路面区域的斜线段。
此外，本公开还提供了了一种电子设备，所述电子设备包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行上述路面检测方法。
进一步的，本公开还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序可由处理器执行完成上述路面检测方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
本公开提供的技术方案，通过在V视差图中分段检测代表路面的斜线段，并根据全局路面参考线和路面支撑点对斜线段进行分段修正，从而可以提高代表远处路面斜线段的检测精度，解决了因远处路面视差点较少，拟合得到的远处路面斜线段拟合精度难以保证的缺陷，提高了路面检测的精度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并于说明书一起用于解释本发明的原理。
图1是根据本公开所涉及的实施环境的示意图；
图2是根据一示例性实施例示出的一种装置的框图；
图3是根据一示例性实施例示出的一种路面检测方法的流程图；
图4是根据一示例性实施例示出的包含路面区域的V视差图；
图5是根据一示例性实施例示出的全局路面参考线拟合结果；
图6是根据一示例性实施例示出的基于全局路面参考线选取路面支撑点的原理图；
图7是根据一示例性实施例示出的V视差图分段拟合结果示意图；
图8是根据另一示例性实施例示出的一种路面检测方法的详细流程图
图9是根据一示例性实施例示出的对V视差图中第1段斜线段进行斜率修正的结果示意图；
图10是根据一示例性实施例示出的根据所有列最低位置路面支撑点进行截距修正的结果示意图；
图11是根据一示例性实施例示出的根据每一列的最低位置路面支撑点进行截距修正的结果示意图；
图12是根据一示例性实施例示出的根据所有列路面支撑点进行截距修正的结果示意图；
图13是对图9中V视差图的第一段斜线段进行截距修正的结果示意图；
图14是根据一示例性实施例示出的一种路面检测装置的框图。
具体实施方式
这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1是根据本公开所涉及的实施环境的示意图。该实施环境包括：双目摄像头110和车载终端120。
双目摄像头110与车载终端120之间的关联方式，包括硬件的网络关联方式和/或协议，以及二者之间往来的数据关联方式。具体的，双目摄像头110可以安装在车辆的车头，面向车辆行驶方向，实时采集车辆行驶方向的二维图像。还可以安装在车辆的车尾，实时采集车辆后方的二维图像。双目摄像头110包括一左、一右两个摄像头，左右两个摄像头平行等高，同时采集车辆前方的二维图像，并将采集的二维图像发送至该车载终端120。车载终端120根据双目摄像头110采集的二维图像，通过立体匹配算法可以得到视差图像，并从视差图像中得到V视差图，并基于V视差图采用本公开提供的路面检测方法实现路面区域的检测。
图2是根据一示例性实施例示出的一种装置200的框图。例如，装置200可以是图1所示实施环境中的车载终端120。
参照图2，装置200可以包括以下一个或多个组件：处理组件202，存储器204，电源组件206，多媒体组件208，音频组件210，传感器组件214以及通信组件216。
处理组件202通常控制装置200的整体操作，诸如与显示，电话呼叫，数据通信，相机操作以及记录操作相关联的操作等。处理组件202可以包括一个或多个处理器218来执行指令，以完成下述的方法的全部或部分步骤。此外，处理组件202可以包括一个或多个模块，便于处理组件202和其他组件之间的交互。例如，处理组件202可以包括多媒体模块，以方便多媒体组件208和处理组件202之间的交互。
存储器204被配置为存储各种类型的数据以支持在装置200的操作。这些数据的示例包括用于在装置200上操作的任何应用程序或方法的指令。存储器204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static RandomAccess Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(ErasableProgrammable Read Only Memory，简称EPROM)，可编程只读存储器(Programmable Red-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。存储器204中还存储有一个或多个模块，该一个或多个模块被配置成由该一个或多个处理器218执行，以完成下述图3、图8任一所示方法中的全部或者部分步骤。
电源组件206为装置200的各种组件提供电力。电源组件206可以包括电源管理系统，一个或多个电源，及其他与为装置200生成、管理和分配电力相关联的组件。
多媒体组件208包括在所述装置200和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(Liquid Crystal Display，简称LCD)和触摸面板。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。屏幕还可以包括有机电致发光显示器(Organic Light Emitting Display，简称OLED)。
音频组件210被配置为输出和/或输入音频信号。例如，音频组件210包括一个麦克风(Microphone，简称MIC)，当装置200处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器204或经由通信组件216发送。在一些实施例中，音频组件210还包括一个扬声器，用于输出音频信号。
传感器组件214包括一个或多个传感器，用于为装置200提供各个方面的状态评估。例如，传感器组件214可以检测到装置200的打开/关闭状态，组件的相对定位，传感器组件214还可以检测装置200或装置200一个组件的位置改变以及装置200的温度变化。在一些实施例中，该传感器组件214还可以包括磁传感器，压力传感器或温度传感器。
通信组件216被配置为便于装置200和其他设备之间有线或无线方式的通信。装置200可以接入基于通信标准的无线网络，如WiFi(WIreless-Fidelity，无线保真)。在一个示例性实施例中，通信组件216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件216还包括近场通信(Near FieldCommunication，简称NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RadioFrequency Identification，简称RFID)技术，红外数据协会(Infrared DataAssociation，简称IrDA)技术，超宽带(Ultra Wideband，简称UWB)技术，蓝牙技术和其他技术来实现。
在示例性实施例中，装置200可以被一个或多个应用专用集成电路(ApplicationSpecific Integrated Circuit，简称ASIC)、数字信号处理器、数字信号处理设备、可编程逻辑器件、现场可编程门阵列、控制器、微控制器、微处理器或其他电子元件实现，用于执行下述方法。
图3是根据一示例性实施例示出的一种路面检测方法的流程图。该路面检测方法的适用范围和执行主体，例如，该方法用于图1所示实施环境的车载终端120。如图3所示，该路面检测方法可以包括以下步骤。
在步骤310中，获取包含路面区域的V视差图，在所述V视差图中拟合代表路面区域的全局路面参考线；
具体的，可以由双目摄像头采集左、右二维图像，将左摄像头采集的二维图像作为基准图像，将右摄像头采集的二维图像作为比较图像，当然也可以，将右摄像头采集的二维图像作为基准图像，将左摄像头采集的二维图像作为比较图像。之后采用立体匹配算法针对比较图像和基准图像进行立体匹配处理，得到视差图像。视差图像中每个点处的灰度值为该点处的视差，用d表示。可替换地，可以将视差图中的点表示为(u，v，d)以便同时反映点的坐标和视差，所以视差图像也可以称为三维立体图像。
需要说明的是，V视差图(V-Disparity-MAP，纵向视差直方图)可以从前面得到的视差图像中导出。V视差图可以视为视差图像的侧视图，其横坐标轴为d轴，纵坐标轴为v轴，其上的点可表示为(d，v)，并且点(d，v)的灰度值(亮度值)是对应视差图像的纵坐标为v的行中视差等于d的点的数量，因此，可以通过统计该数量或者使用本领域公知的其他方法来从视差图像导出V视差图。在V视差图上通过直线拟合得到代表路面的斜线，最后返回到原视差图像中来检测路面。
其中，在V视差图上一般采用霍夫变换来拟合直线。霍夫变换是将以笛卡尔坐标系表示的V视差图中的有效点转换到极坐标空间中，在极坐标空间检测斜线。在基于双目视觉的路面检测方法中，复杂的路况条件、匹配误差等因素将会严重影响霍夫变换直线检测效果，而检测误差的产生将会对路面检测以及删除效果产生极大的影响。因此，有必要根据一定的规则对检测出的斜线进行优化调整。
需要解释的是，路面视差图像在V视差图中将会映射出一条倾斜的直线。在检测范围以内，即使正前方存在上下坡等路况，路面视差信息在V视差图中所形成的这一条斜线也不会存在较大的波动。因此可以通过在V视差图中拟合出一条代表路面的全局线，以此全局线作为参考，来对V视差图中分段检测的代表路面的斜线段进行修正。
可选的，上述步骤310在所述V视差图中拟合全局路面参考线具体包括：
在步骤311中，在所述V视差图中从下往上按列选取预设数目的视差点；
如图4所示，为包含路面区域的V视差图。在V视差图中，可以按列，在每列中从下往上选择一定数目的视差点作为路面视差点，即路面ROI(感兴趣)区域。需要解释的是，由于在V视差图中路面区域的位置最低，所以可以从下往上选择一定数目的视差点作为路面视差点，其他视差点则认为是障碍物视差点。
在步骤312中，根据选取的所述视差点进行直线拟合，得到所述代表路面区域的全局路面参考线。
在选取了路面视差点后，可以采用霍夫变换在V视差图中根据上述路面视差点，拟合出一条代表路面的斜线，作为全局路面参考线。霍夫变换会将路面视差点从直角坐标系(k，b)投影到极坐标系(ρ,θ)，在极坐标系下统计投票数，取最大投票数所对应的斜线(ρ,θ)作为全局的路面参考线。全局路面参考线的拟合结果如图5所示，图中的斜线即为从V视差图中拟合得到的代表路面的全局路面参考线。
在步骤320中，根据所述全局路面参考线确定所述V视差图中的路面支撑点；所述路面支撑点为所述V视差图所对应视差图像中路面区域在所述V视差图中所映射的点；
换句话说，路面支撑点(Road Support Points)指的是视差图像中的路面标识物上的视差点投影到V视差图上所生成的点，从路面支撑点可以得到视差图像某一行上路面标识物的具体视差值及其个数信息。路面支撑点是在V视差图中当前列从路面位置向上搜索一定数量的点作为路面支撑点，其上界不能超过全局路面参考线以上一定高度。根据全局路面参考线结合路面高度阈值和障碍物高度经验阈值，可以确定V视差图中的路面支撑点。如图6所示，较低的斜线为全局路面参考线，较高的斜线代表从全局路面参考线开始往上设置一定的阈值，路面支撑点不能超出这条较高的斜线。路面支撑点可以是上述选择的V视差图中路面视差点的一部分。
可选的，步骤320可以包括以下步骤：
在步骤321中，根据所述全局路面参考线以及所述V视差图中每列的视差点分布情况，确定所述V视差图中每一列的障碍物分布情况；
具体的，可以通过以下方式判断V视差图中每一列是否存在障碍物：a)计算当前列最高点到全局路面参考线的高度(指世界坐标系下的高度)，大于实际情况中的障碍物高度阈值，认为当前列存在障碍物；(b)遍历当前列，统计当前列存在的有效点(即视差点)个数，如果有效点个数大于一定阈值，则认为当前列存在障碍物。需要注意的是，有效点的个数阈值需要根据近大远小的原则自适应调整。在实际场景中，正前方障碍物呈现近大远小规律。因此，视差图中，近处障碍物大其视差点较多，远处障碍物小其视差点较少。根据这一规律，若采用(b)方法来确定当前列障碍物的分布状况，有效点的个数阈值必须根据远近关系来调整。
在步骤322中，根据所述V视差图中每一列的障碍物分布情况，确定所述V视差图中距离所述全局路面参考线预设范围内的路面支撑点。
在上述步骤321确定每一列是否存在障碍物之后，在V视差图中当前列从路面位置(最低处)向上搜索一定数量的点作为路面支撑点，根据当前列是否存在障碍物可以动态地调整当前列选取的路面支撑点个数，若当前列存在障碍物，为降低障碍物视差点对直线拟合的影响，当前列被确定为路面支撑点的个数应该尽量少；若当前列只包含路面，那么可以保留较多路面支撑点。但是选取的路面支撑点的上界不能超出全局路面参考线以上一定高度，例如不能超出图6所示中较高的斜线。
在步骤330中，将所述V视差图纵向切分为若干子图像，分别对每张子图像中的路面支撑点进行直线拟合，得到每张子图像中代表路面区域的斜线段；
举例来说，如图6所示，以图中纵向竖线为准，将V视差图切分为左右两段，这里我们将左右两段的图像称为子图像。根据需要V视差图还可以切分为三段甚至多段，对于切分后的每张子图像，可以根据当前子图像中的路面支撑点来拟合得到当前子图像中代表路面区域的斜线段，最终得到V视差图中代表路面区域的分段拟合结果。如图7所示，为一种实施例示出的V视差图中的分段拟合结果。其中，通过路面支撑点来拟合得到斜线段的方式可以采用现有的直线拟合方法，如霍夫变换直线检测法或最小二乘法。
在步骤340中，根据所述全局路面参考线，对所述若干子图像中代表路面区域的斜线段进行修正，得到优化后的代表路面区域的斜线段。
图7左边第一段与全局路面参考线发生偏差的原因是远处路面不明显或路面视差点较少，同样的远处障碍物视差点也较少并且产生分布不均的情况，此类情况下拟合出的斜线很有可能会穿过障碍物产生误检。在有效的检测范围内，前方行驶路面不会存在较大的波动，因此路面视差点映射到V视差图中得到的对应路面的斜线斜率也不会产生较大幅度的波动。基于这点考虑，如果在V视差图分段检测的斜线段斜率与全局路面参考线的斜率存在较大的差异(如图7所示)，就有理由根据全局路面参考线的斜率来对局部斜线段的斜率进行修正，提高局部斜线段的检测精度，克服远处路面斜线段检测精度难以保证的缺陷。
具体的，可以根据全局路面参考线和路面支撑点对子图像中拟合得到的斜线段进行修正。根据需要，可以对子图像中的斜线段的斜率和截距进行修正。现有的基于双目立体视觉的路面检测方法，主要是在V视差图中通过直线拟合算法，如霍夫变换(HoughTransform)拟合的斜线来检测路面。通常情况下，霍夫变换只能简单的统计有效点在极坐标空间下的分布情况，缺少先验信息对检测的路面斜线进行指导，因此容易存在较大的误检概率。本公开克服了霍夫变换检测斜线发生的误检情况，基于全局路面参考线和路面支撑点进行直线拟合优化，通过在V视差图中分段检测代表路面的斜线段，并根据全局路面参考线和路面支撑点对偏离全局路面参考线的斜线段进行修正，从而可以提高V视差图中路面斜线段的检测准确性，解决因霍夫变换拟合斜线存在检测误差的问题，克服因远处视差点较少导致远处路面斜线段的拟合精度较低的问题。
可选的，上述步骤340具体包括：
根据所述全局路面参考线的斜率，对所述若干子图像中代表路面区域的斜线段进行斜率的修正。
图8为本公开一示例性实施例提供的路面检测方法的详细流程示意图，如图8所示，在步骤801中，首先根据双目摄像头110拍摄的左右两幅图像生成视差图像；在步骤802中，从视差图像中生成V视差图；在步骤803中，在V视差图中确定用于全局拟合的感兴趣区域，如从下往上选择一定数目的视差点作为感兴趣区域。在步骤804中，在感兴趣区域通过霍夫变换检测代表路面的全局路面参考线，标记为(kref,bref)。在步骤805中，根据全局路面参考线和每列的视差点分布情况，在V视差图中确定路面支撑点。在步骤806中，将V视差图纵向切分为若干子图像，通过霍夫变换检测局部(子图像)路面斜线段，假设切分为两段，则可以分别标记为(k1，b1)、(k2，b2)；之后，在步骤807中，可以根据全局路面参考线的斜率kref对局部路面斜线段的斜率k1、k2进行修正。
其中，根据全局路面参考线的斜率，对若干子图像中代表路面区域的斜线段进行斜率的修正，具体包括：
针对与所述全局路面参考线的斜率偏差大于预设值的斜线段，计算所述全局路面参考线与所述斜线段的斜率均值，将所述斜率均值作为所述斜线段的斜率。
需要说明的是，可以通过将全局路面参考线斜率kref与局部路面斜线段斜率k1、k2进行比较，发现第一段拟合结果k1产生了较大的偏差，因此需要进行修正。如图9所示，局部斜率k1与全局斜率kref取均值来更新局部斜率。假设局部斜率k1与全局结果kref相同，即采用全局斜率来更新局部斜率。如图9所示，为对V视差图中第一段进行斜率修正的结果示意图，进行斜率修正后的主要效果是修正后的斜线不再穿过或者较少穿过障碍物视差点，由此带来的好处就是降低障碍物视差点因斜线检测错误而导致的障碍物误删的情况发生。
可选的，上述步骤340还可以包括：
根据所述V视差图中的路面支撑点，对经过斜率修正后的斜线段进行截距的修正。
如图9所示，对视差图第一段进行斜率修正以后，避免了当前段的斜率出现较大幅度的波动。但是可以发现，经过斜率修正后的代表路面的斜线在大部分的路面支撑点以上，即修正后的斜线段在斜率波动(路面波动)上符合正常的路况条件，但是截距较高。因此，有必要对当前段的截距做进一步的修正。如图8所示，在步骤808中，还可以对斜线段的截距进行修正。在经过截距修正后就可以得到优化后的代表路面的斜线，进而在步骤809中，可以根据V视差图中经过修正后的路面斜线段，得到视差图像中的路面区域，实现路面检测，例如，V视差图中修正后斜线段上的点(d1，v1)，可以对应在视差图像中找到点(u1，v1，d1)属于路面区域。
在机器学习领域，支持向量机(SVM)常被用作对线性可分或线性不可分问题进行分类。其核心思想是在待分类数据中确定一些点，在SVM中将这些点称为支持向量。简单的，根据这些支持向量就可以确定分类超平面。
参照机器学习领域中关于支持向量机算法的定义，在截距修正阶段，可以根据之前确定的路面支撑点来对局部拟合的路面斜线段进行修正。修正的依据是使V视差图中分段拟合的路面斜线段距离路面支撑点满足一定的阈值范围，即局部拟合到的路面斜线段与给定的路面支撑点不能有太大的偏差。
其中，根据V视差图中的路面支撑点，对经过斜率修正后的斜线段进行截距的修正，包括：
针对与所述路面支撑点之间的距离大于阈值范围的斜线段，根据所述斜线段所在子图像中所有列的路面支撑点，对所述斜线段的截距进行修正。
针对进行斜率修正后的斜线段，如果该斜线段与路面支撑点的距离大于预设阈值范围，表示该斜线段与路面支撑点偏差较大，需要进行修正。具体的，根据该斜线段所在子图像中所有列的路面支撑点，对该斜线段的截距进行修正可以采用以下三种方式：
(a)根据当前子图像中所有列的最低位置路面支撑点(一个支撑点)计算出的结果来更新截距。
如图10所示V视差图中，方框代表障碍物视差点，圆圈代表路面视差点，三角形代表路面支撑点，其中，阴影三角形代表所有列的最低位置路面支撑点，虚线表示当前子图像中拟合的斜线段，实线表示根据所有列的最低位置路面支撑点对该斜线段的截距进行修正后的结果。即平移拟合的斜线段，使该斜线段经过所有列的最低位置路面支撑点。
(b)根据当前子图像中每一列的最低位置支撑点，计算出的截距平均值来更新截距。
假设当前子图像中代表路面的斜线段斜率为k，当前截距值为b。则根据每一列的最低位置路面支撑点求出的新的路面截距为：
Figure GDA0001498379460000121
其中，i代表第i个最低位置路面支撑点，n表示所选的最低位置路面支撑点的数量。(vi，di)表示第i个最低位置路面支撑点的坐标，计算得到新的截距平均值bnew来更新截距b。如图11所示，阴影三角形表示选定的每一列的最低位置路面支撑点，根据该子图像中每一列的最低位置路面支撑点计算出的截距平均值来更新该子图像中拟合的路面斜线段，实现截距的修正。
(c)根据当前子图像中所有列全部路面支撑点计算出的截距均值来更新截距。
与方式(b)不同的是，(c)中采用的是全部路面支撑点计算出的截距平均值进行更新。如图12所示，路面支撑点用三角形表示，采用全部路面支撑点计算出的截距均值来更新当前截距。
如图13所示，采用(c)中指出的截距修正方式，利用全部路面支撑点计算出的截距均值来更新图9所示V视差图中第一段斜线段的截距。效果如图13所示，可以很明显的发现，代表路面的斜线经过截距修正之后，能够穿过大部分的路面视差点，采用当前斜线可以有效的来对路面进行检测和删除。
在现有技术中，通过在V视差图中检测一条代表路面的斜线，返回到原视差图像中进行路面的检测和删除，但是，在实际检测过程中发现，受到复杂路面情况的干扰以及障碍物视差点的影响，采用直线拟合的方法在V视差图中拟合斜线通常产生误检，导致路面检测误差大。
基于这个缺陷，返回到原视差图中进行路面的检测和删除，是一种比较通行的路面检测方法。但是，在实际检测过程中发现，受到复杂路面情况的干扰，以及障碍物视差点的影响，采用直线拟合的方法在V视差图中拟合斜线通常产生误检。基于这个缺陷，本公开实施例提供的上述方案，提出了一种直线拟合修正策略通过在V视差图中检测一条代表路面的斜线作为全局路面参考线，采用全局路面参考线来对各分段V视差图中的斜线段进行斜率的修正，采用路面支撑点来对斜线段的截距进行依次修正。其中，对斜率进行简单的修正能够降低障碍物视差点对直线拟合的影响，减少障碍物被误删的可能性。根据路面支撑点对截距进行修正，能够提高直线拟合路面视差点精度，提高路面检测效果。上文对具体的斜率和截距修正策略进行了详细的介绍，并给出了图形示意。需要说明的是，以上关于在V视差图上进行斜率、截距修正的方法，仅仅举出了V视差图分两段情况下修正的例子。但是，关于本公开提出的直线拟合的修正方法对于V视差图分三段，甚至分多段的情况同样适用。
下述为本公开装置实施例，可以用于执行本公开上述车载终端120执行的路面检测方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开路面检测方法实施例。
图14是根据一示例性实施例示出的一种路面检测装置的框图，该路面检测装置可以用于图1所示实施环境的车载终端120中，执行图3、图8任一所示的路面检测方法的全部或者部分步骤。如图14所示，该装置包括但不限于：全局拟合模块1410、支撑点确定模块1420、局部拟合模块1430、分段修正模块1440。
全局拟合模块1410，用于获取包含路面区域的V视差图，在所述V视差图中拟合代表路面区域的全局路面参考线；
支撑点确定模块1420，用于根据所述全局路面参考线确定所述V视差图中的路面支撑点；所述路面支撑点为所述V视差图所对应视差图像中路面区域在所述V视差图中所映射的点；
局部拟合模块1430，用于将所述V视差图纵向切分为若干子图像，分别对每张子图像中的路面支撑点进行直线拟合，得到每张子图像中代表路面区域的斜线段；
分段修正模块1440，用于根据所述全局路面参考线，对所述若干子图像中代表路面区域的斜线段进行修正，得到优化后的代表路面区域的斜线段。
上述装置中各个模块的功能和作用的实现过程具体详见上述路面检测方法中对应步骤的实现过程，在此不再赘述。
全局拟合模块1410比如可以是图2中的某一个物理结构处理器218。
支撑点确定模块1420、局部拟合模块1430、分段修正模块1440也可以是功能模块，用于执行上述路面检测方法中的对应步骤。可以理解，这些模块可以通过硬件、软件、或二者结合来实现。当以硬件方式实现时，这些模块可以实施为一个或多个硬件模块，例如一个或多个专用集成电路。当以软件方式实现时，这些模块可以实施为在一个或多个处理器上执行的一个或多个计算机程序，例如图2的处理器218所执行的存储在存储器204中的程序。
可选的，本公开还提供一种电子设备，该电子设备可以用于图1所示实施环境的车载终端120中，执行图3、图8任一所示的路面检测方法的全部或者部分步骤。所述电子设备包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行上述实施例所述的路面检测方法。例如包括：
获取包含路面区域的V视差图，在所述V视差图中拟合代表路面区域的全局路面参考线；
根据所述全局路面参考线确定所述V视差图中的路面支撑点；所述路面支撑点为所述V视差图所对应视差图像中路面区域在所述V视差图中所映射的点；
将所述V视差图纵向切分为若干子图像，分别对每张子图像中的路面支撑点进行直线拟合，得到每张子图像中代表路面区域的斜线段；
根据所述全局路面参考线，对所述若干子图像中代表路面区域的斜线段进行修正，得到优化后的代表路面区域的斜线段。
该实施例中电子设备的处理器执行操作的具体方式已经在有关该路面检测方法的实施例中执行了详细描述，此处将不做详细阐述说明。
在示例性实施例中，还提供了一种存储介质，该存储介质为计算机可读存储介质，例如可以为包括指令的临时性和非临时性计算机可读存储介质。该存储介质存储有计算机程序，该计算机程序可由装置200的处理器218执行以完成上述路面检测方法。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (9)

1.一种路面检测方法，其特征在于，包括：
获取包含路面区域的V视差图，在所述V视差图中拟合代表路面区域的全局路面参考线；
根据所述全局路面参考线确定所述V视差图中的路面支撑点；所述路面支撑点为所述V视差图所对应视差图像中路面区域在所述V视差图中所映射的点；
将所述V视差图纵向切分为若干子图像，分别对每张子图像中的路面支撑点进行直线拟合，得到每张子图像中代表路面区域的斜线段；
根据所述全局路面参考线，对所述若干子图像中代表路面区域的斜线段进行修正，得到优化后的代表路面区域的斜线段；
其中，所述根据全局路面参考线确定所述V视差图中的路面支撑点，包括：
根据所述全局路面参考线以及所述V视差图中每列的视差点分布情况，确定所述V视差图中每一列的障碍物分布情况；
根据所述V视差图中每一列的障碍物分布情况，确定所述V视差图中距离所述全局路面参考线预设范围内的路面支撑点。
2.根据权利要求1所述的方法，其特征在于，所述在V视差图中拟合代表路面区域的全局路面参考线，包括：
在所述V视差图中从下往上按列选取预设数目的视差点；
根据选取的所述视差点进行直线拟合，得到所述代表路面区域的全局路面参考线。
3.根据权利要求1所述的方法，其特征在于，所述根据所述全局路面参考线，对若干子图像中代表路面区域的斜线段进行修正，得到优化后的代表路面区域的斜线段包括：
根据所述全局路面参考线的斜率，对所述若干子图像中代表路面区域的斜线段进行斜率的修正。
4.根据权利要求3所述的方法，其特征在于，所述根据全局路面参考线的斜率，对所述若干子图像中代表路面区域的斜线段进行斜率的修正，包括：
针对与所述全局路面参考线的斜率偏差大于预设值的斜线段，计算所述全局路面参考线与所述斜线段的斜率均值，将所述斜率均值作为所述斜线段的斜率。
5.根据权利要求3所述的方法，其特征在于，所述根据所述全局路面参考线，对若干子图像中代表路面区域的斜线段进行修正，得到优化后的代表路面区域的斜线段，还包括：
根据所述V视差图中的路面支撑点，对经过斜率修正后的斜线段进行截距的修正。
6.根据权利要求5所述的方法，其特征在于，所述根据所述V视差图中的路面支撑点，对经过斜率修正后的斜线段进行截距的修正，包括：
针对与所述路面支撑点之间的距离大于阈值范围的斜线段，根据所述斜线段所在子图像中所有列的路面支撑点，对所述斜线段的截距进行修正。
7.一种路面检测装置，其特征在于，包括：
全局拟合模块，用于获取包含路面区域的V视差图，在所述V视差图中拟合代表路面区域的全局路面参考线；
支撑点确定模块，用于根据所述全局路面参考线确定所述V视差图中的路面支撑点；所述路面支撑点为所述V视差图所对应视差图像中路面区域在所述V视差图中所映射的点；
局部拟合模块，用于将所述V视差图纵向切分为若干子图像，分别对每张子图像中的路面支撑点进行直线拟合，得到每张子图像中代表路面区域的斜线段；
分段修正模块，用于根据所述全局路面参考线，对所述若干子图像中代表路面区域的斜线段进行修正，得到优化后的代表路面区域的斜线段；
其中，所述支撑点确定模块还包括：
用于根据所述全局路面参考线以及所述V视差图中每列的视差点分布情况，确定所述V视差图中每一列的障碍物分布情况；
根据所述V视差图中每一列的障碍物分布情况，确定所述V视差图中距离所述全局路面参考线预设范围内的路面支撑点。
8.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行权利要求1-6任意一项所述的路面检测方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序可由处理器执行完成权利要求1-6任意一项所述的路面检测方法。
CN201710976047.5A 2017-10-19 2017-10-19 路面检测方法及装置、电子设备、存储介质 Active CN107844749B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710976047.5A CN107844749B (zh) 2017-10-19 2017-10-19 路面检测方法及装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710976047.5A CN107844749B (zh) 2017-10-19 2017-10-19 路面检测方法及装置、电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN107844749A CN107844749A (zh) 2018-03-27
CN107844749B true CN107844749B (zh) 2020-09-29

Family

ID=61661432

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710976047.5A Active CN107844749B (zh) 2017-10-19 2017-10-19 路面检测方法及装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN107844749B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109862349B (zh) * 2019-02-18 2021-05-18 北京中科慧眼科技有限公司 视差图的质量检测方法、装置与自动驾驶系统
CN110231254A (zh) * 2019-06-12 2019-09-13 刘华云 一种用于接触角测量仪的内置计算方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103489175A (zh) * 2012-06-13 2014-01-01 株式会社理光 路面检测方法和装置
CN103854008A (zh) * 2012-12-04 2014-06-11 株式会社理光 路面检测方法和装置
KR101739394B1 (ko) * 2016-12-30 2017-05-26 재단법인대구경북과학기술원 이종 화각의 스테레오 카메라를 이용한 객체 거리 추정 장치 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103489175A (zh) * 2012-06-13 2014-01-01 株式会社理光 路面检测方法和装置
CN103854008A (zh) * 2012-12-04 2014-06-11 株式会社理光 路面检测方法和装置
KR101739394B1 (ko) * 2016-12-30 2017-05-26 재단법인대구경북과학기술원 이종 화각의 스테레오 카메라를 이용한 객체 거리 추정 장치 및 그 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
面向复杂背景中彩色立体图像的障碍物检测;魏怡 等;《计算机应用》;20071231;第26卷(第7期);第23-27页 *

Also Published As

Publication number Publication date
CN107844749A (zh) 2018-03-27

Similar Documents

Publication Publication Date Title
CN107392103B (zh) 路面车道线的检测方法及装置、电子设备
US11035958B2 (en) Systems and methods for correcting a high-definition map based on detection of obstructing objects
EP3680858A1 (en) Dynamic multi-camera tracking of moving objects in motion streams
US20210287035A1 (en) Image and lidar segmentation for lidar-camera calibration
CN110753892A (zh) 在自动驾驶车辆中用于经由交叉模态验证的即时物体标记的方法和系统
CN109583280A (zh) 车道线识别方法、装置、设备及存储介质
CN110753953A (zh) 用于自动驾驶车辆中经由交叉模态验证的以物体为中心的立体视觉的方法和系统
CN110869559A (zh) 用于自动驾驶车辆中的集成的全局式与分布式学习的方法和系统
CN107977654B (zh) 一种道路区域检测方法、装置及终端
WO2020160155A1 (en) Dynamic distance estimation output generation based on monocular video
CN105335955A (zh) 对象检测方法和对象检测装置
WO2020154990A1 (zh) 目标物体运动状态检测方法、设备及存储介质
KR20150084234A (ko) 차량 및 차선 위치 검출 시스템 및 방법
CN107358168B (zh) 一种车辆可行驶区域的检测方法及装置、车载电子设备
RU2571367C1 (ru) Устройство обнаружения трехмерных объектов
CN112947419B (zh) 避障方法、装置及设备
WO2014181386A1 (ja) 車両判別装置
CN110992424B (zh) 基于双目视觉的定位方法和系统
CN107844749B (zh) 路面检测方法及装置、电子设备、存储介质
JP6800901B2 (ja) 物体領域識別装置、物体領域識別方法およびプログラム
CN116486130A (zh) 障碍物识别的方法、装置、自移动设备及存储介质
US11157755B2 (en) Image processing apparatus
US11645838B2 (en) Object detection system, object detection method, and program
CN114078323B (zh) 感知增强方法、装置、路侧基站、计算机设备和存储介质
US20220301208A1 (en) Distance estimation device and distance estimation method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant