CN107358168A - 一种车辆可行驶区域的检测方法及装置、车载电子设备 - Google Patents

一种车辆可行驶区域的检测方法及装置、车载电子设备 Download PDF

Info

Publication number
CN107358168A
CN107358168A CN201710472943.8A CN201710472943A CN107358168A CN 107358168 A CN107358168 A CN 107358168A CN 201710472943 A CN201710472943 A CN 201710472943A CN 107358168 A CN107358168 A CN 107358168A
Authority
CN
China
Prior art keywords
vehicle
wheeled region
edge
image
edge pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710472943.8A
Other languages
English (en)
Other versions
CN107358168B (zh
Inventor
浠茬淮
仲维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Group Co Ltd
Original Assignee
Hisense Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Group Co Ltd filed Critical Hisense Group Co Ltd
Priority to CN201710472943.8A priority Critical patent/CN107358168B/zh
Publication of CN107358168A publication Critical patent/CN107358168A/zh
Application granted granted Critical
Publication of CN107358168B publication Critical patent/CN107358168B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Abstract

本公开揭示了一种车辆可行驶区域的检测方法及装置、车载电子设备、计算机可读存储介质,该方法包括:获取车辆行驶方向的双目图像,根据双目图像生成车辆行驶方向的视差图像;对视差图像进行边缘提取操作处理,区分边缘像素点和非边缘像素点;根据已知的可行驶区域非边缘像素特征,在处理后图像中确定符合可行驶区域非边缘像素特征的非边缘像素点;根据符合可行驶区域非边缘像素特征的非边缘像素点在双目图像中的对应位置,得到双目图像中的车辆可行驶区域。该方案直接根据可行驶区域非边缘像素特征确定可行驶区域的非边缘像素点,进而确定可行驶区域,计算复杂度低,大幅度提升可行驶区域检测的实时性和准确性,提升安全驾驶的稳定性和可靠性。

Description

一种车辆可行驶区域的检测方法及装置、车载电子设备
技术领域
本公开涉及安全驾驶技术领域,特别涉及一种车辆可行驶区域的检测方法及装置、车载电子设备、计算机可读存储介质。
背景技术
周围环境感知对于驾驶员辅助系统而言越来越重要。在此例如使用雷达传感器、激光雷达传感器、超声传感器或摄像机系统。通过后续的算法来分析和解析传感器数据。解析的结果随后传输给驾驶员辅助系统,所述驾驶员辅助系统随后采取车辆上的相应动作。
现有相关的传感技术主要以双目相机为主,首先,基于左右摄像头拍摄的二维图像,合成包括道路路面的三维立体图像(景深/视差图像)。其次,基于该三维立体图像建立V-Disparity-Map(纵向视差直方图),并基于该V-Disparity-Map检测道路路面。此后,从V-Disparity-Map中删除相对于道路路面的高度大于预定高度阈值的部分,产生V-Disparity-Map的子图。将该V-Disparity-Map子图继续转换为U-Disparity-Map(横向视差直方图)。在U-Disparity-Map中检测汽车行驶方向上道路的可行驶区域,并结合位置对应关系,将其转化到相应的二维图像中,形成最终的可行驶区域判定。
虽然,上述方案提出了基于双目摄像头系统的汽车可行驶区域检测方案,然而仍存在图像处理算法复杂,硬件资源消耗大,实时性难以保障等缺陷。具体而言,为检测汽车行驶方向上的道路可行驶区域,该技术分别进行了V-Disparity-Map以及U-Disparity-Map的创建,并分别基于V-Disparity-Map以及U-Disparity-Map进行道路及车辆等障碍物的检测处理,该技术的图像算法计算复杂度高,需要消耗大量存储及计算相关的硬件资源。
发明内容
为了解决相关技术中存在的进行可行驶区域判定的计算复杂度高的问题,本公开提供了一种车辆可行驶区域的检测方法。
一方面,本公开提供了一种车辆可行驶区域的检测方法,该方法包括:
获取车辆行驶方向的双目图像,根据所述双目图像生成车辆行驶方向的视差图像;
对所述视差图像进行边缘提取操作处理,区分边缘像素点和非边缘像素点;
根据已知的可行驶区域非边缘像素特征,在处理后图像中确定符合所述可行驶区域非边缘像素特征的非边缘像素点;
根据所述符合可行驶区域非边缘像素特征的非边缘像素点在所述双目图像中的对应位置,得到所述双目图像中的车辆可行驶区域。
在一种实施例中,在根据所述符合可行驶区域非边缘像素特征的非边缘像素点在所述双目图像中的对应位置,得到所述双目图像中的车辆可行驶区域之后,所述方法还包括:
根据所述可行驶区域的边界三维空间信息,计算车辆与可行驶区域的相对距离和相对速度变化,预估车辆偏离所述可行驶区域的时间;
在所述时间小于风险阈值时,发出警报信号。
在一种实施例中,对所述视差图像进行边缘提取操作处理,包括:
提取所述视差图像中边缘像素的视差值,边缘像素以外的非边缘像素的视差值均为0。
在一种实施例中,所述根据所述符合可行驶区域非边缘像素特征的非边缘像素点在所述双目图像中的对应位置,得到所述双目图像中的车辆可行驶区域,包括:
基于边缘提取操作处理后图像的边缘像素,对所述边缘提取操作处理后图像中符合所述可行驶区域非边缘像素特征的非边缘像素点进行视差值填充操作;
对视差值填充操作后图像进行降噪及平滑处理,保留视差值非0的各像素点;
根据所述视差图像与所述双目图像的位置对应关系,确定所述视差值非0的各像素点在所述双目图像中的位置,得到所述双目图像中的车辆可行驶区域。
在一种实施例中,所述可行驶区域非边缘像素特征包括:横向方向存在视差值相同或视差值差值小于阈值的边缘像素且纵向方向不存在视差值相同或视差值差值小于阈值的边缘像素。
另一方面,本公开还提供了一种车辆可行驶区域的检测装置,该装置包括:
图像获取模块,用于获取车辆行驶方向的双目图像,根据所述双目图像生成车辆行驶方向的视差图像;
边缘提取模块,用于对所述视差图像进行边缘提取操作处理,区分边缘像素点和非边缘像素点;
像素确定模块,用于根据已知的可行驶区域非边缘像素特征,在处理后图像中确定符合所述可行驶区域非边缘像素特征的非边缘像素点;
区域确定模块,用于根据所述符合可行驶区域非边缘像素特征的非边缘像素点在所述双目图像中的对应位置,得到所述双目图像中的车辆可行驶区域。
在一种实施例中,该装置还包括:
风险评估模块,用于根据所述可行驶区域的边界三维空间信息,计算车辆与可行驶区域的相对距离和相对速度变化,预估车辆偏离所述可行驶区域的时间;在所述时间小于风险阈值时,发出警报信号。
在一种实施例中,所述区域确定模块包括:
视差填充单元,用于基于边缘提取操作处理后图像的边缘像素,对所述边缘提取操作处理后图像中符合所述可行驶区域非边缘像素特征的非边缘像素点进行视差值填充操作;
滤波单元,用于对视差值填充操作后图像进行降噪及平滑处理,保留视差值非0的各像素点;
区域确定单元,用于根据所述视差图像与所述双目图像的位置对应关系,确定所述视差值非0的各像素点在所述双目图像中的位置,得到所述双目图像中的车辆可行驶区域。
再一方面,本公开还提供了一种车载电子设备,所述设备包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行上述任意一种车辆可行驶区域的检测方法。
此外,本公开还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序可由处理器执行完成上述任意一种车辆可行驶区域的检测方法。
本公开的实施例提供的技术方案可以包括以下有益效果:
本公开提供的技术方案,通过对视差图像进行边缘提取操作,并根据可行驶区域非边缘像素特征就可以确定可行驶区域的非边缘像素点,由此,基于视差图像的像素点与双目图像的像素点的位置对应关系,可以确定可行驶区域的位置。该方案无需创建视差直方图也无需进行直线的拟合,直接根据可行驶区域非边缘像素特征确定可行驶区域的非边缘像素点,进而确定可行驶区域,计算复杂度低,大幅度提升可行驶区域检测的实时性和准确性,提升车辆安全驾驶的稳定性和可靠性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并于说明书一起用于解释本发明的原理。
图1是根据本公开所涉及的实施环境的示意图;
图2是根据一示例性实施例示出的一种装置的框图;
图3是根据一示例性实施例示出的一种车辆可行驶区域检测方法的流程图;
图4、图5是左右摄像头分别拍摄的二维图像示意图;
图6是将图4和图5的二维图像合成视差图像的效果示意图;
图7、图8、图9是根据一示例性实施例示出的进行立体匹配处理的原理图;
图10是图3对应实施例的步骤370的细节的流程示意图;
图11为本公开一示例性实施例示出的车辆可行驶区域检测方法的逻辑框图;
图12是根据一示例性实施例示出的一种车辆可行驶区域检测装置的框图;
图13为图12对应实施例中的区域确定模块的细节框图。
具体实施方式
这里将详细地对示例性实施例执行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1是根据本公开所涉及的实施环境的示意图。该实施环境包括:双目摄像头110和车载终端120。
双目摄像头110与车载终端120之间的关联方式,包括硬件的网络关联方式和/或协议,以及二者之间往来的数据关联方式。具体的,双目摄像头110可以安装在车辆的车头,面向车辆行驶方向,实时采集车辆行驶方向的二维图像。双目摄像头110包括一左、一右两个摄像头,左右两个摄像头平行等高,分别采集车辆行驶方向的二维图像,并将采集的二维图像发送至该车载终端120。车载终端120根据双目摄像头110采集的二维图像,并采用本公开提供的车辆可行驶区域的检测方法实现可行驶区域的检测。
图2是根据一示例性实施例示出的一种装置200的框图。例如,装置200可以是图1所示实施环境中的车载终端120。
参照图2,装置200可以包括以下一个或多个组件:处理组件202,存储器204,电源组件206,多媒体组件208,音频组件210,传感器组件214以及通信组件216。
处理组件202通常控制装置200的整体操作,诸如与显示,电话呼叫,数据通信,相机操作以及记录操作相关联的操作等。处理组件202可以包括一个或多个处理器218来执行指令,以完成下述的方法的全部或部分步骤。此外,处理组件202可以包括一个或多个模块,便于处理组件202和其他组件之间的交互。例如,处理组件202可以包括多媒体模块,以方便多媒体组件208和处理组件202之间的交互。
存储器204被配置为存储各种类型的数据以支持在装置200的操作。这些数据的示例包括用于在装置200上操作的任何应用程序或方法的指令。存储器204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(Static RandomAccess Memory,简称SRAM),电可擦除可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(ErasableProgrammable Read Only Memory,简称EPROM),可编程只读存储器(Programmable Red-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。存储器204中还存储有一个或多个模块,该一个或多个模块被配置成由该一个或多个处理器218执行,以完成下述图3、图10、图11任一所示方法中的全部或者部分步骤。
电源组件206为装置200的各种组件提供电力。电源组件206可以包括电源管理系统,一个或多个电源,及其他与为装置200生成、管理和分配电力相关联的组件。
多媒体组件208包括在所述装置200和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(Liquid Crystal Display,简称LCD)和触摸面板。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。屏幕还可以包括有机电致发光显示器(Organic Light Emitting Display,简称OLED)。
音频组件210被配置为输出和/或输入音频信号。例如,音频组件210包括一个麦克风(Microphone,简称MIC),当装置200处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器204或经由通信组件216发送。在一些实施例中,音频组件210还包括一个扬声器,用于输出音频信号。
传感器组件214包括一个或多个传感器,用于为装置200提供各个方面的状态评估。例如,传感器组件214可以检测到装置200的打开/关闭状态,组件的相对定位,传感器组件214还可以检测装置200或装置200一个组件的位置改变以及装置200的温度变化。在一些实施例中,该传感器组件214还可以包括磁传感器,压力传感器或温度传感器。
通信组件216被配置为便于装置200和其他设备之间有线或无线方式的通信。装置200可以接入基于通信标准的无线网络,如WiFi(WIreless-Fidelity,无线保真)。在一个示例性实施例中,通信组件216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件216还包括近场通信(Near FieldCommunication,简称NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RadioFrequency Identification,简称RFID)技术,红外数据协会(Infrared DataAssociation,简称IrDA)技术,超宽带(Ultra Wideband,简称UWB)技术,蓝牙技术和其他技术来实现。
在示例性实施例中,装置200可以被一个或多个应用专用集成电路(ApplicationSpecific Integrated Circuit,简称ASIC)、数字信号处理器、数字信号处理设备、可编程逻辑器件、现场可编程门阵列、控制器、微控制器、微处理器或其他电子元件实现,用于执行下述方法。
图3是根据一示例性实施例示出的一种车辆可行驶区域的检测方法的流程图。该车辆可行驶区域的检测方法的适用范围和执行主体,例如,该方法用于图1所示实施环境的车载终端120。如图3所示,该检测方法,可以由车载终端120执行,可以包括以下步骤。
在步骤310中,获取车辆行驶方向的双目图像,根据所述双目图像生成车辆行驶方向的视差图像;
具体的,可以由图1所示实施环境中的双目摄像头110采集车辆行驶方向的双目图像,双目图像是指由平行等高的两个摄像头分别采集的左、右二维图像。如图4和图5所示,为双目摄像头110的左、右两个摄像头分别采集的待测场景的二维图像。车载终端中可以设置图像处理引擎,由图像处理引擎将双目摄像头采集的双目图像生成视差图像,即三维立体图像。图像处理引擎可有CPU,DSP,GPU,FPGA或专用ASIC来实现。该图像处理引擎的输入为双目摄像头分别采集的二维图像,输出为大小与二维图像相同的三维立体图像,如图6所示。三维立体图像的灰度值对应为立体匹配合成后的二维图像像素点的视差值。
其中,图像处理引擎生成视差图像的具体过程如下:可以将左摄像头采集的二维图像作为基准图像,将右摄像头采集的二维图像作为比较图像,当然也可以,将右摄像头采集的二维图像作为基准图像,将左摄像头采集的二维图像作为比较图像。之后针对比较图像和基准图像进行三维图像的立体匹配处理。
具体的,首先针对比较图像,遍历需要进行立体匹配的中心像素点,并在该中心像素点周围建立固定大小(W x H)的窗口,如图7所示,作为该中心像素点与基准图像进行立体匹配时的最小计算单位。针对选定的比较图像的像素中心点,将相应的窗口映射在同Y坐标的基准图像上,如图8所示。从左到右的顺序遍历同Y轴的基准图像的窗口中心像素点,运用SAD(Sum of Absolute Difference对应像素差的绝对值)算法或SSD(Sum of SquaredDifference对应像素差的平方和)算法进行差异cost(值)计算,并保存相应计算结果,如图9所示。在SAD或SSD计算时,与比较图像差异cost最小的窗口中心像素点将被作为该选定像素中心点的匹配点,比较图像的选定像素中心点与基准图像的匹配点之间的位移差(x坐标之差)即为如图9所示的最小视差d’,其相应的深度信息则为在三维图像中,该基准图像像素中心点的对应距离。
具体的,通过遍历比较图像中的所有像素中心点,将计算出尺寸与基准图像相同的三维立体图像,即视差图像。基准图像的各像素点所对应的视差值,则将保存为三维立体图像的各像素点的灰度值。
在步骤330中,对所述视差图像进行边缘提取操作处理,区分边缘像素点和非边缘像素点;
具体的,可以由车载终端120中的嵌入式微处理器对图像处理引擎生成的视差图像进行基于高斯等滤波器的降噪处理,之后可以采用现有的Canny等算法对视差图像进行边缘提取操作处理。其中,步骤330具体包括:提取视差图像中边缘像素的视差值,边缘像素以外的非边缘像素的视差值均为0。换句话说,基于该边缘提取操作处理后的图像,边缘像素的灰度值即为该点的视差值,边缘像素以外的其他像素(即非边缘像素)的灰度值均为0。举例来说,道路的边缘像素的视差值为该点的视差值,道路的非边缘像素的视差值为0;前方车辆的边缘像素的视差值为该点的视差值,前方车辆的非边缘像素的视差值为0,从而区分了障碍物的边缘像素点和非边缘像素点。
在步骤350中,根据已知的可行驶区域非边缘像素特征,在处理后图像中确定符合所述可行驶区域非边缘像素特征的非边缘像素点;
需要说明的是,可行驶区域是指车辆前方的道路,但不包括道路上的障碍物,障碍物包括道路上的其他车辆、行人、路旁的树木或灯柱等。当车辆位于道路中时,对于车辆上的双目摄像头而言,道路左右两侧存在边缘,但上下方向不存在边缘。而除了道路以外的其他障碍物均存在左右和上下边缘,即障碍物存在左右和上下的边缘像素,而道路存在左右边缘像素不存在上下边缘像素。由此,符合可行驶区域非边缘像素特征的非边缘像素点是指:左右方向存在视差值相同或相近的边缘像素且上下方向不存在视差值相同或相近的边缘像素的非边缘像素点。也就是说,可行驶区域非边缘像素特征包括:横向方向存在视差值相同或视差值差值小于阈值的边缘像素且纵向方向不存在视差值相同或视差值差值小于阈值的边缘像素。
经过边缘提取操作处理后的图像,可以确定该图像中满足可行驶区域非边缘像素特征条件的非边缘像素点。满足“横向方向(左右方向)存在视差值相同或相近的边缘像素且纵向方向(上下方向)不存在视差值相同或相近的边缘像素”的非边缘像素点就是道路的可行驶区域。
在步骤370中,根据所述符合可行驶区域非边缘像素特征的非边缘像素点在所述双目图像中的对应位置,得到所述双目图像中的车辆可行驶区域。
具体的,根据视差图像和摄像头拍摄的二维图像的像素点的位置对应关系,可以得到满足可行驶区域非边缘像素特征的非边缘像素在二维图像中的对应位置,由二维图像中的对应位置得到车辆可行驶区域。
可选的,如图10所示,步骤370具体包括:
步骤371中,基于边缘提取操作处理后图像的边缘像素,对所述边缘提取操作处理后图像中符合所述可行驶区域非边缘像素特征的非边缘像素点进行视差值填充操作;
需要说明的是,车载终端120中的嵌入式微处理器基于边缘提取操作处理后图像的边缘像素的视差值,对非边缘像素(视差值为0)进行图像修复(In-Painting)操作,其中,此处的非边缘像素是指符合可行驶区域非边缘像素特征的非边缘像素点。对符合可行驶区域非边缘像素特征的这些非边缘像素点进行In-Painting操作就是基于这些非边缘像素的边缘像素点的视差值,对这些非边缘像素的视差值进行填充操作,使非边缘像素的视差值为非0视差值。由此,可行驶区域内的每个像素点均为非0像素值(视差值)。
步骤372中,对视差值填充操作后图像进行降噪及平滑处理,保留视差值非0的各像素点;
车载终端120的嵌入式微处理器对经过视差值填充操作后图像进行基于高斯等滤波器的降噪和平滑处理,去除可行驶区域以外的边缘像素的像素值,留下经过上述视差值填充操作的视差值非0的各像素点。
步骤373中,根据所述视差图像与所述双目图像的位置对应关系,确定所述视差值非0的各像素点在所述双目图像中的位置,得到所述双目图像中的车辆可行驶区域。
车载终端120根据视差图像中每个像素点与双目摄像头拍摄的二维图像的位置对应关系,将视差图像中像素值(视差值)非0的各像素对应为二维图像中的可行驶区域。
现有技术中,进行可行驶区域的判断需要创建横向视差直方图和纵向视差直方图,并基于横向视差直方图和纵向视差直方图进行直线拟合,实现可行驶区域的判断,该方案视差直方图的创建与直线的拟合复杂度高,需要消耗大量存储及计算相关的硬件资源,由此可行驶区域判定的难度大,对系统硬件要求高。本公开提供的技术方案,通过对视差图像进行边缘提取操作,并根据可行驶区域非边缘像素特征就可以确定可行驶区域的非边缘像素点,由此,基于视差图像的像素点与双目图像的像素点的位置对应关系,可以确定可行驶区域的位置。该方案无需创建视差直方图也无需进行直线的拟合,直接根据可行驶区域非边缘像素特征确定可行驶区域的非边缘像素点,计算复杂度低,大幅度提升可行驶区域检测的实时性和准确性,提升车辆安全驾驶的稳定性和可靠性。
进一步的,在步骤370根据所述符合可行驶区域非边缘像素特征的非边缘像素点在所述双目图像中的对应位置,得到所述双目图像中的车辆可行驶区域之后,本公开提供的车辆可行驶区域的检测方法还包括:
根据所述可行驶区域的边界三维空间信息,计算车辆与可行驶区域的相对距离和相对速度变化,预估车辆偏离所述可行驶区域的时间;
在所述时间小于风险阈值时,发出警报信号。
具体的,根据可行驶区域的边界像素点的三维空间信息,可以得到车辆与可行驶区域的最小相对距离。需要解释的是,假设可行驶区域的边界像素点的视差为d,已知左右摄像头之间的距离为b,焦距为f,那么边界像素点的距离信息Z=B*f/d,Z就是车辆与该边界像素点的相对距离,从而可以得到车辆与可行驶区域之间的最小相对距离。根据指定时间间隔内最小相对距离的变化,可以得到车辆与可行驶区域的最大相对速度。由此,根据车辆与可行驶区域的最小相对距离以及最大相对速度,可以估计出车辆偏离可行驶区域的时间。当该时间小于风险阈值时,认为车辆可能马上就要偏离可行驶区域,风险较大,需要进行预警,从而车载终端的预警终端发出警报信号,以实现预警的功能。
图11为本公开一示例性实施例示出的车辆可行驶区域检测方法的逻辑框图,如图11所示,双目摄像头采集左右两幅二维图像,左右两幅二维图像分别作为基准图像和比较图像,根据基准图像和比较图像合成视差图像。根据视差图像、基准图像以及可行驶区域特征信息库所包含的可行驶区域非边缘像素特征,确定可行驶区域。最后,根据可行驶区域的三维空间信息计算车辆与可行驶区域的相对距离和相对速度,估计偏离可行驶区域的时间,根据设定的时间风险阈值,在偏离可行驶区域的时间小于时间风险阈值时,认为发生偏离可能性较大,发生警报信号,进行偏离预警。
进一步可选的,在确定了可行驶区域后,可以根据可行驶区域的边界三维空间信息,计算出可行驶区域的尺寸,如果可行驶区域的尺寸较小,表示可行驶区域狭窄或障碍物较多,车辆偏离可行驶区域或发生碰撞的可能性较大。可选的,可以按照发生偏离或碰撞的可能性大小,设定偏离或碰撞可能性程度等级或风险程度等级,在达到风险等级时,实时进行告知,提升安全驾驶的稳定性和可靠性。
下述为本公开装置实施例,可以用于执行本公开上述车载终端120执行的车辆可行驶区域的检测方法实施例。对于本公开装置实施例中未披露的细节,请参照本公开车辆可行驶区域的检测方法实施例。
图12是根据一示例性实施例示出的一种车辆可行驶区域的检测装置的框图,该车辆可行驶区域的检测装置可以用于图1所示实施环境的车载终端120中,执行图3、图10、图11任一所示的车辆可行驶区域的检测方法的全部或者部分步骤。如图12所示,该车辆可行驶区域的检测装置包括但不限于:图像获取模块810、边缘提取模块830、像素确定模块850以及区域确定模块870。
图像获取模块810,用于获取车辆行驶方向的双目图像,根据所述双目图像生成车辆行驶方向的视差图像;
边缘提取模块830,用于对所述视差图像进行边缘提取操作处理,区分边缘像素点和非边缘像素点;
像素确定模块850,用于根据已知的可行驶区域非边缘像素特征,在处理后图像中确定符合所述可行驶区域非边缘像素特征的非边缘像素点;
区域确定模块870,用于根据所述符合可行驶区域非边缘像素特征的非边缘像素点在所述双目图像中的对应位置,得到所述双目图像中的车辆可行驶区域。
上述装置中各个模块的功能和作用的实现过程具体详见上述车辆可行驶区域的检测方法中对应步骤的实现过程,在此不再赘述。
图像获取模块810比如可以是图2中的某一个物理结构通信组件216。
边缘提取模块830、像素确定模块850以及区域确定模块870也可以是功能模块,用于执行上述xx方法中的对应步骤。可以理解,这些模块可以通过硬件、软件、或二者结合来实现。当以硬件方式实现时,这些模块可以实施为一个或多个硬件模块,例如一个或多个专用集成电路。当以软件方式实现时,这些模块可以实施为在一个或多个处理器上执行的一个或多个计算机程序,例如图2的处理器218所执行的存储在存储器204中的程序。
可选的,本公开提供的车辆可行驶区域的检测装置还可以包括但不限于:
风险评估模块,用于根据所述可行驶区域的边界三维空间信息,计算车辆与可行驶区域的相对距离和相对速度变化,预估车辆偏离所述可行驶区域的时间;在所述时间小于风险阈值时,发出警报信号。
图13为图12对应实施例中的区域确定模块870的细节框图,如图13所示,所述区域确定模块870可以包括但不限于:
视差填充单元871,用于基于边缘提取操作处理后图像的边缘像素,对所述边缘提取操作处理后图像中符合所述可行驶区域非边缘像素特征的非边缘像素点进行视差值填充操作;
滤波单元872,用于对视差值填充操作后图像进行降噪及平滑处理,保留视差值非0的各像素点;
区域确定单元873,用于根据所述视差图像与所述双目图像的位置对应关系,确定所述视差值非0的各像素点在所述双目图像中的位置,得到所述双目图像中的车辆可行驶区域。
可选的,本公开还提供一种车载电子设备,该车载电子设备可以用于图1所示实施环境的车载终端120中,执行图3、图10、图11任一所示的车辆可行驶区域的检测方法的全部或者部分步骤。所述车载电子设备包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行上述实施例所述的车辆可行驶区域的检测方法。例如,包括:
获取车辆行驶方向的双目图像,根据所述双目图像生成车辆行驶方向的视差图像;
对所述视差图像进行边缘提取操作处理,区分边缘像素点和非边缘像素点;
根据已知的可行驶区域非边缘像素特征,在处理后图像中确定符合所述可行驶区域非边缘像素特征的非边缘像素点;
根据所述符合可行驶区域非边缘像素特征的非边缘像素点在所述双目图像中的对应位置,得到所述双目图像中的车辆可行驶区域。
该实施例中的电子设备的处理器执行操作的具体方式已经在有关该车辆可行驶区域的检测方法的实施例中执行了详细描述,此处将不做详细阐述说明。
在示例性实施例中,还提供了一种存储介质,该存储介质为计算机可读存储介质,例如可以为包括指令的临时性和非临时性计算机可读存储介质。该存储介质存储有计算机程序,该计算机程序可由装置200的处理器218执行以完成上述车辆可行驶区域的检测方法。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种车辆可行驶区域的检测方法,其特征在于,包括:
获取车辆行驶方向的双目图像,根据所述双目图像生成车辆行驶方向的视差图像;
对所述视差图像进行边缘提取操作处理,区分边缘像素点和非边缘像素点;
根据已知的可行驶区域非边缘像素特征,在处理后图像中确定符合所述可行驶区域非边缘像素特征的非边缘像素点;
根据所述符合可行驶区域非边缘像素特征的非边缘像素点在所述双目图像中的对应位置,得到所述双目图像中的车辆可行驶区域。
2.根据权利要求1所述的方法,其特征在于,在根据所述符合可行驶区域非边缘像素特征的非边缘像素点在所述双目图像中的对应位置,得到所述双目图像中的车辆可行驶区域之后,所述方法还包括:
根据所述可行驶区域的边界三维空间信息,计算车辆与可行驶区域的相对距离和相对速度变化,预估车辆偏离所述可行驶区域的时间;
在所述时间小于风险阈值时,发出警报信号。
3.根据权利要求1所述的方法,其特征在于,对所述视差图像进行边缘提取操作处理,包括:
提取所述视差图像中边缘像素的视差值,边缘像素以外的非边缘像素的视差值均为0。
4.根据权利要求1所述的方法,其特征在于,所述根据所述符合可行驶区域非边缘像素特征的非边缘像素点在所述双目图像中的对应位置,得到所述双目图像中的车辆可行驶区域,包括:
基于边缘提取操作处理后图像的边缘像素,对所述边缘提取操作处理后图像中符合所述可行驶区域非边缘像素特征的非边缘像素点进行视差值填充操作;
对视差值填充操作后图像进行降噪及平滑处理,保留视差值非0的各像素点;
根据所述视差图像与所述双目图像的位置对应关系,确定所述视差值非0的各像素点在所述双目图像中的位置,得到所述双目图像中的车辆可行驶区域。
5.根据权利要求1所述的方法,其特征在于,所述可行驶区域非边缘像素特征包括:横向方向存在视差值相同或视差值差值小于阈值的边缘像素且纵向方向不存在视差值相同或视差值差值小于阈值的边缘像素。
6.一种车辆可行驶区域的检测装置,其特征在于,包括:
图像获取模块,用于获取车辆行驶方向的双目图像,根据所述双目图像生成车辆行驶方向的视差图像;
边缘提取模块,用于对所述视差图像进行边缘提取操作处理,区分边缘像素点和非边缘像素点;
像素确定模块,用于根据已知的可行驶区域非边缘像素特征,在处理后图像中确定符合所述可行驶区域非边缘像素特征的非边缘像素点;
区域确定模块,用于根据所述符合可行驶区域非边缘像素特征的非边缘像素点在所述双目图像中的对应位置,得到所述双目图像中的车辆可行驶区域。
7.根据权利要求6所述的装置,其特征在于,还包括:
风险评估模块,用于根据所述可行驶区域的边界三维空间信息,计算车辆与可行驶区域的相对距离和相对速度变化,预估车辆偏离所述可行驶区域的时间;在所述时间小于风险阈值时,发出警报信号。
8.根据权利要求6所述的装置,其特征在于,所述区域确定模块包括:
视差填充单元,用于基于边缘提取操作处理后图像的边缘像素,对所述边缘提取操作处理后图像中符合所述可行驶区域非边缘像素特征的非边缘像素点进行视差值填充操作;
滤波单元,用于对视差值填充操作后图像进行降噪及平滑处理,保留视差值非0的各像素点;
区域确定单元,用于根据所述视差图像与所述双目图像的位置对应关系,确定所述视差值非0的各像素点在所述双目图像中的位置,得到所述双目图像中的车辆可行驶区域。
9.一种车载电子设备,其特征在于,所述设备包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行权利要求1-5任意一项所述的车辆可行驶区域的检测方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序可由处理器执行完成权利要求1-5任意一项所述的车辆可行驶区域的检测方法。
CN201710472943.8A 2017-06-21 2017-06-21 一种车辆可行驶区域的检测方法及装置、车载电子设备 Active CN107358168B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710472943.8A CN107358168B (zh) 2017-06-21 2017-06-21 一种车辆可行驶区域的检测方法及装置、车载电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710472943.8A CN107358168B (zh) 2017-06-21 2017-06-21 一种车辆可行驶区域的检测方法及装置、车载电子设备

Publications (2)

Publication Number Publication Date
CN107358168A true CN107358168A (zh) 2017-11-17
CN107358168B CN107358168B (zh) 2019-12-27

Family

ID=60273011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710472943.8A Active CN107358168B (zh) 2017-06-21 2017-06-21 一种车辆可行驶区域的检测方法及装置、车载电子设备

Country Status (1)

Country Link
CN (1) CN107358168B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087506A (zh) * 2018-07-26 2018-12-25 东软集团股份有限公司 一种车辆监控方法及装置
CN109444916A (zh) * 2018-10-17 2019-03-08 上海蔚来汽车有限公司 一种无人驾驶可行驶区域确定装置及方法
CN110231827A (zh) * 2019-06-12 2019-09-13 哈尔滨工程大学 一种uuv地理围栏的离线初始构建与在线滚动更新方法
CN110969071A (zh) * 2019-06-13 2020-04-07 北京中科慧眼科技有限公司 一种基于可行驶区域的障碍物检测方法、装置及系统
CN112465831A (zh) * 2020-11-16 2021-03-09 北京中科慧眼科技有限公司 基于双目立体相机的弯道场景感知方法、系统和装置
WO2021159397A1 (zh) * 2020-02-13 2021-08-19 华为技术有限公司 车辆可行驶区域的检测方法以及检测装置
CN113450335A (zh) * 2021-06-30 2021-09-28 湖南三一华源机械有限公司 一种路沿检测方法、路沿检测装置及路面施工车辆

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679127A (zh) * 2012-09-24 2014-03-26 株式会社理光 检测道路路面的可行驶区域的方法和装置
CN103679739A (zh) * 2013-12-26 2014-03-26 清华大学 基于遮挡区域检测的虚拟视图生成方法
CN104050654A (zh) * 2013-03-11 2014-09-17 株式会社理光 道路边缘检测方法和装置
CN104112268A (zh) * 2013-04-22 2014-10-22 株式会社理光 稀疏视差图像处理方法和装置以及物体检测方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679127A (zh) * 2012-09-24 2014-03-26 株式会社理光 检测道路路面的可行驶区域的方法和装置
CN104050654A (zh) * 2013-03-11 2014-09-17 株式会社理光 道路边缘检测方法和装置
CN104112268A (zh) * 2013-04-22 2014-10-22 株式会社理光 稀疏视差图像处理方法和装置以及物体检测方法和装置
CN103679739A (zh) * 2013-12-26 2014-03-26 清华大学 基于遮挡区域检测的虚拟视图生成方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087506B (zh) * 2018-07-26 2020-08-11 东软集团股份有限公司 一种车辆监控方法及装置
CN109087506A (zh) * 2018-07-26 2018-12-25 东软集团股份有限公司 一种车辆监控方法及装置
CN109444916A (zh) * 2018-10-17 2019-03-08 上海蔚来汽车有限公司 一种无人驾驶可行驶区域确定装置及方法
CN109444916B (zh) * 2018-10-17 2023-07-04 上海蔚来汽车有限公司 一种无人驾驶可行驶区域确定装置及方法
CN110231827B (zh) * 2019-06-12 2022-03-18 哈尔滨工程大学 一种uuv地理围栏的离线初始构建与在线滚动更新方法
CN110231827A (zh) * 2019-06-12 2019-09-13 哈尔滨工程大学 一种uuv地理围栏的离线初始构建与在线滚动更新方法
CN110969071A (zh) * 2019-06-13 2020-04-07 北京中科慧眼科技有限公司 一种基于可行驶区域的障碍物检测方法、装置及系统
CN110969071B (zh) * 2019-06-13 2023-08-18 北京中科慧眼科技有限公司 一种基于可行驶区域的障碍物检测方法、装置及系统
WO2021159397A1 (zh) * 2020-02-13 2021-08-19 华为技术有限公司 车辆可行驶区域的检测方法以及检测装置
CN114981138A (zh) * 2020-02-13 2022-08-30 华为技术有限公司 车辆可行驶区域的检测方法以及检测装置
CN112465831A (zh) * 2020-11-16 2021-03-09 北京中科慧眼科技有限公司 基于双目立体相机的弯道场景感知方法、系统和装置
CN112465831B (zh) * 2020-11-16 2023-10-20 北京中科慧眼科技有限公司 基于双目立体相机的弯道场景感知方法、系统和装置
CN113450335A (zh) * 2021-06-30 2021-09-28 湖南三一华源机械有限公司 一种路沿检测方法、路沿检测装置及路面施工车辆

Also Published As

Publication number Publication date
CN107358168B (zh) 2019-12-27

Similar Documents

Publication Publication Date Title
CN107358168A (zh) 一种车辆可行驶区域的检测方法及装置、车载电子设备
CN107169418A (zh) 一种障碍物检测方法及装置
US11967109B2 (en) Vehicle localization using cameras
CN107341454A (zh) 一种场景中障碍物的检测方法及装置、电子设备
KR102629651B1 (ko) 신경망 이미지 프로세싱을 사용하는 3d 경계 박스들로서의 직접 차량 검출
CN107392103A (zh) 路面车道线的检测方法及装置、电子设备
CN110785719A (zh) 在自动驾驶车辆中用于经由交叉时态验证的即时物体标记的方法和系统
Zhou et al. Moving object detection and segmentation in urban environments from a moving platform
JP2019509552A (ja) コンテキスト及び深さ順序を用いる、部分的に遮られた物体の検出
CN110753953A (zh) 用于自动驾驶车辆中经由交叉模态验证的以物体为中心的立体视觉的方法和系统
CN110869936A (zh) 用于自动驾驶车辆中的分布式学习与适应的方法和系统
CN108027877A (zh) 用于非障碍区检测的系统和方法
US11841434B2 (en) Annotation cross-labeling for autonomous control systems
CN106326866B (zh) 车辆碰撞的预警方法及装置
JP2015007953A (ja) 車両乗車人数の監視装置及び車両乗車人数の監視方法並びにコンピュータ可読記憶媒体
CN103837139A (zh) 不平路面驾驶辅助设备和用于不平路面驾驶辅助的方法
CN107977654B (zh) 一种道路区域检测方法、装置及终端
CN104335244A (zh) 对象物识别装置
Milanés et al. Vision-based active safety system for automatic stopping
US20230343108A1 (en) Systems and methods for detecting projection attacks on object identification systems
Kim et al. Integration of vehicle and lane detection for forward collision warning system
CN107356916B (zh) 车距检测方法及装置、电子设备、计算机可读存储介质
CN104252707A (zh) 对象检测方法和装置
CN107844749A (zh) 路面检测方法及装置、电子设备、存储介质
CN114241447A (zh) 一种基于车载设备的障碍物实时检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant