CN109426760A - 一种道路图像处理方法与道路图像处理装置 - Google Patents

Abstract

本发明提供一种道路图像处理方法与道路图像处理装置，且此方法包括以下步骤：利用第一镜头获取道路图像以获得第一图像并利用第二镜头获取道路图像以获得第二图像；根据第一图像与第二图像获得第一深度图；分析第一深度图中对应于第一区域的第一深度信息以获得对应于第一区域的第一道路信息；根据第一道路信息获得对应于原始区域的第二道路信息；以及根据第二道路信息与第一深度图获得第二深度图。

Description

一种道路图像处理方法与道路图像处理装置

技术领域

本发明涉及一种道路图像处理方法与道路图像处理装置，尤其涉及一种可自动地检测前方障碍物的道路图像处理方法与道路图像处理装置。

背景技术

当车辆在道路上行驶时，需要与前方的车辆以及障碍物保持安全距离。为了让驾驶人保持足够的安全距离，可利用行车纪录器拍摄以检测所驾驶的车辆与前方车辆或障碍物保持足够的安全距离，以避免事故发生。

目前的各种前车安全距离警示系统大多采用三种方法估算与前方车辆或障碍物的距离。第一种采用传统的高频率的毫米波雷达(30GHz～300GHz)或激光雷达技术进行距离估算，并通过由距离估算结果防止车辆碰撞的情况发生，且耐候性与检测距离的表现较优异。然而，此种系统的价格极高，且不具如车道偏移、道路标志识别等道路识别的功能。因此，过去的传统前车安全距离警示系统在一般车辆上能见度相对较低。

由于现今大众对行车安全的重视度越来越高，第二种图像式前车安全距离警示系统便逐渐受到重视。图像获取技术相较于第一种雷达技术还具有识别障碍物、车道线与交通号志等的能力，且整合性功能大、价格低廉。然而，选用的镜头大大影响图像式前车安全距离警示系统的检测能力，且无法兼顾短距离与长距离的检测。因此，现行的图像式前车安全距离警示系统大多采用近距离检测。

由于图像式前车安全距离警示系统的价格低廉，近年来更发展出第三种双镜头检测的图像式前车安全警示系统，并通过由两个镜头的视差值检测出障碍物的距离。此技术的重点在于，需要预先检测平面道路的深度以与障碍物的深度做比较。然而，若在检测前路面已存在车辆或障碍物，将会导致平面道路的深度检测出现误差。

发明内容

有鉴于此，本发明提出一种道路图像处理方法与道路图像处理装置，可有效避开原始图像中的障碍物而提高检测道路深度的精准度。

本发明提供一种道路图像处理方法，其包括利用第一镜头获取道路图像以获得第一图像并利用第二镜头获取所述道路图像以获得第二图像；根据所述第一图像与所述第二图像获得第一深度图；分析所述第一深度图中对应于第一区域的第一深度信息以获得对应于所述第一区域的第一道路信息，其中所述第一区域内的像素总数少于所述第一深度图中的原始区域内的像素总数；根据所述第一道路信息获得对应于所述原始区域的第二道路信息；以及根据所述第二道路信息与所述第一深度图获得第二深度图，其中所述第二深度图用以表示所述道路图像中的至少一立体物的深度信息。

本发明另提供一种道路图像处理装置，其包括第一镜头、第二镜头及处理器。第一镜头用以获取道路图像以获得第一图像，而第二镜头用以获取所述道路图像以获得第二图像。所述处理器连接所述第一镜头与所述第二镜头，并且用以从所述第一镜头接收所述第一图像并从所述第二镜头接收所述第二图像。所述处理器还用以根据所述第一图像与所述第二图像获得第一深度图。所述处理器还用以分析所述第一深度图中对应于第一区域的第一深度信息以获得对应于所述第一区域的第一道路信息，其中所述第一区域内的像素总数少于所述第一深度图中的原始区域内的像素总数。所述处理器还用以根据所述第一道路信息获得对应于所述原始区域的第二道路信息。所述处理器还用以根据所述第二道路信息与所述第一深度图获得第二深度图，其中所述第二深度图用以表示所述道路图像中的至少一立体物的深度信息。

基于上述，通过前述的道路图像处理方法以及装置，可检测第一深度图中第一区域的第一道路信息而延伸推导出第一深度图中原始区域的第二道路信息。然后，此第二道路信息可搭配第一深度图而获得表示道路图像中的立体物的深度信息的第二深度图。通过单独检测第一深度图中第一区域的道路信息而非完整检测整个第一深度图的道路深度信息，可有效避开原始图像中的障碍物而提高检测道路深度的精准度。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1是根据本发明的一范例实施例所示出的道路图像处理装置的方块图。

图2是根据本发明的一范例实施例所示出的道路图像处理装置的流程图。

图3是根据本发明的一范例实施例所示出的道路图像的示意图。

图4是根据本发明的一范例实施例所示出的第一深度图的示意图。

图5是根据本发明的一范例实施例所示出的第二深度图的示意图。

附图标号说明

10：道路图像处理装置

110：第一镜头

120：第二镜头

130：处理器

140：存储器

S210、S220、S230、S240：道路图像处理方法的步骤

30：道路图像

40：第一深度图

410：第一区域

420：第二区域

430(1)、430(2)、430(N)：第一区域的列区域

440(1)、440(2)、440(M)：第二区域的列区域

50：第二深度图

具体实施方式

本发明的部份实施例接下来将会配合附图来详细描述，以下的描述所引用的元件符号，当不同附图出现相同的元件符号将视为相同或相似的元件。这些实施例只是本发明的一部份，并未揭示所有本发明的可实施方式。更确切的说，这些实施例只是本发明的权利要求中的装置与方法的范例。

图1是根据本发明一实施例所示出的道路图像处理装置的方块图，但此仅是为了方便说明，并不用以限制本发明。首先图1先介绍电子装置的所有构件以及配置关系，详细功能将在以下揭示。

请参照图1，道路图像处理装置10例如是行车纪录器、车辆导航装置、个人数字助理、智能手机等具有录影和/或摄影功能的电子装置。此外，道路图像处理装置10可设置于各式载具上，例如设置于汽车、脚踏车、机车及各式机动机械等。

道路图像处理装置10包括第一镜头110、第二镜头120、处理器130及存储器140。第一镜头110与第二镜头120分别用以获取图像。例如，第一镜头110与第二镜头120可同时朝向载具的行进方向前方、行进方向的侧面或行进方向后方获取图像。第一镜头110与第二镜头120会并排设置并且第一镜头110与第二镜头120之间相距一预设距离。例如，此预设距离可以是6.5公分或更靠近或更分离。此外，第一镜头110与第二镜头120可以是电荷耦合元件(Charge Coupled Device，CCD)镜头、互补式金氧半电晶体(Complementary Metal OxideSemiconductor transistors，CMOS)镜头、或红外线镜头的摄影机、照相机，但本发明并不以此为限。

存储器140连接至第一镜头110、第二镜头120以及处理器130。存储器140用以存储道路图像处理装置10运作所需的程序码及其他数据。例如，存储器140可以包括内嵌式存储单元和/或外接式存储单元。内嵌式存储单元可为随机存取存储器(Random AccessMemory，RAM)、只读存储器(Read-Only Memory，ROM)、快闪存储器(Flash memory)、磁盘存储装置(Magnetic disk storage device)等，但本发明并不以此为限。外接式存储单元可为小型快闪(Compact Flash，CF)存储卡、安全数字(Secure Digital，SD)存储卡、微安全数字(Micro SD)存储卡、存储棒(Memory Stick，MS)等，但本发明并不以此为限。

处理器130连接至第一镜头110、第二镜头120以及存储器140。处理器130用以控制道路图像处理装置10的整体运作。例如，处理器130可以是中央处理单元(CentralProcessing Unit，CPU)，或是其他可程序化的微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor，DSP)、可程序化控制器、特殊应用积体电路(ApplicationSpecific Integrated Circuits，ASIC)、可程序化逻辑装置(Programmable LogicDevice，PLD)或其他具备运算能力的硬体装置，但本发明并不以此为限。

图2是根据本发明一实施例的道路图像处理装置的流程图。图3是根据本发明的一范例实施例所示出的道路图像的示意图。图4是根据本发明的一范例实施例所示出的第一深度图的示意图。图5是根据本发明的一范例实施例所示出的第二深度图的示意图。图2的道路图像处理方法适用于图1的道路图像处理装置10。以下即搭配道路图像处理装置10中的各项元件说明本发明的道路图像处理方法的详细步骤，并进一步配合图3、图4以及图5来进行说明。

请参照图1、图2及图3，首先，在步骤S210中，处理器130利用第一镜头110获取道路图像30以获得第一图像并利用第二镜头120获取道路图像30以获得第二图像。在一实施例中，第一图像也可称为左眼图像，而第二图像也可称为右眼图像。其中，第一镜头110与第二镜头120例如是根据相同的参数来获取道路图像30以分别获得第一图像与第二图像。所述参数可包括基准焦距、光圈、快门及白平衡等。道路图像30中可具有立体物以及平面物，其中立体物例如是车辆，而平面物例如是道路平面或道路标线，如图3所示。须注意的是，道路图像30中还可以具有电线杆等其他类型的立体物以及平贴于路面的水沟盖等平面物，本发明不加以限制。此外，所获得的第一图像与第二图像的图像数据会被存储于存储器140中。

在步骤S210中，处理器130还会根据第一图像与第二图像获得第一深度图40。例如，处理器130可计算第一图像与第二图像中每一个像素所对应的视差值(disparity)。由于第一镜头110与第二镜头120是并排设置且第一镜头110与第二镜头120之间相距一预设距离，因此若镜头前方的某一个物体越靠近第一镜头110与第二镜头120，则此物体在第一图像与第二图像中具有越大的视差值。反之，若镜头前方的某一个物体越远离第一镜头110与第二镜头120，则此物体在第一图像与第二图像中具有越小的视差值。处理器130可将每一个像素(或像素位置)所对应的视差值转换为一个深度值并据以产生第一深度图40。

在一实施例中，处理器130可分析第一图像中的多个特征并在第二图像中找出同样具有这些特征的像素。然后，处理器130会计算出此特征在第一图像与第二图像中的偏移量并获得相应的视差值。接着，处理器130可经由深度值公式：深度值＝(镜头间距×基准焦距)/视差值，以获得图像中所有像素的深度值。根据图像中所有像素的深度值，处理器130可获得第一深度图40。须注意的是，第一深度图40中的每一个像素皆对应到一个深度值。此外，第一深度图40对应整个道路图像30的原始区域，如图4所示。在一实施例中，也可将第一深度图40视为原始深度图。在以下实施例中，是以深度信息来描述深度值。

在一实施例中，第一深度图40中的原始区域可包括第一区域410与第二区域420，且第二区域420与第一区域410不重叠。例如，第二区域420可涵盖第一深度图40中第一区域410以外的区域。需要注意的是，为防止障碍物影响道路深度检测的准确度，第一区域410可设置为较小的区域，且第一区域410可设置为紧贴或靠近第一深度图40的下边缘。在另一实施例中，第一区域410还可以是位于第一深度图40中的其他位置，且第一区域410的大小(即第一区域410的涵盖范围)也可以更大或更小，本发明不加以限制。此外，第一区域410的形状也可以是矩形或其他形状。在一实施例中，第一区域410的大小会小于或等于第二区域420的大小(即第二区域420的涵盖范围)。也即，第一区域410相较于第二区域420可具有较少的像素总数。此外，第一区域410内的像素总数也会少于第一深度图40中整个原始区域的像素总数。

在步骤S220中，处理器130会分析第一深度图40中对应于第一区域410的第一深度信息以获得对应于第一区域410的第一道路信息。例如，第一区域410可视为包含多个列区域430(1)、430(2)…及430(N)，而第二区域420可视为包含多个列区域440(1)、440(2)…及440(M)。在一实施例中，M大于N。在另一实施例中，M也可能等于N。第一道路信息包括对应于第一区域410的多个第一列深度信息。其中，每一个第一列深度信息是对应于列区域430(1)、430(2)…及430(N)的其中之一。每一个第一列深度信息可用于描述相应的道路平面(或相应的列区域)上的道路深度信息。一般来说，假设第一区域410中不存在立体物，则第一区域410中属于同一个列区域的像素应具有相同的深度值，而各列区域430(1)、430(2)…及430(N)会由近而远(或由下往上)增加深度值。

以列区域430(1)为例，当欲计算列区域430(1)的第一列深度信息时，处理器130会挑选列区域430(1)中的至少一个像素的深度值或是将此列区域的所有像素的平均深度值作为列区域430(1)的第一列深度信息。依此类推，列区域430(1)～430(N)的第一列深度信息可被获得。在一实施例中，列区域430(1)～430(N)的第一列深度信息可整体被视为对应于第一区域410的第一道路信息。对应于第一区域410的第一道路信息可用来描述第一区域410的道路深度。

在一实施例中，若如图4所示将第一区域410设置第一深度图40中离第一镜头110与第二镜头120较近的区域(即较下方)，则第一镜头110与第二镜头120在获取道路图像30时于第一区域410内的视差值会大于第一镜头110与第二镜头120于获取道路图像30时于第二区域420内的视差值。一般来说，在车辆行进间，距离第一镜头110与第二镜头120较近的区域(例如，图4中的第一区域410)较不容易包含道路图像30中的立体物(例如车辆或其他障碍物，若有则表示即将撞上此立体物)。因此，通过分析对应于第一区域410的第一深度信息有较高的机率可获得较为准确的道路信息(即道路深度信息)。

在步骤S230中，处理器130会根据第一道路信息获得对应于第一深度图40中原始区域的第二道路信息。例如，处理器130可分析列区域430(1)～430(N)的第一列深度信息以获得此些第一列深度信息的统计特性，并根据此些第一列深度信息的统计特性获得对应于第二区域420的第二列深度信息。

在一实施例中，处理器130会分析列区域430(1)～430(N)的第一列深度信息以获得此些第一列深度信息的一线性增加模型。例如，列区域430(1)～430(N)的第一列深度信息的增加趋势会符合根据此线性增加模型。根据第一列深度信息以及此线性增加模型，处理器130可进一步推导出列区域440(1)、440(2)…及440(M)的第二列深度信息。例如，处理器130可将列区域430(N)的第一列深度信息带入至此线性增加模型，从而计算出符合此线性增加模型且数值逐渐增加(即深度值逐渐加大)的列区域440(1)、440(2)…及440(M)的第二列深度信息。其中，列区域440(1)、440(2)…及440(M)的第二列深度信息也可视为对应于第二区域420的第二列深度信息。

在一实施例中，处理器130可将列区域430(1)～430(N)的第一列深度信息以及列区域440(1)、440(2)…及440(M)的第二列深度信息整体视为对应于第一深度图40中原始区域的第二道路信息。换言之，第二道路信息即包括列区域430(1)～430(N)的第一列深度信息以及列区域440(1)、440(2)…及440(M)的第二列深度信息。通过此，此第二道路信息可用来描述第一深度图40中整个原始区域的道路深度。

在步骤S240中，处理器130根据第二道路信息与第一深度图40获得第二深度图50，其中第二深度图50(仅)用以表示道路图像30中的至少一立体物的深度信息。例如，处理器130会根据第二道路信息移除第一深度图40中至少一像素的深度信息。特别是，所移除的像素的深度信息即为非立体物(即平面物)所对应的像素的深度信息。须注意的是，在此提及的平面物是指概略平贴于道路物面的物体。此外，所述立体物不包括道路图像30中平贴于路面的道路标线等各式平面物。

在一实施例中，处理器130会比对第二道路信息与第一深度图40，并根据比对结果获得第一深度图40中的至少一候选像素，其中此候选像素对应于道路图像30中的至少一非立体物。接着，处理器130将此候选像素的深度信息从第一深度图40中移除以获得第二深度图50。在移除对应于非立体物所在的像素的深度信息之后，所获得的第二深度图50中仅剩下原始图像30(或第一深度图40)中立体物的深度信息，而不具有非立体物的像素信息。

在一实施例中，处理器130会比对第二道路信息与第一深度图40中的每个相应像素位置的像素的深度信息。若在某一个像素位置上，第二道路信息与第一深度图40中的深度信息的差值小于一个临界值，处理器130可将此像素位置的像素视为候选像素并可判定此候选像素对应到道路图像30的非立体物(例如道路平面及道路标线)。反之，若在某一个像素位置上，第二道路信息与第一深度图40中的深度信息的差值不小于此临界值，则处理器130不将此像素位置的像素视为候选像素并可判定此像素是对应到道路图像中的立体物。

在一实施例中，第二深度图50中被移除的深度信息所对应的像素位置可重新被填入虚设(dummy)信息，而与第二深度图50中所保留的立体物的深度信息产生区隔。此外，在获得第二深度图50之后，此第二深度图50可进一步用于行车过程中的障碍物检测等用途，本发明不加以限制。

综上所述，本发明可通过由第一镜头与第二镜头即时地获取道路图像以取得第一深度图，并于第一深度图中设置第一区域。接着，本发明可分析此第一区域的道路信息并据以推测出整个平面道路的道路信息。然后，通过比较平面道路的道路信息与原始区域的深度信息来获得不带有平面道路的深度信息的第二深度图。从另一角度来看，本发明可利用(近距离)兴趣区的深度推得整个第一深度图的原始区域的平面物的深度(即道路深度)，并通过由比较第一深度图与整个原始区域的道路深度中相对应像素位置的深度信息来移除平面物的深度信息。通过单独检测第一深度图中第一区域的道路信息而非完整检测整个第一深度图的道路深度信息，可有效避开原始图像中的障碍物而提高检测道路深度的精准度。

虽然本发明已以实施例揭示如上，然其并非用以限定本发明，任何所属技术领域中技术人员，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视权利要求所界定者为准。

Claims (14)

1.一种道路图像处理方法，包括：

利用第一镜头获取道路图像以获得第一图像并利用第二镜头获取所述道路图像以获得第二图像；

根据所述第一图像与所述第二图像获得第一深度图；

分析所述第一深度图中对应于第一区域的第一深度信息以获得对应于所述第一区域的第一道路信息，其中所述第一区域内的像素总数少于所述第一深度图中的原始区域内的像素总数；

根据所述第一道路信息获得对应于所述原始区域的第二道路信息；以及

根据所述第二道路信息与所述第一深度图获得第二深度图，

其中所述第二深度图用以表示所述道路图像中的至少一立体物的深度信息。

2.根据权利要求1所述的道路图像处理方法，其中所述原始区域包括所述第一区域与第二区域，所述第一区域与所述第二区域不重叠，所述第一道路信息包括对应于所述第一区域的多个第一列深度信息，且所述第二道路信息包括所述多个第一列深度信息与对应于所述第二区域的多个第二列深度信息。

3.根据权利要求2所述的道路图像处理方法，其中根据所述第一道路信息获得对应于所述原始区域的所述第二道路信息的步骤包括：

分析所述多个第一列深度信息以获得所述多个第一列深度信息的统计特性；以及

根据所述多个第一列深度信息的所述统计特性获得所述多个第二列深度信息。

4.根据权利要求2所述的道路图像处理方法，其中所述第一镜头与所述第二镜头于获取所述道路图像时于所述第一区域内的视差值大于所述第一镜头与所述第二镜头于获取所述道路图像时于所述第二区域内的视差值。

5.根据权利要求1所述的道路图像处理方法，其中根据所述第二道路信息与所述第一深度图获得所述第二深度图的步骤包括：

根据所述第二道路信息移除所述第一深度图中至少一像素的深度信息。

6.根据权利要求5所述的道路图像处理方法，其中根据所述第二道路信息移除所述第一深度图中的所述至少一像素的所述深度信息的步骤包括：

比对所述第二道路信息与所述第一深度图；

根据比对结果获得所述第一深度图中的至少一候选像素，其中所述至少一候选像素对应于所述道路图像中的至少一非立体物；以及

将所述至少一候选像素的深度信息从所述第一深度图中移除以获得所述第二深度图。

7.根据权利要求1所述的道路图像处理方法，其中所述至少一立体物不包括所述道路图像中平贴于路面的道路标线。

8.一种道路图像处理装置，包括：

第一镜头，获取道路图像以获得第一图像；

第二镜头，获取所述道路图像以获得第二图像

处理器，连接所述第一镜头与所述第二镜头，并且用以：

从所述第一镜头接收所述第一图像并从所述第二镜头接收所述第二图像；

根据所述第一图像与所述第二图像获得第一深度图；

分析所述第一深度图中对应于第一区域的第一深度信息以获得对应于所述第一区域的第一道路信息，其中所述第一区域内的像素总数少于所述第一深度图中的原始区域内的像素总数；

根据所述第一道路信息获得对应于所述原始区域的第二道路信息；以及

根据所述第二道路信息与所述第一深度图获得第二深度图，

其中所述第二深度图用以表示所述道路图像中的至少一立体物的深度信息。

9.根据权利要求8所述的道路图像处理装置，其中所述原始区域包括所述第一区域与第二区域，所述第一区域与所述第二区域不重叠，所述第一道路信息包括对应于所述第一区域的多个第一列深度信息，且所述第二道路信息包括所述多个第一列深度信息与对应于所述第二区域的多个第二列深度信息。

10.根据权利要求9所述的道路图像处理装置，其中根据所述第一道路信息获得对应于所述原始区域的所述第二道路信息的操作包括：

分析所述多个第一列深度信息以获得所述多个第一列深度信息的统计特性；以及

根据所述多个第一列深度信息的所述统计特性获得所述多个第二列深度信息。

11.根据权利要求9所述的道路图像处理装置，其中所述第一镜头与所述第二镜头于获取所述道路图像时于所述第一区域内的视差值大于所述第一镜头与所述第二镜头于获取所述道路图像时于所述第二区域内的视差值。

12.根据权利要求8所述的道路图像处理装置，其中根据所述第二道路信息与所述第一深度图获得所述第二深度图的操作包括：

根据所述第二道路信息移除所述第一深度图中至少一像素的深度信息。

13.根据权利要求12所述的道路图像处理装置，其中根据所述第二道路信息移除所述第一深度图中的所述至少一像素的所述深度信息的操作包括：

比对所述第二道路信息与所述第一深度图；

根据比对结果获得所述第一深度图中的至少一候选像素，其中所述至少一候选像素对应于所述道路图像中的至少一非立体物；以及

将所述至少一候选像素的深度信息从所述第一深度图中移除以获得所述第二深度图。

14.根据权利要求8所述的道路图像处理装置，其中所述至少一立体物不包括所述道路图像中平贴于路面的道路标线。