CN108304750A - 前方车辆识别方法、装置及车辆 - Google Patents

前方车辆识别方法、装置及车辆 Download PDF

Info

Publication number
CN108304750A
CN108304750A CN201710024274.8A CN201710024274A CN108304750A CN 108304750 A CN108304750 A CN 108304750A CN 201710024274 A CN201710024274 A CN 201710024274A CN 108304750 A CN108304750 A CN 108304750A
Authority
CN
China
Prior art keywords
unit
value
objects
feature
characteristic value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710024274.8A
Other languages
English (en)
Other versions
CN108304750B (zh
Inventor
丁赞
徐波
杨青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BYD Co Ltd
Original Assignee
BYD Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BYD Co Ltd filed Critical BYD Co Ltd
Priority to CN201710024274.8A priority Critical patent/CN108304750B/zh
Publication of CN108304750A publication Critical patent/CN108304750A/zh
Application granted granted Critical
Publication of CN108304750B publication Critical patent/CN108304750B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Abstract

本发明公开了一种前方车辆识别方法、装置及车辆,该方法包括以下步骤:采集车辆前方物体的图像以获取前方物体底部水平方向特征、两侧垂直方向特征和光照强度;根据前方物体底部水平方向特征、两侧垂直方向特征和光照强度,提取图像预设区域的水平特征单元的特征值和垂直特征单元的特征值;和计算图像预设区域的加权特征值;根据水平特征单元、垂直特征单元和加权特征值,确定前方物体的左下角和右下角;获取前方物体的左下角和右下角的灰度值,并根据前方物体的左下角和右下角的灰度值计算前方物体的对称距离;如果对称距离小于预设阈值,认定前方物体是车辆。该方法能够提高前方车辆识别的准确性、可靠性和实时性,从而提高了车辆的主动安全性。

Description

前方车辆识别方法、装置及车辆
技术领域
本发明涉及车辆技术领域,特别涉及一种前方车辆识别方法、一种前方车辆识别装置和一种车辆。
背景技术
随着汽车的普及,利用传感器提高对路面对象的辨识能力,给驾驶人更多的安全警示及辅助,从而提高车辆的主动安全性,已成为智能交通系统领域发展的重要方向。
目前在多路对象识别中主要采用模式识别方法对车辆进行识别,主要包括特征提取、分类器设计和模板匹配。此方法在模板匹配过程中运算量大,实时性差,并且车辆识别不精确。
相关技术中,前方车辆识别方法基于灰度图像车辆底部的灰度、梯度和方差特征构造车辆识别目标函数,存在以下不足:(1)灰度特征为全局特征,此特征易受光照条件影响;(2)目标函数的建立采用模式识别中的线性分类器,虽然形式简单易于实现,但是可靠性有待进一步提高;(3)算法的设计很难实现对前方车辆的精确识别,模板匹配算法运算时间长实时性差。
发明内容
本发明旨在至少在一定程度上解决上述技术中的技术问题之一。
为此,本发明的第一个目的在于提出一种前方车辆识别方法,能够提高前方车辆识别的准确性、可靠性和实时性,从而提高了车辆的主动安全性。
本发明的第二个目的在于提出一种前方车辆识别装置。
本发明的第三个目的在于提出一种车辆。
为达到上述目的,本发明第一方面实施例提出了一种前方车辆识别方法,采集车辆前方物体的图像,并根据所述图像获取所述前方物体底部水平方向特征、所述前方物体两侧垂直方向特征和光照强度;根据所述前方物体底部水平方向特征和所述前方物体两侧垂直方向特征,提取所述图像预设区域的水平特征单元和垂直特征单元,并根据所述水平特征单元和所述垂直特征单元,计算所述水平特征单元的特征值和所述垂直特征单元的特征值;根据所述光照强度确定所述水平特征单元的特征值和所述垂直特征单元的特征值对应的权重系数,以计算所述图像预设区域的加权特征值;根据所述水平特征单元、所述垂直特征单元和所述加权特征值,确定所述前方物体的左下角和右下角;获取所述前方物体的左下角和右下角的灰度值,并根据所述前方物体的左下角和右下角的灰度值计算所述前方物体的对称距离;如果所述对称距离小于预设阈值,则认定所述前方物体是车辆。
本发明实施例的前方车辆识别方法,首先采集车辆前方物体的图像以获取前方物体底部水平方向特征、两侧垂直方向特征和光照强度,然后根据前方物体底部水平方向特征、两侧垂直方向特征和光照强度,提取图像预设区域的水平特征单元的特征值和垂直特征单元的特征值,以及计算图像预设区域的加权特征值,最后根据水平特征单元、垂直特征单元和加权特征值,确定前方物体的左下角和右下角,并获取前方物体的左下角和右下角的灰度值,并根据前方物体的左下角和右下角的灰度值计算前方物体的对称距离,如果对称距离小于预设阈值,则认定前方物体是车辆。由此,该方法能够提高前方车辆识别的准确性、可靠性和实时性,从而提高了车辆的主动安全性。
另外,根据本发明上述实施例提出的前方车辆识别方法还可以具有如下附加的技术特征:
在本发明的一个实施例中,上述前方车辆识别方法还包括:如果所述前方物体的对称距离大于或等于所述预设阈值,则认定所述前方物体不是车辆。
在本发明的一个实施例中,在采集车辆前方物体的图像之后,还包括:对所述图像进行去噪和平滑处理。
在本发明的一个实施例中,所述水平特征单元包括上部特征单元、中部特征单元和下部特征单元,所述垂直特征单元包括左部特征单元、中部特征单元和右部特征单元。
在本发明的一个实施例中,所述水平特征单元的特征值包括灰度特征值、梯度特征值和波动特征值,所述垂直特征单元的特征值包括灰度特征值、梯度特征值、左侧波动特征值和右侧波动特征值,其中,
根据以下公式计算所述水平特征单元的灰度特征值:
根据以下公式计算所述水平特征单元的梯度特征值:
根据以下公式计算所述水平特征单元的波动特征值:
根据以下公式计算所述垂直特征单元的灰度特征值:
根据以下公式计算所述垂直特征单元的梯度特征值:
根据以下公式计算所述垂直特征单元的左侧波动特征值:
根据以下公式计算所述垂直特征单元的右侧波动特征值:
其中,Eh为所述水平特征单元的灰度特征值,Tn为所述水平特征单元的梯度特征值,Vh为所述水平特征单元的波动特征值,Ev为所述垂直特征单元的灰度特征值,Tv为所述垂直特征单元的梯度特征值,Vlv为所述垂直特征单元的左侧波动特征值,Vrv为所述垂直特征单元的右侧波动特征值,为所述水平特征单元中上部特征单元的平均灰度值,为所述水平特征单元中中部特征单元的平均灰度值,为所述水平特征单元中下部特征单元的平均灰度值,euhi为所述水平特征单元中上部特征单元的第i个像素的灰度值,为所述垂直特征单元中左部特征单元的平均灰度值,为所述垂直特征单元中中部特征单元的平均灰度值,为所述垂直特征单元中右部特征单元的平均灰度值,ervi为所述垂直特征单元中右部特征单元的第i个像素的灰度值,elvi为所述垂直特征单元中左部特征单元第i个像素的灰度值,a为所述水平特征单元上部像素的个数,b为所述垂直特征单元左部像素的个数,c为所述垂直特征单元右部像素的个数,其中,所述i、a、b和c均为正整数。
在本发明的一个实施例中,所述图像预设区域的加权特征值包括加权灰度特征值、加权梯度特征值和加权波动特征值,其中,
根据以下公式计算所述加权灰度特征值:
Eq=Eh×Qh+Ev×Qv
根据以下公式计算所述加权梯度特征值:
Tq=Tn×Qn+Tv×Qv
根据以下公式计算所述加权波动特征值:
Vq=Vh×Qh+Vlv×Qlv+Vrv×Qrv
其中,Eq为所述加权灰度特征值,Qh为所述水平特征单元的灰度特征值对应的权重系数,Qv为所述垂直特征单元的灰度特征值对应的权重系数,Tq为所述加权梯度特征值,Qn为所述水平特征单元的梯度特征值对应的权重系数,Qv为所述垂直特征单元的梯度特征值对应的权重系数,Vq为所述加权波动特征值,Qh为所述水平特征单元的波动特征值对应的权重系数,Qlv为所述垂直特征单元的左侧波动特征值对应的权重系数,Qrv为所述垂直特征单元的右侧波动特征值对应的权重系数。
在本发明的一个实施例中,所述根据所述水平特征单元、所述垂直特征单元和所述加权特征值,确定所述前方物体的左下角和右下角,具体包括:将所述水平特征单元和所述垂直特征单元进行融合以获得所述车辆识别特征单元;根据所述车辆识别特征单元和所述加权特征值,确定所述前方物体的左下角和右下角。
在本发明的一个实施例中,根据以下公式计算所述前方物体的对称距离:
Dc=E(gleft-gright)2
其中,Dc为所述前方物体的对称距离,gleft为所述前方物体的左下角的灰度值,gright为所述前方物体的右下角的灰度值。
为达到上述目的,本发明第二方面实施例提出了一种前方车辆识别装置,包括:采集模块,所述采集模块用于采集车辆前方物体的图像,并根据所述图像获取所述前方物体底部水平方向特征、所述前方物体两侧垂直方向特征和光照强度;提取模块,所述提取模块用于根据所述前方物体底部水平方向特征和所述前方物体两侧垂直方向特征,提取所述图像预设区域的水平特征单元和垂直特征单元,并根据所述水平特征单元和所述垂直特征单元,计算所述水平特征单元的特征值和所述垂直特征单元的特征值;第一确定模块,所述第一确定模块用于根据所述光照强度确定所述水平特征单元的特征值和所述垂直特征单元的特征值对应的权重系数,以计算所述图像预设区域的加权特征值;第二确定模块,所述第二确定模块用于根据所述水平特征单元、所述垂直特征单元和所述加权特征值,确定所述前方物体的左下角和右下角;计算模块,所述计算模块用于获取所述前方物体的左下角和右下角的灰度值,并根据所述前方物体的左下角和右下角的灰度值计算所述前方物体的对称距离;识别模块,所述识别模块用于当所述对称距离小于预设阈值时,认定所述前方物体是车辆。
本发明实施例的前方车辆识别装置,通过采集模块采集车辆前方物体的图像以获取前方物体底部水平方向特征、两侧垂直方向特征和光照强度,并通过提取模块根据前方物体底部水平方向特征和前方物体两侧垂直方向特征,提取图像预设区域的平特征单元的特征值和垂直特征单元的特征值,然后第一确定模块根据光照强度确定水平特征单元的特征值和垂直特征单元的特征值对应的权重系数,以计算图像预设区域的加权特征值,第二确定模块根据水平特征单元、垂直特征单元和加权特征值,确定前方物体的左下角和右下角,而后计算模块获取前方物体的左下角和右下角的灰度值,并根据前方物体的左下角和右下角的灰度值计算前方物体的对称距离,当对称距离小于预设阈值时,识别模块认定前方物体是车辆。由此,该装置能够提高前方车辆识别的准确性、可靠性和实时性,从而提高了车辆的主动安全性。
另外,根据本发明上述实施例提出的前方车辆识别装置还可以具有如下附加的技术特征:
在本发明的一个实施例中,所述识别模块,还用于:当所述前方物体的对称距离大于或等于所述预设阈值时,认定所述前方物体不是车辆。
在本发明的一个实施例中,所述采集模块,还用于:在采集车辆前方物体的图像之后,对所述图像进行去噪和平滑处理。
在本发明的一个实施例中,所述水平特征单元包括上部特征单元、中部特征单元和下部特征单元,所述垂直特征单元包括左部特征单元、中部特征单元和右部特征单元。
在本发明的一个实施例中,所述水平特征单元的特征值包括灰度特征值、梯度特征值和波动特征值,所述垂直特征单元的特征值包括灰度特征值、梯度特征值、左侧波动特征值和右侧波动特征值,其中,
所述提取模块根据以下公式计算所述水平特征单元的灰度特征值:
所述提取模块根据以下公式计算所述水平特征单元的梯度特征值:
所述提取模块根据以下公式计算所述水平特征单元的波动特征值:
所述提取模块根据以下公式计算所述垂直特征单元的灰度特征值:
所述提取模块根据以下公式计算所述垂直特征单元的梯度特征值:
所述提取模块根据以下公式计算所述垂直特征单元的左侧波动特征值:
所述提取模块根据以下公式计算所述垂直特征单元的右侧波动特征值:
其中,Eh为所述水平特征单元的灰度特征值,Tn为所述水平特征单元的梯度特征值,Vh为所述水平特征单元的波动特征值,Ev为所述垂直特征单元的灰度特征值,Tv为所述垂直特征单元的梯度特征值,Vlv为所述垂直特征单元的左侧波动特征值,Vrv为所述垂直特征单元的右侧波动特征值,为所述水平特征单元中上部特征单元的平均灰度值,为所述水平特征单元中中部特征单元的平均灰度值,为所述水平特征单元中下部特征单元的平均灰度值,euhi为所述水平特征单元中上部特征单元的第i个像素的灰度值,为所述垂直特征单元中左部特征单元的平均灰度值,为所述垂直特征单元中中部特征单元的平均灰度值,为所述垂直特征单元中右部特征单元的平均灰度值,ervi为所述垂直特征单元中右部特征单元的第i个像素的灰度值,elvi为所述垂直特征单元中左部特征单元第i个像素的灰度值,a为所述水平特征单元上部像素的个数,b为所述垂直特征单元左部像素的个数,c为所述垂直特征单元右部像素的个数,其中,所述i、a、b和c均为正整数。
在本发明的一个实施例中,所述图像预设区域的加权特征值包括加权灰度特征值、加权梯度特征值和加权波动特征值,其中,
所述第一确定模块根据以下公式计算所述加权灰度特征值:
Eq=Eh×Qh+Ev×Qv
所述第一确定模块根据以下公式计算所述加权梯度特征值:
Tq=Tn×Qn+Tv×Qv
所述第一确定模块根据以下公式计算所述加权波动特征值:
Vq=Vh×Qh+Vlv×Qlv+Vrv×Qrv
其中,Eq为所述加权灰度特征值,Qh为所述水平特征单元的灰度特征值对应的权重系数,Qv为所述垂直特征单元的灰度特征值对应的权重系数,Tq为所述加权梯度特征值,Qn为所述水平特征单元的梯度特征值对应的权重系数,Qv为所述垂直特征单元的梯度特征值对应的权重系数,Vq为所述加权波动特征值,Qh为所述水平特征单元的波动特征值对应的权重系数,Qlv为所述垂直特征单元的左侧波动特征值对应的权重系数,Qrv为所述垂直特征单元的右侧波动特征值对应的权重系数。
在本发明的一个实施例中,所述第二确定模块,具体用于:将所述水平特征单元和所述垂直特征单元进行融合以获得所述车辆识别特征单元;根据所述车辆识别特征单元和所述加权特征值,确定所述前方物体的左下角和右下角。
在本发明的一个实施例中,所述计算模块根据以下公式计算所述前方物体的对称距离:
Dc=E(gleft-gright)2
其中,Dc为所述前方物体的对称距离,gleft为所述前方物体的左下角的灰度值,gright为所述前方物体的右下角的灰度值。
为了实现上述目的,本发明第三方面实施例提出的一种车辆包括:本发明第二方面实施例的前方车辆识别装置。
本发明实施例的车辆,通过上述前方车辆识别装置,能够提高前方车辆识别的准确性、可靠性和实时性,从而提高了车辆的主动安全性。
本发明附加的方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
图1是根据本发明一个实施例的前方车辆识别方法的流程图。
图2(a)是根据本发明实施例的图像预设区域的水平特征单元的示意图。
图2(b)是根据本发明实施例的图像预设区域的垂直特征单元的示意图。
图3(a)是根据本发明实施例的车辆左下角识别特征单元的示意图。
图3(b)是根据本发明实施例的车辆右下角识别特征单元的示意图。
图4是根据本发明实施例的车辆识别特征单元示意图。
图5是根据本发明一个实施例的前方车辆识别装置的方框示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参照附图来描述根据本发明实施例提出的前方车辆识别方法、装置及车辆。
图1是根据本发明一个实施例的前方车辆识别方法的流程图。
如图1所示,本发明实施例的前方车辆识别方法包括以下步骤:
S1,采集车辆前方物体的图像,并根据图像获取前方物体底部水平方向特征、前方物体两侧垂直方向特征和光照强度。其中,采集的车辆前方物体的图像可为彩色图像。
在本发明的一个实施例中,在采集车辆前方物体的图像之后还可包括对图像进行去噪和平滑处理。
具体地,车辆的前端可设有摄像头,该车辆可通过前端设置的摄像头实时拍摄该车辆前方物体的图像,然后对该图像进行去噪和平滑处理,以提高该图像质量,再然后根据处理后的图像获取前方物体底部水平方向特征、前方物体两侧垂直方向特征和光照强度,其中,光照强度可当前环境的光照强度。
在本发明的其他实施例中,可将该摄像头拍摄的图像信号输入当前车辆的DSP(Digital Signal Processing,数字信号处理)芯片,该DSP芯片通过其上的视频输入接口采集上述的图像信号,并将采集到的图像信号存储在存储器中,从而方便当前车辆的调用。
需要说明的是,该实施例中所描述的存储器可设置在车辆中,也可设置在能与车辆进行通信的云端服务器中。
另外,在各种光照条件下,车辆大体呈现矩形,即存在着车辆底部水平方向特征和车辆两侧垂直方向特征。如果进行车辆识别与准确定位,则需要确定出矩形的左下角和右下角。随着光照条件的变化,道路图像灰度变化明显,识别特征应来自图像局部以提高在不同光照条件的适应性。对车辆而言,无论是车底部水平方向还是车辆两侧垂直方向,均存在车身与路(背景)之间的过渡。
其中,车辆底部水平方向特征可包括上部特征、中部特征和下部特征,车辆两侧垂直方向特征可包括左部特征、中部特征和右部特征。
S2,根据前方物体底部水平方向特征和前方物体两侧垂直方向特征,提取图像预设区域的水平特征单元和垂直特征单元,并根据水平特征单元和垂直特征单元,计算水平特征单元的特征值和垂直特征单元的特征值。其中,预设区域可根据实际情况进行标定,且预设区域可包括上述的水平特征单元和垂直特征单元。
在本发明的实施例中,可在前方物体底部选取一小块区域(预设区域),可以看出预设区域上部到区域下部存在明显的灰度差,及前方物体和路(背景)在灰度上有明显差异,此为前方物体的局部梯度体征。
另外,由于前方物体与路(背景)在灰度上有明显的差异,此灰度差异为灰度突变,此为前方物体的局部灰度特征。由于前方物体底部结构可能较为复杂,反映到图像上,车辆边界以上区域的灰度波动较大,而路面大面积阴影(如建筑物阴影)虽然也存在局部梯度和局部灰度特征,但是波动不会太大,此为前方物体的局部波动特征。前方物体的局部梯度和局部灰度特征受光照条件的影响较小,在黄昏和夜晚条件下,不存在道路阴影和大的车影,前方物体的局部特征不明显,因此前方物体的局部特征主要应用于白天工况。
具体地,车辆可根据图像中的前方物体底部水平方向特征和前方物体两侧垂直方向特征,提取图像预设区域的水平特征单元和垂直特征单元,其中,如图2(a)所示,水平特征单元包括上部特征单元、中部特征单元和下部特征单元,上部特征单元和下部特征单元可包含相同的块数(例如,分别为3*3其中,每一块代表一个像素),中部特征单元是上部特征单元与下部特征单元的过渡区,即前方物体与路(背景)的过渡,如图2(b)所示,垂直特征单元包括左部特征单元、中部特征单元和右部特征单元,左部特征单元和右部特征单元可包含相同的块数(例如,分别为3*3其中,每一块代表一个像素),中部特征单元可代表前方物体。
需要说明的是,如图2(a)所示,水平特征单元的中部特征单元(即,前方物体与路(背景)的过渡)随着图2(a)中y值增大,前方物体与路(背景)之间过渡带宽度随之减小,所以中部特征单元中所含的像素行数nmid应与y值存在一定的线性关系,即:nmid=(200-y)/40,其中y为图像2(a)中由上至下像素的第几行,其中,应说明的是,图像2(a)中的最上面一行像素为第0行,且y为正整数。在本发明的其他实施例中,图像预设区域可包括多个水平特征单元和垂直特征单元,以水平特征单元为例,计算图像预设区域水平特征时可将N个水平特征单元在水平方向上一次排列,N与y也存在一定的线性关系,及随着y值的增加N值相应减小,即:N=(200-y)/20,其中N为正整数。
在本发明的一个实施例中,上述水平特征单元的特征值可包括灰度特征值、梯度特征值和波动特征值,上述垂直特征单元的特征值可包括灰度特征值、梯度特征值、左侧波动特征值和右侧波动特征值。
需要说明的是,为了后续应用加权证据理论,需将灰度、梯度和波动3个特征的特征值限制在[0,1]之间。以预设区域的水平特征单元为例,如图2(a)所示,水平特征单元的梯度特征是水平特征单元上部与下部的灰度差异,取两者比值在[0,1]之间,及该值距离1越近则梯度差异越小,反之越大;水平特征单元的灰度特征是上部和下部的平均灰度差异,取中部与上部和中部与下部的比值及其倒数中最小数值作为特征单元的灰度特征值,及该值距离1越近则回答差异越小,反之越大;水平特征单元的波动特征是水平特征单元上部每个字块相对于水平特征单元上部灰度均值的平均波动程度,取水平特征单元上部每个字块与水平特征单元上部平均灰度值在[0,1]之间的数值,进而得到这9个数值的平均数,即该值距离1越近则波动越小,反之越大。垂直特征单元同理。
具体地,可根据以下公式(1)计算水平特征单元的灰度特征值:
可根据以下公式(2)计算水平特征单元的梯度特征值:
可根据以下公式(3)计算水平特征单元的波动特征值:
在本发明的实施例中,可根据以下公式(4)计算垂直特征单元的灰度特征值:
可根据以下公式(5)计算垂直特征单元的梯度特征值:
可根据以下公式(6)计算垂直特征单元的左侧波动特征值:
可根据以下公式(7)计算垂直特征单元的右侧波动特征值:
其中,其中,Eh为水平特征单元的灰度特征值,Tn为水平特征单元的梯度特征值,Vh为水平特征单元的波动特征值,Ev为垂直特征单元的灰度特征值,Tv为垂直特征单元的梯度特征值,Vlv为垂直特征单元的左侧波动特征值,Vrv为垂直特征单元的右侧波动特征值,为水平特征单元中上部特征单元的平均灰度值,为水平特征单元中中部特征单元的平均灰度值,为水平特征单元中下部特征单元的平均灰度值,euhi为水平特征单元中上部特征单元的第i个像素的灰度值,为垂直特征单元中左部特征单元的平均灰度值,为垂直特征单元中中部特征单元的平均灰度值,为垂直特征单元中右部特征单元的平均灰度值,ervi为垂直特征单元中右部特征单元的第i个像素的灰度值,elvi为垂直特征单元中左部特征单元第i个像素的灰度值,a为水平特征单元上部像素的个数,b为垂直特征单元左部像素的个数,c为垂直特征单元右部像素的个数,其中,i、a、b和c均为正整数。
S3,根据光照强度确定水平特征单元的特征值和垂直特征单元的特征值对应的权重系数,以计算图像预设区域的加权特征值。其中,该图像预设区域的加权特征值可包括加权灰度特征值、加权梯度特征值和加权波动特征值。
需要说明的是,由于识别环境的不确定性,应根据光照条件变化将车辆局部梯度特征、局部灰度特征和局部波动特征(即,预设区域中水平特征单元的灰度特征值、水平特征单元的梯度特征值、水平特征单元的波动特征值、垂直特征单元的灰度特征值、垂直特征单元的梯度特征值、垂直特征单元的左侧波动特征值和垂直特征单元的右侧波动特征值),按照不同的权重进行信息融合。本系统通过加权证据理论融合各个特征,同时对采集样本进行分析,随着光照强度的降低,局部灰度和梯度的权重逐渐升高,而波动特征权重逐渐减小,本系统通过对图像亮度的计算,实时调整各个特征的权重,提高识别的准确性和可靠性。
具体地,可根据以下公式(8)计算加权灰度特征值:
Eq=Eh×Qh+Ev×Qv, (8)
可根据以下公式(9)计算加权梯度特征值:
Tq=Tn×Qn+Tv×Qv, (9)
可根据以下公式(10)计算加权波动特征值:
Vq=Vh×Qh+Vlv×Qlv+Vrv×Qrv, (10)
其中,Eq为加权灰度特征值,Qh为水平特征单元的灰度特征值对应的权重系数,Qv为垂直特征单元的灰度特征值对应的权重系数,Tq为加权梯度特征值,Qn为水平特征单元的梯度特征值对应的权重系数,Qv为垂直特征单元的梯度特征值对应的权重系数,Vq为加权波动特征值,Qh为水平特征单元的波动特征值对应的权重系数,Qlv为垂直特征单元的左侧波动特征值对应的权重系数,Qrv为垂直特征单元的右侧波动特征值对应的权重系数。
以上述的图像预设区域单个水平(垂直)特征单元为基础,对N个水平(垂直)特征单元进行综合考虑的原则求得所选区域的可信度。以水平特征单元为例,根据所选区域位置,根据上述公式:nmid=(200-y)/40和公式:N=(200-y)/20得出水平特征单元中部所含行数nmid和水平特征单元个数N。将车辆的水平边缘识别框架定义为{h1,h2},分别代表边缘和非边缘。将单个水平特征单元的梯度特征、灰度特征和波动特征作为3个独立的证据体X={T,E,V}。由水平特征单元梯度特征、灰度特征和波动特征计算公式(1)~式(3)可以看出,当特征值距离0越近,则梯度特征、灰度特征和波动特征越显著,反之则与微弱。本发明通过分析验证,当3个特征值在0.5附近是,车辆底部边缘的置信度最大,离0.5越远即越靠近0或1时置信度越小。
S4,根据水平特征单元、垂直特征单元和加权特征值,确定前方物体的左下角和右下角。
在本发明的一个实施例中,根据水平特征单元、垂直特征单元和加权特征值,确定前方物体的左下角和右下角,具体可包括将水平特征单元和垂直特征单元进行融合以获得车辆识别特征单元,并根据车辆识别特征单元和加权特征值,确定前方物体的左下角和右下角。
需要说明的是,在车辆识别过程中直接准确找到前方物体的左下角和右下角是很困难的,而找到前方物体底部边界和前方物体两侧边界相对容易,因此车辆识别过程中首先搜索前方物体底部和两侧(即前方物体的水平特征和垂直特征),找到前方物体的水平特征和垂直特征都很明显的区域,作为进一步识别的基本区域。
具体地,如图3(a)和3(b)所示,车辆可将水平特征单元上部与垂直特征单元右部重合,将水平特征单元上部和垂直特征单元左部重合。
然而,由于上述水平特征单元和垂直特征单元所处的位置不同,为了提高识别效率,车辆可将图3(a)和图3(b)进行合并,组成一个车辆识别特征单元,如图4所示。该车辆识别特征单元充分融合了前方物体底部水平特征和两侧垂直特征。
此时,车辆可将如图4所述的车辆识别特征单元,根据上述的加权特征值在图像中进行移动移,以确定前方物体的左下角和右下角。例如,当该车辆识别特征单元所处位置的水平特征明显(即,该车辆识别特征单元所处位置的水平特征的灰度特征值在上述的加权灰度特征值附近),垂直特征不明显(即该车辆识别特征单元所处位置的灰度特征值不在上述的加权灰度特征值附近)时,则搜索识别方向沿水平方向移动;当该车辆识别特征单元所处位置的垂直特征明显而该车辆识别特征单元所处位置的水平特征不明显时,则搜索识别方向沿垂直方向移动;当左下角基准点处水平和垂直特征都明显时(即,当左下角基准点处水平和垂直特征的灰度特征值在上述的加权灰度特征值附近,梯度特征值在上述的加权梯度特征值附近,且波动特征值在上述的加权波动特征值附近时),则识别区域为潜在车辆的左下角,继续向右搜索识别潜在车辆的右下角;当右下角基准点处水平和垂直特征都明显时,则识别区域为潜在车辆的右下角。
另外,在本发明的实施例中,上述的车辆前方物体的图像中可包括多个前方物体,当右下角基准点处水平和垂直特征都明显时,则识别区域为潜在车辆的右下角,并继续向左搜索识别潜在车辆的左下角。如此循环进行潜在车辆识别,直到识别出的潜在车辆(即识别出10对潜在车辆的左下角和右下角)数大于10,或者循环识别次数大于20。
S5,获取前方物体的左下角和右下角的灰度值,并根据前方物体的左下角和右下角的灰度值计算前方物体的对称距离。
需要说明的是,对称性是车辆的重要特征,根据连续性对称度概念,引入对称距离,即把一给定的图形变换为其对应的对称图形所学要的最小能量,可有效的因图像造成引起的误判。其中,上述的对称距离可由前方物体的左下角的灰度值和前方物体的右下角的灰度值之间的均方差获得。
在本发明的一个实施例中,可根据以下公式(11)计算前方物体的对称距离:
Dc=E(gleft-gright)2, (11)
其中,Dc为前方物体的对称距离,gleft为前方物体的左下角的灰度值,gright为前方物体的右下角的灰度值。应说明的是,对称距离越小表示当前区域的对称程度越高。
S6,如果对称距离小于预设阈值,则认定前方物体是车辆。其中,预设阈值可根据实际情况进行标定,例如,预设阈值可为100。
在本发明的一个实施例中,上述前方车辆识别方法还可包括如果前方物体的对称距离大于或等于预设阈值,则认定前方物体不是车辆。
综上,本发明实施例的前方车辆识别方法,首先采集车辆前方物体的图像以获取前方物体底部水平方向特征、两侧垂直方向特征和光照强度,然后根据前方物体底部水平方向特征、两侧垂直方向特征和光照强度,提取图像预设区域的水平特征单元的特征值和垂直特征单元的特征值,以及计算图像预设区域的加权特征值,最后根据水平特征单元、垂直特征单元和加权特征值,确定前方物体的左下角和右下角,并获取前方物体的左下角和右下角的灰度值,并根据前方物体的左下角和右下角的灰度值计算前方物体的对称距离,如果对称距离小于预设阈值,则认定前方物体是车辆。由此,该方法能够提高前方车辆识别的准确性、可靠性和实时性,从而提高了车辆的主动安全性。
图5是根据本发明一个实施例的前方车辆识别装置的方框示意图。
如图5所示,本发明实施例的前方车辆识别装置包括:采集模块100、提取模块200、第一确定模块300、第二确定模块400、计算模块500和识别模块600。
其中,采集模块100用于采集车辆前方物体的图像,并根据图像获取前方物体底部水平方向特征、前方物体两侧垂直方向特征和光照强度。其中,采集的车辆前方物体的图像可为彩色图像。
在本发明的一个实施例中,采集模块100还用于在采集车辆前方物体的图像之后,对图像进行去噪和平滑处理。
具体地,采集模块100可包括摄像头,其中,该摄像头可设置在车辆的前端,采集模块100可通过前端设置的摄像头实时拍摄该车辆前方物体的图像,然后对该图像进行去噪和平滑处理,以提高该图像质量,再然后根据处理后的图像获取前方物体底部水平方向特征、前方物体两侧垂直方向特征和光照强度,其中,光照强度可当前环境的光照强度。
在本发明的其他实施例中,采集模块100可将该摄像头拍摄的图像信号输入当前车辆的DSP(Digital Signal Processing,数字信号处理)芯片,该DSP芯片通过其上的视频输入接口采集上述的图像信号,并将采集到的图像信号存储在存储器中,从而方便当前车辆的调用。
需要说明的是,该实施例中所描述的存储器可设置在车辆中,也可设置在能与车辆进行通信的云端服务器中。
另外,在各种光照条件下,车辆大体呈现矩形,即存在着车辆底部水平方向特征和车辆两侧垂直方向特征。如果进行车辆识别与准确定位,则需要确定出矩形的左下角和右下角。随着光照条件的变化,道路图像灰度变化明显,识别特征应来自图像局部以提高在不同光照条件的适应性。对车辆而言,无论是车底部水平方向还是车辆两侧垂直方向,均存在车身与路(背景)之间的过渡。
其中,车辆底部水平方向特征可包括上部特征、中部特征和下部特征,车辆两侧垂直方向特征可包括左部特征、中部特征和右部特征。
提取模块200用于根据前方物体底部水平方向特征和前方物体两侧垂直方向特征,提取图像预设区域的水平特征单元和垂直特征单元,并根据水平特征单元和垂直特征单元,计算水平特征单元的特征值和垂直特征单元的特征值。其中,预设区域可根据实际情况进行标定,且预设区域可包括上述的水平特征单元和垂直特征单元。
在本发明的实施例中,提取模块200可在前方物体底部选取一小块区域(预设区域),可以看出预设区域上部到区域下部存在明显的灰度差,及前方物体和路(背景)在灰度上有明显差异,此为前方物体的局部梯度体征。
另外,由于前方物体与路(背景)在灰度上有明显的差异,此灰度差异为灰度突变,此为前方物体的局部灰度特征。由于前方物体底部结构可能较为复杂,反映到图像上,车辆边界以上区域的灰度波动较大,而路面大面积阴影(如建筑物阴影)虽然也存在局部梯度和局部灰度特征,但是波动不会太大,此为前方物体的局部波动特征。前方物体的局部梯度和局部灰度特征受光照条件的影响较小,在黄昏和夜晚条件下,不存在道路阴影和大的车影,前方物体的局部特征不明显,因此前方物体的局部特征主要应用于白天工况。
具体地,提取模块200可根据图像中的前方物体底部水平方向特征和前方物体两侧垂直方向特征,提取图像预设区域的水平特征单元和垂直特征单元,其中,如图2(a)所示,水平特征单元包括上部特征单元、中部特征单元和下部特征单元,上部特征单元和下部特征单元可包含相同的块数(例如,分别为3*3其中,每一块代表一个像素),中部特征单元是上部特征单元与下部特征单元的过渡区,即前方物体与路(背景)的过渡,如图2(b)所示,垂直特征单元包括左部特征单元、中部特征单元和右部特征单元,左部特征单元和右部特征单元可包含相同的块数(例如,分别为3*3其中,每一块代表一个像素),中部特征单元可代表前方物体。
需要说明的是,如图2(a)所示,水平特征单元的中部特征单元(即,前方物体与路(背景)的过渡)随着图2(a)中y值增大,前方物体与路(背景)之间过渡带宽度随之减小,所以中部特征单元中所含的行数nmid应与y值存在一定的线性关系,即:nmid=(200-y)/40,其中y为图像2(a)中由上至下像素的第几行,其中,应说明的是,图像2(a)中的最上面一行像素为第0行,且y为正整数。在本发明的其他实施例中,图像预设区域可包括多个水平特征单元和垂直特征单元,以水平特征单元为例,计算图像预设区域水平特征时可将N个水平特征单元在水平方向上一次排列,N与y也存在一定的线性关系,及随着y值的增加N值相应减小,即:N=(200-y)/20,其中N为正整数。
在本发明的一个实施例中,水平特征单元包括上部特征单元、中部特征单元和下部特征单元,垂直特征单元包括左部特征单元、中部特征单元和右部特征单元。
需要说明的是,为了后续应用加权证据理论,需将灰度、梯度和波动3个特征的特征值限制在[0,1]之间。以预设区域的水平特征单元为例,如图2(a)所示,水平特征单元的梯度特征是水平特征单元上部与下部的灰度差异,取两者比值在[0,1]之间,及该值距离1越近则梯度差异越小,反之越大;水平特征单元的灰度特征是上部和下部的平均灰度差异,取中部与上部和中部与下部的比值及其倒数中最小数值作为特征单元的灰度特征值,及该值距离1越近则回答差异越小,反之越大;水平特征单元的波动特征是水平特征单元上部每个字块相对于水平特征单元上部灰度均值的平均波动程度,取水平特征单元上部每个字块与水平特征单元上部平均灰度值在[0,1]之间的数值,进而得到这9个数值的平均数,即该值距离1越近则波动越小,反之越大。垂直特征单元同理。
具体地,提取模块200可根据以下公式(1)计算水平特征单元的灰度特征值:
提取模块200可根据以下公式(2)计算水平特征单元的梯度特征值:
提取模块200可根据以下公式(3)计算水平特征单元的波动特征值:
在本发明的实施例中,提取模块200可根据以下公式(4)计算垂直特征单元的灰度特征值:
提取模块200可根据以下公式(5)计算垂直特征单元的梯度特征值:
提取模块200可根据以下公式(6)计算垂直特征单元的左侧波动特征值:
提取模块200可根据以下公式(7)计算垂直特征单元的右侧波动特征值:
其中,其中,Eh为水平特征单元的灰度特征值,Tn为水平特征单元的梯度特征值,Vh为水平特征单元的波动特征值,Ev为垂直特征单元的灰度特征值,Tv为垂直特征单元的梯度特征值,Vlv为垂直特征单元的左侧波动特征值,Vrv为垂直特征单元的右侧波动特征值,为水平特征单元中上部特征单元的平均灰度值,为水平特征单元中中部特征单元的平均灰度值,为水平特征单元中下部特征单元的平均灰度值,euhi为水平特征单元中上部特征单元的第i个像素的灰度值,为垂直特征单元中左部特征单元的平均灰度值,为垂直特征单元中中部特征单元的平均灰度值,为垂直特征单元中右部特征单元的平均灰度值,ervi为垂直特征单元中右部特征单元的第i个像素的灰度值,elvi为垂直特征单元中左部特征单元第i个像素的灰度值,a为水平特征单元上部像素的个数,b为垂直特征单元左部像素的个数,c为垂直特征单元右部像素的个数,其中,i、a、b和c均为正整数。
第一确定模块300用于根据光照强度确定水平特征单元的特征值和垂直特征单元的特征值对应的权重系数,以计算图像预设区域的加权特征值。其中,该图像预设区域的加权特征值可包括加权灰度特征值、加权梯度特征值和加权波动特征值。
需要说明的是,由于识别环境的不确定性,应根据光照条件变化将车辆局部梯度特征、局部灰度特征和局部波动特征(即,预设区域中水平特征单元的灰度特征值、水平特征单元的梯度特征值、水平特征单元的波动特征值、垂直特征单元的灰度特征值、垂直特征单元的梯度特征值、垂直特征单元的左侧波动特征值和垂直特征单元的右侧波动特征值),按照不同的权重进行信息融合。本系统通过加权证据理论融合各个特征,同时对采集样本进行分析,随着光照强度的降低,局部灰度和梯度的权重逐渐升高,而波动特征权重逐渐减小,本系统通过对图像亮度的计算,实时调整各个特征的权重,提高识别的准确性和可靠性。
具体地,第一确定模块300可根据以下公式(8)计算加权灰度特征值:
Eq=Eh×Qh+Ev×Qv, (8)
第一确定模块300可根据以下公式(9)计算加权梯度特征值:
Tq=Tn×Qn+Tv×Qv, (9)
第一确定模块300可根据以下公式(10)计算加权波动特征值:
Vq=Vh×Qh+Vlv×Qlv+Vrv×Qrv, (10)
其中,Eq为加权灰度特征值,Qh为水平特征单元的灰度特征值对应的权重系数,Qv为垂直特征单元的灰度特征值对应的权重系数,Tq为加权梯度特征值,Qn为水平特征单元的梯度特征值对应的权重系数,Qv为垂直特征单元的梯度特征值对应的权重系数,Vq为加权波动特征值,Qh为水平特征单元的波动特征值对应的权重系数,Qlv为垂直特征单元的左侧波动特征值对应的权重系数,Qrv为垂直特征单元的右侧波动特征值对应的权重系数。
以上述的图像预设区域单个水平(垂直)特征单元为基础,对N个水平(垂直)特征单元进行综合考虑的原则求得所选区域的可信度。以水平特征单元为例,根据所选区域位置,根据上述公式:nmid=(200-y)/40和公式:N=(200-y)/20得出水平特征单元中部所含行数nmid和水平特征单元个数N。将车辆的水平边缘识别框架定义为{h1,h2},分别代表边缘和非边缘。将单个水平特征单元的梯度特征、灰度特征和波动特征作为3个独立的证据体X={T,E,V}。由水平特征单元梯度特征、灰度特征和波动特征计算公式(1)~式(3)可以看出,当特征值距离0越近,则梯度特征、灰度特征和波动特征越显著,反之则与微弱。本发明通过分析验证,当3个特征值在0.5附近是,车辆底部边缘的置信度最大,离0.5越远即越靠近0或1时置信度越小。
第二确定模块400用于根据水平特征单元、垂直特征单元和加权特征值,确定前方物体的左下角和右下角。
在本发明的一个实施例中,第二确定模块400具体可用于将水平特征单元和垂直特征单元进行融合以获得车辆识别特征单元,并根据车辆识别特征单元和加权特征值,确定前方物体的左下角和右下角。
需要说明的是,在车辆识别过程中直接准确找到前方物体的左下角和右下角是很困难的,而找到前方物体底部边界和前方物体两侧边界相对容易,因此车辆识别过程中首先搜索前方物体底部和两侧(即前方物体的水平特征和垂直特征),找到前方物体的水平特征和垂直特征都很明显的区域,作为进一步识别的基本区域。
具体地,如图3(a)和3(b)所示,第二确定模块400可将水平特征单元上部与垂直特征单元右部重合,将水平特征单元上部和垂直特征单元左部重合。
然而,由于上述水平特征单元和垂直特征单元所处的位置不同,为了提高识别效率,第二确定模块400可可将图3(a)和图3(b)进行合并,组成一个车辆识别特征单元,如图4所示。该车辆识别特征单元充分融合了前方物体底部水平特征和两侧垂直特征。
此时,第二确定模块400可将如图4所述的车辆识别特征单元,根据上述的加权特征值在图像中进行移动移,以确定前方物体的左下角和右下角。例如,当该车辆识别特征单元所述位置处的水平特征明显(即,该车辆识别特征单元所处位置的水平特征的灰度特征值在加权灰度特征值附近),垂直特征不明显(即该车辆识别特征单元所处位置的灰度特征值不在加权灰度特征值附近)时,则搜索识别方向沿水平方向移动;当该车辆识别特征单元所处位置的垂直特征明显而该车辆识别特征单元所处位置的水平特征不明显时,则搜索识别方向沿垂直方向移动;当左下角基准点处水平和垂直特征都明显时(即,当左下角基准点处水平和垂直特征的灰度特征值在上述的加权灰度特征值附近,梯度特征值在上述的加权梯度特征值附近,且波动特征值在上述的加权波动特征值附近时),则识别区域为潜在车辆的左下角,继续向右搜索识别潜在车辆的右下角;当右下角基准点处水平和垂直特征都明显时,则识别区域为潜在车辆的右下角。
另外,在本发明的实施例中,上述的车辆前方物体的图像中可包括多个前方物体,第二确定模块400还用于当右下角基准点处水平和垂直特征都明显时,则识别区域为潜在车辆的右下角,并继续向左搜索识别潜在车辆的左下角。如此循环进行潜在车辆识别,直到识别出的潜在车辆(即识别出10对潜在车辆的左下角和右下角)数大于10,或者循环识别次数大于20。
计算模块500用于获取前方物体的左下角和右下角的灰度值,并根据前方物体的左下角和右下角的灰度值计算前方物体的对称距离。
需要说明的是,对称性是车辆的重要特征,根据连续性对称度概念,引入对称距离,即把一给定的图形变换为其对应的对称图形所学要的最小能量,可有效的因图像造成引起的误判。其中,上述的对称距离可由前方物体的左下角的灰度值和前方物体的右下角的灰度值之间的均方差获得。
在本发明的一个实施例中,计算模块500可根据以下公式(11)计算前方物体的对称距离:
Dc=E(gleft-gright)2, (11)
其中,Dc为前方物体的对称距离,gleft为前方物体的左下角的灰度值,gright为前方物体的右下角的灰度值。应说明的是,对称距离越小表示当前区域的对称程度越高。
识别模块600用于当对称距离小于预设阈值时,认定前方物体是车辆。其中,预设阈值可根据实际情况进行标定,例如,预设阈值可为100。
在本发明的一个实施例中,识别模块600还用于当前方物体的对称距离大于或等于预设阈值时,认定前方物体不是车辆。
综上,本发明实施例的前方车辆识别装置,通过采集模块采集车辆前方物体的图像以获取前方物体底部水平方向特征、两侧垂直方向特征和光照强度,并通过提取模块根据前方物体底部水平方向特征和前方物体两侧垂直方向特征,提取图像预设区域的平特征单元的特征值和垂直特征单元的特征值,然后第一确定模块根据光照强度确定水平特征单元的特征值和垂直特征单元的特征值对应的权重系数,以计算图像预设区域的加权特征值,第二确定模块根据水平特征单元、垂直特征单元和加权特征值,确定前方物体的左下角和右下角,而后计算模块获取前方物体的左下角和右下角的灰度值,并根据前方物体的左下角和右下角的灰度值计算前方物体的对称距离,当对称距离小于预设阈值时,识别模块认定前方物体是车辆。由此,该装置能够提高前方车辆识别的准确性、可靠性和实时性,从而提高了车辆的主动安全性。
为了实现上述实施例,本发明还提出一种车辆,其包括上述前方车辆识别装置。
本发明实施例的车辆,通过上述前方车辆识别装置,能够提高前方车辆识别的准确性、可靠性和实时性,从而提高了车辆的主动安全性。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (17)

1.一种前方车辆识别方法,其特征在于,包括以下步骤:
采集车辆前方物体的图像,并根据所述图像获取所述前方物体底部水平方向特征、所述前方物体两侧垂直方向特征和光照强度;
根据所述前方物体底部水平方向特征和所述前方物体两侧垂直方向特征,提取所述图像预设区域的水平特征单元和垂直特征单元,并根据所述水平特征单元和所述垂直特征单元,计算所述水平特征单元的特征值和所述垂直特征单元的特征值;
根据所述光照强度确定所述水平特征单元的特征值和所述垂直特征单元的特征值对应的权重系数,以计算所述图像预设区域的加权特征值;
根据所述水平特征单元、所述垂直特征单元和所述加权特征值,确定所述前方物体的左下角和右下角;
获取所述前方物体的左下角和右下角的灰度值,并根据所述前方物体的左下角和右下角的灰度值计算所述前方物体的对称距离;
如果所述对称距离小于预设阈值,则认定所述前方物体是车辆。
2.根据权利要求1所述的前方车辆识别方法,其特征在于,还包括:
如果所述前方物体的对称距离大于或等于所述预设阈值,则认定所述前方物体不是车辆。
3.根据权利要求1所述的前方车辆识别方法,其特征在于,在采集车辆前方物体的图像之后,还包括:
对所述图像进行去噪和平滑处理。
4.根据权利要求1所述的前方车辆识别方法,其特征在于,所述水平特征单元包括上部特征单元、中部特征单元和下部特征单元,所述垂直特征单元包括左部特征单元、中部特征单元和右部特征单元。
5.根据权利要求4所述的前方车辆识别方法,其特征在于,所述水平特征单元的特征值包括灰度特征值、梯度特征值和波动特征值,所述垂直特征单元的特征值包括灰度特征值、梯度特征值、左侧波动特征值和右侧波动特征值,其中,
根据以下公式计算所述水平特征单元的灰度特征值:
根据以下公式计算所述水平特征单元的梯度特征值:
根据以下公式计算所述水平特征单元的波动特征值:
根据以下公式计算所述垂直特征单元的灰度特征值:
根据以下公式计算所述垂直特征单元的梯度特征值:
根据以下公式计算所述垂直特征单元的左侧波动特征值:
根据以下公式计算所述垂直特征单元的右侧波动特征值:
其中,Eh为所述水平特征单元的灰度特征值,Tn为所述水平特征单元的梯度特征值,Vh为所述水平特征单元的波动特征值,Ev为所述垂直特征单元的灰度特征值,Tv为所述垂直特征单元的梯度特征值,Vlv为所述垂直特征单元的左侧波动特征值,Vrv为所述垂直特征单元的右侧波动特征值,为所述水平特征单元中上部特征单元的平均灰度值,为所述水平特征单元中中部特征单元的平均灰度值,为所述水平特征单元中下部特征单元的平均灰度值,euhi为所述水平特征单元中上部特征单元的第i个像素的灰度值,为所述垂直特征单元中左部特征单元的平均灰度值,为所述垂直特征单元中中部特征单元的平均灰度值,为所述垂直特征单元中右部特征单元的平均灰度值,ervi为所述垂直特征单元中右部特征单元的第i个像素的灰度值,elvi为所述垂直特征单元中左部特征单元第i个像素的灰度值,a为所述水平特征单元上部像素的个数,b为所述垂直特征单元左部像素的个数,c为所述垂直特征单元右部像素的个数,其中,所述i、a、b和c均为正整数。
6.根据权利要求5所述的前方车辆识别方法,其特征在于,所述图像预设区域的加权特征值包括加权灰度特征值、加权梯度特征值和加权波动特征值,其中,
根据以下公式计算所述加权灰度特征值:
Eq=Eh×Qh+Ev×Qv
根据以下公式计算所述加权梯度特征值:
Tq=Tn×Qn+Tv×Qv
根据以下公式计算所述加权波动特征值:
Vq=Vh×Qh+Vlv×Qlv+Vrv×Qrv
其中,Eq为所述加权灰度特征值,Qh为所述水平特征单元的灰度特征值对应的权重系数,Qv为所述垂直特征单元的灰度特征值对应的权重系数,Tq为所述加权梯度特征值,Qn为所述水平特征单元的梯度特征值对应的权重系数,Qv为所述垂直特征单元的梯度特征值对应的权重系数,Vq为所述加权波动特征值,Qh为所述水平特征单元的波动特征值对应的权重系数,Qlv为所述垂直特征单元的左侧波动特征值对应的权重系数,Qrv为所述垂直特征单元的右侧波动特征值对应的权重系数。
7.根据权利要求1所述的前方车辆识别方法,其特征在于,所述根据所述水平特征单元、所述垂直特征单元和所述加权特征值,确定所述前方物体的左下角和右下角,具体包括:
将所述水平特征单元和所述垂直特征单元进行融合以获得所述车辆识别特征单元;
根据所述车辆识别特征单元和所述加权特征值,确定所述前方物体的左下角和右下角。
8.根据权利要求2所述的前方车辆识别方法,其特征在于,根据以下公式计算所述前方物体的对称距离:
Dc=E(gleft-gright)2
其中,Dc为所述前方物体的对称距离,gleft为所述前方物体的左下角的灰度值,gright为所述前方物体的右下角的灰度值。
9.一种前方车辆识别装置,其特征在于,包括:
采集模块,所述采集模块用于采集车辆前方物体的图像,并根据所述图像获取所述前方物体底部水平方向特征、所述前方物体两侧垂直方向特征和光照强度;
提取模块,所述提取模块用于根据所述前方物体底部水平方向特征和所述前方物体两侧垂直方向特征,提取所述图像预设区域的水平特征单元和垂直特征单元,并根据所述水平特征单元和所述垂直特征单元,计算所述水平特征单元的特征值和所述垂直特征单元的特征值;
第一确定模块,所述第一确定模块用于根据所述光照强度确定所述水平特征单元的特征值和所述垂直特征单元的特征值对应的权重系数,以计算所述图像预设区域的加权特征值;
第二确定模块,所述第二确定模块用于根据所述水平特征单元、所述垂直特征单元和所述加权特征值,确定所述前方物体的左下角和右下角;
计算模块,所述计算模块用于获取所述前方物体的左下角和右下角的灰度值,并根据所述前方物体的左下角和右下角的灰度值计算所述前方物体的对称距离;
识别模块,所述识别模块用于当所述对称距离小于预设阈值时,认定所述前方物体是车辆。
10.根据权利要求9所述的前方车辆识别装置,其特征在于,所述识别模块,还用于:
当所述前方物体的对称距离大于或等于所述预设阈值时,认定所述前方物体不是车辆。
11.根据权利要求9所述的前方车辆识别装置,其特征在于,所述采集模块,还用于:
在采集车辆前方物体的图像之后,对所述图像进行去噪和平滑处理。
12.根据权利要求9所述的前方车辆识别装置,其特征在于,所述水平特征单元包括上部特征单元、中部特征单元和下部特征单元,所述垂直特征单元包括左部特征单元、中部特征单元和右部特征单元。
13.根据权利要求12所述的前方车辆识别装置,其特征在于,所述水平特征单元的特征值包括灰度特征值、梯度特征值和波动特征值,所述垂直特征单元的特征值包括灰度特征值、梯度特征值、左侧波动特征值和右侧波动特征值,其中,
所述提取模块根据以下公式计算所述水平特征单元的灰度特征值:
所述提取模块根据以下公式计算所述水平特征单元的梯度特征值:
所述提取模块根据以下公式计算所述水平特征单元的波动特征值:
所述提取模块根据以下公式计算所述垂直特征单元的灰度特征值:
所述提取模块根据以下公式计算所述垂直特征单元的梯度特征值:
所述提取模块根据以下公式计算所述垂直特征单元的左侧波动特征值:
所述提取模块根据以下公式计算所述垂直特征单元的右侧波动特征值:
其中,Eh为所述水平特征单元的灰度特征值,Tn为所述水平特征单元的梯度特征值,Vh为所述水平特征单元的波动特征值,Ev为所述垂直特征单元的灰度特征值,Tv为所述垂直特征单元的梯度特征值,Vlv为所述垂直特征单元的左侧波动特征值,Vrv为所述垂直特征单元的右侧波动特征值,为所述水平特征单元中上部特征单元的平均灰度值,为所述水平特征单元中中部特征单元的平均灰度值,为所述水平特征单元中下部特征单元的平均灰度值,euhi为所述水平特征单元中上部特征单元的第i个像素的灰度值,为所述垂直特征单元中左部特征单元的平均灰度值,为所述垂直特征单元中中部特征单元的平均灰度值,为所述垂直特征单元中右部特征单元的平均灰度值,ervi为所述垂直特征单元中右部特征单元的第i个像素的灰度值,elvi为所述垂直特征单元中左部特征单元第i个像素的灰度值,a为所述水平特征单元上部像素的个数,b为所述垂直特征单元左部像素的个数,c为所述垂直特征单元右部像素的个数,其中,所述i、a、b和c均为正整数。
14.根据权利要求13所述的前方车辆识别装置,其特征在于,所述图像预设区域的加权特征值包括加权灰度特征值、加权梯度特征值和加权波动特征值,其中,
所述第一确定模块根据以下公式计算所述加权灰度特征值:
Eq=Eh×Qh+Ev×Qv
所述第一确定模块根据以下公式计算所述加权梯度特征值:
Tq=Tn×Qn+Tv×Qv
所述第一确定模块根据以下公式计算所述加权波动特征值:
Vq=Vh×Qh+Vlv×Qlv+Vrv×Qrv
其中,Eq为所述加权灰度特征值,Qh为所述水平特征单元的灰度特征值对应的权重系数,Qv为所述垂直特征单元的灰度特征值对应的权重系数,Tq为所述加权梯度特征值,Qn为所述水平特征单元的梯度特征值对应的权重系数,Qv为所述垂直特征单元的梯度特征值对应的权重系数,Vq为所述加权波动特征值,Qh为所述水平特征单元的波动特征值对应的权重系数,Qlv为所述垂直特征单元的左侧波动特征值对应的权重系数,Qrv为所述垂直特征单元的右侧波动特征值对应的权重系数。
15.根据权利要求9所述的前方车辆识别装置,其特征在于,所述第二确定模块,具体用于:
将所述水平特征单元和所述垂直特征单元进行融合以获得所述车辆识别特征单元;
根据所述车辆识别特征单元和所述加权特征值,确定所述前方物体的左下角和右下角。
16.根据权利要求10所述的前方车辆识别装置,其特征在于,所述计算模块根据以下公式计算所述前方物体的对称距离:
Dc=E(gleft-gright)2
其中,Dc为所述前方物体的对称距离,gleft为所述前方物体的左下角的灰度值,gright为所述前方物体的右下角的灰度值。
17.一种车辆,其特征在于,包括如权利要求9-16中任一项所述的前方车辆识别装置。
CN201710024274.8A 2017-01-13 2017-01-13 前方车辆识别方法、装置及车辆 Active CN108304750B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710024274.8A CN108304750B (zh) 2017-01-13 2017-01-13 前方车辆识别方法、装置及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710024274.8A CN108304750B (zh) 2017-01-13 2017-01-13 前方车辆识别方法、装置及车辆

Publications (2)

Publication Number Publication Date
CN108304750A true CN108304750A (zh) 2018-07-20
CN108304750B CN108304750B (zh) 2020-11-06

Family

ID=62872256

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710024274.8A Active CN108304750B (zh) 2017-01-13 2017-01-13 前方车辆识别方法、装置及车辆

Country Status (1)

Country Link
CN (1) CN108304750B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886219A (zh) * 2019-02-26 2019-06-14 中兴飞流信息科技有限公司 抛洒物检测方法、装置及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001134771A (ja) * 1999-11-04 2001-05-18 Honda Motor Co Ltd 対象物認識装置
US20060245653A1 (en) * 2005-03-14 2006-11-02 Theodore Camus Method and apparatus for detecting edges of an object
CN101016053A (zh) * 2007-01-25 2007-08-15 吉林大学 高等级公路上车辆防追尾碰撞预警方法和系统
CN102509098B (zh) * 2011-10-08 2013-05-15 天津大学 一种鱼眼图像车辆识别方法
CN103310213A (zh) * 2012-03-07 2013-09-18 株式会社理光 车辆检测方法和装置
CN106023270A (zh) * 2016-05-19 2016-10-12 西安石油大学 一种基于局部对称特征的视频车辆检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001134771A (ja) * 1999-11-04 2001-05-18 Honda Motor Co Ltd 対象物認識装置
US20060245653A1 (en) * 2005-03-14 2006-11-02 Theodore Camus Method and apparatus for detecting edges of an object
CN101016053A (zh) * 2007-01-25 2007-08-15 吉林大学 高等级公路上车辆防追尾碰撞预警方法和系统
CN102509098B (zh) * 2011-10-08 2013-05-15 天津大学 一种鱼眼图像车辆识别方法
CN103310213A (zh) * 2012-03-07 2013-09-18 株式会社理光 车辆检测方法和装置
CN106023270A (zh) * 2016-05-19 2016-10-12 西安石油大学 一种基于局部对称特征的视频车辆检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ALBERT0 BROGGI: "Multi-Resolution Vehicle Detection using Artificial Vision", 《IEEE INTELLIGENT VEHICLES SYMPOSIUM》 *
刘代志: "《地球物理应用前沿》", 30 September 2015, 西安地图出版社 *
张少伟: "基于机器视觉的边缘检测算法研究与应用", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
杨义先: "《中国电子学会第十五届信息论学术年会暨第一届全国网络编码学术年会论文集 上》", 30 September 2008, 国防工业出版社 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886219A (zh) * 2019-02-26 2019-06-14 中兴飞流信息科技有限公司 抛洒物检测方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
CN108304750B (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
CN110175576B (zh) 一种结合激光点云数据的行驶车辆视觉检测方法
CN106128115B (zh) 一种基于双摄像机检测道路交通信息的融合方法
CN107463890B (zh) 一种基于单目前视相机的前车检测与跟踪方法
CN105260712B (zh) 一种车辆前方行人检测方法及系统
Li et al. Nighttime lane markings recognition based on Canny detection and Hough transform
Hautière et al. Real-time disparity contrast combination for onboard estimation of the visibility distance
CN102867414B (zh) 一种基于ptz摄像机快速标定的车辆排队长度测量方法
US9070023B2 (en) System and method of alerting a driver that visual perception of pedestrian may be difficult
US8810653B2 (en) Vehicle surroundings monitoring apparatus
CN102855622B (zh) 一种基于显著性分析的红外遥感图像海面船只检测方法
CN110647850A (zh) 一种基于逆透视原理的车道偏移自动测量方法
CN106128121B (zh) 基于局部特征分析的车辆排队长度快速检测算法
CN106951898B (zh) 一种车辆候选区域推荐方法及系统、电子设备
CN109508731A (zh) 一种基于融合特征的车辆重识别方法、系统及装置
CN105426868A (zh) 一种基于自适应感兴趣区域的车道检测方法
CN102194102A (zh) 对交通标志进行分类的方法和装置
Bi et al. A new method of target detection based on autonomous radar and camera data fusion
Janda et al. Road boundary detection for run-off road prevention based on the fusion of video and radar
US9160986B2 (en) Device for monitoring surroundings of a vehicle
Cai et al. Measurement of vehicle queue length based on video processing in intelligent traffic signal control system
CN108830179A (zh) 融合彩色图像边缘和深度方向直方图的行人检测算法
CN113609942B (zh) 一种基于多目多光谱融合的道路智能监控系统
JP4813304B2 (ja) 車両周辺監視装置
CN110472508A (zh) 基于深度学习和双目视觉的车道线测距方法
CN108304750A (zh) 前方车辆识别方法、装置及车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant