CN105730336B - 倒车辅助装置及车辆 - Google Patents
倒车辅助装置及车辆 Download PDFInfo
- Publication number
- CN105730336B CN105730336B CN201410758897.4A CN201410758897A CN105730336B CN 105730336 B CN105730336 B CN 105730336B CN 201410758897 A CN201410758897 A CN 201410758897A CN 105730336 B CN105730336 B CN 105730336B
- Authority
- CN
- China
- Prior art keywords
- target
- display
- reverse aid
- display pattern
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种倒车辅助装置,包括:摄像头,所述摄像头获取车辆后部的原始图像;模式接收模块,所述模式接收模块用于接收驾驶员选择的显示模式;视频处理模块,所述视频处理模块用于根据所述驾驶员选择的显示模式对所述原始图像进行处理并生成显示图像;以及显示模块,所述显示模块用于显示所述显示图像。根据本发明实施例的倒车辅助装置可以有效提高车辆在倒车时的安全性。本发明还公开了一种车辆。
Description
技术领域
本发明涉及汽车技术领域,特别涉及一种倒车辅助装置及车辆。
背景技术
随着汽车的不断增多,因倒车产生的擦碰等事故也不断增多,特别是在拥挤的停车场和十字路口处,由于后视镜存在很大盲区,驾驶员很难掌握倒车路线上的实时状况,为解决视觉盲区的问题,目前汽车也普通安装倒车摄像头,但是仍有其清晰度低、视角小存在盲区、图像变形影响判断、功能单一等缺陷,容易造成刮擦事故。因此,清晰不失真并且无盲区的将倒车路线上的实时情况呈现给使用者并且预测倒车轨迹,可以帮助使用者避免刮擦碰撞事故、节约倒车时间。
目前倒车安全辅助系统主要有两种:倒车雷达和倒车影像,他们可以一定程度上提高倒车的安全性,但仍有很大的局限性。倒车雷达的最大探测距离仅为2m左右,低矮的障碍物无法探测,并且使用者无法直观的判断障碍物相对于车的距离和位置;普通的倒车影像,一般采用VGA摄像头,图像像素小,清晰度差,镜头视角小存在盲区,并且在晚上或逆光状态下图像质量极差,无法满足使用要求。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此,本发明的一个目的在于提出一种倒车辅助装置,该倒车辅助装置可以有效提高车辆在倒车时的安全性。
本发明的另一个目的在于提出一种车辆。
为了实现上述目的,本发明的第一方面的实施例公开了一种倒车辅助装置,包括:摄像头,所述摄像头获取车辆后部的原始图像;模式接收模块,所述模式接收模块用于接收驾驶员选择的显示模式;视频处理模块,所述视频处理模块用于根据所述驾驶员选择的显示模式对所述原始图像进行处理并生成显示图像;以及显示模块,所述显示模块用于显示所述显示图像。
根据本发明实施例的倒车辅助装置,通过对原始图像进行例如畸变矫正等为使用者提供高清图像显示,并可以根据使用者需求,通过多种显示模式显示,消除使用者的视觉盲区,避免发生事故,节约倒车时间,为倒车提供安全保障,提升使用体验。
本发明第二方面的实施例公开了一种车辆,包括上述第一方面实施例所述的倒车辅助装置。该车辆可以有效提高车辆在倒车时的安全性。
附图说明
图1是根据本发明一个实施例的倒车辅助装置的结构框图;
图2A是根据本发明一个实施例的倒车辅助装置的进行镜头阴影校正前的图像;
图2B是根据本发明一个实施例的倒车辅助装置的进行镜头阴影校正后的图像;
图3是根据本发明一个实施例的倒车辅助装置的鱼眼摄像头的成像效果示意图;
图4是根据本发明一个实施例的倒车辅助装置的鱼眼摄像头的成像模型示意图;
图5是根据本发明一个实施例的倒车辅助装置的鱼眼摄像头的畸变校正的流程图;
图6是根据本发明一个实施例的倒车辅助装置的实际成像和俯视成像效果图;
图7是根据本发明一个实施例的倒车辅助装置的透视变换示意图;
图8是根据本发明一个实施例的倒车辅助装置的俯视和画中画示意图;以及
图9是根据本发明一个实施例的倒车辅助装置的静态倒车线示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
以下结合附图描述根据本发明实施例的倒车辅助装置及车辆。
图1是根据本发明一个实施例的倒车辅助装置的结构框图。如图1所示,根据本发明一个实施例的倒车辅助装置100,包括:摄像头110、模式接收模块120、视频处理模块130和显示模块140。
其中,摄像头110用于获取车辆后部的原始图像。模式接收模块120用于接收驾驶员选择的显示模式。视频处理模块130用于根据驾驶员选择的显示模式对原始图像进行处理并生成显示图像。显示模块140用于显示显示图像。
根据本发明实施例的倒车辅助装置,能够为倒车提供安全保障,提升使用体验。
具体地说,摄像头110可设置在车身尾部,对车辆倒车路线上的情况进行拍摄,在本发明的一个实施例中,摄像头110的有效分辨率为1280*720,帧率为30帧/秒,摄像头110的安装位置根据拍摄的图像的情况调节到合适的位置。摄像头110采用斜向下倾斜安装的方式,这样可以较好地得到车辆倒车路线上的实时状况,具体的安装角度可以根据不同的车型和车身大小而有所不同。安装角度选择的目的是为了能够消除盲区。
在本发明的一个实施例中,显示模式包括但不限于:原始图像显示模式(OriginalMode)、畸变校正显示模式(LDC mode)、畸变校正及俯视显示模式(LDC+TOPVIEW Mode)、畸变校正及动态倒车线显示模式(LDC+PGL Mode)、水平两分割显示模式(Two SectionMode)、垂直两分割显示模式(H-Two Section Mode)和三分割显示模式(Three SectionMode)中的一种或多种。视频处理模块130可以通过畸变校正、图像缩放、透视变换和图像叠加等图像处理算法实现上述的显示模式。
在本发明的一个实施例中,视频处理模块130采用ISP芯片实现,通过上述的图像处理算法可提高图像质量,并实现各种显示模式。例如:通过坏点校正DPC(Dead pixelcorrection)处理、黑电平补充BLC(Black Level Compensation Digital Clamp)处理、镜头阴影校正LSC(Lens Shading Correction)处理和色彩插值CI(Color InterPolation,Demosaicing)处理中的一种或多种实现图像质量的提高和多种显示模式的实现。还可通过LDC(Lens Distortion Correction)处理来校正原始图像,消除图像畸变。
在本发明的一个实施例中,摄像头110为鱼眼摄像头。通常摄像头的焦距越小,图像中心像素和边缘像素的亮度差异越大。本发明的实施例使用190°鱼眼摄像头,拍摄的原始图像的中心部分像素与边缘像素的亮度差异较大,通过LSC(镜头阴影校正),使整幅图像亮度均匀。镜头阴影是由于镜头透光性不一致造成成像平面曝光不一致的现象,具体表现为得到的图像中间亮四周暗。在获取原始图像后进行LSC(镜头阴影校正)使整幅图像亮度均匀化,以提高图像质量,如图2A和图2B所示,其中,图2A为校正前的图像,图2B为校正后的图像。
进一步地,当显示模式为畸变校正显示模式、畸变校正及俯视显示模式或畸变校正及动态倒车线显示模式时,视频处理模块通过以下步骤生成显示图像:
1、确定原始图像中的有效区域。具体包括:计算每条扫描线上每个像素点的亮度,并获取扫描线上的最大亮度和最小亮度,并计算扫描线对应的极限亮度差;当极限亮度差大于预设阈值,则判断扫描线为有效区域的边缘;根据确定的有效区域的边缘确定有效区域。其中,例如通过以下公式计算像素点的亮度:I=0.59*r+0.11*g+0.3b,其中r,g,b分别是像素点的红、绿、蓝分量。
2、根据鱼眼摄像头的成像模型建立校正模型,并根据校正模型对有效区域进行校正。在本发明的一个实施例中,可通过向量机的训练方式对成像模型进行训练以生成校正模型。
具体而言:
在鱼眼摄像头采集的原始图像进行畸变校正之前,首先确定原始图像的有效区域,有效区域需要集中全部景物信息。本发明的实施例使用基于亮度差的鱼眼图像有效区域提取算法。位图中某一行(列)中像素的最大亮度与最小亮度之差,成为该行(列)的极限亮度差。原始图像的圆形有效区域(如图3所示)集中了全部的景物信息,该区域的像素点亮度值远远大于有效区域外像素点的亮度,因此有效区域内的极限亮度差比有效区域外的极限亮度差要大的多。从图像的四周开始向中心扫描,预先设定一个阈值T,当扫描线上的极限亮度差大于该阈值时,就可以认为该扫描线已经扫描到鱼眼图像圆形有效区域的边缘。计算每一条扫描线上各点的亮度,确定最大亮度Imax和最小亮度Imin,则该扫描线的极限亮度差Ilim=Imax-Imin,当Ilim>T,则认为该扫描线为原始图像有效区域的边缘。按照这种方法分别求出有效区域的上下左右边缘线:top,bottom,left,right。进而获得原始图像的中心坐标和半径参数:
获取原始图像有效区域后,对其进行畸变校正。首先根据鱼眼摄像头的成像模型(如图4所示)建立校正模型。鱼眼摄像头的畸变可分为径向畸变和切向畸变,一般鱼眼摄像头的切向畸变可以忽略,只需对其径向畸变进行标定和校正。由于鱼眼摄像头的畸变只考虑径向畸变,所以特性函数只与距该对称中心的距离有关。因此,本发明的实施例将二维的变换问题化为一维问题进行处理。设(xc,yc)和(xd,yd)分别是畸变图像中心和畸变图像上的某一点的坐标,对应校正图像上的点坐标(xu,yu)。则点(xd,yd)到畸变中心(xc,yc)的径向距离为:其畸变函数为:rd=ru*T(ru)式中:T(r)=1+k1r2+k2r4+k3r6+…,其中,ru是理想图像点的矢径坐标,rd是对应畸变图像点的矢径坐标。由于鱼眼摄像头的大畸变,给传统的标定方式带来不便,为了更有效地处理鱼眼镜头参数标定问题,本发明的实施例采用支持向量机(SVM)构建新的成像模型,具体地:
将SVM应用于函数拟合问题,首先考虑用线性回归函数f(x)=ω*x+b,拟合数据
{xi,yi}=1,…,n,xi∈Rd,yi∈R的问题,并假设所有训练数据都可以在精度ε下无误差地用
线性函数拟合,即:引入松弛因子∈i≥0和则条件
变成:优化目标变成最小化常数C>0,控制对超出误差的样本的惩罚程度,在条件0≤αi,i=1,…,n下,对Lagrange因子αi,最大化目标函数:
可得回归函数:
根据标定模型,建立实际空间点的径向距离与鱼眼畸变图像中相应点径向距离的对应关系。将物理空间像点的径向距离作为SVM的输入,相应的鱼眼畸变图像中像点的径向距离作为SVM的输出,对SVM进行训练。经过多组样本的训练,基于训练好的SVM模型,将校正后图像像素的径向距离转换为畸变图像中的径向距离,从而建立校正后图像与畸变图像对应像素的坐标映射关系表。然后通过查表法可以实现实时的校正,其流程如图5所示。
在本发明的一个实施例中,摄像头110为鱼眼摄像头,当显示模式为畸变校正及俯视显示模式时,还包括:
1、视频处理模块对原始图像进行透视变换以生成俯视图。
2、所述显示模块显示校正后的视图,并以画中画模式显示俯视图。
具体地,通过透视变换为使用者提供俯视画面(Top View Mode),提高倒车的便利性。同时,通过将倒车影像缩小后,以画中画的方式将缩小的全局影像叠加在叠加俯视图像上,在使用者使用俯视模式时仍可以观察到倒车的全局影像,提高便利性的同时避免擦碰。
倒车摄像头安装位置为斜向下而要产生俯视效果需要摄像头垂直向下安装如图6,因此原始图像需要进行透视变换如图7所示,生成俯视图像。一个二维平面图像经过透视变换,成为另一个平面图像,这个过程可以由下式定义:
其中(u,v)是原始图像坐标系中的像素坐标,(x,y)是变换图像坐标系中相应的像素坐标。a,b,c,d,e,f,g和h是变换系数。对于给定的变换点,上述变换可以转换成如下矩阵形:
因此,给定4个点及相应的变换空间的点,就可以得到8个线性方程,只要其中的所有的任意三个点都不在一条直线上,就可以解出8个变换参数。从而得到透视变换前后的变换关系,即可实现对图像的透视变换获取俯视图像,如图8所示。
在本发明的一个实施例中,还包括:静态倒车线调整模块(图中没有示出),用于根据用户指令对静态倒车线进行调整。进一步地,还包括:动态倒车线生成模块(图中没有示出),用于根据车辆的控制参数生成动态倒车线并预测车辆的未来运行轨迹。此外,还包括:提醒模块(图中没有示出),提醒模块根据静态倒车线和动态倒车线生成目标区域,当目标区域中有移动物体时,提醒模块进行提醒,其中,目标区域为静态倒车线和动态倒车线的重合区域。
具体来说,本发明的实施例为使用者同时提供静态倒车线和动态倒车线的指示功能,提高倒车便利性。其中,静态倒车线如图9,可以使用多种不同的颜色标示倒车线的距离提高倒车安全性,并且使用者可以根据实际情况自由调整设置。使用者可以通过调整图9中的PL_HL_TOP、PL_HR_TOP、PL_LN_WIDTH、PL_LN_SPACE、PL_HL_BTM、PL_HR_BTM、PL_V_TOP、PL_V1、PL_V2、PL_V3、PL_V_BTM的大小使静态倒车线满足使用者的使用习惯,相对于无法调整的静态倒车线,大大提高适用性和体验效果。
在此基础上,还提供有动态倒车线,实时显示预测的倒车轨迹。通过车辆的CAN网络例如获取:获取方向盘转角信号等车辆参数,根据方向盘转角预测倒车轨迹并实时显示在图像中,使用可以根据倒车轨迹快速调整方向盘。
其中,可自动标定静态倒车线,为使用者提供自动标定静态倒车线的方法,为了适应不同宽度的倒车线,及在摄像头位置发生变化时重新调整静态倒车线,本发明提供自动标定静态倒车线的方法,用户仅仅需要将车辆停放在车库前,通过系统操作按键,点击开始自动标定,系统自动识别车库线并自动调整静态车道线,整个过程仅需10秒左右。
障碍物提醒(例如语音提示),结合动态倒车线和静态倒车线实时预测车辆轨迹,根据静态倒车线和动态倒车线选取ROI(有潜在发生碰撞的区域),通过图像识别计算ROI中是否有移动物体,如有系统在图像中标出其位置,并进行语音提示,避免倒车过程中的事故。为此,本发明的实施例的提醒模块通过以下步骤判断目标区域中是否有移动物体:
1、检测运动目标,并对运动目标进行区域分割以生成至少一个分割目标。即使用基于自适应混合高斯模型(MOG)的背景差方法进行运动目标自动检测。MOG使用一个或多个高斯分布估计像素值的分布,通过对分布的参数的更新实现像素值变化的估计。MOG对每个像素点构造背景模型:其中K是高斯分布的数目;It是t时刻的像素值,是高斯分布,μi,t和∑i,t是第i个高斯分布的均值和协方差;ωi,t是估计的权值,它反映该高斯分布出现的比例。背景模型是从K个高斯分布中选取符合条件的一个或多个分布。前景点的检测是通过比较It与背景模型中的高斯分布的均值μi,t,如果都偏离比较远,该点就是前景点,否则是背景点。若是背景点就把相应的高斯分布的权值、均值、方差均作更新。
2、对分割目标进行追踪,并判断运动目标是否在目标区域中。具体包括:确定分割目标的候选区域;判断分割目标的数量及分割目标是否被遮挡;如果分割目标为一个,且未被遮挡,则以分割目标对应的候选区域进行追踪;如果分割目标为多个,且被遮挡,则提取目标模板和多个候选区域的边缘,计算目标模板中的边缘点与多个候选区域中边缘点之间的Hausdroff距离,以及将与目标模板之间Hausdroff距离最小的候选区域作为目标候选区域,并以目标候选区域进行追踪。
具体而言,由运动目标检测部分可以得到一副包含前景点和背景点的二值图像。为了消除孤立的噪声点,这里使用形态学的开运算和闭运算。连通域的标示使用两遍搜索的方法,得到连通区域后再进行:
1、“空洞”的填充,填充运动目标内的空洞,出现“空洞”的原因主要是噪声、目标的灰度与背景相近时;
2、面积滤波,目标的大小可以由先验知识估计得到,可以把面积太大的区域滤波;
3、区域分割,区域分割是为了把运动到一起的两个目标分割成各自独立的区域,以便后面的匹配,可是此处的分割只处理当两个目标相互遮挡但联通部分很狭窄的情况。分割点通过对区域外接矩形内的水平方向、垂直方向、对角线方向四个方向上每一个垂直点的前景点的统计来确定。区域分割的依据是区域面积足够大,而且在分割点的前景点很少。为了避免分割出无效的区域,分割点限制在区域的中部。
目标跟踪:
遮挡是运动目标跟踪中经常遇到的问题,必须加以考虑。遮挡包含目标之间的遮挡和目标与场景静止物体的遮挡。目标之间的遮挡主要由于目标相互重叠导致在目标提取过程中得到的是一个联通区域。解决目标之间的相互遮挡的主要方法是区域的分割,分割操作在区域提取和区域处理部分中完成。如果目标是部分遮挡,那么目标的区域特征(面积、长宽比等)都会发生变化,还需要他们边缘的部分Hausdoff距离来判断区域是否是目标的当前状态。本部分主要包括以下两方面内容。
1、目标跟踪,跟踪可以分为两个独立的问题:运动问题和匹配问题,运动问题是预测目标在下一帧图像中的位置,匹配问题是当前时刻检测到的变化区域与目标的关心。本发明使用扩展卡尔曼滤波方法处理运动问题,并通过分析目标和区域的信息变换程度选用不通过的特征信息来完成目标和区域的匹配。
目标的位置使用未接的矩形框的重心来标示,那么目标在下一帧的预测位置:
p′=p+v×Δt,
其中,p是目标的位置,p′是预测的位置,Δt是时间间隔,v是速度,每一时刻的速度修正为:v=v×(1-α)+vnew×α,其中vnew是由最新两个位置的差估计的速度,α是预先设定好的参量,α∈[0,1]。由于检测的不完全精确性和目标运动的复杂想,预测的位置与实际的位置可能存在一定偏差,因此每一个目标都有一定的搜索范围。目标的候选区域就是在搜索范围内的区域,搜索范围的设置考虑目标的形状、速度和平均误差。
得到目标的初始候选区域集,接下来就是从候选区域集中选取最佳的候选区域作为目标的当前状态,并以此区域更新目标灰度模板及计算其他参数,从而完成跟踪。首先从候选区域的数目分为单候选区域和多候选区域。在但候选区域中,如果目标和候选区域之间的区域特征变化很微小,此时的跟踪为单目标无遮挡的跟踪;如果目标和候选区域之间的区域特征变化激烈,那么就把他归为多目标或有遮挡的跟踪。多候选区域均为多目标或有遮挡的跟踪。这里使用的区域特征是面积和长宽比,面积是目标模板以及候选区域内的前景点数目,长宽比是目标模板和内接候选区域的矩形框的长宽比。下面是各种情况的处理:
单目标无遮挡的跟踪,此种情况的候选区域就是目标在当前的状态,目标就以该区域作为更新,更新的内容包括:目标模板,目标的位置,重新计算目标的速度、长宽比,预测一下时刻的位置以及搜索的范围,置信度等。
多目标或有遮挡的跟踪,这种情况的目标有一个或多个候选区域,它们不仅能从区域特征中作出区分,需要额外的特征,这里使用边缘信息。处理的步骤:首先采用Canny算子提取目标模板和候选区域的边缘。其次把目标模板和候选区域的边缘点当做两个点集,再计算两个点集的部分Hausdorff距离。然后判断部分Hausdorff距离是否大于预设的阈值,如果大于阈值就删除候选区域,否则保留。最后根据所有候选区域中部分Hausdorff距离最小的区域作为目标的当前状态,由此完成更新。
无匹配的处理,这里的无匹配指没有找到合适区域的目标和不被选择的区域。对于没有找到合适区域的目标按原有的速度继续向前预测,直到运动出图像或者置信度下降到某个阈值。不被选择的区域就生成新的目标进入目标队列。
Hausdorff距离,Hausdorff距离是描述两个点集之间的最大最小距离,它不需要建立点与点之间的对应关系,只需要计算它们之间的最大距离。给定两个有限的点集A和B,则A(a1,……,ap)和B(b1,……,bp)的Hausdorff距离定义为:
H(A,B)=max(h(A,B),h(B,A)),
其中,h(A,B)=amaxbmin||a-b||,||.||是某种距离范数,h(A,B)是A到B的有向Hausdorff距离,它是点集A中每一个点到点集B的最下距离的最大值,即定义A中的一个点a到B的每一个元素的距离的最小值d(a,B),那么A中所有元素的最小距离的最大值为h(A,B)=amaxd(a,B)。Hausdorff距离是度量两个点集之间的最不匹配点的距离,因此即使在两个点集非常相似时,如果存在一个点相差很大,那么Hausdorff距离也就很大。点集A和B的部分Hausdorff距离定义为:
HLK(A,B)=max(hL(A,B),hK(B,A)),
其中,L,K分别是A,B子集的长度,且
分别成为A到B的有向部分Hausdorff距离和B到A的有向部分Hausdorff距离。由于这里使用的是目标的边缘点集和区域的边缘点集,距离范数使用L2,以此每一个d(a,B)或d(b,A),他们的值范围为:(N为整数)。并且只要目标和候选区域的边缘点的部分Hausdorff距离在阈值范围外就删除,以此对于任意大于阈值的d(a,B)或d(b,A),不管大多少都是一样的。为此设计一个列表1,它对应所有可能的距离值,并且计算过程中统计每一个值出现的频率。那么hK(B,A)就是列表的第i个元素对应的值,其中i满足下式:
同理可以计算hL(A,B)。
根据本发明实施例的倒车辅助装置,通过对原始图像进行畸变矫正为使用者提供高清图像显示,并可以根据使用者需求,通过多种显示模式显示,并且可以动态显示倒车轨迹,消除使用者的视觉盲区,避免发生事故,节约倒车时间,为倒车提供安全保障,提升使用体验。
进一步地,本发明实施例公开了一种车辆,包括:上述任意一个实施例所述的倒车辅助装置。该车辆可以有效提高车辆在倒车时的安全性。
另外,根据本发明实施例的车辆的其它构成以及作用对于本领域的普通技术人员而言都是已知的,为了减少冗余,不做赘述。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (13)
1.一种倒车辅助装置,其特征在于,包括:
摄像头,所述摄像头获取车辆后部的原始图像;
模式接收模块,所述模式接收模块用于接收驾驶员选择的显示模式;
视频处理模块,所述视频处理模块用于根据所述驾驶员选择的显示模式对所述原始图像进行处理并生成显示图像;以及
显示模块,所述显示模块用于显示所述显示图像;
提醒模块,用于检测运动目标,并对所述运动目标进行区域分割以生成至少一个分割目标;以及对所述分割目标进行追踪,并判断所述运动目标是否在目标区域中,其中,所述目标区域为静态倒车线和动态倒车线的重合区域。
2.根据权利要求1所述的倒车辅助装置,其特征在于,所述显示模式包括原始图像显示模式、畸变校正显示模式、畸变校正及俯视显示模式、畸变校正及动态倒车线显示模式、水平两分割显示模式、垂直两分割显示模式和三分割显示模式中的一种或多种。
3.根据权利要求1所述的倒车辅助装置,其特征在于,所述视频处理模块还用于对所述原始图像进行预处理以生成第一校正图像,其中,所述预处理包括镜头阴影校正LSC处理、坏点校正DPC处理、黑电平补充BLC处理和色彩插值CL处理中的一种或多种。
4.根据权利要求1所述的倒车辅助装置,其特征在于,所述摄像头为鱼眼摄像头,当所述显示模式为畸变校正显示模式、畸变校正及俯视显示模式或畸变校正及动态倒车线显示模式时,所述视频处理模块通过以下步骤生成所述显示图像:
确定所述原始图像中的有效区域;
根据所述鱼眼摄像头的成像模型建立校正模型,并根据所述校正模型对所述有效区域进行校正。
5.根据权利要求4所述的倒车辅助装置,其特征在于,所述确定所述原始图像中的有效区域具体包括:
计算每条扫描线上每个像素点的亮度,并获取所述扫描线上的最大亮度和最小亮度,并计算所述扫描线对应的极限亮度差;
当所述极限亮度差大于预设阈值,则判断所述扫描线为所述有效区域的边缘;
根据确定的所述有效区域的边缘确定所述有效区域。
6.根据权利要求5所述的倒车辅助装置,其特征在于,通过以下公式计算像素点的亮度:
I=0.59*r+0.11*g+0.3b,其中r,g,b分别是像素点的红、绿、蓝分量。
7.根据权利要求4所述的倒车辅助装置,其特征在于,通过向量机的训练方式对成像模型进行训练以生成所述校正模型。
8.根据权利要求4所述的倒车辅助装置,其特征在于,所述摄像头为鱼眼摄像头,当所述显示模式为畸变校正及俯视显示模式时,还包括:
所述视频处理模块对所述原始图像进行透视变换以生成俯视图;以及
所述显示模块显示校正后的视图,并以画中画模式显示所述俯视图。
9.根据权利要求1所述的倒车辅助装置,其特征在于,还包括:
静态倒车线调整模块,用于根据用户指令对静态倒车线进行调整。
10.根据权利要求1所述的倒车辅助装置,其特征在于,还包括:
动态倒车线生成模块,用于根据所述车辆的控制参数生成动态倒车线并预测所述车辆的未来运行轨迹。
11.根据权利要求10所述的倒车辅助装置,其特征在于,
所述提醒模块根据静态倒车线和动态倒车线生成目标区域,当所述目标区域中有移动物体时,所述提醒模块进行提醒。
12.根据权利要求1所述的倒车辅助装置,其特征在于,所述对分割目标进行追踪具体包括:
确定所述分割目标的候选区域;
判断所述分割目标的数量及所述分割目标是否被遮挡;
如果所述分割目标为一个,且未被遮挡,则以所述分割目标对应的候选区域进行追踪;
如果所述分割目标为多个,且被遮挡,则提取目标模板和多个候选区域的边缘,计算所述目标模板中的边缘点与所述多个候选区域中边缘点之间的Hausdroff距离,以及将与所述目标模板之间Hausdroff距离最小的候选区域作为目标候选区域,并以所述目标候选区域进行追踪。
13.一种车辆,其特征在于,包括:如权利要求1-12任一项所述的倒车辅助装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410758897.4A CN105730336B (zh) | 2014-12-10 | 2014-12-10 | 倒车辅助装置及车辆 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410758897.4A CN105730336B (zh) | 2014-12-10 | 2014-12-10 | 倒车辅助装置及车辆 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105730336A CN105730336A (zh) | 2016-07-06 |
CN105730336B true CN105730336B (zh) | 2018-12-21 |
Family
ID=56238997
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410758897.4A Active CN105730336B (zh) | 2014-12-10 | 2014-12-10 | 倒车辅助装置及车辆 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105730336B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106713740B (zh) * | 2016-10-18 | 2019-12-17 | 广州视源电子科技股份有限公司 | 定位跟踪摄像方法与系统 |
CN108491816A (zh) * | 2018-03-30 | 2018-09-04 | 百度在线网络技术(北京)有限公司 | 在视频中进行目标跟踪的方法和装置 |
JP7047549B2 (ja) * | 2018-04-03 | 2022-04-05 | 株式会社アイシン | 画像処理装置 |
CN109035295B (zh) * | 2018-06-25 | 2021-01-12 | 广州杰赛科技股份有限公司 | 多目标跟踪方法、装置、计算机设备和存储介质 |
CN111047633B (zh) * | 2018-10-12 | 2023-08-18 | 深圳富联富桂精密工业有限公司 | 单目测距装置 |
CN111055766B (zh) * | 2018-10-17 | 2023-04-07 | 安波福电子(苏州)有限公司 | 用于汽车后视显示的系统、控制器和方法 |
CN109543609B (zh) * | 2018-11-22 | 2022-04-12 | 四川长虹电器股份有限公司 | 检测倒车距离的方法 |
CN111791801B (zh) * | 2019-04-04 | 2023-09-26 | 中科创达(重庆)汽车科技有限公司 | 实时校准动态倒车辅助线显示位置的方法、装置及电子设备 |
CN113120080B (zh) * | 2021-04-12 | 2023-03-31 | 沈阳中科创达软件有限公司 | 倒车辅助线的建立方法、装置、终端及存储介质 |
CN115601738B (zh) * | 2022-09-23 | 2023-08-04 | 北京精英路通科技有限公司 | 停车信息获取方法、装置、设备、存储介质及程序产品 |
CN115623217B (zh) * | 2022-11-30 | 2023-03-21 | 泉州艾奇科技有限公司 | 一种图像预处理方法、装置及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102745138A (zh) * | 2012-07-23 | 2012-10-24 | 北京智华驭新汽车电子技术开发有限公司 | 一种双视场动态轨迹倒车影像系统 |
CN202907063U (zh) * | 2012-08-30 | 2013-04-24 | 浙江吉利汽车研究院有限公司杭州分公司 | 一种自动控制倒车影像摄像头装置 |
CN202935253U (zh) * | 2012-11-13 | 2013-05-15 | 北京汽车股份有限公司 | 一种后视影像系统及车辆 |
CN103927762A (zh) * | 2013-01-11 | 2014-07-16 | 浙江大华技术股份有限公司 | 一种目标车辆自动跟踪方法及装置 |
CN104167002A (zh) * | 2014-08-28 | 2014-11-26 | 中国矿业大学 | 鱼眼图像的有效区域提取方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2184208A4 (en) * | 2007-07-31 | 2012-11-21 | Toyota Jidoshokki Kk | PARKING AID DEVICE, VEHICLE SIDE DEVICE FOR PARKING AID DEVICE, PARKING AID METHOD, AND PARKING ASSIST PROGRAM |
US8564502B2 (en) * | 2009-04-02 | 2013-10-22 | GM Global Technology Operations LLC | Distortion and perspective correction of vector projection display |
-
2014
- 2014-12-10 CN CN201410758897.4A patent/CN105730336B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102745138A (zh) * | 2012-07-23 | 2012-10-24 | 北京智华驭新汽车电子技术开发有限公司 | 一种双视场动态轨迹倒车影像系统 |
CN202907063U (zh) * | 2012-08-30 | 2013-04-24 | 浙江吉利汽车研究院有限公司杭州分公司 | 一种自动控制倒车影像摄像头装置 |
CN202935253U (zh) * | 2012-11-13 | 2013-05-15 | 北京汽车股份有限公司 | 一种后视影像系统及车辆 |
CN103927762A (zh) * | 2013-01-11 | 2014-07-16 | 浙江大华技术股份有限公司 | 一种目标车辆自动跟踪方法及装置 |
CN104167002A (zh) * | 2014-08-28 | 2014-11-26 | 中国矿业大学 | 鱼眼图像的有效区域提取方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105730336A (zh) | 2016-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105730336B (zh) | 倒车辅助装置及车辆 | |
CN107750364B (zh) | 使用稳定的坐标系的道路垂直轮廓检测 | |
JP4942509B2 (ja) | 車両位置検出方法及び装置 | |
EP3438777B1 (en) | Method, apparatus and computer program for a vehicle | |
US8385595B2 (en) | Motion detection method, apparatus and system | |
US8289391B2 (en) | Apparatus for vehicle surroundings monitoring | |
US8259174B2 (en) | Camera auto-calibration by horizon estimation | |
CN102450005B (zh) | 校正目标检测装置、检测校正目标的校正目标检测方法 | |
US20150227800A1 (en) | Marking line detection system and marking line detection method | |
EP2924653A1 (en) | Image processing apparatus and image processing method | |
CN109410264B (zh) | 一种基于激光点云与图像融合的前方车辆距离测量方法 | |
US20170352131A1 (en) | Spatio-temporal differential synthesis ofdetail images for high dynamic range imaging | |
KR20160072190A (ko) | 사발형 영상 시스템 | |
US20140085473A1 (en) | In-vehicle camera apparatus | |
CN103871070A (zh) | 车载全景成像系统的自动标定方法 | |
US20130202155A1 (en) | Low-cost lane marker detection | |
KR101840974B1 (ko) | 자율주행용 차선 식별 시스템 | |
JP2013066166A (ja) | 撮像装置、並びに、これを用いる画像解析装置及び移動装置 | |
EP2124194A1 (en) | Method of detecting objects | |
JP2016196233A (ja) | 車両用道路標識認識装置 | |
US9615050B2 (en) | Topology preserving intensity binning on reduced resolution grid of adaptive weighted cells | |
CN104537627A (zh) | 一种深度图像的后处理方法 | |
CN102713511A (zh) | 车辆用距离计算装置 | |
KR100920918B1 (ko) | Cb물체감지 알고리즘을 이용한 물체추적시스템 및 그 시스템을 사용한 물체추적방법 | |
CN106340031A (zh) | 一种检测运动物体的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |