CN107038711A - 适应演化式车灯号志侦测追踪与辨识系统及方法 - Google Patents

Abstract

本发明揭露一种适应演化式车灯号志侦测追踪与辨识系统及方法。适应演化式车灯号志侦测追踪与辨识系统包含影像撷取装置与处理器。影像撷取装置用于撷取车辆的影像。处理器用于处理车辆的影像，以产生一车灯侦测结果，基于车灯侦测结果，分析并整合一车灯动态运动信息与一车灯多重尺度变异信息，进而应用多重尺度空间车灯量测模型，以追踪车辆的车灯的位置。借此，正确稳健的持续更新车灯特征追踪状态。

Description

适应演化式车灯号志侦测追踪与辨识系统及方法

技术领域

本发明是关于一种追踪与辨识技术，特别是关于适应演化式车灯号志侦测追踪与辨识系统及方法。

背景技术

随着科技的发展，车辆辅助安全驾驶的议题，也就变得越来越重要。虽然目前已有许多追踪车灯技术，但现有技术无法因应车速变化，较难处理复杂运动的车辆及车灯，追踪可靠度较差。

综上所述，如何能有效解决上述问题，实属当前重要研发课题之一，亦成为当前相关领域亟需改进的目标。

发明内容

本发明的一方面提出一种适应演化式车灯号志侦测追踪与辨识系统，其包含影像撷取装置与处理器。影像撷取装置用于撷取车辆的影像。处理器用于处理车辆的影像，以产生一车灯侦测结果，基于车灯侦测结果，分析并整合一车灯动态运动信息与一车灯多重尺度变异信息，进而应用多重尺度空间车灯量测模型，以追踪车辆的车灯的位置。

于一实施例中，车灯动态运动信息包含车灯中心位置、车灯移动速度与移动角度，处理器基于车灯中心位置、车灯移动速度与移动角度，计算一车灯预测移动中心。

于一实施例中，车灯多重尺度变异信息包含前一刻车灯样本的变异矩阵，处理器根据变异矩阵与车灯移动速度，进行一演化样本的适应性取样区间范围的估算，从而于适应性取样区间范围中进行取样。

于一实施例中，处理器模拟前一刻车灯样本于多重尺度空间的特征，与当下取样车灯样本于多重尺度空间的特征做比对，以计算权重式特征差异并透过核函数估计相似权重，进而依据相似权重与当下取样车灯样本，以计算车辆的车灯的位置。

于一实施例中，处理器在计算车辆的车灯的位置以后，更新演化样本的变异矩阵。

于一实施例中，前一刻车灯样本于多重尺度空间的特征与当下取样车灯样本于多重尺度空间的特征之间的差异包含中心位置差距、平均亮度差异、平均色彩差异、灯面积差异与三维色彩直方图差异中的至少一者。

于一实施例中，适应演化式车灯号志侦测追踪与辨识系统还包含警示装置。警示装置电性耦接处理器，当处理器判定车辆的车灯的位置落入警戒范围时，令警示装置执行警示动作。

于一实施例中，处理器依据车辆的纵向车距以及影像撷取装置与车辆之间的相对角度，计算权重式特征总差异并透过核函数估计相似度，进而将相似度乘以车灯色彩原始预设阀值，得出车灯色彩动态更新阀值。

于一实施例中，处理器基于影像中的车辆中心与地平线之间的差距，定义纵向车距。

于一实施例中，适应演化式车灯号志侦测追踪与辨识系统还包含警示装置。警示装置电性耦接处理器，当处理器透过车辆的影像，判定车辆的第三煞车灯的色彩参数超出车灯色彩动态更新阀值时，令警示装置执行警示动作。

本发明的另一方面提出一种适应演化式车灯号志侦测追踪与辨识方法，其包含以下步骤：(a)透过一影像撷取装置以撷取一车辆的一影像；(b)利用一处理器去处理车辆的影像，以产生一车灯侦测结果；(c)利用处理器以基于车灯侦测结果，分析并整合一车灯动态运动信息与一车灯多重尺度变异信息，进而应用多重尺度空间车灯量测模型，以追踪车辆的车灯的位置。

于一实施例中，车灯动态运动信息包含车灯中心位置、车灯移动速度与移动角度，步骤(c)包含：基于车灯中心位置、车灯移动速度与移动角度，计算一车灯预测移动中心。

于一实施例中，车灯多重尺度变异信息包含前一刻车灯样本的变异矩阵，步骤(c)还包含：根据变异矩阵与车灯移动速度，进行一演化样本的适应性取样区间范围的估算，从而于适应性取样区间范围中进行取样。

于一实施例中，步骤(c)还包含：模拟前一刻车灯样本于多重尺度空间的特征，与当下取样车灯样本于多重尺度空间的特征做比对，以计算权重式特征差异并透过核函数估计相似权重，进而依据相似权重与当下取样车灯样本，以计算车辆的车灯的位置。

于一实施例中，步骤(c)还包含：在计算车辆的车灯的位置以后，更新演化样本的变异矩阵。

于一实施例中，前一刻车灯样本于多重尺度空间的特征与当下取样车灯样本于多重尺度空间的特征之间的差异包含中心位置差距、平均亮度差异、平均色彩差异、灯面积差异与三维色彩直方图差异中的至少一者。

于一实施例中，适应演化式车灯号志侦测追踪与辨识方法还包含：当处理器判定车辆的车灯的位置落入一警戒范围时，令警示装置执行警示动作。

于一实施例中，适应演化式车灯号志侦测追踪与辨识方法还包含：利用处理器以依据车辆的纵向车距以及影像撷取装置与车辆之间的相对角度，计算权重式特征总差异并透过核函数估计相似度，进而将相似度乘以车灯色彩原始预设阀值，得出车灯色彩动态更新阀值。

于一实施例中，处理器基于影像中的车辆中心与地平线之间的差距，定义纵向车距。

于一实施例中，适应演化式车灯号志侦测追踪与辨识方法还包含：当处理器透过车辆的影像，判定车辆的第三煞车灯的色彩参数超出车灯色彩动态更新阀值时，令警示装置执行警示动作。

通过本发明所揭露的技术，分析并整合车灯动态运动信息以及车灯多重尺度变异信息，改善演化式计算的预测阶段与样本演化效率，并应用多重尺度空间车灯量测模型，以滤除杂讯，及正确稳健的持续更新车灯特征追踪状态。

以下将以实施方式对上述的说明作详细的描述，并对本发明的技术方案提供进一步的解释。

附图说明

为了让本发明的上述和其他目的、特征、优点与实施例更明显易懂，所附附图的说明如下：

图1为根据本发明一实施例中，一种适应演化式车灯号志侦测追踪与辨识系统的方块图；

图2为根据本发明一实施例中，一种适应演化式车灯号志侦测追踪与辨识方法的流程图；

图3为根据本发明一实施例中，一种适应性取样区间范围的示意图；以及

图4为根据本发明一实施例中，一种多重尺度空间特征的示意图。

具体实施方式

为了使本发明的叙述更加详尽与完备，可参照所附的附图及以下所述各种实施例，附图中相同的号码代表相同或相似的元件。另一方面，众所周知的元件与步骤并未描述于实施例中，以避免对本发明造成不必要的限制。

请参照图1。图1为根据本发明一实施例中，一种适应演化式车灯号志侦测追踪与辨识系统100的方块图。适应演化式车灯号志侦测追踪与辨识系统100可架设或安装于车辆上，用来侦测及追踪前车，并且侦测前车的车灯(如：方向灯与煞车灯)，来分析前车的行车状况，帮助驾驶人避免危险的发生。

如图1所示，适应演化式车灯号志侦测追踪与辨识系统100包含影像撷取装置110、处理器120、储存装置130与警示装置140。处理器120电性耦接影像撷取装置110、储存装置130与警示装置140。在硬件架构上，影像撷取装置110可为摄影装置，处理器120可为微控制器或中央处理单元，储存装置130可为硬盘或快闪记忆体，警示装置140可实作成显示器或扬声器。

当驾驶人在开车时，影像撷取装置用于撷取前车的影像。处理器120处理前车的影像，以产生一车灯侦测结果；接着，处理器120基于车灯侦测结果，分析并整合车灯动态运动信息与车灯多重尺度变异信息，改善演化式计算的预测阶段与样本演化效率，进而应用多重尺度空间车灯量测模型，以滤除杂讯，正确稳健的持续更新车灯特征追踪状态，从而追踪前车的车灯的位置。另一方面，储存装置130可储存前车的影像、演化样本…等相关数据。

当处理器120判定前车的车灯的位置落入警戒范围时，代表驾驶人的车辆离前车太近，因此，处理器120令警示装置140执行警示动作，借以提醒驾驶人提高警觉，以免不慎撞到前车。举例而言，若警示装置140为扬声器，扬声器可播放警示音效；若警示装置140为显示器，显示器可呈现警示文字或警示图符。

为了对适应演化式车灯号志侦测追踪与辨识系统100做更进一步的阐述，请参照图2。图2为根据本发明一实施例中，一种适应演化式车灯号志侦测追踪与辨识方法200的流程图。如图2所示，适应演化式车灯号志侦测追踪与辨识方法200包含步骤S201～S209(应了解到，在本实施例中所提及的步骤，除特别叙明其顺序者外，均可依实际需要调整其前后顺序，甚至可同时或部分同时执行)。

实作上，适应演化式车灯号志侦测追踪与辨识方法200可由适应演化式车灯号志侦测追踪与辨识系统100实现。以下将搭配图1、图2来说明本发明的适应性预测的演化式多重尺度车灯特征追踪。

为了在车辆行进中持续对前车的车灯持续追踪，于步骤S201，处理器120判断是否为初始取样。若储存装置130中没有前一刻车灯样本，则代表为初始取样，于步骤S204，处理器120均匀式分布产生演化样本。然后，步骤S205，处理器120于各尺度空间随机取样。

反之，若储存装置130中有留存前一刻车灯样本，则代表不为初始取样。接着，于步骤S202，处理器120可基于车灯动态运动信息，计算一车灯预测移动中心。

于一实施例中，车灯动态运动信息包含车灯中心位置(x_k＝[x_x y_y]^T)、车灯移动速度(v_k＝[v_x v_y]^T)与移动角度(θ)，车灯预测移动中心是满足下列关系式：

其中TS为取样时间，代表于第k时刻的车灯预测移动中心的位置。

于步骤S203，处理器120计算适应性取样区间范围，产生演化样本。于一实施例中，演化样本为一演化式计算样本，是满足下列关系式：

其中为样本，为样本的演化权重值。

承上，处理器120定义演化样本的车灯动态模型，其是满足下列关系式：

其中w_k为高斯杂讯。

于一实施例中，车灯多重尺度变异信息包含前一刻车灯样本的变异矩阵，其是满足下列关系式：

其中代表于第k-1时刻的车灯追踪结果座标。

于步骤203中，处理器120根据变异矩阵与车灯移动速度，进行演化样本的适应性取样区间范围的估算。于一实施例中，适应性取样区间范围是满足下列公式：

其中α_x、α_y为程度参数，程序设计者可自行设定。

接着，于步骤S205，处理器120基于上述适应性取样区间范围，于各尺度空间随机取样。于一实施例中，处理器120使用上述步骤203的与的公式进行样本于空间中取样，其是满足下列关系式：

为了步骤S203、S205做进一步说明，请参照图3。首先，处理器120取得前一刻车灯位置及变异量范围接着根据多重尺度样本变异量(C_k-1)与车灯动态移动量(vT_S)，估算此刻(即，第k时刻)车灯位置的演化样本的适应性取样区间范围然后，处理器120可透过粒子过滤法(particlefilter)，适应性取样区间范围中随机取样。具体而言，处理器120透过适应性取样区间范围中随机分布的粒子300撷取特征范围，借以进行取样。

综合以上步骤S203、S205，本发明使用可根据车灯移动范围，改变预测演化样本产生的机制。相较于固定式的预测范围，本发明的演化式适应性预测取样区间，可提升车灯特征追踪预测的正确性。

接下来，进行重要性取样，请同时参照图2、图4，以上述粒子过滤法为例，相较于粒子402～404，粒子401所撷取特征范围涵盖较多车灯400的颜色区域，因此，透过粒子401取样的重要性较高。于步骤206，处理器120进行多重尺度空间样本特征比对，如图4所示的透过粒子401取样的多重尺度空间特征Level 1、Level 2、Level 3。然后，于步骤207，处理器120进行多重尺度样本特征比对与核函数权重计算。

具体而言，在步骤206、207中，处理器120模拟前一刻车灯样本于多重尺度空间的一个或多个特征，与当下取样车灯样本于多重尺度空间的相应特征做比对。接着，处理器120依据前一刻特征与当下取样特征之间的差异，计算权重式特征差异并透过核函数估计相似权重。

于一实施例中，当下取样于第m尺度空间的特征与前一刻之间差异可包含中心位置差距平均亮度差异平均色彩差异灯面积差异与三维色彩直方图差异但不以此为限。

权重式特征差异是满足下列关系式：

E^m＝α₁e_d+α₂e_B+α₃e_{r_avg}+α₄e_area+α₅e_C3D，

其中α₁～α₅为程度参数，程序设计者可自行设定。

于一实施例中，核函数(估计相似权重)是满足下列关系式：

综合以上步骤S206、S207，本发明整合多尺度空间特征并设计核函数计算权重。先前技术没有多重尺度的车灯特征信息，较无法适应车灯大小及较复杂车辆运动。

接下来，于步骤208，处理器120依据相似权重与上述的当下取样车灯样本，透过均方根误差(RMSE)法则，以计算前车的车灯的位置，前述的计算是满足下列关系式：

其中N_S是样本总数，代表期望值的运算。

于步骤209，在计算车辆的车灯的位置以后，处理器120更新演化样本的变异矩阵，使储存装置130储存更新过的车灯样本，以作为下一刻取样追踪的依据。

除了上述车灯追踪的技术以外，本发明亦提供了第三煞车灯侦测的改良。具体而言，处理器120依据前车的纵向车距(e_{virtical_d})以及影像撷取装置110与前车之间的相对角度(α_Hor)，计算权重式特征总差异(E_all)并透过核函数估计相似度(w)，进而将相似度(w)乘以车灯色彩原始预设阀值(TH_orig)，得出车灯色彩动态更新阀值(TH_new)。

当处理器120透过前车的影像，判定前车的第三煞车灯的色彩参数超出车灯色彩动态更新阀值(TH_new)时，代表前车正在煞车，因此处理器120令警示装置140执行警示动作。

于一实施例中，处理器120基于影像中的车辆中心与地平线之间的差距，定义纵向车距(e_{virtical_d})，其是满足下列关系式：

e_{virtical_d}＝||y_i-y_{sky_line}||，

其中y_i是车辆影像高度，y_{sky_line}是地平线在影像中的高度。

关于y_i与y_{sky_line}的计算方式，可透过已知的或其他开发中的影像处理方式实现，于此不再详述。

于一实施例中，影像撷取装置110与前车之间的相对角度(α_Hor)是满足下列关系式：

其中W为影像中画面宽度，u是车辆(前车)中心座标的横向分量，f是影像撷取装置110的相机焦距。

于一实施例中，权重式特征总差异(E_all)是满足下列关系式：

其中α₁与α₂是个别特征的信心程度参数，可自行设定。

于一实施例中，核函数(估计相似度)是满足下列关系式：

此函数为高斯分布，可反映误差越大则权重越小的0～1之间的权重数。

于一实施例中，阀值动态调整是满足下列关系式：

TH_new＝w×TH_orig，

此代表影像中每个画面(frame)自动调整车灯阀值产生TH_orig。

综合以上，本发明基于不同前车的方位，动态计算合理的色彩/亮度阀值，以减少不同车况的错误侦测。先前技术多使用固定阀值分辨车灯，较难处理位置变化造成的影响。

虽然本发明已以实施方式揭露如上，然其并非用以限定本发明，任何熟悉此技艺者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰，因此本发明的保护范围当视所附的权利要求书所界定的范围为准。

Claims (20)

1.一种适应演化式车灯号志侦测追踪与辨识系统，其特征在于，包含：

一影像撷取装置，用于撷取一车辆的一影像；以及

一处理器，执行以下操作：

处理该车辆的该影像，以产生一车灯侦测结果；以及

基于该车灯侦测结果，分析并整合一车灯动态运动信息与一车灯多重尺度变异信息，进而应用多重尺度空间车灯量测模型，以追踪该车辆的车灯的位置。

2.根据权利要求1所述的适应演化式车灯号志侦测追踪与辨识系统，其特征在于，该车灯动态运动信息包含车灯中心位置、车灯移动速度与移动角度，该处理器基于该车灯中心位置、该车灯移动速度与该移动角度，计算一车灯预测移动中心。

3.根据权利要求2所述的适应演化式车灯号志侦测追踪与辨识系统，其特征在于，该车灯多重尺度变异信息包含前一刻车灯样本的变异矩阵，该处理器根据该变异矩阵与该车灯移动速度，进行一演化样本的适应性取样区间范围的估算，从而于该适应性取样区间范围中进行取样。

4.根据权利要求3所述的适应演化式车灯号志侦测追踪与辨识系统，其特征在于，该处理器模拟该前一刻车灯样本于多重尺度空间的特征，与当下取样车灯样本于多重尺度空间的特征做比对，以计算权重式特征差异并透过核函数估计相似权重，进而依据该相似权重与该当下取样车灯样本，以计算该车辆的该车灯的位置。

5.根据权利要求4所述的适应演化式车灯号志侦测追踪与辨识系统，其特征在于，该处理器在计算该车辆的该车灯的位置以后，更新该演化样本的变异矩阵。

6.根据权利要求4所述的适应演化式车灯号志侦测追踪与辨识系统，其特征在于，该前一刻车灯样本于多重尺度空间的特征与该当下取样车灯样本于多重尺度空间的特征之间的差异包含中心位置差距、平均亮度差异、平均色彩差异、灯面积差异与三维色彩直方图差异中的至少一者。

7.根据权利要求1所述的适应演化式车灯号志侦测追踪与辨识系统，其特征在于，还包含：

一警示装置，电性耦接该处理器，当该处理器判定该车辆的该车灯的位置落入一警戒范围时，令该警示装置执行一警示动作。

8.根据权利要求1所述的适应演化式车灯号志侦测追踪与辨识系统，其特征在于，该处理器依据该车辆的纵向车距以及该影像撷取装置与该车辆之间的相对角度，计算权重式特征总差异并透过核函数估计一相似度，进而将该相似度乘以一车灯色彩原始预设阀值，得出一车灯色彩动态更新阀值。

9.根据权利要求8所述的适应演化式车灯号志侦测追踪与辨识系统，其特征在于，该处理器基于该影像中的车辆中心与地平线之间的差距，定义该纵向车距。

10.根据权利要求8所述的适应演化式车灯号志侦测追踪与辨识系统，其特征在于，还包含：

一警示装置，电性耦接该处理器，当该处理器透过该车辆的该影像，判定该车辆的第三煞车灯的色彩参数超出该车灯色彩动态更新阀值时，令该警示装置执行一警示动作。

11.一种适应演化式车灯号志侦测追踪与辨识方法，其特征在于，包含以下步骤：

(a)透过一影像撷取装置以撷取一车辆的一影像；

(b)利用一处理器去处理该车辆的该影像，以产生一车灯侦测结果；以及

(c)利用该处理器以基于该车灯侦测结果，分析并整合一车灯动态运动信息与一车灯多重尺度变异信息，进而应用多重尺度空间车灯量测模型，以追踪该车辆的车灯的位置。

12.根据权利要求11所述的适应演化式车灯号志侦测追踪与辨识方法，其特征在于，该车灯动态运动信息包含车灯中心位置、车灯移动速度与移动角度，步骤(c)包含：基于该车灯中心位置、该车灯移动速度与该移动角度，计算一车灯预测移动中心。

13.根据权利要求12所述的适应演化式车灯号志侦测追踪与辨识方法，其特征在于，该车灯多重尺度变异信息包含前一刻车灯样本的变异矩阵，步骤(c)还包含：根据该变异矩阵与该车灯移动速度，进行一演化样本的适应性取样区间范围的估算，从而于该适应性取样区间范围中进行取样。

14.根据权利要求13所述的适应演化式车灯号志侦测追踪与辨识方法，其特征在于，步骤(c)还包含：模拟该前一刻车灯样本于多重尺度空间的特征，与当下取样车灯样本于多重尺度空间的特征做比对，以计算权重式特征差异并透过核函数估计相似权重，进而依据该相似权重与该当下取样车灯样本，以计算该车辆的该车灯的位置。

15.根据权利要求14所述的适应演化式车灯号志侦测追踪与辨识方法，其特征在于，步骤(c)还包含：在计算该车辆的该车灯的位置以后，更新该演化样本的变异矩阵。

16.根据权利要求14所述的适应演化式车灯号志侦测追踪与辨识方法，其特征在于，该前一刻车灯样本于多重尺度空间的特征与该当下取样车灯样本于多重尺度空间的特征之间的差异包含中心位置差距、平均亮度差异、平均色彩差异、灯面积差异与三维色彩直方图差异中的至少一者。

17.根据权利要求11所述的适应演化式车灯号志侦测追踪与辨识方法，其特征在于，还包含：

当该处理器判定该车辆的该车灯的位置落入一警戒范围时，令一警示装置执行一警示动作。

18.根据权利要求11所述的适应演化式车灯号志侦测追踪与辨识方法，其特征在于，还包含：

利用该处理器以依据该车辆的纵向车距以及该影像撷取装置与该车辆之间的相对角度，计算权重式特征总差异并透过核函数估计一相似度，进而将该相似度乘以一车灯色彩原始预设阀值，得出一车灯色彩动态更新阀值。

19.根据权利要求18所述的适应演化式车灯号志侦测追踪与辨识方法，其特征在于，该处理器基于该影像中的车辆中心与地平线之间的差距，定义该纵向车距。

20.根据权利要求18所述的适应演化式车灯号志侦测追踪与辨识方法，其特征在于，还包含：

当该处理器透过该车辆的该影像，判定该车辆的第三煞车灯的色彩参数超出该车灯色彩动态更新阀值时，令一警示装置执行一警示动作。