CN110648427B

CN110648427B - 行车辅助系统及行车辅助系统的操作方法

Info

Publication number: CN110648427B
Application number: CN201810668308.1A
Authority: CN
Inventors: 黄慕真; 郭柏辰; 戴雅丽
Original assignee: Shanghai XPT Technology Ltd
Current assignee: Shanghai XPT Technology Ltd
Priority date: 2018-06-26
Filing date: 2018-06-26
Publication date: 2023-05-09
Anticipated expiration: 2038-06-26
Also published as: CN110648427A

Abstract

行车辅助系统包括影像获取装置及处理器。影像获取装置设置于车辆上的固定位置，影像获取装置获取车辆前方的景象以产生一系列的观测图像。在低耗能模式中，处理器辨识该系列的观测图像中的前车及前车上的多个特征，根据多个特征建立参考向量，并当参考向量在该系列的观测图像中的变化量超过预定临界值时，辨识前车的动向。

Description

行车辅助系统及行车辅助系统的操作方法

技术领域

本发明是有关于一种行车辅助系统，尤其是一种能够以低功耗进行路况辨识的行车辅助系统及行车辅助系统的操作方法。

背景技术

一般而言，驾驶员在操控车辆行进时，除了必须随时注意前方的路况，也需要不时地注意后方或侧边的来车，倘若遇上较为复杂的路况，驾驶员更需要全神贯注的观察周遭并及时应对，因此十分耗费精神。然而若是路况较为平顺单调，则驾驶又可能因为感觉疲乏或掉以轻心，结果在突发路况出现时，来不及反应而造成车祸。

现今虽有驾驶辅助系统能够侦测路况，并且适时给予驾驶员警示或协助以提升行车安全，然而随着电动车的兴起，车上的用电量也面临越来越严格的要求。此外，由于车上电子系统的应用越来越广泛，因此倘若全程使用驾驶辅助系统，不仅可能造成电能损耗，同时也可能增加系统负担。

发明内容

本发明的一实施例提供一种行车辅助系统，行车辅助系统包括影像获取装置及处理器。

影像获取装置设置于车辆的固定位置，并获取车辆前方的景象以产生一系列的观测图像。在低耗能模式中，处理器辨识该系列的观测图像中的前车及前车上的多个特征，根据多个特征建立参考向量，并当参考向量在该系列的观测图像中的变化量超过预定临界值时，辨识前车的一动向。多个特征是在前车上与路面有固定位置关系的多个车体外部结构。

本发明的另一实施例提供一种行车辅助系统的操作方法，行车辅助系统包括设置于车辆的影像获取装置及处理器。

操作方法包括在行车辅助系统的低耗能模式中，影像获取装置获取车辆前方的景象以产生一系列的观测图像，处理器辨识该系列的观测图像中的前车及前车上的多个特征，处理器根据多个特征建立参考向量，及当参考向量在该系列的观测图像中的变化量超过预定临界值时，处理器辨识前车的动向。多个特征是在前车上与路面有固定位置关系的多个车体外部结构。

附图说明

图1是本发明一实施例的行车辅助系统的示意图。

图2是图1的影像获取装置所产生的一观测图像。

图3及图4是图1的影像获取装置所产生的一系列的观测图像。

图5是图1的影像获取装置所产生的一观测图像。

图6是图1的行车辅助系统的操作方法流程图。

附图标记：

10：车辆；100：行车辅助系统；110：影像获取装置；120：处理器；IMG1、IMG2、IMG3、IMG4：观测图像；V1：前车；R1：参考向量；θ：方向角度；H1、H2：高度；RV：铅直向量；LA、LB：投影长度；D1：观测方向；200：方法；S210至S270：步骤。

具体实施方式

图1为本发明一实施例的行车辅助系统100的示意图。行车辅助系统100包括影像获取装置110及处理器120。

影像获取装置110设置于车辆10中，并可获取车辆10外部的景象以产生一系列的观测图像，第2图为影像获取装置110所产生的一观测图像IMG1。在本发明的部分实施例中，影像获取装置110可为彩色影像获取装置或黑白影像获取装置，并且可以周期性地获取外部景象以产生观测图像。

处理器120可以在低耗能模式中，从观测图像中辨识出前车V1以及前车V1上的多个特征。这些特征可以是在前车V1上与路面有固定位置关系的车体外部结构。也就是说，处理器120可选择前车V1上位置固定不变的物件作为特征。举例来说，处理器120会在每一张观测图像中辨识出前车V1，并进一步辨识出前车V1上某一侧的两个车门握把以作为两个特征，或是辨识出位于前车V1某的一侧的两个车轮来作为两个特征。

在处理器120辨识出前车V1上的特征的后，处理器120便可根据前车V1上的两个特征建立参考向量R1。也就是说，处理器120在每一张观测图像中都可以辨识出前车V1上的特征，并据以建立对应的参考向量。由于处理器120所辨识出的特征会对应到前车V1上位置固定的物件，因此参考向量R1的变化会与前车V1的方向变化有关。换言之，透过追踪参考向量R1在一系列观测图像中的变化，处理器120就可以据以辨识出前车V1的方向变化。

举例来说，由于影像获取装置110是以固定的角度向车辆10的外部获取影像，因此当利用前车V1的车轮或车门握把作为辨识的特征物时，因为根据同侧车轮或同侧车门握把所建立的参考向量R1会与路面平行，所以实际上根据参考向量R1的方向角度就能够判断前车V1的行进方向。

在图2中，当参考向量R1在观测图像IMG1中的的侦测值超过预定临界值时，例如参考向量R1的方向角度θ超过一临界角度时，表示前车V1的行进方向可能转向车辆10目前的行驶路径上，而会危及车辆10，因此处理器120便可进一步辨识前车V1的动向，甚至还可根据前车V1的动向，向车辆10提出警示、向前车V1提出警示或控制车辆10自动回避前车V1。换言之，处理器120可在侦测到前车V1的行进方向可能对车辆10造成威胁时，才进一步离开低耗能模式，并以较为复杂耗能的运算去辨识前车V1的实际动向，例如其行进的方向和速度等信息。如此一来，处理器120就可以透过单个影像获取装置110所获取的二维画面，利用较为单纯的运算先判断前车V1的行进方向，而无需随时进行复杂的运算，因此能够节省电力损耗，并保留运算资源给其他应用。

在图2的实施例中，车辆10的行驶方向会平行于观测图像IMG1中的铅直向量RV，因此参考向量R1的方向角度θ是以参考向量R1与铅直向量RV之间的角度来作为量测标准。然而，在本发明的其他实施例中，倘若道路上的分道标线足够清晰，处理器120也可以利用参考向量R1与分道标线之间的角度来做为量测标准以判断前车V1的动向。

此外，根据车辆10的行驶速度，可以容许的预定临界值也可能有所差异。举例来说，在慢速行驶时，在前车V1的方向若仅仅略为靠向车辆10的行驶方向，则可能不至于构成威胁。然而在高速行驶时，只要前车V1的方向略为靠向车辆10的行驶方向，就可能造成立即的危险。因此在本发明的部分实施例中，处理器120还可根据车辆10的行驶速度来设定对应的预定临界值，以确保行车辅助系统100能够根据行车的情况而作出及时反应。

图3及图4分别为影像获取装置110所产生的一系列观测图像中的两张观测图像IMG2及IMG3。

在本发明的部分实施例中，由于影像获取装置110所获取到的影像为平面影像，因此当车辆10与前车V1之间的相对方向改变时，例如前车V1转向时，前车V1在观测图像中，在影像获取装置110的观测方向上的投影长度也会随着改变。举例来说，在观测图像IMG2中，前车V1与车辆10的行进方向平行，而在观测图像IMG3中，前车V1则已转向，而不再与车辆10的行进方向平行。在此情况下，参考向量R1在观测图像IMG2中在影像获取装置110的观测方向D1上的投影长度LA会与参考向量R1在观测图像IMG3中在影像获取装置110的观测方向D1上的投影长度LB相异，也即投影长度LA会大于投影长度LB。

在图3及图4的实施例中，由于影像获取装置110的观测方向D1即为观测图像IMG2及IMG3中的铅垂方向(与水平线相垂直的方向)，因此在计算参考向量R1的投影长度LA及LB时，处理器120仅需要计算两个特征在铅垂方向上的长度即可，或者铅锤方向上的坐标差值。如此一来，就能够进一步简化运算的复杂度。

换言之，在本发明的部分实施例中，处理器120也可将参考向量R1在影像获取装置110的观测方向上的投影长度变化作为参考向量R1的侦测值，并与对应地预定临界值相比较。然而本发明并不以此为限，在本发明的其他实施例中，处理器120也可利用其他的方法来取得参考向量R1的侦测值。

此外，由于影像获取装置110可以设置在车辆10的固定位置上，因此其所在的位置、与路面之间的距离和获取影像的角度都为已知条件。也就是说，在设置影像获取装置110时，便可根据影像获取装置110的所在位置，例如位于车头、车顶或后照镜后侧等，及其获取影像的视角，例如仰角、俯角或水平视角，将对应的参数记录在行车辅助系统100中。如此一来，处理器120便能更有效准确地运用影像获取装置110所获取的二维影像，并进一步从二维影像中推算出物体在实际三维实景空间中的分布情况。

举例来说，由于前车V1的特征物件的位置也固定不变，因此根据影像获取装置110所获取的影像便可推算出前车V1与车辆10在三维实景空间中的相对位置。在图3中，由于前车V1的车轮与路面实际上的距离一般为固定已知，因此在处理器120从影像获取装置110所获取得影像中辨识出前车V1的特征物件车轮时，就能够从此二维影像中车轮距离路面的高度H1及H2推算出前车V1与车辆10在实际三维实景空间中的相对位置。也就是说，透过影像获取装置110所获取的二维影像，处理器120还能够推算出前车V1与车辆10在三维实景空间中的相对位置。如此一来，行车辅助系统100就能够提供更完整的路况信息。

然而，处理器120的辨识准确性可能会受到外在环境的影响。为了避免处理器120在环境状况不良的情况下，误判路况而未能及时给予驾驶警示，甚至造成危险，在本发明的部分实施例中，处理器120还可根据观测图像中的至少一环境状况，例如天气状态及环境亮度，来产生信任指数。

图5为影像获取装置110所产生的一观测图像IMG4。在观测图像IMG4中，由于天气状态为浓雾，且环境亮度有限，因此处理器120在辨识前车V1的特征时，可能准确率较低。在此情况下，处理器120所产生的信任指数可能会低于门坎值，此时处理器120便可使行车辅助系统100离开低耗能模式。在此情况下，处理器120就能够以较为复杂精细的演算法来辨识路况，提升行车安全。换言之，处理器120可以在下雨天或路面昏暗的环境下，自动离开低耗能模式，并利用较为复杂的算法来辨识路况，以避免因为误判而造成行车安全的疑虑。

图6为本发明一实施例的行车辅助系统100的操作方法200的流程图。方法200包括步骤S210至S270，但不限于图6所示的顺序。

S210：在行车辅助系统100的低耗能模式中，影像获取装置110获取车辆10外部的景象以产生一系列的观测图像；

S220：处理器120辨识该系列的观测图像中的前车V1及前车V1上的多个特征；

S230：处理器120根据前车V1的多个特征建立参考向量R1；

S240：当参考向量R1的侦测值超过预定临界值时，处理器120辨识前车V1的动向；

S250：处理器120根据前车V1的动向，向车辆10提出警示、向前车V1提出警示或控制车辆10自动回避前车V1；

S260：处理器120根据观测图像中的环境状况产生信任指数；

S270：当信任指数低于门坎值时，行车辅助系统100离开低耗能模式。

在步骤S210中，影像获取装置110可对获取车辆10外部的景象以产生一系列的观测图像，接着在步骤S220中，处理器120便可对观测图像进行影像辨识，并在辨识出前车V1之后，在步骤S230中，根据前车V1上的两个特征参考向量R1。

在本发明的部分实施例中，处理器120可将前车V1的一侧的两个车门握把或位于前车V1的一侧的两个车轮作为两个特征。由于两个特征在前车V1上的相对位置固定不变，因此根据两个特征所建立的参考向量R1会与前车V1的行进方向相关。换言之，通过追踪参考向量R1在一系列的观测图像中的侦测值，就能够得知前车V1的行进方向是否产生变化。在本发明的部分实施例中，参考向量R1的侦测值可例如为参考向量R1的方向角度或参考向量R1在影像获取装置110的观测方向上的投影长度变化量。此外，方法200还可使处理器120根据车辆10的行驶速度来设定预定临界值，以在不同的行车情境中都能给予驾驶员及时的回馈。

在步骤S240中，当参考向量R1的侦测值超过预定临界值时，处理器120辨识前车V1的动向，例如辨识前车V1的车速以及行进方向。接着，在步骤S250中，处理器120就可以根据前车V1的动向向车辆10提出警示、向前车V1提出警示或控制车辆10自动回避前车V1，以提升行车安全。

此外，在步骤S240中，处理器120还可以根据观测图像中的环境状况，例如天气状态及环境亮度，来产生信任指数，并据以辨识行车辅助系统100是否需要离开低耗能模式。也就是说，当环境状况不佳，而可能导致视线不良或造成影像辨识困难时，行车辅助系统100就可以离开低耗能模式，并以较为复杂精细的运算来辨识前车V1的动向，以避免系统误判而造成行车安全的疑虑。

再者，当行车辅助系统100中已纪录了影像获取装置120的所在位置及拍摄角度的参数时，处理器120还可进一步根据前车V1上的特征来计算前车V1与车辆10在三维实景空间中的相对位置。

综上所述，本发明的实施例所提供的行车辅助系统及操作行车辅助系统的方法可以在低耗能模式中，透过辨识前车特征的方式建立参考向量，并根据参考向量辨识前车的行车方向是否发生明显变化以进行更进一步的运算。也就是说，本发明的实施例所提供的行车辅助系统及操作行车辅助系统的方法可以利用较为简单的运算确认前车的动向是否有明显变化，以进一步触发较为精细耗能的运算，因此可以在维护驾驶行车安全的情况下，减少电力损耗及运算资源。

以上所述仅为本发明的较佳实施例，凡根据本发明权利要求所做的均等变化与修饰，都应属本发明的涵盖范围。

Claims

1.一种行车辅助系统，包括：

一影像获取装置，设置于一车辆上的一固定位置，用于获取所述车辆外部的景象以产生一系列的观测图像；及

一处理器，用于在一低耗能模式中，辨识所述系列的观测图像中的一前车及所述前车上的多个特征，根据所述多个特征建立一用于辨识出前车的行进方向的参考向量，及当所述参考向量的一侦测值超过一预定临界值时判断前车可能造成威胁并离开低耗能模式，并以复杂耗能的运算进一步辨识所述前车的一实际动向；

其中所述多个特征是在所述前车上与一路面有固定位置关系的多个车体外部结构。

2.根据权利要求1所述的行车辅助系统，其中，

所述参考向量的所述侦测值是指所述参考向量的方向角度。

3.根据权利要求1所述的行车辅助系统，其中所述参考向量与所述路面平行。

4.根据权利要求1所述的行车辅助系统，其中，

所述参考向量的所述侦测值是指所述参考向量在所述影像获取装置的一观测方向上的一投影长度变化量。

5.根据权利要求1所述的行车辅助系统，其中，

所述前车上的所述多个特征是位于所述前车的一侧的两个车门握把或位于所述前车的一侧的两个车轮。

6.根据权利要求1所述的行车辅助系统，其中所述处理器还用于根据所述前车的所述实际动向，向所述车辆提出警示、向所述前车提出警示或控制所述车辆自动回避所述前车。

7.根据权利要求1所述的行车辅助系统，其中所述处理器还用于：

根据一观测图像中的至少一环境状况产生一信任指数；及

当所述信任指数低于一门坎值时，使所述行车辅助系统离开所述低耗能模式。

8.根据权利要求7所述的行车辅助系统，其中所述至少一环境状况包括天气状态及环境亮度。

9.根据权利要求1所述的行车辅助系统，其中，

所述处理器还用于根据所述车辆的一行驶速度设定所述预定临界值。

10.根据权利要求1所述的行车辅助系统，其中，

所述处理器还用于根据所述多个特征计算所述前车与所述车辆在一三维实景空间中的相对位置。

11.一种行车辅助系统的操作方法，所述行车辅助系统包括设置于一车辆的一影像获取装置及一处理器，所述方法包括：

在所述行车辅助系统的一低耗能模式中，所述影像获取装置获取所述车辆外部的景象以产生一系列的观测图像；

所述处理器辨识所述系列的观测图像中的一前车及所述前车上的多个特征；

所述处理器根据所述多个特征建立一用于辨识出前车的行进方向的参考向量；及

当所述参考向量的一侦测值超过一预定临界值时，所述处理器判断前车可能造成威胁并离开低耗能模式，并以复杂耗能的运算进一步辨识所述前车的一实际动向；

12.根据权利要求11所述的方法，其中，

所述参考向量的所述侦测值是指所述参考向量的方向角度。

13.根据权利要求11所述的方法，其中所述参考向量与所述路面平行。

14.根据权利要求11所述的方法，其中，

15.根据权利要求11所述的方法，其中，

16.根据权利要求11所述的方法，还包括所述处理器根据所述前车的所述实际动向，向所述车辆提出警示、向所述前车提出警示或控制所述车辆自动回避所述前车。

17.根据权利要求11所述的方法，还包括：

所述处理器根据一观测图像中的至少一环境状况产生一信任指数；及

当所述信任指数低于一门坎值时，所述行车辅助系统离开所述低耗能模式。

18.根据权利要求17所述的方法，其中所述至少一环境状况包括天气状态及环境亮度。

19.根据权利要求11所述的方法，还包括所述处理器根据所述车辆的一行驶速度设定所述预定临界值。

20.根据权利要求11所述的方法，还包括所述处理器根据所述多个特征计算所述前车与所述车辆在一三维实景空间中的相对位置。