CN111251994B - 车辆周边物件检测方法及车辆周边物件检测系统 - Google Patents

Abstract

一种车辆周边物件检测方法，包含：由影像捕获设备，撷取车辆周边物件影像；通过处理器，决定车辆周边物件影像中的行车区域，并裁切形成辨识窗口；通过处理器，选取辨识窗口中的辨识区域；以及通过处理器，存取内存中的多个物件影像数据，对辨识区域进行比对，辨识出辨识区域为特定物件。借由裁切形成辨识窗口，并选取局部区域进行辨识，大幅减少了辨识的区域，加快了整个辨识的速度，而达到快速、正确辨识的效果，并确保行车安全。

Description

车辆周边物件检测方法及车辆周边物件检测系统

技术领域

本发明涉及汽车驾驶领域，尤其是一种车辆周边物件检测方法及车辆周边物件检测系统。

背景技术

随着车辆在计算机辅助驾驶、或是自动驾驶的发展，辨识行车路况、周边环境以确保行车安全是目前最重要的课题。由于车辆周边可能有摊贩、行人、脚踏车、摩托车等动态的目标，若是辨识错误，很可能无法保持安全距离，而造成伤害。

目前多数的辨识，是通过多个摄影机拍摄，需要先进行画面拼接，再进行辨识。然而，以整个画面来进行辨识，数据量较大，处理时间较慢，整个辨识时间较长，而无法满足变动的需求。

发明内容

有鉴于此，在此提供一种车辆周边物件检测方法，包含：由影像捕获设备，撷取车辆周边物件影像；通过处理器，决定车辆周边物件影像中的行车区域，并裁切形成辨识窗口；通过处理器，选取辨识窗口中辨识区域；以及通过处理器，存取内存中的多个物件影像数据，对辨识区域进行比对，并由辨识区域中辨识出特定物件。

在一些实施例中，车辆周边物件检测方法更包含：通过处理器产生标示信号，并传送至显示器，使在显示器中对应于辨识区域的位置上标注出对应特定物件的图像。

在一些实施例中，车辆周边物件检测方法更包含：通过处理器将车辆周边物件影像或辨识窗口灰阶化成灰阶车辆周边物件影像或灰阶辨识窗口。进一步地，车辆周边物件检测方法更包含：通过处理器对灰阶车辆周边物件影像或灰阶辨识窗口进行伽玛校正，而获得校正灰阶车辆周边物件影像或校正灰阶辨识窗口。

在一些实施例中，特定物件为动态物件。进一步地，在一些实施例中，当处理器辨识出特定物件为二轮车时，选取辨识区域中的上方区域进行圆形比对，以辨识二轮车上的骑士是否具有一安全帽。

在一些实施例中，车辆周边物件检测方法更包含：通过处理器，以方向梯度直方图的图像处理方法辨识辨识区域。

在一些实施例中，行车区域是以车辆周边物件影像中路面与天空临界的水平线为中心线，并上下垂直延伸出高度。

在此还提供一种车辆周边物件检测系统，车辆周边物件检测系统安装于车辆上，并包含影像捕获设备、内存及处理器。影像捕获设备撷取车辆周边物件影像。内存储存多个物件影像数据。处理器电性连接影像捕获设备，并与内存通讯连接，接收车辆周边物件影像，并执行下列步骤：决定车辆周边物件影像的行车区域，并裁切形成辨识窗口；选取辨识窗口中辨识区域；以及存取内存中的物件影像数据，对等辨识区域进行比对，辨识出辨识区域为特定物件。

在一些实施例中，车辆周边物件检测系统更包含显示器。显示器电性连接处理器，处理器由辨识区域中辨识出特定物件时输出标示信号，显示器接收标示信号，并在相对于辨识区域的位置上显示出对应特定物件的图像。

综上所述，通过裁切车辆周边物件影像及仅选取部分的区域来进行辨识，能够加快处理器辨识相关物件的速度，以快速地分别出物件，进而能达到快速、正确辨识的效果，并确保行车安全。

以下在实施方式中详细叙述本发明的详细特征及优点，其内容足以使任何熟习相关技艺者了解本发明的技术内容并据以实施，且根据本说明书所揭露的内容、申请专利范围及图式，任何熟习相关技艺者可轻易地理解本发明相关的目的及优点。

附图说明

图1为车辆周边物件检测系统的示意图。

图2为车辆周边物件检测方法的流程图。

图3至图6为对应图2中的画面选取的示意图。

图7为图2中步骤S40的细部流程图。

图8为图7中步骤S420的细部流程图。

图9、图10(a)、图10(b)、图11(a)及图11(b)为方向梯度直方图的图像处理方法的示意图。

其中附图标记为：

1车辆周边物件检测系统10影像捕获设备

20内存30处理器

40显示器100车辆

500车用控制总线A辨识区域

A1上方区域F0车辆周边物件影像

F1辨识窗口L水平线

T高度

S1车辆周边物件检测方法

S10撷取车辆周边物件影像

S20决定车辆周边物件影像中的行车区域，并裁切形成辨识窗口

S30选取辨识窗口中辨识区域

S40存取内存中的物件影像数据，对辨识区域进行比对，并由辨识区域中辨识出特定物件

S400物件分类

S401二轮车

S402行人

S403其他

S410正背面/侧面

S411正/背面

S412侧面

S420圆形比对

S430设定特定物件并追踪

S50在显示器中对应于辨识区域的位置上标注出对应特定物件的图像

S61灰阶化处理

S63伽玛校正处理

具体实施方式

图1为车辆周边物件检测系统的示意图。图2为车辆周边物件检测方法的流程图。图3至图6为图2的步骤S30的示意图。如图1所示，车辆周边物件检测系统1是安装于车辆100上。车辆周边物件检测系统1包含影像捕获设备10、内存20及处理器30。影像捕获设备10可为摄影机。内存20可包括任何适合的挥发性或非挥发性计算机可读取储存媒体(volatileor non-volatile computer readable storage media)，例如：一随机储存内存(randomaccess memory；RAM)、一只读存储器(read-only memory；ROM)、一通用串行总线(Universal Serial Bus；USB)碟、一硬盘、一光盘(Compact Disk；CD)、一随身碟或本发明所属技术领域中具有通常知识者所知且具有相同功能的任何其他储存媒体或电路。处理器30可为中央处理单元(Central Processing Unit；CPU)、微处理器、控制组件、其他可执行指令的硬件组件或本发明所属技术领域中具有通常知识者所知的其他计算装置中的任一者。

处理器30电性连接影像捕获设备10以及车辆100的车用控制总线500，并与内存20通讯连接。在此，举例说明，内存20可以是硬盘，并储存一数据库、然并不限于此，内存20也可以是云端硬盘，通过网络通讯装置与处理器30通讯连接，并可进行数据存取。

如图2所示，车辆周边物件检测方法S1包含步骤S10、步骤S20、步骤S30及步骤S40。同时参见图1、图2及图3，在步骤S10中，影像捕获设备10撷取车辆周边物件影像F0。在步骤S20中，同时参阅图1、图2、图4及图5，处理器30接收来自影像捕获设备10的车辆周边物件影像F0，并决定车辆周边物件影像F0中的行车区域，并裁切形成辨识窗口F1。在此，如图4及图5所示，更详细地，行车区域是以车辆周边物件影像F0中路面与天空临界的水平线L为中心线，并上下垂直延伸出高度T的区域。在此，仅为示例，而非用以限制，决定行车区域的目的是要减少影像辨识的范围，以利加快影像辨识的速度。行车区域可以依据用户的设定而调整。

如图1、图2及图6所示，在步骤S30，处理器30选取辨识窗口F1中辨识区域A，辨识区域A存在一特定物件。更详细地，辨识区域A的选取，是依据所欲辨识的特定物件是否为一动态物件。更详细地，处理器30可以存取车辆100的车用控制总线500的车速，并计算出特定物件与车辆100的相对速度，而判定是否为动态物件。接着在步骤S40中，处理器30存取内存20中的多个物件影像数据，对辨识区域A进行比对，辨识出辨识区域A存在一特定物件，例如，行人、动物、二轮车等。在此，辨识窗口F1可以包含一个或多个辨识区域A，在此，以两个辨识区域A为例说明，并非限制于此。

值得一提的是，在步骤S20及步骤S30中，辨识窗口F1的范围可微缩或放大。例如，可以借由影像金字塔(image pyramid)技术来达到辨识窗口F1的范围可微缩或放大的效果。

图7为图2中步骤S40的细部流程图，图8为图7中步骤S420的示意图。图9、图10(a)、图10(b)、图11(a)及图11(b)为方向梯度直方图的图像处理方法的示意图。如图7所示，步骤S40可以包含步骤S400、步骤S401、步骤S402、步骤S403、步骤S410、步骤S411、步骤S412、步骤S420及步骤S430。

步骤S400中，处理器30针对辨识区域A中存在的特定物件进行辨识，同时参照图9至图11(b)，在此实施方式中，处理器30是通过方向梯度直方图(Histogram of OrientedGradients；HOG)的图像处理方法进行辨别辨识区域A中是否存在一特定物件。更具体地，如图9所示，通过将图像分成多个小区域(Cell)，每个小区域可以为8画素(pixel)*8画素。图10(a)以数值表示梯度强度(灰阶值)，10(b)以数值表示相对应的梯度角度，针对每一个画素，进行相乘计算而获得梯度向量值，再将该些梯度向量值在0-180度之间，以20度为一区间，分成九个向量来描述，如图11(a)以向量箭头的方式来表示各小区域的梯度向量。然而，这仅为示例，而不限于此。

再者，更可以借由正规化、归一化或是通过加权方式，使得梯度向量更为明显，有效地突显出连续的小区域的主要边缘向量特征。借此，可以使辨识区域A中的特定物件的轮廓能从背景中更准确地被分离出来，不仅提高检测率，更能增加检测的准确度。在描述或定义物件的轮廓后，将辨识区域A的梯度向量与内存20所储存的多个物件影像数据的梯度向量进行比对，从而辨识出辨识区域A中的特定物件为二轮车(步骤S401)、行人(步骤S402)、或其他(步骤S403)。

在一实施例中，提出一种正规化的计算方式。首先，将四个小区域(Cell)，即16pixel*16pixel，视为一个区块(Block)，先对梯度向量进行计算。接着以此区块为中心，以九宫格方式，同时计算周边八个区块，共三十二个小区域(Cell)的梯度向量。

首先，由方程式1计算一个小区域(Cell)的梯度向量值。

方程式1：

其中x-1与x1分别代表x方向上，小区域(Cell)的灰阶值，而y-1与y1分别代表y方向上，小区域(Cell)的灰阶值。Mo代表角度的强度信息，在一实施例中，有M0～M8，共九个角度的强度信息表示于小区域(Cell)内。当邻近灰阶Pixel值相减时，可以得到x方向或y方向的边缘梯度，再利用欧基里德距离公式(Euclidean distance formula)，计算出斜边的长度，如此一来便可以得到角度的强度信息。

接着，可以将角度的强度信息加总，在一实施例中，是将9个区块里的36个Cell的强度信息加总，如方程式2所示，再依据方程式3计算，如此，能突显各区块中较为明显的梯度向量。

方程式2：

其中Msum系指角度的强度信息的总合、Mi系指个别的角度的强度信息。

方程式3：

其中Bi系指小区域(Cell)角度强度分量。

最后，如方程式4、5所示，先计算出经过正规化后所凸显出的x值(y值以同样的方式计算出)，再依据方程式5进行正规化，如此，能突显各个小区域中较为明显的梯度向量，而获得如图11(b)以向量箭头表示的正规化的梯度向量。

方程式4：

方程式5：

其中H(x,y)为正规化后的梯度向量，H(xi,y)为正规化前的梯度向量。

通过这样的方式，可以在正规化各个小区域的梯度向量时，从周围邻近的区块知道哪些向量是主要的、或是连续性的边缘，然后再针对这些较为突出或是重要的边缘向量计算正规化，而能使得主要的梯度向量，或是连续性的梯度向量，能更为突显，进而能够将物件的轮廓从辨识区域A的背景中凸显出，而易于比对及分辩。然而，以上正规化的方式仅为示例，而非用以限制。

若是进入步骤S402判定为行人时，或步骤S403判定为其他，例如，辨识出特定物件为猫、狗等动态物件时，可以理解的是，由于这些动态物件的速度较慢，就可直接进入步骤S430，处理器30判定特定物件并追踪，以维持安全距离来避免碰撞，若是物件已远离行车区域则可不再追踪。

若是进入步骤S401，处理器30存取内存20中的多个物件影像数据，并进入步骤S410判断二轮车是正面/背面，或是侧面。判定为正/背面时(步骤S411)时，设定特定物件为正/背面的二轮车，而判定为侧面时(步骤S412)时，设定特定物件为侧面的二轮车，并都进入步骤S420。

同时参阅图8，在步骤S420中，当处理器30辨识出特定物件为二轮车时，选取辨识区域A中的上方区域A1进行圆形比对，用以辨识二轮车上的骑士是否具有安全帽，或者用以辨识二轮车上的骑士的头部。在此，圆形比对可以是通过霍夫变换(Hough Transform)算法检测圆形影像，来检测是否有圆形物件存在。然而，此仅为示例，而不限于此。对于二轮车骑士，主要是有时影像场景较复杂或是安全帽颜色与背过相似，无法从安全帽检测区域，单纯以轮廓的判别可能会造成误判，而无法分辨机车、或是脚踏车。借由圆形比对，可以清楚地分别。

进一步地，再次参阅图2，为了避免时影像场景较复杂、或是背景颜色的干扰。车辆周边物件检测方法S1，更包含步骤S61。在步骤S61中，处理器30可以将车辆周边物件影像F0或辨识窗口F1灰阶化成灰阶车辆周边物件影像或灰阶辨识窗口。换言之，可以在步骤S10之后进行、也可以在步骤S20后进行灰阶化处理。在此，将车辆周边物件影像F0或辨识窗口F1进行灰阶处理，仅通过灰阶数来进行HOG的运算，更可以加快运算的速度。

更进一步地，再次参阅图2，在步骤S61后，更可以执行步骤S63。在步骤S63中，通过处理器30对灰阶车辆周边物件影像或灰阶辨识窗口进行伽玛(Gamma，γ)校正，而获得校正灰阶车辆周边物件影像或校正灰阶辨识窗口。通过伽玛校正，可以减少光线太强或是太弱造成的影响，减少光线的变化所造成的差异。借此，可以使得进行HOG演算的判别速度加快。

请再次参阅图1、图3-6及图8，车辆周边物件检测系统1还更包含显示器40。显示器40提供一种向用户显示数据的机制，可为一计算机屏幕。显示器40电性连接处理器30，当处理器30由辨识区域A辨识出特定物件时，输出标示信号，显示器40接收标示信号后，进入步骤S50，在显示器40相对于辨识区域A的位置上显示出对应特定物件的图像。对于不同的物件，更可以标示出不同的图像，这有助于辅助自动驾驶模式时，驾驶人更能清楚地理解车辆周边的环境。

更进一步地，处理器30所判定的结果，还可以通过车用网络、或是车内的手机，发送至云端(图式中未示出)。在云端更可以对于辨识的结果进行再次的判定，进一步可以由云端通过车用网络、或是车内的手机更新处理器30辨识的算法，而逐步达成更精确的运算，以及更快速的辨识时间。

在图2中所述的车辆周边物件检测方法S1为一种实施方式，可由包含多个指令的一计算机程序产品实现。各计算机程序产品可为能被于网络上传输的档案，亦可被储存于一非瞬时计算机可读取储存媒体(non-transitory computer readable storage medium)中。针对各计算机程序产品，在其所包含的该等指令被加载一电子计算装置(例如：在图1中所述的车辆周边物件检测系统1)之后，该计算机程序执行如在图2中所述的车辆周边物件检测方法S1。非瞬时计算机可读取储存媒体可为一电子产品，例如：一只读存储器(readonly memory；ROM)、一闪存、一软盘、一硬盘、一光盘(compact disk；CD)、一随身碟、一磁带、一可由网络存取的记录组件或本发明所属技术领域中具有通常知识者所知且具有相同功能的任何其他储存媒体。

综上所述，车辆周边物件检测方法主要是通过对车辆周边物件影像先进行裁切，以形成辨识窗口，再搭配选取局部辨识区域，通过图像处理算法进行判读。借此能对于不同大小的范围进行检测，从而大幅降低运算的数据量，大幅提升了运算、辨识的速度，更符合自动车、或是辅助自动驾驶的模式使用。

虽然本发明的技术内容已经以较佳实施例揭露如上，然其并非用以限定本发明，任何熟习此技艺者，在不脱离本发明的精神所作些许的更动与润饰，皆应涵盖于本发明的范畴内，因此本发明的保护范围当视后附的申请专利范围所界定者为准。

Claims (10)

1.一种车辆周边物件检测方法，其特征在于，包含：

由一影像捕获设备，撷取一车辆周边物件影像；

通过一处理器，决定该车辆周边物件影像中的一行车区域，并裁切形成一辨识窗口；

通过该处理器，将该辨识窗口灰阶化成一灰阶辨识窗口；

通过该处理器，对该灰阶辨识窗口进行伽玛校正，而获得一校正灰阶辨识窗口；

通过该处理器，选取该校正灰阶辨识窗口中的一辨识区域；

通过该处理器，借由影像金字塔(image pyramid)技术来调整该辨识窗口；以及

通过该处理器，存取一内存中的多个物件影像数据，以一方向梯度直方图的图像处理方法对该辨识区域进行比对，并通过正规化、归一化或是通过加权方式，使得该辨识区域中连续的小区域的主要边缘向量特征更加突出，而由该辨识区域中辨识出一特定物件。

2.如权利要求1所述的车辆周边物件检测方法，其特征在于，更包含：通过该处理器，产生一标示信号，并传送至一显示器，使在该显示器中对应于该辨识区域的位置上标注出对应该特定物件的一图像。

3.如权利要求1所述的车辆周边物件检测方法，其特征在于，该特定物件为一动态物件。

4.如权利要求3所述的车辆周边物件检测方法，其特征在于，更包含：当该处理器辨识出该特定物件为一二轮车时，选取该辨识区域中的一上方区域进行一圆形比对，以辨识该二轮车上的一骑士是否具有安全帽。

5.如权利要求1所述的车辆周边物件检测方法，其特征在于，该行车区域是以该车辆周边物件影像中路面与天空临界的一水平线为中心线，并上下垂直延伸出一高度。

6.一种车辆周边物件检测系统，安装于一车辆上，其特征在于，包含：

一影像捕获设备，撷取一车辆周边物件影像；

一内存，储存多个物件影像数据；以及

一处理器，电性连接该影像捕获设备，并与该内存通讯连接，并接收该车辆周边物件影像，并执行下列步骤：

决定该车辆周边物件影像的一行车区域，并裁切形成一辨识窗口；

将该辨识窗口灰阶化成一灰阶辨识窗口；

对该灰阶辨识窗口进行伽玛校正，而获得一校正灰阶辨识窗口；

选取该校正灰阶辨识窗口中的一辨识区域；

借由影像金字塔(image pyramid)技术来调整该辨识窗口；以及

存取该内存中的多个物件影像数据，以一方向梯度直方图的图像处理方法对该辨识区域进行比对，并通过正规化、归一化或是通过加权方式，使得该辨识区域中连续的小区域的主要边缘向量特征更加突出，而由该辨识区域中辨识出一特定物件。

7.如权利要求6所述的车辆周边物件检测系统，其特征在于，更包含：一显示器，该显示器电性连接该处理器，该处理器在辨识出该特定物件时，输出一标示信号，且该显示器在接收该标示信号时，在相对于该辨识区域的位置上显示出对应该特定物件的一图像。

8.如权利要求6所述的车辆周边物件检测系统，其特征在于，该特定物件为一动态物件。

9.如权利要求8所述的车辆周边物件检测系统，其特征在于，当该处理器辨识出一二轮车时，选取该辨识区域中的一上方区域进行一圆形比对，以辨识该二轮车上的一骑士是否具有安全帽。

10.如权利要求6所述的车辆周边物件检测系统，其特征在于，该行车区域是以该车辆周边物件影像中路面与天空临界的一水平线为中心线，并上下垂直延伸出一高度。

Images