CN107025429A - 具平行架构的阶层式标的物侦测系统及其方法 - Google Patents

Abstract

本发明公开了一种具平行架构的阶层式标的物侦测系统及其方法，其中，该系统包含至少一影像撷取设备，用于撷取出至少一影像数据，并搜寻影像数据中的多个障碍物位置影像，影像处理装置电性连接影像撷取设备，以接收影像撷取设备传输的障碍物位置影像，再利用平行化架构分类方法从障碍物位置影像中取得至少一标的物影像及其的多个框选范围，同步分离这些框选范围并撷取出每一框选范围的特征值，利用卷积神经网络同时辨识框选范围的特征值，以从标的物影像中找出正确的框选范围输出，以达到实时侦测车外标的物的目的，并使得侦测准确率较高，同时精确取出标的物的框架范围，以避免侦测错误。

Description

具平行架构的阶层式标的物侦测系统及其方法

技术领域

本发明涉及一种车外标的物的侦测系统及其方法，尤其指一种具平行架构的阶层式标的物侦测系统及其方法。

背景技术

由于行车安全技术的提升，越来越多辨别车外障碍物的侦测技术产生，例如行人侦测、障碍物侦测等，以及这些侦测技术可以应用在各种侦测不同环境的侦测装置中，并将其结合至车辆的防撞系统中，使得用户可以在短时间内作出实时的防撞预警。

然而，目前的行人侦测或障碍物侦测技术，例如有使用平行架构的适应性物体分类方法，可以应用在各种复杂道路场景中，有效使用方向梯度算法(Histogram ofOriented Gradient，HOG)及支持向量机(Support Vector Machine，SVM)分类法对车外障碍物的特征作分类，以实时在影像数据中选出障碍物位置影像及其框选范围。但此一适应性物体分类方法在复杂场景中，由于可以作出实时的障碍物分类，但有时在障碍物的框选上仍然容易形成一些误判，例如对障碍物的框选范围有误，使得防撞系统在应用上可能无法立即辨识，或是距离估算错误等情况发生，错误率的发生或许不高，但在行车安全上，仍然会让使用者有所顾虑。

另外，也有现有技术使用卷积神经网络(Convolutional Neural Network，CNN)对车外影像作整张影像特征的撷取，一般CNN的基本架构包含有特征提取层及特征映像层，在特征提取层中，每个神经元的输入与前一层的局部相连并提取局部的特征，一旦局部特征被撷取后，局部特征与其它特征间的位置关系也会跟着确定；另外，在特征映像层中，每个计算层由多个特征映像组成，每一特征映像为一平面，且平面上的所有神经元的权值相等。除此之外，因为神经元共享权值而减少了网络自由参数的个数，卷积神经网络中的每一个卷积层都伴随着一个用来求局部平均与二次提取的计算层，利用此一两次特征提取结构以减小特征的分辨率，藉此将所输入的车外影像特征值作分析，以判断障碍物的正确性。但CNN的卷积层卷积方法在作整个车外影像特征撷取时，因为计算量非常庞大，在作第一层特征提取时，需要耗费一些时间才能取出特征，然后再作第二层的判断，以输出正确的技术特征。

因此，之前用于车外障碍物分析的技术具有框选范围的估算错误，或是在具备精确判断时，需要耗费更长的估算时间，从而无法有效实现“实时”判断，因此本发明提出一种具平行架构的阶层式标的物侦测系统及其方法，以有效克服上述问题。

发明内容

本发明的主要目的在于提供一种具平行架构的阶层式标的物侦测系统及其方法，利用平行化架构方法结合卷积神经网络，利用两阶层的分析，以加速图像处理的效率，使得图像处理的时间大幅减少，因此相对地增加了防撞系统的应变时间，以及使影像判断的错误率降低，彻底降低失误率。

本发明的另一目的在于提供一种具平行架构的阶层式标的物侦测系统及其方法，应用在车辆的防撞系统中，可以使驾驶者在发生碰撞前得到预警，减少车辆追撞事故、迎面撞车事故或路面相关的事故，能够实时又正确的判断，可以完整地保护车辆及其驾驶者与道路上其他用路人的安全。

为了达到上述目的，本发明提供一种具平行架构的阶层式标的物侦测方法，包含下列步骤，先撷取出至少一影像数据，再从影像数据中搜寻出多个障碍物位置影像，利用平行化架构分类方法可以从这些障碍物位置影像中取得至少一标的物影像及标的物影像的多个框选范围，接着同步分离这些框选范围，并撷取出每一框选范围的特征值，最后再利用卷积神经网络，同时辨识出每一框选范围的特征值，并从标的物影像中找出正确的框选范围输出。

为了达到上述目的，本发明亦提供一种具平行架构的阶层式标的物侦测系统，包含至少一影像撷取设备，用于撷取出至少一影像数据，并从影像数据中搜寻出多个障碍物位置影像，及一影像处理装置，电性连接至影像撷取设备，以接收影像撷取设备传输的障碍物位置影像，影像处理装置再从障碍物位置影像中取得至少一标的物影像及标的物影像的多个框选范围，并且同步分离这些框选范围，以撷取出每一框选范围的特征值，影像处理装置再同时辨识出每一框选范围的特征值，以实时从标的物影像中找出正确的框选范围输出。

本发明中利用平滑窗口方法搜寻出影像数据中的障碍物位置影像，并利用影像演算器影像算法以平行化方式框选、计算及分类这些障碍物位置影像的特征数据，以及利用可平行化的分类器从这些障碍物位置影像的特征数据中作分类。

另外，本发明利用卷积神经网络第二层的卷积方法，同步分离出每一框选范围，并撷取出框选范围的特征值，再利用卷积神经网络第二层的类神经网络，对每一框选范围的特征值作辨识。

并且，上述平行化架构分类方法取得标的物影像及标的物影像的框选范围的过程是利用一影像演算器执行，以及一复杂度分类器电性连接影像演算器，再接收影像演算器所传输的数据，并利用一卷积神经网络第二层的卷积方法作后续处理。

下面通过具体实施例详加说明，当更容易了解本发明的目的、技术内容、特点及其所达成的功效。

附图说明

图1为本发明的方块示意图；

图2为本发明的步骤流程图；

图3a为本发明搜寻影像数据的障碍物位置影像的影像示意图；

图3b为本发明找出标的物影像的多个框选范围的影像示意图；

图3c为本发明找出标的物影像的正确框选范围的影像示意图。

附图标记说明：10-侦测系统；12-影像撷取设备；122-影像数据；124-障碍物位置影像；124a、124b-人体影像；124c-车子影像；124d-路灯影像；14-影像处理装置；142-影像演算器；144-复杂度分类器；146-标的物影像；148、148a-框选范围；16-显示器；L-下底线。

具体实施方式

本发明主要可结合在自动紧急刹车系统(Autonomous Emergency Braking，AEB)中，并可以应用在车辆的障碍物侦测的影像系统中，例如自动驾驶系统(AutonomousDriving Assistant System，ADS)或倒车碰撞警示系统(Parking Collision AvoidanceSystem，PCAS)等系统中，并利用本发明提供的具平行架构的阶层式标的物侦测系统及其方法可以降低计算复杂度并同时提升准确率。

首先，如图1所示，一种具平行架构的阶层式标的物侦测系统10包含有至少一影像撷取设备12及一影像处理装置14，影像处理装置14电性连接影像撷取设备12及一显示器16，本实施例中以一个影像撷取设备12为例，且影像撷取设备12为具数字信号处理器(Digital Signal Processor，DSP)的感光耦合元件(Charge Coupled Device，CCD)摄影机，在影像处理装置14中还包含有一影像演算器142及一复杂度分类器144，影像演算器142电性连接复杂度分类器144，影像处理装置14为微电脑车载机，影像演算器142为结合方向梯度直方图(Histogram of Oriented Gradient，HOG)及支持向量机(Support VectorMachine，SVM)分类法的影像演算器，复杂度分类器144为卷积神经网络(ConvolutionalNeural Network)分类器。

承接上段，影像撷取设备12可以从车外环境中撷取至少一影像数据122，本实施例以一个影像数据122为例说明，当影像撷取设备12撷取出影像数据122后，可以从影像数据122中搜寻出多个障碍物位置影像124，再将多个障碍物位置影像124传输至影像处理装置14中，经由影像处理装置14处理这些障碍物位置影像124，通过影像演算器142利用平行化架构分类方法，并从这些障碍物位置影像124中取得至少一标的物影像146以及框选标的物影像146的框选范围，本实施例以一个标的物影像146为例说明。影像演算器142再将标的物影像146以及框选标的物影像146的框选范围传输至复杂度分类器144，复杂度分类器144利用卷积神经网络第二层的卷积方法同步分离这些框选范围以撷取出每一框选范围的特征值后，影像处理装置14中的复杂度分类器144再同时辨识出每一框选范围的特征值，以实时从标的物影像146中找出正确的框选范围，影像处理装置14再将正确的标的物影像146及其正确的框选范围输出到显示器16中显示。

为了更进一步地了解本发明如何以具平行架构的阶层式标的物侦测方法来达到实时侦测的目的，并且可以降低侦测错误率，如图2及图3a～图3c所示，并请同时参照图1。首先，如步骤S10所示，利用影像撷取设备12撷取至少一影像数据122，本实施例以一个影像数据122为例说明，接着进入到下一步骤。如步骤S12所示，影像撷取设备12可以先辨识出影像数据122所在的场景，例如：晴天、雨天或夜晚等，接着依照不同场景的设定判断，从影像数据122中的感兴趣区域(Region Of Interest，ROI)中，搭配平滑窗口(Sliding Window)方法搜寻出多个障碍物位置影像124，例如图3a中的人体影像124a、124b、车子影像124c及路灯影像124d，在本实施例中不限制影像数据122的场景或是感兴趣区域的范围，感兴趣区域的范围主要是在一般车辆所撷取的影像数据122的画面下方及中心位置，可以根据用户需求而调整。如步骤S14所示，影像撷取设备12将取得的这些障碍物位置影像124数据传输至影像处理装置14，其为通过影像演算器142利用一影像算法以平行化方式作框选、计算及分类这些障碍物位置影像124，以及利用一可平行化的分类法，从这些障碍物位置影像124的特征数据中分类出至少一标的物影像146，以及由于再找出标的物影像146后，会在标的物影像146的周围设有框选范围148，以使影像处理装置14得知标的物影像146的实际位置，但由于由影像算法与可平行化的分类法所结合的平行化架构分类方法，容易因为分类标准的设计，使得标的物影像146的周围会产生多个框选范围148。在本实施例中的影像算法为方向梯度直方图，可平行化的分类法为支持向量机分类法，有关标的物影像146的数量可依照使用者需求而作设定，在本实施例先以行人为例说明，由于会找出两个标的物影像146，同时也就是人体影像124a、124b，由于利用影像算法及可平行化的分类法可能会产生出误差，因此在作框选两个标的物影像146时，容易在两个标的物影像146周围产生多个框选范围148，如图3b所示。

接着，如图1、图2及图3a～图3c所示，说明完取得上述所述的标的物影像146及其多个框选范围148后，由于此时影像处理装置14仍然无法有效的掌握标的物影像146最正确的框选范围148，过于纷乱的框选范围会造成辨识的时候产生问题，因此，影像演算器142会再将标的物影像146及其多个框选范围148传输到复杂度分类器144中作运算，并进入下一步骤。如步骤S16所示，复杂度分类器144利用卷积神经网络第二层的卷积方法，将标的物影像146周围的多个框选范围148展开，并同步分离这些多个框选范围148，并同时通过卷积方法撷取出所分离的每一框选范围148的特征值。如步骤S18所示，接着复杂度分类器144再利用卷积神经网络第二层的类神经网络对每一框选范围148的特征值作辨识，例如本实施例中，使用者是设定需辨识出行人，因此会将与人体有关的参数，设定在复杂度分类器144中，以利用卷积神经网络去对卷积方法撷取出的特征值作辨识，在此一步骤中，复杂度分类器144就会对如人体影像124a、124b的两个标的物影像146所分离出的每一周围框选范围148特征作辨识，以框选出最正确的框选范围148a，利用此一框选范围148a有效选取出人体影像124a、124b，并将此一正确的框选范围148a输出，如可以输出到显示器16，并将最正确的标的物影像146及其框选范围148a显示在显示器16画面上，以对使用者作警示。从图3c中，可以清楚得知人体影像124a、124b周围的框选范围148a的下底线L，通过此一下底线L即可清楚计算出使用者所驾驶的车辆与人体影像124a、124b的实际距离为何，还可以产生出有效的防撞预警机制，或是在自动驾驶时可以有效避开行人，以防止估算错误。

本发明提供的具平行架构的阶层式标的物侦测系统及其方法与现有技术相比，比起一般使用卷积神经网络的分类方法，本发明可以节省至少五分之四的辨识时间，现有的卷积神经网络的分类方法需要先通过第一层的简单类神经网络进行分析，以判断出障碍物的正确性，接着再利用第二层的分析再次验证第一层是否正确。但是在利用现有的卷积神经网络的分类方法时，需要先将整张影像特征撷取出来，由于此一计算量相当庞大，所需要耗费的时间也随即增多，而本发明利用平行化架构分类方法取代卷积神经网络的分类方法的第一层分析，可以节省更多的时间。

承接上段，另外，本发明比起仅结合方向梯度直方图及平行化支持向量机的障碍物辨识方法，本发明只使用了此方法的十分之一的处理时间。并且比起此一障碍物辨识方法，本发明更明显在框选范围的精确度上更大幅提升。例如在辨识条件相同严谨下，现有的障碍物辨识方法可能会遗漏框选到如行人的障碍物，造成辨识行人产生严重的误差；或是为了避免遗漏辨识出行人，在辨识条件放宽时，现有的障碍物辨识方法就可能会在框选如行人的障碍物时，会在行人的周围产生过多的框选范围，使得辨识行人时会出现误差，进而可能导致车辆在自动驾驶或是防撞时出现问题，例如无法有效计算出车辆与行人的实际距离，使得车辆使用者或其他用路人的安全产生隐忧。而利用本发明提供的具平行架构的阶层式标的物侦测系统及其方法，不仅可以减少判断的时间，还可以实现精确的判断，以使车辆在作自动驾驶系统或倒车碰撞警示系统时，可以更精确的掌控车辆，以保障车辆使用者及其他用路人的安全。

然而，本发明并不以辨识行人为限制，使用者可以自行决定，需利用卷积神经网络对何种障碍物进行辨识，再利用卷积神经网络对此障碍作参数设定，即可在自动驾驶或防撞系统中设定欲辨识的障碍物，当找到标的物的障碍物后，即可立即利用卷积神经网络对标的物周围的框选范围的特征值进行判断，以找出正确的框选范围，使得车辆的自动驾驶或是防撞系统可以更有效地掌控与障碍物的距离，并且减少辨识时间，以增加使用者的反应时间。

以上所述实施例仅为说明本发明的技术思想及特点，其目的在使熟习此项技艺的人士能够了解本发明的内容并据以实施，当不能以之限定本发明的保护范围，即大凡依本发明所揭示的精神所作的均等变化或修饰，仍应涵盖在本发明的保护范围内。

Claims (11)

1.一种具平行架构的阶层式标的物侦测方法，其特征在于，包含下列步骤：

(a)撷取至少一影像数据；

(b)搜寻该影像数据中的多个障碍物位置影像；

(c)利用平行化架构分类方法从该多个障碍物位置影像中取得至少一标的物影像及其的多个框选范围；

(d)同步分离该多个框选范围，并撷取出每一该框选范围的特征值；以及

(e)利用卷积神经网络同时辨识每一该框选范围的该特征值，以从该至少一标的物影像中找出正确的该框选范围输出。

2.根据权利要求1所述的具平行架构的阶层式标的物侦测方法，其特征在于，在该步骤(b)中，利用平滑窗口方法搜寻出该影像数据中的该多个障碍物位置影像。

3.根据权利要求1所述的具平行架构的阶层式标的物侦测方法，其特征在于，在该步骤(c)中还包含下列步骤：

利用一影像算法以平行化方式框选、计算及分类该多个障碍物位置影像的特征数据；以及

利用一可平行化的分类法从该多个障碍物位置影像的该特征数据中，分类出该至少一标的物影像及其的该多个框选范围。

4.根据权利要求3所述的具平行架构的阶层式标的物侦测方法，其特征在于，该影像算法为方向梯度直方图算法，该分类法为支持向量机分类法。

5.根据权利要求1所述的具平行架构的阶层式标的物侦测方法，其特征在于，在该步骤(d)中，利用该卷积神经网络第二层的卷积方法同步分离每一该框选范围，并撷取出每一该框选范围的该特征值。

6.根据权利要求5所述的具平行架构的阶层式标的物侦测方法，其特征在于，在该步骤(e)中，利用该卷积神经网络第二层的类神经网络对每一该框选范围的该特征值作辨识。

7.根据权利要求1所述的具平行架构的阶层式标的物侦测方法，其特征在于，在该步骤(b)中还包含下列步骤：

辨识该至少一影像数据所在的场景；以及

从该影像数据中的一感兴趣区域搜寻该多个障碍物位置影像。

8.一种具平行架构的阶层式标的物侦测系统，其特征在于，包含：

至少一影像撷取设备，其撷取至少一影像数据，并从该至少一影像数据中搜寻出多个障碍物位置影像；以及

一影像处理装置，其电性连接该至少一影像撷取设备，以接收该至少一影像撷取设备所传输的该多个障碍物位置影像，该影像处理装置从该多个障碍物位置影像中取得至少一标的物影像及其的多个框选范围，并同步分离该多个框选范围以撷取出每一该框选范围的特征值，该影像处理装置再同时辨识出每一该框选范围的该特征值，以实时从该至少一标的物影像中找出正确的该框选范围输出。

9.根据权利要求8所述的具平行架构的阶层式标的物侦测系统，其特征在于，该影像处理装置还包含：

一影像演算器，其利用平行化架构分类方法取得该至少一标的物影像及其的该多个框选范围；以及

一复杂度分类器，其电性连接该影像演算器，以接收该影像演算器传输的该至少一标的物影像及其的该多个框选范围的数据，并利用一卷积神经网络第二层的卷积方法同步分离该多个框选范围，以撷取出每一该框选范围的该特征值，该复杂度分类器再利用该卷积神经网络第二层的类神经网络辨识出该特征值，以找出该正确的该框选范围以输出。

10.根据权利要求9所述的具平行架构的阶层式标的物侦测系统，其特征在于，该影像演算器为结合方向梯度直方图及支持向量机分类法的影像演算器。

11.根据权利要求9所述的具平行架构的阶层式标的物侦测系统，其特征在于，该复杂度分类器为卷积神经网络分类器。