CN112389419A

CN112389419A - 识别停车位的方法和停车辅助系统

Info

Publication number: CN112389419A
Application number: CN201910740016.9A
Authority: CN
Inventors: 时丕澔; 黄威仁; 洪晟玮
Original assignee: OTOBRITE ELECTRONICS Inc
Current assignee: OTOBRITE ELECTRONICS Inc
Priority date: 2019-08-12
Filing date: 2019-08-12
Publication date: 2021-02-23
Anticipated expiration: 2039-08-12
Also published as: CN112389419B

Abstract

本申请揭露一种识别停车位的方法和停车辅助系统。获取车辆移动时含有障碍物的连续图像帧；从连续图像帧中辨识障碍物，根据每个连续图像帧中的障碍物位置，运用卷积神经网络(Convolutional Neural Network,CNN)算法，生成障碍物的第一边界；检测移动车辆与障碍物之间的至少一个距离；根据车辆与障碍物之间的至少一个距离，生成障碍物的第二边界；调整第一边界与第二边界以界定障碍物的周边；根据障碍物的周边来识别停车位。参照障碍物的周边，停车位识别模块由此来识别停车位，停车过程可以改变为自动驾驶模式，并由移动装置远程控制。

Description

识别停车位的方法和停车辅助系统

技术领域

本申请涉及智能汽车技术领域，特别是一种识别停车位的方法和停车辅助系统。

背景技术

由于汽车工业的发展，汽车数量显著增加，汽车技术得到了积极发展。特别是，随着电子科技的发展，汽车研究人员已经对智能汽车科技进行了许多研究。其中，驾驶辅助系统(Driver Assistance System,DAS)近年来有显著的改进并应用于智能汽车。

在驾驶辅助系统中，停车辅助系统也在智能汽车领域中有积极的研究，并且已经实际应用于汽车。这种停车辅助系统用于帮助驾驶员停车。

这种停车辅助系统可以分为停车位识别模块、停车轨迹产生模块和操控模块。另外，停车位识别模块可以分为平行停车位识别模块和垂直停车位识别模块。可以使用超声波、后视摄像机或激光扫描仪来执行停车位识别。

在传统的停车位识别方法中，使用超声波的停车位识别方法的问题在于，由于超声波的距离和分辨率的限制，不能精确取得与停放车辆所需的停车位相邻的对方车辆的边缘，所以无法精确识别停车位。使用摄像机的传统停车位识别方法的问题在于，由于借着判定对方车辆的距离无法精确识别对方车辆的位置，所以不能精确识别停车位。

也就是说，使用超声波传感器或摄像机来识别停车位的传统停车位识别方法存在的问题在于，由于超声波传感器和摄像机的缺点，所以它们不能精确识别停车位。

如图14所示，美国专利第7272477号“停车辅助系统和方法(Vehicle ParkingAssisting System and Method)”揭露一种停车辅助系统，其中声波传感器和摄像机以重叠的方式用于显示障碍物OB的当前检测点DP1和过去检测点DP2来辅助停车。然而，根据此专利，障碍物的检测点受到许多噪声的影响，从而使得停车位的识别不准确。

参照图15，美国专利第8401235号“用于识别停车位的方法和系统(Method andSystem for Recognizing Parking Lot)”也揭露了一种使用摄像机和超声波传感器的停车位识别技术，其方式是超声波传感器和摄像机的缺点可以相互补偿。根据此专利，使用索博(Sobel)边缘检测算法，尽管计算简单，但是一种相当不准确的近似法，如果不进行去噪处理，则精度会显著下降。

发明内容

因此，本申请要解决现有技术中出现的上述问题，本申请的目的是提供一种识别停车位的方法和停车辅助系统。

根据本申请的一个方面，提供一种用于识别停车位的方法，包括以下步骤：获取车辆移动时包含障碍物的连续图像帧；从连续图像帧中辨识障碍物，根据每个连续图像帧中的障碍物位置，运用卷积神经网络(Convolutional Neural Network,CNN)算法，生成障碍物的第一边界；检测移动车辆与障碍物之间的至少一个距离；根据车辆与障碍物之间的至少一个距离，生成障碍物的第二边界；调整第一边界与第二边界以界定障碍物的周边；根据障碍物的周边来识别停车位。

根据本申请的另一面向，提供一种停车辅助系统，包括：图像捕获模块，用于获取车辆移动时含有障碍物的连续图像帧；辨识模块，用于从连续图像帧中辨识出障碍物，根据每个连续图像帧中的障碍物位置，运用卷积神经网络(Convolutional Neural Network,CNN)算法，生成障碍物的第一边界；至少一个超声波传感器，用于检测移动车辆与障碍物之间的至少一个距离；距离修改模块，用于根据车辆与障碍物之间的至少一个距离，生成障碍物的第二边界；周边界定模块，用于调整根据第一边界与第二边界以界定障碍物的边界周边；停车位识别模块，用于根据障碍物的周边来识别停车位。

以上段落撷取本申请的部分特性，其他特性将在后续段落中披露。各种修改和类似的配置都涵盖在所附权利要求的精神和范围内。

附图说明

以下结合附图的详细描述，会更凸显本申请的上述和其他目的、特征和优点，其中：

图1是根据本申请优选实施例的车辆的停车辅助系统的方框图；

图2是本申请优选实施例中安装在车辆上的四个摄像机和六个超声波传感器的示意平面图；

图3是展示利用超声波传感器和摄像机来识别停车位的不同的示意图；

图4是图片图像及其语义分割示意图；

图5是本申请优选实施例中执行的停车辅助程序的流程图；

图6是根据本申请优选实施例的移动车辆扫描障碍物的示意图；

图7是显示根据本申请优选实施例所得到的未处理的障碍物边缘点的示意图；

图8a～8d是根据本申请优选实施例的多帧信息对障碍物边缘点的合并和去噪的示意图；

图9是与图7相比较，根据本申请优选实施例的通过多帧信息进行合并和去噪的处理过的障碍物边缘点的示意图；

图10是根据本申请优选实施例通过融合来调整移动车辆与障碍物之间的距离；

图11a～11c是根据本申请优选实施例通过迭代线性回归来界定障碍物的周边；

图12是根据本申请优选实施例在识别停车位后的车辆停放的示意图；

图13是根据本申请优选实施例的车辆从停车位行驶到预定位置的示意图；

图14是根据现有技术的以重叠方式使用声波传感器和摄像机两者的停车辅助系统的示意图；

图15是根据另一现有技术的停车位识别技术的方框图。

具体实施方式

参照以下实施例来更详细说明本申请。

参照图1，是根据本申请优选实施例的车辆的停车辅助系统的方框图，揭露了根据本申请的用于本身车辆SV(图1中未示出)的停车辅助系统1的优选实施例。停车辅助系统1具有识别装置10、停车控制装置20、在识别装置10和停车控制装置20之间用于通信的是控制器区域网络(Controller Area Network,CAN)总线。识别装置10包括图像捕获模块100、处理模块110、超声波传感器120-125和显示器130。处理模块110可以从停车控制装置20经由CAN总线接收检测信号，并经由CAN总线将控制信号送到停车控制装置20。停车控制装置20包括方向盘控制器200、节气门控制器210、制动控制器220和档位控制器230。此外，诸如以智能手机为具体实施形式的手持装置30可用于遥控停车辅助系统1。

CAN总线是一种车辆总线标准，旨在允许微处理器和装置在没有主机的情况下中相互通信，是用于汽车的消息通信基础的协议。CAN总线的一个关键优势是不同车辆系统之间的互连可以仅使用软件，就能保证实现各种安全性、经济性和便利性。相比之下，如果使用传统的汽车电子装置“硬接线”，则将增加成本和复杂性。事实上，车辆中的所有电子控制单元(Electronic Control Unit,ECU)都可以由双线CAN总线来连接。

在本实施例中，如图2所示，是本申请优选实施例中安装在车辆上的四个摄像机和六个超声波传感器的示意平面图，为了获得本身车辆SV周围环境的全景测量，图像捕获模块100包括四个摄像机101-104，分别设置在本身车辆SV的右后视镜、左后视镜、后车牌上方和前车牌上方。超声波传感器120-125分别设置在本身车辆SV的左前端、右前端、左后端、后中心部分和右后端。尽管图像捕获模块100包括四个摄像机101-104，但所需的摄像机数量不限于四个。同样地，超声波传感器数量不限于六个。从超声波传感器120-125射出的超声波形成大致扇形的检测区域，以检测靠近停车位的检测区域内的障碍物OB。如图3所示，是展示利用超声波传感器和摄像机来识别停车位的不同的示意图，仅由超声波传感器所识别的停车位的长度(SL)通常比停车位的实际长度(PL)短，从而导致停车位是否足以停入本身车辆SV的误判。具体来说，为了使长度L的本身车辆SV停入，停车位需要比本身车辆SV的长度大至少80cm(也就是PL≥L+80cm)。为了准确判定停车位长度，本申请结合了图像捕获模块100的使用以弥补超声波传感器的不足。尽管超声波传感器能够精确辨识障碍物OB与本身车辆SV之间的距离，并沿着本身车辆SV的移动方向获得边界A～C，但是超声波传感器不能精确辨识垂直于本身车辆SV移动方向的边界D～E。此外，超声波传感器具有盲点，并且不能辨识停车位白线标记、车轮止动块和地面上的较低物体(例如，路沿石)等等。然而，超声波传感器的这些不足或缺点也可通过使用图像捕获模块100来弥补。图像捕获模块100将摄像机101-104取得的图像画面帧送到处理模块110。另一方面，从停车控制装置20经由CAN总线送到处理模块110的检测信号可以包括：代表检测到的车速的速度检测信号、代表检测到的偏航率的偏航率检测信号和代表检测到的旋转角度的转向检测信号。然后，处理模块110根据这些检测信号来判定车辆SV的移动或转向状态。

处理模块110包括辨识模块1100、图像转换模块1120、距离修改模块1130、周边界定模块1140、停车位识别模块1150、停车轨迹模块1160和存储器1170。处理模块110中的辨识模块1110辨识障碍物OB是什么，例如是相邻车辆、灯柱、墙壁、路缘石甚至停车位标线等等，根据每个连续图像画面中的障碍物OB的位置，通过语义分割卷积神经网络(Convolutional Neural Network,CNN)算法来生成障碍物OB的第一边界B1。也就是说，障碍物OB的第一边界B1是通过使用CNN的语义分割来生成的，然后存储在存储器1170，存储器1170存储着需要由处理模块110存取的任何数据。

语义分割是从粗略推理到精细推理的自然步骤：

对整个输入进行预测；

下一步是本地化/检测，它不仅提供类别，还提供有关这些类别的空间位置的附加信息；

最后，语义分割通过密集预测推断每个像素的标签来实现精细推理，以便每个像素用围绕物体核心区域的类别来标记。

如图4所示，是图片图像及其语义分割示意图，展示了由CNN将图像中的每个像素映像到物体类别的过程。如图所示，图像中的两部车辆都标有相同的颜色(亦即青色)，每个物体类别被分开分段，也就是，在图4中，白色区域代表地面(亦即，用于停放的自由空间)，而红色虚线代表车轮止动块。

显示器130设置在车辆SV中，在处理模块110的控制下向驾驶员呈现各种图像。显示器130上显示的图像可包括本身车辆SV、障碍物、相邻车辆、停车位和环境，无论是鱼眼视图还是鸟瞰视图。

如图5所示，是本申请优选实施例中执行的停车辅助程序的流程图。在步骤S1，当车辆SV的驾驶员正在寻找停车位时，由驾驶员激活停车位搜索。一旦启动停车位搜索，处理模块110中的辨识模块1110开始在步骤S2检测车辆SV周围是否有可辨识别的障碍物。重复步骤S2，直到辨识出障碍物OB为止，例如，相邻车辆、灯柱、墙壁、路缘甚至停车位标线等等。在这种情况下，图像捕获模块100所拍摄的连续图像帧由处理模块110中的图像转换模块1120转换为鸟瞰图图像。然后，根据每个连续图像帧中的障碍物OB的位置，由卷积神经网络(CNN)算法生成障碍物OB的第一边界B1。

在下文中，解释产生第一边界B1的过程。图6是根据本申请优选实施例的移动车辆扫描障碍物的示意图，首先，参考图6a，这是根据本申请优选实施例的移动本身车辆SV扫描障碍物OB的示意图。当车辆SV的驾驶员启动停车位搜索时(图5中的步骤S1)，对图像捕获模块100拍摄的图片中的每个像素执行CNN，以判定像素中是否有可辨识的特性。如果具有可辨识的特性，则辨识出包含可辨识特性的障碍物OB，辨识为形成障碍物OB的所有像素会以相同颜色来标记。在图6a的情况下，障碍物OB被辨识为相邻车辆，沿着障碍物OB边缘的像素以点的形式来表示，也就是障碍物边缘点。随着车辆SV的向前行进，分析图像捕获模块100(主要是摄像机101)所拍摄的更多图像，因此产生更多障碍物边缘点，如图6b所示。

图7是根据本申请优选实施例所得到的未处理的障碍物边缘点的示意图，图中有累积的障碍物边缘点所得的障碍物OB。由于图像捕获模块110中的摄像机101-104使用鱼眼镜头，并且连续画面帧是在摄像机101-104与本身车辆SV一起移动时拍摄，所以障碍物OB的显著失真是不可避免的。因此，需要合并和去噪处理，如下所述：

首先，根据来自下一个画面帧的下一个障碍物边缘点，逐帧地移动和/或合并来自每个画面帧的每个障碍物边缘点。图8a～8d是根据本申请优选实施例的多帧信息对障碍物边缘点的合并和去噪的示意图，在图8a中，根据新的障碍物边缘点和摄像机101之间的距离，将基础分数给予新的障碍物边缘点的公式如下：

s(p)＝y/k₁ (1)

其中，s(p)代表基本分数，y代表正对摄像机101的方向(图中的垂直方向)的长度，k₁可以是任何自然数，此处使用“100”。

在图8b中，加上调整分数来调整旧点的基本分数，如果新点与相邻旧点在水平方向的第一距离小于第一阈值(此处t1＝50)，则该调整分数等于新点的基本分数乘以距离因子如下：

s'_old＝s_old+Δs (2a)

Δs＝s(p_new)×g(|y_new-y_old|) (2b)

g(x)＝max(-1,1-x/70) (2c)

其中Δs代表调整分数，Δx代表第一距离，g代表距离因子。

在图8c中，如果水平方向的第一距离小于第二阈值(此处t2＝40)，并且新点与相邻旧点在垂直方向的第二距离小于第三阈值(此处t3＝60)，则相邻旧点垂直移动如下：

y'_old＝(1-ΔS/S'_old)*y_old+ΔS/S'_old*y_new (3)

参考图8d，如果第一距离小于第四阈值(此处t4＝20)，并且第二距离小于第五阈值(此处t5＝40)，则新点合并到相邻旧点。

在图7中的障碍物边缘点参考图8执行合并和去噪如上之后，形成更精确的边界B1，如图9所示，是与图7相比较，根据本申请优选实施例的通过多帧信息进行合并和去噪的处理过的障碍物边缘点的示意图。

同时，超声波传感器120-125检测车辆SV与障碍物OB之间的距离，处理模块110中的距离修改模块1130根据车辆SV与障碍物OB之间的距离产生障碍物OB的第二边界B2。然后，处理模块110中的周边界定模块1140融合第一边界B1和第二边界B2，以形成障碍物OB的平滑周边。

如图10所示，是根据本申请优选实施例通过融合来调整移动车辆和障碍物之间的距离。也就是说，障碍物OB的第一边界B1和第二边界B2融合如下所述。

在图10中，利用在第二边界B2中坐标为(x_sl,y_sl)和坐标为(x_sr,y_sr)的任何两个相邻障碍物边缘点P_sl和P_sr。在第一边界B1的水平位置介于P_sl和P_sr之间而坐标为(x_fs,y_fs)的障碍物边缘点P_fs根据等式4调整如下：

y'fs＝(1-(xfs-xsl)/(xsr-xsl))×ysl+((xfs-xsl)/(xsr-xsl))×ysr (4)

图11a～11c是根据本申请优选实施例通过迭代线性回归来界定障碍物的周边，上述调整结果如图11a所示。然而，调整的边界不足以识别靠近障碍物OB的自由空间是否足以停车。更明确地说，为此需要障碍物OB的周边。根据优选实施例，障碍物OB被辨识为相邻车辆，在俯视图中周边大致上是矩形的。

鉴于上述情况，首先针对调整的障碍物边缘点执行迭代线性回归。每次去除最远离回归线的点来重复线性回归数次。结果如图11b所示，对于如图3所示的平行停车，图11b中所得的回归线视为代表相邻车辆一边的车身。接着，形成垂直于所得回归线的两条线以容纳其间所有的障碍物边缘点。此后，回归线平行朝向本身车辆SV移动以容纳所有障碍物边缘点。因此，可以轻易获得障碍物OB的精确周边，如图11c所示。

返回图5，在步骤S4，处理模块110中的停车位识别模块1150参考障碍物OB的周边来判定可能的停车位是否够大，或者是否适合停车。例如，可能的停车位仅供残疾人士使用，或者自由空间位于两个停车位之间，但在路边有一个消防栓。详细来说，根据本申请的辨识模块1110不仅辨识停车位附近的障碍物的可辨识特性，还辨识停车位中的可辨识特性，以便判定够大的停车位是否适于停车。停车位中的可辨识特性包括停车位标线和停车位标线的颜色，残疾专用或任何其他类似标记，禁止停车标志等等。

如果在步骤S4为否，则流程返回到步骤S2以重复上述过程来寻找另一个可能的停车位。否则，流程进入步骤S5。在步骤S5，如果驾驶员不擅长停车，或者停车位刚好足以容纳本身车辆SV但是不够驾驶员打开驾驶员侧车门，则驾驶员可以选择手动停车或自动停车。

对于手动停车，处理模块110中的停车轨迹模块1160产生本身车辆SV的停车轨迹，并将其送到显示器130给驾驶员使用。停车轨迹包括停车位的轮廓和从车辆SV的当前位置到停车位的路径，它与本身车辆SV周围的全景环境一起存储在存储器1170中，使得驾驶员可以将本身车辆SV沿着停车路径停放到停车位。

同样地，对于自动停车的情形，停车轨迹模块1160也产生本身车辆SV的停车轨迹并且也送到显示器130给驾驶员使用。然而，相较于上述手动停车，在此阶段，驾驶员可以经由显示器130来启动自动停车，或者可经由手持装置30在车内或车外来启动自动停车。显示器130或手持装置30可以经由处理模块110透过控制器区域网络(Controller AreaNetwork,CAN)总线来控制停车控制装置20。

参照图12，是根据本申请优选实施例在识别停车位后的停车意图。本身车辆SV辨识出两部相邻车辆、停车位标线和相邻车辆之间的停车自由空间。

另一方面，当驾驶员前往另一个地方时，他可以利用存储在存储器1170中的停车轨迹和本身车辆SV周围的全景环境来再次启动停车控制装置20，经由显示器130或手持装置30将本身车辆SV沿着存储的停车轨迹自动驾驶到指定位置，如图13所示，是根据本申请优选实施例的车辆从停车位行驶到预定位置的示意图。

可以以各种方式修改上述实施例。例如，声音输出模块可以结合到车辆SV中以产生各种声音消息或警告，以便引起驾驶员的注意力，例如，当车辆SV在距障碍物OB的预定距离内时。此外，摄像机和超声波传感器的数量和配置可以根据需要而改变。

虽然已经根据目前被认为是最实用和优选的实施例描述了本申请，但是应该理解，本申请不必限于所揭露的实施例。相反地，本申请涵盖所附权利要求的精神和范围内的各种修改和类似配置。

Claims

1.一种识别停车位的方法，包括以下步骤：

获取车辆移动时含有障碍物的连续图像帧；

从所述连续图像帧中辨识障碍物，根据每个连续图像帧中的障碍物位置，运用卷积神经网络(Convolutional Neural Network,CNN)算法，生成所述障碍物的第一边界；

检测所述车辆与所述障碍物之间的至少一个距离；

根据所述车辆与所述障碍物之间的至少一个距离，生成所述障碍物的第二边界；

调整所述第一边界与所述第二边界以界定所述障碍物的周边；

根据所述障碍物的周边来识别停车位。

2.根据权利要求1所述的识别停车位的方法，其特征在于，所述障碍物是相邻车辆。

3.根据权利要求1所述的识别停车位的方法，其特征在于，还包括：

将含有所述障碍物的连续图像帧转变成鸟瞰图像。

4.根据权利要求1所述的识别停车位的方法，其特征在于，还包括：

生成所述车辆的停车轨迹。

5.根据权利要求4所述识别停车位的方法，其特征在于，还包括：

根据所述停车轨迹将所述车辆开到所述停车位。

6.根据权利要求1所述的识别停车位的方法，其特征在于，所述停车位包括可辨识的特性。

7.根据权利要求4所述的识别停车位的方法，其特征在于，所述停车轨迹包括所述停车位的轮廓和从所述车辆当前位置到所述停车位的路径。

8.根据权利要求5所述的识别停车位的方法，其特征在于，还包括：

将所述车辆从所述停车位沿着所述停车轨迹开到指定地点。

9.根据权利要求2所述的识别停车位的方法，其特征在于，还包括：

显示所述车辆的俯视图和/或相邻车辆的俯视图。

10.一种停车辅助系统，包括：

图像捕获模块，用于获取车辆移动时含有障碍物的连续图像帧；

辨识模块，用于从所述连续图像帧中辨识障碍物，根据每个连续图像帧中的障碍物位置，运用卷积神经网络(Convolutional Neural Network,CNN)算法，生成所述障碍物的第一边界；

至少一个超声波传感器，用于检测所述车辆与所述障碍物之间的至少一个距离；

距离修改模块，用于根据所述车辆与所述障碍物之间的至少一个距离，生成所述障碍物的第二边界；

周边界定模块，用于调整所述第一边界与所述第二边界以界定所述障碍物的周边；

停车位识别模块，用于根据所述障碍物的周边来识别停车位。

11.根据权利要求10所述的停车辅助系统，其特征在于，所述障碍物是相邻车辆。

12.根据权利要求10所述的停车辅助系统，其特征在于，还包括图像转换模块，用于将含有所述障碍物的连续图像帧转变成鸟瞰图像。

13.根据权利要求10所述的停车辅助系统，其特征在于，还包括停车轨迹模块，用于生成所述车辆的停车轨迹。

14.根据权利要求13所述的停车辅助系统，其特征在于，还包括停车控制装置，根据所述参考停车轨迹将所述车辆开到所述停车位。

15.根据权利要求10所述的停车辅助系统，其特征在于，所述停车位包括可辨识的特性。

16.根据权利要求13所述的停车辅助系统，其特征在于，所述停车轨迹包括所述停车位的轮廓和从所述车辆当前位置到所述停车位的路径。

17.根据权利要求14所述的停车辅助系统，其特征在于，所述停车控制装置，还用于将所述车辆从所述停车位沿着所述停车轨迹开到指定地点。

18.根据权利要求11所述的停车辅助系统，其特征在于，还包括显示器，用于显示所述车辆的俯视图和/或相邻车辆的俯视图。