CN109923586A - 停车框识别装置 - Google Patents

Abstract

本公开的停车框识别装置(20)具备图像获取部(S110)、线提取部(S120、S150)、以及可能框识别部(S210、S220)。图像获取部构成为获取表示配置在本车辆的不同位置的多个拍摄装置拍摄到的各个拍摄图像的多个拍摄图像。线提取部构成为从多个拍摄图像提取停车框，并提取表示规定该停车框的距本车辆更远的一侧的端部的线的对象线。可能框识别部构成为对从多个拍摄图像提取出的同一停车框，判定对象线的形状是否相同，并将判定为对象线的形状相同的停车框识别为可停车框。

Description

停车框识别装置

相关申请的交叉引用

本国际申请主张于2016年11月10日在日本国专利厅提交的日本国专利申请第2016－219644号的优先权，并通过参照在此引用其全部内容。

技术领域

本公开涉及识别表示本车辆能够停车的停车框的可停车框的技术。

背景技术

在下述的专利文献1中，作为识别可停车框的技术，提出了在构成能够从本车辆观察的停车框的白线中，距本车辆较远的一侧的白线比接近本车辆的一侧的白线长的情况下，判断为是可停车框的技术。

专利文献1：日本特开2016－016681号公报

作为发明人详细研究的结果，在上述专利文献1的技术中发现了如下的课题：由于在小型汽车等车长较短的车辆停车于停车框的情况下，有时观察到距本车辆较远的一侧的白线比接近本车辆的一侧的白线长，所以容易将其它车辆正停车的停车框错误识别为是可停车框。

发明内容

本公开的一个方面提供在识别表示本车辆能够停车的停车框的可停车框的停车框识别装置中能够更高精度地识别可停车框的技术。

本公开的一侧面的停车框识别装置具备图像获取部、线提取部、以及可能框识别部。图像获取部构成为获取表示配置在本车辆的不同位置的多个拍摄装置拍摄到的各个拍摄图像的多个拍摄图像。

线提取部构成为从多个拍摄图像提取停车框，并提取表示规定该停车框的距本车辆更远的一侧的端部的线的对象线。可能框识别部构成为对从多个拍摄图像提取出的同一停车框，判定对象线的形状是否相同，并将判定为对象线的形状相同的停车框识别为可停车框。

即，在本公开的停车框识别装置中，利用在停车框中存在停车车辆的情况下，由于对象线被停车车辆遮挡，从而在不同位置拍摄到的同一对象线的形状被观察为不同这样的特性。此外，能够根据线的角的数目、线的长度、纵横比、边缘的曲率等比较用参数在何种程度上一致来判定对象线的形状。例如能够通过对比较用参数之比与阈值进行比较来判定在何种程度上一致。

根据这样的停车框识别装置，通过在不同位置拍摄到的同一对象线的形状是否相同来判定是否是可停车框，所以能够高精度地识别可停车框。

此外，权利要求书所记载的括号内的附图标记表示与作为一个方式后述的实施方式所记载的具体单元的对应关系，并不对本公开的技术范围进行限定。

附图说明

图1是表示拍摄系统的构成的框图。

图2是表示可停车框识别处理的流程图。

图3是表示前置照相机的拍摄图像的一个例子的图像图。

图4是表示左照相机的拍摄图像的一个例子的图像图。

图5是表示对象线的观察方法的一个例子的鸟瞰图。

具体实施方式

以下，参照附图对本公开的实施方式进行说明。

[1.实施方式]

[1－1.构成]

如图1所示，本实施方式的拍摄系统1是搭载于乘用车等车辆的系统，具备控制单元10。另外，也可以具备前置照相机4F、后置照相机4B、右照相机4R、左照相机4L、显示部30、以及车辆控制部32等。此外，也将搭载了拍摄系统1的车辆称为本车辆。

前置照相机4F以及后置照相机4B分别具有拍摄本车辆的前方以及后方的道路的功能，安装于本车辆的前部以及后部。另外，右照相机4R以及左照相机4L分别具有拍摄本车辆的右侧以及左侧的道路的功能，安装于本车辆的右侧面以及左侧面。即，前置照相机4F、后置照相机4B、右照相机4R、左照相机4L分别配置在本车辆的不同位置。这里，所谓不同位置表示拍摄装置不配置在同一垂直线上，而配置在不同的垂直线上。

控制单元10根据这些各照相机4F、4B、4R、4L的拍摄图像，生成从垂直方向俯瞰车辆周围的道路的鸟瞰图像。然后，使该生成的鸟瞰图像显示于由液晶显示器等构成并配置在车厢内的显示部30。

另外，控制单元10根据这些各照相机4F、4B、4R、4L的拍摄图像识别可停车框。此外，所谓停车框表示至少具有预先设定的范围内的宽度的一条线与在从该线隔开与车辆的宽度对应的距离的位置具有与该线平行的边或者线的物体之间的区域。

另外，所谓可停车框表示本车辆能够进行停车的停车框。另外，这里所说的“平行”包含大致平行。另外，这里所说的“具有与线平行的边或者线的物体”例如相当于路缘石、其它的线、墙壁、树木、护栏等。

控制单元10具备拍摄信号输入部12、检测信号输入部14、存储器16、显示控制部18、以及图像处理部20。

拍摄信号输入部12具有获取来自前置照相机4F、后置照相机4B、右照相机4R、左照相机4L的拍摄信号，并作为拍摄图像数据输入到图像处理部20的功能。

检测信号输入部14具有分别获取来自检测本车辆的各车轮的旋转速度的车轮速度传感器6、检测方向盘的转向操纵角的转向操纵角传感器8的检测信号，转换为车轮速度数据、转向操纵角数据，并输入到图像处理部20的功能。

图像处理部20以具有CPU18和RAM、ROM、闪存等半导体存储器(以下，称为存储器16)的公知的微型计算机为中心构成。通过由CPU18执行储存于非瞬态有形记录介质的程序来实现图像处理部20的各种功能。在该例子中，存储器16相当于储存了程序的非瞬态有形记录介质。

另外，通过执行该程序，而执行与程序对应的方法。此外，非瞬态有形记录介质是指除了记录介质中的电磁波之外。另外，构成图像处理部20的微型计算机的数目既可以是一个也可以是多个。

如图1所示，图像处理部20具备线检测部22、位置对应部24、框估计部26、以及跟踪部28，作为通过由CPU18执行程序而实现的功能的构成。实现构成图像处理部20的这些要素的方法并不限定于软件，也可以使用一个或者多个硬件实现其一部分或者全部的要素。例如，在通过作为硬件的电子电路实现上述功能的情况下，也可以通过包含许多的逻辑电路的数字电路、或者模拟电路、或者它们的组合实现该电子电路。

在作为线检测部22的功能中，进行通过对各个拍摄图像进行公知的霍夫变换等图像处理来检测白线、黄线那样的线的处理。

在作为位置对应部24的功能中，进行对检测出的每条线判定存在于与其它的照相机共同的拍摄范围内的线是否是相同的线，并将相同的线建立对应关系的处理。此外，预先在存储器16储存对每个照相机设定了与其它的照相机共同的拍摄范围以及对应的坐标的对应信息，并使用该对应信息判定是否是相同的线。

作为框估计部26的功能进行估计存在于拍摄图像中的一个或者多个停车框，并从这些停车框中估计可停车框的处理。

作为跟踪部28的功能进行通过将本车辆的移动量与拍摄图像中的物体移动的移动量建立对应关系来追踪拍摄图像中的物体的处理。特别是在本实施方式中，对停车框进行追踪，识别停车框的位置。可停车框的位置的信息被送至车辆控制部32。

另外，在作为跟踪部28的功能中，进一步考虑本车辆的移动量生成表示停车框的图像，且该图像被输出到显示控制部18。显示控制部18将从图像处理部送来的图像转换为能够在显示部30进行显示的影像信号，并送至显示部30。

车辆控制部32接受可停车框的位置，生成用于停车到可停车框的本车辆的轨道，并控制本车辆的加减速、本车辆的转向角等，以使本车辆按照该轨道移动。

[1－2.处理]

接下来，使用图2的流程图对图像处理部20执行的可停车框识别处理进行说明。可停车框识别处理是例如若本车辆的电源被接通则开始，且其后反复实施的处理。也可以按照相机的拍摄周期启动可停车框识别处理。

如图2所示，可停车框识别处理首先在S110中，获取照相机的拍摄图像。在该处理中，获取前置照相机4F、右照相机4R、左照相机4L大致同时拍摄到的各个拍摄图像。

作为由前置照相机4F拍摄到的拍摄图像，例如得到图3所示那样的拍摄图像，作为由左照相机4L拍摄到的拍摄图像，例如得到图4所示那样的拍摄图像。此外，在以后的处理中，能够任意地组合利用搭载于车辆的各照相机4F、4B、4R、4L的两个以上的拍摄图像，在本实施方式中，为了简单地进行说明而仅对组合利用前置照相机4F以及左照相机4L的拍摄图像的例子进行说明。

接着，在S120中，对每个获取到的拍摄图像，检测白线、黄线等线。在该处理中，通过在构成拍摄图像的许多的像素中，检测作为亮度、颜色的边界的边缘，并对边缘实施公知的霍夫变换等处理，来检测在拍摄图像中存在的全部的线。这里的线具有宽度，例如包含路上的喷图。此外，将检测出的线称为检测线。在图3、图4所示的例子中，全部的表示停车框的白线40中全部的线41、42、43成为检测线。

接着，在S130中，判定在各个拍摄图像是否存在多个检测线。在本处理中，由于将被两根线夹着的区域识别为停车框，所以在检测不到两根以上的线的情况下识别为没有停车框。由此，也可以说在S130中，判定是否有存在停车框的可能性。

若不存在多个检测线，则在S240中，在存储器16记录不存在能够使用的停车框的主旨，并结束可停车框识别处理。另外，若存在多个检测线，则在S140中将所得到的拍摄图像的整体、或者拍摄图像中的至少检测线转换为平面坐标系。利用生成从垂直方向俯瞰拍摄图像得到的鸟瞰图像的公知的处理实现该处理即可。

接着，在S150中进行停车框估计。在该处理中，从多个拍摄图像提取停车框。作为停车框，提取至少被两条线夹着的区域，且两条线的间隔在以车辆的宽度为基准设定的预先设定的范围内的区域。此时，提取拍摄图像中存在的全部的停车框。在图3、图4所示的例子中，白线41、42之间的区域、白线42、43之间的区域被提取为停车框。虽然白线41、43之间的区域也能够被提取为停车框，但在本处理中由于仅将白线间的距离在预先设定的范围内的区域识别为停车框，所以从停车框除去白线41、43之间的区域。

此外，也可以在提取停车框时，仅提取从本车辆观察最靠跟前的停车框，仅位于本车辆的右侧或者左侧的停车框等特定的停车框。另外，在该处理中，提取表示规定该停车框的距本车辆更远的一侧的端部的线的对象线。在图3、图4所示的例子中，在白线41、42之间的停车框中白线42成为对象线，在白线42、43之间的停车框中白线43成为对象线。

接着，在S160中判定是否存在停车框的候补。这里的停车框的候补包含可停车框但并不限定于可停车框，表示也包含其它车辆已经正在进行停车的停车框的一般的停车框。

若不存在停车框的候补，则移至上述的S240。另外，若存在停车框的候补，则在S210中判定在多个拍摄图像共同的拍摄区域中对象线的形状是否相同。

在该处理中，首先从多个拍摄图像提取从不同位置观察到的同一停车框，并对构成该停车框的同一对象线的形状进行比较。通过根据得到多个拍摄图像的条件，例如多个照相机的配置的偏移等确定在多个拍摄图像中拍摄到相同的物体的共同区域，并提取与某一拍摄图像的停车框在共同区域内的停车框来确定出同一停车框。

另外，在对对象线的形状进行比较时，例如对对象线的长度进行比较。这里，所谓线的长度表示线的长边方向的长度。所谓长边方向是指与线的宽度方向正交的方向。在对对象线的长度进行比较的情况下，例如如图3、4所示，对相同的白线42的长度L₁与L₂进行比较。白线的长度对坐标转换为平面坐标系时的长度进行比较。

如图5所示，在车辆停车于停车框的情况下，白线42的一部分被该车辆遮挡，白线42中的被遮挡的部位根据照相机的拍摄位置的差异而不同。因此，由照相机观察到的白线42的长度产生差异。

另一方面，若是停车框中未停车有车辆的停车框，则例如白线43等对象线在比较宽的范围内不会被车辆遮挡对象线的全部而能够被观察到。该情况下，对象线的长度之差变小。

由此，在本实施方式中，若对象线的长度之差在预先设定的阈值以内则识别为形状相同。若在S210中对象线的形状相同，则在S220中将判定为对象线的形状相同的停车框识别为可停车框。另外，若对象线的形状不相同，则在S230中将判定为对象线的形状不相同的停车框识别为不是可停车框。

若这样的处理结束，则结束可停车框识别处理。

[1－3.效果]

根据以上详述的实施方式，起到以下的效果。

(1a)在上述的拍摄系统1中，图像处理部20获取表示从配置在本车辆的不同位置的多个拍摄装置拍摄到的各拍摄图像的多个拍摄图像。然后，图像处理部20从多个拍摄图像提取停车框，并提取表示规定该停车框的距本车辆更远的一侧的端部的线的对象线。另外，图像处理部20对从多个拍摄图像提取出的同一停车框，判定对象线的形状是否相同，并将判定为对象线的形状相同的停车框识别为可停车框。

根据这样的拍摄系统1，通过在不同位置拍摄到的同一对象线的形状是否相同来判定是否是可停车框，所以能够高精度地识别可停车框。

(1b)在上述的拍摄系统1中，图像处理部20作为对象线的形状，判定对象线的长度是否相同。

根据这样的拍摄系统1，通过对对象线的长度进行比较来判定对象线的形状，所以与根据线整体的形状进行判定的构成相比较，能够以简单的构成识别可停车框。

(1c)在上述的拍摄系统1中，图像处理部20提取至少被两条线夹着的区域作为停车框。

根据这样的拍摄系统1，由于提取至少被两条线夹着的区域作为停车框，所以能够使用公知的白线识别的技术提取停车框。由此，能够以更简单的构成识别可停车框。

(1d)在上述的拍摄系统1中，图像处理部20将各个拍摄图像转换为平面坐标系，对从转换为平面坐标系的各个拍摄图像提取出的同一停车框，判定对象线的形状是否相同，并将判定为对象线的形状相同的停车框识别为可停车框。

根据这样的拍摄系统1，由于在平面坐标系判定对象线的形状是否相同，所以即使由于得到拍摄图像的位置不同而对象线产生了变形也能够良好地进行形状的判定。

[2.其它的实施方式]

以上，对本公开的实施方式进行了说明，但本公开并不限定于上述的实施方式，能够进行各种变形来实施。

(2a)在上述实施方式中，根据对象线的长度来判断对象线的形状是否相同，但并不限定于此。例如，作为对象线的形状，也可以判定对象线的整体形状、或者对象线中距本车辆较远的一侧的端部的形状等是否相同。

具体而言，在判定对象线中距本车辆较远的一侧的端部的形状是否相同的情况下，如图3、图4所示，对白线42的距车辆较远的端部的形状，即，区域[A]以及区域[B]内的白线42的形状进行比较。在停车框存在车辆的情况下，白线42的距车辆较远的端部被车辆遮挡，由于白线42被车辆的哪个部位遮挡根据照相机的位置而发生变化，所以白线42的距车辆较远的端部的形状变化。另一方面，在白线42未被遮挡的情况下，白线42的距车辆较远的端部的形状不变化。因此，能够根据对象线中距本车辆较远的一侧的端部的形状是否相同来判定停车框是否是可停车框。

根据这样的拍摄系统，通过对对象线中距本车辆较远的一侧的端部的形状进行比较来判定对象线的形状，所以与根据线整体的形状进行判定的构成相比较，能够以简单的构成识别可停车框。

(2b)在上述拍摄系统1中，在判定停车框是否是可停车框时，也可以仅使用上述的可停车框识别处理进行判定，但也可以组合上述的可停车框识别处理和公知的处理来进行判定。例如，也可以利用公知的处理暂时提取可停车框，并使用可停车框识别处理以用于最终的判断。另外，也可以在利用公知的处理和可停车框识别处理的至少一方、或者过半数的处理等判定为是可停车框的情况下判定为停车框是可停车框。

(2c)也可以通过多个构成要素实现上述实施方式中的一个构成要素具有的多个功能，或者通过多个构成要素实现一个构成要素具有的一个功能。另外，也可以通过一个构成要素实现多个构成要素具有的多个功能，或者通过一个构成要素实现由多个构成要素实现的一个功能。另外，也可以省略上述实施方式的构成的一部分。另外，也可以将上述实施方式的构成的至少一部分附加给或者置换为其它的上述实施方式的构成。此外，根据权利要求书所记载的语句确定出的技术思想所包含的所有方式均为本公开的实施方式。

(2d)除了上述的拍摄系统1之外，也能够以成为该拍摄系统1的构成要素的停车框识别装置等各种装置、用于使计算机作为该拍摄系统1发挥作用的程序、记录了该程序的半导体存储器等非瞬态有形记录介质、停车框识别方法等各种方式实现本公开。

[3.实施方式的构成与本公开的构成的对应关系]

在上述实施方式中，拍摄系统1的图像处理部20相当于本公开中提及的停车框识别装置。另外，图像处理部20执行的处理中的S110的处理相当于本公开中提及的图像获取部，在上述实施方式中，S120、S150的处理相当于本公开中提及的线提取部。另外，在上述实施方式中，S140的处理相当于本公开中提及的坐标转换部，在上述实施方式中，S210、S220的处理相当于本公开中提及的可能框识别部。

Claims (5)

1.一种停车框识别装置，该停车框识别装置(20)具备：

图像获取部(S110)，构成为获取表示配置在本车辆的不同位置的多个拍摄装置拍摄到的各个拍摄图像的多个拍摄图像；

线提取部(S120、S150)，构成为从上述多个拍摄图像提取停车框，并提取表示规定该停车框的距本车辆更远的一侧的端部的线的对象线；以及

可能框识别部(S210、S220)，构成为对从上述多个拍摄图像提取出的同一停车框，判定上述对象线的形状是否相同，并将判定为上述对象线的形状相同的停车框识别为表示本车辆能够停车的停车框的可停车框。

2.根据权利要求1所述的停车框识别装置，其中，

上述可能框识别部构成为作为上述对象线的形状，判定上述对象线的长度是否相同。

3.根据权利要求1或者2所述的停车框识别装置，其中，

上述可能框识别部构成为作为上述对象线的形状，判定上述对象线中距本车辆较远的一侧的端部的形状是否相同。

4.根据权利要求1～3中任意一项所述的停车框识别装置，其中，

上述线提取部构成为提取至少被两条线夹着的区域作为上述停车框。

5.根据权利要求1～4中任意一项所述的停车框识别装置，其中，

还具备坐标转换部(S140)，该坐标转换部(S140)构成为将上述各个拍摄图像转换为平面坐标系，

上述可能框识别部构成为对从转换为平面坐标系的各个拍摄图像提取出的同一停车框，判定上述对象线的形状是否相同，并将判定为上述对象线的形状相同的停车框识别为上述可停车框。