CN109522779A - 图像处理装置 - Google Patents

Abstract

本发明提供能够以轻负荷执行基于对车辆的行进方向进行拍摄而得到的图像的侧壁识别的图像处理装置。图像处理装置是基于使用立体相机对车辆的行进方向进行拍摄而得到的一对图像来识别被摄体的三维位置信息的图像处理装置，具备边缘检测部，所述边缘检测部基于所述一对图像之一的基准图像的亮度值，对于位于所述车辆的左侧的被摄体检测从左下方朝向右上方的轮廓线，并对于位于所述车辆的右侧的被摄体检测从右下方朝向左上方的轮廓线。

Description

图像处理装置

技术领域

本发明涉及基于使用立体相机对车辆的行进方向进行拍摄而得到的图像来识别被摄体的三维位置信息的图像处理装置。

背景技术

作为识别车外环境的车辆的驾驶辅助系统，有具备图像处理装置的驾驶辅助系统，该图像处理装置基于用具备一对相机的立体相机对车辆的行进方向进行拍摄而得到的一对图像，来识别被摄体与车辆的位置关系。

例如，在日本专利第5829980号公报中公开了如下技术：使用应用了样本图像的模式匹配处理，从使用立体相机对车辆的行进方向进行拍摄而得到的图像识别路缘石等路侧物。

现有技术文献

专利文献

专利文献1：日本专利第5829980号公报

发明内容

技术问题

在通过模式匹配处理不仅识别路缘石而且还识别护栏等侧壁的情况下，识别处理的负荷会增大。这是因为，由于护栏等侧壁有各种形状，另外即使护栏等侧壁为同一形状，也会因颜色的不同和/或光的照射方式的不同而在图像上的特征发生变化，所以必须进行使用了大量样本图像的模式匹配处理。由于识别处理的负荷增大会引起每预定时间的识别次数的降低，所以对于要求瞬时响应的驾驶辅助系统而言并不理想。

本发明解决上述的问题，目的在于提供能够以轻负荷执行基于对车辆的行进方向进行拍摄而得到的图像的侧壁识别的图像处理装置。

技术方案

本发明的一方式的图像处理装置是基于一对图像来识别被摄体的三维位置信息的图像处理装置，所述一对图像是使用立体相机对车辆的行进方向进行拍摄而得到的图像，所述图像处理装置具备：边缘检测部，其基于所述一对图像之一的基准图像的亮度值，对于位于所述车辆的左侧的被摄体检测从左下方朝向右上方的轮廓线，并对于位于所述车辆的右侧的被摄体检测从右下方朝向左上方的轮廓线；以及侧壁信息计算部，其基于具有由所述边缘检测部检测出的所述轮廓线的被摄体的所述三维位置信息，将具有所述轮廓线的所述被摄体中的与路面相比位于预定的高度以上的位置并且在所述车辆的前后方向上的长度为预定的长度以上的被摄体识别为侧壁。

技术效果

根据本发明，能够提供能够以轻负荷执行基于对车辆的行进方向进行拍摄而得到的图像的侧壁识别的图像处理装置。

附图说明

图1是表示图像处理装置的构成的框图。

图2是表示基准图像的一例的图。

图3是侧壁信息计算处理的流程图。

图4是多个侧壁候选边缘点组的群组化处理的流程图。

图5是用于说明多个侧壁候选边缘点组的群组化处理的一例的示意图。

符号说明

1图像处理装置，1a存储部，1b三维位置信息生成处理部，1c路上物体检测部，1d边缘检测部，1e侧壁信息计算部，2立体相机，2a第一相机，2b第二相机，3车辆控制系统，5传感器部，100车辆。

具体实施方式

以下，参照附图对本发明的优选方式进行说明。应予说明，在以下的说明所用的各图中，为了使各构成要素成为在图面上可以识别的程度的大小，对每个构成要素使比例尺不同，本发明并不仅限定为这些图中记载的构成要素的数量、构成要素的形状、构成要素的大小比率及各构成要素的相对位置关系。

图1所示的本实施方式的图像处理装置1搭载于安装有立体相机2的车辆，计算并输出在由立体相机2拍摄到的图像中映现的物体(被摄体)相对于车辆的相对位置。

此外，图像处理装置1从由立体相机2拍摄到的图像识别在车辆正在行驶的道路的侧方沿着道路配置的侧壁，并将其结果作为侧壁信息而进行输出。

在此，侧壁不限于单纯的墙壁，而包含护栏等防护栅栏、隔音壁、栏杆、路缘石、土堆等。假定侧壁是在道路的侧方与路面相比位于预定的高度以上的位置且以预定的长度以上的长度与道路大体平行地配置，并且妨碍车辆的通行的障碍物。

立体相机2具备第一相机2a及第二相机2b，该第一相机2a及第二相机2b是以将车辆的行进方向收纳于视野的方式在车宽度方向上分开预定的距离而配置的、视点不同的一对摄像装置。第一相机2a及第二相机2b同步地以相同的帧速率拍摄动态图像。

第一相机2a及第二相机2b的光轴相互平行，并且第一相机2a及第二相机2b设置于相同的高度。在本实施方式中，作为一例，将第一相机2a拍摄的图像称为基准图像，将第二相机2b拍摄的图像称为比较图像。

立体相机2具备将拍摄到的图像变换为数字数据的A/D变换器和/或对图像进行噪声除去及亮度值修正等图像修正的图像修正部等。立体相机2使拍摄到的图像成为数字数据发送给图像处理装置1。

图像处理装置1由计算机构成，该计算机的CPU、ROM、RAM、输入输出接口等连接于总线。应予说明，图像处理装置1可以组入于车辆控制系统3，也可以是与车辆控制系统3独立的计算机，所述车辆控制系统3包含对车辆的工作进行控制的计算机。

图像处理装置1与车辆控制系统3之间能够进行通信。车辆控制系统3基于从传感器部5输入的信息和从图像处理装置1输入的信息，来识别车辆的包含周边环境在内的状况，并执行与驾驶辅助有关的工作，所述传感器部5包含设置于车辆的车速传感器、转向角传感器、加速度传感器及角速度传感器等。

与驾驶辅助有关的工作包含对驾驶员输出车道偏离警告和/或碰撞警告的警告工作、及自动制动和/或自动转向等半自动或自动的驾驶辅助工作等。使用了立体相机的驾驶辅助由于是公知的技术，所以省略详细的说明。

图像处理装置1具备存储部1a、三维位置信息生成处理部1b、路上物体检测部1c、边缘检测部1d及侧壁信息计算部1e。应予说明，三维位置信息生成处理部1b、路上物体检测部1c、边缘检测部1d及侧壁信息计算部1e可以作为执行各个功能的单独的硬件而安装，也可以以软件的方式安装以便通过CPU执行预定的程序而实现各个功能。

存储部1a存储从立体相机2输入的一对图像(基准图像及比较图像)的数据。此外，存储部1a存储车辆的宽度的尺寸。在本实施方式中，作为一例，车辆的宽度的尺寸存储于车辆控制系统3，图像处理装置1通过与车辆控制系统3之间的通信来获取车辆的宽度的尺寸，并存储于存储部1a。

三维位置信息生成处理部1b基于在存储部1a存储的基准图像及比较图像，使用所谓的立体匹配法来计算在基准图像中的任意的坐标处映现出的被摄体相对于立体相机2的三维位置信息。由于根据由立体相机2拍摄到的一对图像来计算被摄体的三维位置的方法是公知的技术，所以省略详细的说明。

图2中示出由立体相机2所具备的一对相机中的第一相机2a拍摄的基准图像的一例。在以下的说明中，在基准图像中，将与车辆的车宽度方向平行的轴称为水平轴H，将与车辆的上下方向平行的轴称为垂直轴V。此外，关于沿着水平轴H的方向，将在朝向车辆的前方的情况下成为右侧的方向称为右，将与右方向相反的方向称为左。此外，关于沿着垂直轴V的方向，将成为车辆的上方的方向称为上，将成为车辆的下方的方向称为下。

应予说明，这些轴及方向的称呼是为了说明而使用的，并非用于规定立体相机2的形态。此外，通常地，在相机的像素排列和/或输出信号的定义中使用水平及垂直的用语，但是本实施方式中的水平轴H及垂直轴V与这些用语未必一致。

三维位置信息生成处理部1b关于水平轴H及垂直轴V的任意的坐标值，计算在该坐标值处映现的被摄体在实际空间中相对于立体相机2的三维坐标值，并作为三维位置信息而进行输出。三维位置信息例如使用如下坐标值来表示，即该坐标值以立体相机2的中央正下方的路面为原点，将车宽度方向设为X轴，将上下方向设为Y轴且将前后方向设为Z轴。

由三维位置信息生成处理部1b进行的三维位置信息的生成对于由立体相机2拍摄的图像的全部帧而进行。

路上物体检测部1c基于由三维位置信息生成处理部1b计算的三维位置信息，来检测在车辆正在行驶的路面上存在的物体即路上物体。具体地，路上物体检测部1c首先基于三维位置信息，检测车辆正在行驶的路面。然后，路上物体检测部1c从三维位置信息中，将处于比路面高的位置并且满足预定的条件而聚集的数据组群组化，并将这些数据组检测作为路上物体。路上物体例如包含车辆、行人、标识、侧壁等。

由路上物体检测部1c进行的路上物体的检测对于由立体相机2拍摄的图像的全部帧而进行。

边缘检测部1d对基准图像进行使用了亮度值的8方向的边缘检测处理。8方向是基准图像的与水平轴H平行的右方及左方、与垂直轴V平行的上方及下方、与相对于水平轴H顺时针倾斜了45度的轴平行的右下方及左上方、与相对于水平轴H顺时针倾斜了135度的轴平行的右上方及左下方。

例如，边缘检测部1d在进行关于右下方向的边缘检测处理的情况下，在基准图像的与相对于水平轴H顺时针倾斜了45度的轴平行的线上将朝向右下方的情况下的亮度值的微分值成为预定阈值以上的点检测为边缘。

边缘检测部1d输出将表示边缘的位置的点(边缘点)的坐标值与进行边缘检测处理的方向相关联而成的信息，作为边缘检测处理的结果。

边缘检测部1d能够仅关于前述8方向中的所指定的一个或多个方向进行边缘检测处理。在由边缘检测部1d进行的边缘检测处理中，通过减少进行边缘检测处理的方向的数量，能够缩短处理所消耗的时间。此外，如果减小由边缘检测部1d进行边缘检测处理的图像的范围，则能够缩短处理所消耗的时间。

由于对图像的关于8方向分别的边缘检测处理是通常的技术，所以省略详细的说明。

侧壁信息计算部1e基于由三维位置信息生成处理部1b得到的三维位置信息和由边缘检测部1d进行的边缘检测处理的结果，识别基准图像中的侧壁，并将其结果作为侧壁信息而进行输出。

图3是由侧壁信息计算部1e进行的侧壁信息计算处理的流程图。图3所示的侧壁信息计算处理对于由立体相机2拍摄的图像的全部帧而进行。

在侧壁信息计算处理中，首先在步骤S110，侧壁信息计算部1e通过边缘检测部1d执行基准图像的左半区域内的下方及右下方这2方向的边缘检测处理，以及基准图像的左半区域内的上方及左上方这2方向的边缘检测处理中的一种边缘检测处理或这两种边缘检测处理。并且，在基准图像的左半区域内，提取具有从左下方朝向右上方的轮廓线的被摄体的边缘点组，作为侧壁候选边缘点组。

步骤S110由于对基准图像的一半区域执行2方向或4方向的边缘检测处理，所以与对整个基准图像执行8方向的边缘检测处理的情况相比，以短时间来完成。

接着，在步骤S120，侧壁信息计算部1e执行由边缘检测部1d进行的基准图像的右半区域内的下方及左下方这2方向的边缘检测处理，以及基准图像的右半区域内的上方及右上方这2方向的边缘检测处理中的一种边缘检测处理或这两种边缘检测处理。并且，在基准图像的右半区域内，提取具有从右下方朝向左上方的轮廓线的被摄体的边缘点组，作为侧壁候选边缘点组。

步骤S120由于对基准图像的一半区域执行2方向或4方向的边缘检测处理，所以与对整个基准图像执行8方向的边缘检测处理的情况相比，以短时间来完成。

应予说明，步骤S110及步骤S120可以按相反的顺序进行，也可以同时进行。

在基准图像的左半部，映现出存在于车辆的左侧的被摄体。并且，在车辆的左侧，具有从左下方朝向右上方的轮廓线的被摄体是沿着道路配置的护栏等侧壁、表示车道的线状的路面标示、或在车辆的侧方处于停车中或正在行驶的其他车辆的可能性高。

此外，在基准图像的右半部，映现出存在于车辆的右侧的被摄体。并且，在车辆的右侧，具有从右下方朝向左上方的轮廓线的被摄体是沿着道路配置的护栏等侧壁、表示车道的线状的路面标示、或在车辆的侧方处于停车中或正在行驶的其他车辆的可能性高。

因此，具有成为在步骤S110及步骤S120提取的侧壁候选边缘点组的边缘的被摄体是侧壁、路面标示或其他车辆的可能性高。

接着，在步骤S130，侧壁信息计算部1e获取在侧壁候选边缘点组中包含的边缘点的三维位置信息。

接着，在步骤S140，侧壁信息计算部1e提取侧壁候选边缘点组中的距路面预定的高度以上的侧壁候选边缘点组。在本实施方式中，作为一例，侧壁信息计算部1e提取处于距路面30cm以上的高度的侧壁候选边缘点组。即，在步骤S140，被摄体中的与路面标示和/或低的路缘石的轮廓线对应的侧壁候选边缘点组被排除。

接着在步骤S150，侧壁信息计算部1e提取在步骤S140提取出的侧壁候选边缘点组中的、在前后方向上预定的长度以上的侧壁候选边缘点组。在此，侧壁候选边缘点组的长度是某侧壁候选边缘点组中所包含的最接近于车辆的边缘点与距车辆最远的边缘点之间的距离。在本实施方式中，作为一例，侧壁信息计算部1e提取长度20m以上的侧壁候选边缘点组。通过步骤S150的执行，与在路面上正在行驶或停止中的其他车辆的轮廓线对应的侧壁候选边缘点组被排除。

通过步骤S140及步骤S150的执行，在车辆的左右，提取出位于距路面预定的高度以上的位置并且长度为预定的长度以上的侧壁候选边缘点组。

接着，在步骤S160，侧壁信息计算部1e判定在步骤S150提取出的侧壁候选边缘点组是否为多个。

在步骤S160的判定中，在判定为侧壁候选边缘点组不是多个的情况下，侧壁信息计算部1e转到步骤S170。即，当在步骤S150提取出的侧壁候选边缘点组为一个时，转到步骤S170。

在步骤S170，侧壁信息计算部1e基于一个侧壁候选边缘点组，将路上物体检测部1c所检测的路上物体识别为一个侧壁。

另一方面，在步骤S160的判定中，在判定为侧壁候选边缘点组是多个的情况下，侧壁信息计算部1e转到步骤S200。

在步骤S200，侧壁信息计算部1e计算存在多个的侧壁候选边缘点组中的在前后方向上不重叠的侧壁候选边缘点组彼此的前后方向上的分离距离。一对侧壁候选边缘点组间的前后方向上的分离距离是处于接近于车辆的位置的侧壁候选边缘点组中所含的距车辆最远的边缘点(远点)与处于距车辆较远的位置的侧壁候选边缘点组中所含的最接近于车辆的边缘点(近点)之间的距离。

接着在步骤S210，侧壁信息计算部1e执行群组化处理，该群组化处理将在步骤S150提取出的多个侧壁候选边缘点组中的被推定为是与连续的侧壁相关的侧壁候选边缘点组的集合设为同一群组。

图4是在步骤S210执行的多个侧壁候选边缘点组的群组化处理的流程图。

在多个侧壁候选边缘点组的群组化处理中，首先在步骤S310，侧壁信息计算部1e将多个侧壁候选边缘点组中的在前后方向上一部分重叠并且在车宽度方向上以预定的距离以下的距离相邻的侧壁候选边缘点组彼此设为同一群组。例如，侧壁信息计算部1e将在前后方向上一部分重叠并且车宽度方向上的分离距离为0.5m以下的多个侧壁候选边缘点组设为同一群组。

图5中示出与Y轴平行地从上方观看多个侧壁候选边缘点组的X－Z坐标的一例。在图5中，图中的上下方向是车辆100的前后方向，图中的上方是车辆100的行进方向。在图5中，示出5个侧壁候选边缘点组G1～G5的例子。

在步骤S310中，图5所示的侧壁候选边缘点组中的如G1及G2那样在前后方向上一部分重叠并且在车宽度方向上相邻的侧壁候选边缘点组彼此被设为同一群组。应予说明，在图5所示的例子中，虽然G1及G2与G4也在前后方向上一部分重叠，但是G4由于与G1及G2在车宽度方向上大幅地分离，所以被设为不同的群组。

接着，在步骤S320，侧壁信息计算部1e将多个侧壁候选边缘点组中的虽然在前后方向上不重叠但最短的分离距离为第一距离以下的侧壁候选边缘点组彼此设为同一群组。在本实施方式中，作为一例，第一距离是车辆100的车宽度尺寸。车辆100的车宽度尺寸如前所述存储于存储部1a。

在步骤S320，图5所示的多个侧壁候选边缘点组中的如G4及G5那样虽然在前后方向上不重叠但最短的分离距离为车辆100的车宽度W以下的侧壁候选边缘点组彼此被设为同一群组。应予说明，在图5所示的例子中，如G1及G2与G3那样最短的分离距离比车辆100的车宽度W长的侧壁候选边缘点组彼此被设为不同的群组。

在多个侧壁候选边缘点组的群组化处理执行后，侧壁信息计算部1e转到步骤S220。在步骤S220，侧壁信息计算部1e基于一个或多个侧壁候选边缘点组的群组，将路上物体检测部1c所检测的路上物体识别为一个侧壁。

即，在本实施方式中，侧壁信息计算部1e将路上物体检测部1c在处于最短的分离距离为第一距离以下的关系的多个侧壁候选边缘点组的位置处所检测的路上物体识别为一个连续的侧壁。

如以上所说明，本实施方式的图像处理装置1是基于使用立体相机2对车辆的行进方向进行拍摄而得到的一对图像来识别被摄体的三维位置信息的图像处理装置1，其具备边缘检测部1d和侧壁信息计算部1e，所述边缘检测部1d基于作为一对图像之一的基准图像的亮度值，对于位于车辆的左侧的被摄体检测水平的轮廓线及从左下方朝向右上方的轮廓线，并对于位于车辆的右侧的被摄体检测水平的轮廓线及从右下方朝向左上方的轮廓线，所述侧壁信息计算部1e基于具有由边缘检测部1d检测出的轮廓线的被摄体的三维位置信息，识别具有所述轮廓线的被摄体中的与路面相比位于预定的高度以上的位置并且在车辆的前后方向上的长度为预定的长度以上的被摄体作为侧壁。

在具有这样的构成的本实施方式的图像处理装置1中，边缘检测部1d关于基准图像的左半部进行下方及右下方的边缘检测处理、和上方及左上方的边缘检测处理中的至少一种边缘检测处理，关于基准图像的右半部进行下方及左下方的边缘检测处理、和上方及右上方的边缘检测处理中的至少一种边缘检测处理。即，本实施方式的边缘检测部1d关于基准图像的2个区域分别进行2方向或4方向的边缘检测处理。

因此，在本实施方式的图像处理装置1中，与使用了样本图像的模式匹配处理相比，能够减轻识别侧壁的处理的负荷。

此外，本实施方式的图像处理装置1的侧壁信息计算部1e在识别出多个侧壁的情况下，将侧壁之间的分离距离为预定的第一距离以下的侧壁彼此识别为同一侧壁。

例如，在侧壁的颜色和/或形状在中途发生了变化的情况下，即使是同一侧壁，有时通过边缘检测处理检测的侧壁候选边缘点组也会中断，但是本实施方式的侧壁信息计算部1e能够将这些侧壁候选边缘点组识别为同一侧壁。

本发明不限于上述的实施方式，在不背离从权利要求的范围及说明书全体领会的发明的主旨或思想的范围内能够适宜变更，伴有这样的变更的图像处理装置也另外包含于本发明的技术范围。

Claims (3)

1.一种图像处理装置，其特征在于，基于一对图像来识别被摄体的三维位置信息，所述一对图像是使用立体相机对车辆的行进方向进行拍摄而得到的图像，所述图像处理装置具备：

边缘检测部，其基于所述一对图像之一的基准图像的亮度值，对于位于所述车辆的左侧的被摄体检测从左下方朝向右上方的轮廓线，并对于位于所述车辆的右侧的被摄体检测从右下方朝向左上方的轮廓线；以及

侧壁信息计算部，其基于具有由所述边缘检测部检测出的所述轮廓线的被摄体的所述三维位置信息，将具有所述轮廓线的所述被摄体中的与路面相比位于预定的高度以上的位置并且在所述车辆的前后方向上的长度为预定的长度以上的被摄体识别为侧壁。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述侧壁信息计算部在识别出多个所述侧壁的情况下，将所述侧壁之间的分离距离为预定的距离以下的侧壁彼此识别为同一侧壁。

3.根据权利要求2所述的图像处理装置，其特征在于，

所述预定的距离为所述车辆的宽度。