CN109997149A - 信息处理设备、成像设备、设备控制系统、移动体、信息处理方法和信息处理程序 - Google Patents

Abstract

根据本发明的一个方面，信息处理设备包括对象区域检测单元、局部区域检测单元、对象指定单元。对象区域检测单元被配置为基于距离信息和亮度信息中的一种来检测对象区域。局部区域检测单元被配置为当通过划分检测到的对象区域所获得的划分区域满足预定条件时，将划分区域检测为局部区域。对象指定单元被配置为指定连续检测到局部区域的对象区域作为指定目标对象。

Description

信息处理设备、成像设备、设备控制系统、移动体、信息处理方 法和信息处理程序

技术领域

本发明涉及一种信息处理设备、成像设备、设备控制系统、移动体、信息处理方法和信息处理程序。

背景技术

传统上，从汽车的安全性的观点出发，例如从在与行人、汽车等碰撞的情况下如何挽救行人和保护乘员的观点出发，已经开发了汽车车身结构等。近年来，随着信息处理技术和图像处理技术的进步，正在开发高速检测人、汽车等的技术。通过使用上述技术，已知一种包括防撞系统的汽车，该防撞系统通过在碰撞之前自动制动来防止发生碰撞。防撞系统通过使用毫米波雷达装置、激光雷达装置、立体摄像装置等来测量到人、另一个车辆等的距离，并基于所测得的距离执行制动控制。利用这种配置，可以根据到人、另一个车辆等的距离来自动地制动。

专利文献1(日本未审查专利申请第2013-228987号公报)公开了一种铁路道口栅门估计设备。该铁路道口栅门估计设备将诸如横向宽度随时间流逝而增加的外部对象和在距地面的特定高度处具有预定长度的外部对象之类的外部对象中的至少一个估计为铁路道口栅门。利用这种配置，可以容易地估计铁路道口栅门的存在。

发明内容

技术问题

然而，如果防撞系统将诸如安装在高速公路、收费公路等上的电子收费(ETC)栅门处的杆或铁路道口栅门处的杆之类的对象检测为正常的三维对象，则出现以下不便。也就是说，当车辆接近ETC栅门或铁路道口栅门处的杆时，防撞系统发出警报声，使驾驶员感到不适。因此，尽管诸如ETC栅门或铁路道口栅门处的杆之类的对象是车辆的障碍物，但优选的是精确地检测对象并将该对象从防撞系统的检测目标对象中排除。

本发明是鉴于上述问题而完成的，其目的在于提供能够精确地检测对象的信息处理设备、成像设备、设备控制系统、移动体、信息处理方法以及信息处理程序。

技术方案

根据本发明的一个方面，信息处理设备包括对象区域检测单元、局部区域检测单元、对象指定单元。对象区域检测单元被配置为基于距离信息和亮度信息中的一种来检测对象区域。局部区域检测单元被配置为当通过划分检测到的对象区域所获得的划分区域满足预定条件时，将划分区域检测为局部区域。对象指定单元被配置为指定连续检测到局部区域的对象区域作为指定目标对象。

发明的有益效果

根据本发明的实施方式，可以精确地检测对象。

附图说明

图1是示出作为根据实施方式的设备控制系统的车辆中提供的立体摄像机的位置的图。

图2是示出包括在车辆中的立体摄像机及立体摄像机的周边的配置的图。

图3是示出包括立体摄像机的成像设备的配置示例的图。

图4是示出根据实施方式的设备控制系统的软件配置的图。

图5是通过使图像处理设备的CPU执行三维对象识别程序而实现的功能的功能框图。

图6是通过使图像处理设备的CPU执行三维对象识别程序而实现的详细功能的功能框图。

图7是示出映射图像的示例的图。

图8是示出对象检测结果的示例的图。

图9是用于说明由排除目标判定单元执行的从映射图像中检测作为杆状对象检测候选物的对象的操作的流程图。

图10是用于说明用于杆状对象检测处理的基本特征量的图。

图11是示出背景视差检测操作的流程的流程图。

图12A是示出作为杆状对象检测候选物的区域的示意图。

图12B是对象视差分布图。

图12C是背景视差分布图。

图13是示出第一局部杆区域检测处理的流程的流程图。

图14是示出第一局部杆区域检测处理中的杆状对象的检测结果的图。

图15是示出第二局部杆区域检测处理的流程的流程图。

图16是示出第二局部杆区域检测处理中的杆状对象的检测结果的图。

图17是示出横幅区域检测处理的流程的流程图。

图18是示出横幅区域检测处理中的杆状对象的检测结果的图。

图19是示出杆区域整合处理的流程的流程图。

图20是示出杆区域整合处理中的杆状对象的检测结果的图。

图21A是用于说明根据对象的倾斜判定是否将该对象用作用于杆状对象的检测目标的操作的图。

图21B是用于说明根据对象的倾斜来判定是否将该对象用作用于杆状对象的检测目标的操作的图。

图22是用于说明从对象检测输出中剔除被检测为杆状对象的所有对象的处理的图。

图23是用于说明从对象检测输出中消除被检测为杆状对象的一些对象的处理的图。

具体实施方式

下面将参照附图描述设备控制系统的实施方式。

系统配置

如图1所示，根据实施方式的设备控制系统设置在车辆1的挡风玻璃等上，并且包括立体摄像机2，该立体摄像机2拍摄行进方向的前侧的预定成像范围内的图像。如后面参照图3所述，立体摄像机2是包括两个图像传感器22并且拍摄左视图和右视图的两个图像的成像单元。

图2是示出作为移动体的一个示例的车辆1中包括的立体摄像机2和该立体摄像机的周边的配置示例的图。例如，立体摄像机2将拍摄的两个图像输出到车辆发动机控制单元(ECU)3。车辆ECU 3安装在车辆1中，并且执行车辆1的控制，例如车辆1的发动机控制、制动控制、行驶车道保持辅助或转向辅助。车辆ECU 3是控制单元的一个例子。虽然下面将描述作为移动体的一个例子的车辆，但是根据该实施方式的设备控制系统也可应用于船舶、飞机、机器人等。

成像设备的配置

图3是示出包括立体摄像机2的成像设备4的配置示例的图。例如，成像设备4包括立体摄像机2和图像处理设备30。立体摄像机2包括用作左眼的摄像机单元2a和用作右眼的摄像机单元2b，摄像机单元2a和2b彼此平行地(水平地)组装，并且拍摄成像目标区域的运动图像(或静止图像)。

摄像机单元2a和2b中的每一个都包括镜头21、图像传感器22和传感器控制器23。例如，图像传感器22是电荷耦合器件(CCD)图像传感器或互补式金属氧化物半导体(CMOS)图像传感器。例如，传感器控制器23对图像传感器22执行曝光控制、图像读出控制、与外部电路的通信、图像数据传输控制等。

例如，图像处理设备30设置在图2所示的车辆ECU 3内。例如，图像处理设备30包括数据总线300、串行总线302、中央处理器(CPU)304、现场可编程门阵列(FPGA)306、只读存储器(ROM)308、随机存取存储器(RAM)310、串行接口(IF)312和数据IF 314。

上述立体摄像机2经由数据总线300和串行总线302连接至图像处理设备30。CPU304控制图像处理设备30的整个操作，并执行图像处理和图像识别处理。由每个摄像机单元2a、2b的图像传感器22拍摄的拍摄图像的亮度图像数据经由数据总线300被写入图像处理设备30的RAM 310。从CPU 304或FPGA 306提供的用于改变传感器曝光值的控制数据、用于改变图像读出参数的控制数据、各种设置数据等经由串行总线302发送和接收。

FPGA 306通过执行需要对存储在RAM 310中的图像数据实时执行的处理，例如，伽马校正、失真校正(左图像和右图像的并行化)或通过块匹配的视差计算，来生成视差图像，并再次将视差图像写入RAM 310。CPU 304控制立体摄像机2的每个传感器控制器23和整个图像处理设备30。例如，CPU 304经由数据IF 314获取关于主体车辆的控制器局域网络(CAN)信息作为参数(车辆速度、加速度、转向角、偏航率等)。

例如，检测目标(识别目标)的检测数据(识别数据)经由串行IF 312提供给车辆ECU 3，并被用在作为车辆ECU 3的控制功能而设置的自动制动系统、驾驶辅助系统等中。自动制动系统对车辆1执行制动控制。驾驶辅助系统对车辆1执行行驶车道保持辅助、转向辅助等。

图像处理设备中提供的软件

图4示出了图像处理设备30中提供的软件。如图4所示，图像处理设备30具有常数参数52、杆区域检测参数53和三维对象识别程序51。每个软件的存储位置存储在诸如ROM308或RAM 310的存储单元中。常数参数52是用于判定杆区域检测排除目标的参数。杆区域检测参数53是用于检测杆区域的参数。三维对象识别程序51是用于执行情况识别、预测、对象识别等的程序。

CPU 304根据三维对象识别程序51通过使用存储在RAM 310中的亮度图像数据和视差图像数据来执行诸如情况识别的各种处理，并且检测(识别)检测目标，例如前方车辆。CPU 304还执行图像数据剔除处理。CPU 304还根据三维对象识别程序51执行将在后面描述的杆状对象检测处理。在本实施方式中，将说明杆状对象用作检测目标；然而，这只是一个例子。下面描述的本实施方式的对象检测方法可以应用于除了杆状对象之外的对象，并且可以以优选的方式检测对象。

三维对象识别程序的功能

图5示出了通过使CPU 304执行三维对象识别程序51而实现的功能的功能块。如图5所示，CPU 304通过执行三维对象识别程序51来实现排除目标判定单元61、杆区域检测单元62和杆区域消除单元63的功能。

图6示出了排除目标判定单元61、杆区域检测单元62和杆区域消除单元63的详细功能。如图6所示，排除目标判定单元61包括短距离对象检测单元71、重叠处理单元72和排除处理单元73。杆区域检测单元62包括第一局部杆区域检测单元81、第二局部杆区域检测单元82、横幅区域检测单元83和杆区域指定单元84。杆区域消除单元63包括倾斜判定单元91、消除判定单元92和消除处理单元93。短距离对象检测单元71是对象区域检测单元的一个示例。第一局部杆区域检测单元81是第一局部区域检测单元的一个示例。第二局部杆区域检测单元82是第二局部区域检测单元的一个示例。杆区域指定单元84是对象指定单元的一个示例。排除处理单元73是排除单元的一个示例。消除处理单元93是消除单元的一个示例。

在该例子中，排除目标判定单元61到杆区域消除单元63由软件实现；然而，排除目标判定单元61到杆区域消除单元63的一部分或全部可以由诸如集成电路(IC)的硬件实现。

三维对象识别程序51可以通过以计算机可安装或计算机可执行文件格式记录在诸如光盘ROM(CD-ROM)或软盘(FD)的计算机可读记录介质中来提供。此外，三维对象识别程序51可以通过记录在诸如可记录CD(CD-R)、数字多功能光盘(DVD)、蓝光光盘(注册商标)或半导体存储器的计算机可读记录介质上来提供。此外，三维对象识别程序51可以通过经由诸如因特网的网络进行安装来提供。此外，三维对象识别程序51可以通过被预先包含在设备的ROM等中来提供。

实施方式中的操作

根据实施方式的设备控制系统根据由立体摄像机2拍摄的拍摄图像生成视差图像，在视差图像中竖直位置、横向位置和深度位置彼此相关联。此外，根据实施方式的设备控制系统基于视差图像生成映射图像(鸟瞰图图像或俯视图图像)，在映射图像中横向位置和深度位置彼此相关联。图7示出了映射图像的一个示例。根据实施方式的设备控制系统在映射图像上检测作为杆状对象的检测候选物的对象区域，并判定用作检测候选物的对象区域是否对应于杆状对象。然后，设备控制系统从映射图像中消除被判定为杆状对象的全部或部分检测候选物，基于从中消除了杆状对象的映射图像来检测诸如障碍物的对象，然后执行制动控制、驾驶辅助等。利用这种配置，可以以优选的方式执行驾驶辅助控制，而不受ETC栅门、铁路道口栅门等处的杆的影响。

当要形成映射图像时，优选从视差图像指定路面形状，并且仅使用位于真实空间中的路面上方的信息。这可以在对象检测中去除噪声。路面可以通过各种公知的方法来指定；例如，可以使用在日本未审查专利申请第2008-65634号公报中描述的道路模型的线性方程，该文献是本文提及的文献。在下文中，距路面的高度可以用于本实施方式的对象检测中的判定，并且在这种情况下，使用关于通过上述公知方法从视差图像指定的路面信息。

在下文中，将描述检测杆状对象以便从被检测为控制目标的候选物的对象区域中剔除杆状对象的例子。然而，所公开的技术当然可应用于杆状对象被积极地用作检测目标而不是剔除目标的情况。

排除目标判定处理

将包括在横向方向上连续的细长对象的区域用作杆状对象检测候选物。排除目标判定单元61给将要用作杆状对象检测候选物的区域设置表示该区域是杆状对象检测候选物的标记(信息)，并给将不用作杆状对象检测候选物的区域设置表示该区域不是杆状对象检测候选物的标记(信息)。

然而，如图8所示，在车辆1前方行驶的轻型卡车的车厢部分是在横向方向上连续的对象，因此可以被检测为包括杆状对象的检测候选区域。如果轻型卡车的车厢部分被错误地检测为杆状对象，则会发生不便，使得本来根据从车辆1到轻型卡车的车厢部分的距离执行的制动控制可能根据从车辆1到轻型卡车的驾驶座的距离来执行。

因此，当紧跟在某个对象后面检测到另一个对象时，排除目标判定单元61设置表示近侧(靠近车辆1)的对象不用作杆状对象检测候选物的标记。具体地，例如在轻型卡车的情况下，如图8所示，紧跟在车厢区域后面与车厢分开地检测到驾驶座的区域。在这种情况下，设置表示车厢区域不用作杆状对象检测候选物的标记。利用这种配置，可以从杆状对象检测处理中排除轻型卡车的车厢部分，并且根据从车辆1到轻型卡车的车厢部分的距离精确地执行制动控制等。

当配置成使得当紧跟在近侧(靠近车辆1)的特定对象后面检测到另一个对象时，不将该特定对象的区域用作杆状对象检测候选物的区域，并且例如在车辆停在停车场栅门处保持降低的杆范围之外的远侧时，难以将停车场栅门处的杆检测为杆状对象。然而，这种情况是车辆1向前移动时车辆1与停车场栅门处的杆和停在远侧的车辆碰撞的情况。因此，在紧跟在近侧(靠近车辆1)的特定对象后面检测到另一个对象时，即使该特定对象的区域不用作杆状对象检测候选物也不成问题。鉴于上述概念，下面将描述排除目标判定处理的流程。

如图9所示的流程图所示，首先，当生成上述映射图像时，图5所示的排除目标判定单元61从映射图像中检测出将要成为杆状对象检测候选物的对象区域。

步骤S1：短距离对象检测单元71提取短距离对象。

步骤S2：重叠处理单元72选择一对短距离对象。

步骤S3：排除处理单元73剔除远侧的重叠短距离对象。

步骤S4：判定映射图像上是否仍有要判定的一对短距离对象。当仍有要判定的一对短距离对象时，重复从步骤S2开始的处理。当没有要判定的一对短距离对象时，处理进行到步骤S5。

步骤S5：短距离对象检测单元71选择短距离对象。

步骤S6：重叠处理单元72判定紧跟在短距离对象后面(远侧)是否存在另一个对象。

步骤S7：当紧跟在短距离对象后面(远侧)存在另一个对象时，排除处理单元73从杆状对象检测候选物中排除短距离对象。

步骤S8：当仍有要判定的短距离对象时，重复从步骤S5开始的处理。当没有要判定的短距离对象时，终止消除目标判定处理。“短距离对象”是到车辆1的距离比特定阈值更短的距离处检测到的对象，而“另一个对象”是除了短距离对象之外也被检测到的对象。

作为从映射图像中检测对象区域的方法，可以使用各种公知的方法。例如，可以通过公知的标记处理提取一组连接的像素，并且当该组像素大于预定尺寸时，将提取的一组像素检测为对象。作为检测到的对象区域，指定围绕检测到的对象的框架。这里描述的框架是表示对象的位置和尺寸的信息，并且例如是关于框架(矩形)的拐角的坐标、框架的高度和框架的宽度的信息。

虽然在上述处理中通过使用作为视差信息的一个示例的映射图像来获得表示对象的框架，但是可以通过使用亮度信息来指定框架。在这种情况下，可以使用各种公知的方法。

具体地，排除目标判定单元61(短距离对象检测单元71)将位于相对靠近车辆1的特定距离(例如，20米)内并具有比特定高度(例如，2米)低的高度的对象检测为短距离对象。通过使用如上所述的参数，从映射图像上的所有对象中提取包括位于短距离处并具有不太高的高度的对象的区域(将成为杆状对象检测候选物的区域)(步骤S1)。

此外，排除目标判定单元61(重叠处理单元72)通过使用例如50(％)作为短距离对象的重叠率的判定阈值来执行判定是否将一个区域用作杆状对象检测候选物的排除目标判定处理。此外，排除目标判定单元61(重叠处理单元72)通过使用例如1米作为被视为与其他短距离对象相同距离的距离差的最大值来执行排除目标判定处理。然后，排除目标判定单元61(排除处理单元73)通过排除目标判定处理剔除被判定为排除目标的对象。也就是说，短距离对象的“重叠率”被用作检测最接近车辆1的短距离对象的参考，而将位于远离特定短距离对象恒定距离或更大距离的短距离对象从杆状对象检测候选物中排除(步骤S2至S4)。

这种条件基于以重叠方式检测到不同对象的假设，而不是双重检测到相同对象的假设。排除目标判定单元61(重叠处理单元72)判定在拍摄图像中彼此重叠并且位于难以被认为相同距离的位置的远位置的对象不是位于最近侧的短距离对象。如果对象满足上述条件，则排除目标判定单元61(排除处理单元73)从短距离对象中排除该对象。相反，如果对象不满足上述条件，则排除目标判定单元61(重叠处理单元72)基于下述条件进入排除目标判定处理。

如果短距离对象和另一个对象彼此重叠并且到位于远侧的另一个对象的距离短于例如2米，则排除目标判定单元61(重叠处理单元72)判定短距离对象的区域为要从杆状对象检测候选物的区域中排除的区域。此外，排除目标判定单元61(重叠处理单元72)通过使用“70(％)”作为短距离对象与另一个对象的重叠率的判定阈值来执行排除目标判定处理。然后，排除目标判定单元61(排除处理单元73)通过排除目标判定处理剔除被判定为排除目标的对象。利用这种配置，可以从杆状对象检测处理中排除轻型卡车等的车厢部分。

这种条件基于例如轻型卡车的车厢和驾驶座之间的假定关系。排除目标判定单元61判定下述对象不是杆状对象，相对于该对象，另一个对象位于远侧大约在轻型卡车的驾驶室和车厢之间的距离内并且该对象与该另一个对象在映射图像上重叠。在这种情况下，排除目标判定单元61给该对象的区域设置表示不执行杆状对象检测处理的信息(标记)。

如上所述由排除目标判定单元61执行的一系列处理不一定必须执行。然而，考虑到处理速度的提高、轻型卡车的存在以及错误检测的防止，优选执行该一系列处理。

当计算两个对象的重叠率时，排除目标判定单元61(重叠处理单元72)首先计算“重叠区域＝min(对象A的右边缘，对象B的右边缘)”-max(对象A的左边缘，对象B的左边缘)”。然后，排除目标判定单元61通过计算“(重叠区域×100)/对象A的宽度”来计算对象A的重叠率，并通过计算“(重叠区域×100)/对象B的宽度”来计算“对象B的重叠率”。

排除目标判定单元61将表示杆状对象检测候选物的标记分配给未被判定为排除目标的对象。

杆状对象检测处理

接下来，图5中所示的杆区域检测单元62判定杆状对象是否包括在由排除目标判定单元61分配了表示杆状对象检测候选物的标记的区域中。例如，电子收费(ETC)系统、铁路道口栅门等处的杆并不总被检测为单个杆，而可能与使杆上下移动的升降机一起被检测为单个对象。在这种情况下，杆区域检测单元62仅检测与作为杆状对象的杆对应的部分。

在杆状对象检测处理中，除了使用视差信息(距离信息)之外，图10所示的局部部分距路面的最大高度(顶部)和该局部部分距路面的最小高度(底部)也被用作基本特征量。杆区域检测单元62还通过使用背景视差的存在与否来执行判定对象是否是杆状对象的处理。“局部部分”是通过在图像的横向方向(宽度方向)上划分用作杆状对象检测候选物的框架而获得的部分区域(该框架是表示指示对象的位置和尺寸的矩形的信息，例如，关于矩形的拐角的坐标、矩形的高度和矩形的宽度的信息)。划分的数量是通过实验确定的。“背景视差”是位于用作杆状对象检测候选物的区域的背景中的对象的视差。

如上所述，通过使用视差信息，即使在由于杆状对象被图案化而难以通过使用亮度信息检测杆状对象时，也可以可靠地检测杆状对象。此外，通过使用关于“局部部分”的信息，即使在难以获得水平方向的视差信息时，也可以可靠地检测杆状对象(视差计算中的匹配处理通常在水平方向上执行，因此，通常难以获得关于水平方向的边缘的视差信息)。此外，通过使用关于“局部部分”的信息，检测上下运动的杆状对象变容易。

除了考虑背景视差之外，杆区域检测单元62还基于以下条件将包括在检测候选区域中的对象检测为杆状对象。

1.检测候选对象的顶部和底部之间的差异小(对象本身的高度低，即，对象的厚度薄)。

2.检测候选对象距路面的高度高(例如，对象底部距路面的高度高)。

3.检测候选区域中的对象的多个局部部分的顶部的高度是连续的(相邻部分之间的差异小)。

杆状对象检测处理的细节

下面将详细描述由杆区域检测单元62执行的杆状对象检测处理的细节。杆区域检测单元62通过由第一局部杆区域检测单元81执行的第一局部杆区域检测处理、由第二局部杆区域检测单元82执行的第二局部杆区域检测处理、由横幅区域检测单元83执行的横幅区域检测处理和由杆区域指定单元84执行的杆区域整合处理来检测杆状对象。不仅可以将简单的杆状对象用作检测目标，而且还可以将具有横幅的杆状对象用作检测目标。

第一局部杆区域检测处理

在要检测杆状对象时，杆区域检测单元62首先使第一局部杆区域检测单元81执行第一局部杆区域检测处理。在第一局部杆区域检测处理中，当在对象的局部部分中存在背景视差时，当该局部部分的高度(厚度)小于厚度特征量(通过假设将要被检测为杆状对象的极限厚度而通过实验确定的值)时，并且当该局部部分距路面的高度大于或等于高度特征量(通过假设从路面到杆状对象的最小高度来通过实验确定的值)时，该局部部分被检测为杆状对象的局部部分。

参照图11和图12A至图12C，下面将描述由杆区域检测单元62执行的、用于检测用作杆状对象检测候选物的区域的背景视差的处理。图11是示出选择要输出的对象区域的处理的示例的流程图。图12A是示出用作杆状对象检测候选物的区域的示意图。首先，杆区域检测单元62生成图12B所示的分布图(在下文中，被称为“对象视差分布图”)，该分布图表示与用作图12A所示的杆状对象检测候选物的区域中的对象相对应的视差范围中的视差频率之和(步骤S71)。可以通过各种方法指定该区域中的对象。例如，可以通过公知的对象识别处理来指定对象，或者可以将该区域中的最频繁的视差范围组用作对象。

随后，杆区域检测单元62生成图12C所示的分布图(在下文中，被称为“背景视差分布图”)，该分布图表示视差点的视差频率之和，其中视差点表示相对于杆状对象的距离(视差)隔开预定距离或更大距离的远位置(步骤S72)。随后，杆区域检测单元62判定在该区域中是否存在对象视差分布图的值小于或等于对象视差频率阈值并且背景视差分布图的值大于或等于背景视差频率阈值的部分(步骤S73)。

当判定存在这样的部分时(步骤S73为是)，杆区域检测单元62判定该范围中存在背景(步骤S74)，并且终止图11的流程图中的处理。相反，当判定不存在这样的部分时(步骤S73为否)，杆区域检测单元62判定该范围中不存在背景(步骤S75)，并且终止图11的流程图中的处理。也就是说，杆区域检测单元62基于比用作杆状对象检测候选物的区域中的杆状对象的距离更长距离的位置的包含程度来检测背景的存在与否。

当用作杆状对象检测候选物并且检测到背景的区域中的对象的局部部分的顶部的高度与相邻的局部部分的高度之间的差异小于连续阈值(通过实验确定的值)时，第一局部杆区域检测单元81判定相邻的局部部分是连续的。通过在杆状对象检测处理中使用背景的存在与否，例如，当杆状对象和升降机以整体方式被检测到时，分开检测杆状对象和升降机变得容易。为了检测背景视差，更优选使用两个阈值，例如第一背景视差频率阈值和第二背景视差频率，第二背景视差频率是第一背景视差频率阈值的一半。利用这种配置，当在存在背景的情况下检测到局部杆一次时，通过减小检测作为横向方向上的相邻局部区域的相邻局部杆所使用的阈值，可以使背景检测更容易(通过切换为作为第一背景视差频率阈值的一半的第二背景视差频率阈值)。

第一局部杆区域检测处理的流程在图13的流程图中示出。第一局部杆区域检测单元81执行下述从步骤S11到步骤S20的处理。

步骤S11：获取从路面到顶部的高度、从路面到底部的高度、背景视差频率以及用于判定的特征量(预定值)。“背景视差频率”是位于用作杆状对象检测候选物的对象的背景中的对象的视差的频率值。

步骤S12：将背景视差频率的阈值设置为初始值。

在步骤S13和步骤S17之间重复从步骤S14到步骤S16的处理和从步骤S18到步骤S20的处理。具体地，当在步骤S14中判定包括在检测候选物中的对象的局部部分的高度小于要被检测为杆状对象的最大高度(厚度)时，重复从步骤S14到步骤S16的处理，并且顺序地更新被检测为杆状对象的局部部分。换言之，检测为杆状对象的局部部分逐渐延伸(局部部分逐渐增大)，并且最终检测整个杆状对象。如果检测到整个杆状对象，则处理从步骤S14进行到步骤S18。然后，执行将背景视差频率的阈值返回到初始值的处理，并且处理控制进行到从下一个第一局部部分检测杆状对象的处理。

步骤S14：判定对象距路面的最小高度是否大于预定的高度特征量、背景视差频率是否大于背景视差频率阈值以及对象的高度(厚度)是否小于预定的厚度特征量。

步骤S15：当在步骤S14中判定为“是”时，将经过第一局部杆区域检测处理的局部部分移动(更新)到下一个局部部分。

步骤S16：将背景视差频率阈值改变为初始值的一半。

步骤S18：判定是否在不是对象的局部部分的区域上连续重复第一局部杆区域检测处理两次。在“否”的情况下，处理返回到步骤S14。

步骤S19：当在步骤S18中判定为“是”时，将背景视差频率阈值返回到初始值，以对作为下一个检测候选物的区域执行第一局部杆区域检测处理。

步骤S20：终止对当前执行第一局部杆区域检测处理的检测候选物的处理，并初始化各种值，以对下一个检测候选物执行第一局部杆区域检测处理。

图14示出了通过如上所述的第一局部杆区域检测处理所获得的杆状对象的检测输出。图14示出了在停车场栅门处由升降机100将杆101提升约30度的状态。横幅102设置在杆101的大致中心。在图14中，向下箭头和向上箭头之间的距离表示“杆101的宽度”和“包括横幅102的宽度的杆101的宽度”。其中设置横幅102的部分的宽度比仅设置杆101的部分的宽度宽。

当通过第一局部杆区域检测处理检测到处于上述状态的杆101时，不将设置有横幅102的部分检测为杆101，因为该部分的高度(厚度)大于或等于要被检测为杆状对象的最大高度(厚度)。此外，不将不存在背景视差的部分检测为杆101。因此，尽管实际杆101以连续的方式设置，但是在第一局部杆区域检测处理中，杆101被间断地检测为图14所示的杆检测输出R1、杆检测输出R2和杆检测输出R3。

如上所述，在第一局部杆区域检测处理中，除了预定的特征量(厚度特征量和高度特征量)之外，还通过使用背景信息来检测杆状对象的局部部分，其中背景信息通过使用关于背景视差的信息来检测；因此，可以精确地检测杆状对象。

第二局部杆区域检测处理

接下来，杆区域检测单元62使第二局部杆区域检测单元82执行第二局部杆区域检测处理。在如上所述的第一局部杆区域检测处理中，通过考虑背景视差来检测杆状对象。然而，在下面描述的第二局部杆区域检测处理中，无论背景视差存在与否，都检测下述对象，该对象的局部部分的高度小于预定的厚度特征量(通过假设杆状对象的最大高度(厚度)而通过实验确定的值)且该局部部分距路面的高度大于或等于高度特征量。

在这种情况下，与在第一局部部分杆检测处理中使用的特征量相比，第二局部部分杆检测处理中的预定的特征量(厚度特征量和高度特征量)更受限制。也就是说，使用较小的预定的厚度特征量和较高的预定的高度特征量。可以仅限制厚度特征量和高度特征量中的一个。

当对象的局部部分的顶部距路面的高度与相邻的局部部分的高度之间的差小于连续阈值时，第二局部杆区域检测单元82判定这些局部部分是连续的。利用这种配置，可以检测没有横幅的细杆部分，例如在ETC栅门或停车场栅门处的杆。在要检测没有横幅的杆时，优选的是，执行如上所述的第二局部杆区域检测处理，而不执行如上所述的第一局部杆区域检测处理。

图15是示出第二局部杆区域检测处理的流程的流程图。第二局部杆区域检测单元82执行如下所述的从步骤S21到步骤S28的处理。

步骤S21：获取从路面到顶部的高度、从路面到底部的高度以及用于判定的特征量(预定值)。在执行步骤S21的处理之后，第二局部杆区域检测单元82重复步骤S22和步骤S25之间的步骤S23、步骤S24和步骤S26至步骤S28的处理。

步骤S23：判定包括在检测候选区域中的对象的局部部分距路面的最小高度是否超过预定的高度特征量，该局部部分的高度(厚度)是否小于预定的厚度特征量以及是否在新的检测候选区域上没有开始第二局部杆区域检测处理，或者先前的局部部分的顶部与当前的局部部分的顶部之间的差是否小于连续阈值。在“是”的情况下，处理进行到步骤S24。在“否”的情况下，处理进行到步骤S26。

步骤S24：更新经过第二局部杆区域检测处理的检测候选区域，或者将局部部分的顶部更新为下一个局部部分的顶部。

步骤S26：判定包括在检测候选区域中的对象的宽度是否小于或等于宽度特征量。在“是”的情况下，处理进行到步骤S27。在“否”的情况下，处理进行到步骤S28。

步骤S27：将当前检测候选区域丢弃或初始化，以便对下一个检测候选区域执行第二局部杆区域检测处理。

步骤S28：终止第二局部杆区域检测处理或初始化各种值，以便对下一个检测候选区域执行第二局部杆区域检测处理。

图16示出了通过如上所述的第二局部杆区域检测处理所获得的杆状对象的检测输出。图16示出了升降机100、杆101和横幅102处于与图14所示的状态相同的状态。当通过第二局部杆区域检测处理来检测处于该状态的杆101时，不将设置有横幅102的部分检测为杆101，因为该部分的高度(厚度)大于或等于杆状对象的最大高度(厚度)。

此外，在第二局部杆区域检测处理中，无论背景视差存在与否，都检测杆状对象。因此，与如上所述的第一局部杆区域检测处理不同，在第二局部杆区域检测处理中，甚至在存在背景视差的部分中检测杆101。因此，在第二局部杆区域检测处理中，除了设置横幅102的部分之外，连续的杆101被间断地检测为杆检测输出R11和杆检测输出R12。

如上所述，在第二局部杆区域检测处理中，不使用背景信息并且与用于第一局部部分杆检测处理的特征量相比，用于检测的特征量(厚度特征量或高度特征量)更受限制；因此，可以用简单的处理精确地检测杆状对象。

横幅区域检测处理

接下来，杆区域检测单元62使横幅区域检测单元83执行横幅区域检测处理。在横幅区域检测处理中，检测杆状对象，包括设置在铁路栅门或停车场栅门处的杆上的横幅。横幅区域检测单元83将下述对象检测为杆状对象，在该对象中，杆状对象的高度(厚度)小于第一厚度特征量(通过假设横幅距路面的最大高度(厚度)而通过实验确定的值)，并且杆状对象的底部距离路面的高度大于或等于预定的高度特征量(通过假设横幅距路面的最小高度而通过实验确定的值)。

此外，横幅区域检测单元83判定杆是否相对于杆距路面的高度向上移动。当判定杆向上移动时，横幅区域检测单元83将高度大于或等于预定的高度特征量且厚度小于第二厚度特征量的对象检测为杆状对象。

作为判定杆是否向上移动的方法，可以应用公知的方法。在下文中，基于与对象的底部相对应的局部部分距路面的高度是否大于预定的升降阈值来执行判定。

此外，当对象的局部部分的顶部距路面的高度与相邻的局部部分的顶部的高度之间的差小于连续阈值时，横幅区域检测单元83判定对象以连续的方式设置。

如上所述的横幅区域检测处理中使用的连续阈值是小于如上所述的第一局部杆区域检测处理和第二局部杆区域检测处理中使用的连续阈值的值。因此，与如上所述的第一局部杆区域检测处理和第二局部杆区域检测处理相比，在横幅区域检测处理中更有可能将对象的局部部分以连续的方式被检测为杆状对象的局部部分。

横幅区域检测处理的流程在图17的流程图中示出。在步骤S31中，横幅区域检测单元83获取从路面到对象的局部部分的顶部的高度、从路面到对象的局部部分的底部的高度以及用于判定的特征量(预定值)，并且重复步骤S32和步骤S39之间的从步骤S33到步骤S43的处理。

步骤S33：判定与包括在检测候选区域中的对象的底部相对应的局部部分距路面的高度是否大于预定的高度特征量。

步骤S34：当判定与对象的底部相对应的局部部分距路面的高度小于预定的升降阈值时(步骤S33中为否)，设置第一厚度阈值(当具有横幅的杆保持降低时使用的厚度阈值)。

步骤S40：当判定与对象的底部相对应的局部部分距路面的高度大于预定的升降阈值时(步骤S33中为是)，设置第二厚度阈值(当具有横幅的杆向上移动时使用的厚度阈值)。

步骤S35：判定与对象的底部相对应的局部部分距路面的高度是否大于预定的高度阈值。

步骤S36：当判定与对象的底部相对应的局部部分距路面的高度大于预定的高度阈值时(步骤S35中为是)，判定先前的顶部与当前的顶部之间的差是否小于连续阈值。

步骤S37：判定对象的局部部分的高度(厚度)是否小于或等于在步骤S34或步骤S40中设置的厚度阈值。

步骤S38：移动(更新)横幅区域检测处理以便对下一个检测候选区域执行，或者将经过横幅区域检测处理的局部部分从先前的局部部分的顶部移动(更新)为下一个局部部分的顶部。

步骤S41：当在步骤S35至步骤S37判定为“否”时，判定横幅的宽度是否太窄(小于或等于宽度特征量)。

步骤S42：当横幅的宽度足够时(当在步骤S41中判定为“否”时)，终止当前执行的横幅区域检测处理，并且移动横幅区域检测处理以便对下一个检测候选区域执行。

步骤S43：当横幅的宽度太窄时(当在步骤S41中判定为“是”时)，终止当前执行的横幅区域检测处理并初始化各种值，以便使得对下一个检测候选区域执行横幅区域检测处理。

图18示出了通过如上所述的横幅区域检测处理获得的杆状对象的检测输出。图18示出了升降机100、杆101和横幅102处于与图14所示的状态相同的状态。如上所述，横幅区域检测处理中使用的连续阈值是小于第一局部杆区域检测处理和第二局部杆区域检测处理中使用的阈值的值，并且在横幅区域检测处理中杆状对象更有可能以连续的方式被检测到。因此，尽管在第一局部杆区域检测处理和第二局部杆区域检测处理中不将横幅102的部分检测为杆状对象，但在横幅区域检测处理中检测包括横幅102的部分的杆状对象。因此，获得了表示从前端部分到后端部分连续的杆状对象的杆检测输出R21，该杆状对象对应于实际杆101。

如上所述，在横幅区域检测处理中，除了考虑横幅的高度之外，横幅的高度的阈值还能够基于杆保持降低还是杆向上移动而改变。这是因为当杆上下移动时，局部部分的横幅的高度(厚度)的波动大。利用这种配置，甚至可以精确地检测具有横幅的杆状对象。

杆检测输出整合处理

接下来，当第一局部杆区域检测单元81检测到杆检测输出R1、R2和R3时，当第二局部杆区域检测单元82检测到杆检测输出R11和R12时，并且当横幅区域检测单元83检测到杆检测输出R21时，杆区域指定单元84执行对检测输出R1、R2、R3、R11、R12和R21整合的处理。整合处理的基本概念是基于第一杆区域和第二杆区域是否包括在横幅区域中的标准，将多个输出整合为作为最终指定目标的杆状对象。图19是示出由杆区域指定单元84执行的杆区域整合处理的流程的流程图。

步骤S51：获取由第一局部杆区域检测单元81检测到的杆检测输出R1、R2和R3以及由第二局部杆区域检测单元82检测到的杆检测输出R11和R12。

步骤S52：杆检测输出R1、R2、R3、R11和R12被合成(例如，相加)以生成合成杆检测输出R31和R32(合成杆区域)，并计算合成杆水平长度，该合成杆水平长度是每个合成杆在水平方向上的长度。

步骤S53：判定合成杆的水平长度是否小于或等于预先设置的第一水平长度特征量(合成杆在水平方向上的最小检测宽度)。

步骤S54：当合成杆的水平长度小于或等于预先设置的第一水平长度特征量(合成杆在水平方向上的最小检测宽度)时(步骤S53为是)，为该对象设置合成杆标记。

步骤S55：获取由横幅区域检测单元83检测到的杆检测输出R21。

步骤S56：计算具有横幅的杆的实际长度和水平长度。

步骤S57：判定具有横幅的杆的水平长度是否大于或等于预先设置的第二水平长度特征量(横幅区域在水平方向上的最小检测宽度)以及具有横幅的杆的实际长度是否大于或等于长度特征量(横幅区域的最小检测长度)。

步骤S58：当具有横幅的杆的水平长度大于或等于预先设置的第二水平长度特征量(横幅区域在水平方向上的最小检测宽度)，并且具有横幅的杆的实际长度大于或等于长度特征量(步骤S57为是)时，为该对象设置横幅标记。

步骤S59：判定合成杆的区域是否包括在具有横幅的杆的区域中。

步骤S60：设置表示具有横幅的杆的区域包括合成杆的区域的包含标记。

步骤S61：判定是否设置了包含标记并设置了横幅标记。

步骤S62：在步骤S61为“是”的情况下，将具有横幅的杆的区域指定为最终杆区域(在本实施方式中，设置为删除目标)。

步骤S63：在步骤S59为“否”的情况下或在步骤S61为“否”的情况下，判定是否仍然设置了在步骤S54中设置的合成杆标记。如果未设置合成杆标记(步骤S63为否)，则终止处理。

步骤S64：在设置合成杆标记时(步骤S63为是)，将合成杆区域指定为最终杆区域(在本实施方式中，设置为删除目标)。

以这种方式，基于第一杆区域和第二杆区域是否包括在横幅区域中来执行向作为最终指定目标的杆区域的整合；因此，与仅执行一个检测处理的情况相比，可以更精确地检测杆状对象。此外，通过另外使用横幅区域的长度或第一杆区域和第二杆区域的长度作为标准，可以防止错误的检测并精确地检测杆状对象。

图20是示意性示出由如上所述的杆区域指定单元84执行的杆区域整合处理的图。如图20所示，杆区域指定单元84执行将由第一局部杆区域检测单元81检测到的杆检测输出R1、R2和R3与由第二局部杆区域检测单元检测到的杆检测输出R11和R12相加的处理，由此生成合成杆检测输出R31和R32。然后，当整个合成杆检测输出R31和R32包括在横幅区域检测处理中检测到的杆检测输出R21中时，杆区域指定单元84判定在横幅区域检测处理中检测到的杆检测输出R21是有效的，并将其作为最终杆检测输出R41输出。

然而，当在横幅区域检测处理中检测到的杆检测输出R21包括合成杆检测输出R31和R32(步骤S59为是)并且在步骤S60中设置包含标记时，并且如果在步骤S58中设置横幅标记(步骤S61为是)，则杆区域指定单元84将在横幅区域检测处理中检测到的杆检测输出R21的整个区域指定为杆区域R41(设置为删除目标)(步骤S62)。

相反，当合成杆检测输出R31和R32没有包括在横幅区域检测处理中检测到的杆检测输出R21中时(步骤S59为否)，或者当未设置横幅标记时(步骤S61为否)，并且如果设置了合成杆标记(步骤S63为是)，则杆区域指定单元84将合成杆检测输出R31和R32指定为杆区域R41(删除设置)(步骤S64)。

如上所述，在整合杆检测输出的处理中，如果检测输出R21合适，则优先使用横幅区域检测处理的检测输出R21(检测结果)，而如果横幅区域检测处理的检测结果不合适，但检测输出R31和R32合适，则使用合成杆检测输出R31和R32(检测结果)。在本实施方式中，整合了第一局部杆检测处理和第二局部杆检测处理和横幅区域检测处理的检测输出；然而，可以选择性地实现任何检测处理。

杆区域消除处理

接下来，图5所示的杆区域消除单元63从上述映射图像中消除与最终杆检测输出R41对应的杆区域中的被判定为要被消除(设置为删除)的杆区域。不从映射图像中消除已经被判定从杆区域消除中排除的对象。

首先，杆区域消除单元63使倾斜判定单元91判定与最终杆检测输出R41对应的杆区域中的杆状对象的倾斜，并判定是否从映射图像中消除杆状对象。具体地，如图21B所示，升降机100等的杆在向外的方向上向上移动。相反，如图21A所示，车辆的支柱等在向外的方向上从车辆的车身的车顶侧到车轮侧向下设置。倾斜判定单元91基于杆状对象的倾斜方向的差异来执行杆区域消除判定处理。

例如，在杆状对象在向外的方向上向下倾斜15度或更大时，消除判定单元92判定杆状对象不是停车场栅门、铁路道口栅门等处的杆，并且判定不从映射图像中消除杆状对象。

更具体地，当杆区域位于被检测到的矩形(被检测到的对象区域)的左侧并且向左下方倾斜时，例如杆区域表示诸如车辆左侧的支柱之类的对象，而不是杆。在这种情况下，消除判定单元92判定不执行杆区域消除。

类似地，当杆区域位于被检测到的矩形(被检测到的对象区域)的右侧并向右下方倾斜时，例如杆区域表示诸如车辆右侧的支柱之类的对象，而不是杆。在这种情况下，消除判定单元92不执行杆区域消除。

随后，杆区域消除单元63的消除处理单元93基于如上所述的条件从映射图像中消除整个杆区域，或者从映射图像中消除杆区域的一部分。

图像处理设备30基于如上所述消除了杆区域的映射图像来检测诸如前方车辆、路面、行人或护栏之类的对象，并向车辆ECU 3提供对象检测结果(图3所示的识别数据)。车辆ECU 3基于前方车辆等的识别数据来执行诸如自动制动控制、行驶车道保持辅助或转向辅助之类的行驶辅助。

利用这种配置，防撞系统可以有助于防撞系统的有利操作，例如当车辆1接近ETC栅门、铁路道口栅门等处的杆时防止表示接近对象的警报声的操作，从而防止驾驶员感到不适。

通过举例的方式描述了上述实施方式，上述实施方式并不意图限制本发明的范围。每个新颖的实施方式都可以以各种其他形式实施，并且可以在不脱离本发明的精神的范围内进行各种省略、替换和修改。例如，可以等效地处理距离的值(距离值)和视差值。因此，尽管在上述实施方式中将视差图像描述为距离图像的一个例子，但是本发明不限于此。例如，相对于通过使用立体摄像机生成的视差图像，可以通过整合距离信息来生成距离图像，距离信息通过使用诸如毫米波雷达或激光雷达的检测装置来生成进行。此外，可以使用立体摄像机和诸如毫米波雷达或激光雷达的检测装置两者，并且将检测结果与如上所述的立体摄像机获得的对象检测结果组合，从而进一步改善检测精度。

实施方式及实施方式的修改包括在本发明的范围和精神内，并且也包括在所附权利要求中描述的发明和等效范围内。

附图标记列表

1 车辆

2 立体摄像机(成像单元)

2a 摄像机单元

2b 摄像机单元

3 车辆ECU

4 成像设备

30 图像处理设备

51 三维对象识别程序

52 常数参数

53 杆区域检测参数

61 排除目标判定单元

62 杆区域检测单元

63 杆区域消除单元

71 短距离对象检测单元

72 重叠处理单元

73 排除处理单元

81 第一局部杆区域检测单元

82 第二局部杆区域检测单元

83 横幅区域检测单元

84 杆区域指定单元

91 倾斜判定单元

92 消除判定单元

93 消除处理单位

引用列表

专利文献

专利文献1：日本未经审查的专利申请第2013-228987号公报

Claims (12)

1.一种信息处理设备，其包括：

对象区域检测单元，其被配置为基于距离信息和亮度信息中的一种来检测对象区域；

局部区域检测单元，其被配置为当通过划分检测到的对象区域所获得的划分区域满足预定条件时，将所述划分区域检测为局部区域；以及

对象指定单元，其被配置为将连续检测到所述局部区域的所述对象区域指定为指定目标对象。

2.根据权利要求1所述的信息处理设备，其中，当所述划分区域中的对象的厚度和所述对象距路面的高度中的一个满足预定条件时，所述局部区域检测单元将所述划分区域检测为所述局部区域。

3.根据权利要求1或2所述的信息处理设备，其中：

所述局部区域检测单元包括第一局部区域检测单元，并且

当所述划分区域中存在远离所述对象区域中的对象的区域时，所述第一局部区域检测单元将所述划分区域检测为所述局部区域。

4.根据权利要求3所述的信息处理设备，其中，所述局部区域检测单元还包括第二局部区域检测单元，

当所述划分区域中的对象的厚度小于第一厚度特征量的条件和所述对象距路面的高度大于第一高度特征量的条件中的至少一个条件被满足时，所述第一局部区域检测单元将所述划分区域检测为第一局部区域，

当所述划分区域中的对象的厚度小于比所述第一厚度特征量小的第二厚度特征量的条件和所述对象距路面的高度大于比所述第一高度特征量大的第二高度特征量的条件中的至少一个条件被满足时，所述第二局部区域检测单元将所述划分区域检测为第二局部区域，并且

所述目标指定单元基于所述第一局部区域和所述第二局部区域指定所述指定目标对象。

5.根据权利要求1至4中任一项所述的信息处理设备，其中，所述局部区域检测单元根据所述局部区域距路面的高度来改变用于检测所述局部区域的条件。

6.根据权利要求1至5中任一项所述的信息处理设备，其还包括：

排除单元，其被配置为，当由所述对象区域检测单元检测到的对象具有前后位置关系并且位于表示以部分划分的方式检测到单个对象的特定距离内时，从所述指定目标对象中至少排除具有前后位置关系的对象中的位于前侧的对象。

7.根据权利要求1至6中任一项所述的信息处理设备，其还包括：

消除单元，其被配置为从由所述对象区域检测单元检测到的每个对象区域中消除与由所述对象指定单元指定的对象相对应的对象区域。

8.一种成像设备，其包括：

成像单元，其被配置为基于成像信息生成距离信息和亮度信息中的一种；以及

根据权利要求1至7中任一项所述的信息处理设备。

9.一种设备控制系统，其包括：

根据权利要求8所述的成像设备；以及

控制单元，其被配置为基于所述指定目标对象的指定结果来控制预定设备。

10.一种移动体，其由根据权利要求9所述的设备控制系统的控制单元控制。

11.一种信息处理方法，其包括：

基于距离信息和亮度信息中的一种来检测对象区域；

当通过划分检测到的对象区域所获得的划分区域满足预定条件时，将所述划分区域检测为局部区域；以及

将连续检测到所述局部区域的对象区域指定为指定目标对象。

12.一种信息处理程序，其使计算机执行：

基于距离信息和亮度信息中的一种来检测对象区域；

当通过划分检测到的对象区域所获得的划分区域满足预定条件时，将所述划分区域检测为局部区域；以及

将连续检测到所述局部区域的对象区域指定为指定目标对象。