CN107735812B - 对象识别设备、方法、装置控制系统及图像生成设备 - Google Patents

Abstract

一种视差图像生成设备包括：有效像素确定单元，其用于基于在捕获图像中的每个像素的特征值来确定有效像素；以及有效化单元，其用于使得与捕获图像对应的视差图像中的、与有效像素对应的有效视差附近的非有效视差的视差有效化。

Description

对象识别设备、方法、装置控制系统及图像生成设备

技术领域

本发明涉及对象识别设备、对象识别方法、装置控制系统及图像生成设备。

背景技术

近年来，通过例如毫米波雷达、激光雷达或立体相机等进行测距来快速地检测目标(诸如，人或汽车)的技术是已知的。例如，为了通过利用立体相机进行测距来检测对象(诸如，人或前方车辆)的尺寸和三维位置，在插入对象的视差之后检测路面的位置，并且检测与该路面接触的对象。这样的对象的检测输出用于自动刹车控制、自动转向轮控制等。

为了利用立体相机准确地检测对象(诸如，人和行驶车辆)的尺寸和三维位置，需要检测水平方向上的视差。作为检测视差的方法，已知的是块匹配法和子像素插值法。

PTL 1(日本特开专利11-351862号公报)公开了用于创建经过插值的视差图像的技术：当在路面等高的对象被消除的视差图像中的左边和右边存在视差相同的像素时，通过将视差值代入到左像素与右像素之间的像素来检测驾驶员自己车道的前方车辆并且获取距离。

发明内容

技术问题

在现有技术的块匹配方法中，可以高度准确地检测出具有虚拟垂直的边缘或纹理的部分的视差。然而，在现有技术的块匹配中，难以检测出虚拟水平的边缘处的视差。在现有技术的块匹配方法中，即使能够检测出视差，其中也不利地包括过多的噪声。

诸如前方车辆的三维对象是箱形的对象，并且可以视为位于左右两端的垂直线和连接左右两端垂直线的水平线的集合。难以检测到该对象除了两端的垂直线以外的视差。这意味着，在存在垂直边缘的部分具有有效视差。

在此情况下，垂直线没有被视为一个对象，而是错误地视为并排运动的两个对象。已经开发出通过将视差进行插值而可以将垂直线视为一个对象的技术。然而，该技术的问题在于，由于将视差插值在汽车与并排行驶的另一汽车、附近的标志、以及另一三维对象之间，所以难以正确地识别出对象。

在PTL 1中所公开的技术的情况下，汽车与其他三维对象之间的视差被插值相同的值，从而识别出不同尺寸的对象。在PTL 1中所公开的技术的情况下，视差总是包括误差，使得插值无法通过插值相同视差值的视差来进行，识别对象仍然存在问题。

本发明鉴于上述问题而完成，并且提供视差图像生成设备、视差图像生成方法、视差图像生成程序、对象识别设备、以及用于生成适合识别对象的视差图像的装置控制系统。

解决问题的方案

为了解决所述问题并且实现目的，本发明的一方面包括有效像素确定单元，其用于基于捕获图像中的每个像素的特征值来确定有效像素；以及有效化单元，其用于使得与捕获图像对应的视差图像中的与有效像素对应的有效视差附近的非有效视差的视差有效化。

本发明的有益效果

根据本发明，能够生成适合于识别对象的视差图像。

附图说明

[图1]图1是示出根据第一实施例的装置控制系统的示意配置的示意图。

[图2]图2是示出根据第一实施例的装置控制系统中配置的成像单元和分析单元的示意配置的框图。

[图3]图3是示出根据第一实施例的分析单元的功能配置的框图。

[图4]图4是示出根据第一实施例的视差计算单元的主要部分的功能配置的框图。

[图5]图5是示出根据第一实施例的视差计算单元执行的处理的流程图。

[图6]图6是示出图5中所示的视差计算单元所执行的处理的具体示例的示意图。

[图7]图7是说明图5中所示的处理中的无效化确定的结果为真的情况的示意图。

[图8]图8是说明图5中所示的处理中的无效化确定的结果为假的情况的示意图。

[图9]图9是用于说明能够防止图5中所示的处理出现假结果的无效化确定的阈值的示意图。

[图10]图10是用于说明能够防止图5中所示的处理出现无效化确定的假结果的阈值的另一示意图。

[图11]图11是用于说明视差计算单元执行的最小值处理和排除处理的示意图。

[图12]图12是示出根据第一实施例的视差计算单元的计算结果的示例的示意图。

[图13]图13是示出根据第一实施例的视差计算单元的计算结果的另一示例的示意图。

[图14]图14是示出匹配处理结果的曲线图的示例的示意图。

[图15]图15是示出匹配处理结果的曲线图的另一示例的示意图。

[图16]图16是有效视差确定单元的具体功能框图。

[图17]图17是有效视差确定单元的另外的具体功能框图。

[图18]图18是用于说明在有效视差对设置单元中设置有效视差对的操作的示意图。

[图19]图19是示出根据第二实施例的装置控制系统中的有效视差确定单元的功能框图。

[图20]图20是用于说明有效视差对的搜索范围的示意图。

[图21]图21是示出根据第三实施例的装置控制系统中的有效视差确定单元的功能框图。

[图22]图22是示出根据第四实施例的装置控制系统的主要部分的功能框图。

[图23]图23是示出根据第四实施例的装置控制系统的视差图像生成器中的视差图像生成处理过程的流程图。

[图24]图24是用于说明错误地将发生错误匹配的像素确定为有效像素的常规确定方法的示意图。

[图25]图25是用于说明准确地检测出待输出的像素的根据第四实施例的装置控制系统中的视差图像生成器的示意图。

具体实施方式

下面参考附图来详细描述实施例。

第一实施例

图1是示出根据第一实施例的装置控制系统的示意配置的示意图。如图1中所示，装置控制系统设置在车辆1中，诸如汽车作为装置示例。装置控制系统包括成像单元2、分析单元3、控制单元4和显示单元5。

例如，成像单元2设置在车辆1的风挡6上靠近内视镜的位置，并且拍摄车辆1行驶方向上的图像。各种数据被提供给分析单元3，包括通过成像单元2的成像操作而获取的图像数据。分析单元3基于从成像单元2提供的各种数据来分析待识别的对象，诸如车辆1行驶的路面、车辆1前方的车辆、行人、以及障碍物。控制单元4基于分析单元3的分析结果，经由显示单元5向车辆1的驾驶员给出警告等。控制单元4支持基于分析结果通过例如控制各种车载设备，执行车辆1的刹车控制或转向轮控制来进行行驶。

图2是成像单元2和分析单元3的示意框图。例如，如图2中所示，成像单元2具有包括两个成像单元10A和10B的立体相机配置。两个成像单元10A和10B具有相同的配置。具体地，成像单元10A和10B包括成像透镜11A和11B、其中二维地布置光接收元件的图像传感器12A和12B、以及驱动成像传感器12A和12B拍摄图像的控制器13A和13B。

分析单元3是对象识别设备的示例，并且包括现场可编程门阵列(FPGA)14、随机存取存储器(RAM)15、以及只读存储器(ROM)16。分析单元3还包括串行接口(串行IF)18和数据接口19。FPGA 14与数据接口19经由分析单元3的数据总线线路21相互连接。成像单元2与分析单元3经由数据总线线路21和串行总线线路20相互连接。

RAM 15存储基于从成像单元2提供的亮度图像数据而生成的视差图像数据等。ROM16存储操作系统和各种程序，诸如包括视差图像生成程序的对象检测程序。

FPGA 14根据对象检测程序中包括的视差图像生成程序进行操作。如随后所更详细描述的，FPGA 14使得成像单元10A和10B捕获到的捕获图像中的一个捕获图像成为参考图像，并且使得其中的另一捕获图像成为比较图像。FPGA 14计算与成像区域中的相同点对应的参考图像上的对应图像部分与比较图像上的对应图像部分两者之间的位置偏移量，作为对应图像部分的视差值(视差图像数据)。

具体地，在根据成像单元2捕获到的立体图像来计算视差中，FPGA 14基于针对具有边缘和其他部分的像素位置的块匹配，预先计算一些视差。此后，将具有边缘的像素的视差有效化。当已有效化的有效化视差与位于附近的有效化视差之间的差值等于或小于预定值时，将已有效化的有效化视差与位于附近的有效化视差之间的视差有效化。“有效化”是指将视差指定(或提取)为用于识别对象的处理所使用的信息。

因此，根据第一实施例的装置控制系统能够不但在车辆边缘而且在车辆和其他空间适当地生成前方车辆的视差信息。可以将车辆1视为具有正确的尺寸和距离的对象，并且可以防止将车辆1与被错误检测到的另一对象耦接。

CPU 17基于存储在ROM 16中的操作系统进行操作，并且执行成像单元10A和10B上的全部成像控制。CPU 17从ROM 16加载对象检测程序，并且利用写入到RAM 15的视差图像数据来执行各种处理。具体地，基于对象检测程序，CPU 17参考控制器局域网络(CAN)信息，诸如经由数据接口19从布置在车辆1中的每个传感器获取到的车辆速度、加速度、转向角度以及横摆角速度，并且执行：识别诸如路面、护栏、车辆以及人的待识别对象，视差计算，到待识别对象的距离的计算等。

CPU 17经由串行接口18或数据接口19将处理结果提供到图1中所示的控制单元4。控制单元4是控制设备的示例，并且基于作为处理结果的数据来执行例如刹车控制、车速控制以及转向轮控制。控制单元4基于作为处理结果的数据，使得显示单元5显示警告等。该配置可以支持由驾驶员进行车辆1的驾驶。

下面具体描述在根据第一实施例的装置控制系统中生成视差图像的操作和识别待识别对象的操作。

首先，构成立体相机的成像单元2的成像单元10A和10B生成亮度图像数据。具体地，当成像单元10A和10B具有颜色规范时，成像单元10A和10B中的每个成像单元执行Y＝0.3R+0.59G+0.11B的计算操作。因此，根据每个RGB(红、绿和蓝)信号来执行用于生成亮度(Y)信号的颜色亮度转换处理。

成像单元10A和10B中的每个成像单元将在颜色亮度转换处理中生成的亮度图像数据转换为当平行搭载有两个针孔相机时获取的理想平行立体图像。具体地，成像单元10A和10B中的每个成像单元使用每个像素的畸变量的计算结果来转换亮度图像数据中的每个像素，其中的畸变量通过使用如下的多项式表达式来计算：Δx＝f(x,y),Δy＝g(x,y)。多项式表达式例如基于关于x(图像的水平方向位置)和y(图像的垂直方向位置)的五次方多项式表达式。因此，在成像单元10A和10B中的光学系统的畸变被修正的情况下能够获取平行亮度图像。这样的亮度图像(左捕获图像和右捕获图像)被提供到分析单元3的FPGA 14。

图3示出当FPGA 14执行根据第一实施例的装置控制系统中的ROM 16中存储的对象检测程序时实现的每个功能的功能框图。如图3中所示，FPGA 14通过执行对象检测程序来实现捕获图像修正器31、视差计算单元32、视差图像生成器33以及识别处理器34。

捕获图像修正器31在左捕获图像和右捕获图像上执行诸如伽马修正和畸变修正的修正(左与右捕获图像的平行化)。视差计算单元32根据由捕获图像修正器31进行修正的左与右捕获图像来计算视差值d。随后将详细描述视差计算单元32的细节。视差图像生成器33利用由视差计算单元32计算出的视差值d来生成视差图像。视差图像体现出与针对参考图像上的每个像素计算出的视差值d对应的像素值作为每个像素的像素值。识别处理器34视差车辆前方的对象，并且使用由视差图像生成器33生成的视差图像来生成识别数据作为识别结果。

捕获图像修正器31至识别处理器34中的部分或全部可以作为诸如集成电路(IC)的硬件来实现。对象检测程序可以以可安装或可执行文件的形式记录并且提供在计算机可读记录介质中，诸如光盘只读存储器(CD-ROM)、软盘(FD)、可记录光盘(CD-R)、DVD、蓝光光盘(注册商标)、以及半导体存储器。DVD是“digital versatile disc(数字多功能盘)”的缩写。可以提供对象检测程序从而经由网络(诸如，因特网)进行安装。对象检测程序可以嵌入并提供于例如设备的ROM中。

视差计算单元的概述

视差计算单元32假设成像单元10A的亮度图像数据作为参考图像数据，假设成像单元10B的亮度图像数据作为比较图像数据，并且生成体现参考图像数据与比较图像数据之间的视差的视差图像数据。具体地，视差计算单元32在参考图像数据的预定“行”的感兴趣视差周围定义包括多个像素(例如，16像素×1像素)的块。在比较图像数据的相同“行”，与参考图像数据的定义块具有相同尺寸的块在水平线方向(X方向)逐个像素地移位。视差计算单元32计算相关度值，该相关度值体现出指示参考图像数据中的定义块的像素值的特征的特征值与指示比较图像数据中的每个块的像素值的特征的特征值之间的相关度。

视差计算单元32执行匹配处理，基于计算出的相关度值从比较图像数据中的各个块中选择与参考图像数据中的块最相关的参考图像数据中的块。此后，视差计算单元32计算出参考图像数据中的块的感兴趣像素与匹配处理中所选择的比较图像数据中的块的对应像素之间的位置偏移量作为视差值d。通过执行在参考图像数据的整个区域或特定区域计算视差值这样的处理，获取视差图像数据。

例如，可以使用块中的每个像素的值(亮度值)作为用于匹配处理所使用的块的特征值。例如，可以使用参考图像数据中的块的各个像素的值(亮度值)与对应于前面像素的比较图像数据中的块中的各个像素的值之差的绝对值之和作为相关度值。在此情况下，总和最小的块被检测为最相关的块。

视差计算单元的配置

图4是示出视差计算单元32的主要部分的功能配置的框图。如附图中所示，视差计算单元32包括可以相互通信的信息处理器440和信息存储单元450。

信息处理期440包括不相似度计算器441、倾斜度计算器442、局部最小值检测器443、阈值设置单元444、标志控制器445、计数器控制器446、有效性确定单元447。信息存储单元450包括不相似度寄存器451、倾斜度寄存器452、阈值寄存器453、标志寄存器454、局部最小值计数器455。视差确定单元447执行包括无效化单元的操作。

不相似度计算器441是评价值计算器的示例，计算不相似度作为参考图像与比较图像之间的相关性的评价值(匹配的评价值)，例如使用参考中公开的平方差零均值和(ZSSD)法(日本特开专利2013-45278号公报)，并且将不相似度写入不相似度寄存器451。

可以使用平方差之和(SSD)法、绝对差之和(SAD)法、或者绝对差的零均值和(ZSAD)法来代替平方差零均值和(ZSSD)法。当在匹配处理中需要小于一个像素的子像素级别的视差值时，使用估值。例如，可以使用等角线性法或二次曲线法作为估计估值的方法。然而，在子像素级别的估计出的视差值中存在误差。因此，估计误差修正(EEC)法等可以用于减少该估计误差。

接着，在比较图像相对参考图像偏移的的情况下，倾斜度计算器442根据相邻偏移位置处的不相似度的差值来计算不相似度的倾斜度，并且将该倾斜度写入倾斜寄存器452。局部最小值检测器443是极值检测器的示例，并且基于倾斜度计算器442计算出的倾斜度值从负变为正的事实，来检测相似度的局部最小值作为相关性评价值的极值。

阈值设置单元444是更新器的示例。当标志寄存器454保存的值为“0”时(当标志为关(off)时)，阈值设置单元444基于局部最小值检测器443检测到的局部最小值，生成上阈值Uth和下阈值Lth，作为局部最小值以上和以下的局部最小值范围的设置值，并且将上阈值Uth和下阈值Lth写入到阈值寄存器453中。此时，标志控制器445将指示上阈值Uth和下阈值Lth被更新的值“1”写入到标志寄存器454中。作为计数器示例的计数器控制器446数到局部最小值计数器455的值。局部最小值计数器455的值体现阈值寄存器453所保存的阈值范围内的不相似度最小值的数量。

当标志寄存器454所保存的值是“1”(当标志为开(on))并且局部最小值检测器443检测到的局部最小值处于阈值寄存器453所保存的阈值的范围内时，计数器控制器446数到局部最小值计数器455的值。

计数器控制器446包括重置单元。当标志寄存器454所保存的值是“1”，并且倾斜度计算器442计算出的倾斜度保持为负，并且不相似度计算器441计算出的不相似度变得低于阈值寄存器453所保存的下阈值Lth时，计算器控制器446重置局部最小值计数器455的值。在此情况下，标志控制器445将值“0”写入标志寄存器454，并且重置该标志。

视差计算单元的处理

图5是示出图4中所示的视差计算单元32所执行的处理的流程图。图6是示出图5中所示的处理的具体示例的示意图。图6中的横轴表示搜索范围，也就是比较图像中的像素位置相对于参考图像中的像素位置的偏移量(偏差)，而纵轴表示不相似度作为用于匹配的评价值。下面参考这些附图来描述视差计算单元32执行的操作。

针对参考图像的每个像素执行图5中所示的流程图。比较图像相对于参考图像中的像素的搜索范围是1至68像素。在开始流程图时，没有数据写入不相似度寄存器451、倾斜度寄存器452、阈值寄存器453。将“0”设置到标志寄存器454，并且本地最小值计数器455的初始值是“0”。在针对该过程的说明中，标志寄存器454所保存的值(标志)由C来表示，并且局部最小值计数器455的计数器值由cnt来表示。

当不相似度计算器441输入匹配数据：表示不相似度的数据(t)时(步骤S301)，确定数值t(步骤S302)。此时，t＝1(在步骤S302，t＝1)，因此将data(1)写入不相似度寄存器451进行保存，并且确定t是否是最后值，也就是t是否位于搜索范围的最后(步骤S307)。这里，t＝1不是搜索范围的最后(步骤S307中的否)，所以t增加从而满足t＝2(步骤S312)，并且处理进行到步骤S301。

在此情况下，处理按照步骤S301、步骤S302和步骤S303的顺序进行，并且倾斜度计算器442计算数据(1)和数据(2)之间的倾斜度(步骤S303)。根据两个数据的差“data(2)-data(1)”计算倾斜度。接着，确定数值t(步骤S304)。在此情况下，t＝2(步骤S304，t＝2)，所以将倾斜度的标志写入倾斜度寄存器452进行保存(步骤S305)。

接着，将data(2)写入不相似度寄存器451进行保存(步骤S306)，确定t是否是最后值(步骤S307)，基于确定结果(步骤S307中的否)将t增加到3(步骤S312),处理进行到步骤S301。

在此情况下，步骤S301、步骤S302和步骤S303中的处理与之前情况(当t＝2时)的步骤相同。然而，在此情况下t＝3，所以处理从步骤S304进行至步骤S313，并且确定倾斜度是否从负变为正。该确定处理由局部最小值检测器443来执行。

当“data(2)-data(1)”为负且“data(3)-data(2)”为正时，确定倾斜度从负变为正(步骤S313中的是)。在此情况下，将所保存的data(t-1)，也就是data(2)确定为这里的局部最小值(步骤S317)。

当在步骤S317中将data(2)确定为局部最小值时，确定是否存在另一局部最小值，即是否满足C＝0(步骤S318)。当满足C＝0(步骤S318中的是)时，阈值设置单元444更新阈值寄存器453所保存的上阈值Uth和下阈值Lth，并且标志控制器445设置C＝1来设置标志(步骤S320)。

图6中的data(1)到data(3)对应于上述处理。也就是，在步骤S317将data(2)确定为局部最小值，并且在步骤S320更新局部最小值以上和以下的上阈值Uth和下阈值Lth(在此情况下，作为初始设置)。假设上阈值Uth和下阈值Lth分别是“data(2)+预定值”和“data(2)-预定值”。在此情况下，优选地通过利用“预定值＝2n”来简化电路配置。

步骤S320之后，计数器控制器446数到局部最小值计数器455的值(步骤S321)。在此情况下，计数值为“1”。该计数值表示在步骤S320中设置的阈值范围内(等于或小于上阈值Uth1，并且等于或大于下阈值Lth1)的局部最小值的数量。

步骤S321之后，处理按照步骤S305、步骤S306以及步骤S307的顺序进行，并且保存倾斜度的标志(在此情况下为正)和匹配数据(在此情况下为data(3))，确定t是否是最后(在此情况下不是最后，所以步骤S307中的否)，将t增加到4(步骤S312)，并且处理进行到步骤S301。

同样在满足t＝4的情况下(同样适用于下面的数字直至搜索范围最后，也就是t＝68),处理按照步骤S301、步骤S302、步骤S303、步骤S304和步骤S313的顺序进行，并且确定倾斜度是否从负变为正从而检测局部最小值(步骤S313)。上面已经描述了倾斜度从负变为正(步骤S313中的是)的情况(当t＝3时)，所以下面描述另一情况(步骤S313中的否)。

在此情况下，确定倾斜度是否保持为负(步骤S314)。如果倾斜度不保持为负(步骤S314中的否)，处理按照步骤S305、步骤S306和步骤S307的顺序进行。步骤S305、步骤S306和步骤S307以及随后步骤中的处理内容与t＝3的情况相同。

在图6的情况下，当t＝4时，处理如下进行：步骤S313中的否，步骤S314中的否，步骤S305，步骤S306、步骤S307以及步骤S312。因此，倾斜度的标志(在此情况下为负)和数据(4)被保持，t增加到5，处理进行到步骤S301。

同样在此情况下，处理按照步骤S301、步骤S302、步骤S303、步骤S304以及步骤S313的顺序进行，并且确定倾斜度是否从负变为正(步骤S313)。已经分别针对t＝3和t＝4的情况描述步骤S313中的是和步骤S313中的否至步骤S314中的否，所以下面描述步骤S313中的否到步骤S314中的是的情况。

在此情况下，确定先前是否生成局部最小值并且data(t)(在此情况下，data(5))是否变为低于下阈值(步骤S315)。在步骤S315的否的情况下，也就是当先前未生成局部最小值时，或者当即使生成局部最小值但是data(t)不低于下阈值时，处理进行到步骤S305。

在步骤S315的是的情况下，也就是当先前已经生成局部最小值并且data(t)变得低于下阈值时，处理进行到步骤S316。在步骤S316中，标志控制器445设置C＝0以重置该标志，并且计数控制器446将局部最小值计数器455重置为“0”。

在图6的情况下，当t＝5时，倾斜度保持为负，所以处理如下进行：步骤S313中的否，步骤S314中的是，步骤S315中的是，步骤S316、步骤S305、步骤S306、步骤S307以及步骤S312。因此，保存倾斜度的标志(在此情况下为负)和匹配数据(在此情况下为data(5))，确定t是否是最后(在此情况下不是最后，所以步骤S307中的否)，将t增加到6(步骤S312)，并且处理进行到步骤S301。

同样在此情况下，处理按照步骤S301、步骤S302、步骤S303、步骤S304以及步骤S313的顺序进行，并且确定倾斜度是否从负变为正。在图6的情况下，与t＝5的情况下相似，在t＝6的情况下倾斜度保持为负，所以处理通过步骤S313之后经过的步骤与t＝5的情况下的相同。

随后，同样在t＝7的情况下，与t＝5和t＝6的情况下相似，倾斜度保持为负，所以处理通过步骤S313之后经过的步骤与t＝5的情况下的相同。在t＝8的情况下，与t＝3的情况相似，倾斜度从负变为正，所以处理从步骤S317进行到步骤S318。当设置t＝5、C＝0时，所以在步骤S318中确定是，并且处理按照步骤S320、步骤S321和步骤S305的顺序进行。

在此情况下，在步骤S320中，如图6中所示，上阈值Uth1和下阈值Lth1被分别更新为上阈值Uth2和下阈值Lth2。此时，上阈值Uth2和下阈值Lth2分别为“data(7)+预定值”和“data(7)-预定值”。在步骤S321中数到的计数值(＝1)表示在步骤S320中更新的已更新阈值的范围内局部最小值的数量(等于或小于上阈值Uth2，并且等于或大于下阈值Lth2)。

在图6的情况下，当t＝9时倾斜度从正变为负，所以处理进行如下：步骤S313中的否，S314中的否，以及S305。当t＝10时，倾斜率从负变为正，所以处理从步骤S317进行到步骤S318。当设置t＝8、C＝1时，所以在步骤S318中确定否，并且处理进行到步骤S319。

在步骤S319，确定步骤S317中被确定为局部最小值的数据(9)是否处于下阈值(Lth2)与上阈值(Uth2)的范围内。如果数据(9)处于该范围内(步骤S319中的是)，数据(9)被计数(步骤S321)，并且处理进行到步骤S305。如果数据(9)处于范围之外(步骤S319中的否)，处理直接进行到步骤S305。

在图6的情况下，数据(9)处于下阈值(Lth2)与上阈值(Uth2)的范围内，使得数据(9)被计数(步骤S321)，并且局部最小值计数器455的值变为“2”。计数值“2”意味着最新阈值(在此情况下，上阈值Uth2与下阈值Lth2)的范围内存在两个局部最小值。

随后，按照步骤S301→步骤S302→步骤S303→步骤S304→步骤S313的顺序重复处理直至到达搜索范围最后的t(在此情况下，68)。当到达最后的t时(步骤S307中的是)，计数器控制器446输出局部最小值计数器455的计数值(步骤S308)。

接着，有效性确定单元447确定计数值是否等于或大于预定值(例如，2)(步骤S309)。如果计数值大于或等于预定值(步骤S309中的是)，有效性确定单元447确定计数值无效(步骤S310)，并且设置标志使得识别处理器34不使用参考图像中的像素的视差值。

图14示出匹配处理结果的示例的曲线图。在图14中，横轴表示搜索范围，也就是比较图像中的像素位置相对于参考图像中的像素位置的偏移量(偏差)，而纵轴表示不相似度作为相关度的评价值。在图14中，用圆围绕的第七搜索像素的不相似度最小，所以7是最可能的视差值。横轴上的负值是用于获取子像素视差的搜索范围。

然而，在计算外观上具有重复图案的对象的视差的处理中，诸如设计相同的窗户成行排列的建筑物、相同的形状和图形成行排列的砖墙、围栏、卡车的承载平台或者拖车的承载平台，如图15中所示，一些情况下可能出现两个或更多个(图15的示例中有六个)匹配部分，以致可能错误地输出最可能的视差值。

由于这一事实，例如实际上输出错误的视差值(错误匹配)，指示具有重复图案的对象存在于一定距离的位置的错误视差值被定位在附近。具体地，当自己的车辆与砖墙之间的距离是5m时，该砖墙具有其上相同的形状和图形成行排列的重复图案，5m距离的视差值和2m距离的视差值相混合地输出。因此，在后面阶段的对象识别处理中，将一个墙识别为两个墙，包括距离自身车辆2m距离的墙和距离自身车辆5m距离的墙。那么即使砖墙与自身车辆之间的距离是5m也进行刹车，这称为“错误刹车”。

然而，在搜索范围中的不相似度的计算完成之后，视差计算单元32既不搜索彼此接近的不相似度的值的数量，也不搜索最可能的视差值。视差计算单元32对于不相似度的局部最小值的数量进行计数，并且同时搜索该视差。当不相似度的局部最小值超出预定范围时，视差计算单元32更新预定范围，并且在已更新的范围内对于不相似度的局部最小值的数量进行计数。因此，当出现重复图案时，能够缩短直至视差计算单元32确定是否使用重复图案用于对象识别处理的时间，而不增加处理时间。因此，利用根据第一实施例的包括视差计算单元32的装置控制系统，能够抑制“错误刹车”。

在图5中所示的流程图中，按照t的升序来执行搜索。也可以按照t的降序来执行搜索。在图5所示流程图中，当第一次检测到局部最小值时，根据局部最小值来设置上阈值和下阈值。可替换地，最初可以在启动该过程的时候设置可选的上阈值和下阈值。在图5中所示的流程图中，使用不相似度作为相关度的评价值，不相似度的值随着相关度增加而减小。也可以使用随着相关度增加而增大的相似度的值。

关于上阈值和下阈值的细节

在上述图5和图6中，上阈值Uth1和下阈值Lth1分别是“data(2)+预定值”和“data(2)-预定值”，而上阈值Uth2和下阈值Lth2分别是“data(7)+预定值”和“data(7)-预定值”。也就是，分别利用表达式“新检测到的局部最小值+预定值”和“新检测到的局部最小值+预定值”来设置上阈值Uth和下阈值Lth。此后，通过上述表达式计算出的上阈值和下阈值分别被称为第一上阈值和第一下阈值。

接着，下面描述图5中所示的处理的无效化确定的结果是真的情况，以及其中结果为假的情况。下面还描述了将第二上阈值和第二下阈值用作上阈值和下阈值，由此能够减少假结果的发生。

无效化确定的结果为真的情况

图7是说明图5中所示的处理中的无效化确定的结果正确的情况的示意图。图7和图8至图13中的横轴与纵轴与图6中的相同，并且分别指示搜索范围和不相似度。

图7示出图像在搜索范围中具有带有很多纹理的重复图案的情况下的匹配处理结果。由于纹理太多，不相似度的幅值(例如，ZSSD)大。在图7的情况下，相对于作为局部最小值的data(ta)，将Uth(第一上阈值)和Lth(第一下阈值)设置为“data(ta)+k(预定值)”和“data(ta)-k(预定值)”，并且将阈值范围内的三个局部最小值进行计数。基于该正确的计数值，能够获取确定结果“真”(无效)。

无效化确定的结果为假的情况

图8是说明图5中所示的处理中的无效化确定的结果错误的情况的示意图。

图8示出图像在搜索范围中没有重复图案并且带有很少纹理的情况下的匹配处理结果。由于纹理很少不相似度的幅值小。在图8的情况下，在一个点上存在最小值＝data(tc)。因此，虽然能够获取正确的视差值tc，在作为局部最小值而不是最小值的data(tb)以上或以下设置的Uth(第一上阈值)和Lth(第二下阈值)范围内，五个局部最小值被计数。然后，基于计数值来确定无效化。

关于第二上阈值和第二下阈值

图9和图10是用于说明能够防止图5中所示的处理中出现无效化确定的错误结果的第二阈值的示意图的示例。图9和图10分别示出图像在搜索范围中与图7和图8相同的情况下的匹配处理结果。

第二上阈值和第二下阈值被设置为与新检测到的局部最小值对应的值。也就是，在例如图9的情况下，相对于作为局部最小值的data(ta)，Uth(第二上阈值)和Lth(第二上阈值)被分别设置为“data(ta)×Um”和“data(ta)×Lm”。在此情况下，Um和Lm是表示比率的系数。Um和Lm的值满足“Um>1>Lm”，并且只要已更新的上阈值小于更新前的下阈值，其可以是任何值。在图9的情况下，与图7中的情况相似，阈值范围内的三个局部最小值被计数。

在例如图10的情况下，相对于作为最小的局部最小值的data(tc)，Uth(第二上阈值)和Lth(第二上阈值)被分别设置为“data(tc)×Um”和“data(tc)×Lm”。在图10的情况下，与图8的情况不同，局部最小值的计数值为“1”，所以采用正确的视差值tc。

用这种方式，通过将上阈值和下阈值设置为与新检测到的局部最小值对应的值，当搜索范围内的图像没有重复图案并且纹理很少时，能够提高仅计数在一个点处存在的最小的局部最小值的可能性。也就是，通过将图5所示的重复图案检测算法中的第一上阈值和第一低阈值分别改变为第二上阈值和第二下阈值，能够防止发生虽然获取正确的视差值但是被确定为无效化的情况。

在图9和图10中，通过将局部最小值乘以系数来计算与局部最小值对应的上阈值和下阈值。可替换地，图7和图8中的k可以根据局部最小值而改变，而不是固定在预定值。

最小值处理和排除处理

图11是用于说明视差计算单元32所执行的最小值处理和排除处理的示意图。

作为视差计算的基础，计算诸如ZSSD的不相似度为最小值的视差值是必要条件，因此，除了图5中所示的用于在最小级别对于高阈值和低阈值范围内的局部最小值的数量进行计数的算法以外，单纯的最小值和与其对应的视差值需要继续被处理从而进行搜索。

为了解决如图11的上图(A)中所示的不相似度的最小值是搜索范围内的最后一个的情况，或者如图11的上图(B)中所示的不相似度的最小值是搜索范围内的第一个的情况，单纯的最小值继续被处理，并且当最小值小于最后更新的低阈值时，给出该最小值的视差被输出。在此情况下，在针对68个不相似度数据完成图5中所示的算法之后，强制执行无效化确定作为排除处理。

也就是，在图11中的A的情况下，例如，当完成图11中所示的算法时，基于作为最小值的局部最小值data(68)，在步骤S316中计数器455被重置为“0”。然而，强制执行无效化确定。为了获取子像素示出，由图11中的A的横轴表示的搜索范围t是-2至65，右端的data(65)是最小值。

例如，在图11的B的情况下，当完成图5中所示的算法时，局部最小值计数器455的计数值为“3”。然而，存在小于Lth的data(1)，所以最终强制执行无效化判定。为了获取子像素示出，由图11中的B的横轴表示的搜索范围t是-2至65，左端的data(-2)是最小值。

将最小值处理和排除处理总结为下面的(i)到(iii)。

(i)当搜索范围末端的不相似度是最小值，并且检测到最小值的视差值为负时，不管局部最小值计数器455的计数值是什么，都强制确定无效化。

(ii)当搜索范围末端的不相似度包括在最终确定的阈值范围中时，局部最小值计数器455被计数。例如，只有左端包括在最终确定的阈值范围内，输出计数值被计数为1。例如，只有右端包括在最终确定的阈值范围内，输出计数值被计数为1。例如，左端和右端包括在最终确定的阈值范围内，输出计数值被计数为2。

(iii)在单调递增和单调递减的情况下，未检测到局部最小值，计数值变为0。然而，强制确定无效化。

视差计算单元的计算结果

图12是示出视差计算单元32的计算结果的第一示例的示意图，而图13是示出其第二示例的示意图。在这些附图中，横轴表示搜索范围，由纵轴指示的不相似度是利用7像素×7像素的块计算出的ZSSD。搜索范围的负部分用于获取子像素视差。

图12通过计算建筑物的窗户的捕获图像的视差值来获取。上阈值和下阈值是最终更新的值(在此情况下，根据搜索范围中的第8像素的局部最小值来设置)。该阈值范围内的局部最小值的数量为4，并且由有效确定单元447来确定无效化。

图13通过计算砖墙的捕获图像的视差值来获取。上阈值和下阈值是最终更新的值(在此情况下，根据搜索范围中的第23像素的局部最小值来设置)。该阈值范围内的局部最小值的数量为2，并且由有效确定单元447来确定无效化。

为了基于例如ZSSD等在搜索范围内检测不相似度的最小值，从第一不相似度、第二不相似度、以及第三不相似度之中检测出最小不相似度，并且将该最小不相似度与第四以及随后的不相似度进行比较。检测处理可以针对每个像素执行以检测不相似度的最小值，以便检测出预定阈值内的不相似度的最小值。在此情况下，可以减少FPGA 14上不相似度的计算处理的负荷。

可替换地，例如在将搜索范围内的64个不相似度一次存储在存储器之后，可以检测到指示最小值的不相似度，并且可以检测出基于不相似度的最小值而确定的阈值内包括的不相似度的数量，从而检测出不相似度的最小值。

视差图像生成器的操作

接着，下面描述视差图像生成器33的操作。如图16中所示，视差图像生成器33包括边缘有效化单元103、对位置计算器104、以及对内视差有效化单元105。边缘有效化单元103是有效像素确定单元的示例，向其提供由视差计算单元32计算出的视差值d(视差图像)和由捕获图像修正器31生成的亮度图像。当亮度图像和视差图像被输出时，边缘有效化103将亮度图像中边缘分量的量等于或大于预定的分量的量的像素确定为边缘像素，并且将该像素位置的视差值有效化。亮度图像中的边缘分量的量是特征值的示例。边缘像素是有效像素，并且视差图像上与该边缘像素对应的视差是有效视差。

对位置计算器104是计算器的示例，假设视差图像中相同的行上的两个相邻有效视差作为有效视差对，并且计算真实空间中的高度方向上的距离差以及这些视差在水平方向上的间距(位置关系)。对位置计算器104然后确定距离差是否在预定阈值范围内，并且根据有效视差对的视差值，确定水平方向上的间距是否在另一预定阈值范围内。

对内视差有效化单元105是有效化单元的示例，当距离差和由对位置计算器104确定的水平方向上的间距两者都在阈值范围内时，将有效视差对中的对内视差(有效视差对之间的视差)有效化。待有效化的对内视差位于有效视差对的两个视差值的附近。

图17示出视差图像生成器33的更详细功能框图。在图17中，如上所述，有效视差确定单元102包括边缘有效化单元103、对位置计算器104、以及对内视差有效化单元105。

边缘有效化单元103包括边缘量计算器106和比较器107。对位置计算器104包括有效视差对设置单元108、对间距计算器109、比较器110、对深度差计算器111、比较器112、以及参数存储器113。对内视差有效化单元105包括有效化确定单元114和有效视差确定单元115。有效视差对设置单元108是对设置单元的示例。对间距计算器109和对距离差计算器111都是计算器的示例。有效视差确定单元115是有效化单元的示例。

在所输入的图像中处于预定处理目标范围内的亮度图像被输入到边缘有效化单元103的边缘量计算器106中。边缘量计算器106根据亮度图像来计算边缘量。例如，可以使用索贝尔(Sobel)过滤器或者二次微分过滤器作为计算边缘量的方法。考虑到减少块匹配处理的特征和硬件，可以使用作为感兴趣像素的位于相同行两端的像素的差。

边缘有效化单元103的比较器将由边缘量计算器106计算出的边缘量的绝对值与预先确定的边缘量阈值进行比较，并且将其比较输出作为有效视差标志提供该对位置计算器104的有效视差对设置单元108。例如，计算出的边缘量的绝对值大于边缘量阈值，处于高位的比较结果被提供给有效视差对设置单元108(有效视差标志开启)。当计算出的边缘量的绝对值小于边缘量阈值，处于低位的比较结果被提供给有效视差对设置单元108(有效视差标志关闭)。

有效视差标志和上述预定范围内的视差图像被提供给对位置计算器104的有效视差对设置单元108。例如，如图18中所示，有效视差对设置单元108将开启有效视差标志的相同行中彼此最近的像素位置上彼此不相邻的两个视差作为有效视差对。图18示出设置有第一有效视差对、第二有效视差对以及第三有效视差对的示例。

接着，利用如上所述的有效视差对中的视差的对应视差值来计算该对在水平方向上的间距和该对在深度方向上的差。对间距计算器109根据视差图像上对之间的间距(像素单元)与有效视差对的左像素的视差值，来计算实空间中对在水平方向上的间距。对间距计算器10根据有效视差对的相应两个视差来计算深度，并且计算深度差的绝对值。

比较器110将由对间距计算器109计算出的对在水平方向上的间距与对间距阈值进行比较。对间距阈值预先根据待检测对象的实际宽度来确定。例如，为了单独检测人，将对间距阈值设置为人占据的宽度。例如，在日本，规定大尺寸车辆的宽度为2500mm。因此，在检测车辆时，将对间距阈值设置为合理规定的车辆的最大宽度。比较器110将这样的对间距阈值与由对间距计算器109计算出的该对在水平方向上的间距进行比较，并且将比较结果提供给对内视差有效化单元105的有效化确定单元114。

对深度差计算器111计算上述有效视差对中的深度差。利用该对视差值从参数存储器113读取出的深度差阈值提供给比较器。根据从有效视差对的左像素的视差值计算出距离来确定从参数存储器113读取出的深度差阈值。因为与待检测对象的距离大时，从成像单元的立体图像获取的视差的分辨率降低，摈弃检测距离的差异变大，所以深度差阈值根据距离来确定。因此，与有效视差值或者从其计算出的距离相对应，将诸如距离的10％、15％以及20％的深度差阈值存储在参数存储器113中。比较器112将深度差阈值与有效视差对中的深度差进行比较，并且将比较结果提供给对内视差有效化单元105的有效化确定单元114。

接着，对内视差有效化单元105的有效化确定单元114执行对内区域有效化确定。也就是，当从比较器110和比较器112提供分别指示该对在水平方向上的间距等于或小于对间距阈值和对深度差等于或小于深度差阈值的比较输出时，有效化确定单元114确定该对内区域有效。将确定为有效的对内区域中存在的视差(对内视差)提供给有效视差确定单元115。

如果所提供的对内视差的值处于根据视差对的视差值所确定的视差值范围内，有效视差确定单元115将所提供的对内视差确定为有效视差，并且将对内视差作为有效视差输出。视差对的视差值范围意思是，假设视差对的两个值是D1和D2(D1>D2)，带有常数α的范围“D2-α,D1+α”。基于从成像单元2(立体相机)获取的对象的视差偏差来确定常数α。

识别处理器34利用如上所述的视差图像生成器33生成的视差图像来识别例如对象、人以及车辆前方的护栏，并且输出识别数据作为识别结果。

第一实施例的效果

从上述描述清楚的是，在根据成像单元2捕获到的立体图像来计算视差时，根据第一实施例的装置控制系统基于不仅针对具有边缘位置的像素位置而且针对其他部分的块匹配来计算视差，并且预先计算一些视差。此后，装置控制系统只将具有边缘的像素的视差有效化，并且当有效视差与位于附近的附近有效视差之间的差等于或小于预定值时，将与有效视差和附近的有效视差之间存在的具有相同值的视差有效化。

因此，不但可以在三维对象的边界而且可以在三维对象中以及其他空间生成适当的视差。也就是，不但可以在车辆边缘而且可以在车辆中以及其他空间适当地生成前方车辆的视差信息。因此，可以生成适合识别对象的视差图像，并且可以将车辆准确地识别为具有正确尺寸和距离的一个对象。该配置能够防止将前方车辆与错误检测到的另一对象进行结合。

在计算外观上具有重复图案的对象的视差的过程中，一些情况下(参考图15)可以出现两个或更多个匹配部分，以致于可能错误地输出最可能的视差值。由于这一事实，例如实际上输出错误的视差值(错误匹配)，指示具有重复图案的对象存在于一定距离的位置的错误视差值被定位在附近。因此，在后面阶段的对象识处理器34将一个墙识别为两个墙，包括与自身车辆距离2m的墙和与自身车辆距离5m的另一个墙。那么即使墙与自身车辆之间的距离是5m也进行刹车，这称为“错误刹车”。

然而，在根据第一实施例的装置控制系统中，在完成搜索范围中的不相似度的计算之后，视差计算单元32不搜索彼此靠近的不相似度的值的数量和最可能的视差值。视差计算单元32对于不相似度的局部最小值的数量进行计数，并且同时搜索该视差。当不相似度的局部最小值超出预定范围时，视差计算单元32更新预定范围，并且在已更新的范围内对于不相似度的局部最小值的数量进行计数。因此，当出现重复图案时，能够缩短直至视差计算单元32确定是否使用重复图案用于识别处理器34的对象识别处理的时间，而不增加处理时间。另外，防止输出错误的视差值，并且能够抑制上述“错误刹车”。

第二实施例

接着，下面描述根据第二实施例的装置控制系统。在根据第二实施例的装置控制系统中，视差图像生成器33具有如图19中所示的功能。以下所述的第二实施例与第一实施例的不同之处仅在于视差图像生成器33的操作。因此，下面只描述差别，将不重复冗余的描述。与图17类似操作的图19中的部分A由相同的附图标志来表示，并且将不重复对其详细的描述。

也就是，在根据第二实施例的装置控制系统中，视差图像生成器33的对位置计算器104包括有效视差设置单元120、待配对视差的搜索范围设置单元121、待配对视差的设置单元122、对深度差计算器123、以及参数存储器113。对内视差有效化单元105包括比较器124和有效视差确定单元115。待配对视差的搜索范围设置单元121是搜索范围设置单元的示例。对深度差计算器123是差检测器的示例。

当输入预定处理目标范围内的视差图像时，对位置计算器104的有效视差设置单元120选择有效视差标志开启的像素(有效像素)作为从边缘有效化单元103的比较输出。待配对视差的搜索范围设置单元121计算并且设置如下的范围，在该范围中，基于所选择的有效像素的视差值(有效视差)和对之间的间距最大值，在位于所选择像素相同行的有效视差的像素的右方向上，搜索与有效视差配对的视差。对间间距的最大值是对间距信息的示例，并且等同于指示待检测对象的真实宽度的对间距阈值。图20是示意性示出待配对视差的搜索范围设置单元121执行的搜索待配对视差的示意图。在图20中，黑体像素表示有效视差的像素SG。像素P1至像素P4中的每个像素表示根据有效视差的像素SG的视差值而设置的搜索范围中的待配对视差的像素。待配对视差的搜索范围设置单元121基于对间间距的最大值和所选择像素的视差值，来计算在视差图像上搜索待配对视差的最大宽度(右方向)。

接着，待配对视差的设置单元122在待配对视差的搜索范围内检测最接近有效视差的视差，并且使得检测到的视差成为待配对视差。当待配对视差的搜索范围内不存在待配对视差时，待配对视差的设置单元122不执行待配对视差的设置处理之后的处理，并且基于随后设置的有效视差来设置待配对视差的搜索范围和待配对视差。

待配对视差的设置单元122所设置的待配对视差与有效视差成对一起输入到对深度差计算器123中。与图17中所示的对深度差计算器111相似，对深度差计算器123基于所输入的有效视差和待配对视差来计算距离差的绝对值。

对内视差有效化单元105的比较器124将从参数存储器113读取的深度差阈值与基于有效视差由对深度差计算器123计算出的深度差进行比较。当从比较器124提供指示深度差等于或小于深度差阈值的比较输出时，有效视差确定单元115确定有效视差与待配对视差之间的对内视差是待输出的有效视差。当从比较器124提供指示该值处于包括有效视差和待配对视差的两个视差值范围内的比较输出时，有效视差确定单元115确定包括有效视差和待配对视差的两个视差值范围内的视差是待输出的有效视差。

包括有效视差和待配对视差的两个视差值范围意思是假设两个视差值是D1和D2(D1>D2)，带有常数α的范围“D2-α,D1+α”。可以基于从成像单元2获取的预定对象的视差偏差来确定常数α。

利用根据第二实施例的装置控制系统，可以在不增加视差噪声的情况下控制视差点的数量，并且可以获取与第一实施例相同的效果。

第三实施例

接着，下面描述根据第三实施例的装置控制系统。在根据第三实施例的装置控制系统中，视差图像生成器33具有如图21中所示的功能。以下所述的第三实施例与第一实施例的不同之处仅在于视差图像生成器33的操作。因此，下面只描述差别，将不重复冗余的描述。与图17类似操作的图21中的部分A由相同的附图标志来表示，并且将不重复对其详细的描述。

也就是，在根据第三实施例的装置控制系统中，边缘有效化单元103包括边缘量计算器106、比较器131、以及比较器132。来自比较器131的第一有效视差标志被提供给对位置计算器104的有效视差对设置单元108，来自比较器132的第二有效视差标志被提供给对内视差有效化单元105的有效视差确定单元115。第一有效视差标志是第一有效视差信息的示例。第二有效视差标志是第二有效视差信息的示例。

也就是，在根据第三实施例的装置控制系统中，利用多个阈值，诸如两个阈值(可替换地，可以使用三个或更多个阈值)，将边缘像素的视差值有效化。具体地，第一边缘量阈值大于第二边缘量阈值。第一边缘量阈值被提供给比较器131，第二边缘量阈值被提供给比较器132。比较器131将由边缘量计算器106计算出的边缘量的绝对值与第一边缘量阈值进行比较，并且向对位置计算器104的有效视差对设置单元108提供第一有效视差标志，其用于将形成有效视差对的像素有效化。比较器132将由边缘量计算器106计算出的边缘量的绝对值与第二边缘量阈值进行比较，并且向有效视差确定单元115提供第二有效视差标志，其用于最终将对内视差的像素有效化。

因此，可以控制对内视差之中将要有效化的视差数量，可以生成针对后面阶段的对象检测处理最优的视差图像，并且可以获取与上述实施例中相同的效果。由边缘有效化单元103执行的利用多个阈值的边缘像素的有效化处理可以适用于第二实施例。假设待配对视差的搜索范围设置单元121和有效视差设置单元120在视差图像的同一行执行处理。可替换地，例如有效视差对可以设置在总共包括视差图像的同一行以及比视差图像的同一行较高或较低的行的三行范围内。

第四实施例

接着，下面描述根据第四实施例的装置控制系统。利用根据第四实施例的装置控制系统，通过上面利用图14和图15描述的减少错误匹配的视差值的数量，能够将一个对象正确地识别为一个对象，并且利用包括若干有效视差值的视差图像来执行对象识别处理。因此，可以执行正确的支持操作。

图22是示出根据第四实施例的装置控制系统中布置的视差图像生成器33的功能框图。如图22中所示，视差图像生成器33包括匹配成本计算器501、边缘检测器502、重复图案检测器503、全表面视差图像生成器504、以及生成器505。

当FPGA 14执行存储在ROM 16中的对象检测程序时实现视差图像生成器33。在该示例中，匹配成本计算器501至生成器505可以作为软件来实现。可替换地，匹配成本计算器501至生成器505中的部分或全部可以作为诸如集成电路(IC)的硬件来实现。

对象检测程序可以以可安装或可执行文件的形式记录并且提供在计算机可读记录介质中，诸如光盘只读存储器(CD-ROM)和软盘(FD)。对象检测程序也可以记录并且提供在计算机可读记录介质中，诸如可记录光盘(CD-R)、DVD、蓝光光盘(注册商标)、以及半导体存储器。DVD是“digital versatile disc(数字多功能盘)”的缩写。可以提供对象检测程序从而经由网络(诸如，因特网)进行安装。对象检测程序可以嵌入并提供于例如设备的ROM中。

图23的流程图示出视差图像生成器33所执行的视差图像生成处理的过程。首先，在步骤S201，匹配成本计算器501计算成像单元2捕获到的参考图像和比较图像之中相同扫描行上存在的参考图像和比较图像的每个像素的不相关度(匹配成本)。全表面视差图像生成器504生成全表面视差图像，其中所有像素由基于计算出的不相似度的视差值来表示。

在步骤S202，作为辨别单元的示例的重复图案检测器503和图案检测器基于如上所述的搜索范围内最后更新的范围内的局部最小值的数量来辨别立体图像的每个像素的有效性。

具体地，重复图案检测器503针对每个像素执行第一实施例中描述的重复图案的检测处理。也就是，如第一实施例中所示，重复图案检测器503计数不相似度的局部最小值的数量，并且同时搜索视差，当不相似度的局部最小值超出预定范围时，更新预定范围，并且针对每个像素在已更新的范围内执行重复图案的检测处理到达计数的不相似度局部最小值的数量。重复图案检测器503将指示没有重复的有效化信息添加到未发生重复的像素(设置有效化标志)。

接着，在步骤S203，边缘检测器将指示与对象边缘对应的像素的信息添加到亮度大于预定值的像素(设置边缘标志)。

接着，在步骤S204中，作为提取器示例的生成器505在全表面视差图像中提取出有效化信息与边缘信息两者都添加的像素作为有效视差的像素。也就是，在全表面视差图像中，生成器505基于有效化标志开启并且边缘标志开启所针对的像素来提取有效视差。

图24是通过使用提取有效视差的常规方法获取的提取结果。在图24中，四个视差值“4”连续的区域是获取正确视差的区域。其随后的区域，其中的视差值是“10,10,22,22,22,22,22,22”，是由于位于长距离的重复图案的对象而发生错误匹配的区域。其随后的区域，其中七个视差值“4”连续，是获取正确视差的区域。在提取有效视差的常规方法的情况下，如图24中用粗线围住所示，错误确定发生使得即使发生错误匹配并且视差值错误，还是讲将像素确定为有效像素。

如图25中所示，根据第一实施例的装置控制系统中的生成器505提取针对其开启有效化标志并且开启边缘标志的像素作为有效视差的像素。也就是，生成器505如其过去一样地执行将有效化标志与边缘标志输入到AND门的处理来获取输出。因此，如图25中所示，其中有效化标志与边缘标志都为“1”的视差值为“4”的像素被确定为有效像素。生成器505还将已经确定为有效的视差值为“4”的像素之间的像素确定为有效像素。相反，将出现错误匹配的区域中的像素都确定为无效像素。

最后，生成器505向后面阶段的识别处理器34输出视差图像，并且结束图23的流程图中的处理，视差图像中减少了错误匹配的视差(减少了噪声)并且包括一些有效视差(步骤S205)。

通过减少这样错误匹配处理的数量，并且在识别处理中使用其中有效视差值增多的视差图像，能够将一个对象正确地识别为一个对象，能够执行对象识别处理，并且能够执行正确的驾驶支持。

上述实施例仅是示例性的，并不旨在显示本发明的范围。这些新颖的实施例能够以其他各种形式来实现。在不脱离本发明的主旨的情况下，能够对实施例进行各种省略、替换和修改。例如，通过使用距离图像和距离值来代替视差图像和视差值能够获取如上所述的相同的配置、处理以及效果。这些实施例及其变型例包括在本发明的主旨和范围中，并且包括在权利要求以及等同要求中所描述的本发明中。

参考标记列表

1 车辆

2 成像单元

3 分析单元

4 控制单元

14 FPGA

17 CPU

31 捕获图像修正器

32 视差计算单元

33 视差图像生成器

34 识别处理器

103 边缘有效化单元

104 对位置计算器

105 对内视差有效化单元

106 边缘量计算器

107 比较器

108 有效视差对设置单元

109 对间距计算器

110 比较器

111 对深度差计算器

112 比较器

113 参数存储器

114 有效化确定单元

115 有效视差确定单元

120 有效视差设置单元

121 待配对视差的搜索范围设置单元

122 待配对视差的设置单元

123 对深度差计算器

124 比较器

131 比较器

132 比较器

440 信息处理器

441 不相似度计算器

442 倾斜度计算器

443 局部最小值检测器

444 阈值设置单元

445 标志控制器

446 计数器控制器

447 有效性确定单元

450 信息存储单元

451 不相似度寄存器

452 倾斜度寄存器

453 阈值寄存器

454 标志寄存器

455 局部最小值计数器

501 匹配成本计算器

502 边缘检测器

503 重复图案检测器

504 全表面视差图像生成器

505 生成器

参考文献列表

专利文献

PTL 1:日本未审查专利11-351862号公报

Claims (13)

1.一种对象识别设备，其用于在距离图像上执行识别处理以识别对象，所述对象识别设备包括：

确定单元，其用于基于在捕获图像中的每个像素的特征值来确定形成所述距离图像的有效距离像素和不形成所述距离图像的无效距离像素；

变更单元，其用于将所述有效距离像素附近的无效距离像素变更为有效距离像素；以及

识别处理器，其用于在距离图像上执行识别处理以识别对象，所述距离图像由所述确定单元所确定的有效距离像素和所述变更单元所获取的有效距离像素所形成；

所述对象识别设备，包括：

计算器，其用于设置有效视差之中的两个相邻有效视差的有效视差对，并且计算所述有效视差对的有效视差之间的位置关系，所述有效视差分别对应于视差图像中的有效距离像素；以及

有效化单元，其用于当所述有效视差对之间的视差的视差值处于根据所述有效视差对的视差值所确定的视差值范围内时，使得所述有效视差对之间的视差有效化；其中，

当从所述捕获图像所获取的作为所述特征值的边缘量大于第一边缘量阈值时，所述确定单元向所述计算器提供第一有效视差信息，并且当从所述捕获图像所获取的作为所述特征值的边缘量大于比第一边缘量阈值小的第二边缘量阈值时，所述确定单元向所述有效化单元提供第二有效视差信息，

所述计算器基于所述第一有效视差信息来设置所述有效视差对，并且

所述有效化单元基于所述第二有效视差信息使得所述有效视差对之间的视差有效化。

2.根据权利要求1所述的对象识别设备，其中根据由多个成像单元所捕获的多个捕获图像来生成所述距离图像。

3.根据权利要求2所述的对象识别设备，其中

所述计算器包括：

对设置单元，其用于将分别与所述有效距离像素对应的有效视差之中的感兴趣视差和与所述感兴趣视差位于同行的最靠近的有效视差设置为所述有效视差对；以及

对位置计算器，其用于计算所述有效视差对的位置关系。

4.根据权利要求2所述的对象识别设备，其中

所述计算器包括：

搜索范围设置单元，其用于根据作为所述有效距离像素的视差值的有效视差和指示待检测对象的实际宽度的对间距信息，来设置将要与所选择的像素位于同行的有效视差进行配对的视差的搜索范围；以及

待配对视差的设置单元，其用于设置所述搜索范围中的待配对视差；以及

差值检测器，其用于检测所述有效视差与所述待配对视差的差值，并且

当所述有效视差与所述待配对视差的差值等于或小于预定阈值时，所述有效化单元使得所述有效视差与所述待配对视差之间的视差有效化。

5.根据权利要求2至4中的任一项所述的对象识别设备，包括视差计算单元，其用于通过匹配处理来计算所述捕获图像的视差值，其中

所述视差计算单元包括：

评价值计算器，其用于计算在预定搜索范围内的相关性的评价值；

极值检测器，其用于检测所述评价值的极值；

计数器，其用于对具有在预定范围内的值的极值的数量进行计数；以及

更新器，其用于当检测到体现比范围内的值更高相关性的极值时，更新所述预定范围，其中

所述计数器对在所述搜索范围内最后更新的范围内的极值的数量进行计数。

6.根据权利要求5所述的对象识别设备，其中当所述计数器的计数值等于或大于预定值时，所述视差计算单元使得与所述最后更新的范围内的极值对应的视差值无效。

7.根据权利要求5所述的对象识别设备，其中所述视差计算单元包括用于重置所述计数器的重置单元。

8.根据权利要求5所述的对象识别设备，包括：

边缘检测器，其用于检测所述捕获图像的边缘；

判别单元，其用于基于在所述搜索范围内最后更新的范围内的极值的数量来判别所述捕获图像中每个像素的有效性；以及

提取器，其用于从所述捕获图像的像素之中提取如下像素的视差值作为有效视差：该像素被所述判别单元判别为有效并且被所述边缘检测器检测为边缘。

9.根据权利要求8所述的对象识别设备，其中

所述判别单元是图案检测器，其用于利用所述捕获图像来检测重复图案，并且将不是重复图案的像素判别为有效像素，并且

所述提取器从所述捕获图像的像素之中提取出不是重复图案且被检测为边缘的像素的视差值作为有效视差。

10.一种装置控制系统，包括：

根据权利要求1所述的对象识别设备；以及

控制设备，其用于利用所述对象识别设备的对象识别结果来控制设备。

11.一种对象识别方法，用于在距离图像上执行识别处理以识别对象，所述对象识别方法包括：

基于捕获图像中的每个像素的特征值，确定形成所述距离图像的有效距离像素和不形成所述距离图像的无效距离像素；

将所述有效距离像素附近的无效距离像素变更为有效距离像素；以及

在距离图像上执行识别处理以识别对象，所述距离图像在确定步骤中所确定的有效距离像素和在变更步骤中所获取的有效距离像素所形成；

所述对象识别方法包括：

设置有效视差之中的两个相邻有效视差的有效视差对，并且计算所述有效视差对的有效视差之间的位置关系，所述有效视差分别对应于视差图像中的有效距离像素；以及

当所述有效视差对之间的视差的视差值处于根据所述有效视差对的视差值所确定的视差值范围内时，使得所述有效视差对之间的视差有效化；其中，

当从所述捕获图像所获取的作为所述特征值的边缘量大于第一边缘量阈值时，提供第一有效视差信息，并且当从所述捕获图像所获取的作为所述特征值的边缘量大于比第一边缘量阈值小的第二边缘量阈值时，提供第二有效视差信息，

基于所述第一有效视差信息来设置所述有效视差对，并且

基于所述第二有效视差信息使得所述有效视差对之间的视差有效化。

12.一种计算机可读记录介质，其上存储有可执行程序，所述可执行程序用于在距离图像上执行识别处理以识别对象，其中所述可执行程序命令计算机执行：

基于捕获图像中的每个像素的特征值，确定形成所述距离图像的有效距离像素和不形成所述距离图像的无效距离像素；

将所述有效距离像素附近的无效距离像素变更为有效距离像素；以及

在距离图像上执行识别处理以识别对象，所述距离图像由在确定步骤中所确定的有效距离像素和在变更步骤中所获取的有效距离像素所形成；

所述可执行程序命令计算机执行：

设置有效视差之中的两个相邻有效视差的有效视差对，并且计算所述有效视差对的有效视差之间的位置关系，所述有效视差分别对应于视差图像中的有效距离像素；以及

当所述有效视差对之间的视差的视差值处于根据所述有效视差对的视差值所确定的视差值范围内时，使得所述有效视差对之间的视差有效化；其中，

当从所述捕获图像所获取的作为所述特征值的边缘量大于第一边缘量阈值时，提供第一有效视差信息，并且当从所述捕获图像所获取的作为所述特征值的边缘量大于比第一边缘量阈值小的第二边缘量阈值时，提供第二有效视差信息，

基于所述第一有效视差信息来设置所述有效视差对，并且

基于所述第二有效视差信息使得所述有效视差对之间的视差有效化。

13.一种距离图像生成设备，其用于向对象识别单元输出用于识别对象的距离图像，所述对象识别设备在所述距离图像上执行识别处理以识别对象，所述距离图像生成设备包括：

确定单元，其用于基于捕获图像中每个像素的特征值来确定形成所述距离图像的有效距离像素和不形成所述距离图像的无效距离像素；

变更单元，其用于将所述有效距离像素附近的无效距离像素变更为有效距离像素；以及

生成器，其用于生成距离图像并且将所述距离图像输出到所述对象识别单元，所述距离图像由所述确定单元所确定的有效距离像素和所述变更单元所获取的有效距离像素所形成；

所述距离图像生成设备，包括：

计算器，其用于设置有效视差之中的两个相邻有效视差的有效视差对，并且计算所述有效视差对的有效视差之间的位置关系，所述有效视差分别对应于视差图像中的有效距离像素；以及

有效化单元，其用于当所述有效视差对之间的视差的视差值处于根据所述有效视差对的视差值所确定的视差值范围内时，使得所述有效视差对之间的视差有效化；其中，

当从所述捕获图像所获取的作为所述特征值的边缘量大于第一边缘量阈值时，所述确定单元向所述计算器提供第一有效视差信息，并且当从所述捕获图像所获取的作为所述特征值的边缘量大于比第一边缘量阈值小的第二边缘量阈值时，所述确定单元向所述有效化单元提供第二有效视差信息，

所述计算器基于所述第一有效视差信息来设置所述有效视差对，并且

所述有效化单元基于所述第二有效视差信息使得所述有效视差对之间的视差有效化。

Images