CN104918033A - 图像处理装置和图像处理方法 - Google Patents

Abstract

本发明涉及图像处理装置和图像处理方法。图像处理装置(100)包括：成像装置(2)、第一提取单元(5)、视差计算单元(4)、第二提取单元(8)和对象确定单元(9)。第一提取单元基于由成像装置捕捉的图像数据提取主区域，主区域是包括目标候选的图像区域。第二提取单元基于视差从主区域提取候选区域。对象确定单元确定候选区域的图像是否是目标图像。与从上部区域相比，更加严格地限制从下部区域提取候选区域。下部区域设置在主区域中的预定位置下方。上部区域设置在主区域中的预定位置上方。

Description

图像处理装置和图像处理方法

技术领域

本发明涉及一种图像处理装置和图像处理方法。

背景技术

传统地，存在一种基于视差来检测诸如人脸这样的特殊对象的技术。例如，日本专利申请公开No.2007-280088(JP 2007-280088 A)公开这样一种技术：基于两个图像之间的视差生成深度映射，设定与深度映射中的距离值相对应的尺寸的检测区域，并且判定在检测区域中的对象是否为人脸。

当基于由成像装置捕捉的图像数据的视差而提取目标时，期望减小精度的降低。例如，当从成像装置到期望目标的距离与从成像装置到背景的距离之间的差小时，视差值变小。相反，当从图像数据提取目标区域时，该视差的减小降低了提取精度。当使用不仅包括人的面部并且包括躯体和腿的视差信息从宽的范围提取轮廓时，提取目标包括了到背景的距离短的部分和到背景的距离远的部分。在到背景的距离短的部分中，从在该部分中的图像数据获得的视差值与从在附近的背景位置的图像数据获取的视差值之间的差变小，有时降低了分离/提取精度。该降低趋于使在到背景的距离短的部分中的提取的形状与目标的真实形状之间的偏离度增大。因此，当基于提取的形状进行诸如样式匹配这样的对比时，如果提取的形状与真实形状的偏差大，则样式匹配的精度降低。

发明内容

本发明提供一种图像处理装置和图像处理方法，该装置和方法能够当基于视差从图像数据提取目标区域时提高提取精度。

根据本发明的第一方面的图像处理装置包括成像装置、第一提取单元、视差计算器、第二提取单元和对象确定单元。成像装置被构造成捕捉周围的图像。第一提取单元被构造成基于由所述成像装置捕捉的图像数据提取主区域，所述主区域是包括目标的候选的图像区域。视差计算单元被构造成基于由所述成像装置捕捉的图像数据计算视差。第二提取单元被构造成基于视差从所述主区域提取候选区域，所述候选区域是所述候选的图像区域。对象确定单元被构造成通过比较所述候选区域的形状与所述目标的预定形状来确定所述候选区域的图像是否是所述目标的图像。与在所述主区域中从上部区域提取候选相比，更加严格地限制从所述主区域的下部区域提取所述候选区域。所述下部区域构成所述主区域的下部，并且设置在所述主区域中的预定位置的下方。所述上部区域构成所述主区域的上部，并且设置在所述主区域的所述预定位置的上方。

根据本发明的第一方面的图像处理装置实现了以下效果：提高了基于视差从图像数据提取目标的区域的提取精度。

在上述图像处理装置中，所述预定位置可以是设定为基准位置的位置。

根据本发明的第一方面的图像处理装置还可以包括距离识别单元其被构造成识别从所述成像装置到所述目标的候选的距离。

在上述图像处理装置中，在主区域中，当由所述距离识别单元识别的距离大时，所述基准位置可以设定成在当所述距离小时的基准位置的上方。

在根据本发明的第一方面的图像处理装置中，当由所述距离识别单元识别的距离大时，对从所述下部区域提取所述候选区域的限制程度可以设定成比当所述距离小时对从所述下部区域提取所述候选区域的限制程度更高。

在上述图像处理装置中，所述第二提取单元可以被构造成仅将所述主区域的一部分提取为所述候选区域。在所述主区域的部分中，所述目标候选与所述成像装置之间的距离是在关于由所述距离识别单元识别的距离的预定范围内。另外，所述下部区域的预定范围小于所述上部区域的预定范围。

在根据本发明的第一方面的图像处理装置中，当由所述距离识别单元识别的距离大时，所述下部区域的预定范围与所述上部区域的预定范围之间的偏差程度比当所述距离小时的偏差程度更大。

在根据本发明的第一方面的图像处理装置中，可以禁止在所述下部区域中提取所述候选区域。

在根据本发明的第一方面的图像处理装置中，所述第二提取单元可以被构造成将所述主区域的一部分提取为所述候选区域。在所述主区域的部分中，所述目标候选与所述成像装置之间的距离是在关于由所述距离识别单元识别的距离的预定范围内。另外，可以禁止在所述下部区域中提取所述候选区域。

根据本发明的第二方面的图像处理方法包括：捕捉周围的图像以生成图像数据；基于图像数据提取主区域，所述主区域是包括目标候选的图像区域；基于图像数据计算视差；基于所述视差从所述主区域提取候选区域，所述候选区域是所述候选的图像区域；通过比较所述候选区域的形状与所述目标的预定形状，确定所述候选区域的图像是否是所述目标的图像；以及与在所述主区域中从上部区域提所述取候选区域相比，更加严格地限制从所述主区域的下部区域提取候选区域。所述下部区域构成所述主区域的下部，并且设置在所述主区域中的预定位置的下方。所述上部区域构成所述主区域的上部，并且设置在所述主区域中的预定位置的上方。

根据本发明的第二方面的图像处理方法实现以下效果：提高了基于视差从图像数据提取目标区域的提取精度。

附图说明

下文将通过参考附图描述本发明的示例性实施例的特征、优点和技术及工业重要性，相同的数字编号表示相同的元件，并且其中：

图1是示出在第一实施例中图像处理装置的操作的流程图；

图2是第一实施例中的图像处理装置的块图；

图3是第一实施例中的车辆的透视图；

图4是示出视差的计算方法的实例的图；

图5是示出主区域的图；

图6是示出基于视差的提取方法的问题的图；

图7是示出提取许可区域的图；

图8是示出提取区域的判定方法的图；

图9是示出候选区域的提取方法的图；

图10是示出候选区域的实例的图；

图11是示出第一实施例的修改例中提取许可区域的判定方法的图；

图12是示出第二实施例中候选区域的提取方法的图；

图13是示出第二实施例的第一修改例中候选区域的提取方法的图；以及

图14是示出第二实施例的第二修改例中的候选区域的提取方法的图。

具体实施方式

下面将通过参考附图详细描述本发明的实施例中的图像处理装置和图像处理方法。以下实施例不旨在限制本发明的范围。实施例中描述的元件包括本领域技术人员易于想到的变型和大致相同的元件。

[第一实施例]下面参考图1至图10描述第一实施例。该实施例涉及图像处理装置和图像处理方法。图1是示出在本发明的第一实施例中图像处理装置的操作的流程图，图2是第一实施例中的图像处理装置的块图，图3是第一实施例中的车辆的透视图，图4是示出视差的计算方法的实例的图，图5是示出主区域的图，图6是示出基于视差的提取方法的问题的图，图7是示出提取许可区域的图，图8是示出提取区域的判定方法的图，图9是示出候选区域的提取方法的图，以及图10是示出候选区域的实例的图。

如图2所示，在该实施例中的图像处理装置100包括立体相机成像装置2和ECU3。该实施例描述了安装在如图3所示的车辆1上的图像处理器100用作检测车辆1周围的障碍的障碍检测装置的情况。立体相机成像装置2是捕捉车辆1的周围的图像的成像装置。在该实施例中的立体相机成像装置2捕捉车辆1前方区域的图像。例如，将立体相机成像装置2布置在车辆内部挡风玻璃附近。

如图3所示，立体相机成像装置2具有两个相机：相机2R和相机2L。在该实施例中，右侧相机2R和左侧相机2L均为独立的成像装置。每个相机2R和2L均具有诸如CCD或CMOS这样的光电转换装置。两个相机2R和2L捕捉水平方向上的车辆1的前方区域的图像。两个相机2R和2L布置在车辆1的车辆宽度方向上的不同位置中。右侧相机2R在车辆宽度方向上关于左侧相机2L相对地布置在右侧上。以右侧相机2R的光轴与左侧相机2L的光轴平行的方式布置两个相机2R和2L。

右侧相机2R和左侧相机2L的每个都连接到ECU3。由相机2R和2L捕捉的图像数据输出到ECU3。ECU3具有作为图像处理装置的功能，该图像处理装置处理由立体相机成像装置2捕捉的图像数据。ECU3是包括计算机的电子控制单元。ECU3以预定的时间间隔向右侧相机2R和左侧相机2L发送成像指令。右侧相机2R和左侧相机2L之间的捕捉次数同步是可取的。ECU3获取相机2R和2L响应图像指令而捕捉并生成的图像数据。

如图2所示，ECU3包括视差计算单元4、第一提取单元5、距离识别单元6、提取范围设定单元7、第二提取单元8和对象确定单元9。视差计算单元4基于成像装置捕捉的图像数据计算视差。该实施例中的视差计算单元4基于由立体相机成像装置2捕捉的多个图像数据计算视差。该实施例中的视差计算单元4基于两个图像数据，即，右图像数据和左图像数据，来计算视差。“右图像数据”是由右侧相机2R捕捉并生成的图像数据。“左图像数据”是由左侧相机2L捕捉并生成的图像数据。因为两个相机2R和2L在车辆宽度方向上布置在不同的位置，所以在右图像数据与左图像数据之间产生视差。视差计算单元4计算该视差。

参考图4描述视差计算方法的实例。视差计算单元4基于右图像数据DR与左图像数据DL之间的相关性计算其中捕捉了相同成像对象的像素中产生的视差。更具地，对于作为左图像数据DL的像素和目标的像素PX(下文中简称为“目标像素”)，视差计算单元4以目标像素PX作为其中心选择预定尺寸的像素块，来作为源块BK。视差计算单元4计算选择的源块BK与右图像数据DR中的对比目标块BKC之间的相关性程度。

在图4中，右图像数据DR的对应块BK0是对应于左图像数据DL中的源块BK的块。换言之，对应块BK0是这样的块：其在图像数据中的位置与源块BK的位置相同。视差计算单元4计算对比目标块BKC与源块BK之间的位置的相关性程度，所述对比目标块BKC关于源块BK0在竖直方向或水平方向上偏移。此处提及的“竖直方向”指的是图像数据中的成像对象的竖直方向，并且此处提及的“水平方向”指的是图像数据中的成像对象的水平方向。在该实施例中，图像数据DR和DL的竖直方向与图4所示的图像数据的竖直方向相同，并且图像数据DR和DL的水平方向与图4所示的图像数据的水平方向相同。

视差计算单元4计算对比目标块BKC与源块BK之间的相关性程度，其中对比目标块BKC从对应块BK0偏移不同的偏移量。例如，视差计算单元4将对比目标块BKC每次在水平方向或竖直方向上偏移一个像素，并且每次对比目标块BKC移位时都计算相关性程度。此后，视差计算单元4基于具有与源块BK的最高程度相关性的对比目标块BKC来计算目标像素PX的视差。例如，视差计算单元4计算源块BK与对比目标块BKC之间每个对应像素的亮度差，并且计算亮度差的总和(或平方和)。计算的亮度差的总和越小，源块BK与对比目标块BKC之间的相关性程度越高。

视差计算单元4确定具有与源块BK的最高程度相关性的对比目标块BKC，并且将偏移量确定为目标像素PX的视差，对比目标块BKC以该偏移量从对应块BK0偏移。预先确定用于使对比目标块BKC从对应块BK0偏移的最大偏移量Smax。

视差计算单元4可以使用在H.Hirschmuller,“Accurate and efficientstereo processing by semi-global matching and mutual information”,CVPR,2005,PP.807-814中描述的方法来计算视差。

第一提取单元5基于由立体相机成像装置2捕捉的图像数据提取主区域(见图5中的符号R1)，该主区域是包括目标候选的图像区域。在该实施例中，描述了其中待被检测的目标是行人的实例。因此，在该实施例中，“目标候选”是对要检测的行人的候选。基于图像数据DR和DL而提取的对象的目标候选是要通过样式匹配确定该对象是否实际是行人的对象。

第一提取单元5基于图像数据DR和DL的像素的亮度提取主区域R1。在该实施例中的第一提取单元5基于右图像数据DR和左图像数据DL中的一个来提取主区域R1。为提取主区域R1，第一提取单元5首先提取包括在右图像数据DR中的区域的像素区域PX1，并且该像素区域PX1的亮度与其周围有很大不同。第一提取单元5将捕捉的像素区域PX1的提取块的廓落形状与预先存储的行人的轮廓形状相匹配，以判定像素区域PX1的图像是否是通过捕捉行人而生成的图像。

第一提取单元5可以使用在N.DalalandB,Triggs,“Histogram oforiented gradient for human detection”,CVPR,2005中描述的方法基于亮度来提取行人。

如果像素区域PX1的轮廓形状与行人的轮廓形状之间的相关性程度高，则第一提取单元5临时判定像素区域PX1是行人的图像。另外，如在该实施例中稍后所述，基于高度方向上的位置，为临时判定为行人的像素区域的像素区域PX1调整提取条件。图像处理装置100基于调整的提取条件提取用于样式匹配的最终候选区域。

在像素区域PX1中的图像被临时判定为行人的图像之后，第一提取单元5提取主区域R1。提取主区域R1使得包括像素区域PX1，如图5所示。主区域R1的上端在像素区域PX1的上端上方是可取的。主区域R1的下端在像素区域PX1的下端的下方也是可取的。主区域R1的左端在像素区域PX1的左端的左侧是可取的。主区域R1的右端在像素区域PX1的右端的右侧也是可取的。主区域R1可以被定义为能够捕捉行人候选之外的图像的预定宽度(例如，几十厘米)的区域。注意，主区域R1的外构架的形状不限于图5所示的矩形。

距离识别单元6基于由立体相机成像装置2捕捉的图像数据来识别从立体相机成像装置2到目标候选的距离。在该实施例中的距离识别单元6基于视差计算单元4计算的视差来计算距离。在该实施例中，距离识别单元6在主区域R1中设定距离计算区域R11。距离识别单元6基于在距离计算区域R11中的像素上的视差信息来计算立体相机成像装置2与目标候选之间的距离。

距离计算区域R11是矩形区域，如图5所示。在该实施例中的距离计算区域R11以下述方式设定，包括每个都作为由第一提取单元5提取的像素区域PX1的一部分的以下区域：区域PX11，其对应于躯体；区域PX12，其对应于腿的上部；和区域PX13，其对应于上臂。以这样的方式来设定距离计算区域R11：包括临时判定为行人的像素区域PX1的中间部分或目标候选的中间部分。以在其至少一部分中包括像素区域PX1的背景区域PX2的方式设定该实施例中的距离计算区域R11。

距离识别单元6从距离计算区域R11的像素的视差值中计算立体相机成像装置2与临时判定为行人的成像对象之间的距离。距离识别单元6计算代表距离，作为代表立体相机成像装置2与临时判定为行人的目标候选之间的距离的值。在右图像数据DR中的像素与在左图像数据DL中的像素的视差值对应于像素的成像对象与立体相机成像装置2之间的距离。例如，距离识别单元6计算包括在距离计算区域R11中的像素的视差的中间值或平局值，作为代表视差。该代表视差对应于目标候选与立体相机成像装置2之间的代表距离。距离识别单元6可以将代表视差值直接作为对应于代表距离的值输出，或者可以将代表视差转换为距离，然后输出代表距离。该实施例中的距离识别单元6计算代表距离L0并且将计算的代表距离L0输出到提取范围设定单元7。立体相机成像装置2与目标候选之间的距离越大，视差值越小。相反，距离越小，视差值越大。因此，当距离识别单元6输出作为对应于代表距离L0的值的代表视差值时，应基于上述的视差值与距离之间的相关性进行利用提取范围设定单元7等的处理。

提取范围设定单元7设定包括在主区域R1中、并且用于提取实际目标的范围。首先，通过参考图6描述当基于视差提取目标时出现的问题。为了从由立体相机成像装置2获取的图像数据中提取立体对象的形状，必须分离立体对象与其背景。对于诸如行人这样的接触路面的立体对象，相比于躯体的上半部分与背景之间的分离，接近路面的腿与路面之间的分离要更难以进行。

如图6所示，从立体相机成像装置2到要提取的行人PE(行人PE1、PE2)的距离L1不同于从立体相机成像装置2到背景(例如，路面)之间的距离(L1+L2)。该不同使得行人PE1与行人PE2能够基于两个图像数据DR和DL之间的视差而被提取。然而，当提取了作为行人PE(PE1、PE2)的一部分、并且靠近路面的部分(例如，行人PE的腿)时，路面与腿之间的距离差L2是小的。该小的距离差趋于降低提取精度。另外，在行人PE2定位成远离立体相机成像装置2的情况下，到提取目标的距离L1是大的。因此，与提取了定位更近的行人PE1的情况相比较，该大的距离(L1)使得更难将行人PE2的脚与背景分离，有时导致提取了与真实形状不同的形状。例如，当提取行人PE2的脚时，该提取易受路面形状引起的噪声的影响。

为应对该问题，该实施例中的图像处理装置100如下文描述根据到目标候选的距离改变竖直方向范围，该竖直方向范围用于提取立体对象的形状。以该方式改变竖直方向范围使得能够精确地提取目标候选的形状，导致当提取远目标候选时精确度降低。通过参考图7和图8，下面描述提取范围设定单元7如何设定范围。

如图7所示，在主区域R1中定义下面两个区域：提取许可区域R12和提取禁止区域R13。提取许可区域R12是允许从图像数据DR和DL中提取稍将后描述的候选区域PX3(见图10)的区域。另一方面，提取禁止区域R13是禁止从图像数据DR和DL中提取候选区域PX3的区域。提取许可区域R12和提取禁止区域R13由边界线LB分开。作为表示预定位置的实例的边界线LB在该实施例中是直线。表示预定位置的边界线LB是设定为基准位置的位置。边界线LB是由从主区域R1的上端R1a的竖直方向宽度hp决定的线。换言之，边界线LB是在主区域R1的框架的上端下方、并且与上端R1a的距离是hp的线。提取许可区域R12是在边界线LB的上端R1a侧上的区域。即，提取许可区域R12是其中捕捉在作为基准位置的边界线LB上方的上部的上部区域。另一方面，提取禁止区域R13是在上端R1a侧的关于边界线LB在相反侧上的区域。提取禁止区域R13是其中捕捉在作为基准位置的边界线LB下方的下部的下部区域。即，在该实施例中，禁止从提取禁止区域R13提取候选区域PX3，提取禁止区域R13是在主区域R1中并且其中在边界线LB的下方的下部被捕捉的区域。

提取范围设定单元7通过参考图8所示的映射而设定提取许可区域R12。图8中的横轴表示立体相机成像装置2与目标候选之间的距离d，并且纵轴表示高度h。高度h不是在图像中的距离，而是实际高度。即，高度h表示在目标候选所处的实际空间的位置处的长度。根据高度h判定提取许可区域R12的框架。例如，如果从立体相机成像装置2到目标候选的距离d的值是d1，则选择h1作为高度h的值。提取范围设定单元7根据到目标候选的距离d将高度h转换为在图像中的长度，以确定图7所示的提取许可区域R12的竖直宽度hp。提取范围设定单元7将包括在主区域R1中、并且与上端R1a的宽度是hp的区域设定为提取许可区域R12。

如图8所示，当从立体相机成像装置2到目标候选的距离d是大的时，高度h比当距离d小时的高度h更小。即，与当代表距离L0小时的预定高度位置相比，当由距离识别单元6识别的距离(代表距离L0)大时，预定高度位置(边界线LB)定位在目标候选的竖直更高侧。在该实施例中，代表距离L0的值越大，将边界线LB设定成越靠近行人的上端。另一方面，代表距离L0的值越小，边界线LB设定成越相对靠近行人的下端。

因此，当提取了相同的目标候选时，提取许可区域R12的高宽比在该实施例中根据代表距离L0而改变。目标距离车辆1越远，目标捕捉在图像中的面积越小。因此，目标越远，主区域R1的尺寸越小。在该实施例中，当距目标的距离变大时，提取许可区域R12的竖直方向宽度hp以高于主区域R1减小的减小率这样的减小率而减小。因此，目标候选离立体相机成像装置2越近，提取许可区域R12在竖直方向上变得越细。另一方面，目标候选距离越远，提取许可区域R12的竖直框架宽度hp对水平框架宽度的比越小。

取决于距离d的高度h的值可以预先试验性地确定。例如，对于从路面到立体相机成像装置2的高度、距离d和高度h的组合，基于实验结果估计目标提取的提取精度。结果，基于高度h的最大值创建图8所示的映射，当在距离d的位置处提取目标时能够获得允许的提取精度。

第二提取单元8基于视差从主区域R1提取作为目标候选的图像区域的候选区域PX3。第二提取单元8基于在提取许可区域R12中的像素的视差值来将目标候选与背景分离。下面参考图9描述利用第二提取单元8用以提取目标候选的提取方法。

从提取许可单元R12中，第二提取单元8将这样的区域提取为候选区域：在该区域处，成像对象与立体相机成像装置2之间的距离在由距离识别单元6识别的距离(代表距离L0)的预定范围内。例如，如果距立体相机成像装置2的距离在如图9所示的深度方向上的代表距离L0的预定距离σ的范围内，则认为距离在预定范围内。在图9中，用箭头表示对应于提取许可区域R12的区域。

如果像素包括在提取许可区域R12中，并且其对应于视差值的距离在代表距离L0的预定范围内，则判定该像素为捕捉目标候选的像素。更具体地，对于在提取许可区域R12中的每个像素，第二提取单元8从立体相机成像装置2将像素的视差值转换到距离LP。第二提取单元8确定，如果下面计算的距离LP满足下面的表达式(1)，则像素是候选区域中的像素。

L0-σ≤LP≤L0+σ…(1)

如图10所示，在提取许可区域R12中提取候选区域PX3，而不是在提取禁止区域R13中。以该方式，该实施例中的图像处理装置100能够通过限制到基于视差的提取精度相对高的区域来提取目标的候选区域PX3。结果，提取目标区域的提取精度增大。因此，当基于候选区域PX3而进行样式匹配时，该实施例中的图像处理装置100减少了确定精度的损失。

对象确定单元9将候选区域PX3的形状与预定目标的形状比较，以判定候选区域PX3的图像是否是目标图像。该实施例中的对象确定单元9经由样式匹配进行比较。ECU3预先存储行人的形状作为目标形状。ECU3存储具有不同朝向、姿势和体形的多个行人的形状。对象确定单元9在这些存储的形状与候选区域PX3的形状之间进行样式匹配。基于候选区域PX3的形状与存储形状之间的对比结果，对象确定单元9判定候选区域PX3是否是行人的图像。在该实施例中，在主区域R1中的并且其中捕捉了在表示预定位置的边界线LB下方的下部的区域(即，提取精度相对低的区域)是提取禁止区域R13。即，与从提取许可区域R12提取候选区域PX3相比，更加严格地限制从提取禁止区域R13提取候选区域PX3，其中在提取许可区域R12中，捕捉在作为基准位置的边界线LB上方的上部。这减少了在候选区域PX3中包括低精度提取结果的可能性，使得对象确定单元9能够进行高精度的样式匹配。

下面参考图1描述该实施例中图像处理装置100的操作。例如，以预定的周期间隔重复执行图1所示的控制流程。首先，在步骤1中，立体相机成像装置2同时捕捉两个图像。ECU3发送指令到右侧相机2R和左侧相机2L以使它们同时捕捉图像。ECU3从右侧相机2R获取右图像数据DR，并且从左侧相机2L获取左图像数据DL。这两个图像数据同时响应于所述指令而被捕捉。在进行完步骤S1后，所述处理进行到步骤S2。

在步骤S2中，视差计算单元4计算视差。视差计算单元4通过上述通过参考图4描述的立体视差处理而计算在右图像数据DR和左图像数据DL之间的视差。视差计算单元4计算在图像数据DR和DL中的像素的视差值，并且将表示每个像素的地址与该像素的视差值之间的关系的视差信息输出到距离识别单元6。在进行步骤S2之后，所述处理进行到步骤S3。

在步骤S3中，第一提取单元5提取主区域R1。第一提取单元5如以上参考图5所描述地提取主区域R1。第一提取单元5将在提取的主区域R1上的信息(例如，表示主区域R1的地址的信息)输出到距离识别单元6。在进行步骤3之后，所述处理进行到步骤S4。

在步骤S4中，距离识别单元6计算距作为行人的候选所检测的检测对象的距离。如以上参考图5所述，距离识别单元6将为在距离计算区域R11中的像素计算的视差值的中间值设定为从立体相机成像装置2到判定对象的距离。距离识别单元6将计算的距离(代表距离L0)输出到提取范围设定单元7。在进行步骤S4之后，所述处理进行到步骤S5。

在步骤S5中，提取范围设定单元7设定能够判定轮廓形状的范围。在步骤S5中，提取范围设定单元7基于由距离识别单元6计算的代表距离L0的值来设定范围。例如，提取范围设定单元7如上述通过参考图7和图8设定提取许可区域R12。提取范围设定单元7将已经被设定的提取许可区域R12上的信息(例如，在提取许可区域R12的地址上的信息)输出到第二提取单元8。在进行步骤S5之后，所述处理进行到步骤S6。

在步骤S6中，第二提取单元8在步骤S5中设定的范围中利用视差提取轮廓形状。第二提取单元基于步骤S5中设定的提取许可区域R12中的像素上的视差数据来从提取许可区域R12提取候选区域PX3。例如，如通过参考图9所述，第二提取单元8将包括在提取许可区域R12中的、并且与立体相机成像装置2到成像对象的距离在代表距离L0的预定距离σ内的像素归类为候选区域PX3的像素。第二提取单元8检查在提取许可区域R12中的所有像素，以确定每个像素是否是候选区域PX3中的像素。

在确定候选区域PX3之后，第二提取单元8提取候选区域PX3的轮廓形状。例如，作为在候选区域PX3的每一行上的像素中的一个的、并且是在连续像素的端部处的像素被确定为形成轮廓的像素。类似地，作为在候选区域PX3的每一列上的像素中的一个的、并且是在连续像素的端部处的像素被确定为形成轮廓的像素。第二提取单元8将提取的轮廓形状输出到对象确定单元9。在进行步骤S6之后，所述处理进入到步骤S7。

在步骤S7中，对象确定单元9判定所述轮廓形状是否是行人的轮廓形状。对象确定单元9在由第二提取单元8提取的轮廓形状与预存的行人模型之间进行样式匹配。为了利用模型进行样式匹配，对象确定单元9增大或减小轮廓形状的尺寸，使得提取的轮廓形状的规模与模型的规模匹配。例如，对象确定单元9可以通过将在N.DalalandB,Triggs,“Histogram of oriented gradient for human detection”,CVPR,2005中描述的方法的Histogram_of_oriented_gradient(HOG)的部分替换为二进制图像经由Support_Vector_Machines(SVM)来进行判定。

对象确定单元9判定在步骤S6中提取的轮廓形状是否是行人的形状，并且输出判定结果。在进行步骤S7之后，控制流程终止。

如上所述，在该实施例中的图像处理装置100如下限制候选区域PX3的提取。即，利用在主区域R1中作为预定位置的边界线LB，与从其中在预定位置的上方的上部被捕捉的区域(提取许可区域R12)中提取候选区域PX3相比，图像处理装置100更严格地限制从其中在边界线LB的下方的下部被捕捉的区域(提取禁止区域R13)提取候选区域PX3。在该实施例中，对候选区域PX3的提取的限制程度在提取禁止区域R13中最大，并且在该区域中，禁止提取候选区域PX3。以该方式，该方法有效地减少了在候选区域PX3的提取精度的损失。

在该实施例的图像处理装置100中，与当由距离识别单元6识别的距离(代表距离L0)小时相比，当由距离识别单元6识别的距离大时，边界线LB在主区域R1中设定在更高的位置处。这通过以下的两点(i)和(ii)实现。(i)与当代表距离L0小时相比，当代表距离L0大时，图8所示的高度h设定得更小。(ii)因为高度h设定得更小，所以边界线LB移动到主区域R1中的相对更高侧，结果，提取禁止区域R13延伸到上侧。

该实施例中的ECU3还可以包括支持驾驶员驾驶操作的支持单元。支持单元基于步骤S7的判定结果支持驾驶员。支持方法包括：由信息传输单元进行的行人存在传输方法，该信息传输单元将行人的存在信息传输给驾驶员；以及驾驶操作支持方法，该驾驶操作支持方法由操作支持单元进行。行人存在传输方法包括：基于检测的行人与车辆1之间的相对位置和相对速度的对驾驶员的警报或警告的传输，以及用于避免接近行人的避让操作的建议。驾驶操作支持方法包括通过辅助驾驶员进行对驱动源(发动机、电动发电机等)、制动装置和转向装置的输入操作来避免接近检测的行人。具有支持单元的ECU3能够用作控制车辆1的控制装置。

根据该实施例中的图像处理装置100，基于距提取的行人候选的距离，通过将候选变窄到能够精确提取候选的图像区域(提取许可区域R12)而提取候选区域PX3。因此，当行人的候选远离车辆1时，提取行人的上部(例如，头或躯体的上半部分)作为候选区域PX3。即使当行人远离车辆时，因为与背景的视差相对地大，也能够精确地提取行人的上部。利用基于如上所述地精确提取的候选区域PX3而与行人模型进行匹配的样式，图像处理装置100能够精确地判定候选区域PX3是否是行人。即，从行人远离车辆时，能够精确地判定行人的存在。另外，禁止提取行人的下部减小了在候选区域PX3中包括了低精度提取结果的可能性。因此，该方法减小了这样的可能性：虽然对象实际上是行人，但将候选区域PX3错误地判定为不是行人。

随着车辆1与行人之间的距离变得更小，提取许可区域R12在主区域与R1中在行人的下端的方向上延伸。因此，随着车辆1接近行人，变得能够提取包括行人的更大部分的候选区域PX3。该能力使得能够通过样式匹配而获得行人的更详细的信息，诸如行人的朝向和姿势。例如，变得不仅能够判定提取的候选是否实际是行人，而且能够判定行人是否是小孩，或者行人是否在车辆1前方通过马路。该详细信息使得能够更加精确地鉴别行人。

(图像处理方法)在第一实施例中公开了一种图像处理方法。该图像处理方法包括以下过程：捕捉周围图像的捕捉过程；基于捕捉过程捕捉的图像数据，提取包括目标候选的图像区域的主要区域的第一提取过程；基于捕捉过程捕捉的图像数据，用于计算视差的视差计算过程；从主区域中提取作为候选的图像区域的候选区域的第二提取过程；以及基于在候选区域的形状与预定目标的形状之间的对比，确定候选区域的图像是否是目标图像的对象确定过程。与从其中在预定位置上方的上部被提取的区域中提取候选区域相比，更加严格地限制从主区域中并且从其中在预定位置下方的下部被提取的区域中提取候选区域。

例如，利用立体相机成像装置2进行捕捉过程。例如，利用第一提取单元5进行第一提取过程。例如，利用视差计算单元4进行视差计算过程。例如，利用第二提取单元8进行第二提取过程。例如，利用对象确定单元9进行对象确定过程。

[第一实施例的修改例]下面描述第一实施例的修改例。图11是示出第一实施例的修改例中提取许可区域的确定方法的图。在上述第一实施例中，随着立体相机成像装置2与目标候选之间的距离d变得更大，确定提取许可区域R12的高度h连续地减小。该修改例与上述第一实施例不同之处在于确定提取许可区域R12的高度h阶段性地改变。

如图11所示，为距离d定义阈值d1和d2。第一阈值d1的值小于第二阈值d2。当距离d小于第一阈值d1时，确定提取许可区域R12的高度h是第一高度h1。当距离d等于或大于第一阈值d1，并且小于第二阈值d2时，确定提取许可区域R12的高度h是第二高度h2。当距离d等于或大于第二阈值d2时，确定提取许可区域R12的高度h是第三高度h3。在上述说明中，第二高度h2小于第一高度h1，并且第三高度h3小于第二高度h2。

在该修改例中，确定提取许可区域R12的高度h分三个阶段改变。代替该三个阶段，确定提取许可区域R12的高度h可以分两个阶段或更多个阶段来改变。

[第二实施例]下面通过参考图12描述第二实施例。在第二实施例中，同样的参考标号用于表示具有与第一实施例中描述的相同的功能的元件，并且将省略这些元件的进一步说明。图12是示出在第二实施例中候选区域的提取方法的图。第二实施例与上述第一实施例的不同之处在于：允许在行人PE的下部中提取候选区域PX3。在上述第一实施例中，仅允许在包括在主区域R1中的、并且在预定位置上方的上部被提取的区域中提取候选区域PX3。可替代地，在第二实施例中，还允许在预定位置下方的下部被捕捉的区域中提取候选区域PX3。然而，如下所述，用于提取候选区域PX3的提取条件限制在该下部被捕捉的区域中。

如图12所示，在该实施例中，主区域R1分划为以下两个区域：上部区域R1U和下部区域R1L。图12中的主区域R1表示通过将在右图像数据DR和DL中的主区域R1投射到实际空间位置而生成的图像。上部区域R1U是包括在主区域R1中、并且其中在预定位置上方的竖直上侧被捕捉的区域。另一方面，下部区域R1L是包括在主区域R1中、并且其中在预定位置下方的竖直下侧被捕捉的区域。以与上述第一实施例中的边界线LB同样的方式确定在上部区域R1U与下部区域R1L之间的边界线。

如图12所示，作为用于上部区域R1U的预定距离σ的第一预定距离σ1大于作为用于下部区域R1L的预定距离σ的第二预定距离σ2。即，在上部区域R1U中，即使像素与代表距离L0的距离差相对大，像素也确定为构造候选区域PX3的像素。例如，对于在上部区域R1U中的像素，即使在从像素的成像对象到立体相机成像装置2的距离LP与代表距离L0之间的差超过第二预定距离σ2，而该距离等于或小于第一预定距离σ1，则确定该像素构成候选区域PX3。

另一方面，对于在下部区域R1L中的像素，如果在从像素的成像对象到立体相机成像装置2的距离LP与代表距离L0之间的差超过第二预定距离σ2，则确定该像素不是捕捉的目标候选的像素。对于上部区域R1U，第二提取单元8基于第一预定距离σ1提取候选区域PX3。另一方面，对于下部区域R1L，第二提取单元8基于第二预定距离σ2提取候选区域PX3。图像处理装置100的其他操作与在上述第一实施例中的那些操作相同。

在该实施例中，如上所述，预定距离σ在主区域R1的上部与下部之间不同。用于包括在主区域R1中的、并且在预定位置下方的下部被捕捉的下部区域R1L的预定范围(±σ2的范围)小于其中预定位置上方的上部被捕捉的上部区域R1U的预定范围(±σ1的范围)。与从上部区域R1U提取候选区域PX3相比，预定范围(±σ2与±σ1)的不同更严格地限制从下部区域R1L提取候选区域PX3。因此，当提取行人PE的下部时，该实施例减小了诸如路面这样的背景被错误地判定为行人PE的部分的可能性。

另外，第二预定距离σ2在该实施例中根据距离识别单元6识别的距离而改变。当从立体相机成像装置2到行人PE的代表距离L0大时的第二预定距离σ2小于当代表距离L0小时的第二预定距离σ2。即，当由距离识别单元6识别的距离(代表距离L0)大时，对从下部区域R1L提取候选区域PX3的限制程度设定成高于当距离小时从下部区域R1L提取候选区域PX3的限制程度。换言之，当确定候选区域PX3是在下部区域R1L中的行人的图像时所允许的距离或视差的误差范围设定成：相比于当行人PE靠近车辆时，当行人PE远离车辆时更小。这意味着，当行人PE远离车辆时，增加了对在下部区域R1L中提取候选区域PX3的限制程度。

当代表距离L0变得更大，并且结果，第二预定距离σ2设定得更小时，第一预定距离σ1与第二预定距离σ2之间的偏差增大。即，相比于当代表距离L0小时，当代表距离L0大时，用于下部区域R1L的预定范围(±σ2的范围)与用于上部区域R1U的预定范围(±σ1的范围)之间的偏差程度变得更大。因此，考虑立体相机方法的随着距对象的距离变大提取精度趋于降低的特征，能够使得当判定对象远离车辆时的下部区域R1L的提取条件更加严格。

可以使得第二预定距离σ2根据代表距离L0的变化而连续地或阶段性地改变。当代表距离L0是等于或大于预定值的距离时，第二预定距离σ2可以设定为0。当第二预定距离σ2设定为0时，能够获得与上述第一实施例中几乎相同的候选区域PX3。

在第二实施例中，上部区域R1U与下部区域R1L之间的边界线可以设定在固定点处，而与代表距离L0无关。另外，主区域R1可以在竖直方向上分划为三个或更多区域。在该情况下，在最上方区域中的预定距离σ的值为最大、并且随着区域降低预定距离σ的值减小是可取的。

另外，可以与第一实施例结合进行第二实施例。例如，与第二实施例中类似的上部区域R1U和下部区域R1L可以设置在提取许可区域R12中。该构造禁止了从提取禁止区域R13中提取候选区域PX3，并且在提取许可区域R12中，限制了在捕捉相对低的部分的区域中提取候选区域PX3。

[第二实施例的第一修改例]下面描述第二实施例的第一修改例。图13是示出在第二实施例的第一修改例中的候选区域的提取方法的图。如图13所示，在第一修改例中的主区域R1分划为以下三个区域：上部区域R1U、中间区域R1M和下部区域R1L。上部区域R1U是捕捉主区域R1的在竖直方向上的最上侧的区域。下部区域R1L是捕捉主区域R1在竖直方向上的最下侧的区域。中间区域R1M是主区域R1的在上部区域R1U与下部区域R1L之间的区域。

如图13所示，作为上部区域R1U的预定距离σ的第一预定距离σ1与作为下部区域R1L的预定距离σ的第二预定区域σ2分别为固定值。相反，中间区域R1M的预定距离σ根据竖直方向的位置而改变。在该实施例中，随着位置在竖直方向上降低，中间区域R1M的预定距离σ变小。另外，在中间区域R1M中，在与上部区域R1U的边界处的预定距离σ是第一预定距离σ1。类似地，在中间区域R1M中，在与下部区域R1L的边界处的预定距离σ是第二预定距离σ2。即，预定距离σ在区域R1U、R1L以及R1M的边界处是连续的。

根据该修改例，必要时能够根据从诸如路面的接触表面的竖直方向距离改变预定距离σ。这使得能够根据获得行人PE与背景之间视差的容易性改变提取条件，从而减少提取精度的损失。还能够以与当中间区域R1M的预定距离σ改变时相同的方式根据代表距离L0改变第二预定距离σ2。另外，当代表距离L0等于或大于预定距离时，可以将第二预定距离σ2设定为0。还可以根据代表距离L0改变中间区域R1M的位置。例如，当代表距离L0大时，可以将中间区域R1M定位得比当代表距离L0小时更高。

另外，可以与第一实施例结合地进行该修改例。例如，诸如在该修改例中使用的上部区域R1U、中间区域R1M和下部区域R1L可以设置在提取许可区域R12中。

[第二实施例的第二修改例]下面描述第二实施例的第二修改例。图14是示出在第二实施例的第二修改例中的候选区域的提取方法的图。如图14所示，预定距离σ从主区域R1的上端侧到下端侧连读改变。预定距离σ在主区域R1的其中捕捉了相对上侧的部分中更大，并且在主区域R1的其中捕捉了相对下侧的部分中更小。以该方式改变预定距离σ的值更加严格地限制了在变得难以基于视差分割背景与行人PE的下部位置处提取候选区域PX3。

例如，预定距离σ的值根据在竖直方向上的位置而线性地改变，如图14所示。然而预定距离σ的值可以不是线性地改变，而是沿着根据在竖直方向上的位置在深度方向上弯曲的曲线来改变。

在该修改例中，预定距离σ的最小值σ3是能够改变的。最小值σ3的值根据代表距离L0而改变。当代表距离L0大时的最小值σ3小于当代表距离L0小时的最小值σ3。即，行人PE距离车辆1越远，最小值σ3越小。另一方面，预定距离σ的最大值σ4是常量。行人PE距离车辆1越远，最小值σ3越小。因此，行人PE距离车辆1越远，变得越难以提取行人PE的脚作为候选区域PX3。另外，行人PE距离车辆1越远，难以提取为候选区域PX3的区域在行人PE中向上延伸得越高。当代表距离L0等于或大于预定距离时，最小值σ3可以设定为0。

另外，可以与上述第一实施例结合地进行该修改例。例如，随着位置变低，预定距离σ可以在提取许可区域R12中减小。

[以上实施例的修改例]虽然在上述的第一实施例和第二实施例中图像处理装置100安装在车辆1中，但其不需要总是安装在车辆1中。图像处理装置100可以安装在除车辆以外的移动体上，或安装在除移动物体以外的结构上。图像处理装置100可以单独地作为单元来操作。图像处理装置100可以由特殊装置被构造成，或至少其构件的一部分由通用构件被构造成。例如，立体相机成像装置2可以由两个通用相机被构造成。代替ECU3，可以使用通用计算机(例如，PC)。立体相机成像装置2可以不使用两个相机，而使用一个相机捕捉立体图像。

虽然在上述实施例和修改例中，由立体相机成像装置2捕捉车辆1前方的区域，但是捕捉方向不限于前方。例如，立体相机成像装置2可以捕捉车辆1的侧方或后方处的图像。代替基于视差计算从成像装置到目标候选的距离，距离识别单元6可以利用诸如雷达检测器这样的距离信息获取单元识别到目标候选的距离。

虽然通过样式匹配而确定的目标通常是行人，然而其他目标也可以是待被确定的目标。其他目标包括诸如前行车辆和自行车这样的在车辆周围的交通环境中移动的移动物体。其他目标还可以包括诸如电线杆或杆这样的固定物体。

根据需要，可以以任意结合的方式执行上述实施例和修改例中公开的内容。

Claims (13)

1.一种图像处理装置(100)，其特征在于，包括：

成像装置(2)，该成像装置被构造成捕捉周围的图像；

第一提取单元(5)，该第一提取单元被构造成基于由所述成像装置捕捉的图像数据来提取主区域，所述主区域是包括目标的候选的图像区域；

视差计算单元(4)，该视差计算单元被构造成基于由所述成像装置捕捉的图像数据来计算视差；

第二提取单元(8)，该第二提取单元被构造成基于所述视差从所述主区域中提取候选区域，所述候选区域是所述候选的图像区域；以及

对象确定单元(9)，该对象确定单元被构造成通过比较所述候选区域的形状与所述目标的预定形状，确定所述候选区域的图像是否是所述目标的图像，其中

与从在所述主区域的上部区域中提取所述候选区域相比，更加严格地限制从所述主区域的下部区域中提取所述候选区域，

所述下部区域构成所述主区域的下部，并且设置在所述主区域中的预定位置的下方，并且

所述上部区域构成所述主区域的上部，并且设置在所述主区域中的所述预定位置的上方。

2.根据权利要求1所述的图像处理装置，其中

所述预定位置是设定为基准位置的位置。

3.根据权利要求2所述的图像处理装置，还包括

距离识别单元(6)，该距离识别单元被构造成识别从所述成像装置到所述目标的候选的距离，其中

所述第二提取单元被构造成仅将所述主区域的一部分提取为所述候选区域，

在所述主区域的所述一部分中，所述目标的候选与所述成像装置之间的距离在对于由所述距离识别单元识别的距离的预定范围内，并且

所述下部区域的所述预定范围小于所述上部区域的所述预定范围。

4.根据权利要求3所述的图像处理装置，其中

当由所述距离识别单元识别的距离大时，所述下部区域的预定范围与所述上部区域的预定范围之间的偏离程度、大于当所述距离小时的偏离程度。

5.根据权利要求2所述的图像处理装置，还包括

距离识别单元(6)，该距离识别单元被构造成识别从所述成像装置到所述目标的候选的距离，其中

在所述主区域中，当由所述距离识别单元识别的距离大时的所述基准位置设定在当所述距离小时的所述基准位置的上方。

6.根据权利要求2所述的图像处理装置，还包括

距离识别单元(6)，该距离识别单元被构造成识别从所述成像装置到所述目标的候选的距离，其中

当由所述距离识别单元识别的距离大时对于从所述下部区域提取所述候选区域的限制程度、设定得高于当所述距离小时对于从所述下部区域提取所述候选区域的限制程度。

7.根据权利要求5或6所述的图像处理装置，其中

所述第二提取单元被构造成仅将所述主区域的一部分提取为所述候选区域，

在所述主区域的所述一部分中，所述目标的候选与所述成像装置之间的距离在对于由所述距离识别单元识别的距离的预定范围内，并且

所述下部区域的所述预定范围小于所述上部区域的所述预定范围。

8.根据权利要求7所述的图像处理装置，其中

当由所述距离识别单元识别的距离大时，所述主区域中的所述下部区域的预定范围与所述上部区域的预定范围之间的偏离程度、大于当所述距离小时的偏离程度。

9.根据权利要求1至8的任意一项所述的图像处理装置，其中

禁止在所述下部区域中提取所述候选区域。

10.根据权利要求2所述的图像处理装置，还包括

距离识别单元(6)，该距离识别单元被构造成识别从所述成像装置到所述目标的候选的距离，其中

所述第二提取单元被构造成将所述主区域的一部分提取为所述候选区域，

在所述主区域的所述一部分中，所述目标的候选与所述成像装置之间的距离在对于由所述距离识别单元识别的距离的预定范围内，并且

禁止在所述下部区域中提取所述候选区域。

11.根据权利要求1至10的任意一项所述的图像处理装置，还包括

提取范围设定单元(7)，该提取范围设定单元被构造成与从所述上部区域提取所述候选区域相比，更加严格地限制从所述下部区域提取所述候选区域。

12.根据权利要求1至11的任意一项所述的图像处理装置，其中

所述第一提取单元被构造成提取行人的候选来作为所述目标的候选。

13.一种图像处理方法，其特征在于，包括：

捕捉周围的图像以生成图像数据；

基于所述图像数据来提取主区域，所述主区域是包括目标的候选的图像区域；

基于所述图像数据来计算视差；

基于所述视差从所述主区域提取候选区域，所述候选区域是所述候选的图像区域；

通过比较所述候选区域的形状与所述目标的预定形状，确定所述候选区域的图像是否是所述目标的图像；以及

与从在所述主区域的上部区域提取所述候选区域相比，更加严格地限制从所述主区域的下部区域提取所述候选区域，其中

所述下部区域构成所述主区域的下部，并且设置在所述主区域中的预定位置的下方，并且

所述上部区域构成所述主区域的上部，并且设置在所述主区域中的所述预定位置的上方。