CN104954664A - 图像处理装置和图像处理方法 - Google Patents

Abstract

本发明涉及图像处理装置和图像处理方法。根据一个实施方式，图像处理方法和图像处理装置包括处理图像生成单元、临时检测单元和最终检测单元。处理图像生成单元从设置在车辆上的摄影机拍摄的车辆周围的图像生成用于检测处理的处理图像。临时检测单元根据处理图像上的检测目标对象扫描预定大小的扫描框，并通过使用检测目标对象的词典确定各个扫描位置的特征值来检测处理图像内的检测目标对象的多个位置候选区域。最终检测单元确定多个位置候选区域的重叠区域，并基于重叠区域和多个位置候选区域确定处理图像内的检测目标对象的最终检测位置。

Description

图像处理装置和图像处理方法

相关申请的交叉引用

本申请要求于2014年3月24日提交的日本专利申请第2014-060738号的优先权权益，将其全部内容通过引用结合于此。

技术领域

本文中描述的实施方式整体涉及图像处理装置和图像处理方法。

背景技术

最近，用于拾取车辆周围的情形的图像的车载摄影机装配在越来越多的车辆(诸如汽车)上。通过车载摄影机拾取的图像是非常有用的，因为通过检测图像中的对象，可利用图像来确定车辆与对象之间的碰撞的可能性或者在停放时支持车辆的转向。

近年来以惊人速度开发用于检测图像内的对象的图像处理技术(图像基于拾取图像并包括处理目标对象；在下文中，称为“处理图像”)以在提高检测准确度的同时减少检测需要的时间。诸如使用例如HOG(方向梯度直方图)特征值的技术的图案匹配技术可作为用于检测对象的这种技术的实例被提及。

在进行图案匹配时，在某些情况下，不能从源自拾取图像的处理图像正确地检测对象，并且出现错误的检测。用于解决这种错误检测的问题的技术包括，例如，使用多个词典(dictionary)进行多个阶段的检测处理并且仅利用在所有的检测处理阶段检测的输出的结果作为正确的检测结果的技术。根据这种技术，可在图案匹配期间减少错误检测的出现，并且可从处理图像准确地检测对象。

然而，根据上述技术，必须使用多个词典在多个阶段执行检测处理。因此，与使用单个词典相比，需要具有与词典的数量对应的大小的大存储器。此外，因为必须在多个阶段执行检测处理，所以与使用单个词典时相比，需要更长的时间用于计算操作。此外，即使当使用多个词典时，在处理图像中的对象形状改变(诸如在对象丧失两侧对称性时)的情况下，通过使用各个词典的处理所计算的可能性变得低于预定可能性，因此变得极其难以检测对象。

发明内容

针对上述情形做出本发明，并且因此本发明的目的是提供用于即使在处理图像中的对象的形状改变的情况下也能准确地检测对象同时减少错误检测的出现的图像处理装置和图像处理方法。

为了解决以上问题，根据本发明的方面的图像处理装置包括处理图像生成单元、临时检测单元和最终检测单元。处理图像生成单元获取通过设置在车辆上的摄影机所拾取的车辆周围的图像，并且从图像生成用于目标对象检测处理的处理图像。临时检测单元根据处理图像上的检测目标对象扫描预定大小的扫描框(scanning frame)。临时检测单元通过使用检测目标对象的词典确定各个扫描位置的特征值来检测处理图像内的检测目标对象的多个位置候选区域。最终检测单元确定多个位置候选区域的重叠区域。最终检测单元基于重叠区域和多个位置候选区域确定处理图像内的检测目标对象的最终检测位置。

利用图像处理装置和图像处理方法，即使在处理图像中的对象的形状改变的情况下，也可以准确地检测对象同时减少错误检测的出现。

附图说明

并入并组成说明书的一部分的附图示出了本发明的实施方式，并且与以上给出的一般性描述和以下给出的实施方式的详细描述一起用来解释本发明的原理。

图1是示出根据本发明的第一实施方式的图像处理装置的实例的方框图；

图2是示出用于即使在处理图像中的对象的形状改变的情况下也准确地检测对象同时减少错误检测的出现的过程的流程图；

图3是示出根据本实施方式的处理图像的实例的说明图，该图像是在视轴直接朝后与自己车辆的行进方向平行时使用具有宽视角的摄影机生成的；

图4是示出在图2的步骤S1中通过词典生成单元执行的词典生成处理的详细步骤的实例的子过程流程图；

图5是示出在词典生成单元生成词典时设定的预定范围的实例的说明图；

图6是示出摄影机设置在车辆的左侧和右侧以及后部处的实例，并且示出在检测在自己车辆旁边行驶的另一车辆的前表面的情况下的每个摄影机的视轴和投影平面的说明图；

图7是示出由处理图像生成单元生成的图像金字塔的实例的说明图；

图8是示出用作通过HOG处理单元的HOG处理的对象的区域(检测目标表面)的说明图；

图9是示出在图2的步骤S6中由最终检测单元执行的用于确定最终检测位置的处理的过程的概要的子过程流程图；

图10是示出在图9的步骤S21中由最终检测单元执行的计数栅格生成处理的详细步骤的实例的子过程流程图；

图11是示出生成计数栅格的方式的实例的说明图；

图12是示出在图9的步骤S22中由最终检测单元执行的框栅格(frame grid)更新处理的详细步骤的实例的子过程流程图；

图13是示出更新框栅格的方式的说明图；

图14是示出第一实施方式中的使用光流(optical flow)扩展框栅格的方式的实例的说明图；

图15A是示出在框栅格中设定的有效栅格的实例的说明图；

图15B是示出用于提取有效检测框(valid detection frame)的条件的说明图；

图15C是示出所提取的多个有效检测框的实例的说明图；

图15D是示出基于多个有效检测框所确定的最终检测框的实例的说明图；

图16是示出通过使用有效栅格提取有效检测框所确定的最终检测框与未使用有效栅格所确定的最终检测框之间的差异的实例的说明图；

图17是示出根据与自己车辆相距的距离生成的多个计数栅格中的某些的实例的说明图；

图18A是示出光流的实例的说明图；以及

图18B是示出根据第二实施方式的使用图18A中示出的光流扩展框栅格的方式的实例的说明图。

具体实施方式

在下文中，将参考附图来给出根据本发明的实施方式的图像处理装置和图像处理方法的描述。

(第一实施方式)

(总体配置)

图1是示出根据本发明的第一实施方式的图像处理装置10的一个配置实例的方框图。

图像处理装置10包括摄影机11、控制单元12、存储单元13、照明装置16、喇叭17、扬声器18和显示装置19。

摄影机11包括CCD(电荷耦合器件)图像传感器或者CMOS(互补金属氧化物半导体)图像传感器，并捕捉车辆(诸如私人汽车)周围区域的视频图像，并且生成图像数据并将图像数据供应至控制单元12。

例如，在监控车辆的后部的情况下，摄影机11设置在车辆的后部的牌照的附近或者在后车窗玻璃的上部中(后方摄影机)。此外，在监控车辆的侧方(lateral direction)的情况下，摄影机11设置在侧视镜的附近(侧方摄影机)。此外，在监控车辆的前方的情况下，摄影机11设置在车辆的前部的牌照附近或者在前镜的上部处(前方摄影机)。

可在摄影机11上安装广角镜头或者鱼眼镜头以实现具有宽视角的图像拾取。例如，在能够以宽视角进行图像拾取的摄影机11布置在侧视镜附近(侧方摄影机)的情况下，除了拾取在车辆的侧方的图像之外，同时还可以拾取在车辆的前方和后方的图像。同样可采用其中多个摄影机11被用于捕捉车辆外部的宽区域的图像的配置。

在下文中，描述其中能够以宽视角进行图像拾取的广角透镜或者鱼眼透镜安装在摄影机11上的情况的实例。

通过摄影机11拾取的具有宽视角的图像被控制单元12转换(视轴(visual axis)转换)为具有任意的视轴的处理图像。换言之，基于由摄影机11拾取的具有宽视角的图像，控制单元12生成透视投射在法线方向上具有任意的视轴的摄影机的虚拟投影平面(在下文中，简单地称为“投影平面”)上的图像(处理图像)。有利的是设定摄影机11的光轴使得平行于地面，或者从与地面平行的线稍微向下的方向。

控制单元12包括，例如，包括CPU、RAM和ROM的微控制器。控制单元12的CPU将存储在诸如ROM的存储介质中的图像处理程序以及执行程序所必需的数据加载至RAM。根据程序，CPU执行用于即使在处理图像中对象的形状改变的情况下也准确地检测对象同时减少错误检测的出现的处理。

控制单元12的RAM提供用于暂时存储数据和由CPU执行的程序的工作区域。控制单元12的诸如RAM或者ROM的存储介质存储图像处理程序和执行程序所必需的各种类型的数据。

应注意，存储媒介的配置(如由RAM或者ROM为代表的)，包括可由CPU读取的记录媒介，诸如磁性或者光记录介质或者半导体存储器，并且配置可采用为使得允许存储媒介中的部分或者全部程序和数据通过电子网络经由网络连接单元(附图中未示出)下载。

在这种情况下，网络连接单元实施用于与网络的形式对应的信息通信的各种协议，并且根据各种协议通过电子网络将控制单元12与诸如另一车辆的ECU的电子设备连接。经由电子网络等的电连接可相对于连接应用。在此，术语“电子网络”一般是指除了无线/有线LAN(局域网)和因特网之外的利用远程通信技术的信息通信网络，包括电话通信网络、光纤通信网络、电缆通信网络和卫星通信网络等。

存储单元13是非易性失存储器，控制单元12可向非易失存储器写入数据并从非易失存储器读取数据。存储单元13存储各种信息，诸如之前使用通过拾取检测目标对象的图像获得的图像生成的图像词典(模型)、以及通过控制单元12生成的框栅格。这些条信息可经由电子网络或者经由诸如光盘的便携式存储介质来更新。

照明装置16由普通的前灯组成并通过控制单元12控制以进行闪光(所谓的“前灯闪烁”)以例如，从而相对在自己车辆外部的周围区域中的驾驶员等发出警告。

喇叭17通过控制单元12控制，并且相对自己车辆外部的周围区域输出警告声音。

扬声器18设置在自己车辆的内部中，并通过控制单元12控制。扬声器18向自己车辆的驾驶员输出嘟嘟声或者与各种类型的信息(诸如通知逼近的危险的信息)对应的声音。

显示装置19设置在可由驾驶员视觉识别的位置处。诸如用于车辆使用的常见显示器、汽车导航系统、或者HUD(抬头显示器)的显示输出设备可被用作显示装置19。根据由控制单元12执行的控制，显示装置19显示各种类型的信息，诸如通过摄影机11拾取的图像或者示出检测目标对象的检测位置的图像。

(控制单元12的配置与操作的概述)

接下来，将描述其功能通过CPU实施的控制单元12的配置与操作的概述。

如图1中所示，根据图像处理程序，控制单元12的CPU至少用作词典生成单元21、处理图像生成单元22、临时检测单元23、最终检测单元24和警告单元25。临时检测单元23包括HOG处理单元31和HOG结果判断单元32。

单元21至单元25的每一个利用RAM所需的工作区域作为用于暂时存储数据的地方。应注意，实施这些功能的单元可通过硬件逻辑(诸如未使用CPU的电路)来提供。

图2是示出用于即使在处理图像中的对象的形状改变的情况下也准确地检测对象同时减少错误检测的出现的过程的流程图。这些过程通过图1中示出的控制单元12的CPU执行。在图2中，包括S和附加到其的数字的符号表示流程图中的相应步骤。

在步骤S1中，词典生成单元21使用之前通过拾取检测目标对象的图像获得的图像生成图像词典(模型)，并将图像词典存储在存储单元13中。更具体地，词典生成单元21使用通过摄影机11预先拾取的检测目标对象的多个图像预先生成词典作为单个词典。通过将在预定范围中的相应的多个位置处的检测目标对象布置在摄影机11的图像拾取范围内以使得摄影机11的预定视轴与检测目标对象的检测目标表面的法线方向平行并通过在相应的多个位置处由摄影机11拾取多个图像的每一个来获得该多个图像。

词典生成单元21生成的词典具有可适用于基于特征值检测图像中的对象的各种类型的技术的内容。在以下描述中，描述其中词典生成单元21生成的词典是适于基于HOG特征值(在下文中，称为“HOG处理”)的目标对象检测处理的词典(在下文中，称为“HOG词典”)并且其中临时检测单元23执行HOG处理的情况的实例。

接下来，在步骤S2，处理图像生成单元22获取拾取的图像，其中，从摄影机11以宽视角拾取车辆周围的区域的图像。

接下来，在步骤S3，基于从摄影机11获取的拾取图像，处理图像生成单元22生成处理图像作为已透视投射在采用视轴作为法线方向的投影平面上的图像，视轴与用于生成词典的视轴相同。

接下来，在步骤S4中，临时检测单元23的HOG处理单元31执行HOG处理(例如，参照日本专利公开第2010-44438号或者日本专利公开第2010-55195号)，并且输出可能性。更具体地，HOG处理单元31将处理图像转换为梯度方向图像，扫描与检测目标对象一致的预定大小的框(扫描框)，并使用HOG词典确定每个扫描位置的HOG特征值。HOG处理单元31从而确定示出检测目标对象存在于各个扫描位置处的概率的可能性。HOG处理单元31可通过将在各个扫描位置处的扫描框内的图像应用至词典来确定可能性(分数)。可以说是，可能性越高，相关图像与词典的匹配度越高。

HOG特征值是纵向、横向、和倾斜方向的边缘存在于块内的程度被量化的值。因此，已知HOG特征值很难受亮度等的变化的影响，而且HOG特征值相对于外形上的变化是健壮的。应注意，通过HOG处理单元31执行的HOG处理可以是利用共生性(co-occurrence property)的处理(coHOG处理)。

接下来，在步骤S5中，临时检测单元23的HOG结果判断单元32采用通过HOG处理单元31获得的可能性大于阈值的结果作为有效的结果。对应于有效结果的扫描框的位置可被认为是用于检测目标对象的位置候选区域。在本实施方式中，将可能性的阈值设定为使得获得多个有效结果并且HOG结果判断单元32检测多个位置候选区域。在以下描述中，通过HOG结果判断单元32检测的扫描框被称为“临时检测框”。

临时检测框的检测的数量可根据当HOG处理单元31在HOG处理中扫描扫描框时像素交错量(pixel staggering amount)的减小、或者根据可能性阈值的减小而逐渐增加。此外，临时检测框的检测数量可根据所使用的其位置相对于在词典生成时获取的图像偏移的图像的数量的增加、或者所使用的其放大率相对于在词典生成时获取的图像而改变的图像的数量的增加而逐渐增加。

接下来，在步骤S6，最终检测单元24确定多个位置候选区域之间的重叠区域。最终检测单元24然后基于重叠区域和多个位置候选区域确定处理图像中的检测目标对象的最终检测位置。在以下描述中，与由最终检测单元24确定的最终检测位置对应的确定框被称为“最终检测框”。

接下来，在步骤S7，警告单元25确定是否应该将关于由最终检测单元24检测的最终检测位置的信息通知自己车辆的驾驶员。如果警告单元25确定应该通知最终检测位置，则CPU前进至步骤S8。与此相反，如果警告单元25确定不需要通知最终检测位置，则CPU前进至步骤S9。例如，在最终检测位置是在与自己车辆相距的预定距离内的位置的情况下，警告单元25可确定应该将检测目标对象的最终检测位置通知给驾驶员。也可采用其中不执行当前步骤S7的配置。

接下来，在步骤S8，警告单元25通过执行以下项中的至少一种操作向自己车辆的驾驶员通知关于最终检测位置的信息：通过扬声器18的音频输出操作、通过扬声器18的蜂鸣输出操作、以及在显示装置19上向自己车辆的驾驶员显示警告的操作，并且此后CPU前进到步骤S9。例如，警告单元25将最终检测位置叠加在处理图像上，并且在显示装置19上显示所产生的图像。此外，警告单元25还可通过使照明装置16闪烁(所谓的“前灯闪烁”)或者通过喇叭17的警告声音向自己车辆外部的周围区域发出警告。

接下来，在步骤S9，控制单元12确定是否结束所呈现的一系列过程。例如，如果自己的车辆已经停止了预定时间段或更长，或者如果由驾驶员输入指令，则控制单元12结束一系列过程。在继续过程的情况下，CPU返回至步骤S2以从摄影机11获取下一个帧图像(frame image)并重复步骤S3至步骤S8的处理。

通过执行上述过程，即使在处理图像中的对象的形状改变的情况下，也可准确地检测对象同时减少错误检测的出现。

在检测目标对象与词典中的学习图像(learned image)匹配的情况下，可获得其中在多个临时检测框的中心的附近的可能性非常高的结果。然而，在处理图像中的检测目标对象的形状与词典中的学习图像相比稍微变形的情况下，中心附近的可能性不会十分高，并且将存在可能性高到一定程度的宽区域。

在处理图像中的检测目标对象的形状变形时，HOG结果判断单元32可通过降低可能性阈值来检测变形的检测目标对象的临时检测框。在这时，因为可能性阈值低，所以在某些情况下，HOG结果判断单元32将错误地检测并非检测目标对象的对象。因此，利用关于多个位置候选区域之间的重叠区域的信息，最终检测单元24确定具有检测目标对象存在于多个位置候选区域(临时检测框)重叠的区域中的高的可能性，并且因此确定最终检测框。

因此，根据图像处理装置10，即使在因为处理图像中的检测目标对象的形状的变化(变形)而导致相对于匹配检测目标对象的框的可能性变低的情况下，也可在减少错误检测的出现的同时可靠地检测检测目标对象。

(词典的生成)

现在将描述根据本实施方式的通过词典生成单元21生成的词典。

图3是示出根据本实施方式的处理图像的实例的说明图，该图像是在直接面向后方的视轴40与自己车辆41行进方向平行的情况下使用具有宽视角的摄影机11生成的。

在本实施方式中，使用具有宽视角的摄影机11生成具有直接面向后部的与自己车辆41的行进方向平行的视轴40的处理图像(参见图3)。在这种情况下，当检测目标对象42较远时，检测目标对象42的整个检测目标表面出现在处理图像中，并且检测目标表面呈现为两侧对称。同时，在检测目标对象42靠近车辆41时，整个检测目标表面出现在处理图像中，并且检测目标表面呈现为小程度的两侧不对称。这是因为，在检测目标表面不是完全平坦的情况下，检测目标表面的左侧和右侧之间的相对深度的外观存在差异。

在未假设检测目标对象42的形状在处理图像中将改变的情况下生成传统词典。因此，在仅使用一个传统词典时，在图3示出的实例中，在检测目标对象42靠近车辆41时，不能从处理图像中检测到检测目标对象42。此外，在使用与多个形状一致的词典以与外形上的变化对应时，需要与词典的数量对应的大小的大存储介质，并且应用大负荷以进行检测处理并且处理时间也增加。

为了实现在如图3所示的视轴40与检测目标表面法线方向之间的位置关系下的对检测目标对象42的检测，根据本实施方式的词典生成单元21预先使用通过如下步骤获得的图像预先生成单个词典：将在预定的范围中的多个位置处的检测目标对象42布置在摄影机11的图像拾取范围内，从而使摄影机11的预定视轴40和检测目标对象42的检测目标表面的法线方向变得平行，并且随后借助摄影机11在多个位置的每一个处预先拾取检测目标对象42的图像。

图4是示出在图2的步骤S1中通过词典生成单元21执行的词典生成处理的详细过程的实例的子过程流程图。应注意，可在执行图2中的从步骤S2向前的步骤之前的任何时候执行词典生成。因此，可使用自己车辆41的摄影机11获取或者可使用另一个固定的摄影机等获取词典生成所需要的拾取图像。

此外，图5是示出在词典生成单元21生成词典时设定的预定范围44的实例的说明图。

在步骤S11，词典生成单元21获取利用摄影机11拾取的在预定范围44中的多个位置处的检测目标对象42的图像。在每个位置处，检测目标对象42被布置为使得自己车辆41的行进方向与检测目标表面的法线方向匹配。

有利的是采用在一定程度上可被认为是平坦表面的表面作为检测目标表面。例如，在检测目标对象42是汽车的情况下，有利的是采用汽车的前表面、侧表面和后表面作为检测目标表面。此外，在自己车辆41是卡车或者公共汽车并且摄影机11可安装在高位置的情况下，也可采用汽车的顶部表面作为检测目标表面。自然地，检测目标表面并不限于汽车的表面，可以是摩托车等的侧表面。

接下来，在步骤S12，词典生成单元21转换所拾取的图像以具有与检测目标表面的法线方向平行的视轴40。应注意，在摄影机11安装为使摄影机11的所谓的光轴事先地与自己车辆41的行进方向匹配并且透镜变形被校正的情况下，不需要执行本步骤S12。

接下来，在步骤S13，词典生成单元21从具有视轴40的图像提取检测目标表面。

随后，在步骤S14，词典生成单元21使用所提取的图像生成词典，并且将词典存储在存储单元13中。

预定范围44是临时检测单元23用作检测目标范围的范围。与中心处的形状相比，在严重偏离拾取图像的中心的位置处的形状明显改变。因此，有利的是使预定范围44为其中形状上的这种变化不太大的范围。例如，预定范围44被设定为从与自己车辆41的行进方向平行的视轴40到朝向自己车辆41的外侧的约30度与60度之间(例如，成45度角)的角度的范围。此外，在检测目标对象42是卡车或者公共汽车的情况下，检测目标表面可被视为更加平行。因此，预定范围44可被拓宽至从平行于自己车辆41的行进方向的视轴40延伸至朝向自己车辆41的外侧约85度的角度的范围。

此外，例如，在预定范围44被设定为从视轴40朝向自己车辆41的外侧超过45度角的范围的情况下，检测目标对象42的侧表面也变得可见。因此，当采用超过45度的范围时，检测目标对象42的侧表面可被用作是检测目标表面，并且可单独地生成其中视轴40与侧表面的法线方向(垂直于自己车辆41的行进方向的方向)平行的词典。在这时，检测目标表面可以是诸如朝向车辆或者轮胎的前面的侧表面的一部分的小区域。在视轴40与侧表面的法线方向平行的情况下，通过采用小的区域作为要提取的用于词典的检测目标表面，可以减小由于分辨率随着与摄影机11的距离的增加而减小所引起的影响或者由于检测目标对象42的侧表面随着与摄影机11的距离的增加而变形(在表面不是完全平坦时)所引起的影响。

在图5中，示出了假设图像处理装置10检测在与自己车辆41行进的车道相邻的车道中行驶并接近自己车辆41的另一车辆情况的实例。在该实例中，采用在距离摄影机11的预定距离内从视轴40朝自己车辆的外侧至45度延伸的范围与从比距离摄影机11的预定距离远的位置从视轴40朝自己车辆的外侧延伸超过预定距离的范围之和作为预定范围44。

根据在图4中示出的过程，可生成结合检测目标对象42的图像(其中，在一定程度上丧失两侧对称性)的对应于预定范围44的单个词典。

在出现其中检测目标表面不是完全平坦表面并处理图像中的两侧对称性丧失的情况的假设下，词典生成单元21生成的词典还学习(learn)已经丧失两侧对称性的图像的词典。因此，仅使用该单个的词典，临时检测单元23可检测在与处理图像的中心分离的位置处出现并且其形状稍微变形的检测目标对象42，尽管关于其的可能性在某种程度上降低。因此，临时检测单元23可利用单个词典从处理图像检测超出宽范围(预定范围44)的位置处的检测目标对象42。

(处理图像生成)

接下来，将描述根据本实施方式的通过处理图像生成单元22生成的处理图像。

虽然图3示出通过布置在侧视镜附近的摄影机11检测从自己车辆41的后部接近的检测目标对象42的实例，但是根据本实施方式的图像处理装置10还可包括位于多个地方的摄影机11，并且也可检测从侧方或者前方接近的检测目标对象42。

图6是示出摄影机11设置在车辆41的左侧和右侧以及后部处的实例并且示出在检测在自己车辆41旁边行驶的另一车辆的前表面的情况下的每个摄影机的视轴40和投影平面43的说明图。在检测在自己车辆41旁边行驶的另一车辆的前表面的情况下，处理图像生成单元22基于由摄影机11拾取的图像生成透视投射在投影平面43(其具有朝后平行于自己车辆41的行进方向的视轴40)上的处理图像。

此外，摄影机11可设置在车辆41的左侧和右侧以及前部处，并且可检测在自己车辆41旁边行驶的另一车辆的后表面。在检测在自己车辆41旁边行驶的另一车辆的后表面的情况下，处理图像生成单元22基于由摄影机11拾取的图像生成透视投射在投影平面43(其具有朝前平行于自己车辆41的行进方向的视轴40)上的处理图像。

摄影机11还可设置在车辆41的左侧和右侧以及前部和后部处，并且可检测在自己车辆41旁边行驶的另一车辆的侧表面。在检测在自己车辆41旁边行驶的另一车辆的侧表面的情况下，处理图像生成单元22基于由摄影机11拾取的图像生成透视投射在投影平面43(其具有垂直于自己车辆41的行进方向的视轴40)上的处理图像。

在检测另一车辆的前表面、侧表面和后表面的情况下，图像处理装置10利用与每个视轴40对应的单独的词典。这些词典通过词典生成单元21预先生成。自然地，可预先准备与所有检测目标表面(另一车辆的前表面、后表面和侧表面)对应的词典，并且所有的检测目标表面可用作检测对象。

图7是示出由处理图像生成单元22生成的图像金字塔(imagepyramid)50的实例的说明图。在图7中，示出了按照从最缩小的图像(具有最低分辨率的图像)的顺序由参考标号0至16表示的图像。此外，在图7中，示出了根据缩放因子(放大/缩小比率)将多个处理图像分别分类为近距离(close range)图像、中距离图像和远距离图像的实例。此外，在图7中，示出了近距离图像(0-8)相对于彼此被放大1.3倍的放大率、中距离图像(9-12)相对于彼此被放大1.19倍的放大率、并且远距离图像(13-16)相对于彼此被放大1.19倍的放大率的情况下的实例。

通过词典生成单元21生成的词典可以是与根据检测目标对象42的预定大小(例如，宽度×长度为24×12像素的大小等)的图像对应的词典。在这种情况下，临时检测单元23扫描处理图像上的预定大小(例如，24×12像素)的扫描框。同时，处理图像上的检测目标对象42的大小根据检测目标对象42与临时检测单元23的车辆41的距离而不同。例如，在检测目标对象42远离车辆41的情况下，与在检测目标对象42靠近车辆41时相比，检测目标对象42以较小的大小出现在处理图像上。

因此，在临时检测单元23扫描处理图像上的特定大小的扫描框的情况下，有利的是处理图像生成单元22生成包括多个处理图像的图像组(图像金字塔)50，对于多个处理图像，所设定的相距自己车辆41的相对于投影平面43的距离被设定为互相不同。在此时，处理图像生成单元22生成每个处理图像，从而各个处理图像具有平行于检测目标表面的法线方向的视轴40，即，具有与用于词典生成的视轴40相同的视轴40。

在处理图像上的检测目标对象42的大小与扫描框的大小匹配的情况下，可预先测量从自己车辆41到检测目标对象42的距离。因此，每个处理图像可预先与从自己车辆41到检测目标对象42的距离相关联。处理图像越小，与其关联的距离自己车辆41的距离将越短。

在这种情况下，因为处理图像中的表面是平坦表面，所以用于各个已处理图像的距离是在视轴方向上的距离。也可采用圆柱形或者球形表面作为处理图像的表面。例如，在采用圆柱形表面的情况下，焦距将在圆形(二维)方向上，并且到检测目标对象42的距离将在圆形(二维)方向上。此外，例如，在采用球形表面的情况下，焦距将在球形(三维)方向上，并且到检测目标对象42的距离将在球形(三维)方向上。

应注意，各个处理图像与距自己车辆41的不同的距离相互关联是足够的，并且处理图像可通过使用多个缩放因子缩放(放大或者缩小)由摄影机11拾取的图像来生成，或者可以从自己车辆41到检测目标对象42的特定距离间隔(例如，两米)生成。

在生成图像金字塔50时，处理图像生成单元22为相距自己车辆41的每个预定距离设定投影平面43，并且基于拾取的图像使用相应投影平面43生成各个处理图像。

在各个投影平面43具有相同视轴40的情况下，临时检测单元23可相对于组成图像金字塔50的所有处理图像应用单个词典。在生成图像金字塔50时，临时检测单元23扫描每个处理图像上的扫描框(预定大小的框)，并且使用HOG词典基于HOG特征值执行检测处理以检测检测目标对象42的临时检测框(位置候选区域)。

(扫描框)

图8是示出用作HOG处理单元31的HOG处理的对象的区域(检测目标表面)的说明图。

HOG处理单元31扫描大小与处理图像上的检测目标对象42的检测目标表面(HOG处理区域)一致的扫描框，并通过使用HOG词典确定HOG特征值来确定各个扫描位置的可能性。优选的是，检测目标表面是在一定程度上可被认为是平坦表面的区域，即使检测目标表面不是完全平坦的表面。因此，在检测目标对象42是汽车并且视轴40平行于自己车辆41的行进方向的情况下，有利的是，临时检测单元23将汽车(其他车辆)的前表面上的灯周围的区域当作检测目标表面。这是因为，当从自己车辆41观看时，前玻璃部分相对于灯被定位到后部，所以在汽车(其他车辆)处于接近并在自己车辆41的一侧的位置的情况下，将创建其中前玻璃部分和灯周围区域的横向位置偏移的处理图像。

应注意，在图像处理装置10仅采用与自己车辆41相距某段距离的位置作为预定范围44的情况下，因为相对于前玻璃部分和灯周围区域的深度变得相对近似相同，所以可采用包括前玻璃的整个汽车作为检测目标表面。

此外，在视轴40与自己车辆41的行进方向垂直的情况下，有利的是，采用其他车辆的侧表面作为检测目标表面。检测目标表面可以是诸如朝向车辆或者轮胎的前面的侧表面的一部分的小区域。通过采用小的区域作为检测目标表面，可以减小由于分辨率随着与摄影机11的距离的增加而减小所引起的影响或者由于检测目标对象42的侧表面的随着与摄影机11的距离的增加而变形(在表面不是完全平坦的情况下)所引起的影响。

上述单个词典还对应于如下情况：检测目标对象42(其包括在由具有宽视角的摄影机11拾取的图像中)出现在与图像的中心分开的位置处，并且因此其形状与出现在图像的中心的检测目标对象42相比变形。因此，即使在由具有宽视角的摄影机11拾取的宽范围的图像中检测目标对象42的形状变形，临时检测单元23也可使用单个词典灵活并稳定地检测检测目标对象42同时抑制错误检测的出现。

此外，图像处理装置10可使用单个词典检测在宽范围的位置处的检测目标对象42。因此，与使用多个词典相比，可明显减少需要的存储容量，并且可减小在检测处理中应用的负荷和处理时间。此外，在其他车辆非常接近自己车辆41的情况下，图像处理装置10可使视轴40的方向与自己车辆41的行进方向垂直，使预定范围44是沿着自己车辆41的行进方向的宽范围，并将检测目标表面设定为侧表面或者其他车辆的检测对象。因此，尤其在摄影机11设置在侧视镜附近的情况下，可监控追上自己车辆41的另一车辆直到接近自己车辆41的位置。

在处理图像内的检测目标对象42的形状变化(变形)的情况(包括以这种方式利用单个词典覆盖宽范围的情况)下，在匹配检测目标对象42的扫描框中的可能性降低。在此时，如果仅降低可能性阈值，则不仅检测到变形的检测目标对象42，而且还将错误地检测非期望的对象。

根据本实施方式的图像处理装置10的HOG结果判断单元32因此检测多个位置候选区域(临时检测框)作为特定单个处理图像上的归一化框(normalized frame)同时还降低可能性阈值。最终检测单元24随后基于多个位置候选区域的重叠区域确定处理图像中的检测目标对象42的最终检测位置，从而减少错误检测的出现。

(检测最终检测位置的处理)

在图2的步骤S6中，最终检测单元24确定多个临时检测框(位置候选区域)中的重叠区域，并且基于重叠区域和多个临时检测框确定最终检测框。

在此时，最终检测单元24可使用当前帧图像和过去的多个帧图像中的重叠区域的历史记录。例如，最终检测单元24可基于重叠区域的历史记录从当前帧图像的多个临时检测框中提取多个有效位置候选区域(在下文中，称为“有效检测框”)并且可采用多个有效检测框中具有最高可能性的有效检测框作为最终检测框。最终检测单元24还可通过使用其各自的可能性使多个有效检测框经历加权相加平均来确定最终检测框。

通过使用重叠区域的历史记录，最终检测框的确定可限于检测目标对象42存在于该处的可能性高的位置，并且可减少错误检测的出现。

另外，最终检测单元24可使用紧邻的在前帧图像与当前帧图像之间的光流校正重叠区域，并且可使用校正的重叠区域确定最终检测框。通过使用光流，即使在自己车辆41与检测目标对象42之间的相对速度高的情况下，最终检测单元24也可稳定地确定最终检测框。

图9是示出在图2的步骤S6中的由最终检测单元24执行的确定最终检测位置的处理的过程的概要的子过程流程图。

这些过程在图2的步骤S5中的由HOG结果判断单元32获得具有等于或大于预定可能性阈值的可能性的多个临时检测框(位置候选区域)时开始。临时检测框例如具有矩形形状。

应注意，在生成图像金字塔50的情况下，HOG结果判断单元32从具有不同的放大/缩小比率的多个处理图像的每一个中检测多个临时检测框。在这种情况下，在执行步骤S11之前，最终检测单元24采用一个处理图像(例如，具有最高分辨率(具有最精细的像素)的图像)作为栅格图像(grid image)，并且将每个检测框的大小和位置归一化为栅格图像。(用于检测最终检测位置的处理：计数栅格生成处理)

在步骤S21，最终检测单元24生成当前帧图像的计数栅格(countgrid)。计数栅格通过将栅格图像划分为预定大小的栅格(单元)获得。然后指定与用于每个归一化临时检测框的相关临时检测框的位置一致的值(计数)，借此，最终检测单元24生成当前帧的计数栅格。

图10是示出在图9的步骤S21中由最终检测单元24执行的计数栅格生成处理的详细过程的示例的子过程流程图。图11是示出生成计数栅格的方式的实例的说明图。

在步骤S31，最终检测单元24初始化通过将栅格图像划分为预定大小的栅格(单元)获得的计数栅格。

接下来，在步骤S32，针对每个归一化临时检测框，最终检测单元24识别临时检测框所属的栅格。

接下来，在步骤S33，最终检测单元24增加临时检测框所属的栅格的值。在此时，可以采用使得临时检测框的可能性越高则临时检测框所属的栅格的值增加的量越大的配置。在图11中，示出了在即使临时检测框(位置候选区域)的内部区域的一个部分属于栅格时相关的栅格被认为是临时检测框所属的栅格的情况的实例。

此后，如果存在未执行步骤S32和步骤S33中的处理(步骤S34中的否)的临时检测框，则最终检测单元24返回至步骤S32，而如果对于所有临时检测框完成了步骤S32和步骤S33中的处理(步骤S34中的是)，则最终检测单元24结束处理以生成计数栅格并前进至图9中的步骤S22。

因此，计数栅格中的栅格的值分布成为与多个临时检测框(位置候选区域)的重叠区域对应的分布。

(用于检测最终检测位置的处理：框栅格更新处理)

接下来，在步骤S22，相对于通过将栅格图像划分为与计数栅格一样大小的栅格(单元)获得的框栅格，最终检测单元24通过根据计数栅格的各个栅格的值进行加减来更新为之前的帧图像获得的框栅格的各个栅格的值，并从而获得用于当前帧图像的框栅格。

图12是示出在图9的步骤S22中由最终检测单元24执行的框栅格更新处理的详细过程的实例的子过程流程图。图13是示出更新框栅格的方式的说明图。

在步骤S41中，最终检测单元24从诸如RAM或者存储单元13的存储介质中获取通过将栅格图像划分为与计数栅格一样大小的栅格(单元)获得的框栅格。存储在存储介质中的框栅格是在用于检测之前的帧图像中的最终检测位置的处理中的由最终检测单元24生成的框栅格(过去的框栅格)。

接下来，在步骤S42，根据计数栅格的各个栅格的值，最终检测单元24确定框栅格的相应栅格的每一个的增加/减少值。在此时，可为框栅格的值设定上限(例如，9)和下限(例如，0)。此外，随着计数栅格中的值的增加(减小)，增加值(减少值)可渐进增加。例如，可采用如下配置：在计数栅格中的值是0或者1时，相应的框栅格值减小3，在计数栅格值是2时，相应的框栅格值减小1，在计数栅格值是3时，相应的框栅格值不变，在计数栅格值是4或者5时，相应的框栅格值增加1，并且在计数栅格值是6或更大时，相应的框栅格值增加2。

在图13中，示出了如下实例：在框栅格中的值的上限和下限分别是9和0的情况下，使与在计数栅格中具有4或更大的值的栅格对应的框栅格的栅格的值加1，而使与在计数栅格具有3或者更小的值的栅格对应的框栅格的栅格的值减2。

接下来，在步骤S43，最终检测单元24通过使用在步骤S42中确定的加/减值进行加或减来更新所获得的之前的帧图像的框栅格(过去的框栅格)的各个栅格的值，以从而获得当前帧图像的框栅格，并且将获得的框栅格存储在存储介质中。此后，最终检测单元24进行至图9的步骤S23。

因此，框栅格反映多个过去帧图像与当前帧图像中的重叠区域的历史记录。

(用于检测最终检测位置的处理：框栅格扩展处理)

接下来，在步骤S23，最终检测单元24获取之前的(紧邻在前的)帧图像和当前帧图像之间的光流。可使用例如块匹配法或者梯度法确定光流。

接下来，在步骤S24，最终检测单元24使用光流扩展框栅格(校正每个栅格的值)。

图14是示出第一实施方式中的使用光流扩展框栅格的方式的实例的说明图。

光流信息可用于使之前的栅格和相关的当前栅格相对它的位置彼此关联。因此，对于在步骤S23中获得的更新框栅格的每个栅格，在通过光流与相关的当前栅格相关联的栅格的过去值大于相关的当前栅格的当前值的情况下，当前值可被替换为栅格的过去值(参见图14)。在通过光流与相关的当前栅格相关联的栅格的过去值是0的情况下，相关的当前栅格的当前值可以减少(例如，可从当前值减去2)。此外，栅格的当前值可简单地替换为通过光流与其关联的栅格的过去值。

通过使用光流扩展框栅格，即使在检测快速移动的检测目标对象42的情况下，也可追踪和可靠地检测其动作。

也可采用不执行步骤S23和步骤S24的配置。此外，相对于与在步骤S22(或者在步骤S24，如果执行步骤S23和步骤S24)中获得的框栅格的栅格中的具有高值的栅格对应的位置，其可能性阈值可通过HOG结果判断单元32从下一个帧图像降低。即，HOG结果判断单元32可根据框栅格的各个栅格的值改变扫描框的每个扫描位置的可能性。通过降低可能性阈值可防止检测遗漏。

(用于检测最终检测位置的处理：有效检测框提取和最终检测框确定)

在步骤S25，最终检测单元24将框栅格的其值等于或大于预定值的栅格设定为有效栅格。最终检测单元24从临时检测框中提取与有效栅格重叠的临时检测框(参见图11)作为有效检测框。

图15A是示出在框栅格中设定的有效栅格的实例的说明图。图15B是示出用于提取有效检测框的条件的说明图。图15C是示出所提取的多个有效检测框的实例的说明图。图15D是示出基于多个有效检测框确定的最终检测框的实例的说明图。

有效栅格是在步骤S22(或者在执行步骤S23和步骤S24的情况下为步骤S24)中获得的框栅格的各个栅格中的具有高值的栅格。图15A示出了采用在图14中示出的扩展之后的框栅格中的具有三或者更大的值的栅格作为有效栅格的情况的实例。

有效检测框是临时检测框中的与有效栅格重叠的临时检测框。图15B示出了在临时检测框中的四个地点处设定框内确认位置的情况的实例。最终检测单元24，例如，采用其中预定数量或更多(例如，三个或以上)的框内确认位置与有效栅格重叠的临时检测框作为有效检测框。框内确认位置例如可以是临时检测框的四个角或者四个边的中点等。此外，框内确认位置的数量不一定是四个，并且例如，可仅采用一个位置作为框内确认位置(例如，仅中心位置)。

另外，可基于其与其他有效检测框在大小或者位置上的相似性来对有效检测框进行进一步的选择处理。例如，可选择满足如下条件的有效检测框：大小在多个有效检测框的平均值的1/1.5倍至1.5倍的倍数范围内，并且以预定比例或更多地彼此重叠(例如，各自的中心相对于彼此未偏离与有效检测框的大小的一半或更多对应的量的有效检测框)。以这种方式选择的有效检测框的位置和大小将近似相同。

接下来，在步骤S26，最终检测单元24基于多个有效检测框确定最终检测框(最终检测位置)。更具体地，最终检测单元24可将多个有效检测框中的具有最高可能性的有效检测框确定为最终检测框，或者可通过使用其各自的可能性使多个有效检测框经历加权相加平均(加权平均)来确定最终检测框。

在执行加权平均的情况下，如果获得的待经历加权平均的有效检测框的数量未大于预定数量(例如，两个)，则这些框可被视为无效的并且最终检测单元24可能不能确定最终检测框。

可使用在过去通过加权平均获得的最终检测框执行加权平均。在某些情况下，在过去获得的最终检测框的位置是当前帧图像中由于移动而相对于过去位置偏移的位置。

因此，可基于过去的和当前的最终检测框的中心或者基于它们的平均使用光流使在过去获得的最终检测框的位置偏移。在过去获得的最终检测框的大小可根据中心与上部中心的偏移距离之间的比率或者右侧的末端与左侧的末端的偏移距离之间的比率而改变。偏移距离之间的比率也可使用所获得具有最终检测框的整个区域通过平均或者最小二乘法来计算。通过利用过去最终检测框，即使当前的临时检测框在位置上变化，当前的临时检测框在一定程度上被平滑。此外，在不能利用当前的帧图像获得最终检测框的情况(例如，因为没有获得两个或更多个有效检测框，所以认为检测是无效的)下，可为预定数量的帧图像(例如，三个帧图像)保持过去的最终检测框。此外，在某些情况下，在大的加权平均结果中出现小的加权平均结果。在这种情况下，删除小的加权平均结果。

图16是示出通过使用有效栅格提取有效检测框确定的最终检测框与未使用有效栅格所确定的最终检测框之间的差异的实例的说明图。

如图16中所示，假设利用当前的帧图像未获得有效检测框的情况。在这种情况下，在未使用有效栅格时，被错误检测的临时检测框也被用于确定最终检测框。相反，当考虑框栅格并且有效栅格用作本实施方式时，被错误检测的临时检测框未被选择作为有效检测框，并且因此，不执行最终检测框的确定，并且易于使用在过去确定的正确的最终检测框作为用于当前检测的最终检测框。

根据图9中示出的过程，最终检测单元24可确定某单个处理图像上的多个归一化临时检测框(位置候选区域)中的重叠区域，并且基于重叠区域和多个临时检测框确定最终检测框。

根据本实施方式的图像处理装置10可生成其中反映多个临时检测框(位置候选区域)中的重叠区域(密度)的计数栅格，并且基于计数栅格和多个临时检测框确定最终检测框。因此，即使在处理图像中的检测目标对象42的形状改变的情况下，图像处理装置10也可准确地检测检测目标对象42，同时减少错误检测的出现。

此外，图像处理装置10可通过使用其中反映多个过去帧图像和当前帧图像中的重叠区域的历史记录(暂时连贯性)的框栅格，从当前帧图像的多个临时检测框中提取多个有效位置候选区域(有效检测框)。因此，检测目标对象42的检测可被限制为检测目标对象42存在于该处具有高可能性的位置，并且可进一步减少错误检测的出现。

另外，图像处理装置10可使用之前的帧图像与当前的帧图像之间的光流扩展框栅格，并且可使用扩展的框栅格确定最终检测框。因此，即使在检测目标对象42迅速移动的情况下，图像处理装置10也能够可靠地并稳定地确定最终检测框。

(第二实施方式)

接下来，将描述根据本发明的图像处理装置和图像处理方法的第二实施方式。

根据第二实施方式的图像处理装置10与根据第一实施方式的图像处理装置10的不同方面在于根据第二实施方式的图像处理装置10根据相距自己车辆41的距离生成多个计数栅格和框栅格，并且最终检测单元24执行三维处理。在通过临时检测单元23执行的处理之前的过程与根据第一实施方式的通过图像处理装置10执行的那些相同，由此在此省去那些过程的描述。

根据本实施方式，考虑其中图像金字塔50的多个处理图像根据相关的放大/缩小比率(即，根据相距自己车辆41的距离)被分类为多个类别的配置。为每个类别获得计数栅格(三维计数栅格)和框栅格(三维框栅格)。

首先，将描述根据本实施方式的计数栅格生成处理。

图17是示出根据相距自己车辆41的距离生成的多个计数栅格中的某些的实例的说明图。

最终检测单元24可为图像金字塔50的每个处理图像生成计数栅格(和框栅格)，或者可准备比处理图像的数量小的数量的计数栅格(和框栅格)。此外，因为在自己车辆41附近的图像金字塔50的处理图像的分辨率是粗糙的，所以与自己车辆41的接近度(proximity)对应的计数栅格(和框栅格)的栅格可能变粗糙。

在深度方向创建三维计数栅格的情况下，各个计数栅格的图像栅格的分辨率不同。因此，在各个图像栅格中的归一化临时检测框的大小也不同。如图17中所示，最终检测单元24根据临时检测框的大小增加通过在深度方向的划分获得的各个三维计数栅格的值。在此时，最终检测单元24也可在三维计数栅格中的最合适的深度处的计数栅格(例如，检测到计数栅格中具有最高可能性的有效检测框的计数栅格)之前和之后(例如，一个在前和一个在后)的几个深度处增加栅格的值。

在这种情况下，可预先设定检测目标对象42的最大速度，并且落在与最大速度对应的距离内的之前和之后的相关计数栅格可增加随着计数栅格之间的距离逐渐增加的量。此外，可预先计算过去的移动速度，并且可相对于在偏移与速度对应的量的栅格前后的几个深度处的栅格执行增加。

与计数栅格类似，框栅格是通过在深度方向划分获得的三维框栅格。因为更新框栅格的处理与根据第一实施方式的通过图像处理装置10执行的处理相同，所以在此省去其描述(例如，根据计数栅格的各个栅格的值确定相应的框栅格的每个栅格的加/减值；参见图12和图13)。

接下来，将描述用于根据本实施方式的框栅格的扩展处理。

图18A是示出光流的实例的说明图。图18B是示出根据第二实施方式的使用图18A中示出的光流扩展框栅格的方式的实例的说明图。

首先，在图像金字塔50的预定处理图像中获取之前的(紧邻在前的)帧图像与当前帧图像之间的光流。应注意，无需确定深度不同的每个处理图像的光流，因为深度不同的处理图像最初是仅分辨率或者大小不同的相同拾取图像。因此，基于预定处理图像确定的光流可被归一化和用于其他处理图像。

本实施方式中的框栅格的扩展处理需要不仅在时间维度上而且在深度方向上进行扩展。因此，以下处理被添加到根据第一实施方式的处理中。

框栅格的栅格中的值不是0的栅格是有效检测框所属的栅格。相对于每个有效检测框，或者相对于通过使彼此接近的有效检测框经历加权平均获得的每个框进行扩展处理。

通过利用有效检测框的中心或者边缘的结果可获得放大率。在此时，通过确定用于多个有效检测框的每一个的放大率并利用通过将最小二乘法等应用于所确定的放大率，可降低错误。

在放大率等于或大于预定值(例如，1.1倍的比率)时，后面的当前有效检测框所属的后面的栅格的值扩展至前面框栅格的相应栅格。在后面栅格的值、前面的当前有效检测框所属的前面的相应栅格也扩展至前面框栅格的相应栅格，即，扩展至前面的当前有效检测框的栅格。同样地，当放大率小于或者等于特定值(例如，1/1.1倍的比率)时，在从前朝后的方向上，前面的有效检测框所属的前面的栅格的值扩展至后面的框栅格的相应栅格，并且在前面的栅格的值、后面的有效检测框所属的后面的相应栅格也扩展至后面框栅格的相应栅格。

此外，在放大率或者缩小率与一的倍数大大不同的情况下，在有效检测框的栅格位置处的值可被扩展至匹配跨越多个栅格的前一缩放因子的栅格，并且匹配跨越多个栅格的前一缩放因子的栅格的值可被扩展至有效检测框的栅格位置。在这种情况下，可基于放大率定义深度的范围(0.8倍至1.2倍等)以使当前有效检测框的栅格位置处的结果扩展至相关栅格位置前后的相邻栅格，并且可使结果扩展至该范围内的栅格。

此外，栅格的值可从偏移与光流对应的量的位置扩展。此外，不仅在获得有效检测框的深度处的框栅格，而且在没有获得有效检测框的深度处的框栅格可被扩展为具有相同的放大率。

在执行框栅格的扩展处理之后，最终检测单元24使用在此深度的框栅格的有效栅格根据临时检测框的位置或者大小的相似性选择与临时检测框的大小最匹配的栅格并选择有效检测框。最终检测单元24随后通过使用其各自的可能性使选择的有效检测框经历加权相加平均来确定最终检测框。在此时的加权平均中，即使深度不同，但是有利的是采用利用在彼此接近的深度处的栅格获得的结果作为单个结果。

根据第二实施方式的图像处理装置10提供与根据第一实施方式的图像处理装置10类似的效果。此外，根据第二实施方式的图像处理装置10，因为实现深度方向上的确认，所以可防止深度不同的结果的错误的检测。

尽管已描述了特定实施方式，但这些实施方式仅作为实例呈现，并非旨在限制本发明的范围。实际上，本文所述的新型实施方式可体现为各种其他形式；此外，在不偏离由所附权利要求所定义的本发明的范围的情况下，可对本文中描述的实施方式的形式做出各种省略、替换和变化。所附权利要求及其等同物旨在覆盖将落入由所附权利要求所定义的本发明的范围内的这些形式或变形。

例如，临时检测框的大小或者形状可根据检测目标对象42的类型相对于扫描框而任意地改变。通过改变临时检测框相对于扫描框的大小，可更迅速并以更大的精确度确定最终检测框，使得临时检测框的宽度随着检测目标对象42的移动速度的增加而增加，并且使得临时检测框的宽度随着检测目标对象42的移动速度的减小而减小。

在扫描框的形状为竖长且具有窄的宽度时，例如，诸如当检测目标对象是人时，存在如下许多情况：在帧图像中，当检测目标对象42移动时，扫描框在宽度方向上将不会彼此重叠，并且即使执行根据光流的扩展处理，框栅格的计数将难以增加。

因此，临时检测框的形状可根据检测目标对象42可在处理图像中移动的容易度(ease)而改变。例如，在检测目标对象42是在处理图像中易于在横向方向上大量移动而在纵向方向上少量移动的对象并且临时检测框是竖长的情况下，有利的是将临时检测框的形状转换为水平长的形状。

此外，当改变临时检测框的形状时，中心位置可位于与形状改变之前相同的位置处。改变形状的临时检测框可基于预定比率偏移，使得即使处理图像的相应深度不同，临时检测框在形状的改变前后在重复的位置处。在这种情况下，可使临时检测框偏移成使得纵向方向上的中心位置在水平线上的中心位置的附近。此外，在临时检测框的形状改变之后的形状并不限于矩形形状，也可以是椭圆形或者三角形形状。

此外，在自己车辆41转弯等的情况下，相对于检测目标对象的大小的横向移动量根据检测目标对象42的接近度而逐渐减小。因此，可根据处理图像的大小或者深度改变临时检测框的形状。通过以这种方式生成计数栅格，可确保重叠区域并可保持最终检测框的检测精确度。另外，通过减小临时检测框在相对于检测目标对象的大小的移动量较小的方向上的宽度，可以减小与临时检测框所属的栅格的识别有关的计算负荷。此外，在已知检测目标对象42在纵向方向上不移动的情况下，可通过采用一个栅格作为纵向方向上的栅格的数量来减少与临时检测框所属的栅格的识别有关的计算负荷。这同样也适用于横向方向。

此外，图像处理装置10所利用的拾取图像可以不仅是通过设置在车辆中的摄影机11拾取的图像，而且可以是通过公共外围监控摄影机(诸如安装在路灯上的摄影机)所拾取的图像。

Claims (12)

1.一种图像处理装置，包括：

处理图像生成单元，被配置为获取由设置在车辆上的摄影机拾取的所述车辆周围的图像，并且从所述图像生成用于目标对象检测处理的处理图像；

临时检测单元，被配置为根据所述处理图像上的检测目标对象扫描预定大小的扫描框，并且通过使用所述检测目标对象的词典确定各个扫描位置的特征值来检测所述处理图像内的所述检测目标对象的多个位置候选区域；以及

最终检测单元，被配置为确定所述多个位置候选区域的重叠区域，并且基于所述重叠区域和所述多个位置候选区域确定所述处理图像内的所述检测目标对象的最终检测位置。

2.根据权利要求1所述的装置，其中：

所述最终检测单元基于当前帧图像和过去的多个帧图像中的重叠区域的历史记录以及所述当前帧的所述多个位置候选区域，来确定所述处理图像内的所述检测目标对象的所述最终检测位置。

3.根据权利要求1所述的装置，其中：

所述临时检测单元使用所述预定大小的所述扫描框的每个扫描位置的所述词典确定可能性，并检测可能性大于或等于预定可能性的扫描位置作为所述多个位置候选区域；并且

所述最终检测单元基于当前帧和过去的多个帧中的重叠区域的历史记录从当前帧图像的所述多个位置候选区域提取多个有效位置候选区域，并通过使用所述多个有效位置候选区域的相应可能性将所述多个有效位置候选区域进行加权平均来确定所述最终检测位置。

4.根据权利要求3所述的装置，其中：

所述临时检测单元基于所述重叠区域的所述历史记录改变所述预定大小的所述扫描框的每个扫描位置的所述预定可能性。

5.根据权利要求1所述的装置，其中：

所述处理图像生成单元通过缩放由所述摄影机拾取的所述图像来生成多个处理图像，以便使所述多个处理图像彼此具有不同的缩放因子，同时所述多个处理图像的每一个具有预定视轴作为法线方向；

所述临时检测单元根据所述缩放因子将所述多个处理图像分类为多个类别，并检测每个类别的所述位置候选区域；并且

所述最终检测单元确定所述多个位置候选区域的每个类别的所述重叠区域，并基于当前帧图像和过去的多个帧图像中的重叠区域的历史记录来确定所述最终检测位置，各个历史记录对应于各个类别。

6.根据权利要求1所述的装置，其中：

所述最终检测单元使用紧邻的在前帧图像和当前帧图像之间的光流校正所述重叠区域，并使用校正后的重叠区域确定所述最终检测位置。

7.根据权利要求1所述的装置，其中：

所述最终检测单元根据所述检测目标对象的类型改变由所述临时检测单元检测出的所述多个位置候选区域的形状，并且随后确定所述重叠区域。

8.根据权利要求1所述的装置，进一步包括：

词典生成单元，被配置为使用由所述摄影机预先拾取的所述检测目标对象的多个图像预先生成所述词典作为单个词典，所述多个图像通过如下步骤获得：将所述检测目标对象布置于在所述摄影机的图像拾取范围内的预定范围中的相应多个位置处以便使所述摄影机的预定视轴与所述检测目标对象的检测目标表面的法线方向彼此平行，并且在所述相应的多个位置处由所述摄影机拾取所述多个图像的每一个，

其中，所述处理图像生成单元基于在生成所述词典之后由所述摄影机拾取的图像，来生成具有所述预定视轴作为法线方向的图像作为所述处理图像。

9.根据权利要求8所述的装置，其中：

所述临时检测单元基于HOG特征值使用所述词典检测所述多个位置候选区域。

10.根据权利要求1所述的装置，进一步包括：

警告单元，被配置为使用以下项中的至少一项将关于由所述最终检测单元检测出的最终检测位置的信息告知所述车辆的驾驶员：通过所述车辆的扬声器的音频输出、通过所述车辆的所述扬声器的蜂鸣输出、以及在设置在所述驾驶员可识别的位置处的显示装置上的警告显示。

11.一种图像处理方法，包括：

获取由设置在车辆上的摄影机所拾取的所述车辆周围的图像；

从所述图像生成用于目标对象检测处理的处理图像；

根据所述处理图像上的检测目标对象扫描预定大小的扫描框；

通过使用所述检测目标对象的词典确定各个扫描位置的特征值来检测所述处理图像内的所述检测目标对象的多个位置候选区域；

确定所述多个位置候选区域的重叠区域；以及

基于所述重叠区域和所述多个位置候选区域确定所述处理图像内的所述检测目标对象的最终检测位置。

12.一种非瞬时性计算机可读介质，具有存储在其中的指令，在通过计算机执行所述指令时，使得执行根据权利要求11所述的方法的步骤。