CN104954663A - 图像处理装置和图像处理方法 - Google Patents

Abstract

本发明涉及图像处理装置和图像处理方法。根据一个实施方式，图像处理方法和图像处理装置包括词典生成单元、处理图像生成单元、检测单元。词典生成单元使用由摄影机拾取的检测目标对象的多个图像产生单个词典。通过将检测目标对象布置在预定范围中的相应多个位置处以便使摄影机的预定视轴与检测目标对象的检测目标表面的法线方向平行来获得多个图像。在生成词典之后，处理图像生成单元基于由摄影机拾取的图像生成具有预定视轴作为法线方向的处理图像。检测单元通过使用词典确定特征值来检测包括在处理图像中的检测目标对象。

Description

图像处理装置和图像处理方法

相关申请的交叉引用

本申请要求于2014年3月24日提交的日本专利申请第2014-060737号的优先权权益，将其全部内容通过引用结合于此。

技术领域

本文中描述的实施方式整体涉及图像处理装置和图像处理方法。

背景技术

最近，用于拾取车辆周围的情形的图像的车载摄影机装配在越来越多的车辆(诸如汽车)上。通过车载摄影机拾取的图像是非常有用的，因为通过检测图像中的对象，可利用图像来确定车辆与对象之间的碰撞的可能性或者在停放时支持车辆的转向。

近年来以惊人速度开发用于检测图像内的对象的图像处理技术(图像基于拾取图像并包括处理目标对象；在下文中，称为“处理图像”)以在提高检测准确度的同时减少检测需要的时间。诸如使用例如HOG(方向梯度直方图)特征值的技术的图案匹配技术可作为用于检测对象的这种技术的实例被提及。

然而，在进行图案匹配时，如果处理图像中的对象的双侧对称性丢失，则非常难以检测对象。例如，在使用具有窄视角的相机时，在与所述处理图像的中心位置分开的位置处的对象(即，位于靠近安装有相机的车辆并且沿横向方向偏离的位置处的对象)最初不能包括在处理图像中，并因此在很多情况下不能被检测到。此外，即使当对象包括在处理图像中时，在对象的方向目标表面(例如，从安装有摄影机的车辆的后部接近的汽车的前表面)不是完全平坦的表面时，因为丢失了双侧对称性，从而不能检测到该对象。

此外，在其中为了解决双侧对称性消失问题而通过使用从每个词典的相应多个位置拾取的对象的图像预先生成多个词典时，需要具有与词典的数量对应的大小的大存储器。

发明内容

针对上述情形做出本发明，并且因此本发明的目的是提供用于即使在处理图像中的对象的形状改变的情况下也灵活地检测对象的图像处理装置和图像处理方法。

为了解决以上问题，根据本发明的方面的图像处理装置包括：词典生成单元、处理图像生成单元以及最终检测单元。词典生成单元使用由摄影机预先拾取的检测目标对象的多个图像预先生成多个词典作为单个词典。摄影机设置在车辆上并且以宽视角拾取车辆周围的图像。通过将在预定范围中的相应多个位置处的检测目标对象布置在摄影机的图像拾取范围内以便使摄影机的预定视轴与检测目标对象的检测目标表面的法线方向彼此平行来获得多个图像。通过在多个位置处由摄影机拾取多个图像的每一个来获得多个图像。在生成词典之后，处理图像生成单元基于由摄影机拾取的图像，生成具有预定视轴作为法线方向的处理图像。检测单元通过使用词典确定特征值来检测包括在处理图像中的检测目标对象。

利用图像处理装置和图像处理方法，即使在处理图像中的对象的形状改变的情况下，也可以灵活地检测对象。

附图说明

并入并组成说明书的一部分的附图示出了本发明的实施方式，并且与以上给出的一般性描述和以下给出的实施方式的详细描述一起用来解释本发明的原理。

图1是示出根据本发明的实施方式的图像处理装置的一种配置实例的方框图；

图2是示出用于即使在处理图像中的对象的形状改变的情况下也灵活地检测对象的过程的流程图；

图3A是示出在使用具有标准视角(normal viewing angle)的摄影机并且视轴直接朝后与自己车辆的驾驶方向平行的情况下产生的处理图像的实例的说明图；

图3B是示出在使用具有标准视角的摄影机并且视轴直接朝后相对自己车辆的驾驶方向成对角的情况下产生的处理图像的实例的说明图；

图4是示出在使用具有宽视角并且视轴直接朝后相对自己车辆的驾驶方向成对角的摄影机的情况下产生的处理图像的实例的说明图；

图5是示出在视轴直接朝后与自己车辆的行进方向平行的情况下的使用具有宽视角的摄影机所产生的根据本实施方式的处理图像的实例的说明图；

图6是示出在图2的步骤S1中由词典生成单元执行的词典生成处理的详细过程的一个实例的子流程图；

图7是示出当使用词典生成单元生成词典时所设定的预定范围的实例的说明图；

图8是示出摄影机设置在车辆的左侧和右侧以及后部处的实例、并且示出在检测在自己车辆旁边行驶的另一车辆的前表面的情况下的每个摄影机的视轴和投影平面的说明图；

图9是示出摄影机设置在车辆的左侧和右侧以及前部处的实例、并且示出在检测在自己车辆旁边行驶的另一车辆的后表面的情况下的每个摄影机的视轴和投影平面的说明图；

图10是示出摄影机设置在车辆的左侧和右侧以及前部和后部处的实例、并且示出在检测在自己车辆旁边行驶的另一车辆的侧表面的情况下的每个摄影机的视轴和投影平面的说明图；

图11是示出由处理图像生成单元生成的图像金字塔的实例的说明图；

图12是示出用作通过HOG处理单元的HOG处理的对象的区域(检测目标表面)的说明图；

图13是示出用于产生处理图像的处理的第一变形例的说明图；

图14是示出用于产生处理图像的处理的第二变形例的说明图；

图15是示出在用于产生处理图像的处理的第二变形例中处理图像根据距离而弯曲的情况的实例的说明图；

图16是示出用于产生处理图像的处理的第三变形例的说明图；

图17是示出用于产生处理图像的处理的第四变形例的说明图。

具体实施方式

在下文中，将参考附图来给出根据本发明的实施方式的图像处理装置和图像处理方法的描述。

(第一实施方式)

(总体配置)

图1是示出根据本发明的实施方式的图像处理装置10的一个配置实例的方框图。

图像处理装置10包括摄影机11、控制单元12、存储单元13、照明装置16、喇叭17、扬声器18和显示装置19。

摄影机11包括CCD(电荷耦合器件)图像传感器或者CMOS(互补金属氧化物半导体)图像传感器，并捕捉车辆(诸如私人汽车)周围区域的视频图像，并且生成图像数据并将图像数据供应至控制单元12。

在本实施方式中，在摄影机11上安装宽视角镜头或鱼眼镜头以使得可以宽视角拾取图像。

例如，在监控车辆的后部的情况下，摄影机11设置在车辆的后部的牌照的附近或者在后车窗玻璃的上部中。此外，在能够以宽视角进行图像拾取的摄影机11布置在侧视镜附近的情况下，除了拾取在车辆的侧方的图像之外，同时还可以拾取在车辆的前方和后方的图像。此外，在监控车辆的前方的情况下，摄影机设置在车辆前部的牌照或者前侧视镜的上部附近。同样可采用其中多个摄影机11被用于捕捉车辆外部的宽区域的图像的配置。

通过摄影机11拾取的具有宽视角的图像被控制单元12转换(视轴(visual axis)转换)为具有任意的视轴的处理图像。换言之，基于由摄影机11拾取的具有宽视角的图像，控制单元12生成透视投射在法线方向上具有任意的视轴的摄影机的虚拟投影平面(在下文中，简单地称为“投影平面”)上的图像(处理图像)。有利的是设定摄影机11的光轴使得平行于地面，或者从与地面平行的线稍微向下的方向。

控制单元12包括，例如，包括CPU、RAM和ROM的微控制器。控制单元12的CPU将存储在诸如ROM的存储介质中的图像处理程序以及执行程序所必需的数据加载至RAM。根据程序，CPU执行用于即使在处理图像中对象的形状改变的情况下也灵活地检测对象的处理。

控制单元12的RAM提供用于暂时存储数据和由CPU执行的程序的工作区域。控制单元12的诸如ROM的存储介质存储图像处理程序和执行程序所必需的各种类型的数据。

应注意，存储媒介的配置(如由ROM为代表的)，包括可由CPU读取的记录媒介，诸如磁性或者光记录介质或者半导体存储器，并且配置可采用为使得允许存储媒介中的部分或者全部程序和数据通过电子网络经由网络连接单元(附图中未示出)下载。

在这种情况下，网络连接单元实施用于与网络的形式对应的信息通信的各种协议，并且根据各种协议通过电子网络将控制单元12与诸如另一车辆的ECU的电子设备连接。经由电子网络等的电连接可相对于连接应用。在此，术语“电子网络”一般是指除了无线/有线LAN(局域网)和因特网之外的利用远程通信技术的信息通信网络，包括电话通信网络、光纤通信网络、电缆通信网络和卫星通信网络等。

存储单元13是非易性失存储器，控制单元12可向非易失存储器写入数据并从非易失存储器读取数据。存储单元13存储各种信息，诸如之前使用通过拾取检测目标对象的图像获得的图像生成的图像词典(模型)。这些条信息可经由电子网络或者经由诸如光盘的便携式存储介质来更新。

照明装置16由普通的前灯组成并通过控制单元12控制以进行闪光(所谓的“前灯闪烁”)以例如，从而相对在自己车辆外部的周围区域中的驾驶员等发出警告。

喇叭17通过控制单元12控制，并且相对自己车辆外部的周围区域输出警告声音。

扬声器18设置在自己车辆的内部中，并通过控制单元12控制。扬声器18向自己车辆的驾驶员输出嘟嘟声或者与各种类型的信息(诸如通知逼近的危险的信息)对应的声音。

显示装置19设置在可由驾驶员视觉识别的位置处。诸如用于车辆使用的常见显示器、汽车导航系统、或者HUD(抬头显示器)的显示输出设备可被用作显示装置19。根据由控制单元12执行的控制，显示装置19显示各种类型的信息，诸如通过摄影机11拾取的图像或者示出检测目标对象的检测位置的图像。

(控制单元12的配置与操作的概述)

接下来，将描述由控制单元12的CPU实现的功能实现单元的配置与操作的概述。

如图1中所示，根据图像处理程序，控制单元12的CPU至少用作词典生成单元21、处理图像生成单元22、检测单元23和警告单元24。检测单元23包括HOG处理单元31和HOG结果判断单元32。

单元21至单元24的每一个利用RAM所需的工作区域作为用于暂时存储数据的地方。应注意，实施这些功能的单元可通过硬件逻辑(诸如未使用CPU的电路)来提供。

图2是示出用于即使在处理图像中的对象的形状改变的情况下也灵活地检测对象的过程的流程图。这些过程通过图1中示出的控制单元12的CPU执行。在图2中，包括S和附加到其的数字的符号表示流程图中的相应步骤。

在步骤S1中，词典生成单元21使用之前通过拾取检测目标对象的图像获得的图像生成图像词典(模型)，并将图像词典存储在存储单元13中。更具体地，词典生成单元21使用通过摄影机11预先拾取的检测目标对象的多个图像预先生成词典作为单个词典。通过将在预定范围中的相应的多个位置处的检测目标对象布置在摄影机11的图像拾取范围内以使得摄影机11的预定视轴与检测目标对象的检测目标表面的法线方向平行并通过在相应的多个位置处由摄影机11拾取多个图像的每一个来获得该多个图像。

词典生成单元21生成的词典具有可适用于基于特征值检测图像中的对象的各种类型的技术的内容。在以下描述中，描述其中词典生成单元21生成的词典是适于基于HOG特征值(在下文中，称为“HOG处理”)的目标对象检测处理的词典(在下文中，称为“HOG词典”)并且其中检测单元23执行HOG处理的情况的实例。

接下来，在步骤S2，处理图像生成单元22获取拾取的图像，其中，从摄影机11以宽视角拾取车辆周围的区域的图像。

接下来，在步骤S3，基于从摄影机11获取的拾取图像，处理图像生成单元22生成处理图像作为已透视投射在采用视轴作为法线方向的投影平面上的图像，视轴与用于生成词典的视轴相同。

接下来，在步骤S4中，检测单元23的HOG处理单元31执行HOG处理(例如，参照日本专利公开第2010-44438号或者日本专利公开第2010-55195号)，并且输出可能性。更具体地，HOG处理单元31将处理图像转换为梯度方向图像，扫描与检测目标对象一致的预定大小的框，并使用HOG词典确定每个扫描位置的HOG特征值。HOG处理单元31从而确定示出检测目标对象存在于各个扫描位置处的概率的可能性。HOG处理单元31可通过将在各个扫描位置处的扫描框内的图像应用至词典来确定可能性(分数)。可以说是，可能性越高，相关图像与词典的匹配度越高。

HOG特征值是纵向、横向、和倾斜方向的边缘存在于块内的程度被量化的值。因此，已知HOG特征值很难受亮度等的变化的影响，而且HOG特征值相对于外形上的变化是健壮的。应注意，通过HOG处理单元31执行的HOG处理可以是利用共生性(co-occurrence property)的处理(coHOG处理)。

接下来，在步骤S5中，检测单元23的HOG结果判断单元32采用通过HOG处理单元31获得的可能性大于阈值的结果作为有效的结果，并且将关于在扫描框中的与有效结果对应的位置处检测到目标检测对象的影响的信息输出至警告单元24。当获得多个有效结果时，HOG结果判断单元32通过选择具有最高可能性的单个结果、通过使各个结果经历简单的平均、或者通过使用相应的可能性将各个结果进行加权平均，来输出各个结果中的最有效地结果。

接下来，在步骤S6中，警告单元24确定是否应将关于由HOG结果判断单元32所检测的位置的信息等通知给车辆的驾驶员。如果警告单元24确定应该通知HOG结果判断单元32的输出结果，则CPU前进至步骤S7。与此相反，如果警告单元25确定不需要通知输出结果，则CPU前进至步骤S8。例如，在位置是在与自己车辆相距的预定距离内的位置的情况下，警告单元24可确定应该将检测目标对象的位置通知给驾驶员。也可采用其中不执行当前步骤S6的配置。

接下来，在步骤S7，警告单元24通过执行以下项中的至少一种操作向自己车辆的驾驶员通知关于由HOG结果判断单元32所检测的检测目标对象的信息：通过扬声器18的音频输出操作、通过扬声器18的蜂鸣器输出操作、以及在显示装置19上向自己车辆的驾驶员显示警告的操作，并且此后CPU前进到步骤S8。例如，警告单元24将扫描框叠加在由HOG结果判断单元32输出的最有效结果所对应的处理图像上，并且在显示装置19上显示所产生的图像。此外，警告单元24还可通过使照明装置16闪烁(所谓的“前灯闪烁”)或者通过喇叭17的警告声音向自己车辆外部的周围区域发出警告。

接下来，在步骤S8，控制单元12确定是否结束所呈现的一系列过程。例如，如果自己的车辆已经停止了预定时间段或更长，或者如果由驾驶员输入指令，则控制单元12结束一系列过程。在继续过程的情况下，CPU返回至步骤S2以从摄影机11获取下一个帧图像的图像并重复步骤S3至步骤S7的处理。

通过执行上述过程，即使在处理图像中的对象的形状改变的情况下，也可灵活地检测对象。

(词典的生成)

现在将描述根据本实施方式的通过词典生成单元21生成的词典。

图3A是示出在使用具有标准视角的摄影机并且视轴直接朝后与自己车辆的驾驶方向平行的情况下产生的处理图像的实例的说明图。图3B是示出在使用具有标准视角的摄影机并且视轴直接朝后相对自己车辆的驾驶方向成对角的情况下产生的处理图像的实例的说明图。此外，图4是示出在使用具有宽视角并且视轴直接朝后相对自己车辆的驾驶方向成对角的摄影机的情况下产生的处理图像的实例的说明图。

应注意，图3A和图3B以及图4示出了借助布置在侧视镜附近的摄影机(侧方摄影机)检测从自己车辆41的后方靠近的检测目标对象42的检测目标对象42的情况的实例。

在检测目标对象42的检测目标表面是完全平坦的情况下，如果产生处理图像，则检测目标表面的形状在处理图像中将是相同的，而不管检测目标对象42出现在处理图像中的位置，从而检测目标表面的法线方向与视轴40(投影平面43的法线方向)匹配。然而，当检测目标表面不是完全平坦的时，检测目标表面的形状将根据检测目标对象42出现在处理图像中的位置而变化。

例如，将考虑检测目标表面是汽车的前表面的情况。尽管汽车的前表面可被认为是基本平坦的表面，但前表面不能被称为是完全平坦的表面。

在该情况下，当使用具有标准视角的摄影机生成具有直接朝后的与自己车辆41的行进方向平行的视轴40的处理图像(参见图3A)时，并且当检测目标对象42远离时，检测目标对象42的整个检测目标表面(例如，汽车的前表面的全部或一部分)出现在处理图像中，并且检测目标表面呈现为两侧对称。然而，当检测目标对象42靠近自己车辆41时，仅检测目标对象42的某一些出现在处理图像中。

另一方面，当使用具有标准视角的摄影机生成具有直接朝后相对于自己车辆41的行进方向成对角的视轴40的处理图像(参见图3B)时，在检测目标对象42靠近车辆41的情况下，尽管整个检测目标表面出现在处理图像中，但检测目标表面并未呈现为两侧对称。此外，当检测目标对象42较远时，仅检测目标对象42的某一些出现在处理图像中。

此外，当使用具有宽视角的摄影机生成具有直接朝后相对于自己车辆41的行进方向成对角的视轴40的处理图像(参见图4)时，尽管远离的整个检测目标对象42出现在处理图像中，但靠近车辆41的检测目标对象42并未呈现双侧对称性，这类似于图3B中示出的实例。

图5是示出在视轴40直接朝后与自己车辆41的行进方向平行的情况下使用具有宽视角的摄影机11生成的根据本实施方式的处理图像的实例的说明图。

在本实施方式中，使用具有宽视角的摄影机11生成具有直接朝后平行于自己车辆41的行进方向的视轴40的处理图像(参见图5)。

与图3A和图3B以及图4中示出的其中双侧对称性在很大程度上丢失的情况或者最初仅检测目标对象42的某一些出现在处理图像中的情况相比，改进了检测目标对象42出现在处理图像中的方式。例如，当检测目标对象42较远时，检测目标对象42的整个检测目标表面出现在处理图像中，并且检测目标对象呈现双侧对称性。另一方面，在检测目标对象42靠近车辆41时，整个检测目标表面出现在处理图像中，并且检测目标表面呈现为小程度的两侧不对称。这是因为，在表面不是完全平坦的情况下，左侧和右侧之间的相对深度的外观存在差异。

在未假设检测目标对象42的形状在处理图像中将改变的情况下生成传统词典。因此，在仅使用一个传统词典时，在图5示出的实例中，在检测目标对象42靠近车辆41时，不能从处理图像中检测到检测目标对象42。此外，在使用与多个形状一致的词典以与外形上的变化对应时，需要与词典的数量对应的大小的大存储介质，并且应用大负荷以进行检测处理并且处理时间也增加。

为了实现在如图5所示的视轴40与检测目标表面法线方向之间的位置关系下的对检测目标对象42的检测，根据本实施方式的词典生成单元21预先使用通过如下步骤获得的图像预先生成单个词典：将在预定的范围中的多个位置处的检测目标对象42布置在摄影机11的图像拾取范围内，从而使摄影机11的预定视轴40和检测目标对象42的检测目标表面的法线方向变得平行，并且随后借助摄影机11在多个位置的每一个处预先拾取检测目标对象42的图像。

图6是示出在图2的步骤S1中通过词典生成单元21执行的词典生成处理的详细过程的一个实例的子过程流程图。应注意，可在执行图2中的从步骤S2向前的步骤之前的任何时候执行词典生成。因此，可使用自己车辆41的摄影机11获取或者可使用另一个固定的摄影机等获取词典生成所需要的拾取图像。

此外，图7是示出在词典生成单元21生成词典时设定的预定范围44的实例的说明图。

在步骤S11，词典生成单元21获取利用摄影机11拾取的在预定范围44中的多个位置处的检测目标对象42的图像。在每个位置处，检测目标对象42被布置为使得自己车辆41的行进方向与检测目标表面的法线方向匹配。

有利的是采用在一定程度上可被认为是平坦表面的表面作为检测目标表面。例如，在检测目标对象42是汽车的情况下，有利的是采用汽车的前表面、侧表面和后表面作为检测目标表面。此外，在自己车辆41是卡车或者公共汽车并且摄影机11可安装在高位置的情况下，也可采用汽车的顶部表面作为检测目标表面。自然地，检测目标表面并不限于汽车的表面，可以是摩托车等的侧表面。

接下来，在步骤S12，词典生成单元21转换所拾取的图像以具有与检测目标表面的法线方向平行的视轴40。应注意，在摄影机11安装为使摄影机11的所谓的光轴事先地与自己车辆41的行进方向匹配并且透镜变形被校正的情况下，不需要执行本步骤S12。

接下来，在步骤S13，词典生成单元21从具有视轴40的图像提取检测目标表面。

随后，在步骤S14，词典生成单元21使用所提取的图像生成词典，并且将词典存储在存储单元13中。

预定范围44是检测单元23用作检测目标范围的范围。与中心处的形状相比，在严重偏离拾取图像的中心的位置处的形状明显改变。因此，有利的是使预定范围44为其中形状上的这种变化不太大的范围。例如，预定范围44被设定为从与自己车辆41的行进方向平行的视轴40到朝向自己车辆41的外侧的约30度与60度之间(例如，成45度角)的角度的范围。此外，在检测目标对象42是卡车或者公共汽车的情况下，检测目标表面可被视为更加平行。因此，预定范围44可被拓宽至从平行于自己车辆41的行进方向的视轴40延伸至朝向自己车辆41的外侧约85度的角度的范围。

此外，例如，在预定范围44被设定为从视轴40朝向自己车辆41的外侧超过45度角的范围的情况下，检测目标对象42的侧表面也变得可见。因此，当采用超过45度的范围时，检测目标对象42的侧表面可被用作是检测目标表面，并且可单独地生成其中视轴40与侧表面的法线方向(垂直于自己车辆41的行进方向的方向)平行的词典。在这时，检测目标表面可以是诸如朝向车辆或者轮胎的前面的侧表面的一部分的小区域。在视轴40与侧表面的法线方向平行的情况下，通过采用小的区域作为要提取的用于词典的检测目标表面，可以减小由于分辨率随着与摄影机11的距离的增加而减小所引起的影响或者由于检测目标对象42的侧表面随着与摄影机11的距离的增加而变形(在表面不是完全平坦时)所引起的影响。

在图7中，示出了假设图像处理装置10检测在与自己车辆41行进的车道相邻的车道中行驶并接近自己车辆41的另一车辆情况的实例。在该实例中，采用在距离自己车辆41的预定距离内从视轴40朝自己车辆的外侧至45度延伸的范围与从比距离自己车辆41的预定距离远的位置从视轴40朝自己车辆的外侧延伸超过预定距离的范围之和作为预定范围44。

根据上述过程，可生成结合检测目标对象42的图像(其中，在一定程度上丧失两侧对称性)的对应于预定范围44的单个词典。

在出现其中检测目标表面不是完全平坦表面并处理图像中的两侧对称性丧失的情况的假设下，词典生成单元21生成的词典还学习(learn)已经丧失两侧对称性的图像的词典。因此，仅使用该单个的词典，检测单元23可检测在与处理图像的中心分离的位置处出现并且其形状稍微变形的检测目标对象42，尽管关于其的可能性在某种程度上降低。因此，检测单元23可利用单个词典从处理图像检测超出宽范围(预定范围44)的位置处的检测目标对象42。

(处理图像生成)

接下来，将描述根据本实施方式的通过处理图像生成单元22生成的处理图像。

虽然图3A和图3B、图4以及图5示出了通过布置在侧视镜附近的摄影机(侧方摄影机)检测从自己车辆41的后部接近的检测目标对象42的实例，但是根据本实施方式的图像处理装置10还可包括位于多个地方的摄影机11，并且也可检测从侧方或者前方接近的检测目标对象42。

图8是示出摄影机11设置在车辆41的左侧和右侧以及后部处的实例并且示出在检测在自己车辆41旁边行驶的另一车辆的前表面的情况下的每个摄影机的视轴40和投影平面43的说明图。在检测在自己车辆41旁边行驶的另一车辆的前表面的情况下，处理图像生成单元22基于由摄影机11拾取的图像生成透视投射在投影平面43(其具有朝后平行于自己车辆41的行进方向的视轴40)上的处理图像。

图9是示出摄影机11设置在车辆41的左侧和右侧以及前部处、并且示出在检测在自己车辆41旁边行驶的另一车辆的后表面的情况下的视轴40和投影平面43的说明图。在检测在自己车辆41旁边行驶的另一车辆的后表面的情况下，处理图像生成单元22基于由摄影机11拾取的图像生成透视投射在投影平面43(其具有朝前平行于自己车辆41的行进方向的视轴40)上的处理图像。

图10是示出其中摄影机11设置在车辆41的左侧和右侧以及前部和后部处、并且示出在检测在自己车辆41旁边行驶的另一车辆的侧表面的情况下的视轴40和投影平面的说明图。在检测在自己车辆41旁边行驶的另一车辆的侧表面的情况下，处理图像生成单元22基于由摄影机11拾取的图像生成透视投射在投影平面43(其具有垂直于自己车辆41的行进方向的视轴40)上的处理图像。

图8至图10的图像处理装置10分别利用与每个视轴40对应的单独的词典。这些词典通过词典生成单元21预先生成。自然地，可预先准备与图8至图10的所有检测目标表面(另一车辆的前表面、后表面和侧表面)对应的词典，并且所有的检测目标表面可用作检测对象。

图11是示出由处理图像生成单元22生成的图像金字塔(imagepyramid)50的实例的说明图。在图11中，示出了按照从最缩小的图像(具有最低分辨率的图像)的顺序由参考标号0至16表示的图像。此外，在图11中，示出了根据缩放因子(放大/缩小比率)将多个处理图像分别分类为近距离(close range)图像、中距离图像和远距离图像的实例。此外，在图11中，示出了近距离图像(0-8)相对于彼此被放大1.3倍的放大率、中距离图像(9-12)相对于彼此被放大1.19倍的放大率、并且远距离图像(13-16)相对于彼此被放大1.19倍的放大率的情况下的实例。

通过词典生成单元21生成的词典可以是与根据检测目标对象42的预定大小(例如，宽度×长度为24×12像素的大小等)的图像对应的词典。在这种情况下，检测单元23扫描处理图像上的预定大小(例如，24×12像素)的扫描框。同时，处理图像上的检测目标对象42的大小根据检测目标对象42与检测单元23的车辆41的距离而不同。例如，在检测目标对象42相距车辆41较远的情况下，与在检测目标对象42靠近车辆41时相比，检测目标对象42以较小的大小出现在处理图像上。

因此，在检测单元23扫描处理图像上的特定大小的扫描框(scanningframe)的情况下，有利的是处理图像生成单元22生成包括多个处理图像的图像组(图像金字塔)50，对于多个处理图像，所设定的相距自己车辆41的相对于投影平面43的距离被设定为互相不同。在此时，处理图像生成单元22生成每个处理图像，从而各个处理图像具有平行于检测目标表面的法线方向的视轴40，即，具有与用于词典生成的视轴40相同的视轴40。

在处理图像上的检测目标对象42的大小与扫描框的大小匹配的情况下，可预先测量从自己车辆41到检测目标对象42的距离。因此，每个处理图像可预先与从自己车辆41到检测目标对象42的距离相关联。处理图像越小，与其关联的距离自己车辆41的距离将越短。

应注意，各个处理图像与距自己车辆41的不同的距离相互关联是足够的，并且处理图像可通过使用多个缩放因子缩放(放大或者缩小)由摄影机11拾取的图像来生成，或者可以从自己车辆41到检测目标对象42的特定距离间隔(例如，两米)生成。

在生成图像金字塔50时，处理图像生成单元22为相距自己车辆41的每个预定距离设定投影平面43，并且基于拾取的图像使用相应投影平面43生成各个处理图像。

在各个投影平面43具有相同视轴40的情况下，检测单元23可相对于组成图像金字塔50的所有处理图像应用单个词典。在生成图像金字塔50时，检测单元23扫描每个处理图像上的扫描框(预定大小的框)，并且使用HOG词典基于HOG特征值执行检测处理以检测检测目标对象42的临时检测框(位置候选区域)。

(HOG处理区域)

图12是示出用作HOG处理单元31的HOG处理的对象的区域(检测目标表面)的说明图。

优选的是，检测目标表面是在一定程度上可被认为是平坦表面的区域，即使检测目标表面不是完全平坦的表面。因此，在检测目标对象42是汽车并且视轴40平行于自己车辆41的行进方向的情况下，有利的是，检测单元23将汽车(其他车辆)的前表面上的灯周围的区域当作检测目标表面(HOG处理区域)。这是因为，当从自己车辆41观看时，前玻璃部分相对于灯被定位到后部，所以在汽车(另一车辆)位于靠近自己车辆41的位置以及其侧方处的情况下，将创建其中前玻璃部分和灯周围区域的横向位置偏移的处理图像。

应注意，在图像处理装置10仅采用与自己车辆41相距某段距离的位置作为预定范围44的情况下，因为相对于前玻璃部分和灯周围区域的深度变得相对近似相同，所以可采用包括前玻璃的整个汽车作为检测目标表面(HOG处理区域)。

此外，在视轴40与自己车辆41的行进方向垂直的情况下，有利的是，采用其他车辆的侧表面作为检测目标表面。检测目标表面可以是诸如朝向车辆或者轮胎的前面的侧表面的一部分的小区域。通过采用小的区域作为检测目标表面，可以减小由于分辨率随着与摄影机11的距离的增加而减小所引起的影响或者由于检测目标对象42的侧表面的随着与摄影机11的距离的增加而变形(在表面不是完全平坦的情况下)所引起的影响。

根据本实施方式的图像处理装置10可使用能够在宽范围的位置处检测检测目标对象42的词典。上述单个词典还对应于如下情况：检测目标对象42(其包括在由具有宽视角的摄影机11拾取的图像中)出现在与图像的中心分开的位置处，并且因此其形状与检测目标对象42出现在图像的中心的情况相比变形。因此，即使在通过使用具有宽视角的摄影机11拾取宽范围的图像所获得的图像中的检测目标对象42的形状变形，也可使用单个词典灵活地检测检测目标对象42同时抑制错误检测的出现。

此外，图像处理装置10可使用单个词典检测在宽范围的位置处的检测目标对象42。因此，与使用多个词典相比，可明显减少需要的存储容量，并且可减小在检测处理中应用的负荷以从而减少处理时间。

此外，在另一车辆非常接近自己车辆41的情况下，图像处理装置10可使视轴40的方向与自己车辆41的行进方向垂直，使预定范围44是沿着自己车辆41的行进方向的宽范围，并将检测目标表面设定为侧表面或者其他车辆的检测对象。因此，尤其在摄影机11设置在侧视镜附近的情况下，还可在靠近自己车辆41的位置处监控追上自己车辆41的另一车辆。(处理图像生成的第一变形例)

图13是示出用于产生处理图像的处理的第一变形例的说明图。

在另一车辆靠近自己车辆41并且与自己车辆41平行行驶时，在由具有宽视角的摄影机11拾取的拾取图像的图像数据中，相对于另一车辆的横向方向压缩图像数据。因此，如果图像基于图像数据在横向方向上扩展，以获取正常的长宽比，则分辨率将劣化(参见图13中的右上部)。因此，词典生成单元21可使用相对于长宽比在横向方向上压缩的图像来生成词典，并且处理图像生成单元22可生成相对于长宽比在横向方向上压缩的处理图像(参见图13中的右下部)。在这种情况下，因为在处理图像中可保持相对于摄影机11输出的图像数据的分辨率，所以可改善检测目标对象42的检测的准确度。这同样适用于采用另一车辆的侧表面作为检测目标表面的情况。

此外，因为拾取的图像的图像数据中的检测目标对象42的压缩比根据检测目标对象42相对于在安装有摄影机11的车辆41的位置而不同，所以图像与词典之间的比率也可根据位置而改变。

在摄影机11通过隔行方法(interlacing method)拾取图像的情况下，如果检测目标对象42移动，则检测目标对象42将呈现为条带形状并且将获取奇数行和偶数行的任一个，从而图像数据本身的图像将变得水平长。鉴于此，处理图像生成单元22可生成纵向被压缩的图像作为处理图像，或者词典生成单元21在生成词典时可使用在纵向的长度被压缩的图像。

此外，如果已知相对于原始图像的长宽比存在差异(其归因于摄影机11的长宽比或者鱼眼摄影机等)，则可根据此通过改变长宽比生成处理图像，并可根据此生成词典。例如，在鱼眼图像具有水平长的椭圆形的情况下，采用使得在执行用于将鱼眼图像转换为平坦表面的变形校正时长度不会过度地延伸以实现长度与宽度之间的1：1的比率的配置。没有长度的延伸使得可以保持图像的纵向方向上的分辨率并可使图像的边缘逼真。

根据已处理图像生成的第一变形例，因为可在处理图像中保持摄影机11输出的图像数据的分辨率，所以可改善检测检测目标对象42的准确度。(已处理图像生成的第二变形例)

图14是示出用于生成处理图像的处理的第二变形例的说明图。

另一车辆接近自己车辆41的情况并不限于另一车辆赶上自己车辆41的情况，并可假设另一车辆从不同方向接近自己车辆41的情况。在此情况下，如果具有宽视角的摄影机11设置在自己车辆41的后部处，有利的是处理图像生成单元22基于由摄影机11拾取的图像生成其中采用多个视轴40的每个作为法线方向的多个处理图像。更具体地，处理图像生成单元22设定在多个方向上的投影平面43，并分别生成与每个投影平面43对应的处理图像。在此时，在采用每个投影平面43上的相同检测目标表面作为检测对象的情况下，所有处理图像可共享单个词典。

通过使用分别与多个投影平面43对应的处理图像，即使在车辆与投影平面43在偏离摄影机11的位置处交叉(intersect)的情况下(检测目标对象42在与处理图像上的图像中心分开的位置处移动的情况)，检测单元23也可稳定地检测检测目标对象42。

有利的是使形成在相邻的投影平面43之间的角度(偏离角度)成某一角度(例如，45度)，从而可在任何相邻的投影平面43上稳定地检测在重叠角度(重叠区域)处移动的检测目标对象42。此外，如果词典生成单元21预先创建允许也学习在视轴40和检测目标表面的法线方向从平行状态在一定程度上倾斜的状态的图像词典，因为可延伸由单个处理图像可覆盖的范围，所以可拓宽形成在相邻的投影平面43之间的角度(例如，至70度的角度)。

另外，如果词典生成单元21预先生成允许仅学习视轴40和检测目标表面的法线方向未从平行状态倾斜很多的状态的图像的词典，并且在相邻的投影平面43之间形成的角度变窄(例如，至30度角度)，则尽管由单个处理图像可覆盖的范围变窄，但是可执行高度精确的检测。

检测目标对象42将从处理图像突出(protrude)的可能性随着检测目标对象42靠近安装有图像处理装置10的车辆41而增加。因此，可采用使得根据检测目标对象42与车辆41的接近度增加相邻的处理图像之间的重叠区域的配置。然后检测单元23处理每个处理图像作为处理图像，并进行处理以检测检测目标对象42。在这种情况下，可想象从多个处理图像中同时检测到检测目标对象42的情形，因此，HOG结果判断单元32可提取可能性最高的结果或者在与最靠近自己车辆41的检测目标对象42对应的处理图像中检测的结果(即，认为危险程度最高的结果)作为有效结果。

图15是示出在用于生成处理图像的处理的第二变形例中的处理图像根据距离而弯曲的情况的实例的说明图。

在摄影机11上安装鱼眼镜头的情况下，即使与距离自己车辆41较远的位置对应的处理图像(具有高放大率的处理图像)具有球形或者圆形形状，处理图像中的对象存在极小的变形。因此，如图15中所示，可通过使与距离自己车辆41较远的位置对应的处理图像(具有高放大率的处理图像)弯曲为球形或者圆形形状以使得其表面的弯曲随着与自己车辆41的距离的增加而逐渐增加，来减少处理图像的数量。在这种情况下，假设检测目标对象42与车辆41越近，则检测目标对象42将朝向与摄影机11成角度偏离的位置行进的越多，并且因此，其中图像被当做平坦表面的处理图像的数量可根据处理图像所对应的位置与自己车辆41的接近程度而增加。

在图15中，示出了针对图像金字塔50的为近距离图像准备五个投影平面43、为中距离图像准备四个投影平面43、为远距离图像准备一个投影平面43的实例。

根处理图像生成的第二变形例，图像处理装置10可稳定地检测从不同方向接近自己车辆41的检测目标对象42。此外，通过使与相距自己车辆41较远的位置对应的处理图像(具有高放大率的处理图像)在一定程度上弯曲为随着与自己车辆41的距离的增加而逐渐增加的球形或者圆形形状，可减少需要生成的处理图像的数量。

(处理图像生成的第三变形)

图16是示出用于生成处理图像的处理的第三变形例的说明图。

在检测目标表面不是平坦表面并且预先知道检测目标表面的弯曲度的情况下，可根据检测目标对象42的检测目标表面的形状通过使投影平面43弯曲来使处理图像弯曲。

例如，在如图16中所示的检测目标表面是汽车的前表面的情况下，如从自己车辆41观察的，检测目标表面的左边缘和右边缘与检测目标表面的中心附近相比被定位成更加向后。在这种情况下，如图16所示，投影平面43的两端可朝向后面弯曲。在这种情况下，在与自己车辆41相距较远侧上的另一车辆的灯部分被放大并且在与自己车辆41相距较近侧上的灯部分被压缩，并且因此，可容易看到两侧对称性并有利于稳定检测(参见图16中的右下部)。这也同样适用于检测目标表面的纵向方向。在根据检测目标表面的弯曲对投影平面43进行弯曲的情况下，有利的是预先生成包含以类似的方式弯曲的图像的词典。

此外，在与车辆41相距较远的位置处的检测目标对象42的弯曲随着检测目标对象42接近车辆41而逐渐变得不太明显。因此，可采用如下配置：处理图像所对应的位置与自己车辆41相距越远(处理图像的放大率越高)，则相对于检测目标表面的弯曲程度减小的越多以形成平面图像或者平坦(未根据检测目标表面的弯曲而弯曲而是简单地弯曲)图像(诸如圆形或者球体)。此外，根据检测目标对象42，存在检测目标表面(例如，汽车的前表面)具有从完全平坦表面至弯曲表面的各种表面的情况。因此，可执行结合使用其中相关表面未根据检测目标表面的弯曲而弯曲并保持平整或者平坦表面的处理图像的处理。

此外，在根据与自己车辆41相距的距离改变处理图像的弯曲度的情况下，可以考虑相对在之前的帧图像(frame image)中获得的检测目标对象42的自己车辆41的位置的方式，使相对于当前帧图像生成的处理图像弯曲。此外，例如，在决定弯曲图像的方式时，有利的是使用与商业可获得的汽车的形状相关的平均值。也可创建包含在该状态下获取的图像的词典。

根据已处理图像生成的第三变形例，因为可根据检测目标对象42的检测目标表面的形状设定投影平面43，所以能够以更大的稳定性和准确度来检测检测目标对象42。

(处理图像生成的第四变形例)

图17是示出用于生成处理图像的处理的第四变形例的说明图。

当在存在多个车道时利用侧方摄影机(设置在侧视镜附近的摄影机11)检测在自己车辆41旁边行驶的车辆的情况下，处理图像的投影平面43的倾斜或者位置可考虑车道的弯曲或者车道的位置而改变。此外，为了便于检测横跨车道的车辆，可采用如下配置：投影平面43被布置为使得投影平面43的一部分彼此重叠同时使投影平面43相对于彼此稍微偏离。

根据处理图像生成的第四变形例，可在存在多个车道的情况下检测在自己车辆41旁边行驶的车辆。此外，因为随着图像所对应的位置与自己车辆41的距离的增加，深度比变得相对较小，所以随着相关投影平面43所对应的位置与自己车辆41的距离的增加，可拓宽投影平面43，同时减少投影平面43的数量。在这种情况下，因为可减小生成的处理图像的数量，所以可减小总体处理负荷。

尽管已描述了特定实施方式，但这些实施方式仅作为实例呈现，并非旨在限制本发明的范围。实际上，本文所述的新型实施方式可体现为各种其他形式；此外，在不偏离由所附权利要求所定义的本发明的范围的情况下，可对本文中描述的实施方式的形式做出各种省略、替换和变化。所附权利要求及其等同物旨在覆盖将落入由所附权利要求所定义的本发明的范围内的这些形式或变形。

例如，在使用后部摄影机(设置在车辆的后部的摄影机11)等检测车辆，诸如，当在停车场判断车辆移动的方向或者其位置的情况下，可使用根据上述方向或者位置的投影平面43生成处理图像。在这种情况下，因为仅采用与在固定方向的投影平面43对应的处理图像作为处理对象，所以可明显减小处理负荷并且因此实现高速检测。

在检测目标表面不是完全平坦表面的情况下，即使在检测目标表面的视轴40和法线方向已经对准的状态下，检测目标对象42将随着检测目标对象42与拾取的图像的中心分开的距离的增加而出现逐渐增多的变形。因此，词典生成单元21可针对与图像中心相距的每个预定距离(例如，半焦距)并针对每个分开方向(例如，每个45度)生成词典。在使用这些词典时，可以更高的准确度检测目标对象42。

例如，现在将描述将处理区域划分为左和右的情况。在另一车辆在相对于摄影机11偏离的位置处交叉的情况下，判断其方向，相对于车辆的左侧和右侧的压缩/放大的变形将偏置到一侧。这类情况是诸如在检测在自己车辆旁边行驶的车辆时左摄影机和右摄影机之间的差异的情况，或者在使用后部摄影机时的从右侧交叉和从左侧交叉之间的差异的情况。例如，在存在多个车道的情况下，在从右侧赶上的情况和在从左侧赶上的情况之间，车辆变形的方式将相反。此外，同样在使用后部摄影机检测与车辆的后部交叉的车辆的情况下，变形的方式将根据车辆是从右侧还是左侧交叉而相反。在这种情况下，可通过分别生成与每个照相设备位置对应的词典来进一步改善检测的准确度。

此外，在即使横向距离相同而深度不同的情况下，因为形成在视轴40与链接检测目标对象42和摄影机11的焦点的直线之间的角度将改变，所以变形程度将改变。在这种情况下，可通过生成用于每个角度的相应词典来进一步改善检测的准确度。

此外，图像处理装置10所利用的拾取图像可以不仅是通过设置在车辆中的摄影机11拾取的图像，而且可以是通过公共外围监控摄影机(诸如安装在路灯上的摄影机)所拾取的图像。

Claims (9)

1.一种图像处理装置，包括：

词典生成单元，被配置为使用由摄影机预先拾取的检测目标对象的多个图像预先生成词典作为单个词典，所述摄影机设置在车辆上并以宽视角拾取所述车辆周围的图像，所述多个图像通过如下步骤获得：将检测目标对象布置于在所述摄影机的图像拾取范围内的预定范围中的相应多个位置处以便使所述摄影机的预定视轴与所述检测目标对象的检测目标表面的法线方向彼此平行，并且在所述相应多个位置处由所述摄影机拾取所述多个图像的每一个；

处理图像生成单元，被配置为在生成所述词典之后，基于由所述摄影机拾取的图像，生成具有所述预定视轴作为法线方向的处理图像；以及

检测单元，被配置为通过使用所述词典确定特征值来检测包括在所述处理图像中的所述检测目标对象。

2.根据权利要求1所述的装置，其中：

所述检测单元使用所述词典基于HOG特征值检测包括在所述处理图像中的所述检测目标对象。

3.根据权利要求2所述的装置，其中：

所述处理图像生成单元通过缩放由所述摄影机拾取的所述图像来生成多个处理图像，以便使所述多个处理图像彼此具有不同的缩放因子，同时所述多个处理图像的每一个具有所述预定视轴作为法线方向。

4.根据权利要求1所述的装置，其中：

所述词典生成单元预先生成用于所述摄影机的相应的多个视轴的多个词典；

所述处理图像生成单元基于由所述摄影机拾取的所述图像产生其中采用所述相应的多个视轴作为法线方向的多个处理图像；并且

所述检测单元检测通过使用与所述多个处理图像的各个处理图像对应的词典确定预定特征值，来检测包括在所述多个处理图像的各个处理图像中的所述检测目标对象。

5.根据权利要求3所述的装置，其中：

在所述摄影机上按照鱼眼镜头；并且

所述处理图像生成单元生成所述多个处理图像，使得所述多个处理图像根据所述处理图像具有大缩放因子的程度以及关于其相距自己车辆远的程度，以逐渐增加的方式弯曲。

6.根据权利要求1所述的装置，其中：

所述处理图像生成单元根据所述检测目标对象的所述检测目标表面的形状来使所述多个处理图像的各个处理图像弯曲。

7.根据权利要求1所述的装置，进一步包括：

警告单元，被配置为在通过所述检测单元从所述处理图像检测到所述检测目标对象时，使用以下项中的至少一项将关于由所述检测单元检测出的所述检测目标对象的信息告知所述车辆的驾驶员：通过所述车辆的扬声器的音频输出、通过所述车辆的所述扬声器的蜂鸣输出、以及在设置在所述驾驶员可识别的位置处的显示装置上的警告显示。

8.一种图像处理方法，包括：

使用由摄影机预先拾取的检测目标对象的多个图像预先生成词典作为单个词典，所述摄影机设置在车辆上并以宽视角拾取所述车辆周围的图像，所述多个图像通过如下步骤获得：将所述检测目标对象布置于在所述摄影机的图像拾取范围内的预定范围中的相应多个位置处以便使所述摄影机的预定视轴与所述检测目标对象的检测表面的法线方向彼此平行，并且在所述相应多个位置处由所述摄影机拾取所述多个图像的每一个；

在生成所述词典之后，基于由所述摄影机拾取的图像生成具有预定视轴作为法线方向的处理图像；以及

通过使用所述词典确定特征值来检测包括在所述处理图像中的所述检测目标对象。

9.一种非瞬时性计算机可读介质，具有存储在其中的指令，在通过计算机执行所述指令时，使得执行根据权利要求8所述的方法的步骤。