CN103814401B - 对象物变化检测装置及对象物变化检测方法 - Google Patents

Abstract

本发明根据图像来检测对象物，并获取表示检测到的对象物的形状信息的特征量分布，保存通过已获取的特征量分布而被表示的形状信息，通过使用已保存的形状信息而对预定时间前的形状信息和当前的形状信息进行比较，从而检测出对象物的变化。在此，本发明从由包含对象物在内的图像区域中提取的处理对象区域中获取对象物的特征量分布。此外，本发明使用从形状信息中获取并保存的形状变化信息而检测对象物的变化。此外，本发明使用对形状变化信息进行平均化了的平均化形状变化信息而检测对象物的变化。

Description

对象物变化检测装置及对象物变化检测方法

技术领域

本发明涉及一种对象物变化检测装置及对象物变化检测方法。

背景技术

一直以来，开发了一种对车辆周边的对象物进行检测的技术。

例如，在专利文献1中公开了一种如下的行人突然出现预测装置，所述行人突然出现预测装置通过获取存在于本车辆的前方的行人的位置及移动速度的时间序列变化和周边信息，并对所获取的位置及移动速度的时间序列变化、与行人突然出现于车道时的位置及移动速度的时间序列变化的模式进行比较，并且对所获取的周边信息、与行人突然出现于车道时的预先获取的周边信息进行比较，从而预测在本车辆正在行驶的车道上是否有行人突然出现。

此外，在专利文献2中公开了一种如下的行人识别装置，所述行人识别装置通过从由外界传感器输入的图像数据中生成边缘图像，并对候选行人的左右的腿部的开度W进行检测，并且对候选行人的头部进行推断，且根据该头部的位置而对候选行人的身长H进行推断，根据候选行人的身长H及腿部的开度W而判断腿部的开度W相对于身长H的比率（W/H）是否为预定值α以上，从而判断候选行人是否有可能横穿本车辆的前进路线。

此外，在专利文献3中公开了一种如下的车外监视装置，所述车外监视装置通过针对以预定间隔划分了距离图像的每个划分而制作直方图并求取立体物的存在位置和该距离，并将每个划分的距离相互接近的划分集中为组，并且对于各组而在数据的排列方向发生较大变化的部分处将组分割之后，根据各组的相互的位置关系，对组进行再结合，而将一个立体物识别为物体和侧壁之间的组合，通过计算出立体物的角点的位置从而计算出立体物的位置、向前后和左右方向的移动速度等的参数，从而对斜前方的车辆的位置及行驶情况进行检测。

在先技术文献

专利文献

专利文献1：日本特开2010-102437号公报

专利文献2：日本特开2007-264778号公报

专利文献3：日本特开平10-283461号公报

发明内容

发明所要解决的课题

但是，在现有技术（专利文献1～3等）中，存在无法迅速且准确地检测出车辆周边的对象物的变化的问题点。

例如，在专利文献1所记载的行人突然出现预测装置中，由于仅观察行人的位置变化及速度变化，因此到能够确认位置及速度的变化为止无法预测出行人的突然出现，从而与根据行人的姿势（即，对象物的形状）而进行预测的情况相比，存在行人的突然出现的预测变迟这样的问题。

此外，在专利文献2所记载的行人识别装置中，由于作为行人的姿势（即，对象物的形状）而仅观察相对于身长H的腿开度W，因此存在如下问题，即，如果不在行人开始了横穿之后，则无法预测出有可能横穿本车辆的前进路线的行人。此外，在该行人识别装置中，由于对于所有的行人只能设定一个相对于身长H的腿开度W的阈值，所以还存在无法预测以较小的步幅突然出现的行人的行动的问题。

此外，在专利文献3所记载的车外监视装置中，由于在车辆的侧面必须存在侧壁，因此存在在车道宽度较宽的高速道路中无法适用的问题。此外，在该车外监视装置中，由于作为输入，距离图像是必须的，因此还存在传感器的结构变复杂这样的问题。

本发明是鉴于上述情况而完成的，其目的在于，提供一种能够迅速且准确地检测出车辆周边的对象物的变化的对象物变化检测装置及对象物变化检测方法。

用于解决课题的方法

本发明的对象物变化检测装置，其特征在于，具备：对象物检测单元，其根据图像来检测对象物；形状信息获取单元，其获取表示由所述对象物检测单元检测到的所述对象物的形状信息的特征量分布；形状信息保存单元，其保存通过由所述形状信息获取单元获取的所述概率分布而被表示的所述形状信息；对象物变化检测单元，其使用由所述形状信息保存单元所保存的所述形状信息，而对预定时间前的所述形状信息和当前的所述形状信息进行比较，从而检测出所述对象物的变化。

在此，优选为，在上述记载的对象物变化检测装置中，还具备正态化单元，其对通过由所述形状信息获取单元所获取的所述特征量分布而被表示的所述形状信息进行正态化，所述形状信息保存单元保存由所述正态化单元所正态化了的所述形状信息。

此外，优选为，在上述记载的对象物变化检测装置中，所述形状信息获取单元通过使用预定的特征量而获取由所述对象物检测单元所检测到的所述对象物的所述特征量分布，所述正态化单元对由所述形状信息获取单元所获取的所述特征量分布进行正态化，并获取与该特征量分布相对应的概率分布，所述形状信息保存单元保存由所述正态化单元所获取的所述概率分布，所述对象物变化检测单元使用预定的尺度，而对由所述形状信息保存单元所保存的预定时间前的所述概率分布与当前的所述概率分布之间的差值进行计算，在所计算出的差值大于预定的阈值的情况下，检测出所述对象物的变化进行检测。

此外，优选为，上述记载的对象物变化检测装置还具备处理对象区域提取单元，其从包含由所述对象物检测单元所检测到的所述对象物在内的图像区域中提取处理对象区域，所述形状信息获取单元从由所述处理对象区域提取单元所提取出的所述处理对象区域中，获取所述对象物的所述特征量分布。

此外，优选为，上述记载的对象物变化检测装置还具备：形状变化信息获取单元，其使用由所述形状信息保存单元所保存的所述概率分布，来获取所述预定时间前的所述概率分布与当前的所述概率分布之间的差值，以作为所述对象物的形状变化信息；形状变化信息保存单元，其保存由所述形状变化信息获取单元所获取的所述形状变化信息，所述对象物变化检测单元使用由所述形状变化信息保存单元所保存的所述形状变化信息来计算相似度，在该相似度小于预定的阈值的情况下，检测出所述对象物的变化。

此外，优选为，上述记载的对象物变化检测装置还具备形状变化平均化单元，其对由所述形状变化信息保存单元所保存的多个所述形状变化信息进行平均化，以获取平均化形状变化信息，所述对象物变化检测单元使用由所述形状变化平均化单元所获取的平均化形状变化信息来计算所述相似度，在该相似度小于所述预定的阈值的情况下，检测出所述对象物的变化。

此外，优选为，在上述记载的对象物变化检测装置中，所述预定的特征量是表示为概率分布的特征量，并包括使用图像的亮度本身的第一特征量、使用图像的边缘的第二特征量以及使用图像的颜色的第三特征量中的至少一个。

此外，优选为，在上述记载的对象物变化检测装置中，所述第一特征量包括亮度、亮度的主元分析、Hu矩、垂直线间长度、哈尔特征以及poselet中的至少一个，第二特征量包括尺度不变特征变换、主元分析、加速稳健特征、梯度定位与方向直方图、形状上下文、梯度方向直方图、共生梯度方向直方图、特征交互描述信息以及小边特征中至少一个，第三特征量包括RGB以及Lab中的至少一个。

此外，优选为，在上述记载的对象物变化检测装置中，所述预定的尺度是使用距离或伪距离来计测概率分布间的差异的尺度。

此外，优选为，在上述记载的对象物变化检测装置中，所述距离包括曼哈顿距离、欧几里得距离、一致范数、马氏距离、汉明距离中的至少一种，所述伪距离包括K-L散信息量。

此外，优选为，在上述记载的对象物变化检测装置中，所述相似度包括余弦相似度。

本发明的对象物变化检测方法的特征在于，包括如下步骤：对象物检测步骤，根据图像来检测对象物；形状信息获取步骤，获取表示在所述对象物检测步骤中检测到的所述对象物的形状信息的特征量分布；形状信息保存步骤，保存通过在所述形状信息获取步骤中获取的所述特征量分布而被表示的所述形状信息；对象物变化检测步骤，使用在所述形状信息保存步骤中保存的所述形状信息，而对预定时间前的所述形状信息和当前的所述形状信息进行比较，从而检测出所述对象物的变化。

发明效果

本发明实现了能够迅速且正确地检测出车辆周边的对象物的变化的效果。

附图说明

图1为表示本发明所涉及的对象物变化检测装置的结构的一个示例的框图。

图2为表示实施方式1所涉及的对象物变化检测处理的一个示例的流程图。

图3为表示实施方式1所涉及的变化检测用图表的一个示例的图。

图4为表示实施方式2所涉及的对象物变化检测处理的一个示例的流程图。

图5为表示实施方式2所涉及的对象物图像区域和处理对象区域的一个示例的图。

图6为表示实施方式3所涉及的对象物变化检测处理的一个示例的流程图。

图7为表示实施方式3所涉及的变化检测用图表的一个示例的图。

图8为表示实施方式4所涉及的对象物变化检测处理的一个示例的流程图。

图9为表示实施方式4所涉及的变化检测用图表的一个示例的图。

具体实施方式

以下，根据附图，对本发明所涉及的对象物变化检测装置及对象物变化检测方法的实施方式详细地进行说明。另外，并不是根据该实施方式而限定该发明。此外，在下述的实施方式中的构成要素中，包含有本领域技术人员能够容易设想到的方式，或者实质上相同的方式。

参照图1，对于本发明所涉及的对象物变化检测装置的结构进行说明。图1为表示本发明所涉及的对象物变化检测装置的结构的一个示例的框图。

如图1所示，对象物变化检测装置1为，例如通过使用被搭载于车辆上的汽车控制用计算机等而构成的装置，并且以可通信的方式与被搭载于车辆上的摄像机2进行连接。摄像机2为，对本车辆周边进行拍摄，从而生成拍摄有本车辆周边的图像数据的设备。摄相机2例如为能够在可视光区域或红外线区域进行拍摄的CCD（电荷耦合器件）摄像机或者CMOS（互补金属氧化物半导体）摄像机等。摄像机2被设置在能够对车辆的前方、侧方、后方等的车辆周边进行摄像的任意的位置上。

对象物变化检测装置1具备控制部12和存储部14。控制部12为总体地控制对象物变化检测装置1的构件，例如为CPU（CentralProcessingUnit：中央处理器）等。存储部14为用于存储数据的构件，例如为RAM（RandomAccessMemory：随机存取存储器）、ROM（ReadOnlyMemory：只读存储器）、或者硬盘等。

存储部14具备形状信息存储部14a、处理对象区域存储部14b、形状变化信息存储部14c、平均化形状变化信息存储部14d。

形状信息存储部14a为存储从图像数据中提取出的对象物的形状信息的形状信息存储单元。对象物包含存在于本车辆周边的、行人、自行车、摩托车、车辆等的移动物体中的至少一个。此外，对象物可以为车辆的门等的对象物的一部分。形状信息为表示对象物的形状的特征量的数据。另外，特征量并不限定于此，而是包含使用图像数据的亮度自身的第一特征量、使用图像数据的边缘的第二特征量、以及使用图像数据的颜色的第三特征量中的至少一个。第一特征量例如包含亮度、亮度的PCA（主元分析）、Hu矩、LBP（垂直线间长度）、Haarlikefeature（哈尔特征）以及poselet中的至少一个。第二特征量例如包含SIFT（尺度不变特征变换）、PCA（主元分析）、SURF（加速稳健特征）、GOLH（梯度定位与方向直方图）、shapecontext（形状上下文）、HOG（梯度方向直方图）、CoHOG（共生梯度方向直方图）、FIND（特征交互描述信息）以及edgelet（小边特征）中的至少一个。第三特征量例如包含RGB以及Lab中的至少一个。

处理对象区域存储部14b为，存储与包含对象物的图像数据的图像区域的一部分相对应的处理对象区域的处理对象区域存储单元。形状变化信息储存部14c为，存储表示预定时间内的形状信息的时间变化的形状变化信息的形状变化信息存储单元。平均化形状变化信息存储部14d为，存储表示形状变化信息的平均的平均化形状变化信息的平均化形状变化信息存储单元。

控制部12具备对象物检测部12a、处理对象区域提取部12b、形状信息获取部12c、正态化部12d、形状信息保存部12e、形状变化信息获取部12f、形状变化信息保存部12g、形状变化平均化部12h以及对象物变化检测部12i。

对象物检测部12a为根据图像而检测出对象物的对象物检测单元。对象物检测部12a通过使用预先被存储于存储部14中的、表示对象物的形状的概要的数据而进行模式匹配等，从而对对象物进行检测。

处理对象区域提取部12b为，从包含由对象物检测部12a检测出的对象物的图像区域中提取处理对象区域的处理对象区域提取单元。处理对象区域为，对于由后文所述的对象物变化检测部12i实施的对象物的变化检测处理而言有效的预定区域。例如，当对象物为行人时，处理对象区域包括仅包含行人的全身或仅包含下半身的区域等。处理对象区域提取部12b可以将已提取的处理对象区域存储于处理对象区域存储部14b中。

形状信息获取部12c为，对表示由对象物检测部12a检测出的对象物的形状信息的特征量分布进行获取的形状信息获取单元。具体而言，形状信息获取部12c使用预定的特征量而获取由对象物检测部12a检测出的对象物的特征量分布。在此，预定的特征量为，作为概率分布而表示的特征量，包含上述的第一特征量、第二特征量以及第三特征量中的至少一个。此外，形状信息获取部12c可以从由处理对象区域提取部12b提取的处理对象区域、或者从被存储于处理对象区域存储部14b的处理对象区域中获取对象物的特征量分布。

正态化部12d为，对通过由形状信息获取部12c获取的特征量分布而被表示的形状信息进行正态化的正态化单元。具体而言，正态化部12d对由形状信息获取部12c获取的特征量分布进行正态化，从而获取与该特征量分布相对应的概率分布。

形状信息保存部12e为，对通过由形状信息获取部12c获取的特征量分布而被表示的形状信息进行保存的形状信息保存单元。在此，形状信息保存部12e对通过正态化部12d而正态化了的形状信息进行保存。具体而言，形状信息保存部12e对由正态化部12d获取的概率分布进行保存。即，形状信息保存部12e将正态化了的形状信息（概率分布）存储于形状信息存储部14a中。另外，在本实施方式中，形状信息保存部12e可以保存由形状信息获取部12c获取的正态化前的特征量分布。

形状变化信息获取部12f为，通过使用由形状信息保存部12e所保存的完成正态化的形状信息、即被存储于形状信息存储部14a中的概率分布，从而将预定时间前的概率分布和当前的概率分布之间的差值作为对象物的形状变化信息而获取的形状变化信息获取单元。

形状变化信息保存部12g为保存由形状变化信息获取部12f获取的形状变化信息的形状变化信息保存单元。即，形状变化信息保存部12g将已获取的形状变化信息存储于形状变化信息存储部14c中。

形状变化平均化部12h为通过使由形状变化信息保存部12g保存了的多个形状变化信息、即被存储于形状变化信息存储部14c中的形状变化信息平均化，从而获取平均化形状变化信息的形状变化平均化单元。形状变化平均化部12h可以将已获取的平均化形状变化信息存储于平均化形状变化信息存储部14d中。

对象物变化检测部12i为，通过使用由形状信息保存部12e保存的形状信息、即被存储于形状信息存储部14a中的形状信息，而对预定时间前的形状信息和当前的形状信息进行比较，从而对对象物的变化进行检测的对象物变化检测单元。对象物的变化意味着交通环境中的对象物的危险的变化，包含对象物的运动变化开始时的形状的变化。虽然作为对象物的变化并不限定于此，但是，例如包含像行人或自行车突然改变动向而出现在当前路线上这样的变化、并行车车辆或摩托车突然变更车道并并入本车道这样的变化、前方车辆突然开始掉头这样的变化、前方车辆为了进入道路旁边的店铺等而突然开始左右转弯这样的变化、以及泊车车辆的车门突然打开这样的变化等。

具体而言，对象物变化检测部12i使用预定的尺度而对被存储于形状信息存储部14a中的预定时间前的概率分布和当前的概率分布之间的差值进行计算，当所计算出的差值大于预定的阈值时，检测出对象物的变化。预定的尺度是指，以距离或伪距离来计测概率分布间的差值异的尺度。距离虽然并不限于此，但是包含Lpnorm、例如L1norm（曼哈顿距离）、L2norm（欧几里得距离）、Linfinitynorm（一致范数）等。此外，距离可以包括马氏距离。当使用该马氏距离时，优选为从过去的多个矢量p（t）中制作出分布。此外，距离可以包含汉明距离。当使用该汉明距离时，优选为在某种程度上使数值离散化。此外，伪距离虽然并不限于此，但是包含K-L散信息量（Kullback-Leiblerdivergence）（以下称为KL信息量）。在此，KL信息量是指对两个概率分布P、Q间的差异进行计测的尺度，在信息理论领域中是众所周知的。

另外，在本实施方式中，也可以采用如下方式，即，在通过形状信息保存部12e而保存了正态化前的特征量分布时，对象物变化检测部12i分别对被存储于形状信息存储部14a中的预定时间前的特征量分布以及当前的特征量分布进行正态化，并分别获取与该预定时间前的特征量分布及该当前的特征量分布相对应的概率分布，使用预定的尺度而对已获取的预定时间前的概率分布和当前的概率分布之间的差值进行计算，在所计算出的差值大于预定的阈值时，检测出对象物的变化。

在此，对象物变化检测部12i可以使用由形状变化信息保存部12g保存的形状变化信息、即被存储于形状变化信息存储部14c中的形状变化信息而对相似度进行计算，在该相似度小于预定的阈值时，检测出对象物的变化。相似度并不限于此，而是包含余弦相似度等。此外，对象物变化检测部12i可以使用由形状变化平均化部12h获取的平均化形状变化信息、或者被存储于平均化形状变化信息存储部14d中的平均化形状变化信息而对相似度进行计算，在该相似度小于预定的阈值时，检测出对象物的变化。

接下来，参照图2至图9，对在上述的对象物变化检测装置1中被执行的对象物变化检测处理进行说明。以下，按照实施方式1～4的顺序，对在本发明中的对象物变化检测装置1中被执行的对象物变化检测处理进行说明。另外，在以下的对象物变化检测处理中，作为存在于车辆周边的对象物，虽然以行人为一个示例进行说明，但是并不限定于此。此外，作为表示对象物的形状的特征量，虽然以SIFT特征量为一个示例进行说明，但是并不限于此。此外，作为计测概率分布P、Q间的差值异的尺度，虽然以KL信息量为一个示例进行说明，但是并不限于此。

[实施方式1]

在实施方式1中，参照图2及图3，对在如下的对象物变化检测装置1中被执行的对象物变化检测处理进行说明，所述对象物变化检测装置1具备对象物检测部12a、形状信息获取部12c、正态化部12d、形状信息保存部12e、对象物变化检测部12i。图2为表示实施方式1所涉及的对象物变化检测处理的一个示例的流程图。图3为表示实施方式1所涉及的变化检测用图表的一个示例的图。

如图2所示，首先，对象物变化检测装置1的控制部12从摄像机2中获取拍摄有本车辆周边的图像数据（步骤SA1）。

接下来，对象物变化检测装置1的对象物检测部12a从在步骤SA1中获取的图像数据中作为对象物而对行人进行检测（步骤SA2）。例如，对象物检测部12a使用预先被存储于存储部14中的、表示行人等的对象物的形状的概要的数据而进行模式匹配等，从而检测出对象物。

接下来，对象物变化检测装置1的形状信息获取部12c获取表示在步骤SA2中检测出的对象物的形状信息的特征量分布（步骤SA3）。具体而言，形状信息获取部12c从在步骤SA2中检测出的对象物中，实施作为表示形状信息的特征量分布v（t）的SIFT特征量的计算。在此，SIFT特征量作为表示形状的特征量而在图像识别区域等中被众所周知。此外，SIFT特征量由于用直方图来表示在包含对象物的图像数据的哪个部分分布有哪个朝向的边缘，因此作为概率分布而表示。

接下来，正态化部12d像表示下述的数学式（1）那样，将在步骤SA3中获取的特征量分布v（t）的L1norm正态化为1，并获取特征量（概率分布）p（t）（步骤SA4）。

[公式1]

Σi|pi(t)i=1…数学式（1）

接下来，对象物变化检测装置1的形状信息保存部12e将在步骤SA4中获取的形状信息保存在形状信息存储部14a中（步骤SA5）。即，形状信息保存部12e进行在步骤SA4中正态化了的特征量（概率分布）p（t）的保存。

接下来，如下述的数学式（2）所示，对象物变化检测装置1的控制部12从在步骤SA5中保存的特征量（概率分布）p（t）中,进行n帧前的特征量和当前的特征量之间的差值d（t，n）的计算（步骤SA6）。如下述的数学式（3）所示，控制部12使用KL信息量而进行差值d（t，n）的计算。

[公式2]

d(t、n)=D_kL(P(t)||P(t-n))…数学式（2）

[公式3]

$D_{\mathrm{KL}}\left(P\right|\left|Q\right)={\mathrm{\Σ}}_{i}P\left(i\right)\mathrm{iog}\frac{P\left(i\right)}{Q\left(i\right)}$ …数学式（3）

接下来，对象物变化检测部12i对在步骤SA6中计算的差值d（t，n）是否如图3所示大于预定的阈值Thre进行判断（步骤SA7）。图3的纵轴表示KL信息量，横轴表示时间的帧。在图3中，帧54～174为止，表示对象物的行人沿着人行道正在移动的状态，在帧180处表示行人突然改变了动向的状态。

当对象物变化检测部12i在步骤SA7中判断为差值d（t，n）大于阈值Thre时（步骤SA7：是），判断为存在对象物的变化（步骤SA8）。然后，结束对象物变化检测处理。另外，可以在步骤SA8的处理之后，返回步骤SA1重复执行对象物变化检测处理。

当对象物变化检测部12i在步骤SA7中判断为差值d（t，n）小于阈值Thre时（步骤SA7：否），返回步骤SA1的处理。

如上所述，在实施方式1中，对象物变化检测部12i使用所保存的形状信息而对预定时间前的形状信息和当前的形状信息进行比较，从而对对象物的变化进行检测。然后，对象物变化检测部12i在对象物有无变化的判断结束后，返回至接下来的帧j的图像获取。

以上，根据实施方式1，与现有技术相比，能够更加迅速且准确地检测出车辆周边的对象物的变化。例如，在现有技术的专利文献1所记载的行人突然出现预测装置中，存在与根据行人的姿势（即，对象物的形状）而进行预测时相比对行人的突然出现的预测较为迟缓这样的问题，但是，根据实施方式1，由于根据对象物的形状而检测出了交通环境中的对象物的危险的变化（例如，行人的突然出现），因此能够迅速且准确地检测出车辆周边的对象物的变化。此外，在现有技术的专利文献2所记载的行人识别装置中，存在如果不在行人开始横穿之后，则无法对有可能横穿本车辆的前进道路的行人进行预测，且无法对以较小的步幅突然出现的行人的行动进行预测这样的问题，但是根据实施方式1，由于无论行人的步幅的大小如何，都可以在行人开始横穿之前对对象物的变化进行检测，因此能够迅速且准确地检测出车辆周边的对象物的变化。此外，虽然在现有技术的专利文献3所记载的车外监视装置中，存在在车道较宽的高速道路中无法适用且传感器的结构变复杂这样的问题，但是根据实施方式1，无论有无侧壁，都能够通过简单的摄像机的结构来实现对象物变化检测。如此，根据实施方式1，由于在驾驶员驾驶车辆的过程中产生了车辆周边的对象物的危险的变化的情况下，能够迅速且准确地向驾驶员告知危险，因此能够减少交通事故发生的可能性。

在此，车辆周边的对象物的危险的变化能够分类成连续变化和不连续变化。例如，在将对象物设定为行人时，作为连续变化能够例举行人从人行道朝向车道以固定速度直线地进入的动作等。另一方面，作为不连续变化，能够例举行人从沿着人行道正在移动的状态突然改变行进方向而向车道侧进入的动作、行人从沿着人行道以低速度正在进行移动的状态突然以高速度进行移动的动作、以及行人从正在停止的状态突然开始移动的动作等。在现有技术中，虽然通过线性预测能够对该连续变化（例如，对象物连续地移动的动作、对象物从正在移动的状态停止的动作、以及对象物减速的动作等）进行检测，但是无法迅速且准确地对不连续变化进行检测。

另一方面，实施方式1的对象物变化检测装置1根据图像而检测出对象物，并且使用预定的特征量而获取表示所检测出的对象物的形状信息的特征量分布，并对已获取的特征量分布进行正态化，获取与该特征量分布相对应的概率分布，对已获取的概率分布进行保存。并且，实施方式1的对象物变化检测装置1使用预定的尺度而对所保存的预定时间前的概率分布和当前的概率分布之间的差值进行计算，在所计算出的差值大于预定的阈值时，检测出对象物的变化。由此，根据实施方式1的对象物变化检测装置1，即使对于通过现有技术无法充分应对的不连续变化（例如，对象物从停止的状态开始移动的动作、对象物加速的动作、以及对象物转换方向的动作等），也能够迅速且准确地检测出。例如，根据实施方式1，由于作为不连续变化的一个示例，当发生了如下的车辆周边的对象物的危险的变化时，能够迅速且准确地向驾驶员告知危险，因此能够降低交通事故发生的可能性，所述的车辆周边的对象物的危险的变化为，如行人或自行车突然改变动向而出现在当前路线上、并行车车辆或摩托车突然变更车道并入本车道、前方车辆突然开始掉头、前方车辆为了进入道路旁边的店铺等突然开始左右转弯、以及停车车辆的车门突然打开这样的变化。

[实施方式2]

在实施方式2中，参照图4及图5，对在如下的对象物变化检测装置1中被执行的对象物变化检测处理进行说明，所述对象物变化检测装置1具备对象物检测部12a、处理对象区域提取部12b、形状信息获取部12c、正态化部12d、形状信息保存部12e、对象物变化检测部12i。图4为表示实施方式2所涉及的对象物变化检测处理的一个示例的流程图。图5为表示实施方式2所涉及的对象物图像区域和处理对象区域的一个示例的图。

如图4所示，首先，对象物变化检测装置1的控制部12从摄像机2中获取拍摄有本车辆周边的图像数据（步骤SB1）。

接下来，对象物变化检测装置1的对象物检测部12a从在步骤SB1中获取的图像数据中作为对象物对行人进行检测（步骤SB2）。

接下来，对象物变化检测装置1的处理对象区域提取部12b从包含在步骤SB2中检测出的对象物的图像区域中提取处理对象区域（步骤SB3）。具体而言，如图5所示，处理对象区域提取部12b通过在包含对象物的图像区域内进行模式匹配等，从而提取作为对于对象物的变化检测处理有效的区域的处理对象区域（用图5（a）及（b）的粗框包围的区域）。在图5（a）中，由于在对象物为行人时下半身的形状的变化变得重要，因此将处理对象区域设定在图像区域的下半部分。在图5（b）中，由于在对象物为行人时人行道的线等的背景图像变成变化检测处理所不需要的区域，因此将处理对象区域设定为仅包含行人的全身。在此，处理对象区域提取部12b可以将已提取的处理对象区域存储在处理对象区域存储部14b中。

接下来，对象物变化检测装置1的形状信息获取部12c从在步骤SB3中提取的处理对象区域中获取对象物的形状信息（步骤SB4）。具体而言，形状信息获取部12c从在步骤SB3中提取的处理对象区域中，对作为表示对象物的形状信息的特征量分布v（t）的SIFT特征量进行计算。

接下来，正态化部12d像表示下述的数学式（1）那样，将在步骤SB4中获取的特征量分布v（t）的L1norm正态化为1，并获取特征量（概率分布）p（t）（步骤SB5）。

[公式4]

Σi|pi(t)|=1…数学式（1）

接下来，对象物变化检测装置1的形状信息保存部12e将在步骤SB5中获取的形状信息保存在形状信息存储部14a中（步骤SB6）。即，形状信息保存部12e对在步骤SB5中正态化了的特征量（概率分布）p（t）进行保存。

接下来，对象物变化检测装置1的控制部12如下述的数学式（2）所示，根据在步骤SB6中保存的特征量（概率分布）p（t），而进行n帧前的特征量和当前的特征量之间的差值d（t，n）的计算（步骤SB7）。控制部12例如如下述的数学式（3）所示使用KL信息量而进行差值d（t，n）的计算。

[公式5]

d(t,n)=V_hL(P(t)||p(t-n))…数学式（2）

[公式6]

$D_{\mathrm{KL}}\left(P\right|\left|Q\right)={\mathrm{\Σ}}_{i}P\left(i\right)\mathrm{iog}\frac{P\left(i\right)}{Q\left(i\right)}$ …数学式（3）

接下来，对象物变化检测部12i对在步骤SB7中计算出的差值d（t，n）是否如上述的图3所示大于预定的阈值Thre进行判断（步骤SB8）。

当对象物变化检测部12i在步骤SB8中判断为差值d（t，n）大于阈值Thre时（步骤SB8：是），判断为存在对象物的变化（步骤SB9）。然后，结束对象物变化检测处理。另外，可以在步骤SB9的处理之后，返回步骤SB1并重复执行对象物变化检测处理。

当对象物变化检测部12i在步骤SB8中判断为差值d（t，n）小于阈值Thre时（步骤SB8：否），返回步骤SB1的处理。

如此，在实施方式2中，形状信息获取部12c从所提取的处理对象区域中获取对象物的形状信息，对象物变化检测部12i使用已保存的形状信息，而对预定时间前的形状信息和当前的形状信息进行比较，从而对对象物的变化进行检测。然后，对象物变化检测部12i在对象物有无变化的判断结束之后，返回至接下来的帧j的图像获取。

以上，根据实施方式2，由于限定了对对象物的形状的变化进行检测的范围，因此能够提高对象物变化检测处理的检测精度与计算速度。由此，根据实施方式2，由于能够更加迅速且准确地检测出车辆周边的对象物的变化，因此能够进一步降低交通事故发生的可能性。

[实施方式3]

在实施方式3中，参照图6及图7,对在如下的对象物变化检测装置1中被执行的对象物变化检测处理进行说明，所述对象物变化检测装置1具备对象物检测部12a、形状信息获取部12c、正态化部12d、形状信息保存部12e、形状变化信息获取部12f、形状变化信息保存部12g、对象物变化检测部12i。图6为表示实施方式3所涉及的对象物变化检测处理的一个示例的流程图。图7为表示实施方式3所涉及的变化检测用图表的一个示例的图。

如图6所示，首先，对象物变化检测装置1的控制部12从摄像机2中获取拍摄有本车辆周边的图像数据（步骤SC1）。

接下来，对象物变化检测装置1的对象物检测部12a从在步骤SC1中获取的图像数据中作为对象物对行人进行检测（步骤SC2）。

接下来，对象物变化检测装置1的形状信息获取部12c获取在步骤SC2中检测出的对象物的形状信息（步骤SC3）。具体而言，形状信息获取部12c从在步骤SC2中检测出的对象物中，对作为表示形状信息的特征量分布v（t）的SIFT特征量进行计算。

接下来，正态化部12d如下述的数学式（1）所示，将在步骤SC3中获取的特征量分布v（t）的L1norm正态化为1，并获取特征量（概率分布）p（t）（步骤SC4）。

[公式7]

Σi|Pi(t)|=1…数学式（1）

接下来，对象物变化检测装置1的形状信息保存部12e将在步骤SC4中获取的形状信息保存在形状信息存储部14a中（步骤SC5）。即，形状信息保存部12e对在步骤SC4中正态化了的特征量（概率分布）p（t）进行保存。

接下来，对象物变化检测装置1的形状变化信息获取部12f如下述的数学式（2）所示，根据在步骤SC5中保存的特征量（概率分布）p（t），进行n帧前的特征量和当前的特征量之间的差值d（t，n）（即，在本实施方式3中为形状变化信息）的计算（步骤SC6）。形状变化信息获取部12f如下述的数学式（3）所示，使用KL信息量而对作为形状变化信息的差值d（t，n）进行计算。如此，形状变化信息获取部12f使用在步骤SC5中保存的形状信息从而获取对象物的形状变化信息。

[公式8]

d(t.II)-D_hL(P(t)||P(t-n))…数学式（2）

[公式9]

$D_{\mathrm{KL}}\left(P\right|\left|Q\right)={\mathrm{\Σ}}_{i}P\left(i\right)\mathrm{iog}\frac{P\left(i\right)}{Q\left(i\right)}$ …数学式（3）

接下来，对象物变化检测装置1的形状变化信息保存部12g将在步骤SC6中获取的形状变化信息d（t，n）保存在形状变化信息存储部14c中（步骤SC7）。具体而言，形状变化信息保存部12g对保存了1帧的量的在步骤SC6中计算出的形状变化信息d（t，n）的、下述的数学式（4）所示的矢量u（t，n，l）进行计算。

[公式10]

u(t，n]r1)一(d(t-1+1,n),…，d(t，n))…数学式（4）

接下来，对象物变化检测装置1的对象物变化检测部12i使用下述的数学式（5）及数学式（6）计算相似度cosθ（步骤SC8）。在此，相似度cosθ为在对n维空间中的相似度进行分析时，在该技术领域中一般被使用的n维矢量的相似度。具体而言，相似度cosθ被称为余弦相似度，意味着构成矢量的角θ的余弦cosθ，并且为将矢量的朝向的靠近程度设定为相似性的指标的参数。当矢量的朝向一致时成为最大值1，当矢量的朝向正交时成为0，当矢量的朝向成为反向时成为最小值-1。

[公式11]

1=(1,1…，1)：1dim…数学式（5）

[公式12]

$\cos \mathrm{\θ}(t,n,1)=\frac{u\·I}{\left|u\right|\left|I\right|}=\frac{{\mathrm{\Σ}}_i{u}_i}{1\left|u\right|}$ …数学式（6）

接下来，对象物变化检测装置1的对象物变化检测部12i对在步骤SC8中计算出的相似度cosθ是否如图7所示小于预定的阈值Thre进行判断（步骤SC9）。图7的纵轴表示cosθ，横轴表示时间的帧。在图7中，帧66～162为止表示对象物的行人正在沿着人行道移动的状态，帧168～180为止表示行人突然改变了动向的状态。

当对象物变化检测部12i在步骤SC9中判断为相似度cosθ小于阈值Thre时（步骤SC9：是），判断为存在对象物的变化（步骤SC10）。然后，结束对象物变化检测处理。另外，可以在步骤SC10的处理之后，返回步骤SC1并重复执行对象物变化检测处理。

当对象物变化检测部12i在步骤SC9中判断为相似度cosθ为阈值Thre以上时（步骤SC9：否），返回步骤SC1的处理。

如上所述，在实施方式3中，形状变化信息获取部12f使用已保存的形状信息而获取预定时间前的形状信息和当前的形状信息之间的差值以作为对象物的形状变化信息，形状变化信息保存部12g对所获取的形状变化信息进行保存。而且，对象物变化检测部12i使用所保存的形状变化信息而对相似度进行计算，在该相似度小于预定的阈值时检测出对象物的变化。然后，对象物变化检测部12i在对象物有无变化的判断结束之后，返回至接下来的帧j的图像获取。

以上，根据实施方式3，由于将对象物的形状信息的时间变化作为形状变化信息而进行保存，并且使用余弦相似度而对相似性进行分析，因此能够更进一步提高对象物变化检测处理的检测精度。由此，根据实施方式3，由于能够对车辆周边的对象物的变化更迅速且准确地进行检测，因此能够更进一步降低交通事故发生的可能性。另外，虽然在实施方式3中，对在对对象物的变化进行检测时将相似度和阈值进行比较的示例进行了说明，但是并不限于此。实施方式3的对象物变化检测装置1可以仅通过相似度的有无而对对象物的变化进行检测。

[实施方式4]

在实施方式4中，参照图8及图9,对在对象物变化检测装置1中被执行的对象物变化检测处理进行说明，所述对象物变化检测装置1具备对象物检测部12a、形状信息获取部12c、正态化部12d、形状信息保存部12e、形状变化信息获取部12f、形状变化信息保存部12g、形状变化平均化部12h、对象物变化检测部12i。图8为表示实施方式4所涉及的对象物变化检测处理的一个示例的流程图。图9为表示实施方式4所涉及的变化检测用图表的一个示例的图。

如图8所示，首先，对象物变化检测装置1的控制部12从摄像机2中获取拍摄有本车辆周边的图像数据（步骤SD1）。

接下来，对象物变化检测装置1的对象物检测部12a从在步骤SD1中获取的图像数据中作为对象物对行人进行检测（步骤SD2）。

接下来，对象物变化检测装置1的形状信息获取部12c获取在步骤SD2中检测出的对象物的形状信息（步骤SD3）。具体而言，形状信息获取部12c从在步骤SC2中检测出的对象物中，对作为表示形状信息的特征量分布v（t）的SIFT特征量进行计算。

接下来，正态化部12d如下述的数学式（1）所示，将在步骤SD3中获取的特征量分布v（t）的L1norm正态化为1，并获取特征量（概率分布）p（t）（步骤SD4）。

[公式13]

Σi|Pi(t)|=1…数学式（1）

接下来，对象物变化检测装置1的形状信息保存部12e将在步骤SD4中获取的形状信息保存在形状信息存储部14a中（步骤SD5）。即，形状信息保存部12e对在步骤SD4中正态化了的特征量（概率分布）p（t）进行保存。

接下来，对象物变化检测装置1的形状变化信息获取部12f如下述的数学式（2）所示，根据在步骤SD5中保存的特征量（概率分布）p（t），进行n帧前的特征量和当前的特征量之间的差值d（t，n）（即，在本实施方式4中为形状变化信息）的计算（步骤SD6）。形状变化信息获取部12f如下述的数学式（3）所示，使用KL信息量作为形状变化信息而进行差值d（t，n）的计算。如此，形状变化信息获取部12f使用在步骤SD5中保存的形状信息从而获取对象物的形状变化信息。

[公式14]

d(t.17)=D_hL(p(t)||(t-n))…数学式（2）

[公式15]

$D_{\mathrm{KL}}\left(P\right|\left|Q\right)={\mathrm{\Σ}}_{i}P\left(i\right)\mathrm{iog}\frac{P\left(i\right)}{Q\left(i\right)}$ …数学式（3）

接下来，对象物变化检测装置1的形状变化信息保存部12g将在步骤SD6中获取的形状变化信息d（t，n）保存在形状变化信息存储部14c中（步骤SD7）。具体而言，形状变化信息保存部12g对保存了1帧的量的在步骤SD6中计算出的形状变化信息d（t，n）的、下述的数学式（4）所示的矢量u（t，n，l）进行计算。

[公式16]

u(t，n,1)=(d(t-1+1，n)…,d(t，n))…数学式（4）

接下来，对象物变化检测装置1的形状变化平均化部12h通过使用下述的数学式（7），而将与K个量的在步骤SD7中计算出的矢量u（t，n，l）加在一起并通过取时间平均，从而降低干扰（步骤SD8）。如此，形状变化平均化部12h将在步骤SD7中保存的多个形状变化信息平均化，并作为平均化形状变化信息而获取矢量u（t，K，n，l）。

[公式17]

$u(t,k,n,1)=\underset{k=0}{\overset{k}{\mathrm{\Σ}}}u(t-k,n,1)$ …数学式（7）

接下来，对象物变化检测装置1的对象物变化检测部12i通过使用下述的数学式（5）及数学式（6）而对相似度cosθ进行计算（步骤SD9）。

[公式18]

1=(1,1,...1):1dim…数学式（5）

[公式19]

$\cos \mathrm{\θ}(t,n,1)=\frac{u\·I}{\left|u\right|\left|I\right|}=\frac{{\mathrm{\Σ}}_i{u}_i}{1\left|u\right|}$ …数学式（6）

接下来，对象物变化检测装置1的对象物变化检测部12i对在步骤SD9中计算出的相似度cosθ是否如图9所示小于预定的阈值Thre进行判断（步骤SD10）。图9的纵轴表示cosθ，横轴表示时间的帧。在图9中，图示了取得四个取样数量（K=4）的时间平均的情况。如图9所示，四个均在帧180附近表示出了突然的变化，并图示了在帧180附近行人突然改变了动向的状态。

当对象物变化检测部12i在步骤SD10中判断为相似度cosθ小于阈值Thre时（步骤SD10：是），判断为存在对象物的变化（步骤SD11）。然后，结束对象物变化检测处理。另外，可以在步骤SD11的处理之后，返回步骤SD1，并重复执行对象物变化检测处理。

当对象物变化检测部12i在步骤SD10中判断为相似度cosθ为阈值Thre以上时（步骤SD10：否），返回步骤SD1的处理。

如上所述，在实施方式4中，形状变化信息获取部12f使用所保存的形状信息，获取预定时间前的形状信息和当前的形状信息之间的差值，以作为对象物的形状变化信息，形状变化信息保存部12g对所获取的形状变化信息进行保存。而且，形状变化平均化部12h将所保存的多个形状变化信息平均化，从而获取平均化形状变化信息。并且，对象物变化检测部12i使用所获取的平均化形状变化信息而对相似度进行计算，在该相似度小于预定的阈值时，检测出对象物的变化。然后，对象物变化检测部12i在对象物有无变化的判断结束之后，返回至接下来的帧j的图像获取。

以上，根据实施方式4，由于将对象物的形状信息的时间变化作为形状变化信息而进行保存，且使用平均化了的余弦相似度而对相似度进行分析，因此与实施方式3相比能够更进一步提高对象物变化检测处理的检测精度。由此，根据实施方式4，由于能够更迅速且准确地检测出车辆周边的对象物的变化，因此能够更进一步降低交通事故发生的可能性。

此外，本发明所涉及的对象物变化检测装置1可以适当地组合实施上述的实施方式1～4。此外，本发明所涉及的对象物变化检测装置1可以根据包含对象物的图像的背景的复杂度而分开使用实施方式1～4。例如，在车辆行驶在道路中的情况下，由于在包含作为对象物的行人或其他车辆的背景中包含各种物体，因此可以认为将变得复杂。此时，本发明所涉及的对象物变化检测装置1为了降低背景图像的干扰，可以执行实施方式4。此外，例如当行驶在高速道路中的情况下，可以认为包含作为对象物的其他车辆或摩托车的背景变得比较简单。此时，本发明所涉及的对象物变化检测装置1可以实施计算负荷较少的实施方式1。此外，本发明所涉及的对象物变化检测装置1可以和实施方式1～4所示的对不连续变化进行检测的处理并行，从而通过实施现有的线形预测，而实施对连续变化进行检测的处理。

符号说明

1…对象物变化检测装置；

12…控制部；

12a…对象物检测部；

12b…处理对象区域提取部；

12c…形状信息获取部；

12d…正态化部；

12e…形状信息保存部；

12f…形状变化信息获取部；

12g…形状变化信息保存部；

12h…形状变化平均化部；

12i…对象物变化检测部；

14…存储部；

14a…形状信息存储部；

14b…处理对象区域存储部；

14c…形状变化信息存储部；

14d…平均化形状变化信息存储部；2…摄像机。

Claims (10)

1.一种对象物变化检测装置，其特征在于，具备：

对象物检测单元(12a)，其从照相机(2)获取拍摄有本车辆周边的图像数据，并根据所获取的所述图像数据来检测对象物；

形状信息获取单元(12c)，其使用预定的特征量，来获取表示由所述对象物检测单元(12a)检测到的所述对象物的形状信息的特征量分布；

正态化单元(12d)，其对通过所述形状信息获取单元(12c)所获取的所述特征量分布进行正态化，以获取与该特征量分布相对应的概率分布；

形状信息保存单元(12e)，其保存由所述正态化单元(12d)所获取的所述概率分布；

对象物变化检测单元(12i)，其使用预定的尺度，对由所述形状信息保存单元(12e)所保存的预定时间前的所述概率分布与当前的所述概率分布之间的差值进行计算，在计算出的差值大于预定的阈值的情况下，检测出所述对象物的变化。

2.如权利要求1所述的对象物变化检测装置，其特征在于，

还具备处理对象区域提取单元(12b)，其从包含由所述对象物检测单元(12a)所检测到的所述对象物在内的图像区域中提取处理对象区域，

所述形状信息获取单元(12c)从由所述处理对象区域提取单元(12b)所提取出的所述处理对象区域中，获取所述对象物的所述特征量分布。

3.如权利要求1或2所述的对象物变化检测装置，其特征在于，

还具备：

形状变化信息获取单元(12f)，其使用由所述形状信息保存单元(12e)所保存的所述概率分布，来获取所述预定时间前的所述概率分布与当前的所述概率分布之间的差值，以作为所述对象物的形状变化信息；

形状变化信息保存单元(12g)，其保存由所述形状变化信息获取单元(12f)所获取的所述形状变化信息，

所述对象物变化检测单元(12i)使用由所述形状变化信息保存单元(12g)所保存的所述形状变化信息来计算相似度，在该相似度小于预定的阈值的情况下，检测出所述对象物的变化。

4.如权利要求3所述的对象物变化检测装置，其特征在于，

还具备形状变化平均化单元(12h)，其对由所述形状变化信息保存单元(12g)所保存的多个所述形状变化信息进行平均化，以获取平均化形状变化信息，

所述对象物变化检测单元(12i)使用由所述形状变化平均化单元(12h)所获取的平均化形状变化信息来计算所述相似度，在该相似度小于所述预定的阈值的情况下，检测出所述对象物的变化。

5.如权利要求1所述的对象物变化检测装置，其特征在于，

所述预定的特征量是表示为概率分布的特征量，

并包括使用图像的亮度本身的第一特征量、使用图像的边缘的第二特征量以及使用图像的颜色的第三特征量中的至少一个。

6.如权利要求5所述的对象物变化检测装置，其特征在于，

所述第一特征量包括亮度、亮度的主元分析、Hu矩、垂直线间长度、哈尔特征以及poselet中的至少一个，

第二特征量包括尺度不变特征变换、主元分析、加速稳健特征、梯度定位与方向直方图、形状上下文、梯度方向直方图、共生梯度方向直方图、特征交互描述信息以及小边特征中至少一个，

第三特征量包括RGB以及Lab中的至少一个。

7.如权利要求1所述的对象物变化检测装置，其特征在于，

所述预定的尺度是使用距离或伪距离来计测概率分布间的差异的尺度。

8.如权利要求7所述的对象物变化检测装置，其特征在于，

所述距离包括曼哈顿距离、欧几里得距离、一致范数、马氏距离、汉明距离中的至少一种，

所述伪距离包括K-L散信息量。

9.如权利要求4所述的对象物变化检测装置，其特征在于，

所述相似度包括余弦相似度。

10.一种对象物变化检测方法，其特征在于，包括如下步骤：

对象物检测步骤，从照相机获取拍摄有本车辆周边的图像数据，并根据所获取的所述图像数据来检测对象物；

形状信息获取步骤，使用预定的特征量，来获取表示在所述对象物检测步骤中检测到的所述对象物的形状信息的特征量分布；

正态化步骤，对在所述形状信息获取步骤中获取的所述特征量分布进行正态化，以获取与该特征量分布相对应的概率分布；

形状信息保存步骤，保存在所述正态化步骤中获取到的所述概率分布；

对象物变化检测步骤，使用预定的尺度，对在所述形状信息保存步骤中保存的预定时间前的所述概率分布与当前的所述概率分布之间的差值进行计算，在所计算出的差值大于预定的阈值的情况下，检测出所述对象物的变化。