CN102016921B - 图像处理装置 - Google Patents

Abstract

本发明的课题在于，提供一种在以窗口为单位计算光流时提高光流的计算精度的图像处理装置。本发明提供一种图像处理装置，其利用在不同时间拍摄的多个图像，并根据窗口内的图像信息而针对处理对象计算光流，其特征在于，具有：位置获取单元，其获取处理对象的位置信息；设定单元，其根据由位置获取单元获取的位置信息，设定用于计算光流的窗口的大小。

Description

图像处理装置

技术领域

本发明涉及一种根据设定于图像中的窗口内的图像信息来计算光流的图像处理装置。

背景技术

光流是指，从时间上连续的图像中求出图像内的各点(像素、区域)的速度场，并用矢量表示图像内的物体的运动的量。光流的计算方法之一是利用梯度法的方法。在梯度法中，作为约束条件，假定设定于图像中的窗口内的各点具有大小相同的光流，从而导出亮度梯度和光流的关系式，并根据该关系式，以窗口为单位计算光流。

然而，当在相同窗口内存在具有不同光流的物体(例如，不同的多个移动体、移动体及其周边的背景)时，光流的误差将变大。因此，在专利文献1所述的装置中，利用在不同时刻获取的多个图像，通过梯度法计算出各个区域(各个窗口)的光流和光流误差，当目标区域的光流误差大于目标区域的周边区域的光流误差时，代入周边区域的光流以作为目标区域的光流。

在先技术文献

专利文献

专利文献1：日本特开2007-172554号公报

专利文献2：日本特开2008-26999号公报

发明内容

本发明所要解决的课题

由于在现有的方法中，用于计算光流的窗口被设定为统一的大小，因而无论是存在于近处的物体，还是存在于远处的物体，均由大小相同的窗口来计算光流。另外，存在于远处的物体与存在于近处的物体相比，在图像中的尺寸更小。因此，由于有时会出现与针对存在于近处的物体的窗口相比，针对存在于远处的物体的窗口中包含了更多的背景的像素，或者存在于远处的物体也进入到了针对存在于近处物体的窗口内的情况，因而，由各个窗口计算的光流误差有可能会增大。因此，在采用上述装置的情况下，周边区域的光流误差也可能会增大，当替换成这种误差增大了的周边区域的光流时，误差有可能会被累积。

因此，本发明的课题在于，提供一种在以窗口为单位计算光流时提高光流的计算精度的图像处理装置。

解决课题的方法

本发明所涉及的图像处理装置为，其利用在不同时间拍摄的多个图像，并根据窗口内的图像信息而针对处理对象计算光流，其特征在于，具有：位置获取单元，其获取处理对象的位置信息；设定单元，其根据由所述位置获取单元获取的位置信息，设定用于计算光流的窗口的大小。

在该图像处理装置中，通过位置获取单元获取处理对象(通过光流而检测出运动的对象)的位置信息(例如，距拍摄位置的相对距离或横向位置)。图像上的物体的大小，按照该物体和拍摄位置之间的位置关系而变化。另外，有时光流的大小也会按照该物体和拍摄位置之间的位置关系而变化。因此，在图像处理装置中，按照该处理对象的位置信息，由设定单元设定用于计算光流的窗口的大小，并针对每个设定的窗口，根据窗口内的图像信息来计算光流。以这种方式，在图像处理装置中，通过按照处理对象的位置信息来设定大小适于处理对象的窗口，能够减少由窗口内所包含的除处理对象之外的物体引起的误差的影响，并能够提高光流的计算精度。而且，由于不由统一大小的窗口来计算光流，而由大小与处理对象的位置信息相对应的窗口来计算光流，因而还能够减少计算量。

在本发明的所述图像处理装置中，优选为，拍摄位置和处理对象在横向位置上的差越大，设定单元将窗口的大小设定得越大。

自拍摄位置的横向位置越远，光流越增大。由于在光流较大的情况下，当设定较小的窗口时，光流将不收敛，或者需要通过使较小的窗口逐步移动来多次计算光流，因而计算量将增大。因此，在该图像处理装置中，拍摄位置和处理对象在横向位置上的差越大，设定单元将窗口的大小设定得越大，由此，能够设定适合于光流大小的窗口。其结果是，能够进一步提高光流的计算精度。

在本发明的所述处理装置中，位置获取单元为雷达，其结构也可以为，根据雷达的检测结果来设定处理对象。

在该图像处理装置中，通过雷达获取处理对象的位置信息，根据由雷达检测的结果来设定处理对象。雷达能够高精度地获取位置信息。因此，在被雷达检测到时，由于物体确实存在于该被检测出的位置上，因而，将在该位置上设定关于处理对象的窗口。通过这种方式，在图像处理装置中，按照用雷达检测出的位置来设定处理对象的窗口，并限定计算光流的处理区域，由此，能够进一步减少计算量。

发明效果

本发明通过按照处理对象的位置信息来设定大小适于处理对象的窗口，从而能够提高光流的计算精度。

附图说明

图1为本实施方式所涉及的周边监视装置的结构图。

图2为表示相对于到特征点的距离和横向位置的、拍摄图像中的大小、光流大小、窗口大小的表格。

图3为从上空观察本车周边(前方一侧)时的俯视图的一个示例。

图4为针对图3所示的本车周边的拍摄图像而由图1的ECU设定计算光流用的窗口的图。

图5为针对图3所示的本车周边的拍摄图像而通过现有的方法设定计算光流用的窗口的图。

图6为表示图1的ECU中的主处理流程的流程图。

图7为表示图1的ECU中的窗口尺寸设定处理流程的流程图。

符号说明：

1……周边监视装置

2……照相机

3……毫米波传感器

4……ECU

具体实施方式

下面，参照附图，对本发明所涉及的图像处理装置的实施方式进行说明。

在本实施方式中，将本发明所涉及的图像处理装置应用在搭载于车辆的周边监视装置上。本实施方式所涉及的周边监视装置检测本车前方的障碍物(例如，其它车辆、自行车、行人等移动物体、坠落物等静止物体)，并将该检测到的障碍物信息输出到驾驶支援装置(防止碰撞装置等)处，或者通过声音或显示的方式提供给驾驶员。并且，检测方向被设为前方，但也可以设定为侧方、后方等其它方向。

参照图1～图5，对本实施方式所涉及的周边监视装置1进行说明。图1为本实施方式所涉及的周边监视装置的结构图。图2为表示相对于到特征点为止的距离和横向位置的拍摄图像中的大小、光流大小、窗口大小的表格。图3为从上空观察本车周边(前方一侧)时的俯视图的一个示例。图4为针对图3所示的本车周边的拍摄图像而由图1的ECU设定计算光流用的窗口的图。图5为针对图3所示的本车周边的拍摄图像而通过现有的方法设定计算光流用的窗口的图。

周边监视装置1根据从时间上连续的帧之间的图像中检测到的光流来检测障碍物信息。尤其，周边监视装置1为了提高光流的计算精度，针对每个处理对象(障碍物)，按照图像上的位置来设定用于计算光流的窗口。周边监视装置1具有照相机2、毫米波传感器3和ECU(Electronic Control Unit：电子控制模块)4。

而且，在本实施方式中，毫米波传感器3相当于权利要求书所述的位置获取单元，ECU4中的处理相当于权利要求书所述的设定单元。

照相机2为拍摄本车前方的照相机。照相机2被安装在本车的前侧中央。照相机2拍摄本车前方，并将该拍摄图像信息作为图像信号而发送给ECU4。该拍摄图像为每隔一定时间(例如，三十分之一秒)的帧图像。

毫米波传感器3为利用毫米波来检测物体的雷达传感器。毫米波传感器3被安装在本车前侧中央的规定的高度位置(能够可靠地检测到作为检测对象的障碍物的高度位置)上。毫米波传感器3沿左右方向扫描毫米波的同时从本车向前方发送毫米波，并接收反射回来的毫米波。

针对每个能够接收到反射回来的毫米波的检测点，在毫米波传感器3中，根据毫米波从发送到接收的时间及毫米波的速度，计算出距前方物体的相对距离。而且，在毫米波传感器3中，根据在当前时刻(t)计算出的相对距离与在前一时刻(t-1)计算出的相对距离的变化，而计算与前方物体的相对速度。另外，在毫米波传感器3中，对在反射回来的毫米波中以最大强度反射回来的毫米波的方向进行检测，并根据该方向求出本车的行驶方向和物体的方向所成的角度，且根据该角度计算出物体的横向位置。而且，在毫米波传感器3中，将由该检测到的毫米波信息(针对每个检测物体的相对距离、相对速度、相对横向位置等)构成的毫米波信号发送给ECU4。此外，也可以由ECU4来执行关于相对距离、相对速度、横向位置等的计算，此时，从毫米波传感器3，将由针对每个检测点的发送时刻、接收时刻、扫描方向、接收强度等构成的毫米波信息发送给ECU4。

ECU4为由CPU(Central Processing Unit：中央处理器)、ROM(Read OnlyMemory：只读存储器)、RAM(Random Access Memory：随机存取存储器)和图像处理芯片等构成的电子控制单元，并统一控制周边监视装置1。在ECU4中，每隔一定时间，读取来自照相机2的图像信号和来自毫米波传感器3的毫米波信号，并按时间序列存储毫米波信息和拍摄图像信息。而且，在ECU4中，利用这些信息执行用于检测障碍物信息的处理，并将检测出的障碍物信息(例如，相对距离、相对速度、相对横向位置、移动方向、移动速度)输出到驾驶支援装置中、或者提供给驾驶员。

在对由ECU4执行的具体处理进行说明之前，先对由ECU4处理的用于计算光流的窗口的大小进行说明。障碍物离照相机2(拍摄位置)的距离越近，图像上的物体的大小越大，距离越远，图像上的物体的大小越小。因此，在按照障碍物的大小而使窗口的大小最优化时，需要在障碍物离照相机2的距离较近时将窗口设定得较大，在距离较远时将窗口设定得较小。

另外，由于本车正在朝向存在障碍物的前方行驶，因而障碍物离照相机2的横向位置越近，光流的大小越小，而横向位置越远，光流的大小越大。由于对较大的光流设定较小的窗口时，光流将不收敛，或者需要通过使较小的窗口逐步偏移来多次计算光流，因而计算量将增大。因此，在按照光流的大小来使窗口的大小最优化时，需要在障碍物离照相机2的横向位置较近时将窗口设定得较小，在较远时将窗口设定得较大。

在图2中，将上述的关系制成了表格。在从照相机2到障碍物(特征点)的距离较远且横向位置较近时，图像中的大小变小，光流的大小也变小，因而，将窗口的大小设为“小尺寸”。在距离较远且横向位置较远时，图像中的大小变小，光流的大小成为中等程度，因而，将窗口的大小设为“中尺寸”。在距离较近且横向位置较近时，图像中的大小变大，光流的大小成为中等程度，因而，将窗口的大小设为“中尺寸”。在距离较近且横向位置较远时，图像中的大小变大，光流的大小变大，因而，将窗口的大小设为“大尺寸”。并且，虽然在距离较远且横向位置较远时和在距离较近且横向位置较近时，均将窗口设为了中尺寸，但是，也可以将窗口的大小设为相同程度的尺寸，或者，还可以将在距离较近且横向位置较近时的窗口的大小设定得稍大。

并且，本车的车速越高，光流的大小越大，车速越低，光流的大小越小。因此，也可以考虑本车的车速，当车速较高时，将窗口设定得较大，当车速较低时，将窗口设定得较小。

接下来，对ECU4中的处理进行具体说明。在ECU4中，从当前时刻(t)的帧图像中检测特征点(障碍物)。在该特征点的检测中，应用了现有的方法，例如，使用边缘检测方法。

在ECU4中，针对每个被检测出的特征点，获取与该特征点相对应的毫米波信息(尤其是相对的距离和横向位置)。而且，在ECU4中，根据相对距离，判断距本车(照相机2)的距离是否较近(相对距离是否在距离阈值以下)。距离阈值为，用于判断到障碍物的距离是近还是远的阈值，其可以通过实验等预先进行设定，或者也可以通过考虑图像中的障碍物(例如行人)的大小等而进行设定。另外，在ECU4中，根据相对横向位置，判断距本车(照相机2)的横向位置是否较近(相对横向位置是否在横向位置阈值以下)。横向位置阈值为，用于判断障碍物的横向位置是近还是远的阈值，其可以通过实验等预先进行设定，或者也可以通过考虑图像中的障碍物的大小等而进行设定。

当判断为距离较远且横向位置较近时，在ECU4中，将用于计算光流的窗口设定为小尺寸。当判断为距离较远且横向位置较远时，在ECU4中，将窗口设定为中尺寸。当判断为距离较近且横向位置较近时，在ECU4中，将窗口设定为中尺寸。当判断为距离较近且横向位置较远时，在ECU4中，将窗口设定为大尺寸。关于该窗口的大、中、小尺寸，可以通过实验等预先进行设定，或者，也可以通过考虑图像中的障碍物的大小等而进行设定。

在ECU4中，针对每个设定的窗口，利用连续帧之间的图像，通过梯度法(作为约束条件，假定窗口内的各点具有大小相同的光流)来计算窗口中的光流。通过梯度法进行的光流的计算，应用了现有的方法。

而且，在ECU4中，针对每个特征点(障碍物)，依据毫米波信息(相对距离、相对速度、相对横向位置等)和光流(移动方向、移动速度、移动量等)等来设定障碍物信息。而且，在ECU4中，将该障碍物信息输出到驾驶支援装置中，或者提供给驾驶员。并且，作为障碍物的其它信息，也可以从图像中检测出障碍物的大小，而且，还可以利用模型识别等方式检测出障碍物的类别。

在图3所示的示例的情况下，在单侧一车道的道路中，本车正在沿箭头MD所示的方向行驶，在本车前方，存在4个障碍物O1、O2、O3、O4(例如行人)。障碍物O1距本车的距离较近，横向位置较远。障碍物O2距本车的距离较近，横向位置也较近。障碍物O3距本车的距离较远，横向位置较近。障碍物O4距本车的距离较远，横向位置也较远。在此，为了易于理解说明，障碍物O1、O2、O3、O4被设定为，正在以同样的速度朝着本车的方向行进。

图4中，图示了对图3所示的本车前方的周边景致进行拍摄而获得的图像，在该图像中，图示了在ECU4中设定的针对各个障碍物(特征点)的窗口。并且，在图4、图5中，用×记号表示了来自毫米波传感器3的位置检测结果，用箭头表示了光流(但是，光流F1、F2、F3、F4不是以窗口为单位计算出的光流，而是仅由障碍物O1、O2、O3、O4求得的理想的光流(不包含误差))。用实线的长方形表示障碍物，用虚线的长方形表示窗口。关于障碍物O1，由于距离较近因而图像上的大小增大，且由于横向位置较远因而光流F1也增大，从而设定了与该图像上的大小和光流的大小相对应的大尺寸的窗口W1。关于障碍物O2，由于距离较近因而图像上的大小增大，但由于横向位置较近因而光流F2相比障碍物O1的光流缩小了，因而设定了小于障碍物O1的窗口尺寸的、中尺寸的窗口W2。关于障碍物O3，由于距离较远因而图像上的大小缩小，且由于横向位置较近因而光流F3也变小，而设定了与该图像上的大小和光流的大小相对应的小尺寸的窗口W3。关于障碍物O4，由于距离较远因而图像上的大小缩小，且因横向位置较远因而光流F4变得大于障碍物O3的光流，因而设定了大于障碍物O3的窗口尺寸的、中尺寸的窗口W4。

图5中，图示了拍摄图3所示的本车前方的周边景致时的图像，在该图像中，也图示了用现有的方法设定的窗口。在现有的方法中，统一地设定了相同大小的窗口W1’、W2’、W4’，这些窗口W1’、W2’、W4’为能够充分包含障碍物的较大尺寸的窗口。包含障碍物O2的窗口W2’相对于光流F2的大小的比例而言尺寸较大，其还包含了障碍物O3。因此，窗口W2’的光流是根据两个障碍物O2、O3的图像信息和背景的图像信息而计算出的，因而作为障碍物O2的光流，其误差增大。另外，包含障碍物O4的窗口W4’相对于图像上的障碍物O4的大小或光流F4的大小而言尺寸过大，其大部分为背景。因此，窗口W4’的光流，是根据较小的障碍物O4的图像信息和较大背景的图像信息而计算出的，因此，作为障碍物O4的光流，其误差增大。

下面参照图1和图2，对周边监视装置1中的动作进行说明。尤其，按照图6和图7的顺序对ECU4中的处理进行说明。图6为表示图1的ECU中的主处理流程的流程图。图7为表示图1的ECU中的窗口尺寸设定处理的流程的流程图。

在照相机2中，每隔一定时间对本车前方进行拍摄，并将由其图像信息构成的图像信号发送至ECU4。在毫米波传感器3中，每隔一定时间进行毫米波扫描，并计算关于各个检测点的相对距离、相对速度、相对横向位置等，且将由各个检测点的毫米波信息构成的毫米波信号发送至ECU4。

在ECU4中，每隔一定时间接收来自照相机2的图像信号，并获取当前时刻(t)的帧图像(S1)。该各个帧图像按时间序列被暂时存储在ECU4内。而且，在ECU4中，从当前时刻(t)的帧图像中提取特征点(S2)。

在ECU4中，针对每个提取的特征点，设定用于计算光流的窗口(S3)。在ECU4中，每隔一定时间，接收来自毫米波传感器3的毫米波信号，从毫米波信息中获取有关特征点的相对距离和相对横向位置(S30)。该毫米波信息按时间序列被暂时存储在ECU4内。

而且，在ECU4中，判断到特征点的距离是否较近(S31)。当在S31中判断为距离较近时，在ECU4中，判断横向位置是否较远(S32)。另外，当在S31中判断为距离较远时，在ECU4中，判断横向位置是否较远(S33)。

当在S32中判断为横向位置较远时(即，到特征点的距离较近且横向位置较远时)，将窗口尺寸设定为大尺寸(S34)。当在S32中判断为横向位置较近时(即，到特征点的距离较近且横向位置较近时)，将窗口尺寸设定为中尺寸(S35)。当在S33中判断为横向位置较远时(即，到特征点的距离较远且横向位置较远时)，将窗口尺寸设定为中尺寸(S35)。当在S33中判断为横向位置较近时(即，到特征点的距离较远且横向位置较近时)，将窗口尺寸设定为小尺寸(S36)。

在ECU4中，针对每个设定的窗口，利用当前时刻(t)的帧图像和前一时刻(t-1)的帧图像，通过梯度法计算光流(S4)。

而且，在ECU4中，从各个特征点的毫米波信息和各个窗口的光流中提取每个障碍物的信息，并将障碍物信息输出至驾驶支援装置，或者通过声音或显示的方式提供给驾驶员。

根据该周边监视装置1，通过按照到特征点(障碍物)的相对距离、相对横向位置来设定用于计算光流的窗口尺寸，从而使窗口尺寸成为与图像上的障碍物的大小和光流的大小相对应的尺寸。因此，能够减少因窗口内所包含的作为处理对象的障碍物之外的物体而引起的误差的影响，并能够提高光流的计算精度。另外，由于未使用统一大小的窗口来计算光流，而使用针对每个障碍物的准确尺寸的窗口来计算光流，因而还能够减少处理量。

另外，根据周边监视装置1，由于仅针对被检测出的特征点设定窗口并计算光流，因而能够进一步减少处理量。另外，根据周边监视装置1，由于能够通过毫米波传感器3高精度地取得各个特征点的位置信息，因而能够依据该高精度的位置信息而设定准确的窗口尺寸。

上面，对本发明所涉及的实施方式进行了说明，但是本发明并不限于上述的实施方式，其也可以通过各种各样的方式来实施。

例如，在本实施方式中，本发明应用在了搭载于车辆上、并用于检测车辆周边的障碍物的周边监视装置中，但是，其也可适用在具有计算光流的功能的各种各样的图像处理装置中。另外，也可以搭载于机器人等其它移动体上，或者，还可以应用于如下情况，即，被设置在非移动体的规定场所，并由图像处理装置一侧以静止状态计算光流。

另外，虽然在本实施方式中，作为位置获取单元应用了毫米波传感器，但是也可以使用激光传感器等其它的雷达传感器，还可以使用雷达之外的位置获取单元。

另外，在本实施方式中，为了计算光流而应用了梯度法，但也可应用模式匹配等的其它方法来计算光流。

另外，虽然在本实施方式中，采用了按照照相机(车辆)与各个特征点的相对距离和横向位置来设定窗口大小的结构，但也可以采用，仅按照距离和横向位置中的某一个来设定窗口的大小的结构，还可以采用，按照距离和横向位置之外的位置信息的参数来设定窗口的大小的结构。

另外，虽然在本实施方式中采用了如下结构，即，从图像中检测出特征点，并利用针对特征点的毫米波传感器的检测结果，来设定针对处理对象的窗口，但是也可以采用如下结构，即，以毫米波传感器所检测出的物体作为处理对象而直接设定窗口。另外，还可以不采用对特征点进行限定并设定窗口的方式，而采用针对图像整体来设定窗口的方式。

另外，虽然在本实施方式中，将窗口的大小设为了三个等级(或者四个等级)，但是，也可以按照相对距离或横向位置而设为两个等级或者五个等级以上。距离阈值、横向位置阈值也可以与之对应地设定多个等级。

工业上的可利用性

本发明通过按照处理对象的位置信息来设定大小适于处理对象的窗口，从而能够提高光流的计算精度。

Claims (2)

1.一种图像处理装置，其利用在不同时间拍摄的多个图像，并根据设定于图像中的窗口内的图像信息而针对处理对象计算光流，其特征在于，具有：

位置获取单元，其获取处理对象的位置信息，所述处理对象的位置信息包括：所述图像处理装置的检测方向上的、所述处理对象距拍摄位置的相对距离；和垂直于所述检测方向的方向上的、所述处理对象与所述拍摄位置间的横向位置之差；

设定单元，其根据由所述位置获取单元获取的位置信息，在图像中设定用于计算光流的窗口的大小，所述设定单元将所述相对距离较小且所述横向位置之差较大时的窗口设定为，大于所述相对距离较大且所述横向位置之差较小时的窗口，并且，将所述相对距离较大且所述横向位置之差较大时、或所述相对距离较小且所述横向位置之差较小时的窗口设定为，小于所述相对距离较小且所述横向位置之差较大时的窗口、且大于所述相对距离较大且所述横向位置之差较小时的窗口。

2.如权利要求1所述的图像处理装置，其特征在于，

所述位置获取单元为雷达，

根据由所述雷达获得的检测结果，来设定处理对象。

Images