CN115150546A - 信息处理装置和方法 - Google Patents

Abstract

本发明涉及信息处理装置和方法。低负荷且高精度地实现对从俯仰的车辆起的距离进行估计。提供基于图像来估计距离的信息处理装置。该装置具有：图像获取部，其由摄像装置获取时间序列的图像；以及处理部，其进行图像处理。处理部生成多个移位图像，所述多个移位图像是将时间序列的图像中的在对象图像之前获取到的基准图像以不同的多个移位量在上下方向移位而成的，处理部根据所述移位图像的各移位图像与所述对象图像的差分，确定所述摄像装置的俯仰的校正量。

Description

信息处理装置和方法

技术领域

本发明涉及信息处理装置和方法，特别涉及用于确定对因拍摄图像时的俯仰而引起的偏移进行校正的校正量的信息处理装置和方法。

背景技术

现有为了进行车辆的自动驾驶、驾驶辅助而估计至行人、其它车辆等物体目标为止的距离的技术。为了进行自动驾驶、驾驶辅助，车辆根据所估计出的距离来唤起驾驶员的注意，或无需驾驶员的操作而自动地施加制动。作为估计距离的技术之一，有如下这样的技术：识别与由摄像机拍摄到的图像中包含的物体目标对应的对象，并估计至该物体目标的距离。在该技术中，有时会因车辆绕俯仰轴的摇动(有时将其简称为俯仰)而引起所估计出的距离的精度降低，因而提出了用于防止该精度降低的技术。在专利文献1中记载了，在产生了俯仰角的轴偏移的情况下，针对红外线图像上的各摄像机的全视场角区域内的对象物探测处理区域，以与俯仰角相应的位置校正量进行校正。另外，在专利文献2中，作为估计俯仰量的技术，记载了计算由设置于车辆的摄像部以时间差而拍摄到的图像内的既定区域在垂直方向的移动量并进行积分，基于积分值来估计车辆的俯仰角的技术。

现有技术文献

专利文献

专利文献1：日本特开2006-153778号公报

专利文献2：日本特开2017-20942号公报

发明内容

发明所要解决的问题

然而，在专利文献1中没有公开用于确定摄像机的俯仰角的具体的技术。另外，在专利文献2中公开了确定两个图像中的相关性高的区域并根据其移动量来估计俯仰角的技术，但根据该技术，必须在两个图像之间确定相关性高的区域，认为处理负荷高。

本发明是鉴于上述现有例而完成的，目的在于通过负荷轻的处理来估计高精度的校正量。

用于解决问题的方案

为了实现上述目的，上述本发明具有以下的结构。

即，根据本发明的一方面，提供一种信息处理装置，其特征在于，该信息处理装置具有：

图像获取部，其由摄像部件获取时间序列的图像；以及

处理部，其进行图像处理，

所述处理部生成多个移位图像，所述多个移位图像是将所述时间序列的图像中的在对象图像之前获取到的基准图像以不同的多个移位量在上下方向移位而成的，所述处理部根据所述多个移位图像的各移位图像与所述对象图像的差分，来确定所述摄像部件的俯仰的校正量。

根据本发明的其它方面，提供一种信息处理方法，用于信息处理装置，其特征在于，

所述信息处理装置具有图像获取部以及进行图像处理的处理部，其中，

所述图像获取部由摄像部件获取时间序列的图像，

所述处理部生成多个移位图像，所述多个移位图像是将所述时间序列的图像中的在对象图像之前获取的基准图像以不同的多个移位量在上下方向移位而成的，所述处理部根据所述多个移位图像的各移位图像与所述对象图像的差分，来确定所述摄像部件的俯仰的校正量。

发明的效果

根据本发明，能够通过负荷轻的处理来估计高精度的校正量。

附图说明

图1是示出车辆系统的结构的说明图。

图2是示出用于估计距离的结构的框图。

图3是示出用于估计俯仰量的结构的框图。

图4是示出用于估计俯仰量的信息处理的一个例子的图。

图5是示出用于估计俯仰量的信息处理的一个例子的图。

图6是示出用于转弯判定的结构的框图。

附图标记说明

20-29：ECU；41：摄像机。

具体实施方式

以下，参照附图详细地说明实施方式。而且，以下的实施方式并非用于限定权利要求保护范围涉及的发明，另外，本发明不需要实施方式中说明的全部特征的组合。也可以是，将实施方式中说明的多个特征中的两个以上特征任意地组合。另外，对同一或同样的结构附加同一附图标记，省略重复的说明。

[第一实施方式]

车辆用控制装置的结构

图1是本发明的一实施方式涉及的车辆用控制装置的框图，控制车辆1。在图1中，以俯视图和侧视图概略地示出车辆1。车辆1作为一个例子是轿车型的四轮的乘用车。而且，在本实施方式中，由车辆用控制装置提供的驾驶辅助为紧急制动、适应性的跟随行驶、车道维持辅助这样的限定性的功能，但也可以是如果设定目的地则进行自动驾驶这样的高级的功能。

图1的控制装置包括控制单元2。控制单元2包括通过车内网络而可通信地连接的多个ECU 20～29。各ECU包括以CPU为代表的处理器、半导体存储器等存储设备、与外部设备的接口等。在存储设备中储存有处理器执行的程序、处理器在处理中使用的数据等。各ECU也可以具备多个处理器、存储设备以及接口等。

以下，说明各ECU 20～29负责的功能等。而且，关于ECU的个数、负责的功能，能够适当地设计，能够比本实施方式更细分化或者整合。

ECU 20执行与车辆1的自动驾驶相关的控制。在自动驾驶中，自动控制车辆1的转轮、加速和减速中的至少任一者。

ECU 21控制电动动力转向装置3。电动动力转向装置3包括根据驾驶员对方向盘31的驾驶操作(转轮操作)而使前轮转轮的机构。另外，电动动力转向装置3包括：产生用于辅助转轮操作或者使前轮自动转轮的驱动力的电机；以及探测转轮角的传感器等。在车辆1的驾驶状态为自动驾驶的情况下，ECU 21与来自ECU 20的指示对应地对电动动力转向装置3进行自动控制，来控制车辆1的行进方向。

ECU 22对探测车辆的周围状况的探测单元41进行控制，并且对探测结果进行信息处理。探测单元41是拍摄车辆1的前方的摄像机(以下，有时记述为摄像机41)，在本实施方式的情况下，在车辆1的车顶前部固定地设有一个摄像机。ECU 22分析摄像机41拍摄到的图像，由此能够提取物体目标的轮廓、道路上的车道的分界线(白线等)。另外，能够估计至图像中的物体目标的距离。

ECU 24控制GPS传感器24b、通信装置24c，并且对探测结果或者通信结果进行信息处理。GPS传感器24b探测车辆1的当前位置。通信装置24c能与提供地图信息、交通信息的服务器进行无线通信，获取这些信息。ECU 24能够访问在存储设备中构建的地图信息的数据库24a，ECU 24进行从当前位置至目的地的路径搜索等。

ECU 26控制动力总成6。动力总成6是输出使车辆1的驱动轮旋转的驱动力的机构，例如包括发动机和变速器。ECU 26例如与由设置于加速踏板7A的操作探测传感器7a探测到的驾驶员的驾驶操作(加速器操作或者加速操作)对应地控制发动机的输出，或者基于车轮速传感器7c探测到的车速等信息来切换变速器的变速级。

ECU 28对输入输出装置9进行控制。输入输出装置9对驾驶员进行信息输出并且接受来自驾驶员的信息输入。声音输出装置91通过声音对驾驶员通知信息。显示装置92通过显示图像对驾驶员通知信息。显示装置92例如配置于驾驶座正面，构成仪表板等。而且，在此，例示了声音和显示，但是也可以通过振动、光来通知信息。输入装置93配置于驾驶员能够操作的位置，可以是对车辆1进行指示的开关组或者触摸板等，也可以包括声音输入装置。

ECU 29控制制动装置10、驻车制动器(未图示)。制动装置10例如是盘式制动装置，设置于车辆1的各车轮，通过对车轮的旋转施加阻力来使车辆1减速或者停止。ECU 29例如与设置于制动踏板7B的操作探测传感器7b探测到的驾驶员的驾驶操作(制动操作)对应地对制动装置10的工作进行控制。例如，在至从图像中探测出的物体目标为止的距离小于既定值的情况下，或者在至所估计出的碰撞为止的时间小于既定值的情况下，ECU 29能与来自ECU 20的指示对应地对制动装置10进行自动控制，控制车辆1的减速和/或停止。制动装置10、驻车制动器也能够为了维持车辆1的停止状态而工作。另外，在动力总成6的变速器具备驻车锁定机构的情况下，也能够使其为了维持车辆1的停止状态而工作。

基于图像的距离估计功能

图2的(A)是由ECU 20实现的距离估计功能的框图。该结构既可以是由ECU 20包含的硬件电路来实现，也可以由其包含的CPU执行记录于存储器的程序来实现。另外，也可以由它们的组合来实现。这对于其它ECU也是同样的。无论哪种结构，ECU 20或者其它ECU都作为信息处理装置或者图像处理装置或者信号处理装置发挥功能。

摄像机41是单眼摄像机等摄像装置，例如以既定帧率来拍摄影像。所拍摄到的影像由隔开既定的时间间隔的帧构成，在此将各个帧称为图像。所拍摄到的图像以既定的时间间隔被发送到物体检测部201、校正量估计部203、转弯判定部205。既定的时间间隔既可以是帧率的倒数，也可以是其整数倍。

物体检测部201检测图像中包含的与作为被摄体的人、物等物体目标对应的对象。与所检测出的对象相关的信息作为检测物体信息被发送到距离估计部202。校正量估计部203基于最新的图像及其前一图像来估计因俯仰引起的偏移(也将其称为俯仰偏移)的校正量。另外，在本实施方式中，所估计出的校正量是图像的校正量d’，被输入到校正量选择部204。转弯判定部205基于最新的图像及其前一图像来判定是否处于转弯中，并将该结果作为转弯标志输入到校正量选择部204。

在转弯标志表示不是处于转弯中的情况下，校正量选择部204输出偏移校正量d’，在转弯标志表示处于转弯中的情况下，校正量选择部204输出“0”作为偏移校正量。距离估计部202基于图像以及偏移校正量来估计至图像中包含的所检测到的物体目标为止的距离。

距离估计部202对距离的估计例如也可以如下这样进行。将以固定或能够调整的方式被固定于车辆1的摄像机41的地面高度设为H0，将从摄像机41朝向拍摄方向(光轴方向)的距离L0设为基准距离。并且，将与摄像机41拍摄的拍摄图像中的高度0(即地面)且基准距离L0相当的、图像中的高度方向的位置设为基准位置。高度方向的位置例如可以用从所拍摄到的矩形的图像的上边或者下边起的距离(以像素数等为单位)来确定。相反，也可以确定图像中的基准位置，将与该基准位置对应的、至高度0(即地面)的位置为止的距离作为基准距离。作为具体例，既可以将图像的下边作为基准位置，也可以将从下边起偏移既定像素数的位置作为基准位置。另外，在拍摄处于基准距离L0的物体目标而成的图像中，将图像中的物体目标的相当于每一个像素的高度设为k。相当于每一个像素可以是指像素间距。此时，摄像机41至与图像中的从基准位置起处于高度h(像素数)的对象对应的物体目标的距离L表示为L＝L0·(H0/(H0-h·k))。当将从摄像机41至车辆1的前端为止的长度设为Lf时，从车辆前端至图像中映现在高度k处的物体目标为止的距离D能够估计为D＝L0·(H0/(H0-h·k))-Lf。而且，在上式中假设摄像机41的光轴是水平的，即使例如摄像机41有俯角但是微小的，也可以近似地通过上式求出。当然，这只是一个例子，也能够采用其它方法，例如考虑了摄像机的俯角的更高精度的方法，还能够使用其它方法。无论哪种方法，都基于图像中的物体目标的高度方向的位置来估计距离。

在此，在上述说明的例子中，对俯仰角变动不进行校正。在进行校正的情况下，将偏移校正量d’与图像中的物体目标的高度相加(或者相减)。即，用上式来说，校正完成的距离L’成为L’＝L0·(H0/(H0-(h+d’)·k))，校正完成的距离D’成为D’＝L0·(H0/(H0-(h+d’)·k))-Lf。

图2的(B)是示出根据所拍摄到的图像来估计距离的例子的图。在图像210中，基准位置是图像的下边即高度0的位置。由物体检测部201例如从图像中检测出进行了机器学习而成的物体目标。在图2的(B)中，检测出行人211和自行车212，确定了检测到的物体目标的区域。这相当于检测物体信息。在距离估计部202中，估计从此处至各个物体目标为止的距离。根据上述方法，偏移校正量为d，至处于高度Hs的自行车212为止的距离Ls为Ls＝L0·(H0/(H0-(Hs+d’)·k))-Lf。同样地，至处于高度Hp的行人211为止的距离Lp是由Lp＝L0·(H0/(H0-(Hp+d’)·k))-Lf得到。

估计因俯仰引起的偏移的校正量

在图3中示出校正量估计部203的详细内容。从摄像机41输入的图像被输入到灰度化处理部301，被变换为灰度图像。在此输入的处理对象的图像为图像k。后标k表示图像的顺序，图像k的前一图像是图像k-1。前一图像不限于摄像机41拍摄到的图像k的前一帧，也可以是隔着既定数帧的帧。灰度化而成的图像k被发送到图像切出处理部302和图像缓存311。

图像缓存311是用于保持图像k的前一图像k-1的缓存。图像k-1从图像缓存311输出，被输入到本车移动量校正部312。本车移动量校正部312将车轮速传感器7c探测到的车速、根据位置信息计算出的车速等作为另一个输入，基于车速、图像k与图像k-1之间的时间差来对图像k-1进行校正。

在图4中示出本车移动量校正部312的校正的一个例子。图像400是校正前的图像k-1。图像420是作为处理对象的图像k。图像400是在与图像420相比提早了拍摄时间间隔的时刻所拍摄的图像，是与图像420相比缩减了的图像。为了在之后的处理中得到图像k-1与图像k的差分，本车移动量校正部312参照图像k来对图像k-1的视场角进行校正。在图4的例子中，由于能够根据速度v以及时间间隔ti来确定为区域401是图像k的拍摄范围，因此当切出区域401并放大到原来的尺寸时，得到图像410。由此，能够虚拟地使图像k-1的视场角与图像k一致。

被本车移动量校正部312校正了的图像k-1被上下移位处理部313实施N种移位处理。N种移位处理是指，例如s为常数，针对第n个图像k-1(n)，将移位量px(n)确定为(n-1)·sf(在此n＝1，…，N)。另外，也可以根据该移位量px(n)而将图像k-1(n)向上或者向下移位(在本例中，为了进行说明，设为朝上)。sf是成为移位的单位的像素。具体而言，例如可以设为sf＝1，设为N＝30等。在该情况下，确定0、1、…、28、29这30种移位量。其结果是，根据图像k-1，生成按照移位量而移位了的N个图像k-1(1)、k-1(2)、…、k-1(N)。

N个图像k-1被输入到图像切出处理部314。在图像切出处理部314中，针对N个图像k-1(n)，从移位方向侧的图像的边(在本例中为上边)起，裁剪掉与最大移位量(在本例中为(N-1)·sf)对应的行数的像素列。通过移位处理，从移位方向侧的边起，丢弃掉n·sf行的像素列，在其相反侧的边填充原本没有的像素列(例如白像素列)。通过切出处理，从移位方向的相反侧的边起，裁剪掉包含所填充的白像素列的(N-1)·sf行的像素列。在实施了最大的移位量即(N-1)·sf像素相当量的移位而成的图像k-1(N)中，从原来的图像k-1中，从移位方向侧的边起丢弃掉(N-1)·sf行相当量的像素列。这是从原来的图像k-1中丢弃掉的像素列的个数的最大值，因此对于其它图像k-1(n)，也以与图像k-1(N)相同的要领实施裁剪。即，在将移位量设为(n-1)·sf而成的移位处理后，从移位方向的相反侧的边起，裁剪掉(N-1)·sf行的像素列。由此，能够统一图像k-1(n)的尺寸。

在图像切出处理部302中，对图像k实施裁剪，使其成为与由图像切出处理部314切出的图像k-1(n)相同的尺寸。由于不清楚图像k与图像k-1之间的偏移是在上下哪个方向，因此为了无论哪个方向都能够探测，实施与以中间的移位量进行移位而成的图像k-1((N-1)/2)同样的移位和裁剪。而且，(N-1)/2的小数部被舍入，例如可以进位。图像k-1((N-1)/2)是对于原来的图像k-1通过移位处理而从其上边起丢弃掉((N-1)/2)·sf行的像素列并且通过切出处理而从其下边起切出(N-(N-1)/2)·sf行的像素列而成的图像。因此，图像切出处理部302也从原来的图像k的上边起裁剪((N-1)/2)·sf行的像素列，从下边起裁剪(N-(N-1)/2)·sf行的像素列。由此，能够使作为对象图像的图像k的尺寸与作为基准图像的比较对象的图像k-1匹配。另外，如果俯仰量为0，则能够以图像k与图像k-1((N-1)/2)一致(或者大致一致)的方式切出图像k。

从图像切出处理部302向图像差分处理部303输入图像k，从图像切出处理部314向图像差分处理部303输入N个图像k-1(n)。图像差分处理部303求出图像k与各图像k-1(n)的差分。在图像差分处理部303中，对于所输入的图像k与图像k-1(n)，根据需要来取得同步。当将图像k-1被输入到校正量估计部203的时刻作为基准时，至图像差分处理部303为止，对于图像k-1(n)，需要本车移动量校正部312、上下移位处理部313、图像切出处理部314的处理时间。另一方面，对于图像k，需要图像k-1(n)与图像k的时间差(例如帧间隔)、图像切出处理部302的处理时间。在图像差分处理部303中，可以保持任一短的一方来取得同步。

差分是对应的像素的值的差分，对于一致的像素而言的差分为0，越近似，值越小。也将由这样的差分值构成的图像称为差分图像。对于N个图像k-1(n)分别求出差分图像，因此生成N个差分图像(n＝1，…，N)。在图像二值化处理部304中，对N个差分图像进行二值化。二值化例如可以通过如下方式等进行：将既定的阈值与各像素值进行比较，如果为阈值以上则设为1，如果小于阈值则设为0。作为阈值，例如可以使用图像k、图像k-1(n)的色调数的中间值。通过二值化，如果图像k的像素与图像k-1(n)的对应像素之差大，则该像素值为1，如果对应像素之差小，则像素值为0。

最后，由偏移校正量估计处理部305估计(或者确定)偏移校正量。因此，首先，对N个二值化完成的差分图像，分别求出像素值的总计S(n)。像素值的总计S(n)表示值为1的像素数、即图像k与图像k-1(n)之间的差大的像素的数的总和。该像素的总和S(n)更小的图像k-1(n)是与图像k更类似的图像。因此，在第一方法中，将与像素的总和S(n)最小的图像k-1(n)对应的移位量px(n)＝(n-1)·sf直接设为偏移校正量d。在第二方法中，将像素的总和S视为移位量px的函数，并决定对S(n)的分布进行近似的、以px为变量的二次函数。然后，将给出该二次函数的最小值的px设为偏移校正量d。在后者的方法中，能够根据实际没有尝试的移位量来估计偏移校正量，因此能够以更大的步长来确定移位量。关于第二方法，在之后的图5的说明中更详细地说明。

偏移校正量估计的详细内容

在图5中示出从图像切出处理部314、302至偏移校正量估计处理部305的处理的示意图。在此，示出了从图像k-1起以5次的移位量进行移位而成的图像k-1(1)～图像k-1(5)(即N＝5)。示出从作为图像k-1的图像521起进行移位并切出而成的图像k-1(n)即图像511～515。例如，图像511的移位量为0。从下边起裁剪掉与最大移位量相当的行数的像素列。另外，图像515的移位量是最大的，并且从下边起裁剪掉与最大移位量相当的行数的像素列。在此，图像515的上侧的区域是通过移位处理而被舍去的区域，在图像515的下侧，虽未图示，但通过移位处理而填充有与最大移位量相当的行数的白色的像素列。在图像515中，该填充的区域被舍去。对于其它图像512～图像514也是同样的。

另外，如上所述，从相当于图像k的图像520中切出以与相对于图像k-1而言中间的移位量的图像k-1((N-1)/2)相同的要领进行裁剪而成的图像501。图像501被输入到图像差分处理部303包含的全部的差分器530的一方输入，图像511～515分别被输入到各个差分器530的另一方输入。因此，求出对应的像素值的差分。而且，差分作为差的大小的尺度而被参照，由此求出的差分可以是绝对值。因此，可以在像素值没有通常符号位时，例如对像素值附加正的符号位来计算差分，在其结果符号位反转的情况下，求出2(10b)的补码来进行绝对值化。

由对应的像素之间的差分构成的差分图像从差分器530被输入到图像二值化处理部304包含的二进制化器540。在二进制化器540中，各差分图像以既定的阈值进行二值化。阈值例如既可以是色调数的2分之1，也可以是更小的4分之1、8分之1左右。当然也可以是更小的值。

二值化而成的差分图像被输入到偏移校正量估计处理部305的像素总和部550，求出各个差分图像的像素值的总和。该总和表示在图像k(也称为对象图像)与图像k-1(n)之间在对应的像素值中存在阈值以上的差的像素数。即，理想的是，如果完全一致，则差分图像的像素值全部为0，总和为0。此时的图像k-1(n)的移位量能够判定为是因俯仰而引起的偏移量。在本实施方式中，将差分图像的像素值的总和为最小的图像k-1的移位量决定为偏移量。

因此，像素总和部550输出的总和值与对应的图像k-1(n)的移位量px(n)(＝(n-1)·sf)一并被输入到估计部560。以下，说明估计部560根据这些值来决定近似的二次函数S_hat(n)，并由此估计偏移量的方法(上述第二方法)。

决定近似二次函数

S_hat(n)由下式给出。

S_hat(n)＝a(n-1)Px²(n)+b(n-1)Px(n)+c(n-1) (1)

＝Φ^T(n-1)ζ(n)

在此，n相当于图像k-1(n)的n，被称为图像编号(n＝1～N)。

在此，通过下式计算由式(1)表示的S_hat的模型参数a、b、c。下式在控制循环内被实施移位图像数、即N次。首先，确定

Φ^T(n)＝[a(n) b(n) c(n)] (2)

ζ^T(n)＝[Px²(n) Px(n) 1] (3)

这两个矩阵。即，式(1)是作为式(2)的矩阵Φ^T(n)与由式(3)转置表示的矩阵ζ(n)之积而给出的。Φ(n)是应求出的系数矩阵，矩阵ζ(n)是由移位量px(n)确定的常数的矩阵。另外，由式(4)确定误差e(n)。

e(n)＝S(n)-S_hat(n) (4)

＝S(n)-Φ^T(n-1)ζ(n)

在此，S(n)是与图像k-1(n)相对应的差分像素值的总和。即，误差e(n)表示观测到的值与由近似式给出的值之间的误差。

在此，由下式确定系数矩阵Φ(n)。

Φ(n)＝ΔΦ(n-1)+KP(n)e(n) (5)

KP(n)＝Pζ(n)/(1+ζ^T(n)Pζ(n)) (6)

在式(5)中，Φ(n-1)是针对图像编号(n-1)的系数矩阵。Δ是与其相乘的权重。e(n)是由式4表示的误差。KP(n)由式(6)确定，在式(6)中，P是自适应增益(P>0)。

从n＝1到n＝N重复以上的步骤，确定Φ^T(N)＝[a(N)b(N)c(N)]。这是求出的二次函数的系数矩阵，因此给出S_hat(N)＝a(N)Px²+b(N)Px+c(N)的最小值(＝极小值)的px的值d(N)为

d(N)＝-b(N)/(2 a(N)) (7)。

在此，Φ(n)的初始值可以为零。或者，也可以设为上次控制循环的计算值。即，也可以将估计上次偏移量时得到的Φ(N)用作下次偏移量估计时的初始值。当将上次控制循环的计算值作为初始值使用时，能够去除控制循环之间的高频变动，能够从俯仰校正值中去除不恰当的高频变动。

另外，例如也可以通过最小二乘法来决定二次函数S_hat2的系数。在该情况下，将从二次项至常数项的系数设为a、b、c，以实际求出的差分图像的像素值的总和与根据二次函数S_hat2导出的像素值的总和的平方偏差和成为最小的方式决定系数。由此，例如能够将满足

2Σ{S(n)-(a·px(n)²+b·px(n)+c)}(-px(n)²)＝0

2Σ{S(n)-(a·px(n)²+b·px(n)+c)}(-px(n))＝0

2Σ{S(n)-(a·px(n)²+b·px(n)+c)}(-1)＝0

的a、b、c确定为二次函数S_hat2的系数。在此，Σ表示n＝1～N的总和。如果确定了系数，则能够将给出最小值的移位量d确定为d＝-b/(2a)。如上所述，校正量估计部203能够基于图像k-1和图像k来估计偏移校正量d。

在此，按照上述要领决定的偏移校正量是以图像k-1为基准图像而成的校正量。实际上，图像k-1也可能相对于图像k-2产生因俯仰而产生的上下方向的偏移。这对于更早以前的图像也是同样的，偏移有可能累积。因此，偏移校正量d在原理上应累积过去的值来决定。然而，当累积偏移时，误差也累积，反而有可能降低估计的精度。因此，在偏移校正量估计处理部305中，在累积的过去的估计值乘以0<λ<1这样的系数(将其称为遗忘系数)λ的基础上进行累积。例如，将想要求出的最新的偏移校正量的估计值设为d’，将仅根据图像k与图像k-1之差而求出的偏移校正量的估计值设为d，将以图像k-1作为对象图像而求出的前一偏移校正量的估计值设为d’_k-1。将遗忘系数设为λ，将

d’＝d+λd’_k-1

作为校正量估计部203的输出。通过设定遗忘系数，能够防止误差的累积，能够防止由此引起的估计精度的降低。

转弯判定处理

接下来，说明转弯判定部205进行的对转弯的判定。在图6的(A)示出转弯判定部205的概略。当图像k被输入时，被灰度化处理部601进行灰度化，并被传递至转弯判定处理部602和图像缓存603。图像k与图像k-1被同步输入到转弯判定处理部602，进行转弯判定处理。转弯判定处理求出两个图像的对应的像素间的差分，生成差分图像，将该像素值的总和与阈值进行比较。如果比较的结果为总和大于阈值(或者为阈值以上)，则判定为可能是在转弯中。然后，如果对于两个图像k与图像k+1连续地判定为可能在转弯，则设置转弯标志。在不是判定为转弯中的情况下，将转弯标志复位。

在该例中，由于既没有进行图像k-1的放大校正，也没有进行差分图像的二值化，因此即使在不是转弯的情况下，差分图像的总和也成为某种程度上大的值，因此阈值也可以选择大的值。另外，或者也可以与偏移校正量的估计同样地，如图4那样对图像k-1进行放大校正。另外，也可以将差分图像二值化，求出二值化完成的像素值的总和。

如已经说明的那样，校正量选择部204如果设置了转弯标志，则将0作为偏移校正量，如果没有设置，则将从校正量估计部203输入的校正量d’输入到距离估计部202。在距离估计部202中，估计为从摄像机41至图像中处于高度h的物体目标为止的距离L’＝L0·(H0/(H0-(h+d’)·k))。

根据以上的结构，能够在对因车辆的俯仰而引起的图像沿上下方向的偏移进行校正的基础上，估计至物体目标的距离。通过对俯仰引起的偏移进行校正，能够更加提高估计精度。另外，通过使用遗忘系数来限定性地累积过去的估计结果，能够进一步提高精度。另外，通过基于拍摄间隔和速度来校正基准图像k-1与对象图像k的视场角之差，能够更加提高估计精度。而且，在判定为转弯中的情况下，通过将偏移校正量设为0，能够防止伴随着转弯的错误的估计。

[第二实施方式]

在第二实施方式中，由校正量估计部203将偏移校正量d’用于图像k的移位，而不是用于估计距离。在该情况下，距离估计部202代替使用偏移校正量d’计算距离L’，而将图像k在上下方向移位偏移校正量d’。例如，如果偏移校正量d’的符号为正，则向上方向移位，如果为负，则向下方向移位。距离L’作为L’＝L0·(H0/(H0-h’·k))而求出。在此，h’表示校正后的图像k中的物体目标从基准位置起的高度。如上所述，也实现与第一实施方式同样的效果。

[第三实施方式]

在第三实施方式中，校正量估计部203代替偏移校正量d’，而输出俯仰校正量θ。距离估计部202使用俯仰校正量θ来校正因俯仰引起的估计距离的偏移。

在图6的(B)示出用于估计俯仰校正量的示意图。如果以第一实施方式的要领仅根据图像k和图像k-1来决定偏移校正量d，则基于此来决定俯仰校正量θ。如图6的(B)所示，俯仰校正量为θ，图像k相对于图像k-1在上下方向的偏移量(偏移校正量)为d，视场角为α。还如图示那样给出其它量。此时θ为

tan((α/2)+θ)＝((h/2)+d)/l。在此，进一步地，

tan(α/2)＝(h/2)/l，

l＝(h/2)/tan(α/2)。因而，成为

tan((α/2)+θ)＝((h/2)+d)/((h/2)/tan(α/2))。h例如可以是像素数。在该式中，θ之外是常数，因此能够使用加法定理等决定θ。

对于如此决定的θ，可以与第一实施方式同样地在乘以遗忘系数λ的基础上进行累积，求出俯仰校正量θ’＝θ+λθ’_k-1。而且，俯仰校正量θ’经由校正量选择部204被输入距离估计部202，在距离的估计处理中被参照。因此，可以执行与上述步骤相反的步骤，求出偏移校正量d’，用于以与第一实施方式或第二实施方式同样的要领来估计距离的计算。由此，产生与第一实施方式同样的效果。

另外，所估计出的俯仰校正量不仅能够用于估计距离，还能够用于其它功能。例如，能够以与俯仰校正量反相的方式使前照灯的照射方向旋转，或者在具有雷达的情况下，以与俯仰校正量反相的方式使该照射方向偏移。由此，能够进行恰当的照明、恰当的雷达的搜索范围的设定。

实施方式的总结

上述实施方式至少公开以下的信息处理装置。

1.上述实施方式的信息处理装置具有：

图像获取部，其由摄像部件获取时间序列的图像；以及

处理部，其进行图像处理，

所述处理部生成多个移位图像，所述多个移位图是将所述时间序列的图像中的在对象图像之前获取到的基准图像以不同的多个移位量在上下方向移位而成的，所述处理部根据所述多个移位图像的各移位图像与所述对象图像的差分，确定所述摄像部件的俯仰的校正量。

根据该结构，与现有技术相比，能够以更轻的负荷来估计高精度的校正量。

2.在上述实施方式的信息处理装置中，所述处理部基于从拍摄到所述基准图像起至要拍摄所述基准图像为止的时间差以及所述摄像部件的移动速度来放大所述基准图像，使用放大了的所述基准图像来确定所述校正量。

根据该结构，能够排除因摄像部件的移动而对估计结果造成的影响。

3.在上述实施方式的信息处理装置中，所述处理部求出在图像间相互不同的对应像素的像素数，来所述多个移位图像的各移位图像与所述对象图像的差分，并且基于所述多个移位图像各自的移位量与所述像素数之间的关联，来决定将所述移位量作为变量而给出所述像素数的二次函数，并且基于给出所述二次函数的最小值的移位量来确定所述校正量。

根据该结构，能够用二次函数进行插补，能够估计更高精度的校正量。

4.在上述实施方式的信息处理装置中，所述处理部还将根据时间序列的多个对象图像而求出的校正量进行累积来确定所述校正量，在进行累积时，对针对过去的对象图像所确定的校正量乘以遗忘系数。

根据该结构，能够抑制误差的累积，估计更高精度的校正量。

5.在上述实施方式的信息处理装置中，所述处理部基于所述对象图像与所述基准图像的差分来判定所述摄像部件沿横向的移动，在判定了沿横向的移动的情况下，将所述校正量设为0。

根据该结构，能够防止将沿横向的移动误认为因俯仰引起的偏移。

6.在上述实施方式的信息处理装置中，所述处理部基于至所述对象图像中的对象为止的高度以及所述校正量，来确定至与所述对象图像中包含的对象对应的物体目标为止的距离。

根据该结构，能够实现估计对因俯仰引起的偏移进行了校正的距离。

7.在上述实施方式的信息处理装置中，所述摄像部件固定于车辆。

由此，能够高精度地估计从俯仰的车辆到物体目标的距离。

8.上述实施方式的信息处理方法用于信息处理装置，所述信息处理装置具有图像获取部以及进行图像处理的处理部，其中，

所述图像获取部由摄像部件获取时间序列的图像，

所述处理部生成多个移位图像，所述多个移位图像是将所述时间序列的图像中的在对象图像之前获取的基准图像以不同的多个移位量在上下方向移位而成的，所述处理部根据所述多个移位图像的各移位图像与所述对象图像的差分，来确定基于所述摄像部件的俯仰的校正量。

根据该结构，能够提供一种与现有技术相比能够以更轻的负荷估计高精度的校正量的信息处理方法。

发明并不限于上述实施方式，能够在发明的要旨的范围内进行各种变形和变更。

Claims (8)

1.一种信息处理装置，其特征在于，具有：

图像获取部，其由摄像部件获取时间序列的图像；以及

处理部，其进行图像处理，

所述处理部生成多个移位图像，所述多个移位图像是将所述时间序列的图像中的在对象图像之前获取到的基准图像以不同的多个移位量在上下方向移位而成的，所述处理部根据所述多个移位图像的各移位图像与所述对象图像的差分，来确定所述摄像部件的俯仰的校正量。

2.根据权利要求1所述的信息处理装置，其特征在于，

所述处理部基于从拍摄所述基准图像至拍摄所述对象图像为止的时间差以及所述摄像部件移动的速度来放大所述基准图像，使用放大了的所述基准图像来确定所述校正量。

3.根据权利要求1或2所述的信息处理装置，其特征在于，

所述处理部求出图像间相互不同的对应像素的像素数，来作为所述多个移位图像的各移位图像与所述对象图像的差分，并且基于所述多个移位图像各自的移位量与所述像素数之间的关联，来决定将所述移位量作为变量而给出所述像素数的二次函数，并且基于给出所述二次函数的最小值的移位量来确定所述校正量。

4.根据权利要求1或2所述的信息处理装置，其特征在于，

所述处理部还将基于时间序列的多个对象图像而求出的校正量进行累积来确定所述校正量，在进行累积时，对针对过去的对象图像所确定的校正量乘以遗忘系数。

5.根据权利要求1或2所述的信息处理装置，其特征在于，

所述处理部基于所述对象图像与所述基准图像的差分来判定所述摄像部件沿横向的移动，在判定了沿横向的移动的情况下，将所述校正量设为0。

6.根据权利要求1或2所述的信息处理装置，其特征在于，

所述处理部基于至所述对象图像中的对象为止的高度以及所述校正量，来确定至与所述对象图像中包含的对象对应的物体目标为止的距离。

7.根据权利要求1或2所述的信息处理装置，其特征在于，

所述摄像部件固定于车辆。

8.一种信息处理方法，用于信息处理装置，其特征在于，

所述信息处理装置具有图像获取部以及进行图像处理的处理部，其中，

所述图像获取部由摄像部件获取时间序列的图像，

所述处理部生成多个移位图像，所述多个移位图像是将所述时间序列的图像中的在对象图像之前获取到的基准图像以不同的多个移位量在上下方向移位而成的，所述处理部根据所述多个移位图像的各移位图像与所述对象图像的差分，来确定所述摄像部件的俯仰的校正量。

Images