CN110023951A - 信息处理设备、成像设备、装置控制系统、信息处理方法和计算机程序产品 - Google Patents

Abstract

一种信息处理设备，其包括：视差信息输入单元151，其被配置为获取表示包括视差的视差图像的视差图像数据；V图生成单元152，其被配置为通过基于视差图像数据，在与视差图像的每个像素的坐标对应的位置处投票视差来生成V图，该V图表示视差图像的每个坐标的视差的频率；形状估计单元156，其被配置为基于V图估计路面形状；高度表生成单元157，其被配置为基于估计的路面形状生成表示视差与路面高度之间的关系的高度表；以及校正单元161，其被配置为基于与获取视差的立体摄像机的倾侧有关的倾侧信息来校正用于生成表示路面形状的信息的信息以抵消倾侧的影响。

Description

信息处理设备、成像设备、装置控制系统、信息处理方法和计 算机程序产品

技术领域

本发明涉及信息处理设备、成像设备、装置控制系统、信息处理方法和计算机程序产品。

背景技术

传统上，为了汽车的安全性，已经就在行人和汽车相互撞击时如何挽救行人和保护乘员的方面开发了汽车车身结构等。然而，近年来，随着信息处理技术和图像处理技术的进步，正在开发高速检测人和汽车的技术。通过应用这些技术，已经开发了通过在汽车撞击对象之前自动制动来防止碰撞的发生的汽车。在自动车辆控制中，需要精确地测量到对象(例如人或其他车辆)的距离；因此，使用毫米波雷达或激光雷达的距离测量、使用立体摄像机的距离测量等已经投入实际使用。为了将上述自动车辆控制投入实际使用，需要检测出现在屏幕上的对象，并基于通过使用上述设备的距离测量获得的信息对每个对象进行控制。例如，可以根据检测到的对象是行人还是车辆来改变控制。

在通过使用立体摄像机测量距离时，可以基于由左摄像机和右摄像机拍摄的局部区域之间的偏差量(视差)生成视差图像，并测量主车辆和主车辆的前方对象之间的距离。然后，通过将位于相似距离(具有相似视差值)的一组视差像素检测为单个对象的聚类处理，可以检测主车辆正在行驶的路面的形状和成为用于避免碰撞的目标等的对象(人、车辆、结构物等)。

作为通过使用视差图像估计路面形状的对象识别装置，存在一种公开的结构，为了消除主车辆的俯仰、倾侧等的影响，该公开的结构包括：测量装置，其将从立体摄像机获得的图像划分成窗口并针对每个窗口测量到对象的距离；估计装置，其基于由立体摄像机拍摄的路面的距离来估计路面相对于车辆的倾斜度；判断装置，其基于估计的路面倾斜度，针对每个窗口判断成像对象是障碍物还是路面上的字符或标记；以及识别装置，其基于由判断装置获得的判断结果来识别对象。在该结构中，预先计算从主车辆到路面(平坦路面)的距离，并且基于路面是平坦的假设，计算每个窗口的距离(日本专利申请特开第2001-091217号公报)。

发明内容

技术问题

在基于距离图像(视差图像等)估计路面形状的系统中，如果在获取距离信息(视差等)的单元(立体摄像机等)上发生倾侧，则在某些情况下，对应于路面的距离信息可能不能准确地表示实际路面的状况。因此，当基于距离图像估计路面形状时，需要执行用于消除倾侧影响的校正处理。

通常情况是实际路面具有变化的梯度；因此，为了消除倾侧的影响并高精度地估计路面的形状，需要执行不受路面的梯度影响的校正处理。在如上所述的传统技术中基于路面是平坦的假设的校正处理中，当在具有变化梯度的实际路面上发生摄像机等的倾侧时，难以精确地估计路面形状。

本发明是鉴于上述情况而完成的，目的在于提高路面形状的估计精度。

解决问题的方案

根据实施方式，提供了一种信息处理设备，其包括：获取单元，其被配置为获取表示距离图像的距离图像数据，所述距离图像包括距离信息；第一生成单元，其被配置为通过基于所述距离图像数据，在与所述距离图像的每个像素的坐标对应的位置处投票(vote)所述距离信息来生成频率信息，所述频率信息表示所述距离图像中的每个坐标的所述距离信息的频率；估计单元，其被配置为基于所述频率信息估计路面形状；第二生成单元，其被配置为基于估计的路面形状生成高度信息，所述高度信息表示所述距离信息与路面的高度之间的关系；以及校正单元，其被配置为基于与获取所述距离信息的距离信息获取单元的倾侧有关的倾侧信息来校正用于生成表示所述路面形状的信息的信息，以便抵消所述倾侧的影响。

发明的有益效果

根据本发明的方面，可以提高路面形状的估计精度。

附图说明

图1是示出配备有根据第一实施方式的装置控制系统的车辆的示例的示意图。

图2是示出根据第一实施方式的装置控制系统的整体硬件配置的示例的图。

图3是示出根据第一实施方式的成像设备的硬件配置的示例的图。

图4是示出根据第一实施方式的装置控制系统的功能配置的示例的图。

图5是示出根据第一实施方式的路面估计单元的功能配置的示例的图。

图6是用于说明视差与从立体摄像机到对象的距离之间的关系的图。

图7是用于说明将对象的大小转换为像素数的方法的图。

图8是示出视差图像的示例的图。

图9是示出与图8中示出的视差图像对应的V图的示例的图。

图10是示出作为视差图像中的投票目标的投票区域的示例的图。

图11是示出V图和高度表的示例的图。

图12是用于说明立体摄像机的倾侧对路面估计处理的影响的图。

图13是示出与图12所示的情况对应的V图的示例。

图14是示出根据第一实施方式的校正单元的功能配置的示例的图。

图15是示出当通过使用倾侧校正量校正所估计的路面时的视差图像的示例的图。

图16是示出根据第一实施方式的路面估计单元执行的处理的流程的示例的流程图。

图17是示出根据第二实施方式的路面估计单元的功能配置的示例的图。

图18是示出校正前的V图中的投票状态的示例的图。

图19是示出校正后的V图中的投票状态的示例的图。

图20是示出根据第二实施方式的路面估计单元执行的处理的流程的示例的流程图。

具体实施方式

下面将参照附图描述根据本发明的信息处理设备、成像设备、装置控制系统、信息处理方法和计算机程序产品的实施方式。本发明不受以下实施方式的限制。下面描述的实施方式中的部件包括本领域技术人员可以容易地想到的组件、实际上相同的部件和等效范围内的部件。此外，在不脱离以下实施方式的要旨的范围内，可以进行部件的省略、替换和修改。

第一实施方式

图1是示出配备有根据第一实施方式的装置控制系统的车辆10的示例的示意图。根据第一实施方式的车辆10包括位于挡风玻璃的上部(靠近后视镜)的成像设备11。根据第一实施方式的成像设备11包括立体摄像机(距离信息获取单元)和图像分析单元(信息处理设备)，立体摄像机获取在行进方向17上的车辆10前方的区域的拍摄图像数据，图像分析单元分析由立体摄像机获取的拍摄图像数据，并生成表示分析结果的分析数据。根据第一实施方式的立体摄像机通过水平布置的两个摄像机单元获取左视图15的亮度数据和右视图16的亮度数据。图像分析单元基于由立体摄像机获得的左亮度数据和右亮度数据生成分析数据，该分析数据包括路面的形状、作为避免碰撞等目标的对象的存在或不存在、对象与车辆10之间的距离等。

图2是示出根据第一实施方式的装置控制系统1的整体硬件配置的示例的图。装置控制系统1包括成像设备11和车辆发动机控制单元(ECU)51(装置控制单元)。由成像设备11的图像分析单元生成的分析数据被输入到车辆ECU 51。车辆ECU 51是包括生成用于控制车辆10的行驶状态的信号的电路的单元，并且通过使用其中储存有程序的储存器、基于该程序执行预定的运算控制处理的中央处理单元(CPU)和各种逻辑电路等来构成。车辆ECU 51基于从成像设备11(图像分析单元)获得的分析数据来执行控制车辆10的处理，例如对制动器、加速器或转向执行自动控制或输出警告。

图3是示出根据第一实施方式的成像设备11的硬件配置的示例的图。根据第一实施方式的成像设备11包括立体摄像机12和图像分析单元13。

立体摄像机12包括用作左眼的第一摄像机单元21a和用作右眼的第二摄像机单元21b，其中第一摄像机单元21a和第二摄像机单元21b彼此平行地组装。每个摄像机单元21a、21b都包括镜头22、图像传感器23和传感器控制器24。图像传感器23例如是电荷耦合器件(CCD)、互补式金属氧化物半导体(CMOS)等。传感器控制器24例如是包括控制图像传感器23的曝光、控制图像的读出、执行与外部电路的通信或控制图像数据的传输的电路的设备。

图像分析单元13包括CPU 31、现场可编程门阵列(FPGA)32、只读存储器(ROM)33、随机存取存储器(RAM)34、串行接口(IF)35、数据IF 36、数据总线41和串行总线42。

立体摄像机12经由数据总线41和串行总线42连接至图像分析单元13。CPU 31根据存储在ROM 33中的程序执行用于执行整个图像分析单元13的操作、图像处理、图像识别处理等的处理。由每个摄像机单元21a、21b的图像传感器23获取的亮度数据经由数据总线41被写入图像分析单元13的RAM34。从CPU 31或FPGA 32输出的用于改变传感器曝光值的控制数据、用于改变图像读出参数的控制数据、各种设置数据等经由串行总线42发送至传感器控制器24和从传感器控制器24接收。

FPGA 32执行需要对存储在RAM 34中的数据实时执行的处理。需要实时执行的处理例如是通过执行伽马校正、失真校正(左右图像的并行化)、通过块匹配的视差计算等从亮度图像(亮度图像数据)生成视差图像(视差图像数据)的处理。如上所述生成的视差图像数据再次被写入RAM 34。

CPU 31控制立体摄像机12的每个传感器控制器24并控制整个图像分析单元13。在ROM 33中，存储使CPU 31或FPGA 32执行各种处理的程序。例如，CPU 31经由数据IF 36获取关于车辆10的控制器区域网络(CAN)信息(车速、加速度、转向角、偏航率等)作为参数。CPU31通过根据存储在ROM 33中的程序使用存储在RAM 34中的亮度图像数据和视差图像数据来执行各种处理，例如路面形状的估计、对象的识别或距离的测量。

由图像分析单元13生成的分析数据例如经由串行IF 35被提供给外部系统，例如自动制动系统、自动速度控制系统、自动转向系统或警报系统。

图4是示出根据第一实施方式的装置控制系统1的功能配置的示例的图。根据第一实施方式的装置控制系统1包括成像单元101、视差计算单元102、路面估计单元103、聚类单元104、剔除单元105、跟踪单元106和控制单元107。图4示出了从成像设备11对一帧成像开始，继续路面的估计和包括对象识别等的图像分析处理，并以车辆控制的开始而结束的示例性流程。

成像单元101是拍摄车辆10前方的区域的图像并获取两条亮度图像数据的功能单元。成像单元101由成像设备11等构成。由成像单元101获取的两条亮度图像数据中的一条(例如，由第一摄像机单元21a获取的左视图15的亮度图像数据)用作参考图像，而另一条(例如，由第二摄像机单元21b获取的右视图16的亮度图像数据)用作比较图像。

视差计算单元102是通过使用参考图像的亮度图像数据和比较图像的亮度图像数据，通过将块匹配等应用于立体摄像机12的成像范围中的局部区域来计算每个像素的视差并生成表示视差图像的视差图像数据的功能单元。视差计算单元102由FPGA 32、CPU 31等构成。

路面估计单元103是基于视差图像数据估计车辆10正在行驶的路面的形状的功能单元。路面估计单元103基于V视差图(V图或频率信息)来估计路面形状，V视差图基于视差图像数据而生成。路面估计单元103执行校正处理，以在估计路面形状或参考表示估计的路面形状的信息时抵消立体摄像机12的倾侧的影响。稍后将详细描述校正处理等。路面估计单元103由CPU 31、FPGA 32等构成。

聚类单元104是对位于所估计的路面上方的视差组执行聚类处理的功能单元。聚类处理是将视差图像上位于相似距离(具有相似视差值)的一组像素识别为单个对象的处理。用于聚类过程的方法没有特别限制。例如，可以应用使用U视差图(U图)的方法，其中对视差图像上的视差的频率进行计数。在该方法中，在U图上频率高于预定值的视差密集地累积的区域被检测为新对象，基于检测区域在亮度图像上的坐标、大小等来估计对象的类型(人、车辆、护栏等)，并且生成表示对象的个体信息。聚类单元104由CPU 31、FPGA32等构成。

剔除单元105是通过使用帧信息(亮度图像数据、视差图像数据等)、U图、关于新对象的个体信息等来执行剔除检测到的对象中的不是识别目标(用于避免碰撞等的目标)的对象的处理的功能单元。剔除单元105由CPU 31、FPGA 32等构成。

跟踪单元106是在检测到的对象(未被剔除的对象)连续出现在多个帧中时判断对象是否是跟踪目标，并且在该对象是跟踪目标时生成表示跟踪目标的个体信息的功能单元。跟踪单元106由CPU 31、FPGA 32等构成。

控制单元107是基于关于作为跟踪目标的对象的信息等对车辆10执行控制(避免碰撞操作、警告输出等)的功能单元。控制单元107由车辆ECU 51等构成。

图5是示出根据第一实施方式的路面估计单元103的功能配置的示例的图。根据第一实施方式的路面估计单元103包括视差信息输入单元151(获取单元)、V图生成单元152(第一生成单元)、分段设置单元153、采样点设置单元154、离群点消除单元155、形状估计单元156(估计单元)、高度表生成单元157(第二生成单元)和校正单元161。

视差信息输入处理

视差信息输入单元151是输入由视差计算单元102计算的视差图像数据的功能单元。视差信息输入单元151由CPU 31、FPGA 32等构成。

图6是用于说明视差d与从立体摄像机12到对象171的距离D之间的关系的图。图7是用于说明将对象171的大小S转换为像素数p的方法的图。

如图6所示，对象171的局部部分由第一摄像机单元21a和第二摄像机单元21b的两个镜头拍摄，并且在成像表面175上，与由摄像机单元21a和21b拍摄的对象171的相同局部部分对应的位置之间的偏差量被获得作为视差d。通过使用从立体摄像机12到对象171的距离D、摄像机单元21a和21b的焦点位置之间的基线长度b和焦距f，通过下面的式(1)计算视差d。

b:d＝D:f

d＝b·f/D (1)

如图7中所示，通过使用焦距f[mm]、像素数p[pix]和图像传感器23之间的传感器间隔c[mm/pix]，通过下面的式(2)计算距离D[mm]处的对象171的大小S[mm]。

s：d＝c/p:f

p＝s·f/c/D (2)

例如，通过式(2)，可以将距离D处的车道宽度转换为像素数。

V图生成处理

V图生成单元152是基于视差图像数据生成V图的功能单元。V图生成单元152由CPU31、FPGA 32等构成。图8是示出视差图像201的示例的图。图9是示出与图8示出的视差图像201对应的V图221的示例的图。

V图221是通过在与像素的坐标对应的位置处对于视差d(其是视差图像201的每个像素的像素值)进行投票而生成的信息，该信息表示视差图像201的每个坐标的视差d的频率。该示例中的V图221是二维直方图，其中竖轴表示视差图像201的y坐标，横轴表示视差d，并且该二维直方图通过在与像素的y坐标对应的位置(投票位置)处对于视差图像201的每个像素的视差d进行投票来生成。

图8中示出的视差图像201表示：在路面211上存在对象212，该对象212是另一个车辆。如果视差图像201中的路面211上的区域的视差d在V图221上被投票，则如图9所示，出现与路面211对应的视差d的分布区域223和与对象212对应的视差d的分布区域224。与路面211对应的分布区域223具有从左端到右端连续向右下倾斜的形状。这是因为视差d随着到车辆10的距离变得更近而增加，并且视差图像201的下部中的视差d大于视差图像201的上部中的视差d。根据y轴的设置，分布区域223可以不具有向右下倾斜的形状。在y轴方向上与对象212对应的分布区域224的高度H2对应于在视差图像201中对象212距路面211的高度H1。

视差图像201中要成为投票目标的区域不一定必须是整个视差图像201。图10是示出在视差图像201中成为投票目标的投票区域231至233的示例的图。图10所示的示例中的投票区域231至233被设置为包括其中存在路面211的区域。通过如上所述设置投票区域231至233，可以仅将其中对象212成为用于避免碰撞的目标等的区域作为图像处理的目标进行处理；因此，可以减少处理负荷等。

分段设置处理

分段设置单元153是参考图9所示的V图221上的d坐标设置至少一个分段(分区)的功能单元。可以针对每个分段227执行稍后将描述的采样点设置处理、离群点消除处理和形状估计处理。用于设置分段227的方法没有特别限制。然而，通过设置较小的分段227，可以精确地识别具有复杂形状的路面211或对象212。例如，可以精确地估计具有变化梯度的路面211的形状等。在设置分段之后，采样点设置处理、离群点消除处理和形状估计处理(将在后面描述)的执行顺序没有特别限制。例如，可以在第一分段上执行采样点设置处理、离群点消除处理和形状估计处理，然后在第二分段上执行这些处理。替代地，可以对所有分段执行采样点设置处理，然后对所有分段执行离群点消除处理(并以相同方式进行形状估计处理)。分段设置单元153由CPU 31、FPGA32等构成。

分段设置单元153不是由路面估计单元103执行的路面估计处理总是需要的功能单元。可以在V图221中不设置分段的情况下估计路面211的形状。

采样点设置处理

采样点设置单元154是根据在V图221上投票的至少一个视差d设置至少一个采样点的功能单元。用于设置(选择)采样点的方法没有特别限制。例如，可以应用用于从位于相对于d坐标的垂直方向上的多个视差d中选择具有最高频率的点(最高频率点)的方法，或者用于基于预定标准限制可以包括与路面211对应的采样点的区域的方法。此外，可以使用未被投票的视差d的坐标作为采样点(例如，当在关注的坐标处未投票视差d，但在周边以高频率投票视差d时)。采样点设置单元154由CPU 31、FPGA 32等构成。

离群点消除处理

离群点消除单元155是从所设置的采样点中消除不适当的采样点的功能单元。用于确定不适当的采样点的方法没有特别限制。例如，可以应用用于消除与近似直线分开预定距离的采样点的方法，该近似直线使用在V图211上投票的多个采样点通过最小二乘法等设置。离群点消除单元155由CPU 31、FPGA 32等构成。

离群点消除单元155不是由路面估计单元103执行的路面估计处理总是需要的功能单元。可以在不检测离群点的情况下估计路面211的形状。

形状估计处理

形状估计单元156是通过使用剩余采样点(由采样点设置单元154设置并且未被离群点消除单元155在执行离群点消除处理时消除的采样点)来估计路面211的路面形状的功能单元。形状估计单元156通过使用在V图221上投票的多个采样点来估计路面形状，并且在V图221上设置路面估计线225。当分段设置单元153在V图221中设置分段227时，通过使用关注的分段227中剩余的采样点来估计每个分段227的路面形状，并且通过连接估计的路面形状来设置路面估计线225。用于估计路面形状的方法没有特别限制。例如，可以应用用于通过使用统计方法(例如，最小二乘法)对一组采样点执行线性近似的方法。此外，该方法不限于线性近似，并且可以通过多项式近似等来估计曲线形状。形状估计单元156由CPU 31、FPGA 32等构成。

优选地，形状估计单元156判断路面形状的估计是否成功。例如，基于预定标准计算估计的路面形状的可靠性，并且将可靠性低于特定标准的路面形状处理为失败(进行重新估计等)。例如，如果应用使用最小二乘法的线性近似，则可以使用相关系数作为可靠性。当判断估计失败时，可以插入预定路面211作为替代。例如，可以应用使用基于道路平坦的假设预先计算的默认路面或使用根据过去帧计算的历史记录路面的方法。此外，当设置分段227时，可以应用用于扩展紧接在关注的分段227之前的分段227中已经估计的路面形状的方法。

当设置分段227时，优选形状估计单元156对每个分段227执行使每个估计的路面估计线225平滑(平滑化)的处理。用于平滑化的方法没有特别限制。例如，当特定分段227的路面估计线225的终点的坐标与该特定分段227的右侧的相邻分段227的路面估计线225的起点的坐标不匹配时，可以修改路面估计线225，使得两个坐标都经过单个坐标。优选使用平滑化的路面估计线225作为表示最终路面形状的线。

高度表生成处理

高度表生成单元157是基于估计的路面形状(路面估计线225)生成表示视差d与路面211或对象212的高度之间的对应关系的高度表(高度信息)的功能单元。高度表生成单元157由CPU 31、FPGA 32等构成。

图11是示出V图221和高度表241的示例的图。高度表241在其中存储分别对应于视差d0、d1、......、dn的高度H0、H1、......、Hn。例如，如果V图221的d坐标的范围是0到960，则高度表241在其中存储H0到H960的961个值。高度H0、H1、......、Hn表示从V图221的y轴的起点到路面估计线225的距离。高度的值H0、H1、......、Hn对应于路面211的实际高度或对象212的实际高度。通过使用任意视差d作为输入值参考高度表241，可以获取与视差d对应的路面211或对象212的高度H。高度表241的配置不限于上述示例。

当路面估计线225由具有斜率K和截距B的线性函数表示时，对应于阈值d的高度H通过下面的式(3)获得。

H＝K*d+B (3)

当V图221被划分为多个分段227时，针对每个分段227建立视差d与高度H之间的关系。因此，可以通过使用包括要参考的视差d的分段227中的路面估计线225的斜率K和截距B来计算高度H。

例如，如图8所示，当路面211上存在对象212时，在视差图像201中的单条线上检测到多个视差d。也就是说，在通过其中存在对象212的部分的单条线上，检测到路面211的视差dr和对象212的视差do。在这种情况下，可以通过使用视差dr作为高度表241中的输入值来获得路面211的高度Hr，并且通过使用视差do作为高度表241中的输入值来获得对象212的高度Ho。此外，通过Ho-Hr获得关于y坐标的对象212距路面211的高度H。

校正处理

校正单元161是校正用于生成表示路面211的形状的信息以抵消成像设备11(立体摄像机12)的倾侧的影响的信息的功能单元。表示路面211的形状的信息是在路面估计单元103之后的阶段中由聚类单元104、剔除单元105、跟踪单元106、控制单元107等使用的信息。用于生成表示路面211的形状的信息的信息是V图221、高度表241、用于生成V图221和高度表241的信息等。根据第一实施方式的校正单元161校正高度表241以抵消倾侧的影响。校正单元161由CPU 31、FPGA 32等构成。

图12是用于说明立体摄像机12的倾侧对路面估计处理的影响的图。图13是示出与图12中所示的情况对应的V图221的示例的图。例如，当立体摄像机12的倾侧在顺时针方向上发生时，如图12所示，作为位于主车辆前方的另一个车辆的对象212看起来似乎向左上方倾斜。在这种情况下，视差图像201中的关注线271上的视差d在视差组A和视差组B之间不同。在如上所述的情况下生成的V图221中，如图13所示，对应于路面211的视差d在d轴方向上分布。在路面估计过程中，通常假设路面211位于对象212下方的位置，并且通过使用对应于相对较低位置的视差d来估计路面形状。因此，在图13所示的示例中，通过使用与点B对应的一组视差d来估计路面形状，并且将与点A对应的一组视差d进行聚类处理并且可以将其识别为对象。

为了解决如上所述的由倾侧引起的问题，根据第一实施方式的校正单元161校正高度表241以抵消倾侧的影响。图14是示出根据第一实施方式的校正单元161的功能配置的示例的图。校正单元161包括倾侧信息获取单元181、校正量计算单元182和高度值校正单元183。

倾侧信息获取单元181是获取包括立体摄像机12的倾侧角的倾侧信息的功能单元。用于获取倾侧信息的方法没有特别限制。例如，可以应用使用当立体摄像机12安装到车辆10上时通过校准测得的信息的方法，或者应用用于根据近似线的斜率计算倾侧角的方法，该近似线通过最小二乘法使用一组相邻的视差d来生成。

校正量计算单元182是基于倾侧信息计算倾侧校正量的功能单元。根据第一实施方式的倾侧校正量是被计算用来抵消由于立体摄像机12的倾侧而引起的估计的路面形状与实际路面之间发生的偏差的值。将存储在高度表241中的高度的值H(H0、H1、......、Hn)加上或减去倾侧校正量，以抵消倾侧的影响。根据第一实施方式的倾侧校正量包括第一校正量和第二校正量。

图15是示出当通过使用倾侧校正量校正所估计的路面时的视差图像201的示例的图。在图15中，在左侧示出校正前的视差图像201A，在右侧示出校正后的视差图像201B。

在校正前的视差图像201A中，示出了实际路面251和未校正的估计路面252。实际路面251表示与由侧倾的立体摄像机12拍摄的路面211对应的区域。在该示例中，示出了其中通过在逆时针方向上倾侧的立体摄像机12拍摄平坦路面211的情况。未校正的估计路面252表示基于实际路面251的视差d通过上述形状估计处理而估计的路面。

在校正后的视差图像201B中，示出了实际路面251、未校正的估计路面252、第一校正估计路面261和第二校正估计路面262。第一校正估计路面261表示通过使用第一校正量校正高度表241而获得的估计路面。第二校正估计路面262表示通过使用第一校正量和第二校正量校正高度表241而获得的估计路面。

未校正的估计路面252具有从实际路面251的一个端部水平延伸的形状，该端部在两个端部中位于较低位置(图15所示的示例中的左端部)。如上所述，这是因为通过使用位于V图221中的较低位置的视差d来估计路面形状(参见图13等)。需要校正不适当地估计的未校正的估计路面252，以便最终与实际路面251重叠，即，类似于第二校正估计路面262。

在第一实施方式中，首先通过使用第一校正量来校正未校正的估计路面252，以获得第一校正估计路面261。第一校正估计路面261的角度与实际路面251的角度彼此匹配(实质上彼此匹配)。第一校正量是要在高度表241中的每个高度H0、H1、......、Hn上加上或减去的值，以便将未校正的估计路面252旋转为匹配实际路面251的角度。用于计算第一校正量的方法没有特别限制。例如，通过下面的式(4)计算第一校正量，其中第一校正量是εx，立体摄像机12的倾侧角是θ，视差图像201中的关注的x坐标是x，并且路面211的消失点是foe_x。

εx＝tanθ*(x-foe_x) (4)

foe_x表示立体摄像机12的旋转参考点，并且在立体摄像机12没有向左和向右偏航时，视差图像201的中心的x坐标和消失点的x坐标彼此匹配。如式(4)所示，通过减去foe_x，旋转参考点从原点(x＝0)移动到foe_x的位置。foe_x是旋转参考点的一个示例，并且可以替代地使用更优选的点。通过在高度表241中的每个高度H0、H1、......、Hn上加上或减去如上所述计算的第一校正量εx，可以校正未校正的估计路面252以获得第一校正估计路面261，该第一校正估计路面261的角度与实际路面251的角度匹配。在这种情况下，未校正的估计路面252围绕与参考轴255的交点旋转。

随后通过使用第二校正量来校正第一校正估计路面261，以获得第二校正估计路面262。第二校正估计路面262和实际路面251具有彼此匹配的角度，并且它们在y轴上的位置彼此匹配(实质上彼此匹配)。第二校正量是要在高度表241中的每个高度H0、H1、......、Hn上加上或减去以便将第一校正估计路面261在y轴方向上平移距离Doff的值。用于计算第二校正量的方法没有特别限制。例如，通过下面的式(5)计算第二校正量，其中第二校正量是δ，倾侧角是θ，并且路面211的宽度是road_width。

δ＝abs(tanθ*(road_width/2)) (5)

abs表示绝对值。road_width可以是表示单车道宽度的值，例如3500[mm]。可以根据图10所示的投票区域231至233的宽度来设置road_width的值。可以仅对投票区域231至233中的视差d执行对路面211的形状估计处理；因此，由于倾侧而倾斜的路面211的视差d的横向宽度与投票区域231至233的宽度相匹配。在式(5)中，foe_x设置在中心；因此，第二校正量δ对应于通过将road_width转换为半值，然后将半值乘以倾侧角θ的正切值而获得的值。第二校正量δ由宽度确定，因此与x坐标的位置无关。

下面将描述其中通过使用第一校正量和第二校正量来校正参考值的示例，该参考值是参考从未校正的估计路面252生成的高度表241(即，校正前的高度表241)中的每个高度H0、H1、......、Hn时提取的。当与视差d对应的校正路面211的高度由Hd’表示时，与视差d对应的未校正路面211的高度(从校正前的高度表241提取的参考值)由Hd表示，第一校正量由εx表示，第二校正量由δ表示，建立由下面的式(6)表示的关系。

Hd’＝Hd-εx-δ (6)

在第一实施方式中，存储在高度表241中的高度H0、H1、......、Hn根据V图221来计算，其中原点设置在左上方；因此，第一校正量εx和第二校正量δ用作减法值。然而，例如，当使用其中原点设置在左下方的V图时，第一校正量εx和第二校正量δ用作相加值。为了计算路面211的高度，从Hd’减去路面估计线225在y轴上的值。同时，第二校正量δ是实际距离，因此，需要根据其他参数调整单位。这是通过基于式(1)和式(2)将road_width的单位系统从实际距离转换为像素来完成的。

通过如上所述的操作，从由未校正的估计路面252生成的高度表241提取的参考值可以以与从第二校正估计路面262生成的高度表241中的值相同的方式处理。在上述示例中，已经描述了一种方法，其中当参考高度表241时，将参考值加上或减去校正量；然而，可以通过式(6)预先校正高度表241中的值。在这种情况下，高度表241可以被生成为二维表，其中可以基于d和x的组合来参考校正路面211的高度H。

在上述示例中，针对每个x坐标计算第一校正量εx和第二校正量δ；然而，如果不需要详细计算，可以以相对粗略的预定分辨率执行计算。例如，如果以10的分辨率处理横向宽度为1000的视差图像201，则可以针对每个校正量εx和δ计算100种校正量，并且应用每个分段中包含的所有x坐标共同的校正量εx和δ。在这种情况下，作为用于计算第一校正量εx的x坐标，可以使用具有相同分辨率的预定x坐标。例如，如果分辨率被设置为10，则可以利用x＝1到10中的任何值来计算第一分段中的第一校正量εx。此外，可以针对预定范围计算x坐标。例如，不需要针对未包括在投票区域231至233中的x坐标的范围计算校正量εx和δ。以这种方式，可以任意设置用于计算校正量εx和δ的x坐标。

此外，在上述示例中，描述了其中通过将消失点的x坐标设置在中心来执行校正的方法；然而，如果已经知道路面211的横向宽度，则可以通过使用未校正的估计路面252的终点作为参考点来使用第一校正量εx执行旋转校正。例如，在如图15所示的情况下，如果通过使用未校正的估计路面252的左端作为参考点来使用第一校正量εx执行旋转校正，可以使用第二校正量δ来消除平移校正。

图16是示出根据第一实施方式的路面估计单元103执行的处理的流程的示例的流程图。首先，视差信息输入单元151读取根据视差信息生成的视差图像201(视差图像数据)(步骤S101)。随后，V图生成单元152根据视差图像201生成V图221(步骤S102)。此时，在V图221上投票视差图像201中的视差d。随后，采样点设置单元154根据在V图221上投票的视差组设置采样点(步骤S103)。当分段227被设置在V图221中时，可以为每个分段227设置采样点。随后，基于包括多个采样点的采样点组的分布状态来估计路面211的形状(步骤S104)。此时，可以执行基于预定的标准从采样点组检测离群点并且在估计路面形状之前消除离群点的处理。随后，校正单元161计算倾侧校正量以抵消倾侧的影响(步骤S105)。随后，高度表生成单元157通过将估计路面形状的值加上或减去倾侧校正量来确定高度表241中的高度的值(步骤S106)。此时，可以在参考高度表241中的高度的值时加上或减去倾侧校正量，或者可以将通过加上或减去倾侧校正量而获得的值预先存储在高度表241中。

根据如上所述的第一实施方式，根据倾侧角θ校正高度表241中的高度H0、H1、......、Hn。即，在基于V图221估计路面211的形状之后，执行用于抵消倾侧影响的校正处理。因此，即使当在具有变化梯度的路面211上发生倾侧时，也可以将路面211作为平坦表面处理，从而可以高精度地估计路面211的形状。

下面将参照附图描述第二实施方式。与第一实施方式具有相同或等同的功能和效果的部件用相同的符号表示，并且可以省略相同的说明。

第二实施方式

图17是示出根据第二实施方式的路面估计单元303的功能配置的示例的图。根据第二实施方式的路面估计单元303是与根据第一实施方式的路面估计单元103对应的功能单元，并且通过使用V图221等来估计路面211的形状。类似于根据第一实施方式的路面估计单元103，根据第二实施方式的路面估计单元303包括生成V图的V图生成单元352；并且V图生成单元352包括校正单元361，该校正单元361校正用于生成表示路面211的形状的信息，以抵消立体摄像机12的倾侧的影响。

根据第二实施方式的校正单元361校正V图221以抵消倾侧的影响。用于校正V图221的方法没有特别限制。例如，根据倾侧信息校正从视差图像201到V图221投票的数据。如第一实施方式中所述，当立体摄像机12在倾侧时，视差图像201中的特定线上的视差d包括最初预期在不同线上提取的视差d。因此，在视差图像201中的每个视差d被投票为其就在V图221中的线上时，经投票的视差d的分布区域在横向方向上展开(参见图13等)。提供根据第二实施方式的校正单元361以解决在如上所述生成V图221时发生的问题。

当已知倾侧角θ时，在提取视差d的坐标根据倾侧角θ进行旋转转换的情况下，可以获得最初预期被投票的视差d的y坐标。图18是示出校正前的V图221上的投票状态的示例的图。图19是示出校正后的V图221上的投票状态的示例的图。在图18所示的视差图像201中，示出了与由在逆时针方向上倾侧的立体摄像机12拍摄的路面211对应的视差组373。在该示例中，聚焦视差组373中包括的视差1和视差2。如果视差组373由于倾侧而旋转，如图18中的右侧所示，对视差1和视差2的投票被投票为V图221中的不同投票线381和382上的视差。

为了解决如上所述的投票问题，校正单元361首先设置用于旋转视差组373的参考点375。用于设置参考点375的方法没有特别限制。例如，视差图像201的中心点、路面211的消失点等可以用作参考点375。校正单元361随后通过使用参考点375作为旋转轴来旋转包括在视差组373中的每个视差d，并且确定每个视差d的校正的投票位置(V图221上的y坐标)。当在V图221上经校正的视差d的投票位置由y’表示，校正前的视差图像201中的视差d的x坐标由x表示，校正前的视差图像201中的视差d的y坐标由y表示，并且相对于基准线371的倾侧角由θ表示时，其中基准线371是包括基准点375的水平线，建立下面的式(7)。

y’＝xsinθ+ycosθ (7)

在图19的左侧，示出了校正的视差组388，其中反映了如上所述确定的校正的投票位置。包括在校正的视差组388中的所有视差d位于通过单个y坐标(y’)的线上。因此，如图19中的右侧所示，从校正的视差组388到V图221投票的所有视差d在V图221中的单条投票线385上投票。

图20是示出根据第二实施方式的由路面估计单元303执行的处理的流程的示例的流程图。首先，视差信息输入单元151读取根据视差信息生成的视差图像201(视差图像数据)(步骤S101)。随后，校正单元361根据倾侧角θ旋转视差图像201(根据倾侧角θ校正视差图像201中的每个视差d的投票位置)(步骤S201)。随后，V图生成单元352根据经过旋转的视差图像201生成V图221(步骤S202)。此时，视差图像201中的每个视差d在V图221上的转换位置被投票。随后，采样点设置单元154根据在V图221上投票的视差组设置采样点(步骤S103)。当在V图221中设置分段227时，可以为每个分段227设置采样点。随后，基于包括多个采样点的采样点组的分布状态来估计路面211的形状(步骤S104)。此时，可以执行基于预定的标准从采样点组检测离群点并且在估计路面形状之前消除离群点的处理。随后，高度表生成单元357根据估计的路面形状的值确定高度表241中的高度的值(步骤S203)。

根据如上所述的第二实施方式，根据倾侧角θ校正视差图像201中的每个视差d的投票位置，并且基于校正的视差d生成V图221。也就是说，基于经过用于抵消倾侧影响的校正处理的V图221来估计路面211的形状。因此，即使当在具有变化梯度的路面211上发生倾侧时，也可以将路面211作为平坦表面处理，从而可以高精度地估计路面211的形状。

在上述实施方式中，已经描述了其中视差d被用作表示车辆10与对象(路面211和对象212)之间的距离的距离信息的示例；然而，距离信息不限于视差，而是例如可以是通过使用毫米波雷达、激光雷达等获取的信息。因此，上述视差图像201是指示距离的距离图像的示例。如果使用除视差之外的距离信息，则可以使用与距离信息对应的距离图像。

此外，在上述实施方式中，已经描述了安装在作为车辆10的汽车上的装置控制系统1；然而，本发明不限于该示例。例如，该系统可以安装在车辆上，例如摩托车、自行车，轮椅或农业耕耘机。此外，该装置不限于车辆，而可以是移动对象，例如机器人。

此外，在上述实施方式中，当通过执行程序来实现装置控制系统1的功能单元的至少一部分时，通过预先将程序包含在ROM等中来提供程序。此外，可以通过以计算机可安装或计算机可执行的文件格式记录在计算机可读记录介质中来提供程序，计算机可读记录介质例如为光盘ROM(CD-ROM)、软盘(FD)、可记录光盘(CD-R)或数字通用盘(DVD)。此外，程序可以存储在连接至诸如因特网的网络的计算机中，并且可以通过经由网络下载来提供。此外，可以经由诸如因特网的网络提供或分配程序。此外，程序可以具有包括至少一个上述功能单元的模块结构。

附图标记列表

1 装置控制系统

10 车辆

11 成像设备

15 左视图

16 右视图

17 行进方向

51 车辆ECU(装置控制单元)

12 立体摄像机(距离信息获取单元)

13 图像分析单元(信息处理设备)

21a 第一摄像机单元

21b 第二摄像机单元

22 镜头

23 图像传感器

24 传感器控制器

31 CPU

32 FPGA

33 ROM

34 RAM

35 串行IF

36 数据IF

41 数据总线

42 串行总线

101 成像单元

102 视差计算单元

103，303 路面估计单元

104 聚类单元

105 剔除单元

106 跟踪单元

107 控制单元

151 视差信息输入单元

152，352 V图生成单元

153 分段设置单元

154 采样点设置单元

155 离群点消除单元

156 形状估计单元

157，357 高度表生成单元

161，361 校正单元

171，212 对象

175 成像表面

181 倾侧信息获取单元

182 校正量计算单元

183 高度值校正单元

201，201A，201B 视差图像

211 路面

221 V图(频率信息)

223，224 分布区域

225 路面估计线

227 分段

231至233 投票区域

241 高度表

251 实际路面

252 未校正的估计路面

255 参考轴

271 关注线

373 视差组

375 参考点

381，382，385 投票线

θ 倾侧角

引用列表

专利文献

专利文献1：日本专利申请特开第2001-091217号公报

Claims (12)

1.一种信息处理设备，其包括：

获取单元，其被配置为获取表示距离图像的距离图像数据，所述距离图像包括距离信息；

第一生成单元，其被配置为通过基于所述距离图像数据，在与所述距离图像的每个像素的坐标对应的位置处投票所述距离信息来生成频率信息，所述频率信息表示所述距离图像中的每个坐标的所述距离信息的频率；

估计单元，其被配置为基于所述频率信息估计路面形状；

第二生成单元，其被配置为基于估计的路面形状生成高度信息，所述高度信息表示所述距离信息与路面的高度之间的关系；以及

校正单元，其被配置为基于与获取所述距离信息的距离信息获取单元的倾侧有关的倾侧信息来校正用于生成表示所述路面形状的信息的信息，以便抵消所述倾侧的影响。

2.根据权利要求1所述的信息处理设备，其中，所述校正单元基于所述倾侧信息校正所述高度信息。

3.根据权利要求2所述的信息处理设备，其中，所述校正单元将所述高度信息中包含的所述高度加上或减去倾侧校正量，所述倾侧校正量被计算用来抵消由所述倾侧引起的估计的路面形状与实际路面之间发生的偏差。

4.根据权利要求3所述的信息处理设备，其中，所述倾侧校正量包括：第一校正量和第二校正量，所述第一校正量用于旋转估计的路面形状，使得估计的路面形状的倾斜度与实际路面的倾斜度相匹配，所述第二校正量用于平移估计的路面形状，使得所估计的路面的坐标匹配所述实际路面的坐标。

5.根据权利要求3或4所述的信息处理设备，其中，当从所述高度信息中提取出预定高度并参考该预定高度时，所述校正单元加上或减去所述倾侧校正量。

6.根据权利要求1所述的信息处理设备，其中，所述校正单元基于所述倾侧信息校正所述频率信息。

7.根据权利要求6所述的信息处理设备，其中，所述校正单元校正将从所述距离图像到所述频率信息进行投票的所述距离信息的投票位置。

8.根据权利要求1至6中任一项所述的信息处理设备，其中，

所述距离信息获取设备是立体摄像机，

所述距离信息是视差，

所述距离图像是视差图像，并且

所述距离图像数据是表示所述视差图像的视差图像数据。

9.一种成像设备，其包括：

立体摄像机，其被配置为生成距离图像数据；以及

根据权利要求1至8中任一项所述的信息处理设备。

10.一种装置控制系统，其包括：

根据权利要求1至8中任一项所述的信息处理设备；以及

装置控制单元，其被配置为基于表示路面形状的信息来控制装置的操作。

11.一种信息处理方法，其包括：

获取表示距离图像的距离图像数据，所述距离图像包括距离信息；

通过基于所述距离图像数据，在与所述距离图像的每个像素的坐标对应的位置处投票所述距离信息来生成频率信息，所述频率信息表示所述距离图像中的每个坐标的所述距离信息的频率；

基于所述频率信息估计路面形状；

基于估计的路面形状生成高度信息，所述高度信息表示所述距离信息与路面的高度之间的关系；以及

基于与获取所述距离信息的距离信息获取单元的倾侧有关的倾侧信息来校正用于生成表示所述路面形状的信息的信息，以便抵消所述倾侧的影响。

12.一种计算机程序产品，其包括其中存储有程序的非瞬态计算机可读记录介质，所述程序使计算机执行：

获取表示距离图像的距离图像数据，所述距离图像包括距离信息；

通过基于所述距离图像数据，在与所述距离图像的每个像素的坐标对应的位置处投票所述距离信息来生成频率信息，所述频率信息表示所述距离图像中的每个坐标的所述距离信息的频率；

基于所述频率信息估计路面形状；

基于估计的路面形状生成高度信息，所述高度信息表示所述距离信息与路面的高度之间的关系；以及

基于与获取所述距离信息的距离信息获取单元的倾侧有关的倾侧信息来校正用于生成表示所述路面形状的信息的信息，以便抵消所述倾侧的影响。