CN117177891A - 传感装置和车辆控制装置 - Google Patents

Abstract

本发明的特征在于，包括：第一共同拍摄区域观测部，其根据由具有共同拍摄区域的至少第一传感器和第二传感器取得的所述共同拍摄区域的信息，对本车周边的第一区域进行观测；第二共同拍摄区域观测部，其根据由具有共同拍摄区域的至少第三传感器和第四传感器取得的所述共同拍摄区域的信息，对与所述第一区域不同的第二区域进行观测；坐标整合部，其将各所述传感器的几何关系与所述第一区域和所述第二区域中观测到的信息的坐标整合；和路面推算部，其基于根据整合后的所述坐标计算出的点云信息，推算包括本车的俯仰角和侧倾角的、各传感器相对于路面的相对姿态。

Description

传感装置和车辆控制装置

本申请主张令和3年(2021年)6月17日提交的日本专利申请特愿2021-100680的优先权，将其内容通过援引加入本申请中。

技术领域

本发明涉及传感装置和车辆控制装置。

背景技术

出于驾驶员辅助、自动驾驶的目的，车载摄像机的普及得到推进，有时还会为了监视周围等搭载多个单目摄像机。在进行驾驶员辅助、自动驾驶时，车载摄像机要求具有的一个功能是对象物测距。在使用了单目摄像机的对象物测距中，假设路面为平面，根据车载摄像机的安装状态与路面的关系能够计算与车载摄像机的各像素对应的距离。但是，在路面存在坡度的情况下，如果假定为平面进行计算，则存在测定距离产生误差的问题。尤其是，越靠远方误差变得越大。因此，需要降低坡度误差的影响。

专利文献1公开了一种基于摄像机拍摄到的拍摄图像来推算坡度的坡度推算装置，其包括摄像机、路面接触位置运算部、测距传感器和坡度推算部，基于所述摄像机拍摄到的拍摄图像，所述路面接触位置运算部计算其与所述拍摄图像中拍摄到的对象物的路面接触位置之间的距离L2，所述坡度推算装置使用所述测距传感器计算其到达所述对象物的距离L1，所述坡度推算部基于所述摄像机的俯角α、所述距离L2和所述距离L1，推算经过从所述摄像机的位置作出的垂线与水平面的交叉点、以及表示所述对象物的规定点A1的直线的坡度β。

发明内容

发明要解决的技术问题

专利文献1以使用有源激光器方式的测距传感器为前提，但在不具有能够与坡度无关地进行测距的传感器的情况下，进行距离修正是非常困难的。

为此，本发明的目的在于提供一种以高精度推算路面与车辆的相对姿态的传感装置。

解决问题的技术手段

本申请公开的技术方案的有代表性之一例如下。即，一种传感装置，其特征在于，包括：第一共同拍摄区域观测部，其根据由具有共同拍摄区域的至少第一传感器和第二传感器取得的所述共同拍摄区域的信息，对本车周边的第一区域进行观测；第二共同拍摄区域观测部，其根据由具有共同拍摄区域的至少第三传感器和第四传感器取得的所述共同拍摄区域的信息，对与所述第一区域不同的第二区域进行观测；坐标整合部，其将各所述传感器的几何关系与所述第一区域和所述第二区域中观测到的信息的坐标整合；和路面推算部，其基于根据整合后的所述坐标计算出的点云信息，推算包括本车的俯仰角和侧倾角的、各传感器相对于路面的相对姿态。

发明效果

根据本发明的一个方式，能够降低道路坡度、车辆姿态的影响，提高测距精度。上述以外的问题、特征和效果，能够通过以下实施例的说明变得明确。

附图说明

图1是表示搭载了本发明实施例的传感装置的车辆的结构的框图。

图2是表示摄像机和共同拍摄区域的关系之一例的图。

图3是表示坡度和车辆姿态变动之一例的图。

图4是CPU执行的距离推算程序的功能模块图。

图5是表示坐标整合和路面模型对照的处理的示意图。

图6是第一共同拍摄区域观测部执行的处理的流程图。

图7是表示变形例1的坐标整合和路面模型对照的处理的变形例的示意图。

图8是变形例1的第一共同拍摄区域观测部执行的处理的流程图。

图9是表示变形例2的坐标整合和路面模型对照的处理的进一步变形例的示意图。

图10是变形例2的CPU执行的距离推算程序的功能模块图。

图11是表示搭载了变形例3的传感装置的车辆的结构的框图。

图12是表示变形例3的摄像机和共同拍摄区域的关系之一例的图。

图13是变形例3的CPU执行的距离推算程序的功能模块图。

具体实施方式

以下参照图1～图13说明本发明的传感装置101的实施例。

图1是表示搭载了本发明实施例的传感装置101的车辆100的结构的框图。

传感装置101包括摄像机121～124、车速传感器131、舵角传感器132、显示装置161和车载处理装置102。摄像机121～124、车速传感器131、舵角传感器132和显示装置161通过信号线与车载处理装置102连接，与车载处理装置102进行各种数据的发送接收。

摄像机121～124安装在车辆100的周围，对车辆100的周围进行拍摄，其详情后述。摄像机121～124的拍摄范围中包含车辆100行驶的路面。摄像机121～124与车辆100之间的位置姿态关系被作为摄像机参数初始值141保存在ROM111中。

摄像机121～124包括透镜和摄像元件，它们的特性，例如表示透镜的畸变的参数即透镜畸变系数、光轴中心、焦距、摄像元件的像素数和尺寸等内部参数也作为摄像机参数初始值141被保存在ROM111中。

车速传感器131和舵角传感器132分别用于测定搭载了车载处理装置102的车辆100的车速和舵角，将测定结果输出至CPU110。车载处理装置102使用车速传感器131和舵角传感器132的输出，通过公知的航位推算法(Dead Reckoning)，计算搭载了车载处理装置102的车辆100的移动量和移动方向。

车载处理装置102包括中央运算装置CPU110、ROM111和RAM112。也可以构成为，由FPGA等其他运算处理装置执行全部或一部分运算处理。

CPU110通过从ROM111读取各种程序和参数加以执行，来作为车载处理装置102的执行部工作。

ROM111是只读的存储区域，用于保存摄像机参数初始值141、路面模型142和距离推算程序150。

摄像机参数初始值141是表示摄像机121～124与车辆100之间的位置和姿态的关系的数值。摄像机121～124以基于设计的位置和姿态安装于车辆100，但不能避免安装存在误差。因此，例如在车辆100从工厂出货时，在工厂内使用规定的测定模型等执行校准，计算被正确修正了的值。在摄像机参数初始值141中，保存有执行该校准后被正确修正了的位置和姿态的关系。此外，透镜、摄像元件的特性，例如表示透镜的畸变的参数即透镜畸变系数、光轴中心、焦距、摄像元件的像素数和尺寸等内部参数的执行校准后的修正值也被保存起来。

路面模型142将路面坡度模型化，将模型类别及其参数数值化并保存。路面模型142在距离推算程序150中的路面相对姿态推算程序143中计算路面相对姿态153时被使用。路面模型142的细节后述。

距离推算程序150包括后述的路面相对姿态推算程序143、共同视场距离测定程序144和单目距离测定程序145。这些程序被从ROM111读取，载入到RAM112上由CPU110执行。

RAM112是可读写的存储区域，作为车载处理装置102的主存储装置工作。RAM112保存后述的第一区域观测值151、第二区域观测值152、路面相对姿态153和外部参数154。

第一区域观测值151由共同视场距离测定程序144观测得到，是包含在摄像机121和摄像机122的共同视场中被观测到的区域的路面、立体物的观测数据。第一区域观测值151是这样的数据，其中，根据包括共同视场内的路面、立体物在内的共同物体的特征点，和记录在摄像机参数初始值141中的摄像机121和摄像机122的已知的相对关系与内部参数，来计算特征点的距离，保存根据距离计算得到的三维坐标。第一区域观测值151用于路面相对姿态推算程序143中。

第二区域观测值152由共同视场距离测定程序144观测得到，处理内容与第一区域观测值151相通，是包含在摄像机123和摄像机124的共同视场中被观测到的区域的路面、立体物的观测数据。第二区域观测值152是这样的数据，其中，根据包括共同视场内的路面、立体物在内的共同物体的特征点，和记录在摄像机参数初始值141中的摄像机123和摄像机124的已知的相对关系与内部参数，来计算特征点的距离，保存根据距离计算得到的三维坐标的值。第二区域观测值152用于路面相对姿态推算程序143中。

路面相对姿态153是表示车辆100与路面的相对姿态的参数，由路面相对姿态推算程序143得到。路面相对姿态153用于外部参数154的计算。

外部参数154是包含路面坡度和车辆100的姿态变动的、摄像机121～124与车辆100之间的位置和姿态的关系。基于摄像机参数初始值141的外部参数在路面相对姿态推算程序143中进行计算，用于单目距离测定程序145中。

图2是表示车辆100、摄像机121～124、摄像机121的光轴201、摄像机122的光轴202、摄像机123的光轴203、摄像机124的光轴204、第一共同拍摄区域211和第二共同拍摄区域212的关系之一例的图。

摄像机121例如被安装在车辆100的行进方向左侧的后视镜下，拍摄车辆100的斜后方即光轴201的方向。同样，摄像机123例如被安装在车辆100的行进方向右侧的后视镜下，拍摄车辆100的斜后方即光轴203的方向。摄像机122例如被安装在车辆100的行进方向左侧的C柱附近，拍摄车辆100的斜前方即光轴202的方向。同样，摄像机124例如被安装在车辆100的行进方向右侧的C柱附近，拍摄车辆100的斜前方即光轴204的方向。被摄像机121和摄像机122双方拍摄的车辆100的行进方向左侧的区域为第一共同拍摄区域211。在第一共同拍摄区域211中拍摄到路面、立体物。通过这样配置摄像机具有以下优点：能够在摄像机121和摄像机122的分辨率高、图像畸变少的光轴中心附近生成共同拍摄区域，并且能够拍摄对基于车载摄像机的感测很重要的斜前方、斜后方。进一步，为了还能够作为用于显示车辆100周围的俯视图的周边视场摄像机发挥作用，可以选择视角、角度等匹配的摄像机。同样，被摄像机123和摄像机124双方拍摄的车辆100的行进方向左侧的区域为第二共同拍摄区域212。在第二共同拍摄区域212中包含路面、立体物进行拍摄。第一共同拍摄区域211和第二共同拍摄区域212的拍摄结果，被用于推算路面与车辆100的相对姿态。

图3的(a)是表示坡度之一例的图，图3的(b)是表示装载状况之一例的图，图3的(c)和图3的(d)是表示车辆姿态变动之一例的图。

在道路上，为了使道路不积留雨水，以道路中央为顶点在横断方向上形成了约2％的排水坡度。在车辆100的速度快的高速道路上需要使路面的水膜更薄，因此形成了2.5％左右的排水坡度。图3的(a)表示排水坡度的一个例子。车辆100于路面301上行驶，在路面301上，以道路中央为顶点形成了排水坡度。在从车辆100沿光轴202的方向，观测对象与车辆100处于同一平面上，所以在光轴202的方向上，距离测定不会受到因排水坡度引起的误差的影响。另一方面，在从车辆100沿光轴201的方向上，观测对象与车辆100不处于同一平面，因此，会在观测对象处于与车辆100相同的平面上这一假设下错误地计算距离。为此，需要推算车辆100与路面301的相对关系，并基于推算结果修正推算距离。

图3的(b)是表示装载状况之一例的图。车辆100相对于路面的姿态根据车辆100的装载状况而发生变化。例如，在车辆100的后部装载了重物的情况下，如图3的(c)所示成为车辆100的前方上浮的姿态。在仅有驾驶员乘坐于车辆100的左前方座位的情况下，如图3的(d)所示成为车辆100的左侧上浮的姿态。在乘客乘坐于车辆100的驾驶座及其后方座位的情况下，为其他的姿态。像这样，车辆100的姿态根据装载状况而各种各样地发生变化。当车辆100的姿态像这样发生变化时，图3的(a)所示的车辆100与路面301的相对姿态发生变化，因此，需要包含因装载状况引起的姿态变化在内来推算车辆100与路面301的相对姿态关系，并基于推算结果修正推算距离。

图4是CPU110执行的距离推算程序150的功能模块图。图4表示距离推算程序150的各功能模块的处理顺序、功能模块之间以及功能模块与ROM111、RAM112之间的数据流。

距离推算程序150包括传感器值取得部401、第一共同拍摄区域观测部402、第二共同拍摄区域观测部403、坐标整合部404、路面模型对照部405和单目距离推算部406。与共同视场距离测定程序144对应的功能模块是第一共同拍摄区域观测部402和第二共同拍摄区域观测部403，与路面相对姿态推算程序143对应的功能模块是坐标整合部404和路面模型对照部405，与单目距离测定程序145对应的功能模块是单目距离推算部406。

传感器值取得部401取得从多个摄像机121～124输出的图像。摄像机121～124以规定的频度连续地(例如每秒30次)进行拍摄。摄像机得到的图像在每次拍摄时被发送至车载处理装置102。在此例的情况下，优选摄像机121和122以某种方法取得同步，摄像机123和摄像机124以某种方法取得同步，它们同步地进行拍摄。传感器值取得部401将摄像机121～124拍摄到的图像输出至第一共同拍摄区域观测部402和第二共同拍摄区域观测部403。之后，从第一共同拍摄区域观测部402至单目距离推算部406的处理，在每次接收到图像时被执行。

第一共同拍摄区域观测部402使用从传感器值取得部401输出的由多个摄像机121、122拍摄到的图像，测定第一共同拍摄区域211中拍摄到的路面301的三维坐标值。例如，通过图像识别提取由摄像机121的图像和摄像机122的与路面301对应的像素拍摄到的共同的对象物(例如，路面涂料的角部等作为特征点容易找到的部分)，使用摄像机121与摄像机122的已知的几何关系(例如，保存在ROM111中的经过校准的摄像机参数初始值141)进行三角测量，能够测定路面301的三维坐标值。在摄像机121和摄像机122中，在路面上的可建立对应的多个特征点计算上述的三维坐标值。关于某像素是否在路面上，可以针对摄像机参数初始值141的姿态角与路面坡度的已知关系使之具有一定程度的误差范围地进行计算，在计算得到的范围内进行判断，也可以与拍摄图像上的立体物区分地判断路面。该三维坐标值的测定也可以使用其他公知的方法。计算出的距离例如是在以摄像机121的光轴201为一个轴的摄像机坐标系中计算的。第一共同拍摄区域观测部402将计算得到的路面301的全部三维坐标值输出至坐标整合部404。第一共同拍摄区域观测部402的处理流程将参照图6进行说明。

第二共同拍摄区域观测部403使用从传感器值取得部401输出的由多个摄像机123、124拍摄到的图像，测定第二共同拍摄区域212中拍摄到的路面301的三维坐标值。第二共同拍摄区域观测部403的处理，除了拍摄图像的摄像机不同这一点，以及被拍摄的是第二共同拍摄区域212这一点之外，与第一共同拍摄区域观测部402的处理相同，因此省略详细的说明。

坐标整合部404是将从第一共同拍摄区域观测部402输出的路面301的三维坐标和从第二共同拍摄区域观测部403输出的路面301的三维坐标整合到同一坐标系的功能模块。

第一共同拍摄区域观测部402例如在摄像机121的摄像机坐标系下计算三维坐标值。另一方面，第二共同拍摄区域观测部403例如在摄像机123的摄像机坐标系下计算三维坐标值。坐标整合部404使用保存在ROM111中的经过校准的摄像机参数初始值141，将这些不同坐标系下的坐标值变换并整合到例如车辆坐标系。以车辆坐标系为目标的变换和整合，能够使用摄像机参数初始值141中的表示位置姿态关系的外部参数通过公知的坐标变换计算来进行。坐标整合后的坐标系也可以是其他坐标系。从第一共同拍摄区域观测部402和第二共同拍摄区域观测部403输出的整合了第一共同拍摄区域211和第二共同拍摄区域212而得的三维坐标值，被输出至路面模型对照部405。

路面模型对照部405使用从坐标整合部404输出的整合了第一共同拍摄区域211和第二共同拍摄区域212而得的三维坐标值，对路面模型142进行拟合，计算车辆100与路面301的相对姿态关系。包括图3的(c)、(d)所示的车辆姿态变动在内，对相对姿态关系进行计算。

路面模型142考虑以道路中央为顶点在横断方向上形成了约2～2.5％的排水坡度的道路结构，例如，由具有约2％的坡度的2个平面构成。其他路面模型后述。

在路面模型对照部405中，以使得该路面模型142与从坐标整合部404输出的整合了第一共同拍摄区域211和第二共同拍摄区域212而得的三维坐标值最一致的方式，求取路面模型142相对于车辆100的相对姿态。例如，将从坐标整合部404输出的整合了第一共同拍摄区域211和第二共同拍摄区域212而得的三维坐标值与路面模型142的路面平面之间的距离的总和设定为目标函数，以使得目标函数最小的方式计算路面模型142相对于车辆100的相对位置姿态参数。车辆100与路面模型142的相对位置姿态参数是侧倾角、俯仰角、横摆角这3个姿态角以及纵向、横向、高度的位置参数中的一个以上。为了稳定地进行推算，也可以使1个以上的参数为已知来推算其他参数。目标函数的最小化能够使用最速下降法、列文伯格-马夸尔特法(Levenberg-Marquardt Method)等公知的目标函数最小化方法。通过路面模型对照部405得到的车辆100相对于路面301的相对位置姿态参数，被作为路面相对姿态153输出至单目距离推算部406。此外，为了作为下个时刻的最优的初始值加以使用，将其作为路面相对姿态153保存在RAM112中。在下个时刻，将路面相对姿态153从RAM112读出，作为初始值来使目标函数最小化。接着，将根据新的三维坐标值得到的新的路面相对姿态作为路面相对姿态153保存在RAM112中。此外，路面模型对照部405也可以不使用路面模型而是使用其他方法求取车辆100的相对位置姿态。

单目距离推算部406使用从路面模型对照部405输出的路面相对姿态153和路面模型142，计算对象物的正确的距离。能够根据路面模型142、路面相对姿态153和摄像机参数初始值141，利用公知的几何解法计算摄像机121～124与路面301的相对关系。使用计算得到的相对关系，基于与对象物在路面上的设置点对应的像素计算对象物的距离，将其输出为推算距离。该对象物例如可以通过摄像机121～124中设置的使用了AI等的图像识别功能进行检测。对象物的距离在摄像机121～124的共同拍摄区域211、212以外的部分也能够计算，多个摄像机覆盖宽广的范围，即使在路面不平坦的情况下也能够正确地计算。

图5的(a)、图5的(b)是表示坐标整合和路面模型对照的处理的示意图。在图5的(a)、图5的(b)中表示第一共同拍摄区域观测部402、第二共同拍摄区域观测部403、坐标整合部404、路面模型对照部405的关系、它们的处理概要和它们的优点。

第一共同拍摄区域观测部402观测到的第一共同拍摄区域211中的路面301的三维坐标值501由摄像机121的摄像机坐标系表示，第二共同拍摄区域观测部403观测到的第二共同拍摄区域212中的路面301的三维坐标值502由摄像机123的摄像机坐标系表示。三维坐标值501与三维坐标值502的相对关系是不明确的。这里，坐标整合部404使用摄像机参数初始值141的外部参数，将摄像机坐标系的三维坐标值501变换为车辆100的坐标系的三维坐标值503，并将摄像机坐标系的三维坐标值502变换为车辆100的坐标系的三维坐标值504。三维坐标值503和三维坐标值504由同一坐标系表示，相对关系是明确的。路面模型对照部405通过将三维坐标值503和三维坐标值504与路面模型142进行对照，能够求取车辆100与路面301的相对关系。不仅使用车辆100的单侧的区域而是使用车辆100的两侧的区域，进而通过路面模型142的拟合来在各个共同拍摄区域个别地推算路面，由此，通过大范围的观测值和模型的约束能够稳定地进行推算，能够以高精度求取车辆100与路面的相对关系。其结果是，即使在道路不平坦的情况下，也能够提高使用多个摄像机拍摄到的图像的情况下的测距精度。

图5的(c)、图5的(d)、图5的(e)是表示路面模型142之一例的图。图5的(c)是坡度2％的2个平面连接而成的形状的模型。图5的(d)是坡度2％的2个平面的顶部为曲面的形状的模型。图5的(e)是为了应对路面顶部的各种形状、路面平面的宽度而将路面顶部和路面的宽度排除了的形状的模型。关于靠近排除了的部分的对应点，通过在路面与三维坐标值的对照时不使其包含在目标函数的误差总和中，能够灵活地进行对照。此外，在单侧为3车道、存在中央分离带的高速道路等中，还存在单侧3车道整体为平面的情形。图5的(c)～图5的(e)的路面模型142也能够应对整体为一个平面的情形。即，使路面模型142向左或右大幅度地滑动，则整个观测范围成为平坦的路面。此处所示的例子表示了按照道路横断坡度的形状连接2个平面的模型的例子，但是也可以是连接2个以上的多个平面的形状的模型。

图6是第一共同拍摄区域观测部402执行的处理的流程图。在第一共同拍摄区域观测部402中，每次从传感器值取得部401接收到图像时，CPU110执行以下的各步骤的处理。

在特征点检测步骤601中，根据从传感器值取得部401得到的2个图像的各个图像，检测图像中的有特征性的点即特征点(例如，路面涂料的角点)。检测范围是2个图像的共同拍摄区域内的路面。关于某像素在共同拍摄区域内是否在路面上，可以针对摄像机参数初始值141的姿态角与路面坡度的已知关系使之具有一定程度的误差范围地进行计算并在计算得到的部分进行判断，也可以区分拍摄到的图像上的立体物和路面进行判断。特征点能够使用哈里斯算子(Harris operator)等公知的特征点提取技术进行检测。此外，也可以通过ORB等公知技术附加表达特征点的信息，在下一个特征点对应步骤中使用。接着前进至步骤602。

在特征点对应步骤602中，从特征点检测步骤601得到的2个图像各自的特征点之中，使表示同一对象的点建立对应(关联)。例如，使用步骤601中按每个特征点得到的特征点信息使特征点建立对应。具体而言，从一个图像中选择特征点信息与另一个图像的特征点最接近的特征点，使2个特征点建立对应。为了提高特征点坐标和特征点的对应精度可以使用公知的所有技术。接着前进至步骤603。

在距离测定步骤603中，使用步骤602得到的2个图像间的对应关系计算各点的三维距离。在三维距离的计算中，能够使用根据保存在ROM111中的摄像机参数初始值141得到的2个摄像机121与122的几何关系，对对应的2个坐标点应用三角测量的原理进行计算。此处在说明上，以摄像机121为基准计算从摄像机121观察的距离，但也可以以摄像机122为基准进行计算。在此情况下，只要按照后续处理中作为基准的摄像机进行几何计算就没有问题。为了确保精度，也可以使用公知的所有技术进行计算。接着前进至步骤604。

在三维坐标计算步骤604中，根据步骤603得到的摄像机121的图像上的坐标和距离计算三维坐标值。能够使用摄像机参数初始值141通过公知的几何计算，根据图像上的坐标和距离计算三维坐标。这里计算的三维坐标是摄像机121的摄像机坐标。输出各点的三维坐标，结束流程图。

上面参照图6说明了第一共同拍摄区域观测部402执行的处理，第二共同拍摄区域观测部403执行的处理也相同，仅摄像机图像以及相应的摄像机参数等不同。

＜变形例1＞

图7的(a)、图7的(b)是表示坐标整合和路面模型对照的处理的变形例的示意图。在图7的(a)、图7的(b)中表示第一共同拍摄区域观测部402、第二共同拍摄区域观测部403、坐标整合部404、路面模型对照部405的关系、它们的处理概要和它们优点。图7的(a)、图7的(b)是图5的(a)、图5的(b)的变形例，省略共同部分的说明，说明不同之处。

三维坐标值701是在第一共同拍摄区域211观测到的、由摄像机121的摄像机坐标系表示的立体物的三维坐标值。坐标整合部404使用摄像机参数初始值141的外部参数，将立体物的三维坐标值701变换为车辆100的坐标系的三维坐标值702。可以不仅使用三维坐标值503和504还使用三维坐标值702与路面模型142进行对照。在此情况下，认为三维坐标值702是垂直排列的，以垂直的情况下评价值变高的方式设计路面模型142的目标函数。

图8是第一共同拍摄区域观测部402执行的处理的流程图，与图7所示的变形例对应。图8的流程图与图6的流程图大致相同，所以省略共同部分的说明，说明不同之处。

在路面/立体物分离步骤801中，在共同拍摄区域的观测点之中，将路面上的观测点与立体物的观测点分离。例如，可以使用基于AI等的图像识别，对被识别为护栏、电线杆等杆等的点附上立体物的标签，对被识别为路面涂料的点附上路面上的点的标签，将观测点分离。同样地，对于立体物，按每一个立体物附上不同的标签进行分组。对该分组后的点进行矩形拟合，赋予矩形信息。所赋予的矩形信息在后续的路面模型对照部405中用于设定在该矩形与路面模型142正交的情况下成为最小的目标函数。将此处赋予了标签的三维坐标点输出，结束流程图。

上面参照图8说明了第一共同拍摄区域观测部402执行的处理，第二共同拍摄区域观测部403执行的处理也相同，仅摄像机图像以及相应的摄像机参数等不同。

＜变形例2＞

图9的(a)、图9的(b)是表示坐标整合和路面模型对照的处理的进一步变形例的示意图。在图9的(a)、图9的(b)中表示第一共同拍摄区域观测部402、第二共同拍摄区域观测部403、坐标整合部404、路面模型对照部405的关系、它们的处理概要和它们的优点。图9的(a)、图9的(b)是图7的(a)、图7的(b)的变形例，省略共同部分的说明，说明不同之处。

三维坐标值901是在第一共同拍摄区域211中，在三维坐标值501和701的下一个时刻观测到的立体物的三维坐标值。即，在短时间内车辆100的姿态没有大幅变化这一前提下，将第一共同拍摄区域211的观测点按时间序列整合。同样，三维坐标值902是在第二共同拍摄区域212中，在三维坐标值502的下一个时刻观测到的立体物的三维坐标值，是将第二共同拍摄区域212的坐标点按时间序列整合得到的。这里，通过坐标整合部404使用摄像机参数初始值141的外部参数，将三维坐标值901、902变换为车辆100的坐标系。不仅使用三维坐标值503和504，还使用三维坐标值702、901、902与路面模型142进行对照。在此情况下，认为三维坐标值901、902也是垂直排列的，以垂直的情况下评价值变高的方式设计路面模型142的目标函数。

根据该变形例，不仅使用车辆100的两侧的在某时间点观测到的路面点、立体物的点，还使用时间序列的路面点、立体物点，进而通过路面模型142的拟合来在各个共同拍摄区域个别地推算某时间点的观测值，由此，通过大范围的观测值和模型的约束能够稳定地进行推算，能够以高精度求取车辆100与路面的相对关系。其结果是，即使在道路不平坦的情况下，也能够提高使用多个摄像机拍摄到的图像的情况下的测距精度。

图10是CPU110执行的距离推算程序150的功能模块图，与图9所示的变形例对应。图10表示距离推算程序150的各功能模块的处理顺序、功能模块之间以及功能模块与ROM111、RAM112之间的数据流。图10的功能模块图与图4的功能模块图大致相同，因此省略共同部分的说明，说明不同之处。

距离推算程序150包括传感器值取得部401、第一共同拍摄区域观测部402、第二共同拍摄区域观测部403、坐标整合部404、时间序列整合部1001、路面模型对照部405、单目距离推算部406和里程(odometry)推算部1002。时间序列整合部1001是与路面相对姿态推算程序143对应的功能模块的一个，对于从坐标整合部404输出的整合了第一共同拍摄区域211和第二共同拍摄区域212而得的三维坐标值，按时间序列进行整合。在短时间内车辆100的姿态没有大幅变化这一前提下，将三维坐标值整合。在整合时，取得从上一个时刻至当前时刻的期间中车辆100的移动量，根据车辆移动量利用公知的几何计算来计算摄像机的移动量，由此能够将三维坐标值整合。车辆移动量通过后述的里程推算部1002取得。在第一次时，将坐标整合部404的输出写入并记录在RAM112中，在下一次及之后，从RAM112中读取上一个时刻记录的点云，加上从坐标整合部404新得到的车辆100的坐标系的点云后加以保存。整合的时间范围能够作为参数进行调节。整合后的三维坐标值被输出至路面模型对照部405和RAM112。

里程推算部1002使用从车速传感器131和舵角传感器132发送的车辆100的速度和舵角，推算车辆100的运动。例如，可以使用公知的航位推算法，可以基于利用了摄像机的公知的视觉里程(Visual Odometry)技术进行推算，也可以一并使用公知的卡尔曼滤波器等。将车辆运动推算结果输出至时间序列整合部1001。

＜变形例3＞

图11是表示搭载了本发明的变形例的传感装置101的车辆100的结构的框图。图11所示的传感装置101与图1所示的传感装置101大致相同，因此省略共同部分的说明，说明不同之处。

图11所示的传感装置101在图1所示的传感装置101上追加搭载了摄像机1101、摄像机1102和车辆控制装置1180。摄像机1101和摄像机1102与摄像机121～124同样地安装在车辆100的周围，对车辆100的周围进行拍摄。摄像机1101、1102的安装方法后述。摄像机1101、1102的拍摄范围包含车辆100行驶的路面。摄像机1101、1102与车辆100之间的位置和姿态的关系被作为摄像机参数初始值141保存在ROM111中。摄像机1101、1102包括透镜和摄像元件。摄像机1101、1102的特性，例如表示透镜的畸变的透镜畸变系数、光轴中心、焦距、摄像元件的像素数、尺寸等也作为摄像机参数初始值141保存在ROM111中。

车辆控制装置1180使用从CPU110输出的信息，例如从距离推算程序1150输出的路面相对姿态153，对操舵装置、驱动装置、和制动装置、主动悬架等进行控制。操舵装置对车辆100的转向装置进行操作。驱动装置对车辆100提供驱动力。驱动装置例如增大车辆100的发动机的目标转速而增大车辆100的驱动力。制动装置对车辆100施加制动力。主动悬架例如通过油圧、气压等动作的致动器进行伸缩或弹簧的阻尼力的强弱调节等，能够改变行驶中的各种设备的动作。

图12是表示图11所示的变形例的传感装置101中的车辆100、摄像机121～124、1101、1102、摄像机121的光轴201、摄像机122的光轴202、摄像机123的光轴203、摄像机124的光轴204、摄像机1101的光轴1201、摄像机1102的光轴1202与第一共同拍摄区域211、第二共同拍摄区域212、第三共同拍摄区域1213、第四共同拍摄区域1214、第五共同拍摄区域1215、第六共同拍摄区域1216的关系之一例的图。

摄像机1101安装在车辆100的前方，以拍摄光轴1201的方向并且与摄像机122、124具有共同的拍摄区域的方式选定摄像机视场角等。摄像机1101与摄像机122的共同拍摄区域为第三共同拍摄区域1213，摄像机1101与摄像机124的共同拍摄区域为第四共同拍摄区域1214。摄像机1102安装在车辆100的后方，以拍摄光轴1202的方向并且与摄像机121、123具有共同拍摄区域的方式选定摄像机视场角等。摄像机1102与摄像机121的共同拍摄区域为第五共同拍摄区域1215，摄像机1102与摄像机123的共同拍摄区域为第六共同拍摄区域1216。在各共同拍摄区域中拍摄到路面、立体物。进一步，为了还能够作为用于显示车辆100周围的俯视图的周边视场摄像机发挥作用，可以选择视角、角度等匹配的摄像机。各共同拍摄区域211、212、1213～1216的拍摄结果，被用于推算路面与车辆100的相对姿态。在图12所示的变形例中，能够通过更大范围的观测值稳定地进行推算，能够以高精度求取车辆100与路面的相对关系。其结果是，即使在道路不平坦的情况下，也能够提高使用多个摄像机拍摄到的图像的情况下的测距精度。

图13是CPU110执行的距离推算程序150的功能模块图，与图11所示的变形例对应。图13表示距离推算程序150的各功能模块的处理顺序、功能模块之间以及功能模块与ROM111、RAM112之间的数据流。图13的功能模块图与图10的功能模块图大致相同，因此省略共同部分的说明，说明不同之处。

图13所示的共同视场距离测定程序144包括第一共同拍摄区域观测部402、第二共同拍摄区域观测部403、第三共同拍摄区域观测部1313、第四共同拍摄区域观测部1314、第五共同拍摄区域观测部1315和第六共同拍摄区域观测部1316。此外，共同视场距离测定程序144从摄像机121～124、摄像机1101、1102输入图像。

第三共同拍摄区域观测部1313使用从传感器值取得部401输出的由多个摄像机122、1101拍摄到的图像，测定第三共同拍摄区域1213中拍摄到的路面301的三维坐标值。第四共同拍摄区域观测部1314使用从传感器值取得部401输出的多个摄像机124、1101拍摄到的图像，测定第四共同拍摄区域1214中拍摄到的路面301的三维坐标值。第五共同拍摄区域观测部1315使用从传感器值取得部401输出的由多个摄像机121、1102拍摄到的图像，测定第五共同拍摄区域1215中拍摄到的路面301的三维坐标值。第六共同拍摄区域观测部1316使用从传感器值取得部401输出的由多个摄像机123、1102拍摄到的图像，测定第六共同拍摄区域1216中拍摄到的路面301的三维坐标值。从各个共同拍摄区域观测部输出的三维坐标值由各个摄像机的摄像机坐标系表示，使用摄像机参数初始值141的外部参数，将摄像机坐标系的三维坐标值变换为车辆100的坐标系的三维坐标值。

车辆控制部1320接收作为路面模型对照部405的输出的路面相对姿态153，控制车辆100。车辆控制的一个例子是，控制主动悬架以降低根据路面相对姿态153得到的车辆100的侧倾角、俯仰角的影响，从而改善乘坐舒适度等。也可以根据其他的车辆100的姿态角控制车辆100。

如以上说明的那样，本发明实施例的传感装置101包括：第一共同拍摄区域观测部402，其根据由具有共同拍摄区域的至少第一传感器(摄像机121)和第二传感器(摄像机122)取得的共同拍摄区域的信息，对本车周边的第一共同拍摄区域211进行观测；第二共同拍摄区域观测部403，其根据由具有共同拍摄区域的至少第三传感器(摄像机123)和第四传感器(摄像机124)取得的共同拍摄区域的信息，对与第一共同拍摄区域211不同的第二共同拍摄区域212进行观测；坐标整合部404，其将各传感器的几何关系与第一共同拍摄区域211和第二共同拍摄区域212中观测到的信息的坐标整合；和路面推算部(路面模型对照部405)，其基于根据整合后的坐标计算出的点云信息，推算包含本车的俯仰角和侧倾角的、各传感器相对于路面的相对姿态，因此，能够降低道路坡度、车辆姿态的影响，提高距离测定精度。此外，能够提高利用多个摄像机进行双目测距时的精度。

此外，共同拍摄区域被配置在传感器的光轴相交的位置，所以能够使用光轴附近的畸变少的影像正确地修正道路坡度、车辆姿态的影响。

此外，路面推算部(路面模型对照部405)具有将所述路面的点云信息与路面模型对照的路面模型对照部405，路面模型对照部405以使得路面的点云信息与路面模型142之间的误差减小的方式将路面的点云信息拟合到路面模型142，因此能够正确地修正道路坡度、车辆姿态的影响。

此外，第一共同拍摄区域观测部402和第二共同拍摄区域观测部403将路面点云信息与表示位于路面上的物体的物体点云信息分离(801)，路面推算部(路面模型对照部405)以路面点云信息与路面之间的误差减小、物体点云信息垂直排列的方式与路面模型进行对照，因此不会产生大的错误，能够正确地修正道路坡度、车辆姿态的影响。

此外，路面推算部(路面模型对照部405)具有将第一共同拍摄区域观测部的输出按时间序列整合，且将第二共同拍摄区域观测部的输出按时间序列整合的时间序列整合部1001，因此能够正确地修正道路坡度、车辆姿态的影响，提高路面推算的稳健性。

此外，接收由6个所述传感器取得的信息，路面推算部(路面模型对照部405)基于所述6个传感器中的2个传感器的组合的共同拍摄区域中被观测到的信息的坐标经过整合而计算出的点云信息，推算包含本车的俯仰角、车辆侧倾角的、各个传感器相对于路面的相对姿态，因此能够使用较多的传感器、使用大范围的信息，能够正确地修正道路坡度、车辆姿态的影响。此外，能够提高使用多个摄像机进行双眼测距时的精度，提高路面推算的稳健性。

此外，本发明不限于前述的实施例，包括要求保护的技术方案的技术思想内的各种变形例和等同的结构。例如，前述的实施例为了容易理解地说明本发明而进行了详细说明，本发明并不限定于一定具有所说明的全部结构。可以将一个实施例的结构的一部分置换成其他实施例的结构。此外，也可以在一个实施例的结构上增加其他实施例的结构。此外，对于各个实施例的结构的一部分，也可以进行其他结构的增加、删除、置换。

此外，也可以构成为，传感装置101具有未图示的输入输出接口，在需要时经输入输出接口和传感装置101可利用的介质从其他装置读入程序。此处，所谓介质例如是指能够在输入输出接口插拔的存储介质或通信介质，即有线、无线、光等网络，或在该网络传输的传输波、数字信号。

此外，前述的各结构、功能、处理部、处理手段等的一部分或全部例如可以通过利用集成电路设计等而用硬件实现，也可以由处理器解释并执行实现各自的功能的程序从而用软件实现。此外，通过程序实现的功能的一部分或全部也可以通过硬件电路、FPGA实现。

实现各功能的程序、表、文件等信息能够保持在存储器、硬盘、SSD(Solid StateDrive)等存储装置中，或IC卡、SD卡、DVD等记录介质中。

此外，控制线、信息线表示了说明所需的部分，并不一定表示了所需的全部控制线、信息线。实际上，可以认为所有的结构相互连接。

Claims (11)

1.一种传感装置，其特征在于，包括：

第一共同拍摄区域观测部，其根据由具有共同拍摄区域的至少第一传感器和第二传感器取得的所述共同拍摄区域的信息，对本车周边的第一区域进行观测；

第二共同拍摄区域观测部，其根据由具有共同拍摄区域的至少第三传感器和第四传感器取得的所述共同拍摄区域的信息，对与所述第一区域不同的第二区域进行观测；

坐标整合部，其将各所述传感器的几何关系与所述第一区域和所述第二区域中观测到的信息的坐标整合；和

路面推算部，其基于根据整合后的所述坐标计算出的点云信息，推算包括本车的俯仰角和侧倾角的、各传感器相对于路面的相对姿态。

2.如权利要求1所述的传感装置，其特征在于：

所述共同拍摄区域被配置在所述传感器的光轴相交的位置。

3.如权利要求1所述的传感装置，其特征在于：

所述路面推算部对所述路面的点云信息与路面模型进行对照。

4.如权利要求3所述的传感装置，其特征在于：

所述路面推算部以使得所述路面的点云信息与路面模型之间的误差减小的方式，将所述路面的点云信息拟合至路面模型。

5.如权利要求1所述的传感装置，其特征在于，包括：

距离测定部，其参照根据推算得到的所述相对姿态计算出的修正值来进行测距。

6.如权利要求1所述的传感装置，其特征在于：

所述第一共同拍摄区域观测部和所述第二共同拍摄区域观测部将路面点云信息与表示位于路面上的物体的物体点云信息分离。

7.如权利要求6所述的传感装置，其特征在于：

所述路面推算部以使得所述路面点云信息与路面之间的误差减小、所述物体点云信息垂直地排列的方式，与路面模型进行对照。

8.如权利要求1所述的传感装置，其特征在于，包括：

时间序列整合部，其将所述第一共同拍摄区域观测部的输出按时间序列整合，并将所述第二共同拍摄区域观测部的输出按时间序列整合。

9.如权利要求1所述的传感装置，其特征在于：

所述第一共同拍摄区域观测部取得所述本车的行进方向左侧的信息，

所述第二共同拍摄区域观测部取得所述本车的行进方向右侧的信息。

10.如权利要求1所述的传感装置，其特征在于：

接收由6个传感器取得的信息，

所述路面推算部，基于所述6个传感器中的2个传感器的组合的共同拍摄区域中被观测到的信息的坐标经过整合而计算出的点云信息，推算包括本车的俯仰角、车辆侧倾角的、各传感器相对于路面的相对姿态。

11.一种车辆控制装置，其特征在于，包括：

第一共同拍摄区域观测部，其根据由具有共同拍摄区域的至少第一传感器和第二传感器取得的所述共同拍摄区域的信息，对本车周边的第一区域进行观测；

第二共同拍摄区域观测部，其根据由具有共同拍摄区域的至少第三传感器和第四传感器取得的所述共同拍摄区域的信息，对与所述第一区域不同的第二区域进行观测；

坐标整合部，其将各所述传感器的几何关系与所述第一区域和所述第二区域中观测到的信息的坐标整合；和

路面推算部，其基于根据整合后的所述坐标计算出的点云信息，推算包括本车的俯仰角和侧倾角的、各传感器相对于路面的相对姿态，

并且，使用推算得到的所述相对姿态对车辆进行控制。