CN110574357A - 成像控制设备、用于控制成像控制设备的方法以及移动体 - Google Patents

Abstract

本公开涉及：能够提高安装在车辆中的立体相机的距离测量精度的成像控制装置；用于成像控制装置的控制方法；以及移动体。构成立体相机系统的一组相机被设置在车身的侧面，所述相机被在垂直于路面的方向上并排设置。此外，从成像得到的像素信号被按从前侧像素行开始的顺序并且在每个像素行中逐像素垂直地从成阵列的像素行依次读取。本公开可以应用于车内系统。

Description

成像控制设备、用于控制成像控制设备的方法以及移动体

技术领域

本公开涉及成像控制设备、用于控制成像控制设备的方法以及移动体，并且具体地，涉及可以使用沿垂直方向布置的一组相机以高精度实现距离测量的成像控制设备、用于控制成像控制设备的方法以及移动体。

背景技术

近年来，注意力已经集中在对车辆周边进行成像并使用成像的图像进行自动驾驶和驾驶辅助的技术上。

在所提出的技术(参见专利文献1)中，例如，立体相机系统被安装在车辆中。立体相机系统包括沿左右水平方向布置的一组相机，并且使用相同被摄体在一组图像中的偏移来测量到被摄体的距离。由于相机之间的视差，发生相同被摄体的偏移。

引用列表

专利文献

[PTL 1]

日本专利公开No.2013-070177

发明内容

技术问题

顺便提及，根据PTL1的立体相机系统利用在车辆的前端部分沿水平方向布置的一组相机监视前方。然而，为了使配置有利于从车辆的前端部分进行侧面监视，可以想到通过沿垂直方向布置的一组相机实现用于监视侧面的立体相机系统。

然而，在根据PTL 1的立体相机系统中包括的相机中，以行为单位沿垂直方向依次读取布置成阵列的像素的像素信号，并且对于每个行沿水平方向依次读取像素信号。

由于这个原因，当被摄体在相机的视野内沿水平方向移动时，像素信号的读取定时的偏移以行为单位发生，因此所谓的焦平面失真发生，其中应该存在于水平方向上相同位置的被摄体偏移。

此外，沿垂直方向布置的一组相机在垂直方向上产生视差。因此，在要成像的两个图像中，被摄体被在垂直方向上的偏移位置处成像。这使得像素信号的读取定时不同，从而使应该存在于相同位置的被摄体在水平方向上偏移。

结果，存在这样的风险：在由沿垂直方向布置的一组相机成像的两个图像中，不能将相同的被摄体识别为水平方向上的相同位置处的被摄体，并且不能执行距离测量。

因此，可以想到通过添加用于校正焦平面失真以及被摄体在由该组相机成像的图像之间沿水平方向上的偏移的配置来实现距离测量。然而，添加校正所需的配置会导致复杂的设备配置和增加的成本。

鉴于上述情况做出了本公开，并且特别是使用沿垂直方向布置的一组相机以高精度实现距离测量。

问题的解决方案

根据本公开的一个方面的成像控制设备包括：安装在移动体中并构成立体相机系统的一组相机；以及检测部，被配置为基于由所述一组相机成像的图像来检测到检测范围中的观察点的距离，其中，所述一组相机在所述移动体的侧面上，在相对于路面的垂直方向上并排布置，并且被配置为以布置成阵列的像素为单位沿垂直方向依次读取成像像素信号。

所述一组相机中的每一个可以按照从移动体的前侧的像素列开始的顺序，针对每列沿垂直方向依次读取像素信号。

所述一组相机中的每一个可以按照从移动体的前侧的像素列开始的顺序，针对每列在垂直方向上、沿从下到上的方向或沿从上到下的方向依次读取像素信号。

所述一组相机可以在移动体的左侧面和右侧面中的每一个上，在相对于路面的垂直方向上并排布置，并且移动体的左侧和右侧中的每一个上的所述一组相机可以按照从所述移动体的前侧的像素列开始的顺序，针对每列在垂直方向上、沿从下到上的方向或沿从上到下的方向依次读取像素信号。

所述一组相机可以在移动体的左侧面和右侧面中的每一个上，在相对于路面的垂直方向上并排布置，并且移动体的左侧和右侧之一上的所述一组相机可以按照从所述移动体的前侧的像素列开始的顺序，针对每列在垂直方向上、沿从下到上的方向依次读取像素信号，而在左侧面和右侧面中的另一个上的所述一组相机可以按照从所述移动体的前侧的像素列开始的顺序，针对每列在垂直方向上、沿从上到下的方向依次读取像素信号。

所述一组相机可以在所述移动体的前方的左右中的每一个的侧面、所述移动体的中央左侧和中央右侧中的每一个的侧面、以及所述移动体的后方的左右中的每一个的侧面中的至少任一个侧面上并排布置，从而使得在相对于路面的垂直方向上发生视差。

在所述一组相机在所述移动体的前方的左右中的每一个的侧面上或者在所述移动体的后方的左右中的每一个的侧面上，在相对于路面的垂直方向上并排布置的情况下，每个相机可以包括具有比预定角度窄的角度的相机。

在所述一组相机在所述移动体的中央左侧和中央右侧中的每一个的侧面上，在相对于道路的垂直方向上并排布置的情况下，每个相机可以包括具有比预定角度宽的角度的相机。

相机的像素可以以阵列布置，使得水平方向上的宽度大于垂直方向上的宽度。

相机的像素可以以阵列布置，使得水平方向上的宽度与垂直方向上的宽度的比率为大约16:9或大约4:3。

根据本公开的一个方面的用于控制成像控制设备的信息包括用于控制包括检测部的成像控制设备的方法，其中所述检测部被配置为基于由安装在移动体中并构成立体相机系统的一组相机成像的图像来检测到检测范围中的观察点的距离，所述方法包括通过在所述移动体的侧面上，在相对于路面的垂直方向上并排布置的所述一组相机以布置成阵列的像素为单位沿垂直方向依次读取成像像素信号的步骤。

根据本公开的一个方面的移动体包括：安装在所述移动体中并构成立体相机系统的一组相机；以及被配置为基于由所述一组相机成像的图像来检测到检测范围中的观察点的距离的检测部。所述一组相机在所述移动体的侧面上，在相对于路面的垂直方向上并排布置，并且被配置为以布置成阵列的像素为单位沿垂直方向上依次读取成像像素信号。

根据本公开的一个方面，基于由安装在移动体中并构成立体相机系统的一组相机成像的图像来检测到检测范围中的观察点的距离，并且所述一组相机在所述移动体的侧面上，在相对于路面的垂直方向上并排布置，并且被配置为以布置成阵列的像素为单位沿垂直方向上依次读取成像像素信号。

发明的有益效果

根据本公开的一个方面，特别能够使用沿垂直方向布置的一组相机以高精度实现距离测量。

附图说明

图1是描绘应用本技术的车内系统的实施例的框图。

图2是描绘相机的安装位置的示例的图。

图3是描绘立体相机系统的外观的示例的图。

图4是描绘成像控制部的配置的示例的框图。

图5是描绘立体距离测量部的配置的框图。

图6是说明通过立体相机系统的距离测量原理的图。

图7是说明通过立体相机系统的相机的焦平面失真的图。

图8是说明根据本公开的立体相机系统的相机读取像素信号的顺序的示例的图。

图9是说明根据本公开的立体相机系统的相机读取像素信号的顺序的示例的图。

图10是描绘显示部的安装位置的示例的图。

图11是用于说明周围监视处理的流程图。

图12是说明获得传感器信息的处理的流程图。

图13是描绘立体相机系统的外观配置的修改的图。

图14是描绘立体相机系统的外观配置的修改的图。

图15是说明根据本公开的立体相机系统的相机读取像素信号的顺序的另一示例的图。

图16是描绘车辆控制系统的示意性配置的示例的框图。

图17是辅助说明车外信息检测部和成像部的安装位置的示例的图。

具体实施方式

在下文中，将参考附图详细描述本公开的优选实施例。顺便提及，在本说明书和附图中，具有基本相同的功能配置的组件将被分配相同的附图标记，并且将省略多余的描述。

在下文中，将描述用于执行本技术的模式。将按以下顺序进行描述。

1.实施例

2.修改

3.应用示例

<<1.实施例>>

<1-1.车内系统的配置示例>

图1是描绘应用本技术的车内系统的实施例的框图。

车内系统1是安装在车辆中并执行驾驶辅助的系统。例如，车内系统1监视车辆的周围环境并执行用于防止与周围车辆、自行车、人等的碰撞或接触的处理。更具体地，车内系统1例如提供碰撞或接触风险的通知，并控制用于避免碰撞或接触的制动设备，诸如制动系统。

顺便提及，安装车内系统1的车辆不受特别限制，并且例如包括三轮卡车、小型卡车、小型客车、大型客车、大型公共汽车、大型卡车、大型特种车辆和小型特种车辆。另外，在下文中，包括车内系统1的车辆也将被称为自我车辆，而除了自身车辆之外的车辆也将被称为另一车辆。

车内系统1包括相机系统10、成像控制部11、车辆信息传感器12、信息处理部13、显示部14、制动控制部15和制动设备16。

相机系统10是布置在车辆主体的前方的左右的侧面部分中的每个上的立体相机。立体相机包括沿相对于路面的垂直方向布置的一组相机。相机系统10将通过对车辆的侧部成像获得的图像输出到成像控制部11。顺便提及，稍后将参照图4描述相机系统10的细节。

顺便提及，在下文中，由相机系统10成像的图像将被称为周围图像，并且表示周围图像的数据将被称为周围图像数据。

成像控制部11基于由相机系统10成像的周围图像测量到各个周围图像中的被摄体(目标物体)的距离作为距离数据，并且将距离数据与周围图像数据一起输出到信息处理部13。

车辆信息传感器12包括用于检测自我车辆的动作的各种类型的传感器。例如，车辆信息传感器12包括速度传感器、转向角传感器和GPS(全球定位系统)接收器。车辆信息传感器12将表示每个检测结果的数据(以下称为车辆传感器数据)提供给动作预测部32。

例如，信息处理部13包括ECU(电子控制单元)。信息处理部13包括周围状况检测部31、动作预测部32、碰撞预测部33和HMI(人机界面)控制部34。

周围状况检测部31基于周围图像数据和距离数据检测自我车辆的周围状况。周围状况检测部31包括空间生成部41和移动体检测部42。

空间生成部41基于周围图像数据和距离数据生成示出自我车辆周围的物体的形状、位置等的三维空间地图。空间生成部41将三维空间地图提供给动作预测部32和HMI控制部34。另外，空间生成部41将周围图像数据提供给HMI控制部34。

移动体检测部42基于周围图像数据和三维空间地图检测自我车辆周围的移动体。移动体检测部42将移动体的检测结果提供给动作预测部32和HMI控制部34。

动作预测部32基于车辆传感器数据预测自我车辆的动作。另外，动作预测部32基于三维空间地图和移动体的检测结果预测自我车辆周围的移动体的动作。动作预测部32将自我车辆和自我车辆周围的移动体的动作的预测结果提供给碰撞预测部33和HMI控制部34。

碰撞预测部33基于自我车辆和自我车辆周围的移动体的动作的预测结果来预测自我车辆周围的移动体的碰撞。碰撞预测部33将碰撞预测结果提供给HMI控制部34和制动控制部15。

HMI控制部34控制自我车辆的HMI。例如，HMI控制部34基于三维空间地图、自我车辆周围的移动体的检测结果、以及自我车辆周围的移动体的动作预测和碰撞预测的结果，生成用于显示周围监视图像的周围监视图像数据。周围监控图像示出了自我车辆的周围状况。HMI控制部34将周围监视图像数据提供给显示部14，从而使显示部14显示周围监视图像。在这种情况下，HMI控制部34起图像处理部的作用。

例如，显示部14包括各种类型的显示器。在HMI控制部34的控制下，显示部14显示各种类型的图像，诸如周围监视图像。

例如，制动控制部15包括ECU(电子控制单元)。例如，制动控制部15基于来自碰撞预测部33的碰撞预测结果来控制制动设备16，以进行自我车辆的紧急停止。

例如，制动设备16包括自我车辆的制动系统。

<1-2.相机的布置示例>

图2描绘了构成相机系统10的立体相机系统的布置示例。

例如，立体相机系统111A被布置在车辆100的前保险杠的前方左侧面部分上。立体相机系统111A对位于车辆100的左侧的包括作为驾驶员的盲点的区域的检测范围112A进行成像，并且将表示作为成像结果获得的图像(以下称为左图像)的图像数据提供给成像控制部11。

例如，立体相机系统111B被布置在车辆100的前保险杠的前方右侧面部分上。立体相机系统111B对位于车辆100的右方向上的包括作为驾驶员的盲点的区域的检测范围112B进行成像，并且将表示作为成像结果获得的图像(以下称为右图像)的图像数据提供给成像控制部11。

顺便提及，在下文中，在立体相机系统111A和111B不需要彼此特别区分的情况下，立体相机系统111A和111B也将被简称为立体相机系统111，并且其他配置也将以类似的方式提及。

<1-3.相机的详细外观配置示例>

如图3所示，立体相机系统111A包括两个相机131A和132A作为一组。相机131A和132A在车辆100的前方左侧面上沿垂直方向(即，纵向方向)并排布置。也就是说，相机131A和132A被布置在垂直于基准面(路面101)的平面中，从而使得在高度(垂直)方向上发生视差。

顺便提及，尽管立体相机系统111A仅安装在图3中的车辆100的左侧，但包括相机131B和132B的立体相机系统111B实际上也以类似的方式安装在右侧。

相机131A的光轴和相机132A的光轴在与图3中穿过相机131A和相机132A的虚线垂直的方向(图中的正面方向)上定向。图3中垂直于路面101并且穿过立体相机系统111的中央点的虚线与路面101上的点T相交。也就是说，点T是路面101上的紧接在立体相机系统111A下方(即，紧接在车辆100下方)的点。

<1-4.成像控制部的配置>

接下来，将参考图4中的框图描述成像控制部11的详细配置。

相机系统10包括立体相机系统111A和111B。立体相机系统111A包括相机131A和相机132A。

类似地，立体相机系统111B包括相机131B和132B。

由相机131A和132A成像的图像的图像数据被提供给立体距离测量部151A。由成像部131B和132B成像的图像的图像数据被提供给立体距离测量部151B。

成像控制部11包括立体距离测量部151A和151B以及集成部152。

立体距离测量部151A测量到车辆100左侧的检测范围112A(图2)中的被摄体(目标物体)的距离，并将该距离输出到集成部152。立体距离测量部151B测量到车辆100右侧的检测范围112B中的被摄体(目标物体)的距离，并将该距离输出到集成部152。

集成部152获得并集成立体距离测量部151A和151B的输出，以掌握车辆100的整个周边的状态并将其作为周围图像数据和距离数据输出到周围状况检测部31。

<1-5.立体距离测量部的配置>

接下来，将参考图5中的框图描述图4中的立体距离测量部151的配置的示例。

立体距离测量部151包括图像校正部171和172以及立体图像处理部173。立体相机系统111的相机131和132的每个输出被提供给图像校正部171和图像校正部172中的相应一个，其中校正镜头像差等作为预处理。例如，在相机131和132包括广角镜头并且可以以比普通相机更宽的视角对各个检测范围进行成像的情况下，成像图像包括失真。为了计算距离，图像校正部171和172中的每一个校正失真并执行通过在平面上投影图像来形成平面图像的处理。立体图像处理部173从图像校正部171和图像校正部172的输出检测到目标物体的距离。也就是说，立体图像处理部173从其他图像检测在由相机131和132成像的图像之一中描绘的目标物体，并根据位置偏移计算距离。

顺便提及，广角相机例如是以35mm转换的包括35mm或更小的镜头、特别是28mm或更小的镜头的相机。或者，广角相机可以是例如能够以60度或更大、特别是120度或更大、或150度或更大的视角成像的相机。视角也可以是180度或更大。特别是，可以采用具有宽视角的广角镜头。或者，相机可以包括鱼眼镜头(fθ镜头)或者可以是鱼眼相机，或者可以包括超广角镜头，或者可以是称为超广角相机等的相机。

<1-6.立体相机系统的坐标系>

接下来，将参考图6描述立体相机系统111的坐标系。立体相机系统111的坐标系定义如图6所示。

假设包括沿垂直方向布置的两个相机131和132的立体相机系统111的一个相机131的中央点为Oa，而假设另一个相机132的中央点为Ob。假设中央点Oa与中央点Ob之间的中点(即，立体相机系统111的中央点)为O。假设用于成像的目标点为P。假设中央点Oa和中央点Ob之间的距离(基线长度)为L。假设直线141和直线144之间的角度中，图中下侧的角度(直线141和直线144在低于中央点O的一侧的线段之间的角度)为θ。直线141连接目标点P和中央点O。直线144穿过中央点Oa和中央点Ob。也就是说，角度θ是用于成像的目标点P和立体相机系统111之间的角度。顺便提及，目标点表示要成像的目标物体(被摄体)，即，要被监视的目标物体(被摄体)。例如，目标点将车辆100的周边的人、障碍物、另一车辆等意性地表示为一个点。

假设直线144与连接目标点P和中央点Oa的直线142之间的角度中，图中下侧的角度(图中在直线142与直线144的在低于中央点Oa的一侧的线段之间的角度)为θa。假设直线144与连接目标点P和中央点Ob的直线143之间的角度中，图中下侧的角度(图中直线143与直线144的在低于中央点Ob的一侧的线段之间的角度)为θb。假设直线142和直线143之间的角度为α。另外，假设中央点O与目标点P之间的距离为ρ。假设目标点P和中央点Oa之间的距离为ρa。假设目标点P和中央点Ob之间的距离为ρb。此时，从正弦定理得到下面的公式(1)。

ρa/sinθb＝L/sinα＝L/sin(θa-θb)

其中，α＝θa–θb。

……(1)

另外，中央点O与目标点P之间的距离ρ可以描述为下面的公式(2)。

ρ·sinθ＝ρa·sin(π-θa)＝ρa·sinθa

……(2)

根据公式(1)和(2)得到公式(3)。

sin(θa-θb)＝L/ρ·sinθa·sinθb/sinθ

……(3)

通常，通常的情况是，虽然中央点Oa与中央点Ob之间的距离(基线长度)L约为几厘米至几十厘米，但是从中央点O到目标点P的距离ρ足够大，即大约几米。在这种情况下，θ≈θa和θ≈θb成立。此外，θb<θ<θa始终成立。根据这些条件，以下近似式(4)成立。

sinθa·sinθb≈sin²θ

……(4)

根据公式(3)和(4)得到以下公式(5)。

sin(θa-θb)≈L/ρ·sinθ

……(5)

由于角度θa和θb是两个相机131和132中的物体光线的角度，因此差θa-θb是入射光线之间的角度差。在立体图像处理中，通过θa-θb计算到目标物体的距离。由于基线长度L是常数，从公式(5)可以看出θa-θb与到目标物体的距离ρ成反比。因此，目标物体和立体相机系统111之间的距离的增加降低了距离测量精度。

测量安装在车辆100中的立体相机系统111中的距离的主要原因之一是检测车辆100周围的障碍物并防止车辆100接触障碍物。因此，合理的是，车辆100与障碍物之间的距离越小，距离测量精度越高。

<1-7.使用以行为单位沿垂直方向以及在每行中沿水平方向读取像素信号的相机的立体相机系统>

接下来，为了描述根据本公开的用于读取立体相机系统111中的像素信号的方法，将描述使用以行为单位沿垂直方向并且在每行中沿水平方向依次读取像素信号的相机的立体相机系统。

如图7所示，在人类视觉识别被摄体H的情况下，左眼221和右眼222单独且在视觉上识别被摄体H，如示例Ex1所示。更具体地，例如，在左眼221和右眼222中的每一个中，作为左眼的眼睛221在视觉上识别图中的视野L中的被摄体H，而作为右眼的眼睛222在视觉上识别图中的视野R中的被摄体H。人类识别被摄体H在视野L和R中的偏移作为视差并且根据视差在空间上识别被摄体。顺便提及，尽管视野L和R与各个眼睛221和222的距离在图7中彼此不同，但为了描述的目的，使距离彼此不同。假设距离在现实中是相同的。

根据类似的原理，在立体相机系统包括沿水平方向布置的相机以对应于眼睛221和222的情况下，图像231和232由各个相机成像，如示例Ex2所示。

示例Ex2中描绘的图像231和232包括分别作为被摄体H1和H2成像的被摄体H。顺便提及，示例Ex2中的图像231和232分别对应于示例Ex1中的视野L和R。

图像231和232中的被摄体H1和H2在水平方向上的偏移是由对各个图像成像的相机的视差引起的。可以通过与被摄体H1和H2在各个图像231和232中的偏移相对应的视差来测量到被摄体的距离。

顺便提及，当使用图像231和232测量到被摄体H的距离时，需要将各个图像中的被摄体H1和H2识别为相同的被摄体H。

通常，相机以行为单位沿从上到下的方向依次读取像素信号，并且在每行中从左到右沿水平方向从相邻的像素依次读取像素信号。因此，为了识别作为相同被摄体H的被摄体H1和H2，将相同行中的像素的像素信号相互比较。

顺便提及，在示例Ex2中跨越图像231和232的水平右方向上的箭头表示相同行中的像素彼此进行比较。

相反，在根据本公开的立体相机系统111中，相机131和132沿垂直方向布置。因此，例如，在被摄体H处于静止状态的情况下，由各个相机131和132成像的图像被成像为图像233和234，如示例Ex3所示。

在示例Ex3中的图像233和234的情况下，即使在各个图像233和234中的被摄体H1和H2中在垂直方向上发生视差，在水平方向上处于相同位置并且属于被摄体H1和H2的像素也可以被识别为被摄体H。这是因为通过视差在垂直方向上彼此偏移的像素具有相同的像素信号，只要像素属于同一被摄体即可。

然而，在被摄体H不是静止而在水平方向上移动的情况下，随着被摄体H的移动在图像233和234中发生所谓的焦平面失真。例如，被摄体H分别被成像为作为扭曲的被摄体H1和H2的被摄体H1'和H2'，如Ex4所示。

例如，假设图像233和234的水平方向上的坐标X在图中的右方向上是正的，而在垂直方向上的坐标Y在图中的向下方向上是正的。假设每个相机中的像素信号例如被以行为单位沿从上到下的方向以及在每行中沿从左到右的方向读取。假设存在包括在垂直方向上的一个长像素列中的线性被摄体。

这里，在线性被摄体纵向长并且包括在一个像素列中并且不移动，并且假设在预定行Y＝y中沿水平方向在列X＝x中读取的像素(x，y)属于如图7中的示例Ex3所示的直线上的被摄体的情况下，像素(x，y)下方一行的像素(x，y+1)也属于线性被摄体。

然而，例如，在线性物体在水平右方向上移动并且假设在预定行Y＝y中沿水平方向上在列X＝x中读取的像素(x，y)属于线性被摄体的情况下，线性被摄体在读取像素(x，y)下方一行的像素(x，y+1)时在右方向上移动。因此，属于直线上的被摄体的像素导致像素(x+α，y+1)根据直线上的被摄体的移动速度从坐标x向右侧偏移距离α。

对于图像233和234，当要读取的行在向下方向上进行时，属于被摄体H1和H2的每个像素信号在水平右方向上偏移与被摄体H的移动速度对应的距离。因此，在属于被摄体H的像素中，各个图像中的下行像素导致整体上更大的焦平面失真，其中向右侧的偏移较大。因此，如用被摄体H1'和H2'所示，发生如相对于被摄体H1和H2向左倾斜的失真。

此外，在图像233和234中，视差发生在垂直方向上。因此，被摄体H1和H2在垂直方向上的视差越大，像素信号的读取定时的偏移越大。因此，即使简单地将水平方向上的相同坐标处的像素信号相互比较，也存在不能确定像素是否属于同一被摄体H的风险。

也就是说，在示例Ex4中，属于图像234中的被摄体H2'的像素属于图像中比属于图像233中的被摄体H1'的像素更高的部分中的行。因此，属于图像234中的被摄体H2'的像素的像素信号比属于图像233中的被摄体H1'的像素的像素信号早被读取。

因此，图像234中的被摄体H2'是图像中比图像233中的被摄体H1'更靠近左侧的图像。

结果，即使将图像233和234的水平方向上的相同坐标处的像素的像素信号彼此进行比较，也不能将像素识别为被摄体H共有的像素。存在不能通过比较图像233和234中的被摄体H1'和H2'来执行距离测量本身的风险。

也就是说，在立体相机系统111包括布置成使得在垂直方向上发生视差的一组相机的情况下，以及在以行为单位在垂直方向上依次读取像素信号并且对于每行在水平方向上读取像素信号的情况下，存在不可能识别由该组相机成像的图像中的相同共同被摄体的风险，从而使得不能进行距离测量本身。

<1-8.根据本公开的用于读取构成立体相机系统的相机中的像素信号的方法>

鉴于上述情况，属于根据本公开的立体相机系统111的相机131和132以列为单位沿垂直方向并且针对每列沿水平方向依次读取像素信号。

也就是说，如图8中的示例Ex11中的图像241和242所示，生成由相机131和132成像的图像，使得像素信号以列为单位沿水平方向依次读取，并且例如针对每列在从上到下的方向上、沿垂直方向依次读取。设置相机131和132，使得在垂直方向上发生视差。

利用该配置，例如，由于同一列中的像素信号的读取定时的偏移仅是与视差对应的像素的数量，因此能够减小焦平面失真的影响。

另外，由于由相机131和132的视差引起的在垂直方向上发生的像素信号的读取定时的偏移也仅是与视差对应的像素的数量，因此还能够减少被摄体H1和H2的偏移。因此，通过比较水平方向上的相同位置处的像素信号，能够识别出被摄体H1和H2是相同的被摄体H。

此外，例如，如上所述，由于一般相机以行为单位沿从上到下的方向并且对于每行沿从左到右的方向依次读取像素信号，因此如图8中的示例Ex12所示的图像233和234被读取。因此，还可以想到，这通过将普通相机转动90度(在图中的右方向上转动)来实现，如图8中的示例Ex13所示。

然而，在水平方向上的图像233和234的长度与其在垂直方向上的长度的比率由A:B表示的情况下，A>B成立。典型的配置是使得水平方向上的长度大于垂直方向上的长度。

如示例Ex13中所示，在相机转动90度的情况下，由于水平方向上的长度较小，因此水平方向上的视角变窄。

因此，如示例Ex14所示，由构成根据本公开的立体相机系统111的相机131和132成像的图像使得水平方向上的长度与垂直方向上的长度的比率A:B例如是4:3或16:9，即水平方向上的长度更大，而且，以列为单位沿水平方向依次读取像素信号，并且还在每列中以像素为单位沿垂直方向依次读取像素信号。利用该配置，根据本公开的立体相机系统111在确保水平方向上的视角的同时抑制了由读取定时的偏移引起的被摄体在水平方向上的偏移。这以高精度实现了距离测量。

<1-9.读取相机中的像素信号的具体方法>

接下来，将参考图9描述用于读取相机131和132中的像素信号的具体方法。顺便提及，尽管将在图9中描述用于读取相机131中的像素信号的方法，该方法类似地应用于相机132。另外，尽管包括在相机131中的像素阵列包括在水平方向×垂直方向上包括8×6像素的像素251，但是像素的数量可以不是8×6像素。

也就是说，如图9的左上部分所示，例如，在相机131被设置在前方左侧面部分上的情况下，首先，从图中最上面的像素开始沿向下方向依次读取车辆100前侧的列SC1中的像素的像素信号。当已经读取最下面的像素251的像素信号时，从相邻列SC2中的最上面的像素开始沿向下方向依次读取像素信号。之后，类似地，按照列SC3至SC8的顺序，对于每列依次读取最上面的像素的像素信号，然后是向下方向上相邻的像素的像素信号。在该读取顺序中，特别能够在向前移动状态下以更高的速度读取检测范围的前侧的像素列中的像素信号。通过更快地掌握行进方向的情况，能够更快地实现与行进方向的情况对应的处理。

顺便提及，在图9的左上部分中，图中的左部表示车辆100的前部(前)，图中的上部表示车辆100的上部(上)，图中的下部表示车辆100的下部(下)。

另外，如图9的右上部分所示，例如，在相机131设置在前方右侧面部分上的情况下，车辆100前侧的列SC1'中的像素的像素信号被从图中最上面的像素开始沿向下方向依次读取。当已经读取最下面的像素251的像素信号时，从相邻列SC2'中的最上面的像素开始沿向下方向依次读取像素信号。之后，类似地，按照列SC3'至SC8'的顺序，读取最上面的像素的像素信号，然后针对每列沿向下方向依次读取相邻的像素的像素信号。

顺便提及，在图9的右上部分中，图中的右部表示车辆100的前部(前)，图中的上部表示车辆100的上部(上)，图中的下部表示车辆100的下部(下部)。

另外，在所描述的示例中的图9的左上部分和右上部分中的相机131中，从最上面的像素开始依次读取每列中的像素信号，然后沿向下方向依次读取相邻像素。然而，可以从最下面的像素开始沿向上方向依次读取像素信号。

此外，虽然保持图9的左上部分中相机131相对于车辆100的前后方向，但是可以将相机131上下颠倒并安装。以这种方式，相机131可以设置在前方左侧面部分上，如图9的右下部分所示。

也就是说，在这种情况下，要设置在前方右侧面部分上的相机131和要设置在左侧面部分上的相机131不需要单独地配置为不同的相机。每个相机131具有相同的配置，并且可以设置在左侧面部分或右侧面部分上。

顺便提及，虽然保持图9的右上部分中的相机131的前后方向，但是可以将相机131上下颠倒并设置在左侧面部分上。

<1-10.显示部的布置示例>

接下来，将参考图10描述显示部14的布置示例。

在自我车辆中预先设置的装置可以用作显示部14，或者可以将专用显示器等设置为显示部14。例如，自我车辆的汽车导航系统的显示器271或仪表板272可以用作显示部14。另外，例如，显示部14可以包括叠加并设置在自我车辆的在驾驶员座椅前面的挡风玻璃273的区域P1上的透射显示器。

<1-11.周围监视处理>

接下来，将参考图11中的流程图描述由车内系统10执行的周围监视处理。例如，在已经执行用于启动自我车辆和开始驾驶的操作时，例如，当已经接通自我车辆的点火开关、电源开关、启动开关等时，该处理开始。另外，在已经执行用于结束驾驶的操作时，例如，当已经断开自我车辆的点火开关、电源开关、启动开关等时，该处理结束。

在步骤S1中，信息处理部13控制成像控制部11，从而使成像控制部11执行获得车辆100的周围图像数据和距离数据的处理，并获得周围图像数据和距离数据。具体地，周围状况检测部31控制成像控制部11基于由相机系统10成像的图像获得车辆100的周围图像数据和距离数据。此时，成像控制部11控制相机系统10，从而使相机系统10执行获得周围图像数据和距离数据的处理，并获得车辆100的周围图像数据和距离数据。距离数据是立体距离测量结果。动作预测部32从车辆信息传感器12的每个传感器获得车辆传感器数据。顺便提及，稍后将参考图12中的流程图描述获得周围图像数据和距离数据的处理的细节。

在步骤S2中，空间生成部41执行空间生成处理。也就是说，空间生成部41基于周围图像数据和距离数据生成(或更新)示出自我车辆周围的物体的形状、位置等的三维空间地图。顺便提及，自我车辆周围的物体不仅包括移动体，还包括静止物体(例如，建筑物和路面)。空间生成部41将生成的三维空间地图提供给动作预测部32和HMI控制部34。

顺便提及，任何方法都可以用作生成三维空间地图的方法。例如，使用诸如SLAM(同时定位与地图创建)的技术。

在步骤S3中，移动体检测部42进行移动体检测。具体地，移动体检测部42基于周围的传感器数据和三维空间地图检测自我车辆周围的移动体。例如，移动体检测部42检测自身车辆周围的移动体的存在或不存在，移动体的类型、尺寸、形状、位置等。移动体检测部42将移动体的检测结果提供给动作预测部32和HMI控制部34。

顺便提及，任何方法都可以用作移动体检测方法。另外，待检测的移动体不仅包括实际移动的移动体，还包括暂时静止的移动体，诸如已经停止的车辆和自行车以及已经停止的行人。

此外，例如，移动体检测部42还可以仅基于周围传感器数据检测自我车辆周围的移动体，而不使用三维空间地图。在这种情况下，能够反转步骤S2中的处理和步骤S3中的处理。

在步骤S4中，移动体检测部42基于步骤S3中的处理结果确定周围是否存在任何移动体。在移动体检测部42确定周围没有移动体的情况下，处理返回到步骤S1。

之后，重复执行步骤S1至S4中的处理，直到在步骤S4中确定周围存在移动体。

另一方面，在步骤S4中确定周围存在移动体的情况下，处理进入步骤S5。

在步骤S5中，动作预测部32执行动作预测。具体地，动作预测部32基于车辆传感器数据预测自我车辆的移动速度、移动方向等。另外，动作预测部32基于三维空间地图和自我车辆的周围的移动体的检测结果预测自我车辆周围的移动体的移动速度、移动方向等。动作预测部32将预测结果提供给碰撞预测部33和HMI控制部34。

顺便提及，任何方法都可以用作动作预测方法。

在步骤S6中，碰撞预测部33执行碰撞预测。具体地，基于自我车辆和自我车辆周围的移动体的动作的预测结果，碰撞预测部33预测是否存在自我车辆周围的移动体与自我车辆碰撞或接触的可能性，并且还预测直到发生与可能与自身车辆碰撞或接触的任何移动体碰撞或接触的时间(下文中称为预测碰撞时间)。

另外，碰撞预测部33预测每个移动体与自我车辆的碰撞或接触的风险等级，并且基于预定定义设置排名。例如，任何静止的移动体和在远离自我车辆的方向上移动的任何移动体都被设置为风险等级1。在接近自我车辆的方向上移动的移动体中，预测碰撞时间超过T1秒(例如，5秒)的任何移动体都被设定为风险等级2。在接近自我车辆的方向上移动的移动体中，预测碰撞时间为T1秒或更短且超过T2秒(例如，1秒)的任何移动体都被设定为风险等级3。在接近自我车辆的方向上移动的移动体中，预测碰撞时间为T2秒或更短的任何移动体被设定为风险等级4。

顺便提及，任何静止的移动体和任何在远离自我车辆的方向上移动的移动体也可以基于预测的碰撞时间被设置为风险等级2至4之一。

碰撞预测部33将碰撞预测结果提供给HMI控制部34和制动控制部15。

在步骤S7中，碰撞预测部33确定是否存在任何碰撞或接触的风险。例如，在自我车辆的周围没有风险等级3或更高的移动体的情况下，碰撞预测部33确定不存在碰撞或接触的风险，并且处理返回到步骤S1。

之后，重复执行步骤S1至S7中的处理，直到在步骤S7中确定存在碰撞或接触的风险。

另一方面，在步骤S7中，例如，在自我车辆的周围存在风险等级为3或更高的移动体的情况下，碰撞预测部33确定存在碰撞或接触的风险，并且处理进入步骤S8。

在步骤S8中，HMI控制部34设置移动体类型。例如，HMI控制部34将由移动体检测部42检测到的任何移动体分类为五种类型中的一种：车辆、摩托车、自行车、行人等。顺便提及，尽管摩托车是一种类型的车辆，但摩托车在这里与其他车辆不同。

在步骤S9中，HMI控制部34计算每个叠加图像的显示位置。例如，每个叠加图像包括框和条。框(以下称为移动体框)表示相应的移动体的位置。条(以下称为动作预测条)表示相应移动体的预测动作。

因此，HMI控制部34基于每个移动体在三维空间地图上的位置以及从各移动体的行进方向观察各移动体的高度、宽度等计算与每个移动体相对应的移动体框在三维空间地图上的显示位置。

另外，HMI控制部34基于每个移动体的动作预测结果，计算x秒之后(例如，一秒之后)每个移动体在三维空间地图上的位置。接下来，HMI控制部34基于三维空间地图上每个移动体的当前位置及其在x秒之后的位置，计算与每个移动体相对应的动作预测条在三维空间地图上的显示位置。例如，HMI控制部34通过使用当前每个移动体的行进方向的前端作为起点和x秒之后每个移动体的行进方向的前端作为终点来计算动作预测条的长度和方向。

在步骤S10中，车内系统10呈现周围状况。具体地，HMI控制部34将三维空间地图上的叠加图像(移动体框、动作预测条等)的显示位置转换为要呈现给驾驶员的周围图像上的显示位置。另外，HMI控制部34将三维空间地图上的路面的位置转换为周围图像上的显示位置，并计算指示路面的位置的网格在周围图像上的显示位置。然后，HMI控制部34生成表示周围监视图像的周围监视图像数据，并将周围监视图像数据提供给显示部14，从而使显示部14显示周围监视图像。

在步骤S11中，制动控制部15确定是否需要紧急停止。例如，在自我车辆周围的移动体中不存在具有风险等级4的移动体的情况下，制动控制部15确定不需要紧急停止，并且处理返回到步骤S1。

之后，重复执行步骤S1至S11中的处理，直到在步骤S11中确定需要紧急停止为止。

另一方面，在步骤S11中，例如，在自我车辆周围的移动体中存在具有风险等级4的移动体的情况下，制动控制部15确定需要紧急停止，并且处理进入步骤S12。

在步骤S12中，制动控制部15控制制动设备16，从而使制动设备16进行自我车辆的紧急停止。这防止了与自我车辆周围的移动体的碰撞或接触。

之后，周围监视处理结束。

如上所述，可以以易于理解的方式给出与自我车辆周围的移动体碰撞或接触的风险的通知，并且驾驶员可以确定地识别碰撞或接触的风险。另外，在存在具有风险等级4的移动体的情况下，执行紧急停止。这可以防止发生事故。

<1-12.获得周围图像数据和距离数据的处理>

接下来，将参考图12中的流程图描述获得周围图像数据和距离数据的处理。

在步骤S31中，构成立体相机系统111的相机131和相机132对观察点进行成像。

在步骤S32中，图像校正部171校正由相机131成像的图像的镜头像差、相机图像失真等。类似地，图像校正部172校正由相机132成像的图像的镜头像差、相机图像失真等。也就是说，为了计算距离，校正图像失真并将图像投影在虚拟平面上以形成平面图像。

在步骤S33中，立体图像处理部173计算到观察点的距离，并将包括平面图像的成像图像作为周围图像数据与距离数据一起输出到集成部152。也就是说，相机131和相机132布置在垂直方向上由距离L分开的位置处。因此，由相机131成像的图像和由相机132成像的图像具有相位差。可以基于相位差来计算到观察点的距离。也就是说，从另一图像检测与由相机131和132成像的图像之一中描绘的物体相对应的物体，并且根据物体在两个图像中的位置的偏移来计算距离。顺便提及，上述处理由分别设置在车辆100的前方左右侧面上的立体相机系统111A和111B中的每个执行。

在步骤S34中，集成部93对立体相机系统111A和111B中的每个的测量数据和周围图像数据进行集成，并将测量数据作为车辆100在所有方向上的距离数据与周围图像数据一起输出到成像控制部11。

在步骤S35中，立体图像处理部173确定是否结束处理。在尚未由用户指示处理结束的情况下，处理返回到步骤S31并且重复随后的处理。在已经指示处理结束的情况下，处理结束。

通过上述处理，立体距离测量部151A和151B将作为各个检测范围112A和112B中的距离测量结果的距离数据与周围图像数据一起单独输出到集成部152，并且距离数据被依次且重复地输出到成像控制部11。

另外，如上所述，当在步骤S31中相机131和132对检测范围进行成像时，按从车辆100的前侧的像素列到水平方向上相邻的后像素列的顺序，在每个像素列中依次读取最上面的像素的像素信号，然后是沿向下方向相邻的像素的像素信号，或者依次读取最下面的像素的像素信号，然后是沿向上方向相邻的像素的像素信号。

通过以这种方式读取像素信号，如上所述，能够抑制由每个相机131和132成像的图像中的物体的焦平面失真以及由于读取时间的转移物体在水平方向上发生偏移。由于各个图像中的被摄体可以被识别为相同的被摄体，因此能够使用基于视差的偏移来以高精度实现距离测量。

顺便提及，利用上述配置的示例，成像控制部11测量各个周围图像中到被摄体(目标物体)的距离作为所述示例中的距离数据。然而，距离数据测量本身可以通过另一种配置来实现。例如，空间生成部41可以同时生成距离数据和三维空间地图。

另外，在上述示例中，检测移动体类型(例如，诸如行人或汽车的类型)的处理由移动体检测部42执行。然而，例如，处理可以由另一配置执行，并且可以由成像控制部11执行。

<<2.修改>>

在上述示例中，立体相机系统111包括在车辆100的前侧面部分上并排布置的相机131和132，使得在垂直方向上发生视差。然而，立体相机系统111可以布置在除了车辆100的车身前部之外的位置处，使得相机131和132的视差在垂直方向上发生。

例如，立体相机系统111可以设置在车辆100的中央侧面部分附近的位置处，使得相机131和132对侧面方向成像，以便在垂直方向上产生视差。

更具体地，例如，如图13中所示，可以设置立体相机系统111，使得相机131和132在垂直方向上在门镜301上并排安装，以便在垂直方向上产生相机131和132的视差。

顺便提及，例如，只要立体相机系统111设置在车辆100的中央侧面部分附近，立体相机系统111可以安装在除了门镜301之外的位置并且可以安装在支柱(前支柱、中央支柱、后支柱等)、门或车顶纵梁上。

另外，如图14所示，立体相机系统111可以安装在车辆100的后侧面部分上，使得相机131和132在垂直方向上产生视差。

此外，如图14所示，在相机131和132安装在车辆100的后侧面部分上以便在垂直方向上产生视差的情况下，立体相机系统111更常用于向后移动时。因此，可以以更高的速度读取侧面的后侧上的检测范围中的像素信号。

例如，从相机131和132的每个像素阵列的后侧上的像素列开始，对于每列，可以依次读取最上面的像素的像素信号，然后是沿向下方向的相邻的像素的像素信号，或者可以依次读取最下面的像素的像素信号，然后是沿向上方向的相邻的像素的像素信号。

也就是说，如图15的左上部分所示，例如，在相机131设置在后方左侧面部分上的情况下，首先，从图中最上面的像素开始沿向下方向依次读取车辆100后侧的列SC8中的像素的像素信号。当已经读取最下面的像素251的像素信号时，从相邻列SC7中的最上面的像素开始沿向下依次读取像素信号。之后，类似地，按照列SC6至SC1的顺序，对于每列依次读取最上面的像素的像素信号，然后是沿向下方向的相邻的像素的像素信号。

顺便提及，在图15的左上部分中，图中的右部表示车辆100的后部(后)，图中的上部表示车辆100的上部(上)，图中的下部表示车辆100的下部(下)。

另外，如图15的右上部分所示，例如，在相机131设置在后方右侧面部分上的情况下，从图中最上面的像素开始沿向下方向依次读取车辆100后侧的列SC8'中的像素的像素信号。当已经读取最下面的像素251的像素信号时，从相邻列SC7'中的最上面的像素开始沿向下方向依次读取像素信号。之后，类似地，按照列SC6'至SC1'的顺序，针对每列，读取最上面的像素的像素信号，然后依次读取沿向下方向的相邻的像素的像素信号。

顺便提及，在图15的右上部分中，图中的左部表示车辆100的后部(后)、图中的上部表示车辆100的上部(上)、图中的下部表示车辆100的下部(下)。

另外，在所描述的示例中的图15的左上部分和右上部分中的相机131中，从最上面的像素开始依次读取每列中的像素信号，然后是沿向下方向的相邻的像素。然而，可以从最下面的像素开始沿向上方向依次读取像素信号。

此外，虽然保持图15的左上部分中的相机131相对于车辆100的前后方向，但是可以将相机131上下颠倒并安装。以这种方式，相机131可以设置在后方左侧面部分上，如图15的右下部分所示。

也就是说，在这种情况下，要设置在后方右侧面部分上的相机131和要设置在左侧面部分上的相机131不需要单独地配置为不同的相机。每个相机131具有相同的配置，并且可以设置在左侧面部分或右侧面部分上。

顺便提及，虽然保持图15的右上部分中的相机131的前后方向，但可以将相机131上下颠倒并设置在左侧面部分上。

以该读取顺序，特别能够在后退移动状态下以更高的速度读取检测范围后侧的像素列中的像素信号。通过更快地掌握行进方向的状况，能够更快地实现与行进方向的状况对应的处理。

也就是说，只要立体相机系统111安装在车辆100的侧面部分上，立体相机系统111就可以安装在前部、中部和后部的任何位置，或者可以安装在与前部、中部和后部中的至少任一个组合的位置处。

另外，在立体相机系统111安装在车辆100的前侧面部分和后侧面部分的情况下，可以采用能够以稍微窄的视角以窄角度对距离进行成像的相机作为相机131和132。也就是说，在立体相机系统111安装在车辆100的前侧面部分和后侧面部分的情况下，采用窄角度相机能够更快地掌握交叉路口的情况。

此外，在立体相机系统111安装在车辆100的中央侧面部分上的情况下，可以采用能够以稍微加宽的视角以广角对附近的井进行成像的相机作为相机131和132。也就是说，在立体相机系统111安装在车辆100的中央侧面部分上的情况下，通过采用广角相机能够更快地掌握包括前部和后部的各侧面的宽范围的情况。

<3.应用示例>

根据本公开的技术可以应用于各种产品。例如，根据本公开的技术可以实现为安装在任何类型的移动体(诸如汽车、电动车辆、混合动力电动车辆、摩托车、自行车、个人移动装置、飞机、无人机、船舶、机器人、建筑机械或农业机械(拖拉机))中的设备。

图16是描绘作为可应用根据本公开的实施例的技术的移动体控制系统的示例的车辆控制系统7000的示意性配置的示例的框图。车辆控制系统7000包括经由通信网络7010彼此连接的多个电子控制单元。在图16所示的示例中，车辆控制系统7000包括包括驱动系统控制单元7100、车身系统控制单元7200、电池控制单元7300、车外信息检测单元7400、车内信息检测单元7500和集成控制单元7600。将多个控制单元彼此连接的通信网络7010例如可以是符合诸如控制器局域网(CAN)、本地互连网络(LIN)、局域网(LAN)、FlexRay等的任意标准的车载通信网络。

每个控制单元包括：微计算机，其根据各种程序执行算术处理；存储部，其存储由微计算机执行的程序、用于各种操作的参数等；以及驱动电路，其驱动各种控制目标装置。每个控制单元还包括：网络接口(I/F)，用于经由通信网络7010与其他控制单元进行通信；以及通信I/F，用于通过有线通信或无线电通信在车辆内外与装置、传感器等进行通信。图16中示出的集成控制单元7600的功能配置包括微计算机7610、通用通信I/F 7620、专用通信I/F 7630、定位部7640、信标接收部7650、车内装置I/F 7660、声音/图像输出部7670、车载网络I/F 7680和存储部7690。其他控制单元类似地包括微计算机、通信I/F、存储部等。

驱动系统控制单元7100根据各种程序控制与车辆的驱动系统相关的装置的操作。例如，驱动系统控制单元7100起用于产生车辆的驱动力的驱动力产生装置(诸如内燃机、驱动马达等)、用于将驱动力传递到车轮的驱动力传递机构、用于调节车辆的转向角的转向机构、用于产生车辆的制动力的制动装置等的控制装置的作用。驱动系统控制单元7100可以具有作为防抱死制动系统(ABS)，电子稳定性控制(ESC)等的控制装置的功能。

驱动系统控制单元7100与车辆状态检测部7110连接。车辆状态检测部7110例如包括检测车身的轴向旋转运动的角速度的陀螺仪传感器，检测车辆的加速度的加速度传感器，以及用于检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机速度或车轮转速的传感器等中的至少一个。驱动系统控制单元7100使用从车辆状态检测部7110输入的信号执行运算处理，并控制内燃机、驱动马达、电动助力转向装置、制动装置等。

车身系统控制单元7200根据各种程序控制设置给车身的各种装置的操作。例如，车身系统控制单元7200起无钥匙进入系统、智能钥匙系统、电动车窗装置或诸如前照灯、倒车灯、刹车灯、转向灯、雾灯等各种灯的控制装置的作用。在这种情况下，作为各种开关的钥匙或信号的替代、从移动装置发送的无线电波可以输入到身体系统控制单元7200。车身系统控制单元7200接收这些输入的无线电波或信号，并且控制车辆的门锁装置、电动车窗装置、灯等。

电池控制单元7300根据各种程序控制作为驱动马达的电源的二次电池7310。例如，从包括二次电池7310的电池装置向电池控制单元7300提供关于电池温度、电池输出电压、电池中剩余电量等的信息。电池控制单元7300使用这些信号执行运算处理，并执行调节二次电池7310的温度的控制或控制设置到电池装置的冷却装置等。

车外信息检测单元7400检测关于包括车辆控制系统7000的车辆外部的信息。例如，车外信息检测单元7400与成像部7410和车外信息检测部7420中的至少一个连接。成像部7410包括飞行时间(ToF)相机、立体相机、单目相机、红外相机和其他相机中的至少一个。车外信息检测部7420例如包括用于检测当前大气条件或天气条件的环境传感器和用于检测包括车辆控制系统7000的车辆周边的另一车辆、障碍物、行人等的周边信息检测传感器中的至少一个。

环境传感器例如可以是检测雨水的雨滴传感器、检测雾的雾传感器、检测日照度的日照传感器和检测降雪的雪传感器中的至少一个。周边信息检测传感器可以是超声波传感器、雷达装置和LIDAR装置(光检测和测距装置或激光成像检测和测距装置)中的至少一个。成像部7410和车外信息检测部7420中的每一个可以被设置为独立的传感器或装置，或者可以被设置为其中集成了多个传感器或装置的装置。

图17描绘了成像部7410和车外信息检测部7420的安装位置的示例。成像部7910、7912、7914、7916和7918例如设置在车辆7900的前鼻、侧视镜、后保险杠和后门上的位置以及车辆内部的挡风玻璃的上部上的位置中的至少一个位置处。设置在前鼻上的成像部7910和设置在车辆内部的挡风玻璃上部的成像部7918主要获得车辆7900的前部的图像。设置在侧视镜上的成像部7912和7914主要获得车辆7900侧面的图像。设置在后保险杠或后门上的成像部7916主要获得车辆7900后部的图像。设置在车辆内部的挡风玻璃的上部的成像部7918主要用于检测前方车辆、行人、障碍物、信号、交通标志、车道等。

顺便提及，图17描绘了各个成像部7910、7912、7914和7916的拍摄范围的示例。成像范围a表示设置在前鼻的成像部7910的成像范围。成像范围b和c分别表示设置在侧视镜的成像部7912和7914的成像范围。成像范围d表示设置在后保险杠或后门的成像部7916的成像范围。例如，通过叠加由成像部7910、7912、7914和7916成像的图像数据，可以获得从上方观察的车辆7900的鸟瞰图像。

设置在车辆7900的前、后、侧面和拐角处以及车辆内部的挡风玻璃的上部的车外信息检测部7920、7922、7924、7926、7928和7930可以是例如超声波传感器或雷达装置。设置在车辆7900的前鼻部，车辆7900的后保险杠、后门，以及车辆内部的挡风玻璃的上部的车外信息检测部7920、7926和7930可以是例如LIDAR装置。这些车外信息检测部7920至7930主要用于检测前方车辆、行人、障碍物等。

回到图16，将继续描述。车外信息检测单元7400使成像部7410对车辆外部的图像进行成像，并接收成像图像数据。另外，车外信息检测单元7400从连接到车外信息检测单元7400的车外信息检测部7420接收检测信息。在车外信息检测部7420是超声波传感器、雷达装置或LIDAR装置的情况下，车外信息检测单元7400发送超声波、电磁波等，并接收所接收的反射波的信息。基于所接收的信息，车外信息检测单元7400可以执行检测诸如人、车辆、障碍物、标志、路面上的文字等物体的处理或检测与其的距离的处理。车外信息检测单元7400可以基于所接收的信息执行识别降雨、雾、路面条件等的环境识别处理。车外信息检测单元7400可以基于所接收的信息计算到车辆外部的物体的距离。

另外，基于所接收的图像数据，车外信息检测单元7400可以执行识别人、车辆、障碍物、标志、路面上的文字等的图像识别处理，或检测与其的距离的处理。车外信息检测单元7400可以使接收的图像数据经受诸如失真校正、对准等的处理，并且组合由多个不同的成像部7410成像的图像数据以产生鸟瞰图像或者全景图像。车外信息检测单元7400可以使用由包括不同成像构件的成像部7410成像的图像数据来执行视点转换处理。

车内信息检测单元7500检测关于车辆内部的信息。车内信息检测单元7500例如与检测驾驶员状态的驾驶员状态检测部7510连接。驾驶员状态检测部7510可包括对驾驶员进行成像的相机、检测驾驶员的生物信息的生物传感器、收集车辆内部的声音的麦克风等。生物传感器例如设置在座椅表面、方向盘等中，并检测坐在座椅中的乘员或握住方向盘的驾驶员的生物信息。基于从驾驶员状态检测部7510输入的检测信息，车内信息检测单元7500可以计算驾驶员的疲劳程度或驾驶员的集中程度，或者可以判定驾驶员是否在打瞌睡。车内信息检测单元7500可以使通过声音的收集获得的音频信号经过诸如噪声消除处理等的处理。

集成控制单元7600根据各种程序控制车辆控制系统7000内的一般操作。集成控制单元7600与输入部7800连接。输入部7800由能够由乘员进行输入操作的装置(例如，作为触摸板、按钮、麦克风、开关、杠杆等)实现。可以向集成控制单元7600提供通过麦克风输入的语音的语音识别获得的数据。输入部7800例如可以是使用红外线或其他无线电波的遥控装置，或者是支持车辆控制系统7000的操作的外部连接装置，诸如移动电话、个人数字助理(PDA)等。输入部7800可以是例如相机。在这种情况下，乘员可以通过手势输入信息。或者，可以输入数据，该数据是通过检测乘员佩戴的可穿戴装置的移动而获得的。此外，输入部7800可以例如包括输入控制电路等，其使用上述输入部7800基于乘员等输入的信息生成输入信号，并所生成的输入信号输出到集成控制单元7600。乘员等通过操作输入部7800向车辆控制系统7000输入各种数据或给出用于处理操作的指令。

存储部7690可以包括存储由微计算机执行的各种程序的只读存储器(ROM)和存储各种参数、操作结果、传感器值等的随机存取存储器(RAM)。另外，存储部7690可以由诸如硬盘驱动器(HDD)等的磁存储装置、半导体存储装置、光存储装置、磁光存储装置等来实现。

通用通信I/F 7620是广泛使用的通信I/F，该通信I/F调解与存在于外部环境7750中的各种设备的通信。通用通信I/F 7620可以实现蜂窝通信协议，诸如全球移动通信系统(GSM)、全球微波接入互操作性(WiMAX)、长期演进(LTE))、高级LTE(LTE-A)等，或其他无线通信协议，诸如无线LAN(也称为无线保真(Wi-Fi)、蓝牙等。通用通信I/F 7620可以例如经由基站或接入点连接到存在外部网络(例如，因特网、云网络或公司专用网络)上的设备(例如，应用服务器或控制服务器)。此外，例如，通用通信I/F7620可以使用对等(P2P)技术连接到存在于车辆附近的终端(例如，终端是驾驶员、行人、商店的终端或机器类型通信(MTC)终端)。

专用通信I/F 7630是支持为车辆使用而开发的通信协议的通信I/F。专用通信I/F7630可以实现标准协议，诸如作为下层的电气和电子工程师协会(IEEE)802.11p和作为更高层的IEEE 1609的组合的车辆环境中的无线接入(WAVE)、专用短程通信(DSRC)或蜂窝通信协议。专用通信I/F 7630通常执行作为包括车辆和车辆(车辆到车辆)之间的通信、道路和车辆之间的通信(车辆到基础设施)、车辆和家(车辆到家)之间的通信以及行人和车辆(车辆到行人)之间的通信中的一个或多个的概念的V2X通信。

定位部7640例如通过接收来自全球导航卫星系统(GNSS)卫星的GNSS信号(例如，来自全球定位系统(GPS)卫星的GPS信号)来执行定位，并生成包括车辆的纬度、经度和高度的位置信息。顺便提及，定位部7640可以通过与无线接入点交换信号来识别当前位置，或者可以从诸如移动电话、个人手持电话系统(PHS)或智能电话的具有定位功能的终端获得位置信息。

信标接收部7650例如接收从安装在道路等上的无线电台发送的无线电波或电磁波，从而获得关于当前位置、拥堵、封闭道路、必要时间等的信息。顺便提及，信标接收部7650的功能可以包括在上述专用通信I/F 7630中。

车载装置I/F 7660是通信接口，其调解车辆内存在的微计算机7610与各种车内装置7760之间的连接。车内装置I/F 7660可以使用诸如无线LAN、蓝牙、近场通信(NFC)或无线通用串行总线(WUSB)的无线通信协议来建立无线连接。另外，车内装置I/F7660可以经由图中未示出的连接端子(并且如果需要，可以使用线缆)通过通用串行总线(USB)、高清晰度多媒体接口(HDMI)、移动高清链路(MHL)等建立有线连接。车内装置7760可以例如包括乘员拥有的移动装置和可穿戴装置以及携带或附接到车辆的信息装置中的至少一个。车内装置7760还可以包括搜索到任意目的地的路径的导航装置。车内装置I/F 7660与这些车内装置7760交换控制信号或数据信号。

车载网络I/F 7680是调解微计算机7610和通信网络7010之间的通信的接口。车载网络I/F 7680根据由通信网络7010支持的预定协议发送和接收信号等。

集成控制单元7600的微计算机7610基于经由通用通信I/F 7620、专用通信I/F7630、定位部7640、信标接收部7650、车内装置I/F7660和车载网络I/F 7680中的至少一个获得的信息，根据各种程序控制车辆控制系统7000。例如，微计算机7610可以基于所获得的关于车辆内部和外部的信息计算用于驱动力产生装置、转向机构或制动装置的控制目标值，并且将控制命令输出到驱动系统控制单元7100。例如，微计算机7610可以执行预期实现高级驾驶员辅助系统(ADAS)的功能的协同控制，所述功能包括车辆的防撞或减震、基于行车间距的跟踪驾驶、车速保持驾驶、车辆碰撞警告、车辆偏离车道警告等。另外，微计算机7610可以执行用于自动驾驶的协同控制，其通过基于所获得的关于车辆周围的信息等控制驱动力产生装置、转向机构、制动装置等来使车辆自主行驶而不依赖于驾驶员的操作。

微计算机7610可以基于经由通用通信I/F 7620、专用通信I/F7630、定位部7640、信标接收部7650、车内装置I/F 7660和车载网络I/F7680中的至少一个获得的信息生成车辆和诸如周围结构、人等的物体之间的三维距离信息，并且生成包括关于车辆的当前位置的周围的信息的局部地图信息。另外，微计算机7610可以基于所获得的信息预测诸如车辆碰撞、行人等接近、进入封闭道路等的危险，并产生警告信号。警告信号例如可以是用于产生警告声或点亮警告灯的信号。

声音/图像输出部7670将声音和图像中的至少一个的输出信号发送到能够在视觉上或听觉上将信息通知给车辆的乘员或车辆的外部的输出装置。在图16的示例中，音频扬声器7710、显示部7720和仪表板7730被示出为输出装置。显示部7720可以例如包括车载显示器和平视显示器中的至少一个。显示部7720可以具有增强现实(AR)显示功能。输出装置可以不是这些装置，并且可以是诸如耳机、诸如由乘员等佩戴的眼镜型显示器的可穿戴装置、投影仪、灯等的另一装置。在输出装置是显示装置的情况下，显示装置视觉地显示通过微计算机7610执行的各种处理获得的结果或者以各种形式(诸如文本、图像、表格、图表等)从另一控制单元接收的信息。另外，在输出装置是音频输出装置的情况下，音频输出装置将由再现的音频数据或声音数据等构成的音频信号转换为模拟信号，并且听觉地输出模拟信号。

顺便提及，在图16所示的示例中经由通信网络7010彼此连接的至少两个控制单元可以集成到一个控制单元中。或者，每个单独的控制单元可包括多个控制单元。此外，车辆控制系统7000可包括图中未示出的另一控制单元。另外，由以上描述中的控制单元之一执行的部分或全部功能可以被分配给另一个控制单元。也就是说，只要经由通信网络7010发送和接收信息，就可以由任何控制单元执行预定的算术处理。类似地，连接到控制单元之一的传感器或装置可以连接到另一个控制单元，并且多个控制单元可以经由通信网络7010相互发送和接收检测信息。

顺便提及，用于实现根据参照图1描述的本实施例的成像控制部11和信息处理部13的每个功能的计算机程序可以在任何控制单元等中实现。另外，还可以提供存储这种计算机程序的计算机可读记录介质。例如，记录介质是磁盘、光盘、磁光盘或闪存。另外，上述计算机程序可以经由例如网络分发而不使用记录介质。

在上述车辆控制系统7000中，参照图1描述的根据本实施例的成像控制部11和信息处理部13可以应用于图16所示的应用示例中的集成控制单元7600。例如，成像控制部11的立体距离测量部151A和151B以及集成部152对应于集成控制单元7600的微计算机7610。例如，集成控制单元7600可以通过执行基于由相机系统10成像的图像获得距离数据和周围图像数据的处理获得到周围的目标物体的距离的数据和周围图像数据。

另外，参考图1描述的成像控制部11和信息处理部13的至少一部分组件可以在用于图1所示的集成控制单元7600的模块(例如，包括一个管芯的集成电路模块)中实现。或者，参考图1描述的成像控制部11和信息处理部13可以由图16所示的车辆控制系统7000的多个控制单元实现。

顺便提及，本公开还可以如下配置。

(1)一种成像控制设备，包括：

安装在移动体中并构成立体相机系统的一组相机；以及

检测部，被配置为基于由所述一组相机成像的图像来检测到检测范围中的观察点的距离，

其中，所述一组相机在所述移动体的侧面上，在相对于路面的垂直方向上并排布置，并且被配置为以布置成阵列的像素为单位沿垂直方向依次读取成像像素信号。

(2)根据(1)所述的成像控制设备，其中，所述一组相机中的每一个被配置为按照从所述移动体的前侧的像素列开始的顺序，针对每列沿垂直方向依次读取像素信号。

(3)根据(2)所述的成像控制设备，其中，所述一组相机中的每一个被配置为按照从所述移动体的前侧的像素列开始的顺序，针对每列在垂直方向上、沿从下到上的方向或沿从上到下的方向依次读取像素信号。

(4)根据(3)所述的成像控制设备，其中，所述一组相机在所述移动体的左侧面和右侧面中的每一个上，在相对于路面的垂直方向上并排布置，并且所述移动体的左侧和右侧中的每一个上的所述一组相机被配置为按照从所述移动体的前侧的像素列开始的顺序，针对每列在垂直方向上、沿从下到上的方向或沿从上到下的方向依次读取像素信号。

(5)根据(3)所述的成像控制设备，其中，所述一组相机在所述移动体的左侧面和右侧面中的每一个上，在相对于路面的垂直方向上并排布置，并且所述移动体的左侧和右侧之一上的所述一组相机被配置为按照从所述移动体的前侧的像素列开始的顺序，针对每列在垂直方向上、沿从下到上的方向依次读取像素信号，而左侧和右侧中的另一个上的一组相机被配置为按照从所述移动体的前侧的像素列开始的顺序，针对每列在垂直方向上、沿从上到下的方向依次读取像素信号。

(6)根据(1)至(5)中任一项所述的成像控制设备，其中，所述一组相机在所述移动体的前方的左右中的每一个的侧面、所述移动体的中央左侧和中央右侧中的每一个的侧面、以及所述移动体的后方的左右中的每一个的侧面中的至少任一个侧面上并排布置，从而使得在相对于路面的垂直方向上发生视差。

(7)根据(6)所述的成像控制设备，其中，在所述一组相机在所述移动体的前方的左右中的每一个的侧面上或者在所述移动体的后方的左右中的每一个的侧面上，在相对于路面的垂直方向上并排布置的情况下，每个相机包括具有比预定角度窄的角度的相机。

(8)根据(6)中任一项所述的成像控制设备，其中，在所述一组相机在所述移动体的中央左侧和中央右侧中的每一个的侧面上，在相对于道路的垂直方向上并排布置的情况下，每个相机包括具有比预定角度宽的角度的相机。

(9)根据(1)至(8)中任一项所述的成像控制设备，其中，所述相机的像素以阵列布置，使得水平方向上的宽度大于垂直方向上的宽度。

(10)根据(9)所述的成像控制设备，其中，所述相机的像素以阵列布置，使得水平方向上的宽度与垂直方向上的宽度的比率为大约16:9或大约4:3。

(11)一种用于控制包括检测部的成像控制设备的方法，其中所述检测部被配置为基于由安装在移动体中并构成立体相机系统的一组相机成像的图像来检测到检测范围中的观察点的距离，所述方法包括通过在所述移动体的侧面上，在相对于路面的垂直方向上并排布置的所述一组相机以布置成阵列的像素为单位沿垂直方向依次读取成像像素信号的步骤。

(12)一种移动体，包括：

成像控制设备，包括：

安装在所述移动体中并构成立体相机系统的一组相机；以及

检测部，被配置为基于由所述一组相机成像的图像来检测到检测范围中的观察点的距离，

所述一组相机在所述移动体的侧面上，在相对于路面的垂直方向上并排布置，并且被配置为以布置成阵列的像素为单位沿垂直方向上依次读取成像像素信号。

附图标记列表

1车内系统，10相机系统，11成像控制部，12车辆信息传感器，13信息处理部，14显示部，15制动控制部，16制动设备，31周围状况检测部，32动作预测部，33碰撞预测部，34HMI控制部，100车辆，111、111A、111B立体相机系统，131、131A、131B、132、132A、132B相机，151、151A、151B立体距离测量部，152集成部，171、172图像校正部，173立体图像处理部

Claims (12)

1.一种成像控制设备，包括：

安装在移动体中并构成立体相机系统的一组相机；以及

检测部，被配置为基于由所述一组相机成像的图像来检测到检测范围中的观察点的距离，

其中，所述一组相机在所述移动体的侧面上，在相对于路面的垂直方向上并排布置，并且被配置为以布置成阵列的像素为单位沿垂直方向依次读取成像像素信号。

2.根据权利要求1所述的成像控制设备，其中，所述一组相机中的每一个被配置为按照从所述移动体的前侧的像素列开始的顺序，针对每列沿垂直方向依次读取像素信号。

3.根据权利要求2所述的成像控制设备，其中，所述一组相机中的每一个被配置为按照从所述移动体的前侧的像素列开始的顺序，针对每列在垂直方向上、沿从下到上的方向或沿从上到下的方向依次读取像素信号。

4.根据权利要求3所述的成像控制设备，其中，所述一组相机在所述移动体的左侧面和右侧面中的每一个上，在相对于路面的垂直方向上并排布置，并且所述移动体的左侧和右侧中的每一个上的所述一组相机被配置为按照从所述移动体的前侧的像素列开始的顺序，针对每列在垂直方向上、沿从下到上的方向或沿从上到下的方向依次读取像素信号。

5.根据权利要求3所述的成像控制设备，其中，所述一组相机在所述移动体的左侧面和右侧面中的每一个上，在相对于路面的垂直方向上并排布置，并且所述移动体的左侧和右侧之一上的所述一组相机被配置为按照从所述移动体的前侧的像素列开始的顺序，针对每列在垂直方向上、沿从下到上的方向依次读取像素信号，而左侧和右侧中的另一个上的一组相机被配置为按照从所述移动体的前侧的像素列开始的顺序，针对每列在垂直方向上、沿从上到下的方向依次读取像素信号。

6.根据权利要求1所述的成像控制设备，其中，所述一组相机在所述移动体的前方的左右中的每一个的侧面、所述移动体的中央左侧和中央右侧中的每一个的侧面、以及所述移动体的后方的左右中的每一个的侧面中的至少任一个侧面上并排布置，从而使得在相对于路面的垂直方向上发生视差。

7.根据权利要求6所述的成像控制设备，其中，在所述一组相机在所述移动体的前方的左右中的每一个的侧面上或者在所述移动体的后方的左右中的每一个的侧面上，在相对于路面的垂直方向上并排布置的情况下，每个相机包括具有比预定角度窄的角度的相机。

8.根据权利要求6所述的成像控制设备，其中，在所述一组相机在所述移动体的中央左侧和中央右侧中的每一个的侧面上，在相对于道路的垂直方向上并排布置的情况下，每个相机包括具有比预定角度宽的角度的相机。

9.根据权利要求1所述的成像控制设备，其中，所述相机的像素以阵列布置，使得水平方向上的宽度大于垂直方向上的宽度。

10.根据权利要求9所述的成像控制设备，其中，所述相机的像素以阵列布置，使得水平方向上的宽度与垂直方向上的宽度的比率为大约16:9或大约4:3。

11.一种用于控制包括检测部的成像控制设备的方法，其中所述检测部被配置为基于由安装在移动体中并构成立体相机系统的一组相机成像的图像来检测到检测范围中的观察点的距离，所述方法包括：

通过在所述移动体的侧面上，在相对于路面的垂直方向上并排布置的所述一组相机以布置成阵列的像素为单位沿垂直方向依次读取成像像素信号的步骤。

12.一种移动体，包括：

成像控制设备，包括

安装在所述移动体中并构成立体相机系统的一组相机；以及

检测部，被配置为基于由所述一组相机成像的图像来检测到检测范围中的观察点的距离，

所述一组相机在所述移动体的侧面上，在相对于路面的垂直方向上并排布置，并且被配置为以布置成阵列的像素为单位沿垂直方向上依次读取成像像素信号。