CN114945083A - 周边图像显示装置 - Google Patents

Abstract

周边图像显示装置被配置成：获取车辆(9)的车轮速度；基于所获取的车轮速度来确定车辆的车轮的打滑状态或非打滑状态；从各个摄像装置获取多个摄像装置图像；将指示车辆行驶方向上的范围的摄像装置图像作为过去图像进行存储；通过合成摄像装置图像来生成指示车辆周边的周边图像；以及将周边图像显示在显示器(3)上。在非打滑状态下，周边图像显示装置显示透明图像，该透明图像使用基于当前车轮速度选择的过去图像以透明方式示出车辆的底板下方的部分。在打滑状态下，周边图像显示装置使透明图像的显示无效。

Description

周边图像显示装置

技术领域

本公开涉及周边图像显示装置。

背景技术

常规上，已知在显示装置上显示底板下状况的周边监视装置。

发明内容

本公开提供了周边图像显示装置，该周边图像显示装置被配置成：获取车辆车轮速度；基于所获取的车轮速度来确定车辆的车轮的打滑状态或非打滑状态；从各个摄像装置获取多个摄像装置图像；将指示车辆行驶方向上的范围的摄像装置图像作为过去图像进行存储；通过合成摄像装置图像来生成指示车辆周边的周边图像；以及将周边图像显示在显示器上。在非打滑状态下，周边图像显示装置显示透明图像，该透明图像使用基于当前车轮速度选择的过去图像以透明方式示出车辆的底板下方的部分。在打滑状态下，周边图像显示装置使透明图像的显示无效(deactivate)。

附图说明

通过参照附图进行的以下详细描述，本公开的上述内容和其他目的、特征和优点将变得更明显。在附图中：

图1是示出周边图像显示系统的配置的框图；

图2是示出每个摄像装置的安装位置和捕获范围的图；

图3是示出图像生成ECU的配置的框图；

图4是示出用于生成行驶方向图像的投影表面的图；

图5是示出包括透明图像的行驶方向图像的图；

图6是示出显示图像的图；

图7是示出由周边图像显示系统执行的控制处理的流程图；

图8是示出根据第二实施方式的由周边图像显示系统执行的控制处理的流程图；

图9是示出根据第二实施方式的包括透明图像的行驶方向图像的图；

图10是示出根据第二实施方式的从透明图像到非透明图像的变化状态的行驶方向图像的图；

图11是示出根据第二实施方式的包括非透明图像的行驶方向图像的图；

图12是示出根据第三实施方式的由周边图像显示系统执行的控制处理的流程图；

图13是示出根据第三实施方式的从透明图像到非透明图像的变化状态的行驶方向图像的图；以及

图14是示出根据第三实施方式的从透明图像到非透明图像的变化状态的行驶方向图像的另一图。

具体实施方式

日本未审查专利公开第2016-21653号公开了在显示装置上显示车辆的底板下状况的周边监视装置。底板下区域是车辆附近的盲点。该文献的公开内容通过引用并入本文。

在上述文件的结构中，基于诸如光流、车轮速度、GPS等信息来估计车辆的移动量和位置，并且将过去图像显示为底板下图像。然而，诸如光流等图像处理需要较大的处理负荷，并且这可能需要花费时间来估计车辆的移动量。此外，当基于车轮速度来估计移动量时，如果车轮处于打滑状态，则估计的移动量可能与实际移动量显著不同。当错误图像被显示为底板下图像时，用户可能会误解车辆底板下方的状况，并且周边图像的可靠性可能降低。由于这个原因和未描述的其他原因，需要对周边图像显示装置进行进一步的改进。

本公开的一个目的是提供具有高可靠度的周边图像显示装置。

根据本公开的一个方面，周边图像显示装置包括：车轮速度获取单元，其获取车辆的车轮速度；车轮打滑确定单元，其基于由车轮速度获取单元获取的车轮速度来确定车辆车轮的打滑状态或非打滑状态；图像获取单元，其从各个摄像装置获取多个摄像装置图像，每个摄像装置相继捕获车辆的周边范围；图像存储装置，将由图像获取单元获取的摄像装置图像当中指示车辆的行驶方向上的范围的摄像装置图像作为过去图像进行存储；合成图像生成单元，其通过合成由图像获取单元获取的摄像装置图像来生成指示车辆周边的周边图像；以及显示控制单元，其将由合成图像生成单元生成的周边图像显示在显示器上。在非打滑状态下，显示控制单元使用基于当前车轮速度选择的过去图像显示以透明方式显示车辆底板下方的部分的透明图像。在打滑状态下，显示控制单元使透明图像的显示无效，该透明图像使用基于当前车轮速度选择的过去图像来显示车辆底板下方的部分。

根据以上的周边图像显示装置，在非打滑状态下，显示控制单元使用基于当前车轮速度选择的过去图像显示以透明方式显示车辆底板下的部分的透明图像。在打滑状态下，显示控制单元不使用基于当前车轮速度选择的过去图像来显示示出车辆底板下的部分的透明图像。因此，在打滑状态下，通过将错误图像显示为底板下图像，可以防止用户误解底板下状况。因此，可以提供可靠性高的周边图像显示装置。

本说明书中公开的各方面采用彼此不同的技术解决方案，以便实现它们各自的目标。通过参照以下详细描述和附图，本说明书中公开的目的、特征和优点将变得明显。

将参照附图对实施方式进行描述。在一些实施方式中，功能和/或结构上对应和/或相关联的部分可以被赋予相同的附图标记或者在等于或高于百位的位置上具有不同数字的附图标记。对于对应的部分和/或相关联的部分，可以参考对其他实施方式的描述。

第一实施方式

在图1中，周边图像显示系统1在显示器3上显示周边图像，该周边图像指示安装有该系统的主题车辆9的周边。车辆9的周边可以包括车辆9周围的诸如前面、后面、侧面和向下的各种方向上的位置。周边图像可以包括部分方向而不是车辆9的整个周围的图像。例如，周边图像可以包括仅示出车辆的前方或后方的图像。在以下描述中，将装备有周边图像显示系统1的车辆9也称为本车辆(own vehicle)。

例如，本车辆是具有驱动动力源的四轮车辆，并且被认为不仅要在具有铺有沥青的路面的道路上行驶，而且还要在未铺砌的道路上行驶。作为驾驶模式，本车辆具有普通模式和越野模式。适合在铺砌道路上行驶的驾驶模式被设置为正常模式。适合在未铺砌道路上行驶的驾驶模式被设置为越野模式。对前、后、左、右轮的驱动力分配控制方式在正常模式下与在越野模式下不同。众所周知，越野指示具有较大凹凸的地表，例如石路。越野也可以理解为道路以外的地面，即没有维护的地面。本公开还可以应用于不期望越野行驶的车辆。本车辆可以是以发动机为驱动源装置的汽油动力车辆，或者可以是以电机为驱动源装置的电动汽车或混合动力汽车。

在以下的说明中，前后方向、左右方向和上下方向以本车辆为基准进行定义。具体地，前后方向对应于本车辆的纵向方向。左右方向对应于本车辆的宽度方向。上下方向对应于本车辆的高度方向。从另一个角度看，上下方向对应于垂直于与前后方向和左右方向两者平行的平面的方向。在本公开中，与本车辆的高度方向垂直的平面也称为车辆水平面。与本车辆的高度方向垂直的方向也称为车辆水平方向，并且车辆水平方向包括前后方向和左右方向。

本公开中的平行状态不限于完全平行状态。与完全平行状态成20度以内的角度的状态可以被视为平行状态。即，平行状态可以包括倾斜角为20度或更小的基本平行状态。类似地，本发明中的垂直状态不限于完全垂直状态。

周边图像显示系统1包括图像生成ECU 70、一个或更多个摄像装置2、显示器3、触摸面板4、操作按钮5和车辆状态传感器6。在本公开中，ECU用作电子控制单元的缩写，并且指示任何一种电子控制装置。

图像生成ECU 70可通信地连接到每个摄像装置2、显示器3、触摸面板4、操作按钮5和车辆状态传感器6。上述装置中的每一个和图像生成ECU 70单独地通过专线连接，或者可以经由车辆中配备的通信网络连接。例如，摄像装置2和图像生成ECU 70可以通过专用视频信号线直接连接。

图像生成ECU 70基于由每个摄像装置2捕获的图像数据生成源于任意视点的车辆周围的合成图像。图像生成ECU 70将生成的合成图像显示在显示器3上。图像生成ECU 70可以通过生成并显示合成图像来支持车辆9的驾驶操作。图像生成ECU 70由计算机提供。图像生成ECU 70包括处理器71、RAM 72、存储装置73、通信接口(IF)74、连接这些部件的总线。图像生成ECU 70对应于本公开的周边图像显示装置的示例。

处理器71与RAM 72结合，并且由用于执行算术处理的硬件提供。例如，处理器71由中央处理单元(CPU)提供。处理器71通过访问RAM 72来执行用于充当稍后描述的功能块的各种处理。RAM 72由易失性存储介质提供。

存储装置73包括诸如闪存的非易失性存储介质。存储装置73存储作为固件的图像生成程序以及用于生成合成图像的各种绘图数据。绘图数据包括指示投影表面TS的形状的数据、指示本车辆外观的三维(3D)模型的数据、指示本车辆的每个部件的3D模型的数据等。例如，要针对其准备3D模型数据的部件包括轮胎、方向盘、仪表板、立柱、车体板件等。由处理器71执行图像生成程序对应于执行作为与图像生成程序对应的方法的显示控制方法。

通信IF 74是充当与其他装置通信的接口的电路模块。通信IF 74由模拟电路元件、IC等提供。稍后将描述图像生成ECU 70的细节。

摄像装置2是车载摄像装置，并且捕获指示本车辆的周围的图像，并且将捕获的图像数据输出到图像生成ECU 70。每个摄像装置2包括至少镜头和图像捕获元件，并且捕获指示本车辆的周围的图像。摄像装置2被附接到本车辆的不同安装位置，以捕获具有不同范围的图像。如图2所示，作为摄像装置2，本实施方式的周边图像显示系统1包括前摄像装置2F、后摄像装置2B、右摄像装置2R和左摄像装置2L。这四个摄像装置2被附接到本车辆的不同位置，并且在不同方向上捕获指示本车辆的周围环境的图像。下面描述具体示例。

前摄像装置2F是捕获车辆的前方的图像的图像捕获装置。前摄像装置2F以光轴2Fa面向本车辆前方的方式附接到本车辆的前端，例如前格栅。当车辆9向前行驶时，前摄像装置2F充当捕获行驶方向的图像的摄像装置2。

后摄像装置2B是捕获车辆后方的图像的图像捕获装置。后摄像装置2B以光轴2Ba面向本车辆后方的方式附接到本车辆的后端，例如车体后表面上靠近后牌照或后窗的预定位置。在车辆9向后方行驶时，后摄像装置2B充当捕获行驶方向上的图像的摄像装置2。

右摄像装置2R是捕获本车辆右侧的图像的捕获装置。例如，右摄像装置2R以光轴2Ra面向本车辆右方的方式附接到右侧后视镜。左摄像装置2L是捕获本车辆左侧的图像的捕获装置。例如，左摄像装置2L以光轴2La面向本车辆左方的方式附接到左侧后视镜。

作为每个摄像装置2的镜头，可以采用诸如鱼眼镜头的广角镜头，并且每个摄像装置2具有180度或更大的视角θ。因此，通过使用四个摄像装置2，可以捕获指示本车辆的整个周围环境的图像。上述每个摄像装置2的安装位置可以根据需要适当改变。例如，前摄像装置2F也可以附接到后视镜、风挡的上端等。例如，右摄像装置2R或左摄像装置2L可以靠近A柱或B柱的基部布置。摄像装置2可以被改装成例如，在车顶上、在仪表板上、靠近窗框等。

指示每个摄像装置2相对于车辆9的安装位置和安装姿态的安装模式数据可以被存储在存储装置73中。例如，每个摄像装置2的安装位置可以被表示为车辆三维(3D)坐标系中的点，车辆三维坐标系是将中心定义在车辆9的预定位置上的三维坐标系。例如，可以将车辆三维坐标系的X轴设置为平行于车辆9的左右方向。可以将车辆三维坐标系的Y轴设置为平行于车辆的前后方向。可以将车辆三维坐标系的Z轴设置为平行于车辆的高度方向。例如，车辆的右方向可以对应于X轴的正方向，车辆的前方向可以对应于Y轴的正方向，并且车辆的向上方向可以对应于Z轴的正方向。例如，车辆3D坐标系的中心可以被设置为后轮轴的中心。

显示器3包括诸如液晶显示面板的薄型显示面板，并且在该薄型显示面板上显示各种类型的信息和图像。显示器3可以被布置在本车辆的仪表板上，使得用户可以在视觉上识别屏幕。显示器3可以通过与图像生成单元70一起布置在同一外壳中而与图像生成ECU70集成在一起。显示器3也可以由与图像生成ECU 70分开布置的单独装置提供。显示器3包括设置在显示面板上的触摸面板4，并且能够接受用户进行的操作。

例如，触摸面板4可以由电容式触摸面板提供，并且输出指示用户触摸的位置的信号。在本文中，用户主要是指作为就座于车辆的驾驶座上的乘员的驾驶员。用户可以包括坐在车辆的副驾驶座上的乘员。

操作按钮5是接受用户对显示器3上显示的内容进行的操作的操作部件。例如，操作按钮5可以由用于将由图像生成ECU 70生成的合成图像显示在屏幕上并且改变合成图像的视点位置的开关提供。例如，操作按钮5可以被设置在本车辆的方向盘上，并且主要接收本车辆的驾驶员的操作。用户可以使用操作按钮5和触摸面板4对周边图像显示系统1执行各种操作。当用户操作操作按钮5或触摸面板4时，指示操作内容的操作信号被输入到图像生成ECU 70。操作按钮5也可以被设置在仪表板上。

周边图像显示系统1可以包括使驾驶员能够将车辆9的行驶模式从正常模式切换到越野模式的行驶模式开关作为操作部件。用于切换行驶模式的操作部件可以是拨码式开关。本车辆的换挡杆上可以装备有行驶模式开关。

车辆状态传感器6检测与本车辆的行驶控制相关的状态量。更具体地，车辆状态传感器6是包括一个或更多个传感器的传感器组。车辆状态传感器6包括车轮速度传感器6s。车轮速度传感器6s基于本车辆的车轮的旋转状态来检测车轮速度。作为车轮速度传感器6s，可以采用基于脉冲信号的变化来检测车轮的旋转的传感器。在这种情况下，每单位时间获得的脉冲信号的数量随着车轮旋转速度的增加而增加。车轮速度传感器6s不必是直接检测作为检测目标的车轮速度的传感器，而可以是检测用于计算车轮速度的状态量的传感器。车轮速度传感器6s检测本车辆的每个车轮的车轮速度。例如，在本车辆具有右前轮、左前轮、右后轮和左后轮四个车轮的情况下，分别检测每个车轮的旋转速度。

除了车轮速度传感器6s之外，车辆状态传感器6还可以包括换挡传感器、车辆速度传感器、转向角传感器、加速度传感器等。换挡传感器检测换挡位置。车辆速度传感器检测本车辆的行驶速度。转向角传感器检测本车辆的方向盘的旋转角。加速度传感器检测在前后方向、左右方向和上下方向中的至少一个方向上作用于本车辆的加速度。例如，可以采用3轴加速度计作为加速度传感器。加速度传感器的检测值可以用于确定车辆相对于水平面的姿态。

包括在周边图像显示系统1中作为车辆状态传感器6的传感器的种类可以根据需要适当设计，并且不必将上述所有的传感器都包括在周边图像显示系统中。车辆状态传感器6还可以包括车辆高度传感器、陀螺仪传感器、方位角传感器等。每个传感器将指示被设置为检测目标的状态量的当前值的数据输出到图像生成ECU 70。

如图3所示，图像生成ECU 70包括作为功能块的图像获取单元F1、操作接收单元F2、车辆状态获取单元F3、显示设置获取单元F4、图像识别单元F5、合成图像生成单元F7、显示控制单元F8和图像输出单元F9。图像生成ECU 70包括图像存储装置M1，图像存储装置M1是用于临时存储图像数据的存储器。例如，图像存储装置M1可以由RAM 72的部分存储区域提供。在图像存储装置M1中，可以将捕获图像时车辆9的车辆位置信息和方向信息与由每个摄像装置2捕获的图像相关联地存储。

图像获取单元F1获取由每个摄像装置2捕获的图像数据。通过将由每个摄像装置2捕获的图像数据进行组合，可以获得指示本车辆的整个周围环境的图像数据。图像获取单元F1将从摄像装置2输出的图像信号转换为数据格式的数字图像数据，然后将经转换的图像数据输出到图像识别单元F5和合成图像生成单元F7。

例如，图像存储装置M1存储每当本车辆移动预先定义的预定距离时由每个摄像装置2捕获的图像数据。存储的图像数据与从图像数据中分别获取的本车辆的位置信息和姿态信息相关联。例如，预定距离可以被设置为0.1m、0.3m、0.5m等。在下文中，用于存储图像数据的预定距离也被称为存储距离。在将存储距离设置为0.1m的情况下，与最近存储的图像数据相比，接下来要存储的图像数据是通过捕获在行驶方向上移位了0.1m的范围而获得的图像数据。代替存储距离，可以设置存储时间间隔，并且可以在每次经过了存储时间间隔时存储由每个摄像装置2捕获的图像数据。

例如，当车辆向前行驶时，图像存储装置M1可以存储由前摄像装置2F捕获的图像数据。前摄像装置2F捕获从车辆前端正下方至前方3米处的地面的图像。当车辆向后移动时，图像存储装置M1可以存储由后摄像装置2B捕获的图像数据。后摄像装置2B捕获从车辆后端正下方至后方3米处的地面的图像。

作为图像存储装置M1中的图像数据的存储方式，可以采用各种方式。例如，图像获取单元F1将新数据覆盖并存储在图像存储装置M1中最旧的更新区域中。也就是说，图像存储装置M1可以被配置成环形缓冲区。环形缓冲区是逻辑上呈环形布置的存储区域。图像获取单元F1可以被配置成将在最近的存储间隔内获取的图像帧存储在与针对上述每个存储距离获取的图像数据不同的区域中。存储在图像存储装置M1中的图像数据由合成图像生成单元F7使用。图像获取单元F1可以根据镜头特性对由摄像装置2获取的图像执行诸如失真校正、放大或缩小尺寸、裁剪之类的图像处理。在这种情况下，图像处理后的图像数据被存储在图像存储装置M1中。

操作接收单元F2接收从操作按钮5或触摸面板4输出的操作信号。操作信号指示用户对操作按钮5或触摸面板4进行的操作的内容。因此，操作接收单元F2接受用户操作以显示图像数据，例如合成图像。操作接收单元F2将与接收到的操作信号对应的数据输出到显示控制单元F8。

车辆状态获取单元F3从本车辆的其他装置例如车辆状态传感器6获取指示本车辆的状态的信息。车辆状态获取单元F3包括车轮速度获取单元F31和车轮打滑确定单元F32。车轮速度获取单元F31获取由车轮速度传感器6s检测到的每个车轮的车轮速度。例如，车轮速度获取单元F31可以分别获取右前轮的车轮速度、左前轮的车轮速度、右后轮的车轮速度和左后轮的车轮速度。

车轮打滑确定单元F32确定本车辆的车轮是否处于打滑状态。例如，当前轮中的一个处于打滑状态时，右前轮与地面之间的摩擦大小与左前轮与地面之间的摩擦大小显著不同。因此，右前轮的车轮速度与左前轮的车轮速度之间存在很大差异。当右前轮的车轮速度与左前轮的车轮速度之差等于或大于预定打滑状态速度时，车轮打滑确定单元确定车轮处于打滑状态。在非打滑状态下，当车辆在弯道行驶时，右前轮的车轮速度可以与左轮的车轮速度不同。考虑到这种情况，适当地设置打滑状态速度，使得可以适当地确定车辆的非打滑状态和打滑状态。

用于确定车轮的打滑状态的方法不限于上述方法。代替车轮打滑确定单元F32基于车轮速度来确定车轮是否处于打滑状态，除了图像生成ECU 70之外的ECU也可以确定车轮的打滑状态。在该配置中，车轮打滑确定单元F32获取由不同于图像生成ECU 70的ECU确定的车轮打滑确定结果。

车辆状态获取单元F3从各种传感器获取挡位、每个检测轴方向的加速度、车辆速度、转向角等。车辆状态获取单元F3可以从其他ECU获取各种状态量。例如，可以从包括在转向系统中的ECU获取诸如转向角的信息。车辆状态获取单元F3可以从图像识别单元F5获取每单位时间的移动距离变化量和每单位时间的方向变化量。即，车辆状态获取单元F3不仅能够从传感器获取而且能够从其他ECU、图像识别单元F5等获取与本车辆的状态相关的各种信息。车辆状态获取单元F3可以结合各种类型的信息并计算车辆9的移动距离、车辆9的方向变化量等。车辆9的方向不仅可以包括车辆9面对的偏航角，而且还可以包括俯仰角、侧倾角等。

显示设置获取单元F4获取要在显示器3上显示的图像的设置。显示设置可以包括与显示器3的亮度相关的设置。显示设置可以包括与显示时间和显示持续时间相关的设置。显示设置可以包括与要显示的图像的视点位置相关的设置。显示设置可以包括与切换显示图像时的显示效果相关的设置。可以通过用户对触摸面板4或操作按钮5的操作来改变显示设置。

图像识别单元F5通过分析从摄像装置2获取的图像来检测预定检测目标的位置、预定检测目标的类型等。图像识别单元F5具有基于图像特征向量来标识检测目标的类型的功能标识符。图像识别单元F5通过使用例如对其应用深度学习的卷积神经网络(CNN)或深度神经网络(DNN)来识别对象。检测目标包括行人、其他车辆、道路标记(如铺砌道路上标记的车道标记)和道路边缘。除了作为车道标记提供的线之外，道路标记还可以包括指示停车框等的线。

图像识别单元F5能够基于预先设置在图像上的特征点，通过将一帧中的特征点与不同帧中的特征点进行比较来估计本车辆的行驶量和方向变化量。即，基于车辆位置的变化量来估计行驶量和方向变化量。例如，图像识别单元F5可以通过使用光流法等来估计相对于参考点的当前位置、车体的方向变化量、偏航率等。光流被称为帧间差分法。光流是指示作为矢量的包括在图像数据中的对象的移动的信息。图像识别单元F5的对象识别结果和本车辆位置的估计结果等被输出到显示控制单元F8、车辆状态获取单元F3和合成图像生成单元F7。

合成图像生成单元F7执行用于生成诸如后述的行驶方向图像AP、透明图像CP的合成图像的图像处理。合成图像生成单元F7将由摄像装置2捕获的多个图像数据投影到虚拟投影表面TS上，并且使用投影到投影表面TS上的数据生成从虚拟视点VP观察到的合成图像。

如图4概念性所示，投影表面TS是与本车辆的周围区域对应的虚拟三维平面。投影表面TS的中心区域被定义为与本车辆的位置对应的车辆区域。例如，车辆区域被设置为矩形平坦部分。车辆区域包括在本车辆的高度方向上与本车辆交叠的区域。换言之，车辆区域包括不能由摄像装置2直接成像的区域。投影表面TS在车辆区域附近具有沿着车辆的水平方向的平面形状，并且在远离车辆区域的位置处具有弯曲形状，并且弯曲形状的倾斜度随着距车辆区域距离的增加而增加。即，投影表面TS在整体上具有向下凸的弯曲形状。将摄像装置图像投影到投影表面TS上对应于将摄像装置图像纹理映射到投影表面TS上。

可以适当改变投影表面TS的形状。可以在整个区域中将投影表面TS的形状设置为水平平面。投影表面TS可以具有这样的形状：弯曲区域(例如向下凸的区域)从车辆区域的边缘部分开始，而不具有上述平面区域。

显示控制单元F8控制合成图像生成单元F7的操作。例如，显示控制单元F8控制用于生成合成图像的虚拟视点VP。合成图像生成单元F7包括摄像装置图像合成单元F71和车辆模型分配单元F72。摄像装置图像合成单元F71将由每个摄像装置捕获的图像投影到投影表面TS上。车辆模型分配单元F72将车辆9的模型图像布置在其上投影了由摄像装置捕获的图像的投影表面TS上的预定位置上。

显示控制单元F8综合地控制图像生成ECU 70的整体操作。例如，显示控制单元F8基于从操作接收单元F2和车辆状态获取单元F3输出的信息来控制合成图像生成单元F7和显示图像生成单元F81。因此，根据本车辆的行驶状态和用户的设置生成合成图像和显示图像DP。

显示控制单元F8基于例如从换挡传感器输出的信号或者轮胎的旋转方向，确定本车辆的行驶方向是前进方向还是后退方向。显示控制单元F8基于来自行驶模式开关的输入信号来确定行驶环境是否为越野。

当生成合成图像时，显示控制单元F8基于本车辆的行驶方向以及来自触摸面板4或操作按钮5的信号来设置虚拟视点VP的位置和视线方向。例如，虚拟视点VP可以被设置为鸟瞰图或驾驶员目视图。图4示出了当虚拟视点VP被设置为鸟瞰图时的视点位置。

在鸟瞰图被设置为虚拟视点VP的情况下，视点位置在本车辆的正上方，并且视线方向指向正下方。当生成作为从本车辆正上方观察到的本车辆及其周围环境的图像的俯瞰图图像时，可以应用俯瞰图像。可以适当调整俯瞰视图的视角以包括本车辆附近。鸟瞰图的视点位置不限于本车辆正上方。例如，观察位置可以是从本车辆的正上方在向后方向、向前方向或横向方向偏移的位置。鸟瞰图对应于车外视点的示例，车外视点是虚拟视点VP被布置在车厢外部的视点。

驾驶员视点是其中视点位置被设置为车厢内的驾驶员眼睛的假定位置的虚拟视点VP。例如，驾驶员的视点的视线方向可以被设置为斜前下方，以便包括前轮附近。例如，斜下方可以是从车辆水平面向下指向大约20度至30度的方向。以前斜下方为基准方向，驾驶员视点的视线方向可以被配置成基于用户在触摸面板4上的操作在任何方向上变化。可以适当地调整驾驶员视点的视角以包括前轮附近。

驾驶员眼睛的假定位置可以被设置为靠近驾驶员座椅的头枕。作为驾驶员眼睛的假定位置，可以使用针对每个车辆模型设置的眼椭圆。眼椭圆是针对与车辆类型对应的每个车辆定义的虚拟空间区域。眼椭圆被设置为基于眼睛范围的虚拟椭圆形状，该眼睛范围统计地表示了乘员眼睛的点的空间分布。驾驶员视点对应于车内视点的示例，车内视点是虚拟视点VP被布置在车厢中的视点。作为另一示例，驾驶员视点位置可以被设置在从驾驶员眼睛的假定位置偏离的位置处。例如，驾驶员视点可以被设置在从驾驶员眼睛的假定位置向副驾驶座偏移的位置处。例如，可以将驾驶座与副驾驶座中间的位置设置为驾驶员视点的位置。

如图5所示，本实施方式的图像生成ECU 70具有用于显示行驶方向图像AP的周边图像显示模式作为操作模式。稍后将描述生成行驶方向图像AP的方法的细节。

行驶方向图像AP可以包括是合成图像的透明图像CP，该合成图像像车体的底板下是透明的一样示出车辆底板下方的路面。当行驶方向图像AP包括示出车辆底板下方的路面的透明图像CP时，周边图像显示模式也可以称为底板下显示模式。显示控制单元F8可以基于换挡杆的特定位置或用户操作中的至少一个来切换显示模式。例如，显示控制单元F8可以响应于满足后述的周边图像显示条件而将显示模式设置为周边图像显示模式。在以下的描述中，作为示例，将虚拟视点VP设置为驾驶员视点而生成的图像被描述为行驶方向图像AP。

显示图像生成单元F81生成如图6所示的显示图像DP。显示图像DP是要在显示器3上显示的图像。显示图像DP包括行驶方向图像AP和图标图像3i。图标图像3i用符号指示显示在显示器3上的周边图像的范围。图6示出了将车辆的前方区域设置为周边图像的范围的图像。

显示图像生成单元F81使用由合成图像生成单元F7合成的合成图像、由图像获取单元F1获取的摄像装置图像、图标图像3i等，生成显示图像DP。要包括在显示图像DP中的图像的组合由显示控制单元F8根据本车辆的行驶方向以及用户对触摸面板4的操作等来确定。

图像输出单元F9将由显示图像生成单元F81生成的显示图像DP转换为视频信号，并将该视频信号输出到显示器3。由此，显示图像DP被显示在显示器3上。显示图像DP被显示在显示器3上，显示图像DP包括示出本车辆周边并且从虚拟视点VP观察到的合成图像。

在下文中，将描述由合成图像生成单元F7执行以生成包括透明图像CP的行驶方向图像AP的操作。摄像装置图像合成单元F71将由图像获取单元F1获取的每个摄像装置图像投影到如图4所示的虚拟三维空间中的投影表面TS上。每个摄像装置图像在投影表面TS上的投影位置与对应信息例如表格数据相关地被预先定义。

例如，摄像装置图像合成单元F71将前摄像装置2F的图像数据投影到投影表面TS的前方区域上。摄像装置图像合成单元F71将后摄像装置2B的图像数据投影到投影表面TS的后方区域上。摄像装置图像合成单元F71将右摄像装置2R的图像数据投影到投影表面TS的右侧区域上，并且将左摄像装置2L的图像数据投影到投影表面TS的左侧区域上。

可以采用各种方法在交叠区域中显示图像。交叠区域是两个或更多个摄像装置2的图像捕获范围彼此交叠的区域。例如，多个摄像装置2的图像数据可以以适当的比例混合，或者多个摄像装置2的图像数据可以在预定边界线处连接在一起。

从存储在图像存储装置M1中的过去图像中，提取示出被推测位于车辆区域中的部分的图像。然后，根据需要对提取的图像执行旋转校正，然后将图像投影到车辆区域上。由于投影在车辆区域上的图像是位于本车辆正下方的区域的图像，即底板下方的图像，因此该图像可以称为底板下图像。

例如，当本车辆向前移动时，可以使用在当前位置后方3米处捕获的作为过去图像的前摄像装置图像来生成底板下图像。当本车辆向后移动时，可以通过使用在当前位置前方3米处捕获的作为过去图像的后摄像装置图像来生成底板下图像。即，使用当本车辆位于与行驶方向上的当前位置相反的位置时的过去图像来生成底板下图像。

当本车辆向前移动时，可以使用在多个时间点处捕获的当前位置后方3米的位置与当前位置之间的作为过去图像的前摄像装置图像来生成底板下图像。在这种情况下，基于多个过去图像来生成一个底板下图像。当车辆向后移动时同样适用。投影在与车辆区域对应的底板下的部分的过去图像的图像数据可以随着车辆9的移动在任何时间处更新。

显示控制单元F8控制合成图像生成单元F7，以针对包括投影表面TS的三维空间设置虚拟视点VP。合成图像生成单元F7可以设置从三维空间内的任意视点位置指向任意视线方向的虚拟视点VP。

车辆模型分配单元F72在包括投影了摄像装置图像的投影表面TS的虚拟三维空间上布置关于本车辆的各种图像元素。当虚拟视点VP被设置在车厢外时，例如鸟瞰图时，指示车辆底部所在的路面范围的车辆边界线Lvc被分配在车辆区域上。车辆边界线Lvc指示当车体垂直于路面的上方被投影时车辆的轮廓，并且对应于指示车辆9在俯视图中的外形的线。

下面将参照图5描述当虚拟视点VP被布置在车厢中(例如驾驶员视点)时生成的行驶方向图像AP。图5所示的行驶方向图像AP假设本车辆位于标有停车框的停车场的停车位中。行驶方向图像AP主要示出了本车辆的行驶方向的周边。

行驶方向图像AP包括第一行驶方向图像AP1和第二行驶方向图像AP2。第一行驶方向图像AP1对应于当前由摄像装置2捕获并投影在投影表面上的当前图像。第二行驶方向图像AP2对应于过去由摄像装置2捕获并投影在投影表面上的过去摄像装置图像。第一行驶方向图像AP1示出了摄像装置2可以实时捕获的捕获范围，第二行驶方向图像AP2示出了不能实时捕获的捕获范围。示出了车辆区域内的路面的底板下图像对应于示出了摄像装置2不能实时捕获的捕获范围的第二行驶方向图像AP2。在图中，第一行驶方向图像AP1与第二行驶方向图像AP2之间的边界由双点划线示出。

除了车辆边界线Lvc之外，当虚拟视点VP是驾驶员视点时，车辆模型分配单元F72可以将3D轮胎模型Pt、3D车体模型、3D内部模型布置在三维空间中的预定位置处。在附图中，作为示例示出了仅布置3D轮胎模型Pt的情况。3D轮胎模型Pt是轮胎的3D模型，并且被整体设置为半透明。3D轮胎模型Pt可以仅包括轮胎的不透明轮廓线或半透明轮廓线。即，可以将3D轮胎模型Pt的轮廓线以外的部分设置为无色透明。

此处的术语半透明不限于透明度为50％的状态，并且可以包括例如从50％到80％的范围的透明度。也就是说，术语半透明可以包括模糊地指示目标存在的状态。透明度是该参数指示值越高就越透明的参数。在本公开中，100％的透明度对应于完全透明的状态。图像的透明度或不透明度是与像素的α值相对应的概念。一般来说，α值越小，透明度就越高。

3D车体模型是车体的3D模型，并且被整体设置为半透明。3D车体模型可以仅包括车体的不透明轮廓线或半透明轮廓线。即，可以将3D车体模型的轮廓线以外的部分设置为无色透明。3D内部模型是示出仪表板、方向盘和A柱的3D模型。

3D轮胎模型Pt、3D车体模型、3D内部模型等是示出本车辆的构成部件的3D模型，并且可以被称为构成部件模型。可以适当调整三维空间中布置的用于生成合成图像的3D模型。例如，可以省略3D轮胎模型Pt、3D车体模型、3D内部模型等的布置。

车辆模型分配单元F72可以绘制指示从车辆端部到图像的一部分的距离的标尺线和指示车辆宽度的车辆宽度线。车辆模型分配单元F72可以绘制计划轨迹线作为与车辆9相关的另一图像元素，该计划轨迹线是指示与车辆9的转向角对应的计划行驶轨迹的线。车辆宽度线也可以充当计划轨迹线。车辆边界线Lvc、计划轨迹线等示出关于车辆9的信息。因此，可以将车辆边界线Lvc、计划轨迹线等称为车辆信息图像。计划轨迹线、标尺线、车辆宽度线等也可以充当驾驶员驾驶操作的引导信息。因此，所显示的线例如计划轨迹线可以被称为引导线。

合成图像生成单元F7根据虚拟视点VP对存在于包括投影平面TS的三维空间中的各种图像元素执行呈现。合成图像生成单元F7通过使用呈现各种图像元素的图像数据，切出从虚拟视点VP观察时的预定视角中包括的图像元素。因此，合成图像生成单元F7生成示出从虚拟视点VP观察到的本车辆的底板下区域和本车辆周边的合成图像。例如，作为透明图像CP，生成车体的底部为透明的底板下图像。在以上描述中，作为示例描述了按照将摄像装置图像投影到投影表面TS上然后添加图像元素的顺序来生成合成图像的实施方式。替选地，上述每个处理可以被并行执行。

可以采用各种方法来生成合成图像。例如，基于摄像装置图像生成的路面图像、车辆边界线Lvc以及车辆9的构成部件的三维模型可以被布置在不同的层中。例如，可以通过将诸如摄像装置图像层、边界线层和3D模型层的三个层进行组合来生成合成图像。摄像装置图像层包括作为投影了摄像装置图像的投影表面TS的图像的路面图像。边界线层是布置有车辆边界线Lvc的层。3D模型层包括诸如3D轮胎模型Pt的三维模型。当将多层进行组合时，摄像装置图像层被设置为最下方的背景层，边界线层和3D模型层可以被叠加在摄像装置图像层上。层结构也可以适当改变。当使用多个层单独处理每个图像元素时，图像——每个层被最终集成到该图像中——成为合成图像。

下面将描述要在显示器3上显示的显示图像DP。如图6所示，显示图像生成单元F81生成包括行驶方向图像AP和图标图像3i的图像作为显示图像DP。

显示图像DP的显示内容不限于上述示例，可以适当改变。例如，由右摄像装置2R捕获的右摄像装置图像以及由左摄像装置2L捕获的左摄像装置图像可以与行驶方向图像AP一起布置。替选地，可以将行驶方向图像AP、右摄像装置图像和左摄像装置图像作为连续的全景图像以全景方式显示。根据显示图像DP的这样的布局，可以在保持行驶方向图像AP的良好可视性的同时在视觉上将左右周边通知给驾驶员。通过观察显示图像DP，驾驶员可以识别前进时前轮附近的地面状态，同时还可以识别车辆横向周边的情况。

可以通过从由右摄像装置2R捕获的摄像装置图像中切出一部分来生成右摄像装置图像。在另一示例中，当将本车辆的右侧部分设置为虚拟视点VP时，可以通过在预定视角内切出通过呈现而获得的合成图像的一部分来生成右摄像装置图像。可以使用左摄像装置2L的摄像装置图像通过与右摄像装置图像相同的生成方法来生成左摄像装置图像。

图标图像3i可以充当响应于用户进行的触摸操作来切换显示图像DP的显示内容的开关。用户是否触摸图标图像3i可以基于从触摸面板4输出的触摸位置信号来确定。当用户对图标图像3i进行触摸操作并且触摸操作被检测到时，显示控制单元F8还使用例如仅包括行驶方向图像AP的显示图像DP作为周边图像，到除了行驶方向图像之外还包括左右摄像装置图像的全景图像作为周边图像。

下面将描述包括当图像生成ECU 70生成并显示显示图像DP时执行的一系列处理的周边图像显示处理。响应于满足周边图像显示条件，图像生成ECU 70开始图7所示的流程图。周边图像显示条件是用于激活显示图像DP的显示的条件。例如，当用户通过例如按下操作按钮5对操作按钮5进行操作时，图像生成ECU 70可以确定满足周边图像显示条件。在另一示例中，响应于检测到用户对用于显示显示图像DP的触摸面板4进行的操作，图像生成ECU 70可以确定满足周边图像显示条件。图像生成ECU 70可以响应于操作接收单元F2获取指示用户执行了用于显示合成图像的操作的信号而开始处理。

用于显示周边图像的具体条件可以包括指示变速器的设置状态的挡位、车辆速度等。例如，周边图像显示条件可以包括以下中的至少一个：挡位被设置为特定范围；或者车辆速度低于预定低速阈值。满足周边图像显示条件的特定范围可以包括：预定的低范围、向后范围等。预定低速阈值可以是例如10km/h、15km/h、20km/h等。当操作接收单元F2在显示器3上显示前摄像装置图像或后摄像装置图像的状态下经由触摸面板4等接受了用户对视点开关的操作时，图像生成ECU确定为满足周边图像显示条件。

可以重复执行图7所示的处理，直到满足显示结束条件。例如，在挡位被设置为特定范围以外的范围的情况下、在车辆速度变化到等于或大于预定的低速阈值的情况下、在用户再次按下操作按钮5的情况下，可以满足显示结束条件。即，当不再满足周边图像显示条件时，显示结束条件被设置为满足。当图像生成ECU 70检测到用户在触摸面板4上进行了用于使显示图像DP的显示无效的操作时，图像生成ECU 70可以确定满足显示结束条件。

在S101中，图像获取单元F1获取由四个摄像装置2中的每一个获取的摄像装置图像。摄像装置图像的获取随着时间的流逝而重复，并且以连续方式获取最新的摄像装置图像。

每当本车辆行驶达存储距离时，图像存储装置M1存储由摄像装置2在行驶方向上捕获的摄像装置图像。当不满足周边图像显示条件的状态被切换至满足周边图像显示条件的状态时，图像获取单元F1存储由摄像装置2在行驶方向上捕获的图像作为第一存储处理。在获取了摄像装置图像之后，处理进行到S102。

在S102中，显示设置获取单元F4获取显示设置。显示设置获取单元F4获取例如虚拟视点VP是驾驶员视图还是鸟瞰视图的设置。

当响应于驱动电源被开启而第一次生成透明图像CP时，虚拟视点VP的默认设置被激活。默认设置可以包括设计者或用户预先设置的位置和视线方向。默认设置例如可以设置驾驶员的视点，使得视线方向指向斜前下方。虚拟视点VP可以被设置为与透明图像CP的上次显示相同的虚拟视点VP的位置和方向。在这种情况下，作为准备处理，显示控制单元F8可以被配置成将用于显示透明图像CP的上次虚拟视点VP的设置数据保存在RAM 72等中。

此外，虚拟视点VP的位置和视线方向可以根据本车辆的行驶方向来确定。例如，在本车辆的行驶方向为向前的情况下，可以采用如上所述的视线方向指向斜前下方的驾驶员视点作为虚拟视点VP。例如，在本车辆的行驶方向为向后的情况下，可以采用视线方向指向斜后下方的驾驶员视点作为虚拟视点VP。虚拟视点VP的视线方向可以根据转向角进行调整。

下面将描述采用视线方向指向斜前下方的驾驶员视点作为虚拟视点VP的示例。在获取显示设置之后，处理进行到S111。

在S111中，车辆状态获取单元F3获取车辆状态。车辆状态指示本车辆的状态，例如挡位和车辆速度。具体地，车辆状态获取单元F3的车轮速度获取单元F31获取本车辆的车轮速度。在获取车辆状态之后，处理进行到S112。

在S112中，车辆状态获取单元F3计算左轮速度与右轮速度之间的车轮速度差。更具体地，计算右前轮的车轮速度与左前轮的车轮速度之差作为车轮速度差。作为另一示例，可以计算右后轮的车轮速度与左后轮的车轮速度之差作为车轮速度差。在计算出车轮速度差之后，处理进行到S113。

在S113中，车轮打滑确定单元F32确定本车辆的车轮是否处于打滑状态。在右前轮的车轮速度与左前轮的车轮速度之差等于或大于预定的打滑状态车轮速度的情况下，车轮打滑确定单元F32确定本车辆的一个前轮处于打滑状态。替选地，车轮打滑确定单元F32可以在右后轮的车轮速度与左后轮的车轮速度之差等于或大于预定的打滑状态车轮速度的情况下，确定本车辆的一个后轮处于打滑状态。此时，优选地通过使用单位时间的平均速度值作为每个车轮的车轮速度而不是使用瞬时速度值作为每个车轮的车轮速度来计算左轮速度与右轮速度之差。利用这种配置，可以抑制关于打滑状态的错误确定。

打滑状态确定方法不限于上述基于左轮速度与右轮速度之差来确定打滑状态的方法。例如，当车轮速度相对于动力源(例如发动机或行驶用电机)的输出功率非常高时，可以确定轮胎与地面之间的摩擦非常小，即车辆处于打滑状态。

当从除了图像生成ECU 70之外的基于车轮速度来确定打滑状态的ECU获取确定结果时，车轮打滑确定单元F32可以获取确定结果并且采用所获取的结果作为打滑状态确定结果。

在本车辆的前轮或后轮中的至少一个被确定为处于打滑状态的情况下(S113：是)，处理进行到S119。在本车辆的车轮整体上不处于打滑状态的情况下，即处于非打滑状态的情况下(S113：否)，处理进行到S118。

在S118中，合成图像生成单元F7基于车轮速度来更新用于生成透明图像CP的过去图像。更具体地，可以基于车轮速度来计算本车辆行驶的距离，并且摄像装置图像——其先前捕获到当前时间处的本车辆底板下方的路面——可以根据存储在图像存储装置M1中的过去图像来获取并被设置为过去图像。

行驶方向上的最新摄像装置图像被存储在图像存储装置M1中作为新的过去图像的候选。在作为过去图像的候选而存储的摄像装置图像当中，从图像存储装置M1中删除通过捕获在本车辆底板下通过的车辆的位置而获得的摄像装置图像。换言之，以本车辆底板下方的位置为基准，仅存储行驶方向的摄像装置图像作为过去图像的候选，并且从图像存储装置中删除行驶方向的相反侧的摄像装置图像。在基于车轮速度来更新过去图像之后，处理进行到S121。

在S119中，合成图像生成单元F7保持紧接在车轮被确定为打滑状态之前的过去图像。在基于车轮速度来确定本车辆在行驶方向上行驶了存储距离的情况下，不存储新捕获的摄像装置图像，并且不删除当前存储的过去图像的候选。在保持紧接在打滑状态之前的过去图像之后，处理进行到S121。

在S121中，摄像装置图像合成单元F71合成摄像装置图像。更具体地，摄像装置图像合成单元F71如上所述将每个摄像装置2的图像数据和过去图像映射到投影表面TS上的预定位置。在非打滑状态下，基于车轮速度更新的过去图像被投影在车辆区域上。在打滑状态下，将紧接在打滑状态之前的过去图像投影在车辆区域上。在合成摄像装置图像之后，处理进行到S122。

在S122中，车辆模型分配单元F72将车辆模型，例如车辆边界线Lvc或3D轮胎模型Pt分配给合成图像。作为其他图像元素，也可以向合成图像添加3D轮胎模型Pt以外的3D模型，例如计划轨迹线、标尺线、车辆宽度线等。在分配车辆模型之后，处理进行到S125。

在S125中，合成图像生成单元F7生成包括透明图像CP的行驶方向图像AP。更具体地，根据虚拟视点VP对添加了车辆模型之后的合成图像进行呈现处理，并且切出从虚拟视点VP观看时包括在预定视角中的图像元素。当虚拟视点VP被设置为驾驶员视点，即斜下前方时，包括本车辆的前轮和前端的图像元素被切出作为行驶方向图像AP。

在行驶方向图像AP中，投影了实时摄像装置图像的切出部分对应于第一行驶方向图像AP1。在行驶方向图像AP中，投影了过去图像的切出部分对应于第二行驶方向图像AP2。

第一行驶方向图像AP1是通过合成由三个摄像装置2即前摄像装置2F、右摄像装置2R和左摄像装置2L捕获的摄像装置图像而获得的合成图像。第二行驶方向图像AP2是通过合成在不同时间点处捕获的多个过去图像而获得的合成图像。第二行驶方向图像AP2中包括的每个过去图像是通过对由前方摄像装置2F捕获的摄像装置图像执行诸如旋转校正之类的校正而获得的摄像装置图像。

在本车辆的车轮不处于打滑状态的情况下，根据本车辆的移动，用适当的过去图像更新第二行驶方向图像AP2。在本车辆的车轮处于打滑状态的情况下，将在紧接在打滑状态开始之前的位置处捕获的过去图像保持为第二行驶方向图像AP2，并且在打滑状态下过去图像不发生变化。无论车轮是处于打滑状态还是处于非打滑状态，第一行驶方向图像AP1总是被设置为合成当前捕获的摄像装置图像的图像。

在S141中，显示图像生成单元F81生成显示图像DP以包括由合成图像生成单元F7生成的行驶方向图像AP。在生成显示图像DP之后，处理进行到S142。

在S142中，图像输出单元F9将显示图像DP输出到显示器3。具体地，图像输出单元F9向显示器3输出通过将由显示图像生成单元F81生成的显示图像DP的数字图像数据转换为预定信号格式而获得的信号。因此，包括行驶方向图像AP的显示图像DP被显示在显示器3上。在输出显示图像DP之后，周边图像显示处理被终止。可以重复执行该处理直到满足显示结束条件，并且可以连续显示最新的周边图像。

下面将描述上述实施方式的技术效果。在上述实施方式中，在车辆的非打滑状态下，显示控制单元F8使用基于当前车轮速度选择的过去图像来将行驶方向图像AP显示为包括透明图像CP。在打滑状态下，显示控制单元F8使用紧接在开始打滑状态之前的过去图像来将行驶方向图像AP显示为包括透明图像CP。换言之，在非打滑状态下，显示控制单元F8使用基于当前车轮速度选择的过去图像来显示示出了车辆9的底板下方的路面的透明图像CP。在打滑状态下，显示控制单元F8不显示使用基于当前车轮速度选择的过去图像的透明图像CP。因此，可以抑制如下透明图像CP的显示，该透明图像CP使用与实际的底板下位置显著不同的位置处的摄像装置图像作为过去图像。因此，在打滑状态下，可以抑制将与车辆的实际周围环境显著不同的图像显示为周边图像。因此，可以提供高可靠性的周边图像显示装置。

过去图像更新和打滑状态确定是基于车轮速度执行的。因此，与通过诸如光流法之类的包括对摄像装置图像的图像处理的方法更新过去图像的情况相比，容易减少处理负荷。因此，可以容易地高速更新过去图像并缩短在周边图像显示处理中出现的时间延迟。

在打滑状态下，显示控制单元F8将行驶方向图像AP显示为包括如下透明图像CP，其通过使用紧接在车辆的车轮开始打滑之前的过去图像而生成。换言之，显示控制单元F8在确定车轮处于打滑状态时，显示紧接在车轮开始打滑之前显示的透明图像CP。因此，与使用基于打滑状态下的车轮速度选择的过去图像来生成和显示透明图像CP的情况相比，容易减少透明图像CP与实际底板下位置之间的偏差。

行驶方向图像AP包括前摄像装置2F的摄像装置图像、左摄像装置2L的摄像装置图像和右摄像装置2R的摄像装置图像。即，显示控制单元F8显示通过使用车辆9的行驶方向上的摄像装置图像以及左右方向上的摄像装置图像合成的周边图像。因此，与显示仅使用行驶方向上的摄像装置图像生成的周边图像的情况相比，可以由周边图像显示更宽的周边范围。

当左轮的车轮速度与右轮的车轮速度之差等于或大于预定的打滑状态车轮速度时，车轮打滑确定单元F32确定车轮处于打滑状态。因此，车轮打滑确定单元可以仅基于车轮速度来确定车轮打滑。例如，与由车轮速度传感器6s以外的其他装置确定车轮打滑的情况相比，由用于检测车辆9的加速度的加速度传感器以及用于检测车辆的位置的位置检测装置来确定车轮打滑，可以以简单的配置进行上述实施方式的车轮打滑确定。

行驶方向图像AP包括示出本车辆周边的透明图像CP。透明图像以透明方式生成，就像车辆9的部件例如仪表板和车体的底板是透明的一样。因此，通过确认这样的周边图像，用户可以从车厢内的视点确认本车辆的周围环境的状态，并且可以直观地掌握本车辆的周围环境的状态。

行驶方向图像AP包括车辆模型，例如车辆边界线Lvc和3D轮胎模型Pt。基于行驶方向图像AP中包括的车辆边界线Lvc，用户可以容易地识别从车体到车辆附近存在的诸如石块、路缘或挡板之类的三维对象的距离感。因此，可以减少车体与三维对象无意接触的风险。用户可以容易地识别车体和轮胎相对于位于车体下方的车道标记、路缘、石块等的位置。因此，在越野驾驶期间，可以执行精细的驾驶操作，例如将轮胎放置在目标石块上。在道路驾驶期间，可以容易地执行精细的驾驶操作，例如将车体移向道路边缘，而不会使轮胎与路缘接触。

已经针对将视线方向指向前方的驾驶员视点设置为虚拟视点VP的示例描述了本实施方式的效果。当视线方向指向其他方向，例如向后、横向和斜向横向时，可以获得相同的效果。当虚拟视点VP被布置在除了驾驶员视点之外的车厢内的任意位置处时，可以获得相同的效果。当虚拟视点VP被设置在车辆9的外表面上或者被设置在位于车辆的外表面的外侧附近的点处时，可以预期相同的效果。例如，车辆的外侧附近是指距车辆9的外表面0.2m以内的区域。外表面可以包括后表面部分、前端部分、车顶以及左右侧面部分。每个侧表面部分可以包括门板、挡泥板、立柱等。

虚拟视点VP可以被适当地设置在车厢中的不同位置处。例如，虚拟视点VP可以被设置为使得视点位置被设置在侧视镜附近或者被设置在车厢中的天花板中央等。显示控制单元F8可以设置车厢中的内部视点，使得视点位置被设置在眼椭圆的后面并且视线方向是斜后下方。该内部视点也被称为内部后视点。根据这样的内部后视点，当车辆向后移动时，可以以更大的尺寸将后轮附近显示为行驶方向图像AP。通过这种配置，驾驶员在向后移动时更容易识别后轮和后保险杠周围的情况。

在上述实施方式中，显示器3由车载显示器提供。显示由图像生成ECU 70生成的图像的装置不限于车载显示器。显示器3可以是由诸如智能手机的移动终端提供的用于远程控制车辆9的显示装置。显示器3可以是设置在通过远程控制对车辆9进行管理的管理中心中的显示装置。

第二实施方式

第二实施方式是上述第一实施方式的修改例。在本实施方式中，行驶方向图像AP包括通过逐渐降低在过去图像上以叠加方式显示的打滑状态图像的透明度而生成的非透明图像BP，而不是包括透明图像CP。

下面将参照图8所示的流程图描述周边图像显示处理。在下面的描述中，可以省略与第一实施方式相同的部分。图像生成ECU 70响应于满足周边图像显示条件而开始周边图像显示处理。当车轮打滑确定单元F32在S113中确定车辆处于非打滑状态时(S113：否)，处理进行到S118。当车轮打滑确定单元F32在S113中确定车辆处于打滑状态时(S113：是)，处理进行到S219。

在S118中，合成图像生成单元F7基于车轮速度来更新过去图像。然后，处理进行到S121，并且摄像装置图像合成单元F71合成摄像装置图像。然后，处理进行到S122，并且车辆模型分配单元F72将车辆模型分配给合成图像。然后，处理进入S125，并且合成图像生成单元F7生成包括透明图像CP的行驶方向图像AP。然后，处理进行到S241。

在S219中，合成图像生成单元F7采用打滑状态图像来代替过去图像。打滑状态图像是当车轮处于打滑状态时要显示的图像。打滑状态图像可以在图像不会使用户误解当前底板下方被显示的状况下适当地设置。作为打滑状态图像，可以采用单色图像，例如黑色和白色图像。作为打滑状态图像，可以采用用字符消息指示车辆处于打滑状态的图像。打滑状态图像可以设置有与路面颜色或车辆模型颜色不同的颜色。在采用打滑状态图像来代替过去图像之后，处理进行到S231。

在S231中，合成图像生成单元F7使用摄像装置图像和打滑状态图像来合成图像。更具体地，每个摄像装置2的图像数据和打滑状态图像被映射到投影表面TS上的预定位置。将打滑状态图像投影在车辆区域上。因此，打滑状态图像与对应于车辆底板下方的部分进行组合。在合成图像之后，处理进行到S232。

在S232中，车辆模型分配单元F72将车辆模型例如车辆边界线Lvc或3D轮胎模型Pt分配给合成图像。在分配车辆模型之后，处理进行到S235。

在S235中，合成图像生成单元F7生成包括非透明图像BP的行驶方向图像AP。非透明图像BP是与透明图像CP不同的图像。非透明图像BP不像透明图像CP那样透明地示出车辆的底板下方的路面。因此，可以避免用户对透明图像CP的误解。合成图像生成单元F7在根据虚拟视点VP分配车辆模型之后对合成图像执行呈现。合成图像生成单元F7通过切出在从虚拟视点VP观察时的预定视角中包括的图像元素，生成包括非透明图像BP的行驶方向图像AP。

以下将描述当透明图像CP被切换至非透明图像BP以生成行驶方向图像AP时的行驶方向图像AP的生成方法。在图9中，第一行驶方向图像AP1是通过合成前摄像装置2F、右摄像装置2R和左摄像装置2L捕获的当前摄像装置图像而获得的图像。第二行驶方向图像AP2是由前摄像装置2F捕获的过去图像。在这种状态下，第一行驶方向图像AP1和第二行驶方向图像AP2中的每一个都包括指示停车框的白线。

在图10中，通过将过去图像和打滑状态图像进行合成来生成第二行驶方向图像AP2。更具体地，第二行驶方向图像AP2是通过将透明度增加的打滑状态图像叠加在紧接在打滑状态之前的过去图像上而生成的。换言之，第二行驶方向图像AP2是通过将处于打滑状态的半透明图像叠加在紧接在打滑状态之前的过去图像上而生成的。在图10中，为了示出第二行驶方向图像AP2是通过将处于打滑状态的半透明图像叠加在紧接在打滑之前的过去图像上而生成的，对紧接在打滑状态之前的过去图像应用具有大间距的阴影线。

当打滑状态图像是黑色图像时，过去图像以黑色透明方式显示。因此，用户难以在视觉上识别紧接在打滑状态之前的过去图像。当打滑状态图像是指示车辆的打滑状态的字符图像时，指示打滑状态的字符可以是浅色的，并且将打滑状态图像叠加在紧接在打滑状态之前的过去图像上。在上述示例中，由于显示了示出车辆下方的路面的透明图像，所以停车框的白线被包括在第二行驶方向图像AP2中。

在图11中，第二行驶方向图像AP2仅包括由非透明图像BP提供的打滑状态图像。在图11中，为了示出第二行驶方向图像AP2仅包括打滑状态图像，应用了与图10相比间距更小的阴影。当打滑状态图像是黑色图像时，整个第二行驶方向图像AP2变成黑色，并且用户不能在视觉上识别紧接在打滑状态之前的过去图像。当打滑状态图像是指示打滑状态的字符图像时，用户只能在视觉上识别指示打滑状态的字符，而用户不能在视觉上识别紧接在打滑状态之前的过去图像。

由于打滑状态图像不是以透明方式示出车辆下方的路面的图像，因此停车框的白线不被包括在第二行驶方向图像AP2中。然而，当当前摄像装置图像被组合并显示在第一行驶方向图像AP1中时，停车框的白线被包括在第一行驶方向图像中。用户可以通过确认第一行驶方向图像AP1来确认车辆底板下方以外的周边图像。用户可以通过确认在第二行驶方向图像AP2中显示了打滑状态图像而不是底板下图像来识别车轮处于打滑状态。

在生成包括非透明图像BP的行驶方向图像AP时，如图9、图10和图11的顺序所示，通过图像处理将仅包括过去图像的图像逐渐切换至仅包括打滑状态图像的图像。更具体地，打滑状态图像的透明度从100％连续降低到零。在生成包括非透明图像BP的行驶方向图像AP之后，处理进行到S241。

在S241中，显示图像生成单元F81将显示图像DP生成为包括由合成图像生成单元F7生成的行驶方向图像AP。在非打滑状态期间，显示图像DP被生成为包括透明图像CP。在打滑状态期间，显示图像DP被生成为包括非透明图像BP。紧接在车轮从非打滑状态进入打滑状态之后，显示图像DP被生成为包括透明图像CP，在该透明图像CP中，半透明的打滑状态图像被叠加在紧接在打滑状态之前的过去图像上。在生成显示图像DP之后，处理进行到S242。

在S242中，图像输出单元F9将显示图像DP输出到显示器3。在非打滑状态下，显示器3显示包括透明图像CP的显示图像DP。在打滑状态下，显示器3显示包括非透明图像BP的显示图像DP。紧接在车轮从非打滑状态进入打滑状态之后，显示器3显示显示图像DP，该显示图像DP被生成为包括透明图像CP，在该透明图像CP中，半透明的打滑状态图像被叠加在紧接在打滑状态之前的过去图像上。在输出显示图像DP后，周边图像显示处理结束。可以重复执行该处理直到满足显示结束条件，并且可以连续显示最新的周边图像。

下面将描述本实施方式的技术效果。根据本实施方式，显示控制单元F8在打滑状态下显示非透明图像BP，该非透明图像BP以不透明的方式即非透明方式示出车辆底板下方的路面。因此，可以防止用户误解在打滑状态下的车辆底板下方的情况。

在非打滑状态下，显示透明图像CP。在打滑状态下，显示非透明图像BP。因此，通过识别是显示透明图像CP还是显示非透明图像BP，用户可以识别车辆是处于打滑状态还是处于非打滑状态。

当显示控制单元F8将在非打滑状态下显示的透明图像CP切换到在打滑状态下显示的非透明图像BP时，透明度逐渐降低以显示非透明图像BP。因此，用户可以在视觉上将显示切换效果识别为与图像切换相关联的显示效果。因此，当从透明图像CP切换到非透明图像BP时，可以防止用户误以为显示器3等出现故障。

显示包括非透明图像BP的行驶方向图像AP的方法不限于上述方法。例如，可以通过将过去图像叠加在打滑状态图像上并逐步增加过去图像的透明度来显示非透明图像BP而不是透明图像CP。

第三实施方式

第三实施方式是上述实施方式的修改例。在本实施方式中，在打滑状态下，通过逐渐扩大显示非透明图像BP的区域来显示包括非透明图像BP而不是透明图像CP的行驶方向图像AP。

下面将参照图12所示的流程图描述周边图像显示处理。在下面的描述中，可以省略与第一实施方式相同的部分。图像生成ECU 70响应于满足周边图像显示条件而开始周边图像显示处理。在S101中获取摄像装置图像。然后，处理进行到S102，并且获取显示设置。然后，处理进行到S111，并且获取车辆状态。然后，处理进入S112，并且计算车轮速度差。然后，该处理进行到S313。

在S313中，车轮打滑确定单元F32基于车轮速度来确定车轮打滑的可能性。当右前轮的车轮速度与左前轮的车轮速度之差大于预定的非打滑状态车轮速度时，车轮打滑确定单元F32可以确定本车辆的前轮可能处于打滑状态。非打滑状态的车轮速度被设置为低于打滑状态的车轮速度的值。

当车轮速度差等于或低于非打滑状态车轮速度时，确定车轮处于非打滑状态。当车轮速度差大于非打滑状态车轮速度且低于打滑状态车轮速度时，车轮可能处于打滑状态或者处于非打滑状态。即，当车轮速度差大于非打滑状态车轮速度且低于打滑状态车轮速度时，确定存在车轮打滑的可能性。当车轮速度差大于或等于打滑状态车轮速度时，车轮处于打滑状态的可能性高。当存在车轮打滑的可能性，即车辆处于潜在打滑状态时(S313：是)，处理进行到S314。当不存在车轮打滑的可能性时(S313：否)，确定车辆处于非打滑状态，并且处理进行到S118。

在S314中，图像识别单元F5基于摄像装置图像来计算车辆9的移动量。车辆9的移动量可以通过使用诸如光流法之类的图像处理来计算。当基于摄像装置图像来计算车辆9的移动量时，即使车轮在打滑状态下旋转，车辆9的移动量也基本为零，并且在非打滑状态下，车辆9的移动量根据车轮的旋转而增加。在基于摄像装置图像来计算车辆9的移动量之后，处理进行到S315。

在S315中，车轮打滑确定单元F32确定本车辆的车轮是否处于打滑状态。更具体地，当车辆9的移动量基本上为零时，确定车辆处于打滑状态。当车辆9的移动量等于基于车轮速度计算的移动量时，确定车辆处于非打滑状态。当确定车辆处于打滑状态时(S315：是)，处理进行到S219。当确定车辆处于非打滑状态时(S315：否)，处理进行到S118。

在S219中，合成图像生成单元F7采用打滑状态图像代替过去图像。然后，处理进行到S231，并且将摄像装置图像和打滑状态图像合成为合成图像。然后，处理进行到S232，并且将车辆模型分配给合成图像。然后，处理进行到S335。

在S335中，合成图像生成单元F7生成包括非透明图像BP的行驶方向图像AP。以下将描述在透明图像CP被切换至非透明图像BP以生成行驶方向图像AP时的生成行驶方向图像AP的方法。

在图13中，第一行驶方向图像AP1是通过将前摄像装置2F、右摄像装置2R和左摄像装置2L捕获的当前摄像装置图像进行合成而获得的图像。第二行驶方向图像AP2是包括作为由前摄像装置2F捕获的过去图像的透明图像CP以及作为打滑状态图像的非透明图像BP两者的图像。在第二行驶方向图像AP2的左侧部分和中央部分保持透明图像CP，并且在第二行驶方向图像AP2的右侧部分采用非透明图像BP。即，采用非透明图像BP作为第二行驶方向图像AP2的一部分。在图13中，在透明图像CP的区域比非透明图像BP的区域宽的状态下显示第二行驶方向图像AP2。

如图14所示，第二行驶方向图像AP2包括作为由前摄像装置2F捕获的过去图像的透明图像CP以及作为打滑状态图像的非透明图像BP两者。在第二行驶方向图像AP2的左侧部分保持透明图像CP，在第二行驶方向图像AP2的右侧部分和中央部分采用非透明图像BP。在图14中，第二行驶方向图像AP2以非透明图像BP的区域比透明图像CP的区域宽的状态显示。

在生成包括非透明图像BP的行驶方向图像AP时，如图9、图13和图14的顺序所示，通过图像处理将仅包括过去图像的图像逐渐切换至仅包括打滑状态图像的图像。更具体地，第二行驶方向图像AP2中的透明图像CP的区域逐渐减少，而非透明图像BP的区域逐渐增加。非透明图像BP不限于如上述示例中描述的从第二行驶方向图像AP2的右端向左端扩展的模式。例如，非透明图像BP的区域可以在第二行驶方向图像AP2中从左端到右端增加。例如，非透明图像BP的区域可以在第二行驶方向图像AP2中从上端向下端增加。例如，非透明图像BP的区域可以在第二行驶方向图像AP2中从中央部分向外围边缘增加。

在生成包括非透明图像BP的行驶方向图像AP之后，处理进行到S241以生成显示图像DP。然后，处理进行到S242，并且输出显示图像DP。在输出显示图像DP之后，周边图像显示处理结束。可以重复执行周边图像显示处理直到满足显示结束条件，并且可以连续显示最新的周边图像。

下面将描述本实施方式的技术效果。根据上述实施方式，显示控制单元F8在将透明图像CP切换至非透明图像BP时通过逐渐加宽非透明图像BP的区域来显示非透明图像BP。因此，当从透明图像CP切换到非透明图像BP时，可以防止用户误以为显示器3等出现故障。

当车轮打滑确定单元F32基于车轮速度来确定车轮处于潜在打滑状态时，车轮打滑确定单元F32进一步基于随时间捕获的摄像装置图像来确定车轮是否处于打滑状态。因此，可以使用摄像装置图像进行高精度的打滑状态确定。当基于车轮速度确定车辆不处于潜在打滑状态时，不执行使用摄像装置图像的打滑状态确定。使用摄像装置图像的打滑状态确定需要比基于车轮速度的打滑状态确定更大的处理负荷。因此，与总是使用摄像装置图像来执行打滑状态确定的情况相比，可以减少打滑状态确定所需的处理负荷。因此，容易减少打滑状态确定和周边图像输出的处理负荷，并且可以缩短处理时间。

其他实施方式

本说明书和附图中的公开内容不限于示例性实施方式。本公开包括上述实施方式以及本领域技术人员对上述实施方式作出的修改。例如，本公开不限于实施方式中描述的部件和/或元件的组合。本公开可以通过各种不同的组合来执行。本公开可以包括可以添加到上述实施方式的附加配置。本公开还包括包括上述实施方式的部分部件/元件的修改。本公开还包括一个实施方式与另一个实施方式之间的部件和/或元件的替换或组合。本公开中公开的技术范围不限于上述实施方式。应当理解的是，一些公开的技术范围由权利要求的描述来指示，并且包括权利要求的描述的等效含义和范围内的每一种改型。

说明书、附图等中的公开内容不限于权利要求的描述。说明书、附图等中的公开内容包括权利要求中描述的技术思想，并且进一步延伸至比权利要求中的技术思想更广泛的技术思想。因此，可以从说明书、附图等的公开内容中提取各种技术思想，而不限于本公开的描述。

根据本公开的图像生成单元及其方法可以由一个或更多个专用计算机来实现。这种专用计算机可以通过以下方式提供：(i)配置(a)处理器和存储器，其被程序化以执行由计算机程序实施的一个或更多个功能；或者(ii)配置(b)包括一个或更多个专用硬件逻辑电路的处理器；或者(iii)通过由(a)被程序化以执行由计算机程序实施的一个或更多个功能的存储器和处理器以及(b)包括一个或更多个专用硬件逻辑电路的处理器的组合来配置。用于实现装置的方法或装置中包括的每个功能单元的功能的技术不一定需要包括软件，并且可以使用一个或更多个硬件电路来实现所有功能。此外，计算机程序可以作为程序产品存储在计算机可读非暂态有形存储介质中作为要由计算机执行的指令。

Claims (8)

1.一种周边图像显示装置，包括：

车轮速度获取单元(F31)，其获取车辆(9)的车轮速度；

车轮打滑确定单元(F32)，其基于由所述车轮速度获取单元获取的所述车轮速度来确定所述车辆的车轮的打滑状态或非打滑状态；

图像获取单元(F1)，其从各个摄像装置(2)获取多个摄像装置图像，所述摄像装置中的每一个相继捕获所述车辆的周边范围；

图像存储装置(M1)，其将由所述图像获取单元获取的所述摄像装置图像当中指示所述车辆的行驶方向上的范围的所述摄像装置图像作为过去图像进行存储。

合成图像生成单元(F7)，其通过合成由所述图像获取单元获取的所述摄像装置图像来生成指示所述车辆的周边的周边图像；以及

显示控制单元(F8)，其在显示器(3)上显示由所述合成图像生成单元生成的所述周边图像，

其中，

在所述非打滑状态下，所述显示控制单元显示透明图像，所述透明图像使用基于当前车轮速度选择的所述过去图像以透明方式示出所述车辆的底板下方的部分，并且，

在所述打滑状态下，所述显示控制单元使所述透明图像的显示无效，所述透明图像使用基于所述当前车轮速度选择的所述过去图像来示出所述车辆的底板下方的部分。

2.根据权利要求1所述的周边图像显示装置，其中，

在所述打滑状态下，所述显示控制单元显示非透明图像，所述非透明图像不以透明方式示出所述车辆的底板下方的部分。

3.根据权利要求2所述的周边图像显示装置，其中，

当所述显示控制单元将所述非打滑状态下显示的所述透明图像切换至所述打滑状态下显示的所述非透明图像时，所述显示控制单元逐渐改变透明度以显示所述非透明图像。

4.根据权利要求2所述的周边图像显示装置，其中，

当所述显示控制单元将所述非打滑状态下显示的所述透明图像切换至所述打滑状态下显示的所述非透明图像时，所述显示控制单元逐渐增加所述非透明图像的区域以显示所述非透明图像。

5.根据权利要求1所述的周边图像显示装置，其中，

在所述打滑状态下，所述显示控制单元显示紧接在所述车辆的车轮进入所述打滑状态之前显示的所述透明图像。

6.根据权利要求1至5中任一项所述的周边图像显示装置，其中，

所述图像获取单元获取所述车辆的行驶方向上的摄像装置图像以及所述车辆的左右方向上的摄像装置图像，

所述显示控制单元显示所述周边图像，所述周边图像通过使用所述车辆的行驶方向上的摄像装置图像以及所述车辆的左右方向上的摄像装置图像而生成。

7.根据权利要求1至5中任一项所述的周边图像显示装置，其中，

所述车轮速度获取单元获取右轮的车轮速度和左轮的车轮速度作为所述车轮速度，并且

当所述右轮的车轮速度与所述左轮的车轮速度之差等于或大于预定的打滑状态车轮速度时，所述车轮打滑确定单元确定所述车轮的打滑状态。

8.根据权利要求1至5中任一项所述的周边图像显示装置，其中，

响应于基于所述车轮速度确定不存在车轮打滑的可能性，所述车轮打滑确定单元确定所述车辆的车轮处于非打滑状态，并且

响应于基于所述车轮速度确定存在车轮打滑的可能性，所述车轮打滑确定单元还基于所述摄像装置图像随时间的变化来确定所述车辆的车轮是处于所述打滑状态还是处于所述非打滑状态。

Images