CN108237998A - 车载提醒设备和控制车载提醒设备的方法 - Google Patents

Abstract

一种车载提醒设备，包括相机传感器、雷达传感器、显示单元以及电子控制单元。所述电子控制单元被配置为通过选择性地使用融合方法和相机单独方法中的任一种方法来规定所述对象的位置和相对速度。所述电子控制单元提取障碍物，并且计算所述障碍物到达所述主车辆的末端区域的余量时间段。所述电子控制单元显示在具有小于或等于阈值的所述余量时间段的障碍物的方向上引导驾驶者的视线的提醒画面。当从切换到所述相机单独方法起经过了第一预定时间段时，并且当从切换到所述融合方法起经过了第二预定时间段时，所述电子控制单元禁止显示新的提醒画面。

Description

车载提醒设备和控制车载提醒设备的方法

技术领域

本发明涉及一种基于由相机传感器获取的第一对象信息和由雷达传感器获取的第二对象信息来提取具有与主车辆碰撞的可能性的障碍物并且使用显示单元向驾驶员提醒障碍物的车载提醒设备，以及控制车载提醒设备的方法。

背景技术

现有技术中的车载提醒设备之一(在下文中，被称为“现有技术的设备”)包括毫米波雷达和立体相机这两个检测器。现有技术的设备通过使用两个检测器的检测结果来规定对象相对于主车辆的方位角以及对象与主车辆之间的距离来规定对象的位置。现有技术中的设备通过使用规定的对象的方位角和位置来规定驾驶员应该被提醒的对象(例如，参见日本未审专利申请公开第2005-084034号(JP2005-084034A))。

发明内容

通常，包括毫米波雷达的雷达传感器可以比立体相机更精确地检测主车辆与对象之间的距离(在下文中，被称为“相对距离”)。因此，期望将由雷达传感器测量的相对距离用作在判定是否提供提醒时使用的相对距离。立体相机可以比雷达传感器更精确地检测对象相对于主车辆的方位角。因此，由立体相机测量的方位角期望被优先地用作在判定是否提供提醒时使用的对象的方位角。即，优选基于雷达传感器的检测结果和立体相机的检测结果来规定对象的位置(相对距离和方位角)。这种“通过使用雷达传感器的检测结果和立体相机的检测结果两者来规定对象的位置的方法”可以被称为“融合方法”。

例如，当行人处于离主车辆相对较远的位置时，行人反射的雷达波的强度相对较弱。因此，雷达传感器可能无法检测到行人。在这样的情况下，由于没有获取到雷达传感器的检测结果，所以使用基于立体相机的检测结果来规定对象的位置(相对距离和方位角)的“相机单独方法”。

当规定(获取)对象的位置的方法从融合方法切换到相机单独方法(或者从相机单独方法切换到融合方法)时，由于雷达传感器检测对象的位置的精度与由立体相机检测对象的位置的精度之间的差，可能在紧接在切换之前的对象的位置与紧接在切换之后的对象的位置之间存在显著变化。在这样的情况下，基于对象相对于主车辆的移动方向和/或对象的位置的变化量计算出的相对速度等的估计精度进一步降低，因此造成与主车辆碰撞的可能性较低的对象被错误地检测为应该提供提醒的障碍物的情况。因此，可能会错误地提供提醒。

本发明提供一种能够进一步降低在规定对象的位置的方法切换时错误地提供提醒的可能性的车载提醒设备、以及控制车载提醒设备的方法。

本发明的第一方面涉及一种车载提醒设备，其包括：相机传感器，其被配置为捕获主车辆周围的区域的图像，并且基于所捕获的图像来检测对象相对于所述主车辆的方位角以及所述对象与所述主车辆之间的距离；雷达传感器，其被配置为将电波辐射到所述主车辆周围的所述区域，接收所述电波的反射波，并且基于所述反射波来检测所述对象相对于所述主车辆的方位角以及所述对象与所述主车辆之间的距离；显示单元，其上显示引导驾驶者的视线的提醒画面，以及电子控制单元。所述电子控制单元被配置为通过选择性地使用融合方法和相机单独方法中的任一种方法来规定所述对象的位置和相对速度。所述融合方法通过基于第一对象信息规定所述对象相对于所述主车辆的所述方位角并且通过基于第二对象信息规定所述对象与所述主车辆之间的所述距离来规定所述对象的所述位置，并且基于所述第二对象信息来规定作为所述对象相对于所述主车辆的速度的相对速度。所述相机单独方法通过基于所述第一对象信息规定所述对象相对于所述主车辆的所述方位角并且规定所述对象与所述主车辆之间的所述距离来规定所述对象的所述位置，并且基于规定的所述距离来计算所述相对速度。所述第一对象信息包括与由所述相机传感器检测到的所述对象相对于所述主车辆的所述方位角以及所述对象与所述主车辆之间的所述距离有关的信息。所述第二对象信息包括与由所述雷达传感器检测到的所述对象相对于所述主车辆的所述方位角以及所述对象与所述主车辆之间的所述距离有关的信息。所述电子控制单元被配置为获取与所述主车辆的行驶状况有关的车辆状态信息，基于所述对象的规定的位置和取决于所述对象的所述位置的改变的所述对象的移动方向中的至少一个来提取与所述主车辆碰撞的可能性相对较高的障碍物，基于所述对象与所述主车辆之间的规定的距离和规定的所述相对速度来计算所提取的所述障碍物到达包括所述主车辆的前端部分的末端区域的余量时间段，并且显示在具有小于或等于阈值的所述余量时间段的所述障碍物的方向上引导驾驶者的视线的画面作为所述显示单元上的所述提醒画面。

所述电子控制单元被配置为，当在通过使用所述相机单独方法来规定所述对象的所述位置和所述相对速度时所述第一对象信息和所述第二对象信息满足第一条件时，将规定所述对象的所述位置和所述相对速度的方法从所述相机单独方法切换到所述融合方法，并且当在通过使用所述融合方法来规定所述对象的所述位置和所述相对速度时所述第一对象信息和所述第二对象信息满足第二条件时，将规定所述对象的所述位置和所述相对速度的所述方法从所述融合方法切换到所述相机单独方法。

所述电子控制单元被配置为当从将规定所述对象的所述位置和所述相对速度的所述方法从所述融合方法切换到所述相机单独方法的时间点起经过了第一预定时间段时，禁止对于通过使用所述相机单独方法来规定其所述位置和所述相对速度的所述对象显示所述提醒画面，并且当从将规定所述对象的所述位置和所述相对速度的所述方法从所述相机单独方法切换到所述融合方法的时间点起经过了第二预定时间段时，禁止对于通过使用所述融合方法来规定其所述位置和所述相对速度的所述对象显示所述提醒画面。

根据本发明的第一方面，当从融合方法切换到相机单独方法的时间点时起经过了第一预定时间段时，对于通过使用相机单独方法规定了其位置和相对速度的对象禁止显示提醒画面。类似地，当从相机单独方法切换到融合方法的时间点起经过了第二预定时间段时，对于通过使用融合方法规定了其位置和相对速度的对象禁止显示提醒画面。

因此，即使由于由雷达传感器检测对象的位置的精度与由立体相机检测对象的位置的精度之间的差而在紧接切换之前的对象的位置与紧接切换之后的对象的位置之间存在显著变化，也可以进一步降低错误地针对与主车辆碰撞的可能性较低的对象提供提醒的可能性。

在根据本发明的第一方面所述的车载提醒设备中，所述电子控制单元可以被配置为将所述第二预定时间段设定为比所述第一预定时间段短的时间段。

根据本发明的第一方面，在从相机单独方法切换到融合方法时禁止显示新的提醒画面的第二预定时间段被设定为比从融合方法切换到相机单独方法时禁止显示新的提醒画面的第一预定时间段短。因此，驾驶员可以理解识别出针对通过使用比相机单独方法具有更高的检测对象的位置的精度的融合方法来精确规定其位置的对象的提醒画面。

在根据本发明的第一方面所述的车载提醒设备中，所述第一条件可以是比所述第一对象信息的检测结果与所述第二对象信息的检测结果之间的容许差值大的差值被消除；并且所述第二条件可以是在所述第一对象信息的所述检测结果与所述第二对象信息的所述检测结果之间产生比所述容许差值大的差值。

在根据本发明的第一方面所述的车载提醒设备中，当在所述第二对象信息中检测到新的对象，并且由所述第二对象信息指示的所述对象的所述位置处于距所述第一对象信息中检测到的所述对象的所述位置的预定范围内时，所述第一条件可以被满足；并且当在所述第一对象信息的所述检测结果与所述第二对象信息的所述检测结果之间产生比所述容许差值大的所述差值时，所述第二条件可以被满足。

在根据本发明的第一方面所述的车载提醒设备中，所述第一条件可以是由所述相机传感器检测到的所述对象的相对距离与由所述雷达传感器检测到的同一对象的所述相对距离之间的差值小于阈值距离，并且由所述相机传感器检测到的所述对象的所述方位角与由所述雷达传感器检测到的同一对象的所述方位角之间的差值小于阈值角度。

在根据本发明的第一方面所述的车载提醒设备中，所述第二条件可以是在以下条件中的至少之一成立时成立的条件：i)在所述第二对象信息中没有检测到在所述第一对象信息中检测到的所述对象，以及ii)在所述第一对象信息中检测到的所述对象的位置和在所述第二对象信息中检测到的所述对象的位置不在所述预定范围内。

本发明的第二方面涉及一种控制车载提醒设备的方法，所述车载提醒设备包括：相机传感器，其被配置为捕获主车辆周围的区域的图像，并且基于所捕获的所述图像来检测对象相对于所述主车辆的方位角以及所述对象与所述主车辆之间的距离；雷达传感器，其被配置为将电波辐射到所述主车辆周围的所述区域，接收所述电波的反射波，并且基于所述反射波来检测所述对象相对于所述主车辆的所述方位角以及所述对象与所述主车辆之间的所述距离；显示单元，在所述显示单元上显示引导驾驶者的视线的提醒画面；以及电子控制单元。所述控制车载提醒设备的方法包括通过选择性地使用融合方法和相机单独方法中的任一种方法来规定所述对象的位置和相对速度。所述融合方法通过基于第一对象信息规定所述对象相对于所述主车辆的所述方位角并且通过基于第二对象信息规定所述对象与所述主车辆之间的距离来规定所述对象的所述位置，并且基于所述第二对象信息来规定作为所述对象相对于所述主车辆的速度的所述相对速度。所述相机单独方法通过基于所述第一对象信息规定所述对象相对于所述主车辆的所述方位角并且规定所述对象与所述主车辆之间的所述距离来规定所述对象的位置，并且基于规定的所述距离来计算所述相对速度。所述第一对象信息包括与由所述相机传感器检测到的所述对象相对于所述主车辆的所述方位角以及所述对象与所述主车辆之间的所述距离有关的信息。所述第二对象信息包括与由所述雷达传感器检测到的所述对象相对于所述主车辆的所述方位角以及所述对象与所述主车辆之间的所述距离有关的信息。所述控制车载提醒设备的方法包括：获取与所述主车辆的行驶状况有关的车辆状态信息；基于所述对象的规定的位置和取决于所述对象的所述位置的改变的所述对象的移动方向中的至少一个，提取与所述主车辆碰撞的可能性相对较高的障碍物；并且基于所述对象与所述主车辆之间的规定的所述距离和规定的所述相对速度，计算提取的所述障碍物到达包括所述主车辆的前端部分的末端区域的余量时间段。所述控制车载提醒设备的方法包括：显示在具有小于或等于阈值的所述余量时间段的所述障碍物的方向上引导驾驶者的视线的画面作为所述显示单元上的所述提醒画面；当在通过使用所述相机单独方法来规定所述对象的所述位置和所述相对速度时所述第一对象信息和所述第二对象信息满足第一条件时，将规定所述对象的所述位置和所述相对速度的方法从所述相机单独方法切换到所述融合方法，并且当在通过使用所述融合方法来规定所述对象的所述位置和所述相对速度时所述第一对象信息和所述第二对象信息满足第二条件时，将规定所述对象的所述位置和所述相对速度的所述方法从所述融合方法切换到所述相机单独方法。所述控制车载提醒设备的方法包括：当从将规定所述对象的所述位置和所述相对速度的所述方法从所述融合方法切换到所述相机单独方法的时间点起经过了第一预定时间段时，禁止对于通过使用所述相机单独方法来规定其所述位置和所述相对速度的所述对象显示所述提醒画面，以及当从将规定所述对象的所述位置和所述相对速度的所述方法从所述相机单独方法切换到所述融合方法的时间点起经过了第二预定时间段时，禁止对于通过使用所述融合方法来规定其所述位置和所述相对速度的所述对象显示所述提醒画面。

附图说明

下面将参考附图来描述本发明的示例性实施例的特征、优点以及技术和工业意义，在附图中相同的附图标记表示相同的元件，并且其中：

图1是根据本发明的实施例的驾驶辅助设备的示意性系统构造图；

图2是描述安装有图1中所示的雷达传感器和相机传感器的位置的图示；

图3是描述图1所示的雷达传感器的检测区域的图示；

图4是切换规定对象的位置的方法的时序图；

图5是示出图1所示的提醒ECU的CPU执行的例程的流程图；

图6是示出图5所示的对象位置规定处理中的提醒ECU的CPU所执行的例程的流程图；以及

图7是描述提醒画面的图示。

具体实施方式

在下文中，将通过使用附图来描述根据本发明的实施例的车载提醒设备和控制车载提醒设备的方法。当所述车辆应与其他车辆区分时，安装了根据本发明的实施例的车载提醒设备的车辆将被称为“主车辆”。

图1是根据本发明的实施例的车载提醒设备(以下，称为“本实施设备”)的示意性系统构造图。本实施设备是安装在主车辆上并且向主车辆的驾驶员(操作者)提醒与主车辆发生碰撞的可能性较高的障碍物的设备(即，提供障碍物提醒的设备)。本实施设备包括提醒ECU 10(电子控制单元的一个例子)。ECU是“电子控制单元”的缩写，并且包括作为主要部分的微型计算机。所述微计算机包括CPU以及诸如ROM和RAM的存储器。CPU通过执行存储在ROM中的指令(程序和例程)来实现各种功能。

本实施设备还包括相机传感器11、前方雷达传感器12C、前侧方雷达传感器12L，12R、车辆状态传感器13以及显示器20。提醒ECU 10连接到相机传感器11、雷达传感器12C、前侧方雷达传感器12L，12R、车辆状态传感器13以及显示器20。

相机传感器11包括车载立体相机和图像处理装置(均未示出)。车载立体相机捕获主车辆前方的区域。所述图像处理装置处理由车载立体相机捕获的图像。

车载立体相机每经过预定时间段就向图像处理装置发送表示捕获图像的图像信号。

图像处理装置基于接收到的图像信号来判定在捕获区域中是否存在对象。当图像处理装置判定存在对象时，图像处理装置计算对象相对于主车辆的方位角(方向)以及对象与主车辆之间的距离(即，相对距离)，并通过模式匹配来识别对象的类型(行人、自行车、汽车等)。基于由车载立体相机捕获的左图像和右图像之间的差异来计算对象与主车辆之间的距离。由车载立体相机测量的对象的位置(相对距离和方位角)具有相对高的检测对象相对于主车辆的方位角的精度以及相对低的检测对象与主车辆之间的距离的精度。

相机传感器11每经过预定时间段就将指示对象的位置(即，相对距离和方位角)的信息和指示对象类型的信息输出到提醒ECU 10。提醒ECU 10可以基于指示输入对象信息中的对象的位置的信息来规定对象的位置的改变。提醒ECU 10可以基于所规定的对象的位置的变化来求出对象相对于主车辆的速度(即，相对速度)和相对移动轨迹。

如图2所示，前方雷达传感器12C布置在主车辆的前保险杠FB的车宽方向中心的位置。前侧方雷达传感器12R布置在前保险杠FB的右角部。前侧方雷达传感器12L布置在前保险杠FB的左角部。以下，将前方雷达传感器12C和前侧方雷达传感器12L，12R统称为“雷达传感器12”。

雷达传感器12以毫米波段(以下称为“毫米波”)辐射电波。当对象出现在毫米波的辐射范围内时，对象反射从雷达传感器12辐射的毫米波。雷达传感器12接收反射波，并基于反射波检测主车辆与对象之间的距离(即，相对距离)、对象相对于主车辆的方位角、对象相对于主车辆的速度(即，相对速度)等。

如图3所示，前方雷达传感器12C的检测区域具有在左右方向上与车辆前后轴线(车辆中心线CL)成±θ1度(deg)(0度<θ1<90度)的范围。在图3中，将车辆前后轴线的前侧定义为0度，并且未示出前方雷达传感器12C的左方向的范围。因此，前方雷达传感器12C主要检测主车辆前方的对象。前侧方雷达传感器12R的检测区域与车辆前后轴线在右方向成θ2度(90度<θ2<180度)和在左方向成-θ3度(0度<θ3<90度)。因此，前侧方雷达传感器12R主要检测主车辆右侧的对象。虽然没有图示，但前侧方雷达传感器12L的检测区域是与前方侧雷达传感器12R的检测区域关于车辆前后轴线左右对称的区域。因此，前侧方雷达传感器12L主要检测主车辆的左侧的对象。雷达传感器12C，12L，12R中的每个的检测距离例如为数十米。雷达传感器12C，12L，12R中的每个每经过预定时间段就检测对象的位置信息(主车辆与对象之间的距离以及对象相对于主车辆的方位角)以及对象的相对速度，并且每经过预定时间段就将检测到的位置信息和相对速度发送到提醒ECU10。因此，提醒ECU 10能够基于从雷达传感器12发送的信息求出对象相对于主车辆的相对速度以及相对移动轨迹。

将与由相机传感器11检测到的“对象与主车辆之间的距离(相对距离)以及对象相对于主车辆的方位角”相关的信息称为“第一对象信息”。将由雷达传感器12检测到的“与对象与主车辆之间的距离(相对距离)以及对象相对于主车辆的方位角和相对速度有关的信息”称为“第二对象信息”。

车辆状态传感器13是获取与用于估计主车辆的行驶路线的主车辆的行驶状态相关的车辆状态信息的传感器。车辆状态传感器13包括车速传感器、加速度传感器、横摆率传感器、转向角传感器等。车速传感器检测主车辆的车体速度(即，车速)。加速度传感器检测主车辆在水平方向上的前后方向和左右方向(横向)上的加速度。横摆率传感器检测主车辆的横摆率。转向角传感器检测转向盘的转向角。车辆状态传感器13每经过预定时间段就将车辆状态信息输出到提醒ECU 10。

提醒ECU 10基于由车速传感器检测到的车速和由横摆率传感器检测到的横摆率计算主车辆的转弯半径。提醒ECU 10基于转弯半径估计主车辆的车宽方向的中心(实际上是主车辆的左右前轮的车轴的中心)移动所沿的行驶路线作为预测行驶路线。当产生横摆率时，预测行驶路线具有弧形形状。当横摆率为零时，提醒ECU 10估计在由加速度传感器检测到的加速度的方向上延伸的直线路线作为主车辆移动所沿的行驶路线(即，预测行驶路线)。提醒ECU 10将预测行驶路线识别(判定)为从主车辆到沿着预测行驶路线的预定距离的位置的路径(即，具有有限长度的线)，而不管主车辆是否在转弯或直行。

显示器20是平视显示器(以下称为“HUD”)。HUD从主车辆中的各种ECU和导航装置接收显示信息，并将显示信息投影到主车辆的挡风玻璃的部分区域(显示区域)。提醒ECU10在检测到后述的提醒目标时将用于提醒画面70(参照图7)的显示指令发送给HUD。因此，通过使用显示区域的一部分，HUD显示在提醒目标的方向上引导驾驶员的视线的提醒画面70。提醒画面将在下面详细描述。

显示器20不特别限于HUD。也就是说，显示器20可以是多信息显示器(MID)、导航装置的触摸面板等。MID是在仪表板上一并布置有速度计、转速计、油量计、水温计、里程计或行程计的仪表以及显示灯的显示面板。

操作概述

本实施设备通过选择性地使用基于来自相机传感器11的第一对象信息和来自雷达传感器12的第二对象信息规定对象的位置等的方法(融合方法)以及基于第一对象信息规定对象的位置等的方法(相机单独方法)，来规定对象的位置。

根据融合方法，基于第一对象信息(即，来自相机传感器11的对象信息)来规定对象相对于主车辆的方位角，并且基于第二对象信息(即，来自雷达传感器12的对象信息)规定对象与主车辆之间的距离。根据相机单独方法，基于第一对象信息(即，来自相机传感器11的对象信息)来规定对象相对于主车辆的方位角以及对象与主车辆之间的距离。在融合方法中，可以基于第一对象信息(即，来自相机传感器11的对象信息)和第二对象信息(即，来自雷达传感器12的对象信息)两者来规定对象相对于主车辆的方位角。

基于由相机传感器11捕获的图像来规定基于第一对象信息的对象相对于主车辆的方位角。因此，基于第一对象信息来检测相对于主车辆的方位角的精度是相对较高的。

基于第一对象信息的对象与主车辆之间的距离(相对距离)基于由作为车载立体相机的相机传感器11捕获的左图像和右图像之间的差异来规定。基于第二对象信息的对象与主车辆之间的距离基于由雷达传感器12辐射的电波的反射波中的延迟(从反射波的辐射到接收的时间段)来规定。因此，基于第一对象信息检测对象与主车辆之间的距离的精度低于基于第二对象信息检测对象与主车辆之间的距离的精度。

也就是说，检测包括在第一对象信息中的对象相对于主车辆的方位角的精度相对较高，而检测包括在第一对象信息中的对象与主车辆之间的距离的精度相对较低。检测包括在第二对象信息中的“对象与主车辆之间的距离和对象的相对速度”的精度相对较高，而检测包括在第二对象信息中的对象相对于主车辆的方位角的精度相对较低。

因此，所述融合方法精确地规定了对象的相对距离和方位角。相机单独方法精确地规定了对象的方位角，并以稍低的精度规定了对象的相对距离。

如图4所示，假定本实施设备在时刻ta通过使用融合方法来规定对象的位置。在这样的情况下，每当在本实施设备获取新的第一对象信息和第二对象信息时，本实施设备判定第一对象信息和第二对象信息是否满足相机单独开始条件(被称为“第二条件”)。当在图4所示的时刻t1“相机单独开始条件”成立时，本实施设备将规定对象的位置的方法从融合方法切换为相机单独方法。下面将描述相机单独开始条件的细节。

当规定对象的位置的方法从融合方法切换到相机单独方法时，以与融合方法相同的方式基于第一对象信息规定对象的方位角。然而，与融合方法不同，基于第一对象信息来规定主车辆与对象之间的距离。

因此，当规定对象的位置的方法从融合方法切换到相机单独方法(或者从相机单独方法切换到融合方法)时，规定对象与主车辆之间的距离的方法与之前的(紧接切换之前的)规定方法不同。因此，“紧接规定对象的位置的方法切换之后规定的对象与主车辆之间的距离”可以从“紧接规定对象的位置的方法切换之前规定的对象与主车辆之间的距离”显著改变。换句话说，紧接规定对象的位置的方法切换之后的对象的位置可以从紧接切换之前的对象的位置显著改变。

本实施设备从基于第一对象信息和/或第二对象信息检测到的障碍物中提取与主车辆碰撞的可能性相对较高的对象(包括异常接近主车辆的对象)作为障碍物。当障碍物满足预定条件(提醒条件)时，本实施设备显示在障碍物存在的方向上引导驾驶员的视线(即，提供提醒)的提醒画面70(参照图7)。

在提取障碍物的处理中，通过使用对象的位置的时间序列数据来计算对象的移动方向，并且基于计算出的对象的移动方向来提取障碍物。因此，如上所述，当紧接规定对象的位置的方法切换之后显著改变对象的位置时，所计算出的对象的移动方向变得不正确。因此，可能提取不是提醒目标的对象作为具有成为提醒目标的可能性的障碍物。

如上所述，当作为具有成为提醒目标的可能性的对象而提取的障碍物满足预定条件时，本实施设备通过显示提醒画面70来提供提醒。所述预定条件是当在本实施设备中余量时间段(碰撞时间(TTC))小于或等于阈值(阈值时间段)T1th时成立的条件。

余量时间段(碰撞时间)TTC是下面的时间段TTC1和时间段TTC2中的任何一个。

·到预测障碍物与主车辆碰撞的时间点的时间段TTC1(从当前时间点到预测的碰撞时间点的时间段)。

·到具有经过主车辆的一侧的可能性的障碍物接近距主车辆的最近点的时间点的时间段TTC2(从当前时间点到预测的最近点接近时间点的时间段)。

余量时间段TTC通过用主车辆与障碍物之间的距离(相对距离)除以障碍物相对于主车辆的速度(相对速度)来计算出。也就是说，余量时间段TTC是在假定障碍物和主车辆维持其当前相对速度和相对移动方向的同时移动时障碍物到达“主车辆的末端区域”的时间段。主车辆的末端区域是由连接距主车辆的车体的前端部分的左端一定距离α位于左侧的点和距主车辆的车体的前端部分的右端一定距离α位于右侧的点的线所表示的区域。当基于障碍物的移动方向判定障碍物未到达主车辆的末端区域时，将余裕时间段TTC设定为无限大(实际上是比阈值时间段T1th充分大的值)。

当使用相机单独方法时，基于包括在第一对象信息中的预定时间段之前的对象的相对距离与包括在第一对象信息中的对象的最近的相对距离之间的变化量来计算相对速度，因为第一对象信息(即，来自相机传感器11的对象信息)不包括相对速度。类似地，当规定对象的位置的方法从融合方法切换到相机单独方法时，应基于包括在第二对象信息中的在预定时间段之前的对象的相对距离与包括在第一对象信息中的对象的最近的相对距离之间的变化量来计算对象的相对速度。因此，当在将规定对象的位置的方法从融合方法切换为相机单独方法时对象的位置显著改变时，可以将对象的相对速度计算为具有突然增大的值。在这种情况下，余量时间段TTC可能变得小于或等于阈值T1th，并且可能错误地提供提醒。

因此，如图4所示，当在时刻t1规定对象的位置的方法从融合方法切换到相机单独方法时，从切换的时间点(即，时刻t1)到经过预定时间段T1之后的时间点(即，时刻tb)，本实施设备禁止针对使用相机单独方法规定其位置的对象来显示提醒画面70(即，新的提醒画面70)。因此，可以进一步防止发生这种错误提醒的情况。

在从切换到相机单独方法起经过了预定时间段T1之后，本实施设备基于通过使用相机单独方法规定的对象的位置来提取与主车辆碰撞的可能性相对较高的对象作为障碍物。当提取的障碍物满足预定条件时，本实施设备显示在障碍物的方向上引导驾驶员的视线的提醒画面70(参照图7)。

如图4所示，当本实施设备判定在时刻t2获取的第一对象信息和第二对象信息满足融合开始条件(被称为“第一条件”)时，本实施设备将规定对象的位置的方法从相机单独方法切换到融合方法。下面将描述融合开始条件的细节。

即使紧接在规定对象的位置的方法从相机单独方法刚切换到融合方法之后，如上所述，在“紧接切换之前规定的对象与主车辆之间的距离”和“在紧接切换之后规定的对象与主车辆之间的距离”之间存在显著变化。在这种情况下，对象的移动方向不能被正确地计算，并且可能不是提醒的目标的对象会被选择为提醒的目标。因此，当规定对象的位置的方法在时刻t2从融合方法切换到相机单独方法时，从切换的时间点(即，时刻t2)到经过预定时间段T2的时间点(即，时刻tc)，本实施设备针对使用融合方法规定其位置的对象禁止显示提醒画面70(即，新的提醒画面70)。

具体操作

提醒ECU 10的CPU(以下，除非特别指出，否则“CPU”是指提醒ECU10的CPU)每经过预定时间段执行图5的流程图所示的例程。在图5所示出的例程是用于显示提醒画面70(参照图7)的例程。

因此，当预定时间到达时，CPU从图5中的步骤500开始处理，并且转换到步骤505以从相机传感器11读取第一对象信息。接下来，CPU转换到步骤510以从雷达传感器12读取第二对象信息。

接下来，CPU转换到步骤515以执行规定对象的位置的对象位置规定处理。实际上，当CPU转换到步骤515时，CPU执行图6中的流程图所示的子例程。

也就是说，当CPU转换到步骤515时，CPU从图6的步骤600开始处理，并且转换到步骤605以判定指示规定对象的位置的方法的信息当前是否指示融合方法。指示规定对象的位置的方法的信息指示相机单独方法和融合方法中的任何一种。为了方便起见，指示规定对象的位置的方法的信息被设定为当主车辆的点火钥匙开关(未图示)从关(OFF)状态变为开(ON)状态时指示融合方法。

当指示规定对象的位置的方法的信息指示融合方法时，CPU在步骤605中做出“是”的判定，并且转换到步骤610。在步骤610中，CPU判定“在步骤505中读取的第一对象信息以及在步骤510中读取的第二对象信息”是否满足相机单独开始条件。

将描述相机单独开始条件的细节。相机单独开始条件是当由于比第一对象信息的检测结果与第二对象信息的检测结果之间的容许差值大的差值而规定对象的位置的方法应当从融合方法切换到相机单独方法时成立的条件。也就是说，相机单独开始条件是当检测到比第一对象信息的检测结果与第二对象信息的检测结果之间产生的容许差值大的差值时成立的条件。

更具体地，相机单独开始条件是当(1)和(2)中的至少一个成立时成立的条件。当(1)和(2)中的至少一个成立时，CPU在步骤610中做出“是”的判定。

(1)在第二对象信息中没有检测到在第一对象信息中检测到的对象(换句话说，由相机传感器11检测到的对象没有被雷达传感器12检测到)。

(2)在第一对象信息中检测到的对象的位置和在第二对象信息中检测到的对象的位置不在预定范围内(换句话说，由相机传感器11检测到的对象的相对距离与雷达传感器12检测到的同一对象的相对距离之间的差值大于或等于阈值距离，和/或由相机传感器11检测的对象的方位角与由雷达传感器12检测到的同一对象的方位角之间的差值大于或等于阈值角度)。

将描述相机单独开始条件成立的三个示例。第一个示例是当雷达传感器12不能接收来自对毫米波段的电波具有较弱反射强度的对象(例如，行人)的反射波时。在这种情况下，在第二对象信息中没有检测到在第一对象信息中检测到的对象。因此，(1)成立，并且相机单独开始条件成立。当对毫米波段具有相对较弱反射强度的对象存在于远处时，这种情况特别可能发生。

第二个示例是当在第一对象信息中被检测为一个对象的对象被检测为第二对象信息中的多个对象时。例如，总长度或车辆宽度较长的车辆被检测为第二对象信息中的多个对象。在这种情况下，与在第一对象信息中检测到的一个对象相对应的对象被判定为在第二对象信息中没有被检测到，并且(1)成立。在这种情况下，在第一对象信息中检测到的一个对象的位置和在第二对象信息中检测到的对象之一的位置可以被判定为不在预定范围内，并且(2)可能成立。

第三个示例是当第一对象信息中被检测为多个对象的对象被检测为第二对象信息中的一个对象时。例如，在近距离存在的多个对象被检测为第二对象信息中的一个对象。在这种情况下，在第一对象信息中检测到的一个对象被判定为在第二对象信息中没有被检测到，并且(1)成立。在这种情况下，在第一对象信息中检测到的对象之一的位置和在第二对象信息中检测到的一个对象的位置可以被判定为不在预定范围内，并且(2)可能成立。

当在步骤505中读取的第一对象信息和在步骤510中读取的第二对象信息不满足相机单独开始条件时，CPU在步骤610中做出“否”的判定，并转换到步骤615。

在步骤615中，CPU通过使用融合方法来规定对象的位置(相对距离和方位角)。CPU转换到步骤695以暂时结束本例程，并且转换到图5的步骤520。更具体地，CPU基于第一对象信息来规定对象相对于主车辆的方位角，并且基于第二对象信息来规定对象与主车辆之间的距离(相对距离)。

接下来，在步骤520中，CPU读取由车辆状态传感器13获取的车辆状态信息，并且转换到步骤525。

在步骤525中，CPU基于在步骤520中读取的车辆状态信息估计如上所述的预测行驶路线，并且转换到步骤530。

在步骤530中，CPU判定相机单独切换标志是否被设置为“1”。在规定对象的位置的方法被切换到相机单独方法的时间点(当规定对象的位置的方法为融合方法时相机单独开始条件成立时的时间点)，相机单独切换标志被设置为“1”(参见如下所述的图6中的步骤630)。相机单独切换标志是在从被设置为“1”的时间点起经过了预定时间段T1之后的时间点被设置为“0”的标志(参见如下所述的图5中的步骤545)，或者在从被设置为“1”的时间点起经过了预定时间段T1之前将规定对象的位置的方法切换到融合方法的时间点(当规定对象位置的方法是相机单独方法时融合开始条件成立的时间点；参见下面描述的图6中的步骤655)被设置为“0”的标志。

当相机单独切换标志未被设置为“1”时，CPU在步骤530中做出“否”的判定，并且转换到步骤550。在步骤550中，CPU判定融合切换标志是否被设置为“1”。

在将规定对象的位置的方法切换到融合方法的时间点(当规定对象的位置的方法是相机单独方法时融合开始条件成立的时间点)，融合切换标记被设置为“1”(参见下面描述的图6中的步骤660)。融合切换标志是在从被设置为“1”的时间点起经过预定时间段T2之后的时间点被设置为“0”的标志(参见下面描述的图5中的步骤565)，或者在从被设置为“1”的时间点起经过预定时间段T2之前将规定对象的位置的方法切换为相机单独方法的时间点(当规定对象的位置的方法是融合方法时相机单独开始条件成立的时间点；参考下面描述的图6中的步骤625)被设置为“0”的标志。

当融合切换标志未被设置为“1”时，CPU在步骤550中做出“否”的判定，并转换到步骤570。在步骤570中，CPU基于在步骤515中规定的对象的位置和在步骤525中估计的预测行驶路线来提取具有与主车辆碰撞的可能性的对象(包括接近距主车辆的最近点的对象)作为的障碍物。更具体地，CPU将主车辆的左右前轮的车轴的中心移动所沿的行驶路线估计为预测的中心行驶路线。CPU基于预测的中心行驶路线将左侧预测行驶路线和右侧预测行驶路线估计为预测行驶路线。从主车辆的车体的前端部的左端位于一定距离α的左侧的点经过左侧预测行驶路线。从主车辆的车体的前端部的右端位于一定距离α的右侧的点经过右侧预测行驶路线。CPU将左侧预测行驶路线与右侧预测行驶路线之间的区域规定为预测行驶路线区域。

CPU基于当前正执行的本例程的步骤515中规定的对象的位置和之前执行了几次的本例程的步骤515中规定的对象的位置，计算(估计)对象的移动轨迹。CPU基于计算出的对象的移动轨迹来计算对象相对于主车辆的移动方向。接下来，基于预测行驶路线区域，主车辆与对象之间的相对关系(相对位置和相对速度)以及对象相对于主车辆的移动方向，CPU提取已经存在于预测行驶路线区域内的对象以及被预测为进入预测行驶路线区域并且与主车辆的末端区域相交的对象作为具有与主车辆碰撞的可能性的对象(即，障碍物)。

下文，将更具体地描述步骤570的处理。当CPU基于“第一对象信息和/或第二对象信息”检测到主车辆前方的对象时，CPU判定对象是否处于预测行驶路线区域内以及对象是否可能进入预测行驶路线区域并且与主车辆的末端区域相交。在这种情况下，主车辆的前方是指前方雷达传感器12C的检测区域。具体地，当步骤515中判定的对象的位置在预测行驶路线区域内时，CPU判定所述对象处于预测行驶路线区域内。当从在步骤515中规定的对象的位置在对象的移动方向上延伸的线与预测行驶路线区域以及主车辆的末端区域相交时，CPU判定对象“可能进入预测行驶路线区域并与主车辆的末端区域相交”。

当CPU判定对象“处于预测行驶路线区域内或者可能进入预测行驶路线区域并且与主车辆的末端区域相交”并且相机传感器11判定对象是行人时，CPU提取行人作为具有与主车辆碰撞的可能性的障碍物。

当CPU检测到主车辆前方侧的对象时，CPU判定所述对象是否可能进入预测行驶路线区域并与主车辆的末端区域相交。在这种情况下，主车辆前方侧是指前侧方雷达传感器12L，12R的检测区域。具体地，当从在步骤515中判定的对象的位置处起在主车辆的前侧方检测到的对象的移动方向上延伸的线与预测行驶区域和主车辆的末端区域相交时，CPU判定所述对象可能进入预测行驶路线区域并与主车辆的末端区域相交。当CPU判定所述对象可能进入预测行驶路线区域并且与主车辆的末端区域相交时，CPU提取所述对象作为具有与主车辆碰撞的可能性的障碍物，而不管对象是否是行人、自行车、汽车等。

如上所述，CPU将左侧预测行驶路线估计为“距主车辆的前端部的左端一定距离α位于左侧的点经过的路线”，并且将右侧预测行驶路线估计为“距主车辆的前端部的右端一定距离α位于右侧的点经过的路线”。因此，CPU判定甚至具有经过主车辆的左侧附近或右侧附近的可能性的对象(行人、自行车等)在预测行驶路线区域内，或者可能进入预测行驶路线区域并且与主车辆的末端区域相交”。因此，CPU甚至可以提取具有经过主车辆的左侧或右侧的可能性的对象作为障碍物。

如上所述，在步骤570的处理中提取出的障碍物包括存在于主车辆前方的行人、从主车辆的一侧与主车辆的右或左预测行驶路线相交然后接近而与主车辆的末端区域相交的移动体、具有经过主车辆的一侧的可能性的移动体等。

接下来，CPU转换到步骤575以判定是否在步骤570中提取了至少一个障碍物。

当在步骤570中没有提取障碍物时，不存在应该提醒驾驶员的障碍物。在这种情况下，CPU在步骤575中做出“否”的判定，并且转换到步骤595以暂时结束本例程。因此，不显示提醒画面70(参照图7)。

当在步骤570中提取了至少一个障碍物时，CPU在步骤575中做出“是”的判定，并且转换到步骤580。

在步骤580中，CPU计算在步骤570的处理中提取的每个障碍物的余量时间段TTC。余量时间段TTC是如上所述的时间段。

如上所述，通过假定障碍物在维持其当前相对速度及相对移动方向的同时移动来计算余量时间段TTC。因此，为了计算余量时间段TTC，应该获取障碍物的相对速度。

当指示规定对象的位置的当前方法的信息指示融合方法时(即，在当前通过融合方法规定对象的位置时)，CPU可以使用包括在来自雷达传感器12的第二对象信息中的相对速度作为用于计算余量时间段TTC的障碍物的相对速度。当指示规定对象的位置的当前方法的信息指示相机单独方法时(即，在对象的位置当前由相机单独方法规定时)，CPU基于来自相机传感器11的第一对象信息计算障碍物的相对速度，并使用计算出的相对速度来计算余量时间段TTC。

具体地，当指示规定对象的位置的当前方法的信息指示相机单独方法时，CPU从RAM读取在先前执行本例程时读取的第一对象信息中的障碍物与主车辆之间的距离(在下文中，被称为先前距离)。当CPU获取第一对象信息和第二对象信息时，CPU将第一对象信息和第二对象信息存储在RAM中。CPU规定在步骤505中当前读取的第一对象信息中的障碍物与主车辆之间的距离(以下称为当前距离)。CPU通过将从先前距离减去当前距离所获得的值除以从获取先前距离到获取当前距离的时间段，来计算出障碍物相对于主车辆的相对速度。

余量时间段TTC表示驾驶员能够操作主车辆以避免主车辆与障碍物之间的碰撞(包括异常接近)的时间段。也就是说，余量时间段TTC是表示紧急程度的参数，并且对应于提醒的必要程度。也就是说，随着余量时间段TTC越小，提醒的必要程度就越高。随着余量时间段TTC越大，提醒的必要程度就越低。

接着，CPU转换到步骤585以判定在步骤580中计算出的各障碍物的余量时间段TTC是否小于或等于预定阈值T1th。CPU还判定在步骤585中是否存在具有小于或等于预定阈值T1th的余量时间段TTC的至少一个障碍物。

当不存在具有小于或等于阈值T1th的余量时间段TTC的障碍物时(即，当不存在满足预定条件的障碍物时)，不必通过显示提醒画面70(参考图7)来提供提醒。在这种情况下，CPU在步骤585中做出“否”的判定，并且转换到步骤595以暂时结束本例程。因此，不显示提醒画面70(参照图7)。也就是说，不提供提醒。

当存在具有小于或等于阈值T1th的余量时间段TTC的至少一个障碍物时(即，当存在满足预定条件的障碍物时)，CPU在步骤585中做出“是”的判定，并转换到步骤590。在步骤590中，CPU通过在显示器20上显示在存在具有小于或等于阈值T1th的余量时间段TTC的障碍物(提醒目标)的方向上引导驾驶员的视线的提醒画面70(参见图7)来提供提醒，并且转换到步骤595以暂时结束本例程。

提醒画面70的细节将通过使用图7来描述。显示器20的显示区域设置在主车辆的驾驶员座椅前方的挡风玻璃上的区域内。显示区域的中心线在图7中用点划线示出。虽然为了便于说明而示出了中心线，但是中心线不显示在实际的显示区域中。显示区域的中心线对应于车辆中心线CL(参照图3)。显示区域的中心线左侧的区域对应于主车辆前方周围的左侧区域。显示区域的中心线右侧的区域对应于主车辆前方的右侧区域。

在提醒画面70中显示了在具有小于或等于阈值T1th的余量时间段TTC的障碍物的方向上引导驾驶员的视线的视线引导图标71。在本说明书中，视线引导图标71可被称为显示要素或视线引导标记。

视线引导图标71具有三个弧线线性排列的形状。视线引导图标71从作为范围的中心的显示区域的中心线上的预定位置P0起在左右方向上±90度的范围内以放射形状显示。三个弧线中距离预定位置P0较远的弧线具有较短的长度。三个弧线从距位置P0最近的弧线起依次点亮。视线引导图标71可以以通过将角度范围(180度)等分成15份而获得的单位角度(12度)来显示，所述角度范围从作为相对于中心线正交的水平线的一部分并且从位置P0向右侧延伸的线至作为水平线的一部分并且从位置P0向左侧延伸的线。尽管在图7中用虚线示出能够显示视线引导图标71的位置(轴线)，但是所述虚线不显示在实际的显示区域中。

在图7所示的例子中，视线引导图标71指示距离显示区域的中心线向右侧18度的方向，并且指示“具有小于或等于阈值T1th的余量时间段TTC的障碍物(提醒目标)”在该方向上出现。通过在由视线引导图标71指示的方向上引导驾驶员的视线，向驾驶员提醒了提醒目标。当CPU转换到图5中的步骤590时，CPU基于具有小于或等于阈值T1th的余量时间段TTC的障碍物(提醒目标)的方向(方位角)来判定视线引导图标71所指示的方向，并将显示指令发送到显示器(HUD)20以在该方向上显示视线引导图标71。

当具有小于或等于阈值T1th的余量时间段TTC的多个障碍物存在时，CPU选择具有最小余量时间段TTC的障碍物。CPU显示提醒画面70，其包括指示存在具有最小余量时间段TTC的障碍物的方向的视线引导图标71。

假定当指示规定对象的位置的当前方法的信息指示融合方法时，在步骤505中读取的第一对象信息和在步骤510中读取的第二对象信息满足相机单独开始条件。在这种情况下，当CPU转换到步骤515时，CPU转到图6中的步骤610。在步骤610中，CPU做出“是”的判定，并且转换到步骤620。当第一对象信息和第二对象信息满足(1)和(2)中的至少一个时，相机单独开始条件成立。在这种情况下，融合方法不能用于规定对象的位置，并且应该使用相机单独方法来规定对象的位置。因此，CPU在步骤620中将指示规定对象的位置的方法的信息设定(切换)为相机单独方法，并且转换到步骤625。

在步骤625中，CPU将融合切换标志设置为“0”，并转换到步骤630。如上所述，从将规定对象的位置的方法从相机单独方法切换到融合方法的时间点起经过预定时间段T2之后的时间点，或者从将规定对象的位置的方法从相机单独方法切换到融合方法的时间点到经过预定时间段T2之前的从将规定对象的位置的方法切换到相机单独方法的时间点，融合切换标志被设置为“1”。因此，当从将规定对象的位置的方法切换到融合方法起经过预定时间段T2之前将规定对象的位置的方法切换到相机单独方法时，融合切换标志仍然被设置为“1”。因此，在步骤625中，CPU将融合切换标志设置为“0”。

在步骤630中，CPU将相机单独切换标志设置为“1”，并转换到步骤635。在步骤635中，CPU初始化第一切换计时器(即，将第一切换计时器设置为“0”(清零))，并转换到步骤645。第一切换计时器是测量从规定对象位置的方法切换到相机单独方法起的经过的时间段的计时器(参见下面描述的步骤535)。

在步骤645中，CPU通过使用相机单独方法来规定对象的位置。CPU转换到步骤695以暂时结束本例程，并且转换到图5的步骤520。更具体地，CPU基于第一对象信息来规定对象相对于主车辆的方位角，并且基于第一对象信息来规定对象与主车辆之间的距离。

当在步骤630中相机单独切换标志被设置为“1”时，CPU在转换到图5中的步骤530时在步骤530中做出“是”的判定，并且转换到步骤535。在步骤535中，CPU将第一切换计时器的值替换为将第一切换计时器的当前值增大“1”而得到的值，并且转到步骤540。

在步骤540中，CPU判定第一切换计时器的值是否大于或等于阈值TM1th。当从规定对象的位置的方法切换到相机单独方法起经过预定时间段T1时，第一切换计时器的值大于或等于阈值TM1th。

当第一切换计时器的值小于阈值TM1th时，CPU在步骤540中做出“否”的判定，并转换到步骤543以显示在先前执行本例程时在显示器20上显示的画面。然后，CPU转换到步骤595以暂时结束本例程。也就是说，当在从规定对象的位置的方法切换到相机单独方法起经过预定时间段T1(与阈值TM1th对应的时间段)时，CPU不执行步骤570及后面的处理，并禁止了针对由相机单独方法规定其位置的对象显示提醒画面70。

下面将描述紧接在将规定对象的位置的方法切换为相机单独方法之后禁止针对由相机单独方法规定其位置的对象显示提醒画面70的原因。紧接在切换到相机单独方法之后基于第一对象信息来规定对象与主车辆之间的距离。在融合方法中，基于第二对象信息来规定对象与主车辆之间的距离。因此，紧接在切换到相机单独方法之后的对象与主车辆之间的距离从基于第二对象信息规定的先前距离显著地变化。

因此，对象的移动方向没有被正确地计算，并且在步骤570中提取障碍物的精度被进一步降低。当规定对象的位置的方法是相机单独方法时，基于对象与主车辆之间的距离的变化量来计算对象相对于主车辆的相对速度。因此，紧接在规定对象的位置的方法切换到相机单独方法之后，对象相对于主车辆的相对速度也没有被正确计算。因此，障碍物的余量时间段TTC也没有被正确计算。

在提取障碍物的精度进一步降低并且障碍物的余量时间段TTC未被正确计算的状态下，当规定提醒目标并且显示提醒画面70时，在提醒画面70中将驾驶员的视线引导到主车辆碰撞的可能性相对较低的对象的可能性相对较高。因此，驾驶员可能会感到混淆。

因此，本实施设备在从规定对象的位置的方法切换为相机单独方法的时间点起经过预定时间段T1时，将相机单独切换标志设置为“1”。因此，通过图5中的步骤570至步骤590的处理不显示提醒画面70，并且在步骤543中显示先前画面。因此，可以进一步防止问题的发生，并且可以进一步减少驾驶员混淆的可能性。

当第一切换计时器的值变得大于或等于阈值TM1th时(即，从规定对象的位置的方法切换到相机单独方法的时间点起经过了预定时间段T1时)，CPU在步骤540中做出“是”的判定，并且转换到步骤545。在步骤545中，CPU将相机单独切换标志设置为“0”，并且转换到步骤550。

在步骤550中，CPU判定融合切换标志是否被设置为“1”。假定融合切换标志未被设置为“1”。即，假定规定对象位置的当前方法是相机单独方法。在这种情况下，CPU在步骤550中做出“否”的判定，并且转换到步骤570及以后。因此，CPU基于第一对象信息提取障碍物，并计算余量时间段TTC。CPU通过使用余量时间段TTC来判定是否存在提醒目标。当CPU判定存在提醒目标时，CPU将提供提醒。如上所述，用于在这样的情况下计算余量时间段TTC的障碍物的相对速度是基于先前第一对象信息中的障碍物与主车辆之间的距离以及当前第一对象信息中的障碍物与主车辆之间的距离来计算的。

当在指示规定对象的位置的方法的信息被设定为相机单独方法的状态下CPU转换到步骤515时，CPU在图6的步骤605中做出“否”的判定，并且转换到步骤640。

在步骤640中，CPU判定在步骤505中读取的第一对象信息和在步骤510中读取的第二对象信息是否满足融合开始条件。

将描述融合开始条件的细节。融合开始条件是当能够通过消除比第一对象信息的检测结果与第二对象信息的检测结果之间的容许差值大的差值而将规定对象的位置的方法从相机单独方法切换到融合方法时成立的条件。

更具体地，融合开始条件是当以下条件成立时成立的条件。当以下条件成立时，CPU在步骤640中做出“是”的判定。

·在第二对象信息中检测到新的对象，并且由第二对象信息指示的对象的位置处于从第一对象信息中检测到的对象的位置起的预定范围内(换句话说，由相机传感器11检测到的对象的相对距离与由雷达传感器12检测到的同一对象的相对距离之间的差值小于阈值距离，并且由相机传感器11检测到的对象的方位角与由雷达传感器12检测到的同一对象的方位角之间的差值小于阈值角度)。

将描述融合开始条件成立的例子。假定雷达传感器12不能接收来自“对毫米波段的电波具有相对较弱反射强度的对象”的反射波，相机单独开始条件的(1)成立，并且规定对象的位置的方法被切换到相机单独方法。在这样的情况下，当主车辆与“对毫米波段的电波具有相对较弱反射强度的对象”之间的距离减小时，雷达传感器12可以从对象接收反射波。融合开始条件成立。

假定在第一对象信息中检测到的一个对象被检测为第二对象信息中的多个对象，相机单独开始条件的(1)或(2)成立，并且规定对象的位置的方法被切换到相机单独方法。在这种情况下，当在第一对象信息中检测到的一个对象被检测为第二对象信息中的一个对象时，融合开始条件成立。

类似地，假定在第一对象信息中被检测为多个对象的对象在第二对象信息中被检测为一个对象，相机单独开始条件的(1)或(2)成立，并且规定对象的位置的方法被切换到相机单独方法。在这种情况下，当在第二对象信息中被检测为一个对象的对象被检测为多个对象时，融合开始条件成立。

在指示规定对象的位置的方法的信息被设定为相机单独方法的状态下，当“在图5中在步骤505中读取的第一对象信息和步骤510中读取的第二对象信息”不满足融合开始条件时，CPU在步骤640中做出“否”的判定，并转换到步骤645。

在步骤645中，CPU通过使用相机单独方法来规定对象的位置。CPU转换到步骤695以暂时结束本例程，并且转换到图5的步骤520。在步骤520中CPU读取车辆状态信息，并且在步骤525中估计预测行驶路线，并且转换到步骤530。

这里，相机单独切换标志和融合切换标志都未被设置。因此，CPU在步骤530中做出“否”的判定，在步骤550中做出“否”的判定，并且转换到步骤570及以下。因此，基于由相机传感器11检测到的第一对象信息提取障碍物，并计算了障碍物的余量时间段TTC。当具有计算出的小于或等于阈值T1th的余量时间段TTC的障碍物存在时，显示提醒画面70。

在这种状态下，当“在步骤505中读取的第一对象信息和在步骤510中读取的第二对象信息”满足融合开始条件时，CPU在图6的步骤640中做出“是”的判定，并且转换到步骤650。在步骤650中，CPU将指示规定对象的位置的方法的信息设定为融合方法，并转换到步骤655。在步骤655中，CPU将相机单独切换标志设置为“0”，并转换到步骤660。

如上所述，在从将规定对象的位置的方法从融合方法切换到相机单独方法的时间点起经过预定时间段T1之后的时间点，或者从将规定对象的位置的方法从融合方法切换到相机单独方法的时间点起在经过预定时间段T1之前将规定对象的位置的方法切换到融合方法的时间点，相机单独切换标记被设置为“1”。因此，当从将规定对象的位置的方法切换到相机单独方法的时间点起经过了预定时间段T1之前被切换为融合方法时，相机单独切换标志仍设置为“1”。因此，在步骤655中，相机单独切换标志被设置为“0”。

接下来，在步骤660中，CPU将融合切换标记设置为“1”，并转换到步骤665以初始化第二切换计时器(即，将第二切换计时器设置为“0”(清零))。CPU转换到步骤615。在步骤615中，CPU通过使用融合方法来规定对象的位置。CPU转换到步骤695以暂时结束本例程，并且转换到图5的步骤520。

在步骤520中，CPU读取车辆状态信息，并转换到步骤525以估计预测行驶路线。CPU转换到步骤530。在这种情况下，由于相机单独切换标志被设置为“0”，所以CPU在步骤530中做出“否”的判定，并转换到步骤550。由于在图6的步骤660中融合切换标志被设置为“1”，因此CPU在步骤550中做出“是”的判定，并且转换到步骤555。

在步骤555中，CPU将第二切换计时器的值替换为通过将第二切换计时器的当前值递增“1”而获得的值，并且转换到步骤560。

在步骤560中，CPU判定第二切换计时器的值是否大于或等于阈值TM2th。当从规定对象的位置的方法切换到融合方法起经过了预定时间段T2时，第二切换计时器的值大于或等于阈值TM2th。

当第二切换计时器的值小于阈值TM2th时，CPU在步骤560中做出“否”的判定，并转换到步骤543以显示在先前执行本例程时在显示器20上显示的画面。CPU转换到步骤595以暂时结束本例程。也就是说，当从规定对象的位置的方法切换到融合方法起经过预定时间段T2(与阈值TM2th对应的时间段)时，CPU不执行步骤570及以下的处理，并禁止针对通过融合方法规定了其位置的对象显示提醒画面70。

将描述紧接在规定对象的位置的方法切换到融合方法之后禁止针对通过融合方法规定其位置的对象显示提醒画面70的原因。紧接在切换到融合方法之后基于第二对象信息来规定对象与主车辆之间的距离。在相机单独方法中，基于第一对象信息来规定对象与主车辆之间的距离。因此，紧接在切换到融合方法之后对象与主车辆之间的距离从基于第一对象信息规定的先前距离显著变化。

因此，对象的移动方向没有被正确地计算，并且在步骤570中提取障碍物的精度被进一步降低。当规定对象的位置的方法是融合方法时，可以使用包括在第二对象信息中并以更高精度检测的相对速度作为对象相对于主车辆的相对速度。因此，可以正确地计算障碍物的余量时间段TTC。因此，可以紧接在将规定对象的位置的方法切换到融合方法之后正确地计算余量时间段TTC。然而，如上所述，由于提取障碍物的精度进一步降低，因此紧接在将规定对象的位置的方法切换为融合方法之后错误地提供提醒的可能性相对较高。

因此，当从规定对象的位置的方法切换到融合方法之后起经过预定时间段T2时，在图5的步骤570中未提取障碍物，并且在步骤543中显示先前画面。

当第二切换计时器的值变得大于或等于阈值TM2th时(即，从规定对象的位置的方法切换到融合方法的时间点起经过预定时间段T2时)，CPU在步骤560中做出“是”的判定，并且转换到步骤565。在步骤565中，CPU将融合切换标志设置为“0”，并且转换到步骤570及以下。因此，基于第一对象信息和第二对象信息两者提取障碍物，并且计算了障碍物的余量时间段TTC。当具有小于或等于阈值T1th的所计算的余量时间段TTC的障碍物存在时，显示提醒画面70。

如上所述，在将规定对象的位置的方法从融合方法切换到相机单独方法起经过了预定时间段T1时，本实施设备禁止显示新的提醒画面70并继续显示先前画面。在将规定对象的位置的方法从相机单独方法切换到融合方法起经过了预定时间段T2时，本实施设备禁止显示新的提醒画面70，并继续显示先前画面。因此，可以进一步防止显示不正确的提醒画面70，并且可以进一步防止驾驶员混淆。

预定时间段T2被设定为“对象的位置在规定对象的位置的方法的切换前后的改变”不影响对象的移动方向的计算的时间段。在规定对象的位置的方法是融合方法的预定时间段T2的时段中，可以基于从雷达传感器12发送的第二对象信息而不基于对象的位置的时间序列数据来立即规定对象相对于主车辆的相对速度。当规定对象的位置的方法是相机单独方法时，基于对象的位置的时间序列数据来计算对象相对于主车辆的相对速度。因此，应当通过考虑“对象的位置在规定对象的位置的方法的切换前后的改变”不影响“对象的移动方向”的计算以及“对象相对于主车辆的相对速度”的计算的时间段来设定预定时间段T1。因此，预定时间段T1被设定为比预定时间段T2长。即，预定时间段T2被设定为比预定时间段T1短。因此，当规定对象的位置的方法被切换到融合方法时，针对通过具有较高检测精度的方法规定其位置和相对速度的对象立即显示提醒画面70。

接着，将简要描述在图4所示的时刻ta、时刻t1、时刻tb、时刻t2、时刻tc执行的处理。

在时刻ta，规定对象的位置的方法是融合方法。在时刻ta读取的第一对象信息和第二对象信息不满足相机单独开始条件，并且相机单独切换标记和融合切换标记两者都未被设置。

在这种情况下，当CPU转换到图5中的步骤515时，CPU转换到图6的步骤605。在步骤605中，CPU做出“是”的判定，并且在步骤610中做出“否”的判定。CPU转换到步骤615以使用融合方法来规定对象的位置。然后，CPU依次执行图5中的步骤520和步骤525，并转换到步骤530。

在这种情况下，由于没有设置相机单独切换标志，所以CPU在步骤530中做出“否”的判定，并转换到步骤550。由于未设置融合切换标志，因此CPU在步骤550中做出“否”的判定，并且转换到步骤570及以下。因此，基于通过融合方法获取的对象信息，CPU判定是否应该提供提醒(应当显示提醒画面70)，并且根据判定结果提供提醒。

在图4所示的示例中，当时刻t1到达时满足相机单独开始条件。在这样的阶段中，规定对象的位置的方法是融合方法。因此，当CPU转换到图5中的步骤515时，CPU转换到图6的步骤605。在步骤605中，CPU做出“是”的判定，并且转换到步骤610。在步骤610中，CPU做出“是”的判定，执行步骤620至步骤635的处理，并且转换到步骤645。因此，指示规定对象的位置的方法的信息被设定为相机单独方法，并且融合切换标志被设置为“0”。由于紧接在时刻t1之前融合切换标志为“0”，所以执行步骤625的处理以进行验证。相机单独切换标志被设置为“1”，并且第一切换计时器被初始化。对象的位置由相机单独方法规定。因此，当CPU转换到步骤520及以下并且转换到图5中的步骤530时，CPU在步骤530中做出“是”的判定，并且转换到步骤535。在步骤535中，CPU使第一切换计时器的值增“1”，并且转换到步骤540。由于相机单独开始条件在时刻t1刚刚成立，因此从规定对象的位置的方法切换到相机单独方法起没有经过预定时间段T1。因此，CPU在步骤540中做出“否”的判定，并且转换到步骤543以显示紧接在时刻t1之前显示的提醒画面70。

当在图4所示的时刻tb到达时，从在时刻t1切换到相机单独方法起经过了预定时间段T1。因此，CPU在步骤535中将第一切换计时器的值增“1”，并转换到步骤540。CPU在步骤540中做出“是”的判定，并转换到步骤550至步骤545。由于融合切换标志未被设置为“1”，CPU在步骤550中做出“否”的判定，并且转换到步骤570及以下。因此，基于通过相机单独方法获取的对象信息，CPU判定是否应该提供提醒(应当显示提醒画面70)，并且根据判定结果提供提醒。

当图4所示的时刻t2到达时，满足了融合开始条件。在这种状态下，规定对象的位置的方法是相机单独方法。因此，当CPU转换到图5中的步骤515时，CPU转换到图6的步骤605。在步骤605中CPU做出“否”的判定，并且转换到步骤640。在步骤640中，CPU做出“是”的判定，执行步骤650至步骤665的处理，并且转换到步骤615。因此，指示规定对象的位置的方法的信息被设定为融合方法，并且相机单独切换标志被设置为“0”。由于相机单独切换标志紧接在时刻t2之前为“0”，因此执行步骤655的处理以进行验证。融合切换标志被设置为“1”，并且第二切换计时器被初始化。对象的位置由融合方法规定。因此，当CPU转换到步骤520及以下并且转换到图5的步骤550时，CPU在步骤550中做出“是”的判定，并且转换到步骤555。在步骤555中，CPU使第二切换计时器的值增“1”，并且转换到步骤560。由于融合开始条件在时刻t2刚成立，因此从规定对象的位置的方法切换到融合方法起没有经过预定时间段T2。因此，CPU在步骤560中做出“否”的判定，并且转换到步骤543以显示紧接在时刻t2之前显示的提醒画面70。

当在图4中所示的时刻tc4到达时，从在时刻t2切换到融合方法起经过了预定时间段T2。因此，CPU在步骤555中将第二切换计时器的值增“1”，并转换到步骤560。CPU在步骤560中做出“是”的判定，并通过步骤565转换到步骤570以下。因此，基于通过融合方法获取的对象信息，CPU判定是否应提供提醒(应当显示提醒画面70)，并根据判定结果提供提醒。

本发明不限于本实施例，并且可以在本发明的范围内采用各种变形例。例如，当规定对象的位置的方法从融合方法切换到相机单独方法时的预定时间段T1可以是与当规定对象的位置的方法从相机单独方法切换到融合方法时的预定时间段T2相同的时间段。

视线引导图标71可以具有任何设计，只要具有如上所述的引导驾驶员视线的各个功能即可。

在步骤570中，当CPU从由前方雷达传感器12C检测到的对象中提取障碍物时，CPU可以提取“处于预测行驶路线区域内或被预测为进入预测行驶路线区域并与主车辆的末端区域相交”的对象作为障碍物，而不管该对象是否为行人。

Claims (7)

1.一种车载提醒设备，其特征在于包括：

相机传感器，其被配置为捕获主车辆周围的区域的图像，并且基于所捕获的图像来检测对象相对于所述主车辆的方位角以及所述对象与所述主车辆之间的距离；

雷达传感器，其被配置为将电波辐射到所述主车辆周围的所述区域，接收所述电波的反射波，并且基于所述反射波来检测所述对象相对于所述主车辆的所述方位角以及所述对象与所述主车辆之间的所述距离；

显示单元，其上显示引导驾驶者的视线的提醒画面；以及

电子控制单元，其被配置为

通过选择性地使用融合方法和相机单独方法中的任一种方法来规定所述对象的位置和相对速度，所述融合方法通过基于第一对象信息规定所述对象相对于所述主车辆的所述方位角并且通过基于第二对象信息规定所述对象与所述主车辆之间的所述距离来规定所述对象的所述位置，并且基于所述第二对象信息来规定作为所述对象相对于所述主车辆的速度的所述相对速度，所述相机单独方法通过基于所述第一对象信息规定所述对象相对于所述主车辆的所述方位角并且规定所述对象与所述主车辆之间的所述距离来规定所述对象的所述位置，并且基于规定的所述距离来计算所述相对速度，所述第一对象信息包括与由所述相机传感器检测到的所述对象相对于所述主车辆的所述方位角以及所述对象与所述主车辆之间的所述距离有关的信息，并且所述第二对象信息包括与由所述雷达传感器检测到的所述对象相对于所述主车辆的所述方位角以及所述对象与所述主车辆之间的所述距离有关的信息，

获取与所述主车辆的行驶状况有关的车辆状态信息，

基于所述对象的规定的所述位置和取决于所述对象的所述位置的改变的所述对象的移动方向中的至少一个，提取与所述主车辆碰撞的可能性相对较高的障碍物，

基于所述对象与所述主车辆之间的规定的所述距离和规定的所述相对速度，计算所提取的所述障碍物到达包括所述主车辆的前端部分的末端区域的余量时间段，并且

显示在具有小于或等于阈值的所述余量时间段的所述障碍物的方向上引导驾驶者的视线的画面作为所述显示单元上的所述提醒画面，其中：

所述电子控制单元被配置为，当在通过使用所述相机单独方法来规定所述对象的所述位置和所述相对速度时所述第一对象信息和所述第二对象信息满足第一条件时，将规定所述对象的所述位置和所述相对速度的方法从所述相机单独方法切换到所述融合方法，并且当在通过使用所述融合方法来规定所述对象的所述位置和所述相对速度时所述第一对象信息和所述第二对象信息满足第二条件时，将规定所述对象的所述位置和所述相对速度的所述方法从所述融合方法切换到所述相机单独方法；并且

所述电子控制单元被配置为

当从将规定所述对象的所述位置和所述相对速度的所述方法从所述融合方法切换到所述相机单独方法的时间点起经过了第一预定时间段时，禁止对于通过使用所述相机单独方法来规定其所述位置和所述相对速度的所述对象显示所述提醒画面，并且

当从将规定所述对象的所述位置和所述相对速度的所述方法从所述相机单独方法切换到所述融合方法的时间点起经过了第二预定时间段时，禁止对于通过使用所述融合方法来规定其所述位置和所述相对速度的所述对象显示所述提醒画面。

2.根据权利要求1所述的车载提醒设备，其特征在于，所述电子控制单元被配置为将所述第二预定时间段设定为比所述第一预定时间段短的时间段。

3.根据权利要求1或2所述的车载提醒设备，其特征在于：

所述第一条件是比所述第一对象信息的检测结果与所述第二对象信息的检测结果之间的容许差值大的差值被消除；并且

所述第二条件是在所述第一对象信息的所述检测结果与所述第二对象信息的所述检测结果之间产生比所述容许差值大的差值。

4.根据权利要求3所述的车载提醒设备，其特征在于：

当在所述第二对象信息中检测到新的对象，并且由所述第二对象信息指示的所述对象的所述位置处于距所述第一对象信息中检测到的所述对象的所述位置的预定范围内时，所述第一条件被满足；并且

当在所述第一对象信息的所述检测结果与所述第二对象信息的所述检测结果之间产生比所述容许差值大的所述差值时，所述第二条件被满足。

5.根据权利要求4所述的车载提醒设备，其特征在于，所述第一条件是由所述相机传感器检测到的所述对象的相对距离与由所述雷达传感器检测到的同一对象的所述相对距离之间的差值小于阈值距离，并且由所述相机传感器检测到的所述对象的所述方位角与由所述雷达传感器检测到的同一对象的所述方位角之间的差值小于阈值角度。

6.根据权利要求4所述的车载提醒设备，其特征在于，所述第二条件是在以下条件中的至少之一成立时成立的条件：

i)在所述第二对象信息中没有检测到在所述第一对象信息中检测到的所述对象，以及

ii)在所述第一对象信息中检测到的所述对象的所述位置和在所述第二对象信息中检测到的所述对象的所述位置不在所述预定范围内。

7.一种控制车载提醒设备的方法，所述车载提醒设备包括：相机传感器，其被配置为捕获主车辆周围的区域的图像，并且基于所捕获的所述图像来检测对象相对于所述主车辆的方位角以及所述对象与所述主车辆之间的距离；雷达传感器，其被配置为将电波辐射到所述主车辆周围的所述区域，接收所述电波的反射波，并且基于所述反射波来检测所述对象相对于所述主车辆的所述方位角以及所述对象与所述主车辆之间的所述距离；显示单元，在所述显示单元上显示引导驾驶者的视线的提醒画面；以及电子控制单元，所述方法的特征在于包括：

通过选择性地使用融合方法和相机单独方法中的任一种方法来规定所述对象的位置和相对速度，其中的所述融合方法通过基于第一对象信息规定所述对象相对于所述主车辆的所述方位角并且通过基于第二对象信息来规定所述对象与所述主车辆之间的所述距离来规定所述对象的所述位置，并且基于所述第二对象信息来规定作为所述对象相对于所述主车辆的速度的所述相对速度，其中的所述相机单独方法通过基于所述第一对象信息规定所述对象相对于所述主车辆的所述方位角并且规定所述对象与所述主车辆之间的所述距离来规定所述对象的所述位置，并且基于规定的所述距离来计算所述相对速度，所述第一对象信息包括与由所述相机传感器检测到的所述对象相对于所述主车辆的所述方位角以及所述对象与所述主车辆之间的所述距离有关的信息，并且所述第二对象信息包括与由所述雷达传感器检测到的所述对象相对于所述主车辆的所述方位角以及所述对象与所述主车辆之间的所述距离有关的信息；

获取与所述主车辆的行驶状况有关的车辆状态信息；

基于所述对象的规定的所述位置和取决于所述对象的所述位置的改变的所述对象的移动方向中的至少一个，提取与所述主车辆碰撞的可能性相对较高的障碍物；

基于所述对象与所述主车辆之间的规定的所述距离和规定的所述相对速度，计算提取的所述障碍物到达包括所述主车辆的前端部分的末端区域的余量时间段；

显示在具有小于或等于阈值的所述余量时间段的所述障碍物的方向上引导驾驶者的视线的画面作为所述显示单元上的所述提醒画面；

当在通过使用所述相机单独方法来规定所述对象的所述位置和所述相对速度时所述第一对象信息和所述第二对象信息满足第一条件时，将规定所述对象的所述位置和所述相对速度的方法从所述相机单独方法切换到所述融合方法，并且当在通过使用所述融合方法来规定所述对象的所述位置和所述相对速度时所述第一对象信息和所述第二对象信息满足第二条件时，将规定所述对象的所述位置和所述相对速度的所述方法从所述融合方法切换到所述相机单独方法；

当从将规定所述对象的所述位置和所述相对速度的所述方法从所述融合方法切换到所述相机单独方法的时间点起经过了第一预定时间段时，禁止对于通过使用所述相机单独方法来规定其所述位置和所述相对速度的所述对象显示所述提醒画面，以及

当从将规定所述对象的所述位置和所述相对速度的所述方法从所述相机单独方法切换到所述融合方法的时间点起经过了第二预定时间段时，禁止对于通过使用所述融合方法来规定其所述位置和所述相对速度的所述对象显示所述提醒画面。