CN106611155B - 车辆状态确定设备、显示处理设备和车辆状态确定方法 - Google Patents

Abstract

提供了一种车辆状态确定设备。提取单元被配置为从由安装在车辆上的成像设备获取的图像提取特征点。估计单元被配置为基于由所述提取单元提取的特征点，估计所述车辆在以等于预定时间的时间间隔设置的每个时刻处的移动量。确定单元被配置为基于由所述估计单元估计的移动量和所述移动量的改变量，执行对所述车辆的移动的确定。

Description

车辆状态确定设备、显示处理设备和车辆状态确定方法

技术领域

本发明涉及车辆状态确定设备、显示处理设备和车辆状态确定方法。

背景技术

在相关领域中，存在用于基于图像设备获取的图像来检测具有该图像设备的车辆的状态的已知设备(参见例如专利文献1)。例如，这种设备基于所获取的图像选择光学流，并且基于所选择的光学流来检测车辆的移动状态。

专利文献1：日本专利申请公开No.2013-3110A

但是，由于相关领域的设备基于在所获取的图像的基础上选择的光学流来检测车辆的状态，所以存在以下顾虑：如果车辆周围的环境发生改变，比如车辆的危险指示灯闪光的情况，则对车辆的移动状态的检测准确度会降低。

发明内容

因此，本发明的一个目的在于，提供能够以高准确度确定车辆的移动状态的车辆状态确定设备、显示处理设备和车辆状态确定方法。

根据本发明的实施例的一个方面，本发明提供的车辆状态确定设备包括提取单元、估计单元和确定单元。所述提取单元从由安装在车辆上的成像设备获取的图像提取特征点。基于由提取单元提取的特征点，估计单元估计车辆在以等于预定时间的时间间隔设置的每个时刻处的移动量。基于由所述估计单元估计的移动量和移动量的改变量，确定单元执行对车辆的移动的确定。

根据本发明，能够提供能够以高准确度确定车辆的移动状态的车辆状态确定设备、显示处理设备和车辆状态确定方法。

附图说明

将基于以下附图描述本发明的示例性实施例，在附图中：

图1A到图1C是示出了根据实施例的车辆状态确定方法的说明图；

图2是示出了根据实施例的驾驶辅助系统的配置示例的视图；

图3是示出了根据实施例的成像设备的布置示例的视图；

图4是示出了由根据实施例的特征点提取单元提取的特征点的视图；

图5是根据实施例的移动向量的说明图；

图6是示出了根据实施例的计数器单元的配置示例的视图；

图7是示出了解释由根据实施例的计数器单元执行的过程的视图；

图8A和图8B是分别示出了根据实施例的固定引导线和估计引导线的视图；

图9是示出了根据实施例的行进状态、画图模式和长度调整放大率的对应关系的时序图；

图10是示出了根据实施例的显示图像的图像；

图11是示出了根据实施例的另一显示图像的图像；

图12是示出了根据实施例的又一显示图像的图像；

图13是示出了根据实施例的图像显示处理的流程图；以及

图14是示出了用于实现根据实施例的显示处理设备的功能的计算机的示例的硬件配置图。

具体实施方式

下文中，将参照附图详细描述根据本发明的实施例的车辆状态确定设备、显示处理设备和车辆状态确定方法。然而，本发明并不限于以下实施例。

[1.车辆状态确定方法]

图1是示出了根据本发明的实施例的车辆状态确定方法的说明图。通过例如安装在车辆C上的车辆状态确定设备来执行车辆状态确定方法。车辆状态确定设备安装在例如车辆C(未示出)内。下文中，以将车辆C停泊在空位中的情况作为示例，来描述确定车辆C的状态的方法。

车辆C具有成像设备，比如相机，成像设备以等于预定时间T的间隔对车辆C的附近(例如，车辆C的后方)进行成像，从而产生图像。车辆状态确定设备从成像设备获取图像。

车辆状态确定设备从图像提取特征点。基于所提取的特征点，车辆状态确定设备估计车辆C在以等于预定时间T的时间间隔设置的每个时刻处的移动量D。这一移动量D还将被称为车辆C的速度。例如，车辆状态确定设备能够使用多个特征点的移动量D的平均值，作为车辆C的移动量D。

例如，在车辆C从停止状态开始移动并逐渐开始加速的情况中，在等于预定时间T的间隔处估计的车辆C的移动量D缓慢地从移动量几乎等于零的状态开始增加，如图1A所示。图1A是示出了移动量D随时间的变化的曲线图。在该图中，纵轴表示移动量，横轴表示时间。

车辆C周围的环境可以发生改变，例如，所获取的图像中可包括不同于车辆C的移动对象。在一些改变的环境中，可能不能正确地检测到移动量D。在该情况中，举例来讲，即使车辆C处于停止状态，也可能确定车辆C在移动。因此，在根据本实施例的车辆状态确定方法中，不但基于移动量D还基于移动量D的改变量A来确定移动状态。

将描述所获取的图像包括另一车辆C1(作为不同于车辆C的移动对象的示例)的情况。图1B是示出了上述情况中移动量D随时间的变化的曲线图。在图1B中的曲线图中，纵轴表示移动量，横轴表示时间。

在该情况中，车辆状态确定设备检测另一车辆C1的移动，作为车辆C的移动。因此，在另一车辆C1移动的时段中(图1B中，从时刻T11到时刻T12的时段)，在以等于预定时间T的时间间隔估计的车辆C的移动量D的曲线图变成表示根据另一车辆C1的移动量的值的曲线图。如果车辆状态确定设备例如仅通过将移动量D与第一阈值TH1进行比较，来对车辆C在图1B所示的时刻T11到时刻T12的时段中的移动进行确定，那么，即使车辆C处于停止状态，车辆状态确定设备也会错误地确定车辆C正在移动。

因此，根据本实施例的车辆状态确定设备不但基于移动量D还基于移动量D的改变量A来确定移动状态。举例来讲，如果出现移动量D大于或等于第一阈值TH1且改变量A小于第二阈值TH2的状态，则车辆状态确定设备基于出现状态对车辆C的移动进行确定。本文中，改变量A是移动量D在以等于预定时间T的时间间隔设置的每个时刻处的改变量A，并且是例如预定时刻T1处的移动量D1与紧邻预定时刻T1之前的时刻T0处的移动量D0之差的绝对值。因此，可以认为，车辆状态确定设备基于车辆C的加速度(其是速度的改变量A)的绝对值来确定移动状态。

图1C是示出了改变量A随时间的变化的曲线图。在图1C中的图中，纵轴表示改变量，横轴表示时间。如图1C所示，随着移动量D的增加或减少，移动量D的改变量也增加或减少。在移动量D根据不同于车辆C的移动对象发生改变时(比如，另一车辆C1移动的情况)，移动量D的改变量A增加。

因此，即使车辆C的移动量D大于或等于第一阈值TH1(如图1B中的时刻T11与时刻T12之间的时段所示)，如果移动量D的改变量A大于或等于第二阈值TH2(如图1C所示)，则车辆状态确定设备也确定存在移动量D正在根据不同于车辆C的移动对象发生改变的可能性。在本实施例中，在这种情况下，车辆状态确定设备确定车辆处于停止状态。

如上所述，车辆状态确定设备基于移动量D和移动量D的改变量A来执行对车辆C的移动的确定。因此，即使车辆C1周围的环境发生改变(例如，即使基于与车辆C不同的另一车辆C1移动)，也能够以高准确度确定车辆C是否在移动，即车辆C的移动状态。

虽然已经描述了将诸如车辆C1的另一移动对象包括在成像设备的成像范围内的情况，但是本发明不限于此。例如，即使在诸如危险指示灯闪光的情况的其他情况中，也能够提高对车辆C的状态的确定的准确度。

在危险指示灯在例如夜晚闪光的情况中，从灯打开时获取的图像中提取的特征点可能与从灯关闭时获取的图像中提取的特征点有所不同。在这种情况中，如果移动量D是基于这些特征点估计的，则移动量D会根据灯是打开还是关闭而显著不同。即使在这种情况中，由于车辆状态确定设备基于移动量D和移动量D的改变量A来对车辆C的移动进行确定，所以移动量D的改变难以受到灯的闪光的影响，从而能够以高准确度确定车辆C的状态。

本文中，停止状态意思是车辆C以低于预定速度的速度移动的状态或车辆C完全停止且车辆的速度为零的状态。此外，移动状态意思是车辆C以大于或等于预定速度的速度移动的状态。下文中，显示处理设备1包括以上所描述的车辆状态确定设备，还将描述驾驶辅助系统S。

[2.驾驶辅助系统]

图2是示出了根据本发明实施例的驾驶辅助系统S的配置示例的视图。如图2所示，驾驶辅助系统S包括显示处理设备1、成像设备2和显示设备3。

[2.1.成像设备2]

成像设备2是例如布置在车辆C的后侧的所谓的后相机。如图3所示，成像设备2安装在位于车辆C的后端的后门上，并且具有场角θ。成像设备2的光轴15沿车辆C的前后方向指向后侧。因此，成像设备2能够以例如等于预定时间T的时间间隔以场角θ对车辆C的后侧的广区域进行成像，由此产生示出车辆C后方的状态的图像G1。成像设备2的镜头是例如鱼眼镜头。图3是示出了成像设备2的布置示例的视图。

[2.2.显示处理设备1]

图2中所示的显示处理设备1基于图像G1来估计车辆C的移动路径，并且在显示设备3上显示示出了估计移动路径的估计路径图像，以使得估计路径图像与每个图像G1重叠，由此辅助车辆C的驾驶员的驾驶。显示处理设备1包括车辆状态确定设备10、获取单元20、估计单元30、图像产生单元40、显示控制单元50和存储单元60。

[2.2.1.获取单元20]

获取单元20反复地获取由成像设备2产生的帧单位的图像G1。在图像G1是模拟图像的情况中，获取单元20将模拟图像G1转换成数字图像G1(A/D转换)。获取单元20将所获取的图像G1输出到车辆状态确定设备10和显示控制单元50。

[2.2.2.车辆状态确定设备10]

车辆状态确定设备10基于所获取的图像G1对车辆C的移动进行确定。车辆状态确定设备10包括提取单元100、移动向量计算单元200、移动量估计单元300、改变量检测单元400和确定单元500。

[2.2.2.1.提取单元100]

提取单元100从每个图像G1提取多个特征点。提取单元100包括俯瞰图像产生单元110和特征点提取单元120。

俯瞰图像产生单元110对每个图像G1进行坐标转换处理，由此产生俯瞰图像G2，其是从车辆C上方的某点看到的图像。举例来讲，俯瞰图像产生单元110将每个图像G1投影(映射)到预定投影平面上，并从投影到预定投影平面上的图像G1中提取从车辆C上方的某点看到的预定视角中所包括的区域的图像，作为俯瞰图像G2。

特征点提取单元120从由俯瞰图像产生单元110产生的俯瞰图像G2提取特征点。特征点意思是俯瞰图像G2中包括的显著的且可检测到的点。特征点提取单元120使用例如边缘检测处理来检测多个边缘，并将多个边缘的交点作为特征点。如图4所示，特征点提取单元120从俯瞰图像G2提取多个特征点P。图4是示出了由特征点提取单元120提取的特征点P的视图。

然而，特征点提取方法不限于此。特征点提取单元可基于俯瞰图像G2中包括的亮度信息和颜色信息提取特征点P。特征点提取单元120向移动向量计算单元200输出所提取的特征点。

[2.2.2.2.移动向量计算单元200]

移动向量计算单元200基于由提取单元100的特征点提取单元120提取的特征点计算移动向量V。具体地，移动向量计算单元200将在不同时刻从俯瞰图像G2提取的特征点彼此关联。

移动向量计算单元200将相关联的特征点映射到例如预定坐标平面R上。图5示出了彼此相关联的特征点P0和P1。虽然特征点P0和P1表示相同的特征点，但是由于包括特征点P0和P1的图像的获取时间不同，所以特征点P0和P1在这些图像中的位置不同。此外，特征点P1是从在预定时刻t1处获取的俯瞰图像G21中提取的特征点，特征点P0是从在时刻t0处获取的俯瞰图像G20中提取的特征点，所述时刻t0是紧邻预定时刻t1之前执行俯瞰图像产生处理的时刻。移动向量计算单元200计算从特征点P0开始到特征点P1结束的向量，作为时刻t1处的移动向量(光学流)V10。图5是移动向量V1的说明图。

[2.2.2.3.移动量估计单元300]

移动量估计单元300是被配置为执行以下操作的估计单元：基于由所述提取单元100的特征点提取单元120提取的特征点P，估计车辆C在以等于预定时间T的时间间隔设置的每个时刻处的移动量D。预定时间T是车辆状态确定设备10执行确定处理所需的时间，并且对应于例如所获取的图像G1的一个帧的时段(帧速率的倒数)。移动量估计单元300计算由移动向量计算单元200计算的移动向量V的幅值，由此估计移动量D。移动量估计单元300将所估计的移动量D输出到改变量检测单元400和确定单元500。

虽然已经描述了移动量估计单元300根据移动向量V估计移动量D的情况，但是本发明不限于此。例如，移动量计算单元300可被配置为根据由提取单元100的特征点提取单元120提取的特征点P直接估计移动量D。在这种情况中，移动量估计单元300估计例如映射到如图5所示的坐标平面R上的特征点P0和P1之间的距离，作为移动量D。

如上所述，移动量估计单元300在以等于预定时间T的时间间隔设置的每个时刻处估计车辆C的移动量D。因此，可以认为，移动量估计单元300估计车辆C的速度。

[2.2.2.4.改变量检测单元400]

改变量检测单元400基于由移动量估计单元300以等于预定时间T的时间间隔估计的移动量D来检测移动量D的改变量A。改变量检测单元400检测例如在时刻t1处估计的车辆C的移动量D1与在紧邻时刻t1之前的时刻t0处估计的车辆C的移动量D0之差，作为时刻t1处的移动量D1的改变量A1。改变量检测单元400向确定单元500输出检测到的改变量A。

如上所述，改变量检测单元400检测车辆C的移动量D的改变量A。因此，可以认为，改变量检测单元400估计车辆C的加速度。如上所述，改变量检测单元400通过计算以等于预定时刻T的时间间隔估计的移动量D的差值来检测改变量A。

[2.2.2.5.确定单元500]

确定单元500基于由移动量估计单元300估计的移动量D和由改变量检测单元400检测的改变量A来执行对车辆C的移动(即，行进状态)的确定。确定单元500包括例如计数器单元510、初始化单元520和移动确定单元530。

在移动量D大于或等于第一阈值TH1且改变量A小于第二阈值TH2的情况中，计数器单元510向计数器值CV添加第一值E1。而在移动量D小于第一阈值TH1或改变量A大于或等于第二阈值TH2的情况中，计数器单元510从计数器值CV减去第二值E2。

将参照图6和图7对计数器单元510的细节进行描述。图6是示出了计数器单元510的配置示例的视图。图7是示出了解释由计数器单元510执行的过程的视图。如图6所示，计数器单元510包括移动量比较器511、改变量比较器512、AND运算器513以及计数器514。

移动量比较器511将由移动确定单元530在以等于预定时间T的时间间隔设置的每个时刻处估计的移动量D与第一阈值TH1进行比较，并将比较结果输出到AND运算器513。例如，在移动量D大于或等于第一阈值TH1的情况中，移动量比较器511将表示“1”的信号输出到AND运算器513；在移动量D小于第一阈值TH1的情况中，移动量比较器将表示“0”的信号输出到AND运算器。

在将如图7的(a)所示的移动量D输入到移动量比较器511的情况中，如图7的(b)所示，在时刻T11之前，移动量比较器511将表示“0”的输出信号输出到AND运算器513，在时刻T11和时刻T12之间，移动量比较器将表示“1”的输出信号输出到AND运算器，以及在时刻T12之后，将表示“0”的输出信号输出到AND运算器。在图7中，(a)是示出了移动量D随时间的变化的曲线图，(b)是示出了移动量比较器511的输出信号的视图。

改变量比较器512将由改变量检测单元400在以等于预定时间T的时间间隔设置的每个时刻处估计的改变量A与第二阈值TH2进行比较，并将比较结果输出到AND运算器513。例如，在改变量A小于第二阈值TH2的情况中，改变量比较器512将表示“1”的信号输出到AND运算器513；在改变量大于或等于第二阈值TH2的情况中，改变量比较器将表示“0”的信号输出到AND运算器。

在将如图7的(c)所示的改变量A输入到改变量比较器512的情况中，如图7的(d)所示，在时刻T21和时刻T22之间以及在时刻T23和时刻T24之间，改变量比较器512将表示“0”的输出信号输出到AND运算器513，在其他时刻，改变量比较器将表示“1”的输出信号输出到AND运算器。在图7中，(c)是示出了改变量A随时间的变化的曲线图，(d)是示出了改变量比较器512的输出信号的视图。

AND运算器513对移动量比较器511的输出信号和改变量比较器512的输出信号进行AND运算，并且将表示运算结果的运算信号输出到计数器514。例如，如果图7的(b)中所示的信号和图7的(d)中所示的信号被输入到AND运算器513，则在时刻T22和时刻T12之间，AND运算器513将表示“1”的运算信号输出到计数器514，在其他时刻，AND运算器将表示“0”的运算信号输出到计数器。在图7中，(e)是示出了AND运算器513的运算信号的视图。

在运算信号表示“1”的情况中，计数器514向计数器值CV添加第一值E1；而在运算信号表示“0”的情况中，计数器从计数器值CV减去大于第一值E1的第二值E2(E1＜E2)。计数器514将计数器值CV输出到移动确定单元530。

在本实施例中，由于计数器514从计数器值CV减去大于第一值E1的第二值E2，所以在预定时间间隔处发生扰动的情况中(例如，危险指示灯闪光的情况，或移动对象在成像设备2的成像范围内反复地移动的情况)，能够抑制车辆状态确定设备10错误地确定车辆C的行进状态。

举例来讲，在图7的(e)中所示的AND运算器513的运算信号被输入的情况中，如图7的(f)所示，在时刻T22和时刻T12之间，计数器514向计数器值CV添加第一值E1，在时刻T12之后，计数器从计数器值CV减去第二值E2。此外，如果在例如时刻T3从初始化单元520接收到表示用于对计数器值CV进行初始化的请求的通知，则计数器514初始化计数器值CV。此时，举例来讲，计数器将计数器值CV初始化为零。在图7中，(f)是示出了由计数器514输出的计数器值CV的视图。

如图7的(f)所示，移动确定单元530将计数器值CV与第三阈值TH3进行比较。在计数器值CV大于或等于第三阈值TH3的情况中，移动确定单元确定移动量D维持在大于或等于第一阈值TH1的范围内且改变量A维持在小于第二阈值TH2的范围内，并且确定车辆C处于移动状态。与此同时，在计数器值CV小于第三阈值TH3的情况中，移动确定单元530确定移动量D没有维持在大于或等于第一阈值TH1的范围内或者改变量A没有维持在小于第二阈值TH2的范围内，并且确定车辆C处于停止状态。移动确定单元530将确定结果输出到图像产生单元40。

在计数器值通过计数器单元510的连续减法处理而被维持在大于或等于第四阈值TH4的范围内的情况中，初始化单元520对计数器值CV进行初始化。具体地，举例来讲，基于计数器值CV，初始化单元520确定计数器514是否已经执行了加法处理或减法处理。

例如，基于时刻t1处的计数器值CV1和时刻t0处的计数器值CV0之差，初始化单元520确定计数器514是否已经执行了向计数器值CV添加第一值E1的加法处理或从计数器值CV减去第二值E2的减法处理。在计数器值由于连续减法处理而维持在大于或等于第四阈值TH4的范围内的情况中，初始化单元520向计数器514输出表示用于初始化计数器值CV的请求的通知。

在本实施例中，由于初始化单元520在预定条件下对计数器值CV进行初始化，所以能够降低计数器值CV在以短的时间间隔发生多次扰动的情况中(例如，危险指示灯闪光的情况，或移动对象在成像设备2的成像范围内反复地移动的情况)将大于或等于第三阈值TH3的可能性。因此，能够抑制车辆状态确定设备10错误地确定车辆C的行进状态。

在以上描述中，如果出现移动量D大于或等于第一阈值TH1且改变量A小于第二阈值TH2的状态(下文中，称为预定状态)，则确定单元500基于计数器值CV检测预定状态是否已经继续。如果预定状态已经继续，则确定单元确定车辆C处于行进状态。然而，本发明不受限于此。例如，确定单元可被配置为基于移动量和改变量是否处于预定状态来执行行进状态确定。换言之，在移动量D大于或等于第一阈值TH1且改变量A小于第二阈值TH2的情况中，确定单元500可确定车辆C处于移动状态；而在移动量D小于第一阈值TH1或改变量A大于或等于第二阈值TH2的情况中，确定单元500可确定车辆C处于停止状态，并且确定单元可以以等于预定时间的时间间隔执行这一确定。

备选地，确定单元可被配置为基于改变量在出现状态中处于小于第二阈值TH2的范围内的出现时间间隔或出现频率来进行移动确定。

例如，即使改变量A在时刻t4处从大于或等于第二阈值TH2的量改变为小于第二阈值TH2的量，如果自改变量A小于第二阈值TH2的前一时刻t3以来已经经过了预定时段T2(T2＜(t4-t3))，则确定单元500也可以确定车辆C处于停止状态，而不必考虑移动量D的值。换言之，确定单元500可被配置为确定在改变量A变得大于或等于第二阈值TH2之后的预定时段T2是不稳定的区间，并且不在这一不稳定区间中执行对车辆C的移动的确定。

备选地，确定单元500可被配置为确定在改变量A变得小于第二阈值TH2之后的预定时段T3是不稳定的区间，并且不在这一不稳定区间中执行对车辆C的移动的确定。预定时段T2或T3可以是固定时段，或者可以是能够根据改变量A在小于第二阈值TH2的范围内的出现频率而发生改变的可变时段。

此外，即使改变量A在时刻t4处从大于或等于第二阈值TH2的量改变为小于第二阈值TH2的量，如果改变量A在小于第二阈值TH2的范围中的频率(出现频率)小于预定值，则确定单元500也确定车辆C处于停止状态，而不必考虑移动量D的值。换言之，确定单元500确定改变量A在小于第二阈值TH2的范围内的频率小于预定值时的时段是不稳定的区间，并且不在这一不稳定区间中执行对车辆C的移动的确定。

如上所述，根据改变量A在小于第二阈值TH2的范围中的出现时间间隔或出现频率，确定单元执行对移动的确定。因此，在移动量D的改变量A像在危险指示灯闪光的情况中那样频繁改变的情况中，车辆C的行进状态并不频繁改变，并且能够减少对车辆C的行进状态的错误确定。此外，即使在基于行进状态画出估计引导线L12的情况中，在估计引导线L12的显示状态和非显示状态之间频繁地切换也很难。

在以上描述中，基于是否移动量D维持在大于或等于第一阈值TH1的范围内并且改变量A维持在小于第二阈值TH2的范围内，确定单元500对移动进行确定。然而，本发明不受限于此。例如，确定单元500可被配置为基于在改变量A变得小于第二阈值TH2之后、移动量D维持在大于或等于第一阈值TH1的范围内的时间来执行移动确定。备选地，确定单元可被配置为基于在移动量D变得大于或等于第一阈值TH1之后、改变量A维持在小于第二阈值TH2的范围内的时间来执行移动确定。

在以上描述中，计数器510向计数器值CV添加第一值E1。然而，本发明不受限于此。例如，计数器单元510可被配置为加上根据移动量D的值。例如，随着移动量D增加，计数器单元向计数器值CV添加更小的值。具体地，举例来讲，计数器单元将移动量D与多个阈值进行比较，并且向计数器值CV添加根据比较结果的附加值。备选地，例如，计数器单元510可被配置为添加根据改变量A的值。例如，随着改变量A增加，计数器单元可以向计数器值CV添加更小的值。

例如，在如泊车情况那样将车辆C倒车的情况中，车辆C的速度(移动量D)和加速度(改变量A)相对低。因此，出现移动量D和改变量A较大的情况的可能性可归因于与车辆C不同的移动对象的影响或危险指示灯的闪光的影响。因此，随着移动量D和改变量A的增加，计数器单元向计数器值CV添加更小的值。因此，能够减少对车辆C的行进状态做出的错误确定。

此外，即使在从计数器值CV减去某值的情况中，类似地，计数器单元可减去根据移动量D和改变量A的值。在这种情况中，随着移动量D和改变量A的增加，计数器单元从计数器值CV减去更大的值。因此，能够减少对车辆C的行进状态做出的错误确定。

[2.2.3.估计单元30]

估计单元30基于由所述提取单元100提取的特征点P来估计车辆C的移动路径。估计单元30基于由移动向量计算单元200计算的移动向量V来提取车辆C的移动路径。

估计单元30基于由移动向量计算单元200计算的移动向量V来计算车辆C的转弯量。本文中，车辆C的转弯量包括转弯的方向、转弯的角度、转变的量等。估计单元30从由移动向量计算单元200计算的移动向量V提取道路移动向量，并且基于所提取的道路移动向量计算车辆C的转弯量。基于所计算的转弯量，估计单元30估计车辆C的移动路径。然后，估计单元30将估计的移动路径输出到图像产生单元40。

在以上描述中，显示处理设备1包括估计单元30。然而，本发明不受限于此。例如，车辆状态确定设备10可被配置为包括估计单元30。此外，估计单元30可被配置为使用诸如舵角传感器的任意其他传感器来估计移动路径。

[2.2.4.图像产生单元40]

基于确定单元500的确定结果，图像产生单元40产生用于辅助驾驶员驾驶车辆C的图像。图像产生单元40根据车辆C的行进状态产生包括显示模式的固定引导线L11和估计引导线L12在内的估计路径图像。

现在，将参照图8A和图8B对固定引导线L11和估计引导线L12进行描述。图8A和图8B是分别示出了从车辆C上方的点看去的固定引导线L11和估计引导线L12的视图。

图8A中所示的固定引导线L11是在预定区域中画出的线，并且是与车辆C的移动路径和行进状态无关地显示的预定分格线。固定引导线L11的宽度为W1，其几乎等于车辆的宽度，并且固定引导线L11被从车辆C后侧朝远离车辆C后侧的方向延伸了长度H1的线和连接这些线的线所包围。然而，图8A中示出的固定引导线L11仅是示例，本公开不限于此。例如，固定引导线L11可包括表示距车辆C后侧的距离的线。

图8B中所示的估计引导线L12是在被估计为车辆C的移动路径的位置画出的引导线。估计引导线的宽度W2几乎等于车辆的宽度，并且估计引导线在被估计为移动路径的位置从车辆C的后部延伸。估计引导线L12是弧的一部分(所估计的路径)，该弧的中心是例如由估计单元30计算的转弯量的转弯中心，并且被包括在具有宽度W0和长度H2的矩形描画区域中。如上所述，估计引导线L12是基于由估计单元30估计的路径所确定的。

在本实施例中，图像产生单元40根据车辆C的行进状态在预定范围内(H1≥H2≥0)改变上述描画区域在车辆C的前后方向上的长度H2，由此改变将在相应范围内画出的估计引导线L12的长度。图像产生单元40通过例如将长度H2乘以长度调整放大率来在预定范围内(H1≥H2≥0)改变描画区域的长度。

接着，根据车辆C的行进状态，图像产生单元40基于车辆C的行进状态将模式A-D之一确定为用于画出估计引导线L12的模式，并且产生包括在描画模式中画出的估计引导线的估计路径图像。图9是示出了行进状态、画图模式和长度调整放大率的对应关系的时序图。

如图9所示，在行进状态是“停止”的情况中(模式A)，图像产生单元40将估计引导线L12的描画区域的长度调整放大率设置为0.0。换言之，图像产生单元40并不描画估计引导线L12(参见图10)。

下文中，如果行进状态改变为“移动”(模式B)，则图像产生单元40将长度调整放大率从0.0改变为1.0。换言之，图像产生单元40在延长估计引导线L12的同时进行描画(参见图12)。

在将长度调整放大率改变为1.0后，如果行进状态是“移动”(模式C)，则图像产生单元40将长度调整放大率维持在1.0。换言之，图像产生单元40将估计引导线L12画为最长(参见图11)。

之后，如果行进状态从“移动”改变为“停止”(模式D)，则图像产生单元40将长度调整放大率从1.0改变为0.0。换言之，图像产生单元40在缩短估计引导线L12的同时进行描画(参见图12)。原因在于，由于行进状态已经从“移动”改变为“停止”，所以不必显示估计引导线L12。此外，由于估计单元30基于上文描述的移动向量V来估计车辆C的移动路径，因此，如果行进状态改变为“停止”，则车辆C的移动路径的估计准确度下降。换言之，由于估计引导线L12的可靠性下降，所以可靠性低的估计引导线L12的长度减小。

此外，在模式B和D中，估计引导线L12的长度以任一速率改变，优选地，模式D中的改变速率低于模式B中的改变速率。原因在于，当行进状态已经从停止状态改变为移动状态时优选地使得能够立即检查估计引导线L12，以及在行进状态从移动状态改变为停止状态的情况中，如果估计引导线的长度逐渐缩短，则驾驶员能够容易地获知车辆正在转变到停止状态。

之后，类似地，图像产生单元40基于根据行进状态的描画模式来画出估计引导线L12。

此外，举例来讲，在当长度调整放大率在模式D中改变为0.0时，行进状态发生改变并由此选择模式B的情况中，长度调整放大率再次从相应放大率改变为1.0。像这样，即使在当长度调整放大率改变时，描画模式发生改变的情况中，也根据改变后的模式产生估计路径图像。

由于将要显示的引导线的类型和长度取决于如上所述的车辆C的行进状态、行进状态的改变等，所以能够根据所述状态显示合适的引导线。

[2.2.5.显示控制单元50]

在确定单元500确定车辆C处于移动状态的情况中，显示控制单元50控制显示设备3，以使得显示设备在图像G1上显示表示由估计单元30估计的移动路径的估计路径图像。显示控制单元50在图像G1上叠加由图像产生单元40产生的估计路径图像，由此产生显示图像G3。显示控制单元50控制显示设备3，以使得显示设备显示显示图像G3。

将参照图10到图12对显示图像G3的示例进行描述。图10示出了描画模式A中的显示图像G31。如图10所示，在描画模式A中，显示控制单元50控制显示设备3，以使得显示设备显示通过在图像G1上叠加固定引导线L11而获得的显示图像G31。

图11示出了描画模式C中的显示图像G32。如图11所示，在描画模式C中，显示控制单元50控制显示设备3，以使得显示设备显示通过在图像G1上叠加固定引导线L11和估计引导线L12而获得的显示图像G32，其中估计引导线L12的长度H2是最大值H1(H2＝H1)。

图12示出了描画模式B和D中的显示图像G33。如图12所示，在描画模式B和D中，显示控制单元50控制显示设备3，以使得显示设备显示通过在图像G1上叠加具有长度H1的固定引导线L11和长度H2发生改变的估计引导线L12而获得的显示图像G33。

[2.2.6.存储单元60]

存储单元60存储车辆状态确定设备10的各个单元执行处理所需的信息，比如，第一阈值TH1到第四阈值TH4、以及计数器值CV。此外，存储单元60存储显示处理设备1的各个单元执行处理所需的信息。

存储单元60是诸如随机存取存储器(RAM)或闪存存储器的半导体存储器器件，或者是诸如硬盘或光盘的存储设备。

[2.3.显示设备3]

图2的显示设备3包括液晶显示器(LCD)，并且显示由显示控制单元50产生的显示图像G3。显示设备3可以是触摸面板型显示器，并且被配置为具有作为显示处理设备1的输入单元的功能。

[3.图像显示处理]

将参照图13描述由显示处理设备1执行的图像显示处理。图13是示出了根据本实施例的图像显示处理的流程图。例如，如果车辆C的档位改变为“R”，且车辆C倒车，则显示处理设备1执行图像显示处理。以等于预定时间T的时间间隔来反复地执行图像显示处理。

在步骤S101中，显示处理设备1从成像设备2获取图像G1。在步骤S102中，显示处理设备1基于图像G1提取特征点P。在步骤S103中，显示处理设备1基于特征点P计算移动向量V。

在步骤S104中，显示处理设备1基于移动向量V计算车辆C的移动量D。在步骤S105中，显示处理设备1基于移动量D计算移动量D的改变量A。在步骤S106中，显示处理设备1确定是否移动量D维持在大于或等于第一阈值TH1的范围内并且改变量A维持在小于第二阈值TH2的范围内。

在移动量D维持在大于或等于第一阈值TH1的范围内并且改变量A维持在小于第二阈值TH2的范围内的情况中(步骤S106中的“是”)，显示处理设备1在步骤S107中确定车辆C的行进状态是移动状态，并且在步骤S109中产生表示车辆C的移动路径的估计路径图像。具体地，显示处理设备1产生包括表示移动路径的估计引导线L12在内的估计路径图像。与此同时，在移动量D没有维持在大于或等于第一阈值TH1的范围内或改变量A没有维持在小于第二阈值TH2的范围内的情况中(步骤S106中的“否”)，显示处理设备1在步骤S108中确定车辆C的行进状态是停止状态，并且进行到步骤S110。

在步骤S110中，显示处理设备1控制显示设备3，以使得显示设备显示显示图像G3。具体地，在已经在步骤S109中产生了估计路径图像的情况中，显示处理设备在显示设备3上显示通过在图像G1上叠加估计路径图像而获得的显示图像G3。与此同时，在尚未产生任何估计路径图像的情况中，显示处理设备1在显示设备3上显示图像G1，作为显示图像G3。但是，在这种情况中，通过在图像G1上叠加固定引导线L11而获得的图像也可被用作显示图像G3。

在图13中所示的图像显示处理中，在步骤S106中，显示处理设备确定是否移动量D维持在大于或等于第一阈值TH1的范围内并且改变量A维持在小于第二阈值TH2的范围内。然而，本发明不受限于此。例如，显示处理设备可以分别确定移动量D是否维持在大于或等于第一阈值TH1的范围内以及改变量A是否维持在小于第二阈值TH2的范围内，并且基于确定结果确定车辆C的行进状态。

在本实施例中，显示处理设备1执行图像显示处理。但是，举例来讲，车辆状态确定设备10可执行步骤S102到S108中的处理中的一些。

在本实施例中，如果车辆C的档位状态(行进方向)从行驶位置切换到倒车位置，则显示处理设备1执行图像显示处理。然而，本发明不受限于此。例如，显示处理设备可被配置为：如果驾驶员操作驾驶辅助系统S的辅助按钮(未示出)，则执行图像显示处理。

如上所述，根据本实施例的车辆状态确定设备10基于移动量D和移动量D的改变量A来确定车辆C的行进状态，并从而能够提高确定的准确度。

此外，显示处理设备1基于车辆状态确定设备10的确定显示显示图像G3。因此，在车辆C处于移动状态的情况中，显示处理设备能够显示表示估计路径的估计引导线L12，由此能够更为适当地辅助驾驶员。

[4.硬件配置]

根据本实施例的显示处理设备1能够由具有在图14中示为示例的配置的计算机600来实现。图14是示出了用于实现显示处理设备1的功能的计算机的示例的硬件配置图。

计算机600包括中央处理单元(CPU)610、只读存储器(ROM)620、随机存取存储器(RAM)630和硬盘驱动器(HDD)640。此外，计算机600包括媒体接口(I/F)650、通信接口(I/F)660和输入/输出接口(I/F)670。

此外，计算机600可包括固态驱动器(SSD)，其用于执行HDD 640的全部或部分功能。此外，计算机600可使用SSD替代HDD 640。

CPU 510基于存储在ROM 620和HDD 640中的至少一个上的程序进行操作，由此控制各个单元。ROM 620用于存储以下内容：CPU 610在计算机600的激活期间所执行的启动程序、取决于计算机600的硬件的程序等等。HDD 640用于存储以下内容：CPU 610能够执行的程序、可在这些程序中使用的数据等等。

媒体I/F 650读取存储在存储介质680中的程序或数据，并通过RAM 630将所述程序或数据提供给CPU 610。CPU 610通过媒体I/F 650将相应的程序从存储介质680加载到RAM 630，并执行所加载的程序。此外，CPU 610可使用相应的数据来执行程序。存储介质680的示例包括磁光记录介质，比如数字多功能盘(DVD)、SD卡和USB存储器。

计算机600通过网络690从另一设备接收数据，并将所接收的数据发送到CPU 610。此外，计算机将由CPU 610产生的数据通过网络690发送到另一设备。此外，计算机600通过网络690从其他设备接收程序，并将所接收的程序发送到CPU 610，CPU 610执行相应的程序。

CPU 610通过输入/输出I/F 670控制显示设备3(比如显示器)、输出单元(比如扬声器)和输入单元(比如键盘、鼠标、和按钮)。CPU 610通过输入/输出I/F 670从输入单元获取数据。此外，如果CPU 610产生数据，则其通过输入/输出I/F 670将所产生的数据输出到显示设备3和输出单元。

例如，在计算机600用作显示处理设备1的情况中，计算机600的CPU 610执行加载到RAM 630中的程序，由此实现各个单元(比如车辆状态确定设备10、获取单元20、估计单元30、图像产生单元40和显示控制单元50)的功能。

例如，计算机600的CPU 610从存储介质680读取这些程序，并执行所读取的程序。但是，作为另一示例，CPU通过网络690从另一设备获取这些程序。此外，存储在存储单元60中的信息可被存储在HDD 640中。

[5.修改例]

虽然已经如上描述了本发明的实施例，但是本发明不限于上述实施例，并且可通过多种形式进行修改。在下文中，将描述这些修改例。包括上述实施例和以下将要描述的实施例的全部形式可以适当地组合。

在实施例中，描述了使用俯瞰图像G2来计算移动向量V的情况。然而，本发明不受限于此。例如，可从图像计算出相机的图像G1上的的移动向量V。在这种情况中，所计算的移动向量V被投影到预定投影平面(比如道路表面)上，并且估计移动量D。通过这种方式，能够在不从图像G1产生俯瞰图像G2的情况下计算移动向量V，并且能够减少处理负荷。此外，在从图像G1产生俯瞰图像G2的情况中，由于图像质量下降，所以移动向量V的计算准确度可能会降低。通过省去到俯瞰图像G2的转换，能够避免相应计算准确度的下降。

在上述实施例中，如果发生到描画模式D的转变，则长度调整放大率从1.0下降，由此描画区域减小，从而估计引导线L12逐渐缩短。然而，本发明不受限于此。举例来讲，如果在转变到模式D之后经过了预定时间，则可以降低长度调整放大率。在一些情况中，比如将车辆倒入停泊位置的情况中，驾驶员可能在低速驾驶车辆的同时反复移动和停止。在这种情况中，不必频繁地执行延长或缩短估计引导线L12的处理，驾驶员能够容易地且可视地识别出估计引导线L12。此外，在上述实施例中，在确定单元500确定车辆C处于停止状态之后，随着时间的推移，估计引导线L12的长度发生改变。然而，本发明不受限于此。例如，在确定单元500确定车辆C处于停止状态之后，随着时间的推移，估计引导线L12的显示模式(比如稠密度、厚度和虚线间隔)可以发生改变。

如上所述，根据实施例的车辆状态确定设备10包括提取单元100、估计单元(移动量估计单元300)以及确定单元500。如果安装在车辆C上的成像设备2获取了图像G1，则提取单元100从图像G1提取特征点P。基于由提取单元100提取的特征点P，移动量估计单元300在以等于预定时间T的时间间隔设置的每个时刻处估计车辆C的移动量D。基于由所述移动量估计单元300估计的移动量D和移动量D的改变量A，确定单元500执行对车辆C的移动的确定。

因此，即使在车辆C周围的环境发生改变的情况(如与车辆C不同的另一车辆C1移动的情况)中，也能够以高准确度确定车辆C是否在移动，即车辆C的移动状态。

如果出现移动量D大于或等于第一阈值TH1且移动量D的改变量A小于第二阈值TH2的状态，则根据实施例的车辆状态确定设备10的确定单元500基于出现状态对车辆C的移动进行确定。

如上所述，基于作为使用阈值对移动量D和改变量A进行确定的结果而获得的出现状态，执行对车辆C的移动的确定。因此，能够以高准确度确定车辆C的移动状态。

根据实施例的车辆状态确定设备10的确定单元500包括计数器单元510和移动确定单元530。在移动量D大于或等于阈值TH1且改变量A小于第二阈值TH2的情况中，计数器单元510向计数器值CV添加第一值E1。在计数器值CV大于或等于第三阈值TH3的情况中，移动确定单元确定车辆C处于移动状态；在计数器值CV小于第三阈值TH3的情况中，移动确定单元确定车辆C处于停止状态。

因此，基于通过将移动量D和改变量A与阈值进行比较所确定的出现状态是否已经继续，能够对车辆C的移动进行确定，并且能够以高准确度确定车辆C的移动状态。

在移动量D小于阈值TH1或改变量A大于或等于第二阈值TH2的情况中，根据实施例的车辆状态确定设备10的计数器单元510从计数器值CV减去第二值E2。

因此，举例来讲，即使出现移动量D大于或等于第一阈值TH1且改变量A小于第二阈值TH2的状态，也能够以高准确度确定车辆C的移动状态。

根据实施例的车辆状态确定设备10的确定单元500还包括：初始化单元520，被配置为，如果由于计数器单元510的连续减法处理而使得计数器值维持在大于或等于第四阈值TH4的范围内，则初始化所述计数器值CV。

因此，举例来讲，即使间歇地出现移动量D大于或等于第一阈值TH1且改变量A小于第二阈值TH2的状态，也能够减少对车辆行进状态的错误确定，并能够以高准确度确定车辆C的移动状态。

根据实施例的显示处理设备1包括车辆状态确定设备10、估计单元30和显示控制单元50。估计单元30估计车辆C的移动路径。在确定单元500确定车辆C处于移动状态的情况中，显示控制单元50控制显示设备3，以使得显示设备在图像G1上显示表示由估计单元30估计的移动路径的估计引导线L12(估计路径图像的示例)。

如上所述，能够通过在图像G1上叠加根据由车辆状态确定设备10以高准确度确定的车辆C的移动状态的估计引导线L12来产生根据移动状态的图像，并在显示设备3上显示相应的图像。因此，能够向驾驶员呈现根据移动状态的适当图像。

根据实施例的显示处理设备1还包括图像产生单元40。在确定单元500确定车辆C处于停止状态的情况中，在确定单元500确定车辆C处于停止状态后，随着时间的推移，图像产生单元根据所经过的时间在显示模式中产生表示移动路径的估计路径图像。

因此，能够呈现估计的路径，使得驾驶员能够容易地知晓车辆正在转变到停止状态。此外，即使在车辆C交替地且反复地移动和停止的状态中，也难以在移动路径的显示状态和非显示状态之间频繁切换，并且能够在不影响驾驶员的情况下呈现移动路径。

根据实施例的车辆状态确定方法包括提取处理、估计处理和确定处理。在提取处理中，所述提取单元100从由安装在车辆C上的成像设备2获取的图像G1中提取特征点P。在估计处理中，基于由提取单元100提取的特征点P，移动量估计单元300在以等于预定时间T的时间间隔设置的每个时刻处估计车辆C的移动量D。在确定处理中，基于由所述移动量估计单元300估计的移动量D和移动量D的改变量A，确定单元500执行对车辆C的移动的确定。

附加优点和修改对于本领域的技术人员是显而易见的。因此，本发明在广义上不受限于本文所示出和描述的具体细节和代表性实施例。从而，在不背离由所附权利要求及其等同限定的总体发明构思的精神或范围的情况下，可以进行各种修改。

Claims (8)

1.一种车辆状态确定设备，包括：

提取单元，被配置为从由安装在车辆上的成像设备获取的图像提取特征点；

移动量估计单元，被配置为基于由所述提取单元提取的特征点，估计所述车辆在以等于预定时间的时间间隔设置的每个时刻处的移动量；以及

确定单元，被配置为基于由所述移动量估计单元估计的移动量和所述移动量的改变量，执行对所述车辆的移动的确定，

其中，所述确定单元基于出现状态执行对所述车辆的移动的确定，所述出现状态是所述移动量大于或等于第一阈值且所述移动量的改变量小于第二阈值的状态。

2.根据权利要求1所述的车辆状态确定设备，其中，所述确定单元包括：

计数器单元，被配置为，在所述移动量大于或等于第一阈值且所述改变量小于第二阈值的情况中，向计数器值添加第一值；以及

移动确定单元，被配置为，如果计数器值大于或等于第三阈值，则确定所述车辆处于移动状态，以及如果计数器值小于第三阈值，则确定所述车辆处于停止状态。

3.根据权利要求2所述的车辆状态确定设备，其中，在所述移动量小于第一阈值或所述改变量小于或等于第二阈值的情况中，所述计数器单元从计数器值减去第二值。

4.根据权利要求3所述的车辆状态确定设备，其中，在所述移动量小于第一阈值或所述改变量小于或等于第二阈值的情况中，所述计数器单元从计数器值减去大于第一值的第二值。

5.根据权利要求3或4所述的车辆状态确定设备，其中，所述确定单元还包括：初始化单元，被配置为，如果计数器值通过所述计数器单元的连续减法处理而维持在大于或等于第四阈值的范围内，则初始化所述计数器值。

6.一种显示处理设备，包括：

根据权利要求1所述的车辆状态确定设备；

估计单元，被配置为估计车辆的移动路径；以及

显示控制单元，被配置为控制显示设备，使得如果确定单元确定所述车辆处于移动状态且所述估计单元估计出所述移动路径，则所述显示设备在所获取的图像上显示表示所述移动路径的估计路径图像。

7.根据权利要求6所述的显示处理设备，还包括：图像产生单元，被配置为，如果所述确定单元确定所述车辆处于停止状态，则以根据在所述确定单元确定所述车辆处于停止状态之后经过的时间改变的模式，产生表示所述移动路径的估计路径图像。

8.一种车辆状态确定方法，包括：

从由安装在车辆上的成像设备获取的图像提取特征点；

基于在所述提取操作中提取的特征点，估计所述车辆在以等于预定时间的时间间隔设置的每个时刻处的移动量；以及

基于在所述估计操作中估计的移动量和所述移动量的改变量，执行对所述车辆的移动的确定；

其中，执行对所述车辆的移动的确定包括基于出现状态执行对所述车辆的移动的确定，所述出现状态是所述移动量大于或等于第一阈值且所述移动量的改变量小于第二阈值的状态。

Images