CN113525367B - 行为控制系统 - Google Patents

Abstract

一种行为控制系统，该行为控制系统包括：行为控制装置，行为控制装置用于改变移动体的行为；成像装置，成像装置用于获取移动体的前方的图像；以及控制装置，控制装置用于基于由成像装置获取的图像来控制移动体的行为。控制装置包括：特征点提取单元，特征点提取单元被配置为从由成像装置获取的图像提取特征点；直线移动状态存储单元，直线移动状态存储单元被配置为将当移动体处于直线移动状态时的特征点状态存储为参考特征点状态，特征点状态是基于特征点的时间变化而获得的；以及移动体控制单元，移动体控制单元被配置为当基于特征点的时间变化获得的特征点状态与参考特征点状态不同时，控制行为控制装置。

Description

行为控制系统

技术领域

本发明涉及被配置为控制诸如机动车辆(motor vehicle)的移动体的行为的行为控制系统(behavior control system)。

背景技术

已知一种执行控制以将车辆保持在车辆正在行驶的车道内的车辆控制装置(例如，JP2017-144769A)。在JP2017-144769A中公开的车辆控制装置控制车辆的转向机构，以便于减小车道的宽度中心位置与车辆正在车道中行驶的位置之间的距离。

可以设想使用JP2017-144769A中公开的车辆控制装置来执行行驶控制，以使得车辆沿直线车道直线行驶。在这种情况下，如果行驶车道的边界(车道标记)不清楚或者行驶车道的边界存在曲折(或具有之字形)，则可能无法正确地确定行驶车道的宽度中心。因此，车辆可能不能稳定地直线行驶，导致车辆在车辆宽度方向上摆动。

发明内容

鉴于上述背景，本发明的目的是提供一种用于移动体的行为控制系统，其能够使移动体以稳定的方式直线移动。

技术手段

为了实现上述目的，本发明的一个实施方式提供了一种用于移动体的行为控制系统(1)，该行为控制系统包括：行为控制装置(2)，行为控制装置被配置为改变移动体的行为；成像装置(3)，成像装置被配置为获取移动体的前方的图像；以及控制装置(5)，控制装置被配置为基于由成像装置获取的图像来控制移动体的行为，其中，所述控制装置包括：特征点提取单元(11)，特征点提取单元被配置为从由成像装置获取的图像中提取特征点；直线移动状态存储单元(12)，直线移动状态存储单元被配置为将在移动体处于直线移动状态时的特征点状态存储为参考特征点状态，该特征点状态是基于特征点的时间变化而获得的；以及移动体控制单元(16)，移动体控制单元被配置为在基于特征点的时间变化而获得的特征点状态与参考特征点状态不同时，控制行为控制装置。

根据该配置，可以基于特征点的时间变化来确定相对于移动体处于直线移动状态的情况是否存在移动体的倾斜(移动体绕在垂直方向上延伸的轴线的旋转)。此外，基于特征点的时间变化，控制移动体，以使得移动体的取向与当移动体处于直线移动状态时的移动体的取向一致。因此，即使当不能识别移动体应该在其中移动的区域的边界(例如，行驶车道的边界)时，也可以使移动体以稳定的方式直线行驶。

在上述配置中，优选地，直线移动状态存储单元被配置为存储当移动体处于直线移动状态时在图像中检测到的消失点(Q)作为参考消失点(O)，并且移动体控制单元被配置为控制行为控制装置，以使得特征点在从参考消失点径向扩展的方向上移动。

根据该配置，可以可靠地使移动体的取向与当移动体处于直线移动状态时移动体的取向一致。

在上述配置中，优选地，移动体控制单元被配置为当基于特征点的时间变化获得的特征点状态与特征点在从参考消失点径向扩展的方向上移动的状态不同时，控制行为控制装置。

根据该配置，可以在移动体的移动状态已经从直线移动状态改变时控制移动体。

在上述配置中，优选地，控制装置设置有移动量获取单元(15)，移动量获取单元被配置为基于特征点的时间变化来计算移动体在横向方向上的移动量，并且移动体控制单元被配置为控制行为控制装置以使移动量为零。

根据该配置，能够使移动体在横向方向上的位置与直线移动状态下的移动体的位置相匹配。

在上述配置中，优选地，移动体控制单元被配置为在控制行为控制装置以使得特征点在从参考消失点径向扩展的方向上移动之后控制行为控制装置以使移动量为零。

根据该配置，即使当移动体在横向方向上的位置由于其倾斜的校正而偏移时，也可以校正移动体在横向方向上的移动量，以使得移动体的横向位置与直线移动状态下的移动物体的横向位置相匹配。

技术效果

根据上述配置，可以提供一种用于移动体的行为控制系统，其可以使移动体以稳定的方式直线移动。

附图说明

图1是根据本发明的实施方式的行为控制系统的功能框图；

图2是用于解释特征点、光流和消失点之间的关系的说明图；

图3A是示出当车辆相对于行驶方向向左转向并且转向角处于相对大的非零角度时特征点的移动的说明图；

图3B是示出当在图3A的状态之后转向角变为零或接近零时特征点的移动的说明图；

图3C是示出当车辆相对于行驶方向向右转向并且转向角处于相对大的非零角度时特征点的移动的说明图；

图3D是示出当在图3C的状态之后转向角变为零或接近零时特征点的移动的说明图；以及

图4是直线行驶控制处理的流程图。

具体实施方式

下面，将参照附图详细描述本发明的实施方式。

根据本发明的实施方式的行为控制系统1被安装在诸如机动车辆的移动体中。在下文中，将描述行为控制系统1被安装在机动车辆中的情况。安装在机动车辆中的行为控制系统1用于使机动车辆自主地沿直线行驶车道直线行驶(机动车辆在下文中将简称为“车辆”)。

如图1所示，行为控制系统1包括行为控制装置2、成像装置3、人机接口(HMI)4和控制装置5。行为控制系统1的上述组件彼此连接，以使得信号可以经由诸如控制器局域网(CAN)的通信手段在它们之间发送。

行为控制装置2包括动力系统(powertrain)2A、制动装置2B和转向装置2C。动力系统2A是被配置为向车辆施加驱动力的装置。例如，动力系统2A包括动力源和变速器。动力源包括诸如汽油发动机和柴油发动机的内燃机和电动机中的至少一个。制动装置2B是被配置为对车辆施加制动力的装置。例如，制动装置2B包括被配置为将制动衬块压靠在制动盘上的制动卡钳和被配置为向制动卡钳供应油压以驱动制动卡钳的电动缸。制动装置2B可以包括被配置为经由线缆限制车轮旋转的电子驻车制动装置(electric parking brakedevice)。

转向装置2C是用于改变车轮的转向角的装置。例如，转向装置2C包括被配置为使车轮转向(转动)的齿条齿轮机构和被配置为驱动齿条齿轮机构的电动机。动力系统2A、制动装置2B和转向装置2C由控制装置5控制。

成像装置3用作用于检测来自车辆周围环境的电磁波(例如，可见光)和声波等的外部环境信息获取装置以获取车辆的车身前方的图像。成像装置3包括外部摄像头3A并且将所获取的图像输出到控制装置5。

例如，外部摄像头3A是被配置为捕获相对于行驶方向的车辆的前方的图像的装置，并且由使用诸如CCD或CMOS的固体成像元件的数字摄像机组成。外部摄像头3A以其摄像头光轴指向相对于行驶方向的车辆的向前方向的方式固定在车厢内。

注意，代替外部摄像头3A或者除了外部摄像头3A之外，成像装置3可以包括声纳、毫米波雷达和/或激光雷达。声纳、毫米波雷达和激光雷达分别在车辆的向前方向上发出超声波、毫米波和激光，并捕获反射波以获取相对于行驶方向的车辆的前方的图像。成像装置3可以包括被布置为共同获取车辆前方的图像的多个声纳、多个毫米波雷达和/或多个激光雷达。

HMI 4是用于接收乘员的输入操作并通过显示和/或语音向乘员通知各种信息的输入/输出装置。HMI 4例如包括触摸面板4A，该触摸面板4A包括诸如液晶显示器或有机EL显示器的显示屏幕，并且被配置为接收乘员的输入操作。HMI 4还包括被配置为接收乘员的输入操作的各种开关。

控制装置5由包括CPU、诸如ROM的非易失性存储器和诸如RAM的易失性存储器等的电子控制单元(ECU)组成。CPU根据程序执行操作处理，以使得控制装置5执行各种类型的车辆控制。控制装置5可以由一个硬件组成，或者可以由包括多个硬件的单元组成。此外，作为由构成控制装置5的硬件(例如，LSI、ASIC或FPGA)的程序执行的结果，在控制装置5中配置了各自执行规定功能的各种功能单元。

控制装置5基于由成像装置3获取的图像控制动力系统2A、制动装置2B和转向装置2C(行为控制装置2)，从而控制车辆(移动体)的行为。在本实施方式中，控制装置5控制车辆的行为，以使得车辆自主地在行驶车道中的指定宽度位置处沿着行驶车道行驶。为了执行这种控制，如图1所示，控制装置5包括作为其功能单元的特征点提取单元11、参考消失点(reference vanishing point)存储单元12、旋转确定单元14、移动量获取单元15、车身控制单元16和行动计划单元17。

特征点提取单元11根据已知方法分析由包括在成像装置3中的外部摄像头3A获取的图像，以提取图像中的特征点P。特征点提取单元11优选地提取与图像中其它区域相比颜色和/或亮度突然变化的诸如图像中的亮点(spot point)和建筑物的角部的在图像中能够被容易地辨别的点作为特征点P。

如图2所示，特征点P的移动可以由光流(optical flow)F表示。每个光流F与由所捕获的图像中的特定特征点P的当前位置和规定时间之前的同一特征点P的位置定义的差向量相对应；即，与特征点P的速度矢量相对应。在下面的描述中，由光流F表示的移动模式将被称为特征点状态。

参考消失点存储单元12(其用作直线移动状态存储单元)存储当车辆正沿车身的向前方向直线行驶时或当车辆处于直线移动状态时在由外部摄像头3A获取的图像中检测到的消失点Q的位置。参考消失点存储单元12还在存储消失点Q的位置的同时存储特征点P的移动模式(特征点状态)。在下面的描述中，其位置被存储在参考消失点存储单元12中的消失点Q将被称为参考消失点O，并且被存储在参考消失点存储单元12中的特征点模式将被称为参考特征点状态。此外，与存储在参考消失点存储单元12中的参考特征点状态和参考消失点O相对应的车辆的直线移动状态可以被称为参考直线移动状态。如图2所示，当车辆处于参考直线移动状态时，特征点P移动以从参考消失点O径向扩展，换句话说，每个特征点P在连接特征点P与参考消失点O的直线上沿远离参考消失点O的方向移动。

如果当车辆处于参考直线移动状态时车辆向左转向，则车身绕在垂直方向上延伸的轴线旋转，以使得车辆相对于处于参考直线移动状态的车辆的行驶方向向左倾斜。此时，如图3A所示，当转向角处于相对大的非零角度时(这里，假定转向角是参照车辆正沿车身的向前方向直线行驶的情况而定义的；即，当车辆正在车身的向前方向上直线行驶时，转向角为零)，特征点P向右移动(或流动)。如图3B所示，当转向角返回到零或接近零时，消失点Q恢复。然而，此时，消失点Q可以位于参考消失点O的左侧。消失点Q与参考消失点O之间的距离与从车辆处于参考直线移动状态时起车身沿向左方向的移动量(移动距离)相对应。

如果当车辆处于参考直线移动状态时车辆向右转向，则车身绕在垂直方向上延伸的轴线旋转，以使得车辆相对于处于参考直线移动状态的车辆的行驶方向向右倾斜。此时，如图3C所示，当转向角处于相对较大的非零角度而不是零时，特征点P向左移动(或流动)。如图3D所示，当转向角返回到零或接近零时，消失点Q恢复。然而，此时，消失点Q可以位于参考消失点O的右侧。消失点Q与参考消失点O之间的距离与从车辆处于参考直线移动状态时起车身沿向右方向的移动量(移动距离)相对应。因此，当特征点P正向左或向右移动时，特征点状态与参考特征点状态(即，当车辆处于参考直线移动状态时的特征点状态)不同。

基于连续获得的特征点状态与参考特征点状态之间的这种差异，旋转确定单元14检测相对于车辆处于参考直线移动状态的情况车辆的倾斜(旋转)的存在或不存在以及倾斜的方向。更具体地，当特征点P正从可以是参考消失点O的消失点Q径向移动，并且消失点Q的位置稳定在恒定位置处时，旋转确定单元14确定车辆处于直线移动状态。当特征点P正在向左方向上移动时，旋转确定单元14确定相对于在直线移动状态下车辆的行驶方向车辆正向右转弯并且向右倾斜(横摆旋转，yaw rotation)。当特征点P正在向右方向上移动时，旋转确定单元14确定相对于在直线移动状态下车辆的行驶方向车辆正向左转弯并且向左倾斜。除了检测是否存在车辆的倾斜以及倾斜的方向以外，旋转确定单元14还基于特征点P的移动来获取车辆的倾斜(旋转)的量。

移动量获取单元15基于消失点Q与参考消失点O之间的距离，获取从车辆处于参考直线移动状态时起车辆在横向方向(左右方向)上的移动量(移动距离)。当消失点Q与参考消失点O之间的距离为零时，移动量获取单元15计算车辆在横向方向上的移动量为零。

车身控制单元16(其用作移动体控制单元)基于由旋转确定单元14获取的车辆的倾斜和由移动量获取单元15获取的车辆在横向方向上的移动量来控制动力系统2A、制动装置2B和转向装置2C。由此，车身控制单元16(移动体控制单元)改变车辆(移动体)的行为。

当存在对HMI 4的输入时，行动计划单元17执行使车辆自主行驶的处理。具体地，当车辆正在直线行驶车道上直线行驶时，如果乘员利用HMI 4执行规定的输入操作以使车辆继续直线行驶，则参考消失点存储单元12将消失点Q的位置存储为参考消失点O并且将特征点状态存储为参考特征点状态，并且此后，行动计划单元17执行直线行驶控制处理。下面参照图4详细说明直线行驶控制处理。

在直线行驶控制处理的第一步骤ST1中，行动计划单元17使旋转确定单元14获取车辆的倾斜并确定车辆是否正直线行驶。在特征点P正从可以是参考消失点O的消失点Q径向移动并且旋转确定单元14相应地确定车辆正直线行驶的情况下，行动计划单元17执行步骤ST2。否则，即，当特征点P正在向右或向左方向上移动并且旋转确定单元14相应地确定车辆正在向右或向左转弯时，行动计划单元17执行步骤ST3。

在步骤ST2中，动作计划单元17使移动量获取单元15基于消失点Q与参考消失点O之间的距离获取从车辆处于参考直线移动状态时起(即从直线行驶控制处理时开始时起)车身在横向方向上的移动量。当消失点Q与参考消失点O之间的距离为零，并且因此确定车身在横向方向上的移动量为零时，行动计划单元17执行步骤ST5，否则执行步骤ST4。

在步骤ST3中，行动计划单元17使车身控制单元16控制转向装置2C、动力系统2A和制动装置2B，以使得车辆的倾斜变为零。更具体地，行动计划单元17使车身控制单元16控制转向装置2C、动力系统2A和制动装置2B，以使得特征点P移动以从消失点Q径向扩展，并且消失点Q的位置变为稳定在恒定位置处。当实现特征点P从消失点Q径向扩展的状态，即，车辆沿车身的向前方向直线行驶的状态时，行动计划单元17执行步骤ST5。

在步骤ST4中，动作计划单元17使车身控制单元16控制转向装置2C、动力系统2A和制动装置2B，以使得由移动量获取单元15获取的从车辆处于参考直线移动状态时起车身在横向方向上的移动量变为零。当车身在横向方向上的移动量变为零时，行动计划单元17执行步骤ST5。

在步骤ST5中，行动计划单元17确定是否继续直线行驶控制处理。例如，当HMI 4从乘员接收到停止直线行驶控制处理的输入时，行动计划单元17确定不应该继续直线行驶控制处理。如果确定不应该继续直线行驶控制处理，则行动计划单元17结束直线行驶控制处理，否则返回步骤ST1。

接下来，将描述如上配置的行为控制系统1的效果。当车辆转弯并且车辆的移动状态从车辆处于直线移动状态(参考直线移动状态)的情况改变时，特征点状态从特征点P移动以从参考消失点O径向扩展的状态改变，并且旋转确定单元14检测出由于车辆的移动状态从参考直线移动状态改变而出现了车辆的倾斜(ST1：否)。因此，无论是否能够识别行驶车道的边界，能够根据特征点P的状态，在车辆的移动状态已经从直线移动状态改变时，开始对车辆的控制。

当车辆的移动状态已经从参考直线移动状态改变并且已经出现车辆的倾斜时(ST1：否)，控制车辆，以使得特征点P移动以从消失点Q径向扩展，并且消失点Q的位置变为稳定在恒定位置处(ST3)。从而，车辆返回到直线移动状态。即，基于特征点P的时间变化来控制车辆，并且因此，无论是否能够识别行驶车道的边界，都能够控制车辆以保持直线移动状态。因此，即使在无法识别行驶车道的边界并且难以基于行驶车道的边界使车辆直线行驶的情况下，也能够以稳定的方式使车辆直线行驶。

当车辆正直线行驶(ST1：是)并且消失点Q与参考消失点O之间的距离不为零(ST2：否)时，控制车辆以使得从车辆处于参考直线移动状态时起车辆在横向上的移动量变为零(ST4)。以此方式，基于消失点Q与参考消失点O之间的距离来控制车辆，并且因此，无论是否能够识别行驶车道的边界，都能够控制车辆以使得车辆在横向方向上的位置与车辆在参考直线行驶移动状态下(当直线行驶控制处理开始时)的位置相匹配。

如图4所示，在校正车辆的倾斜并恢复直线行驶状态之后(ST3)，如果确定应该继续直线行驶控制处理(ST5：否)，则控制车辆以使得车辆在横向方向上的移动量变为零(ST4)。因此，即使在车辆的倾斜的校正引起车辆在横向方向上的位置偏移的情况下，也可以将车辆在横向方向上的位置校正为与车辆在参考直线移动状态下的位置相匹配。

以上已经描述了本发明的具体实施方式，但是本发明不限于上述实施方式，并且可以以各种方式修改或改变。例如，行为控制系统1可以包括配置为获取车身的横摆角速度(yaw rate)的横摆角速度传感器51和配置为获取车身的横向加速度的横向加速度传感器52。在这种情况下，旋转确定单元14可以被配置为基于特征点P的时间变化来获取横摆角速度和横向加速度，并且将所获取的横摆角速度和横向加速度与由横摆角速度传感器51获取的横摆角速度和由横向加速度传感器52获取的横向加速度融合(数据融合，data fusion)，以使得车身控制单元16基于经融合的横摆角速度和经融合的横向加速度执行车辆控制。此外，行为控制系统1可以被配置为基于特征点P的时间变化根据由旋转确定单元14获取的横摆角速度和横向加速度来计算用于校正由横摆角速度传感器51获取的横摆角速度和由横向加速度传感器52获取的横向加速度的校正量，以及基于利用校正量校正的横摆角速度和横向加速度来执行车辆控制。

当转向角较小并且车辆正以平缓的方式斜向地行驶并且因此由于车辆的倾斜(旋转)引起的特征点P的移动较小时，可以计算消失点Q。在这种情况下，可以同时执行倾斜校正和横向移动量校正。

在上述实施方式中，在步骤ST3和步骤ST4中控制转向装置2C、动力系统2A和制动装置2B，但本发明不限于这种实施方式。例如，可以仅控制转向装置2C。

在上述实施方式中，行为控制系统1应用于作为移动体的机动车辆，但是可以应用行为控制系统1的移动体不限于这样的实施方式。例如，可以应用行为控制系统1的移动体可以是诸如船只、飞机或无人驾驶飞机的能够在前后方向(fore and aft direction)和横向方向上移动的任何移动体。

Claims (5)

1.一种用于移动体的行为控制系统，该行为控制系统包括：

行为控制装置，所述行为控制装置被配置为改变所述移动体的行为；

成像装置，所述成像装置被配置为获取所述移动体的前方的图像；以及

控制装置，所述控制装置被配置为基于由所述成像装置获取的图像来控制所述移动体的行为，

其中，所述控制装置包括：

特征点提取单元，所述特征点提取单元被配置为从由所述成像装置获取的所述图像中提取特征点；

直线移动状态存储单元，所述直线移动状态存储单元被配置为存储当所述移动体处于直线移动状态时的特征点状态作为参考特征点状态，所述特征点状态是基于所述特征点的时间变化而获得的；

移动体控制单元，所述移动体控制单元被配置为在基于所述特征点的所述时间变化而获得的特征点状态与所述参考特征点状态不同时，控制所述行为控制装置；以及

移动量获取单元，所述移动量获取单元被配置为基于所述特征点的所述时间变化来计算所述移动体在横向方向上的移动量，

其中，所述直线移动状态存储单元被配置为预先存储当所述移动体处于所述直线移动状态时在所述图像中检测到的消失点作为参考消失点，并且

其中，所述移动量获取单元基于所述消失点与所述参考消失点之间的距离，获取从所述移动体处于参考直线移动状态时起所述移动体在所述横向方向上的所述移动量。

2.根据权利要求1所述的行为控制系统，其中，所述移动体控制单元被配置为控制所述行为控制装置，以使得所述特征点在从所述参考消失点径向扩展的方向上移动。

3.根据权利要求2所述的行为控制系统，其中，所述移动体控制单元被配置为当基于所述特征点的所述时间变化获得的所述特征点状态与所述特征点在从所述参考消失点径向扩展的方向上移动的状态不同时，控制所述行为控制装置。

4.根据权利要求2或3所述的行为控制系统，其中，所述移动体控制单元被配置为控制所述行为控制装置，以使所述移动量为零。

5.根据权利要求4所述的行为控制系统，其中，所述移动体控制单元被配置为在控制所述行为控制装置以使得所述特征点在从所述参考消失点径向扩展的方向上移动之后，控制所述行为控制装置以使所述移动量为零。