CN115959111A - 车辆控制装置、车辆控制方法及存储介质 - Google Patents

Abstract

本发明提供车辆控制装置、车辆控制方法及存储介质，其能够更准确地识别图像所包含的物体的位置而进行本车辆的驾驶控制，能够更加提高交通的安全性。实施方式的车辆控制装置具备：摄像部，其拍摄本车辆的周边；识别部，其识别所述本车辆的周边状况；驾驶控制部，其基于所述识别部的识别结果来控制所述本车辆的速度及转向中的一方或双方；以及控制部，其基于所述摄像部的拍摄内容来控制所述驾驶控制部，所述控制部基于由所述摄像部拍摄出的二维图像上的所述本车辆的行驶车道的左右的划分线与存在于所述本车辆的周边的物体的端部之间的位置关系来判定所述物体的所属车道。

Description

车辆控制装置、车辆控制方法及存储介质

技术领域

本发明涉及车辆控制装置、车辆控制方法及存储介质。

背景技术

近年来，以提供基于交通的安全性、便利性的改善得到的能够持续的输送系统为目的，关于基于周边状况的识别结果来自动地控制输送乘员的车辆的行驶的研究不断进展。与此相关联，在车辆的周边识别的领域中，已知有如下技术：从由多个相机分别拍摄出的道路的路面的图像中提取特征点，并将所提取的特征点的坐标向多个相机共用的俯瞰坐标系进行坐标变换，基于从由多个相机中的判定为能够利用的相机拍摄出的图像中提取的特征点的状态转移的判定结果，来判定划分线的线种类(例如，国际公开第2018/109999号)。

发明内容

然而，在以往的技术中，将由多相机拍摄出的多个图像分别向俯瞰坐标系进行坐标变换，因此有时图像内的划分线、其他车辆等物体的位置发生偏移，不能准确地取得划分线与物体之间的位置关系，不能提高交通的安全性。

本发明的方案是考虑这样的情况而完成的，其目的之一在于提供一种车辆控制装置、车辆控制方法及存储介质，其能够更准确地识别图像所包含的物体的位置而进行本车辆的驾驶控制，并能够更加提高交通的安全性。

本发明的车辆控制装置、车辆控制方法及存储介质采用了以下的结构。

(1)：本发明的一方案的车辆控制装置具备：摄像部，其拍摄本车辆的周边；识别部，其识别所述本车辆的周边状况；驾驶控制部，其基于所述识别部的识别结果来控制所述本车辆的速度及转向中的一方或双方；以及控制部，其基于所述摄像部的拍摄内容来控制所述驾驶控制部，所述控制部基于由所述摄像部拍摄出的二维图像上的所述本车辆的行驶车道的左右的划分线与存在于所述本车辆的周边的物体的端部之间的位置关系来判定所述物体的所属车道。

(2)：在上述(1)的方案中，所述控制部在所述物体是车辆的情况下，作为所述端部而取得所述车辆的接地部位。

(3)：在上述(1)的方案中，所述控制部设定将所述二维图像所包含的所述物体包围的区域，并针对设定的所述区域内的物体取得左右的端部。

(4)：在上述(3)的方案中，所述控制部基于从所述左右的划分线观察时的所述物体的左右的端部的相对位置来判定所述所属车道。

(5)：在上述(4)的方案中，所述控制部取得所述二维图像上的从所述左右的端部各自的位置向上下方向规定范围内的所述划分线，并以所取得的划分线与所述左右的端部之间成为最短距离的所述划分线的位置为基准而取得所述相对位置。

(6)：在上述(1)的方案中，所述控制部基于与所述物体的所属车道相关的信息来修正由所述识别部识别出的所述物体的位置，并基于修正后的所述物体的位置来控制所述驾驶控制部。

(7)：本发明的一方案的车辆控制方法使计算机进行如下处理：利用摄像部拍摄本车辆的周边；识别所述本车辆的周边状况；执行基于识别结果来控制所述本车辆的速度及转向中的一方或双方的驾驶控制；基于所述摄像部的拍摄内容来控制所述驾驶控制；基于由所述摄像部拍摄出的二维图像上的所述本车辆的行驶车道的左右的划分线与存在于所述本车辆的周边的物体的端部之间的位置关系来判定所述物体的所属车道。

(8)：本发明的一方案的存储介质存储有程序，其中，所述程序使计算机进行如下处理：利用摄像部拍摄本车辆的周边；识别所述本车辆的周边状况；执行基于识别结果来控制所述本车辆的速度及转向中的一方或双方的驾驶控制；基于所述摄像部的拍摄内容来控制所述驾驶控制；基于由所述摄像部拍摄出的二维图像上的所述本车辆的行驶车道的左右的划分线与存在于所述本车辆的周边的物体的端部之间的位置关系来判定所述物体的所属车道。

根据上述(1)～(8)的方案，能够更准确地识别图像所包含的物体的位置而进行本车辆的驾驶控制，能够更加提高交通的安全性。

附图说明

图1是表示搭载有实施方式的车辆控制装置的车辆系统的结构的一例的图。

图2是表示由驾驶控制装置执行的控制的一例的图。

图3是表示由驾驶控制装置执行的处理的流程的一例的流程图。

图4是表示本车辆的周边状况的一例的图。

图5是用于说明将二维图像所包含的其他车辆的轮廓包围的区域的图。

图6是用于说明提取划分线的图。

图7是用于说明划分线的噪声除去的图。

图8是用于说明提取划分线的倾斜度的图。

图9是用于说明取得其他车辆的左右的端部的图。

图10是用于使用分割区域来说明其他车辆的端部的取得的图。

图11是用于说明判定其他车辆的所属车道的图。

图12是表示所属车道的判定处理的流程的一例的流程图。

图13是用于说明多个判定条件的图。

图14是用于说明步骤S212～S214的处理的内容的图。

图15是用于说明判定不在确定车道的处理的图。

图16是表示设定有标志的信息的一例的图。

图17是用于说明第一判定模式的图。

图18是用于说明第二判定模式的图。

图19是用于说明第三判定模式的图。

图20是用于说明第四判定模式的图。

图21是用于说明未能够识别到两方的划分线的一部分的第二场景的图。

图22是用于说明目标捕捉部的功能的图。

图23是用于说明目标车辆的切换期间中的控制转移比率的设定的图。

具体实施方式

以下，参照附图来说明本发明的车辆控制装置、车辆控制方法及存储介质的实施方式。需要说明的是，实施方式的车辆控制装置设为搭载于车辆。车辆例如是四轮等的车辆，其驱动源是柴油发动机、汽油发动机等内燃机、电动机、或者它们的组合。电动机使用由与内燃机连结的发电机发出的发电电力、或二次电池、燃料电池的放电电力来动作。

[整体结构]

图1是表示搭载有实施方式的车辆控制装置的车辆系统1的结构的一例的图。图1所示的车辆系统1例如具备第一相机10、雷达装置12、第二相机20、HMI(Human MachineInterface)30、车辆传感器40、驾驶操作件80、行驶驱动力输出装置92、制动装置94、转向装置96及驾驶控制装置100。这些装置、设备通过CAN(Controller Area Network)通信线等多路通信线、串行通信线、无线通信网等而互相连接。需要说明的是，图1所示的结构只是一例，可以省略结构的一部分，也可以还追加别的结构。第二相机20是“摄像部”的一例。摄像部也可以包含第一相机10。第二相机20及驾驶控制装置100是“车辆控制装置”的一例。

第一相机10例如是利用了CCD(Charge Coupled Device)、CMOS(ComplementaryMetal Oxide Semiconductor)等固体摄像元件的数码相机。第一相机10在搭载车辆系统1的车辆(以下称作本车辆M)的任意部位安装一个或多个。例如，在对本车辆M的前方进行拍摄的情况下，第一相机10安装于前风窗玻璃上部、车室内后视镜背面等。在对本车辆M的后方进行拍摄的情况下，第一相机10安装于后风窗玻璃上部、背门等。在对本车辆M的侧方及后侧方进行拍摄的情况下，第一相机10安装于车门上后视镜等。第一相机10例如周期性地反复对本车辆M的周边进行拍摄。第一相机10也可以是立体相机。

第一相机10还包含能够对本车辆M的周边以广角方式(例如以360度)拍摄的鱼眼相机。鱼眼相机例如安装于本车辆M的上部，并对本车辆M的周边在水平方向上广角拍摄。鱼眼相机也可以通过将多个相机(在水平方向上拍摄120度的范围、60度的范围的多个相机)组合而实现。

雷达装置12向本车辆M的周边放射毫米波等电波，并且检测由周边的物体反射的电波(反射波)来至少检测物体的位置(距离及方位)。雷达装置12在本车辆M的任意部位安装一个或多个。雷达装置12也可以通过FM-CW(Frequency Modulated Continuous Wave)方式来检测周边的物体的位置及速度。

第二相机20例如是利用了CCD、CMOS等固体摄像元件的数码相机。第二相机20在本车辆M的任意部位安装一个或多个。第二相机20既可以设置于与第一相机10同样的位置，也可以设置于第一相机10的设置位置的一部分(例如，对本车辆M的前方进行拍摄的位置)。第二相机20例如周期性地反复对本车辆M的周边进行拍摄。第二相机20也可以是立体相机。

HMI30对本车辆M的用户提示各种信息，并且接受由用户进行的输入操作。用户例如包括驾驶本车辆M的驾驶员、同乘者等乘员。以下，除去特别区别的情况而称作“乘员”进行说明。HMI30例如作为提示各种信息的输出部而具备显示部和扬声器。显示部通过由后述的HMI控制部170进行的控制来显示图像，扬声器通过由HMI控制部170进行的控制来输出声音。HMI30作为接受来自乘员的输入的输入部而具备触摸面板、开关、按键、话筒等。由输入部接受到的信息向HMI控制部170输出。

车辆传感器40包括检测本车辆M的速度的车速传感器、检测加速度的加速度传感器(3轴加速度传感器)、检测横摆角速度(例如，绕通过本车辆M的重心点的铅垂轴的旋转角速度)的横摆角速度传感器、检测本车辆M的朝向的方位传感器等。车辆传感器40也可以具备检测本车辆M的位置的位置传感器。位置传感器例如是从GPS(Global PositioningSystem)装置取得位置信息(经度·纬度信息)的传感器。位置传感器例如也可以是使用GNSS(Global Navigation Satellite System)接收机取得位置信息的传感器。GNSS接收机基于从GNSS卫星接收的信号，来确定本车辆M的位置。本车辆M的位置也可以通过利用了其他传感器的输出的INS(Inertial Navigation System)来确定或补充。由车辆传感器40检测的结果向驾驶控制装置100输出。

驾驶操作件80例如包括供驾驶员进行转向操作的转向盘、油门踏板、制动踏板、换挡杆等各种操作件。在驾驶操作件80的各操作件例如安装有检测由驾驶员进行的操作的操作量的操作检测部。操作检测部检测油门踏板、制动踏板的踩踏量、换挡杆的位置、转向盘的转向角、转向转矩等。而且，操作检测部将表示检测结果的检测信号向驾驶控制装置100、或者行驶驱动力输出装置92、制动装置94及转向装置96中的一方或双方输出。

行驶驱动力输出装置92将用于本车辆M行驶的行驶驱动力(转矩)向驱动轮输出。行驶驱动力输出装置92例如具备内燃机、电动机及变速器等的组合、以及控制它们的功率ECU(Electronic Control Unit)。功率ECU按照从驾驶控制装置100输入的信息、或从驾驶操作件80输入的信息，来控制上述的结构。

制动装置94例如具备制动钳、向制动钳传递液压的液压缸、使液压缸产生液压的电动马达、以及制动ECU。制动ECU按照从驾驶控制装置100输入的信息、或从驾驶操作件80输入的信息来控制电动马达，以使与制动操作相应的制动转矩向各车轮输出。制动装置94可以具备将通过驾驶操作件80所包含的制动踏板的操作而产生的液压经由主液压缸向液压缸传递的机构作为备用。需要说明的是，制动装置94不限于上述说明的结构，也可以是按照从驾驶控制装置100输入的信息来控制致动器并将主液压缸的液压向液压缸传递的电子控制式液压制动装置。

转向装置96例如具备转向ECU和电动马达。电动马达例如使力作用于齿条-小齿轮机构来变更转向轮的朝向。转向ECU按照从驾驶控制装置100输入的信息、或从驾驶操作件80输入的信息，来驱动电动马达，使转向轮的朝向变更。

[驾驶控制装置100的结构]

驾驶控制装置100例如具备识别部120、控制部140、驾驶控制部160、HMI控制部170及存储部180。识别部120、控制部140、驾驶控制部160及HMI控制部170分别例如通过CPU(Central Processing Unit)等硬件处理器执行程序(软件)来实现。这些构成要素中的一部分或全部也可以通过LSI(Large Scale Integration)、ASIC(Application SpecificIntegrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(GraphicsProcessing Unit)等硬件(包括电路部：circuitry)来实现，还可以通过软件与硬件的协同配合来实现。上述的程序可以预先保存于驾驶控制装置100的HDD、闪存器等存储装置(具备非暂时性的存储介质的存储装置)，也可以保存于DVD、CD-ROM、存储卡等能够装卸的存储介质，并通过存储介质(非暂时性的存储介质)装配于驱动装置、卡槽等而安装于驾驶控制装置100的存储装置。

存储部180也可以由上述的各种存储装置或EEPROM(Electrically ErasableProgrammable Read Only Memory)、ROM(Read Only Memory)、或RAM(Random AccessMemory)等来实现。存储部180例如保存为了执行实施方式中的各种控制而需要的信息、程序、其他各种信息等。

[识别部]

识别部120例如具备周边识别部122。周边识别部122中，例如周边识别部122对由第一相机10或雷达装置12中的一方或双方检测的检测结果进行传感器融合处理等，来识别本车辆M的周边状况。在该情况下，周边识别部122将从第一相机10得到的图像向俯瞰图坐标系进行坐标变换，并基于变换后的坐标系通过众所周知的方法(二值化处理、轮廓提取处理、图像强调处理、特征量提取处理、图案匹配处理等)进行图像识别处理，来识别本车辆M的周边状况。周边识别部122也可以识别本车辆M的周边的物体的位置、种类、速度等。物体例如是指其他车辆(例如，存在于距本车辆M规定距离以内的位置的周边车辆)。物体也可以包括行人、自行车、道路构造物等。道路构造物例如包括道路标识、交通信号机、缘石、中央隔离带、护栏、围栏、壁、交叉道口等。物体也可以包括成为本车辆M的行驶的障碍的障碍物。

周边识别部122识别本车辆M、以及存在于本车辆M的周边的物体的位置(相对位置)、速度、加速度等状态。物体的位置例如被识别为以车辆M的代表点(重心、驱动轴中心等)为原点的绝对坐标系(以下称作车辆坐标系)的位置，并使用于控制。物体的位置可以由该物体的重心、角部、行进方向的前端部等代表点表示，也可以由表现出的区域表示。速度例如包括本车辆M及其他车辆相对于行驶的车道的行进方向(纵向)的速度(以下，称作纵向速度)、以及本车辆M及其他车辆相对于车道的横向的速度(以下，称作横向速度)。物体的“状态”例如也可以在物体为其他车辆等移动体的情况下，包括物体的加速度、加加速度、或者“行动状态”(例如是否正在进行车道变更或者是否正要进行车道变更)。

周边识别部122识别在本车辆M的周边存在的道路划分线(以下，称作划分线)。例如，周边识别部122识别将本车辆M行驶的车道(以下，称作本车道)划分的左右划分线。周边识别部122基于左右划分线，将本车道的左侧的相邻车道(以下，称作左车道)与本车道的右侧的相邻车道(以下，称作右车道)区别而识别。

[控制部]

控制部140控制驾驶控制装置100的整体。控制部140例如具备轮廓提取部142、划分线提取部144、端部取得部146、所属车道判定部148及目标捕捉部150。

轮廓提取部142针对由第二相机20拍摄出的二维图像，通过现有的图像解析处理来提取边缘点，并从提取的边缘点列中提取二维图像上的物体的轮廓。二维图像是指，将由第二相机20拍摄出的图像直接由纵向(X轴方向)和横向(Y轴方向)的二维的坐标系表示出的图像。例如，轮廓提取部142将存在于规定距离以内的边缘点间连结而提取轮廓。轮廓提取部142也可以通过二维图像的图像解析处理来取得每个边缘点的颜色信息，并将取得的颜色类似的边缘点间连结而提取轮廓。轮廓提取部142也可以基于轮廓的形状、大小、位置等来仅提取其他车辆(对象物体的一例)的轮廓。轮廓提取部142在二维图像中存在多个物体的情况下，将各个物体分离而提取。

划分线提取部144提取由第二相机20拍摄出的二维图像所包含的划分线。划分线提取部144也可以将本车道的左右划分线区别而提取。划分线提取部144取得所提取的划分线在二维图像上的位置信息(坐标信息)。

端部取得部146取得由第二相机20拍摄出的二维图像所包含的对象物体的端部的位置(二维图像上的位置信息)。对象物体的端部是指例如二维图像上的左右的端部。在此，在对象物体为其他车辆的情况下，其他车辆的端部是指例如二维图像中的其他车辆的左右的接地部位(其他车辆与道路相接的部位)。以后，作为对象物体的一例使用其他车辆来继续说明。

所属车道判定部148基于由划分线提取部144提取的划分线的位置信息、以及由端部取得部146取得的其他车辆的端部的位置信息，来判定其他车辆所属的车道(其他车辆的存在确定车道)。所属车道判定部148也可以代替其他车辆所属的车道(或在此基础上还)判定其他车辆不所属的车道(其他车辆的不在确定车道)。

目标捕捉部150基于由识别部120识别的识别结果、所属车道判定部148对其他车辆的所属车道的判定结果(从本车辆M观察时的其他车辆的相对横向位置信息)，来捕捉本车辆M进行基于驾驶控制部160的驾驶控制的目标车辆。目标车辆是指，例如本车辆M通过由驾驶控制部160进行的ACC(Adaptive Cruise Control)等驾驶控制以规定的车间距离追随前方车辆的情况下的前方车辆。目标捕捉部150也可以提取存在于本车辆M的周边的其他车辆中的与本车辆M的行驶干涉的其他车辆。与本车辆M的行驶干涉的其他车辆是指，例如由于在本车辆M正追随着前方车辆的情况下向前行车辆与本车辆M之间进行车道变更从而需要进行本车辆M的驾驶控制(速度控制、转向控制)的变更的其他车辆、有可能与本车辆M接触而需要进行躲避的驾驶控制的其他车辆等。关于上述的轮廓提取部142、划分线提取部144、端部取得部146、所属车道判定部148及目标捕捉部150的功能的详细情况，见后述。

驾驶控制部160基于识别部120的识别结果、来自控制部140的信息，控制本车辆M的速度及转向中的一方或双方。例如，驾驶控制部160在执行规定的驾驶控制的情况下，为了使本车辆M进行与该驾驶控制的内容相应的行驶，基于识别部120的识别结果、来自控制部140的信息，生成本车辆M将来行驶的预定轨道(目标轨道)。预定轨道例如也可以包括速度要素。而且，驾驶控制部160控制本车辆M的速度、转向，以使本车辆M沿着所生成的预定轨道行驶。驾驶控制部160例如具备速度控制部162和转向控制部164。速度控制部162例如在通过由乘员进行的HMI30的操作而接受到ACC的执行的情况下，控制行驶驱动力输出装置92或制动装置94，进行加速或减速等速度控制，以便基于预定轨道一边与在本车道行驶的前行车辆维持规定的车间距离一边行驶。速度控制部162例如基于其他车辆向本车辆M的接近状况来控制行驶驱动力输出装置92或制动装置94，进行加速或减速等速度控制，以免本车辆M与其他车辆接触。

转向控制部164例如在通过由乘员进行的HMI30的操作而进行ACC、LKAS(LaneKeeping Assistance System)等驾驶控制的情况下，为了基于预定轨道维持本车道上的行驶，基于本车道的识别结果及本车辆M的位置来控制转向装置96。转向控制部164例如在通过由乘员进行的HMI30的操作而执行ALC(Auto Lane Changing)的情况下，为了基于由识别部120识别的识别结果沿着预定轨道向目的的相邻车道进行车道变更，控制转向装置96。

速度控制部162及转向控制部164的处理例如通过前馈控制与反馈控制的组合来实现。作为一例，转向控制部164将与车辆M的前方的道路的曲率相应的前馈控制与基于从预定轨道(目标轨道)的偏离的反馈控制组合来执行。

HMI控制部170通过HMI30向乘员提示规定的信息。规定的信息例如包括与本车辆M的状态相关的信息、与驾驶控制相关的信息等。与车辆M的状态相关的信息例如包括车辆M的速度、发动机转速、挡位等。与驾驶控制相关的信息例如包括由控制部140控制的信息、是否进行ACC、ALC等驾驶控制、手动驾驶的信息、与执行中的驾驶控制的状况相关的信息等。规定的信息也可以包括电视节目、存储于DVD等存储介质的条目(例如，电影)等与车辆M的行驶控制不相关联的信息。

例如，HMI控制部170也可以生成包括上述的规定的信息在内的图像，并使HMI30的显示部显示所生成的图像，也可以生成表示规定的信息的声音，并使所生成的声音从HMI30的扬声器输出。HMI控制部170也可以将由HMI30接受到的信息向控制部140、驾驶控制部160等输出。

[由车辆控制装置进行的控制]

以下，说明由驾驶控制装置100执行的控制的详细情况。图2是表示由驾驶控制装置100执行的控制的一例的图。驾驶控制装置100在对通过使用了由第一相机10及雷达装置12输出的信息的传感器融合处理进行的本车辆M的周边的识别结果进行修正之前，使用由第二相机20拍摄出的本车辆M的周边(特别是在行进方向上)的二维图像，来进行其他车辆所属的车道的判定、划分线与其他车辆的相对位置关系的取得等。

而且，驾驶控制装置100基于其他车辆的所属车道的判定结果、划分线与其他车辆之间的相对位置关系、通过传感器融合处理进行的物体识别结果等，例如能够在ACC等驾驶控制的执行中捕捉成为本车辆M追随的对象的其他车辆(以下，称作目标车辆)，并基于与捕捉到的目标车辆相关的信息(例如，目标车辆的位置、相对距离、相对速度、目标车间距、行进方向)等，生成本车辆M的速度等，并使本车辆M以所生成的速度行驶。这样，在实施方式中，使用由第二相机20拍摄出的二维图像，不进行用于设为俯瞰图像的三维坐标变换等而保持二维图像的坐标系不变直接取得所属车道的确定、相对位置关系，由此能够抑制其他车辆与本车道之间的相对位置产生误差、矛盾，能够基于更准确的相对位置来捕捉用于进行驾驶控制的目标车辆。需要说明的是，驾驶控制装置100也可以代替速度控制(或在此基础上还)进行转向控制。

[处理流程]

接着，说明由实施方式的驾驶控制装置100执行的处理的流程。图3是表示由驾驶控制装置100执行的处理的流程的一例的流程图。需要说明的是，在以下的说明中，主要以驾驶控制装置100执行的处理中的本车辆M执行ACC的驾驶控制的情况下的处理为中心进行说明。图3所示的处理可以在执行着上述驾驶控制的期间反复执行。

在图3的例子中，首先，识别部120通过使用了来自第一相机10及雷达装置12的输出的传感器融合处理，来识别包含本车辆M的前方在内的周边状况(步骤S100)。识别部120判定是否在本车辆M的周边存在其他车辆(步骤S120)。其他车辆是对象物体的一例，更具体而言，是在本车辆M的前方行驶的其他车辆。本车辆M的前方不仅包括本车道上的前方，也包括左车道上及右车道上的前方。

图4是表示本车辆M的周边状况的一例的图。在图4的例子中，示出了由车道L1、车道L1的左车道L2及右车道L3构成的三车道的道路。在图4中设为本车辆M(未图示)正在车道L1上行驶(以下，称作本车道L1)。在图4所示的周边状况中，识别部120将处于本车辆M的前方、且在本车道L1上行驶的其他车辆m1和在左车道L2上行驶的其他车辆m2及m3识别为存在于本车辆M的前方的对象物体。

控制部140按由识别部120识别出的每个其他车辆m1～m3反复(循环)执行步骤S142～S154的处理(步骤S140)。轮廓提取部142提取由第二相机20拍摄出的二维图像所包含的其他车辆的轮廓(步骤S142)。接着，轮廓提取部142设定将其他车辆的轮廓包围的区域(步骤S144)。

图5是用于说明将二维图像所包含的其他车辆的轮廓包围的区域的图。在图5的例子中，在与图4相当的本车辆M的周边状况中，示出由第二相机20拍摄出的图像IM10。图像IM10是拍摄图像直接(不进行三维坐标变换)地由图像坐标系表示的二维图像。图5所示的图像IM10设为由轮廓提取部142提取出其他车辆m1～m3的轮廓。在图5的例子中，轮廓提取部142生成将所提取出的其他车辆m1～m3的轮廓分别包围的3个区域(以下，称作边界框)BB1～BB3(步骤S144)。边界框BB1～BB3例如是沿着图像IM10的X轴(纵向)及Y轴(横向)而形成的矩形区域。轮廓提取部142提取图像IM10的二维坐标中的各边界框BB1～BB3的四角的坐标(XY坐标)。

接着，划分线提取部144从由第二相机20拍摄出的二维图像中提取将本车道L1划分的划分线的点列(步骤S146)。图6是用于说明提取划分线的图。需要说明的是，在图6的例子中，将由第二相机20拍摄出的图像IM10中的车道L1及L2和在车道L2上行驶的其他车辆m2的部分放大示出。划分线提取部144例如使其他车辆m2的边界框BB2的下端在图像IM10的横向(左右方向、Y轴方向)上扫描，并取得与划分本车道L1的左右划分线LL、LR接触时的划分线LL、LR上的位置(XY坐标位置)。而且，划分线提取部144以边界框BB2的下端的线为基准，在上下方向(X轴方向、纵向)上每次错开规定像素(例如，1像素)而同样地进行扫描，提取例如上下方向成为2n+1像素的规定范围(以下，称作特定区域SP)内的二维图像上的划分线LL、LR的区域。n例如是约10～30，优选是20，但可以根据二维图像的分辨率、本车辆M的周边环境等而适当变更。特定区域SP的横向宽度(左右方向的范围)与图像IM10的横向宽度相当。划分线提取部144将从上述的特定区域SP得到的坐标的点列连结而提取划分线LL、LR。

返回图3，接着，划分线提取部144进行在特定区域SP内提取的划分线LL、LR的噪声除去(步骤S148)。图7是用于说明划分线的噪声除去的图。例如，划分线提取部144生成在图像IM10的特定区域SP内对在将作为划分线而提取的像素向Y轴上投影时的像素数进行计数而得到的矩形图。需要说明的是，矩形图例如也可以是按Y轴方向的每个规定宽度而对汇总的像素数进行计数而得到图。而且，划分线提取部144提取所生成的矩形图中的、在Y轴方向(横向)上连续的区间为规定长度以上的区间或像素数为阈值以上的区间作为存在划分线的区间。由此，能够例如防止如图7所示那样将图像上所包含的垃圾等噪声NS1、NS2识别为划分线的情况，能够更准确地提取划分线。

返回图3，接着，划分线提取部144提取划分线的倾斜度(步骤S150)。划分线的倾斜度是指，例如由第二相机20拍摄出的二维图像的下端与二维图像所包含的划分线所成的角度。例如，划分线提取部144通过特定区域SP中的划分线LL、LR的主成分分析处理来导出第一主成分。图8是用于说明提取划分线的倾斜度的图。在图8的例子中，将从针对其他车辆m2的特定区域SP中提取的划分线LL放大示出。在图8的例子中，示出了作为划分线LL而提取出的像素群(像素的数据的集合)。

划分线提取部144例如对作为划分线LL而提取出的像素群进行现有的主成分分析处理，并提取例如主成分得分的方差最大的方向作为第一主成分的轴C1。例如，划分线提取部144针对在图8所示那样的特定区域SP等规定的图像区域内存在与划分线LL相当的像素的坐标求取协方差矩阵，并导出所求出的协方差矩阵的特征向量，从所导出的特征向量中提取方差(特征值)最大的方向作为第一主成分的轴C1。

划分线提取部144也可以提取与第一主成分的轴C1正交的轴作为第二主成分的轴C2。而且，划分线提取部144提取相对于Y轴的第一主成分的轴C1作为划分线LL的倾斜度。倾斜度例如由Y轴与第一主成分的轴C1所成的角θ1表示。划分线提取部144关于将本车道L1划分的另一方的划分线LR也同样地通过主成分分析提取Y轴(更具体而言，-Y轴)与划分线LR的第一主成分的轴C1#(未图示)所成的角θ2(未图示)作为划分线LR的倾斜度。如上所述那样，划分线提取部144取得从二维图像的左右方向(Y轴方向、横向)观察特定区域SP(规定区域的一例)的划分线时的角度作为划分线LL、LR的倾斜度，该特定区域SP以在使边界框BB2的下端沿二维图像的横向延伸时相接的划分线的位置为基准。

返回图3，接着，端部取得部146取得存在于二维图像的其他车辆的左右的端部的位置(步骤S152)。接着，所属车道判定部148基于由端部取得部146取得的左右的端部与划分线之间的位置关系，来判定其他车辆行驶的车道(其他车辆的所属行车道)(步骤S154)。接着，目标捕捉部150进行成为本车辆M执行的驾驶控制的对象的其他车辆(目标车辆)的捕捉(步骤S160)。关于上述的步骤S152～S154、S160的处理的详细情况，见后述。

接着，驾驶控制部160执行基于周边状况及捕捉到的目标车辆的行为而进行的本车辆M的驾驶控制(速度控制及转向控制中的一方或双方)(步骤S170)。在步骤S120的处理中，在本车辆M的周边不存在其他车辆的情况下，驾驶控制部160执行基于周边状况而进行的本车辆M的驾驶控制(步骤S172)。由此，本流程图的处理结束。

[其他车辆的左右的端部的取得(步骤S152)]

接着，具体说明步骤S152的处理。图9是用于说明取得其他车辆的左右的端部的图。在图9的例子中，说明取得其他车辆m2中的左右的端部，但关于二维图像所包含的其他车辆(其他车辆m1、m3)也执行同样的处理。

端部取得部146例如从由第二相机20拍摄出的图像IM10的左右各个下端起以图像IM10的内侧为中心朝向上侧成为规定角度的角度而沿着倾斜方向进行扫描，并取得与其他车辆m2的轮廓相接的位置作为其他车辆m2的端部。需要说明的是，也可以是，端部取得部146不是从图像IM10整体的左右各自的下端而是从将其他车辆m2的轮廓包围的边界框BB2中的左右的下端到存在与其他车辆m2相当的像素(例如其他车辆m2的轮廓像素)的位置而沿着上述的倾斜方向进行扫描，并取得与其他车辆m2的轮廓相接的位置作为其他车辆的端部。通过在边界框BB2内进行扫描，从而与从图像IM10整体进行扫描的情况相比能够减轻处理负荷。

在此，作为进行扫描的规定角度(扫描角度)，例如使用划分线LR、LL的倾斜度θ1、θ2，该划分线LR、LL的倾斜度θ1、θ2是由第二相机20拍摄出的图像IM10的下端与图像IM所包含的划分线所成的角度。例如，端部取得部146如图9所示那样在从边界框BB2的右下端进行扫描的情况下从边界框BB2的下端以内侧为中心朝向上侧成为划分线LL的倾斜度θ1的角度进行扫描，在从边界框BB2的左下端进行扫描的情况下从边界框BB2的下端以内侧为中心朝向上侧成为划分线LR的倾斜度θ2的角度进行扫描。端部取得部146一边以同一角度向从左右的下端分离的方向错开一边进行扫描，并取得与其他车辆m2的图像相接的各个位置作为左端部Le、右端部Re。需要说明的是，扫描例如可以如图9所示那样按每个端部以同一方向进行扫描，也可以一边向从下端分离的方向错开一边以同一方向和逆向交替的方式进行扫描，还也可以以同一角度为基准呈锯齿状(zigzag)进行扫描。例如，左端部Le是从上方观察其他车辆m2时处于最左方的点，右端部Re是从上方观察其他车辆m2时处于最右方的点。

通常，其他车辆沿着将行驶车道划分的划分线的延伸方向行驶。因此，从本车辆M观察时的其他车辆的倾斜度依存于行驶车道的划分线的倾斜度的可能性高。因此，通过以在相邻车道上行驶的其他车辆的行驶车道的划分线(即，本车道的划分线)的倾斜度为基准的扫描角度进行扫描，由此能够更加准确地取得二维图像中的沿着车道的其他车辆相对于倾斜度的左右的端部(接地部位)。尤其是，从相邻车道向本车道进行车道变更的其他车辆由于车身朝向本车道侧，因此易于捕获其他车辆的前轮的接地部位。

也可以是，端部取得部146在以成为规定角度的角度为基准进行扫描的情况下，生成将边界框BB2的矩形区域进一步分割后的分割区域，并通过以规定的顺序参照所生成的分割区域来取得左右的端部。分割区域是包含1个以上的像素在内的矩形区域。

图10是用于使用分割区域来说明其他车辆的端部的取得的图。在图10的例子中，示出了从与其他车辆m2对应的边界框BB2的右下端进行扫描的情形，但关于从左下端进行扫描也执行同样的处理。端部取得部146在边界框BB2内设定分割区域SA，并以上述的规定角度θ1的倾斜方向为基准从右下端对所设定的区域内的图像呈锯齿状进行扫描。在图10的例子中，分割区域SA内的数字示出了基于划分线LL的倾斜度方向C1而设定的扫描顺序。而且，端部取得部146按每个分割区域来判定是否包含其他车辆M的图像，并取得最初包含其他车辆的图像的分割区域的坐标(例如，区域的中心的坐标)作为其他车辆M的右端部的坐标。图10的例子中，示出了从开始扫描起的第14个分割区域中检测到其他车辆M的端部的情况。

需要说明的是，端部取得部146在按每个分割区域判定是否包含其他车辆M的图像的情况下，也可以不是保持原图像不变而判定，而是使用仅包含必要的信息的图像来判定。例如，在判定时，不是使用全彩而是使用8比特等抑制了比特数的图像信息。由此，能够削减在判定处理中使用的数据量，因此能够降低处理负荷。

需要说明的是，端部取得部146在要扫描的角度θ1、θ2(划分线相对于图像IM10的左右方向(Y轴方向，横向)的角度)超过阈值角度θth的情况下，使规定角度为固定值。该情况下的规定角度例如是约40～50度，更优选为45度。这样，通过事先设定扫描角度的上限值，例如即便在其他车辆在弯路上行驶的情况下，也能够针对其他车辆的姿势正确地取得左右的端部(接地部位)。

[其他车辆的所属车道的判定(步骤S154)]

接着，具体说明步骤S154的处理。所属车道判定部148例如基于由第二相机20拍摄出的二维图像所包含的本车道L1的划分线LL、LR的位置、以及其他车辆的左右的接地部位，比较从划分线LL、LR观察时的左右的接地部位的相对位置，并判定其他车辆属于哪个车道(或者不属于哪个车道)。所属车道判定部148也可以判定其他车辆是否正在向本车道进入。“其他车辆正在向本车道进入”是指，例如其他车辆的左右的两个端部(接地部位)中的至少一方存在于本车道内的情况。

图11是用于说明判定其他车辆的所属车道的图。在图11的例子中，说明判定其他车辆m2的所属车道的场景，但关于其他周边车辆(图4所示的其他车辆m1、m3)也实施同样的处理。在图11的例子中，设为由端部取得部146取得针对其他车辆m2的左右的接地部位(左接地部位Le、右接地部位Re)。

所属车道判定部148在二维图像上取得从划分本车道L1的左右划分线LL、LR观察时的右接地部位Re的相对位置LD1、RD1。所属车道判定部148取得从划分线LL、LR观察时的左接地部位Le的相对位置LD2、RD2。需要说明的是，关于成为划分线LL、LR的基准的位置，例如取得左右的接地部位Le、Re距以接地部位Le、Re各个的位置为基准的特定区域SP(以与端部相同的高度为基准向上下方向错开n像素后的(2n+1)行的量的区域)所包含的划分线LL、LR的区域成为最短距离的划分线的位置。

所属车道判定部148也可以在由于其他车辆m2存在于划分线上而不能识别到划分线的一部分的情况下，使用如下假想划分线，来取得距上述的接地部位最短距离的划分线的基准位置，该假想划分线通过将在车道L1的延伸方向上不能识别到划分线的部分的前后(跟前及远侧)处能够识别到的划分线根据道路形状或能够识别到的另一方的划分线的形状来线性或非线性地连结而得到。

所属车道判定部148判定从划分线LL、LR分别观察接地部位Le、Re时的相对位置是正还是负。相对位置是指，例如，相对于由第二相机20拍摄出的二维图像，从某基准点RP起将右方向设为正，并将左方向设为负。需要说明的是，所属车道判定部148也可以相对于左右的方向使正负相反。所属车道判定部148也可以基于从接地部位Le、Re观察时的划分线LL、LR的相对位置来进行正负的判定。在图11的例子中，在将右方向设为正并将左方向设为负的情况下，从划分线LL观察时的右接地部位Re的相对位置是正(+)，左接地部位Le的相对位置是负(-)，从划分线LR观察时的左右的接地部位Le、Re的相对位置均为负(-)。需要说明的是，所属车道判定部148也可以在相对位置LD1、RD1、LD2、RD2的大小(例如长度)为规定长度以上的情况下，判定从划分线观察时的接地部位的相对位置。由此，能够抑制在其他车辆正以其他车辆的接地部位处于划分线附近的状态行驶的情况下正负符号频繁改变。

接着，所属车道判定部148基于左右的接地部位Le、Re与左右划分线LL、LR之间的位置关系(相对位置)来判定其他车辆m2的所属车道。图12是表示所属车道的判定处理的流程的一例的流程图。在图12的例子中，首先，所属车道判定部148判定从左划分线LL观察时的右接地部位Re的相对位置是否为负(步骤S200)。在判定为从左划分线LL观察时的右接地部位Re的相对位置为负的情况下，判定为其他车辆m2存在于左车道(步骤S202)。在判定为从左划分线LL观察时的右接地部位Re的相对位置不是负的情况下，所属车道判定部148判定从右划分线LR观察时的左接地部位Le的相对位置是否为正(步骤S204)。在判定为从右划分线LR观察时的左接地部位Le的相对位置为正的情况下，所属车道判定部148确定出其他车辆m2存在于右车道(步骤S206)。

在判定为从右划分线LR观察时的左接地部位Le的相对位置不是正的情况下，所属车道判定部148使用左右的接地部位Le、Re和左右划分线LL、LR，来执行其他车辆所属车道的条件判定处理(步骤S208)。在步骤S208的条件判定处理中，所属车道判定部148关于预先设定出的多个判定条件分别判定是否满足条件，在满足条件的情况下，判定为其他车辆m2属于与各条件相应的车道。图13是用于说明多个判定条件的图。在图13的例子中，条件类别1～8、条件内容及满足条件的情况的所属车道建立了对应关系。关于条件类别的种类及内容，不限定于此。

在图13的例子中，所属车道判定部148在从左划分线LL观察时左接地部位Le的相对位置为正、且从右划分线LR观察时的左接地部位Le的相对位置为负的情况(满足条件类别1的条件的情况)下，判定为其他车辆m2属于本车道。所属车道判定部148在从左划分线LL观察时的右接地部位Re的相对位置为正、且从右划分线LR观察时的右接地部位Re的相对位置为负的情况(满足条件类别2的条件的情况)下，判定为其他车辆m2属于本车道。所属车道判定部148在从左划分线LL观察时的左接地部位Le的相对位置为负的情况(满足条件类别3的条件的情况)下，判定为其他车辆m2属于左车道。所属车道判定部148在从右划分线LR观察时的右接地部位Re的相对位置为正的情况(满足条件类别4的条件的情况)下，判定为其他车辆m2属于右车道。

所属车道判定部148在从左划分线LL观察时的左接地部位Le的相对位置为负、且从左划分线LL观察时的右接地部位Re的相对位置为正的情况(满足条件类别5的条件的情况)下，判定为其他车辆m2属于左车道及本车道。所属车道判定部148在从右划分线LR观察时的左接地部位Le的相对位置为负、且从右划分线LR观察时的右接地部位Re的相对位置为正的情况(满足条件类别6的条件的情况)下，判定为其他车辆m2属于右车道及本车道。所属车道判定部148在从左划分线LL观察时的左接地部位Le的相对位置为正、且从右划分线LR观察时的右接地部位Re的相对位置为负的情况(满足条件类别7的条件的情况)下，判定为其他车辆m2属于本车道。所属车道判定部148在从左划分线LL观察时的右接地部位Re的相对位置为正、且从右划分线LR观察时的左接地部位Le的相对位置为负的情况(满足条件类别8的条件的情况)下，判定为其他车辆m2属于本车道。

在步骤S208的处理结束后，所属车道判定部148将基于各个条件得到的判定结果合并(merge：OR处理、逻辑“或”运算)(步骤S210)，作为合并结果，判定其他车辆m2是否属于右车道和左车道这两方(步骤S212)。在判定为属于两方的情况下，所属车道判定部148判定为其他车辆m2属于左车道、本车道及右车道(步骤S214)。由此，结束本流程图。

图14是用于说明步骤S212～S214的处理的内容的图。在图14的例子中，是满足条件类别3及条件类别4中的各个条件的情况，且对判定为所属的车道设定有存在确定标志“1”。例如，在针对1台的其他车辆通过条件类别3及条件类别4的条件判定而对左右的任一车道均设定了存在确定标志的情况下，所属车道判定部148作为其他车辆也存在于本车道而对本车道的存在确定标志设定“1”。由此，所属车道判定部148能够识别为其他车辆属于(存在于)本车道及左右的车道。需要说明的是，关于标志，也可以代替“1”的标志而设定“是”、“○”等文字、印记等标志。

需要说明的是，所属车道判定部148针对其他车辆m2判定了所属的车道(存在确定车道)，但也可以代替于此(或在此基础上也)判定不所属的车道(不在确定车道)。在该情况下，所属车道判定部148基于预先决定的用于确定不在确定车道的判定条件来进行判定。图15是用于说明判定不在确定车道的处理的图。在图15的例子中，用于确定不在确定车道的条件类别A～D、条件内容及不在车道建立了对应关系。关于条件类别的种类及内容，不限定于此。

在图15的例子中，所属车道判定部148在从左划分线LL观察时的右接地部位Re的相对位置为负的情况(满足条件类别A的条件的情况)下，判定为其他车辆m2不在(不属于)本车道及右车道。所属车道判定部148在从右划分线LR观察时的左接地部位Le的相对位置为正的情况(满足条件类别B的条件的情况)下，判定为其他车辆m2不在本车道及左车道。所属车道判定部148在从左划分线LL观察时的左接地部位Le的相对位置为正的情况(满足条件类别C的条件的情况)下，判定为其他车辆m2不在左车道。所属车道判定部148在从右划分线LR观察时的右接地部位Re的相对位置为负的情况(满足条件D的情况)下，判定为其他车辆m2不在右车道。所属车道判定部148将基于条件A～D得到各个判定结果合并，来判定其他车辆不在哪个车道。

所属车道判定部148也可以基于针对其他车辆m2的所属车道的判定结果，相对于本车道、左车道、右车道而按每个其他车辆生成设定了如下标志的信息，该标志表示存在确定车道、以及不在确定车道(不在车道)。图16是表示设定有标志的信息的一例的图。图16所示的信息是从本车辆M观察时的其他车辆的相对横向位置信息的一例，是其他车辆与本车辆M之间的相对位置信息的一例。

在图16的例子中，示出在其他车辆m2与划分本车道的划分线LL、LR之间的在二维图像(平面图像上)上的位置关系是图11所示的关系的情况下，设定出的标志的一例。在图16的例子中，关于左车道、本车道及右车道的分别在确定了其他车辆m2的存在的车道及确定了不在的车道设定有标志“1”。根据图16的例子，通过所属车道判定部148的处理，能够确定其他车辆m2存在于左车道及本车道、且不存在于右车道。例如，作为不在确定车道，即便仅知晓不存在于本车道，在之后的追随控制等驾驶控制中，也能够在目标车辆的选定、速度控制等处理中使用。需要说明的是，在图16的例子中，也可以在存在确定标志和不在确定标志中设定不同的标志。

所属车道判定部148例如即便在不能从由第二相机20拍摄出的二维图像中识别到划分本车道的左右划分线LL、LR的一方或一部分的情况下，也能够判定其他车辆所属的车道(存在确定车道)及不所属的车道(不在确定车道)中的一方或双方。不能识别到划分线是指，例如不能通过二维图像来提取划分线的边缘的情况。以下，说明不能识别到划分线的状况下的几个所属车道的判定模式。

<第一判定模式>

图17是用于说明第一判定模式的图。第一判定模式是判定不能识别到将本车道L1划分的左右划分线LL、LR中的右划分线LR情况下的其他车辆m2的存在确定车道(所属车道)的模式。在第一判定模式中，所属车道判定部148基于从左划分线LL观察时的右接地部位Re及左接地部位Le各自的相对位置，来判定其他车辆m2的存在确定车道。在图17的例子中，从左划分线LL观察时的右接地部位Re的相对位置为正、且从左划分线LL观察时的左接地部位Le的相对位置的位置为负，因此知晓接地部位Re、Le跨划分线LL而存在(在左划分线LL的左右分别存在接地部位(端部))。因此，在第一判定模式中，所属车道判定部148不能够识别到其他车辆m2是否属于右车道，但判定为至少属于本车道L1(更具体而言，属于本车道L1及左车道)。

<第二判定模式>

图18是用于说明第二判定模式的图。第二判定模式是判定不能识别到将本车道L1划分的划分线LL、LR中的左划分线LL的情况下的其他车辆m2的不在确定车道的模式。在第二判定模式中，所属车道判定部148基于从右划分线LR观察时的右接地部位Re及左接地部位Le各自的相对位置，来判定不在确定车道。在图18的例子中，从右划分线LR观察时的右接地部位Re及左接地部位Le的相对位置均为负。因此，在第二判定模式中，关于其他车辆m2，所属车道判定部148判定为其他车辆m2不属于右车道(右车道是不在确定车道)。

<第三判定模式>

图19是用于说明第三判定模式的图。第三判定模式是判定不能识别到划分线的一方的全部及另一方的一部分的情况下的其他车辆m2的存在确定车道及不在确定车道中的一方或双方的模式。在图19的例子中，示出除了未识别到右划分线LR之外还未识别到左划分线LL的一部分(仅识别到一部分)的场景。关于左划分线LL，识别到以右接地部位Re的水平方向(图像的横向)为基准的特定区域所包含的划分线LL，但未识别到以左接地部位Le的水平方向为基准的特定区域所包含的划分线LL。因此，不能取得划分线LL与左接地部位Le之间的相对位置。在该情况下，所属车道判定部148仅基于从划分线LL观察时的右接地部位Re的相对位置来判定其他车辆m2的所属车道。

在图19的例子中，从划分线LL观察时的其他车辆m2的右接地部位Re的相对位置为负。因此，所属车道判定部148能够判定为其他车辆m2属于左车道(左车道是其他车辆m2的存在确定车道)。所属车道判定部148也能够判定为其他车辆m2不属于本车道L1及右车道(本车道L1及右车道是其他车辆m2的不在确定车道)。

<第四判定模式>

图20是用于说明第四判定模式的图。第四判定模式是判定不能识别到两方的划分线LL、LR的一部分的第一场景中的其他车辆m2的存在确定车道的模式。在图20的例子中，在本车辆M的右接地部位Re的Y轴方向(二维图像的左右方向)上能够识别到划分线LL、LR中的右划分线LR、且在左接地部位Le的Y轴方向上仅能够识别到划分线LL、LR中的左划分线LL。在该情况下，由于在左右的接地部位Le、Re存在本车辆M的主体部(body)，因此所属车道判定部148在图20所示那样的第一场景中，判定为其他车辆m2属于本车道L1(本车道L1是其他车辆m2的存在确定车道)。

图21是用于说明未能够识别到两方的划分线的一部分的第二场景的图。在第四判定模式的第二场景中，是在本车辆M的右接地部位Re的Y轴方向上仅能够识别到划分线LL、LR中的划分线LL、且在左接地部位Le的Y轴方向上仅能够识别到划分线LL、LR中的划分线LR的场景。在该情况下，由于在左右的接地部位Le、Re存在本车辆M的主体部(body)，因此所属车道判定部148也在图21所示那样的场景中能够判定为其他车辆m2属于本车道L1。如上述的第四判定模式那样，即使在未识别到车道的一部分的状态下，也能够通过基于使用了能够识别到的部分的相对位置的判定，来掌握其他车辆的存在确定车道、不在确定车道。

基于上述的第一～第四判定模式来进行判定，由此例如即使在因差天气等而不能识别到划分线的一方或一部分(不能对其进行边缘提取)情况下，也能够判定其他车辆所属的车道(存在确定车道)及不所属的车道(不在确定车道)中的一方或双方。通过上述的所属车道的判定处理，能够更加提高其他车辆的所属车道的判定精度。

[目标捕捉(步骤S160)]

接着，说明目标捕捉处理的详细情况。图22是用于说明目标捕捉部150的功能的图。目标捕捉部150例如具备物体过滤器152、控制对象目标捕捉部154、干涉可能性目标提取部156及核定部158。

物体过滤器152例如基于通过识别部120的传感器融合处理而得到的本车辆M的周边的物体信息，来提取存在于本车辆M的周边的物体中的在由本车道、左车道及右车道构成的三车道上存在的其他车辆(对象物体的一例)。例如，物体过滤器152例如将由第一相机10拍摄出的图像向俯瞰坐标系进行变换(三维坐标变换)，并基于图像上的物体的位置及形状等，来提取在三车道上存在的其他车辆。

控制对象目标捕捉部154在本车辆M执行ACC等驾驶控制的情况下，捕捉由物体过滤器152提取出的其他车辆中的、本车辆M所追随的其他车辆作为目标车辆(追随对象车辆)。追随的其他车辆是指，例如，存在于或将来有可能存在于本车辆M行驶的预定轨道上的前行车辆。控制对象目标捕捉部154例如在本车辆M的车道变更时，捕捉存在于车道变更目的地的车道的前行车辆作为新的目标车辆。

控制对象目标捕捉部154在由于车道变更而切换目标车辆的情况下，设定目标车辆的切换期间中的控制转移比率。图23是用于说明目标车辆的切换期间中的控制转移比率的设定的图。在图23的例子中，设为本车辆M在由能够沿同一方向行进的三车道L1～L3构成的道路中的正中央的车道L1上以速度VM行驶着，且其他车辆m1在本车辆M的前方以速度Vm1行驶、且其他车辆m2在本车道L1的左侧的车道L2上以速度Vm2在本车辆M的前方行驶着。在图23的例子中，设为本车辆M通过ACC等驾驶控制追随其他车辆ml而行驶着。

在该状况下，而且本车辆M从车道L1向车道L2进行车道变更(例如，ALC)的情况下，控制对象目标捕捉部154将追随对象车辆(目标车辆)从其他车辆ml切换为其他车辆m2。例如，控制对象目标捕捉部154在本车辆M从车道L1车道变更到车道L2为止的预定轨道K2上的各位置处，基于所追随的其他车辆ml、m2各自的相对位置、速度等来设定控制转移比率。由此，例如，通过将针对其他车辆m1的行为的控制设为7成、且将针对其他车辆m2的行为的控制设为3成这样的比率，进行速度、转向等控制内容的调整(修正)，由此能够在车道变更时执行成为顺畅的行为的驾驶控制。

需要说明的是，关于上述的控制转移比率的设定，例如为了在本车辆M追随其他车辆m1行驶着的状态下其他车辆m2通过车道变更而进入到本车辆M与其他车辆之间的情况下，也将本车辆M的目标车辆从其他车辆m1切换为其他车辆m2，而在切换期间设定上述的控制转移比率，并执行基于所设定出的比率进行的驾驶控制。

干涉可能性目标提取部156例如将包含本车道和其左右的车道、且从本车辆M的基准位置(例如，前端部或重心)朝向行进方向规定距离以内的区域设定为干涉可能性区域，并提取存在于该区域内的其他车辆作为存在干涉可能性的目标车辆。规定距离既可以是固定距离，也可以基于道路形状、道路类别、本车辆的速度等而设定为可变。干涉可能性目标提取部156可以从左车道、本车道、右车道各自的车道中提取规定数的其他车辆，也可以在三车道中的其他车辆的合计值超过阈值的情况下从距本车辆近的一方提取规定数的其他车辆。而且，干涉可能性目标提取部156在由驾驶控制部160执行着ACC(本车辆M追随前行车辆的追随行驶)的情况下，提取在前行车辆与本车辆M之间从相邻车道进入到(成功插队到)本车道的插队车辆(其他车辆)作为有可能与本车辆M干涉的目标车辆。通过提取有可能干涉的目标车辆，例如能够一边在驾驶控制部160中调整(修正)速度、转向等控制内容以免与该目标车辆接触，一边执行更恰当的驾驶控制。

核定部158基于由控制对象目标捕捉部154捕捉到的目标车辆及由干涉可能性目标提取部156提取出的目标车辆、以及由所属车道判定部148判定出的其他车辆的所属车道的判定结果，来进行将目标车辆作为本车辆M的驾驶控制(速度控制、驾驶控制)的对象是否正确的核定。需要说明的是，目标车辆的各自(例如，其他车辆m1～m3)、以及由所属车道判定部148判定出所属车道的其他车辆的各自(例如，其他车辆m1～m3)例如通过距本车辆M的相对位置、形状、大小等而建立了对应关系。

例如，在作为控制对象目标或干涉可能性目标而提取出的被识别为存在于本车道L1的目标车辆(其他车辆)被所属车道判定部148判定为不属于本车道L1(或存在于本车道以外的其他车道上)的情况下，核定部158设为其不是正确的驾驶控制的对象，并修正由识别部120识别的识别结果。具体而言，核定部158将基于由识别部120识别的识别结果作为目标车辆而被提取出的其他车辆中的不属于本车道L1(或存在于本车道以外的其他车道上)的其他车辆从目标车辆(成为驾驶控制的对象的车辆)中排除。这样，与一边使用三维图像变换等一边识别物体的识别部120相比，二维图像的对象物体的位置的误差少，因此通过使用基于二维图像而进行的其他车辆的所属车道的判定结果(其他车辆的相对横向位置信息)，将驾驶控制中不需要的目标车辆排除，能够抑制进行因误识别导致的过度的速度控制等。需要说明的是，核定部158也可以代替将驾驶控制中不需要的目标车辆排除，而修正排除对象的目标车辆的位置，以便使其与由所属车道判定部148判定出的所属车道一致。

在被识别出存在于本车道L1的目标车辆(其他车辆)被所属车道判定部148判定为属于(存在于)本车道L1的情况下，核定部158设为其是正确的驾驶控制的对象，并输出与作为目标对象的其他车辆相关的信息(目标信息)。

速度控制部162基于由核定部158输出的目标信息，来进行本车辆M的速度控制。例如，速度控制部162例如基于目标信息所包含的目标车辆的状态量(与目标车辆的相对距离、相对速度、目标车间距)等，算出用于相对于追随对象目标而以恰当的车间距离追随的追随目标控制量。速度控制部162基于与目标信息所包含的干涉可能性目标干涉的干涉状态，来调整控制量，以免因本车辆M的加减速而超过预先决定的加速度限度(limit：从车辆传感器40得到的本车辆M的前后加速度的界限值)。速度控制部162关于向本车道L1进行车道变更的其他车辆、在车辆的一部分进入到本车道的状态下行驶的其他车辆(干涉可能性目标的一例)，基于干涉可能性目标的行为(位置、速度)等信息来调整追随控制量。需要说明的是，速度控制部162也可以在存在未能够作为控制对象目标而捕捉到的干涉可能性目标的情况下，根据干涉可能性目标的行为等状态进行调整。而且，速度控制部162基于通过调整等而得到的追随控制量、以及当前的本车辆M的速度控制量，来生成用于使本车辆M行驶的速度曲线(profile)，并基于所生成的速度曲线来执行本车辆M的速度控制。

关于转向控制部164也基于上述的目标信息，来执行ALC、LKAS等驾驶控制，以免与其他车辆接触。

由此，能够对基于例如相对于相机图像的三维图像变换、多个传感器的输出而识别出的物体的由于识别误差引起的对象车辆的位置偏移进行恰当的修正。能够提高追随对象车辆、插队车辆的识别精度。在由所属车道判定部148判定为不存在于本车道的情况下，能够从追随对象车辆、插队车辆中排除而进行抑制，以免产生过度的减速度。由此，能够进行乘员的违和感少的车辆控制。

需要说明的是，HMI控制部170也可以生成能够将作为目标车辆而识别出的其他车辆、以及从目标车辆中排除的其他车辆进行区别的图像，并使HMI30的显示部显示所生成的图像。由此，能够更加准确地向乘员通知驾驶控制的对象车辆。

如以上那样，根据本实施方式，在车辆控制装置中，具备：第二相机(摄像部的一例)20，其拍摄本车辆M的周边；识别部120，其识别本车辆M的周边状况；驾驶控制部160，其基于识别部120的识别结果来控制本车辆M的速度及转向中的一方或双方；以及控制部140，其基于第二相机20的拍摄内容来控制驾驶控制部160，控制部140基于由第二相机20拍摄出的二维图像上的本车辆M的行驶车道的左右的划分线与存在于本车辆M的周边的物体的端部之间的位置关系来判定物体的所属车道，由此能够更加准确地识别图像所包含的物体的位置而进行本车辆的驾驶控制。因此，能够更加提高交通的安全性。

具体而言，根据实施方式，根据由第二相机20拍摄出的二维图像上划分线与物体的端部之间的位置关系来判定所属车道，由此能够抑制在基于由识别部120进行了三维变换后的图像(俯瞰图像)、多个传感器的输出而推定的情况下发生的物体的位置偏移(所属车道的偏移)。根据实施方式，在物体为其他车辆的情况下使端部为接地部位，由此能够提高其他车辆的所属车道的判定精度。根据实施方式，参照分割图像而从边界框的矩形信息中取得作为左右端部的接地部位，由此能够限定在图像上搜索的范围，降低处理成本。根据实施方式，即使在其他车辆跨车道的情况下也能够高精度地识别所属车道。

上述说明的实施方式能够如以下这样表现。

一种车辆控制装置，其构成为具备：

存储装置，其存储有程序；以及

硬件处理器，

通过所述硬件处理器执行存储于所述存储装置的程序来进行如下处理：

利用摄像部拍摄本车辆的周边；

识别所述本车辆的周边状况；

执行基于识别结果来控制所述本车辆的速度及转向中的一方或双方的驾驶控制；

基于所述摄像部的拍摄内容来控制所述驾驶控制；

基于由所述摄像部拍摄出的二维图像上的所述本车辆的行驶车道的左右的划分线与存在于所述本车辆的周边的物体的端部之间的位置关系来判定所述物体的所属车道。

以上使用实施方式说明了本发明的具体实施方式，但本发明丝毫不被这样的实施方式限定，在不脱离本发明的主旨的范围内能够施加各种变形及替换。

Claims (8)

1.一种车辆控制装置，其中，

所述车辆控制装置具备：

摄像部，其拍摄本车辆的周边；

识别部，其识别所述本车辆的周边状况；

驾驶控制部，其基于所述识别部的识别结果来控制所述本车辆的速度及转向中的一方或双方；以及

控制部，其基于所述摄像部的拍摄内容来控制所述驾驶控制部，

所述控制部基于由所述摄像部拍摄出的二维图像上的所述本车辆的行驶车道的左右的划分线与存在于所述本车辆的周边的物体的端部之间的位置关系来判定所述物体的所属车道。

2.根据权利要求1所述的车辆控制装置，其中，

所述控制部在所述物体是车辆的情况下，作为所述端部而取得所述车辆的接地部位。

3.根据权利要求1所述的车辆控制装置，其中，

所述控制部设定将所述二维图像所包含的所述物体包围的区域，并针对设定的所述区域内的物体取得左右的端部。

4.根据权利要求3所述的车辆控制装置，其中，

所述控制部基于从所述左右的划分线观察时的所述物体的左右的端部的相对位置来判定所述所属车道。

5.根据权利要求4所述的车辆控制装置，其中，

所述控制部取得所述二维图像上的从所述左右的端部各自的位置向上下方向规定范围内的所述划分线，并以所取得的划分线与所述左右的端部之间成为最短距离的所述划分线的位置为基准而取得所述相对位置。

6.根据权利要求1所述的车辆控制装置，其中，

所述控制部基于与所述物体的所属车道相关的信息来修正由所述识别部识别出的所述物体的位置，并基于修正后的所述物体的位置来控制所述驾驶控制部。

7.一种车辆控制方法，其中，

所述车辆控制方法使计算机进行如下处理：

利用摄像部拍摄本车辆的周边；

识别所述本车辆的周边状况；

执行基于识别结果来控制所述本车辆的速度及转向中的一方或双方的驾驶控制；

基于所述摄像部的拍摄内容来控制所述驾驶控制；

基于由所述摄像部拍摄出的二维图像上的所述本车辆的行驶车道的左右的划分线与存在于所述本车辆的周边的物体的端部之间的位置关系来判定所述物体的所属车道。

8.一种存储介质，其存储有程序，其中，

所述程序使计算机进行如下处理：

利用摄像部拍摄本车辆的周边；

识别所述本车辆的周边状况；

执行基于识别结果来控制所述本车辆的速度及转向中的一方或双方的驾驶控制；

基于所述摄像部的拍摄内容来控制所述驾驶控制；

基于由所述摄像部拍摄出的二维图像上的所述本车辆的行驶车道的左右的划分线与存在于所述本车辆的周边的物体的端部之间的位置关系来判定所述物体的所属车道。

Images