CN111223315A - 交通引导物识别装置、交通引导物识别方法及存储介质 - Google Patents

交通引导物识别装置、交通引导物识别方法及存储介质 Download PDF

Info

Publication number
CN111223315A
CN111223315A CN201911153982.7A CN201911153982A CN111223315A CN 111223315 A CN111223315 A CN 111223315A CN 201911153982 A CN201911153982 A CN 201911153982A CN 111223315 A CN111223315 A CN 111223315A
Authority
CN
China
Prior art keywords
traffic
vehicle
guide
unit
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911153982.7A
Other languages
English (en)
Other versions
CN111223315B (zh
Inventor
熊野孝保
新冈琢也
小原和马
柳原秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN111223315A publication Critical patent/CN111223315A/zh
Application granted granted Critical
Publication of CN111223315B publication Critical patent/CN111223315B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/095—Traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Abstract

提供能够提高交通引导物的识别精度的交通引导物识别装置、交通引导物识别方法及存储介质。实施方式中的交通引导物识别装置具备：摄像部，其对车辆的周边进行拍摄；以及识别部，其识别所述车辆的周边状况，所述识别部从存在于所述车辆的周边的交通引导物中基于由所述摄像部拍摄到的图像中的交通引导物的形态来选择所述车辆应该遵照的交通引导物。

Description

交通引导物识别装置、交通引导物识别方法及存储介质
技术领域
本发明涉及交通引导物识别装置、交通引导物识别方法及存储介质。
背景技术
以往，已知有如下技术：在车辆的前方的交叉路口存在信号机的情况下，以避免执行不需要的碰撞可能性的判定处理的方式进行控制，或者根据图像数据识别存在于车辆的行驶方向的道路标识的种类，并基于识别到的标识的种类来向乘客进行报告(例如，日本特开2015-76006号公报及日本特开2017-102665号公报)。
然而，有时由于道路不正交的不规则交叉路口、在多车道上分别设置有不同的交通引导物的道路等道路状况导致不能够准确地识别交通引导物。
发明内容
本发明的方案是考虑这样的情况而完成的，其目的之一在于提供能够提高交通引导物的识别精度的交通引导物识别装置、交通引导物识别方法及存储介质。
本发明的交通引导物识别装置、交通引导物识别方法及存储介质采用了以下的结构。
(1)：本发明的一方案的交通引导物识别装置具备：摄像部，其对车辆的周边进行拍摄；以及识别部，其识别所述车辆的周边状况，所述识别部从存在于所述车辆的周边的交通引导物中，基于由所述摄像部拍摄到的图像中的交通引导物的形态来选择所述车辆应该遵照的交通引导物。
(2)：在上述(1)的方案中，所述识别部基于由所述摄像部拍摄到的图像来识别存在于所述车辆的周边的交通引导物，基于识别到的所述交通引导物的形状或特征区域所识别占有的图像区域的纵横比，来导出所述交通引导物的朝向，并基于导出的朝向来选择所述车辆应该遵照的交通引导物。
(3)：在上述(1)或(2)的方案中，所述识别部基于对所述车辆行驶的车道进行划分的划分线所延伸的方向，来导出所述交通引导物的朝向。
(4)：在上述(1)～(3)中任一项的方案中，所述识别部取得所述车辆的周边的地图信息，且根据取得到的地图信息来识别存在于所述车辆的前方的所述交通引导物的朝向，并基于识别到的朝向来选择所述车辆应该遵照的交通引导物。
(5)：在上述(1)～(4)中任一项的方案中，所述识别部在识别到多个交通引导物的情况下，将与所述车辆之间的距离近的交通引导物选择为所述车辆应该遵照的交通引导物。
(6)：在上述(1)～(5)中任一项的方案中，所述交通引导物包括交通信号机，该交通信号机包括发出许可所述车辆行进的颜色的光的第一发光部、以及发出禁止所述车辆行进的颜色的光的第二发光部。
(7)：在上述(6)的方案中，所述识别部基于识别为所述第一发光部所占的图像区域或识别为所述第二发光部所占的图像区域的纵横比，来导出所述交通信号机的朝向，并基于导出的朝向来选择所述车辆应该遵照的交通信号机。
(8)：在上述(6)或(7)的方案中，所述识别部在所述交通信号机的所述第一发光部与所述第二发光部左右排列的情况下，基于识别为所述第一发光部所占的图像区域与识别为所述第二发光部所占的图像区域之间的面积比，来导出所述交通信号机的朝向，并基于导出的朝向来选择所述车辆应该遵照的交通信号机。
(9)：在上述(6)～(8)中任一项的方案中，所述交通信号机还具备罩部，该罩部设置于所述第一发光部及所述第二发光部的上方，且朝向所述第一发光部及所述第二发光部的发光前方突出，所述识别部基于识别为所述第一发光部所占的图像区域或识别为所述第二发光部所占的图像区域的由所述罩部遮蔽的遮蔽程度，来导出所述交通信号机的朝向，并基于导出的朝向来选择所述车辆应该遵照的交通信号机。
(10)：在上述(9)的方案中，所述识别部基于识别为所述第一发光部所占的图像区域或识别为所述第二发光部所占的图像区域的左右的面积比，来导出由所述罩部遮蔽的遮蔽程度。
(11)：本发明的一方案的交通引导物识别方法使计算机进行如下处理：识别车辆的周边状况；以及从存在于所述车辆的周边的交通引导物中，基于由对车辆的周边进行拍摄的摄像部拍摄到的图像中的交通引导物的形态来选择所述车辆应该遵照的交通引导物。
(12)：本发明的一方案的存储介质，其存储有程序，所述程序使计算机进行如下处理：识别车辆的周边状况；以及从存在于所述车辆的周边的交通引导物中，基于由对车辆的周边进行拍摄的摄像部拍摄到的图像中的交通引导物的形态来选择所述车辆应该遵照的交通引导物。
根据上述(1)～(12)的方案，能够提高交通引导物的识别精度。
附图说明
图1是适用了实施方式的物体识别装置的车辆系统的结构图。
图2是第一控制部及第二控制部的功能结构图。
图3是用于说明交通引导物选择部的处理的图。
图4是表示包含由在车道上行驶的车辆的相机拍摄到的信号机在内的图像的一例的图。
图5是表示包含由在车道上行驶的车辆的相机拍摄到的信号机在内的图像的一例的图。
图6是从侧面(图4所示的箭头A方向)观察信号机而得到的图。
图7用于说明导出罩部对发光部的遮蔽程度的情况的图。
图8是表示识别为不具备罩部的信号机的发光部所占的图像区域的一例的图。
图9是用于说明导出信号机相对于车道的方向的情况的图。
图10是用于说明车辆与交通引导物之间的距离的图。
图11是用于说明排列设置有道路引导物的场景下的交通引导物选择部的处理的图。
图12是表示包含由车辆的相机拍摄到的交通标识在内的图像的一例的图(其1)。
图13是表示包含由车辆的相机拍摄到的交通标识在内的图像的一例的图(其2)。
图14是表示由实施方式的交通引导物识别装置执行的处理的流程的流程图。
图15是表示包括实施方式的交通引导物识别装置的一部分在内的驾驶控制装置的硬件结构的一例的图。
具体实施方式
以下，参照附图来说明本发明的交通引导物识别装置、交通引导物识别方法及存储介质的实施方式。在以下，作为一例说明将交通引导物识别装置适用于自动驾驶车辆的实施方式。自动驾驶例如是指控制车辆的转向或加减速中的一方或双方来执行驾驶控制的驾驶。在上述的驾驶控制中例如也包括ACC(Adaptive Cruise Control System)、LKAS(Lane Keeping Assistance System)、CMBS(Collision Mitigation Brake System)等支援乘客的驾驶的控制(驾驶支援功能)。在以下，说明适用左侧通行的法规的情况，但在适用右侧通行的法规的情况下，左右对调阅读即可。
[整体结构]
图1是适用实施方式的物体识别装置的车辆系统1的结构图。搭载有车辆系统1的车辆(以下，称作车辆M)例如是二轮、三轮、四轮等的车辆，其驱动源是柴油发动机、汽油发动机等内燃机、电动机、或者它们的组合。电动机使用由与内燃机连结的发电机发出的发电电力、或者二次电池、燃料电池的放电电力来进行动作。
车辆系统1例如具备相机(摄像部的一例)10、雷达装置12、探测器14、物体识别装置16、通信装置20、HMI(Human Machine Interface)30、车辆传感器40、导航装置50、MPU(Map Positioning Unit)60、驾驶操作件80、驾驶控制装置100、行驶驱动力输出装置200、制动装置210及转向装置220。这些装置、设备通过CAN(Controller Area Network)通信线等多路通信线、串行通信线、无线通信网等而互相连接。图1所示的结构只不过是一例，既可以省略结构的一部分，也可以还追加别的结构。相机10、雷达装置12、探测器14、物体识别装置16及后述的识别部130的组合是“交通引导物识别装置”的一例。
相机10例如是利用了CCD(Charge Coupled Device)、CMOS(Complementary MetalOxide Semiconductor)等固体摄像元件的数码相机。相机10安装于车辆M的任意部位。例如，在对车辆M的前方进行拍摄的情况下，相机10安装于前风窗玻璃上部、车室内后视镜背面等。相机10例如周期性地反复对车辆M的周边进行拍摄。相机10也可以是立体摄影机。
雷达装置12对车辆M的周边放射毫米波等电波，并检测由放射出的范围内包含的物体反射的电波(反射波)来至少检测物体的位置(距离及方位)。雷达装置12安装于车辆M的任意部位。
雷达装置12也可以通过FM-CW(Frequency Modulated Continuous Waye)方式来检测物体的位置及速度。
探测器14是LIDAR(Light Detection and Ranging)。探测器14对车辆M的周边照射光，并测定散射光。探测器14基于从发光到受光的时间，来检测到对象的距离。照射的光例如是脉冲状的激光。探测器14安装于车辆M的任意部位。
物体识别装置16对由相机10、雷达装置12及探测器14中的一部分或全部检测的检测结果进行传感器融合处理，来识别物体的位置、种类、速度等。物体识别装置16将识别结果向驾驶控制装置100输出。
物体识别装置16可以将相机10、雷达装置12及探测器14的检测结果直接向驾驶控制装置100输出。也可以从车辆系统1省略物体识别装置16。相机10除了包括拍摄通常的图像的相机之外，还包括拍摄物体的表面温度的变化的红外线相机。也可以通过相机10所具备的功能来切换为通常的摄像和红外线摄像。
通信装置20例如利用蜂窝网、Wi-Fi网、Bluetooth(注册商标)、DSRC(DedicatedShort Range Communication)等，来与存在于车辆M的周边的其他车辆通信、或者经由无线基地站与各种服务器装置通信。
HMI30对车辆M的乘客提示各种信息，并且接受由乘客进行的输入操作。HMI30包括各种显示装置、扬声器、蜂鸣器、触摸面板、开关、按键、以及设置于车室内的发光装置等。HMI30的结构的一部分也可以设置于驾驶操作件80(例如，转向盘)。
车辆传感器40包括检测车辆M的速度的车速传感器、检测加速度的加速度传感器、检测绕铅垂轴的角速度的横摆角速度传感器、以及检测车辆M的朝向的方位传感器等。加速度例如包括与车辆M的行进方向相关的纵向加速度和相对于车辆M而言的横向的横向加速度中的至少一方。
导航装置50例如具备GNSS(Global Navigation Satellite System)接收机51、导航HMI52及路径决定部53。导航装置50在HDD(Hard Disk Drive)、闪存器等存储装置保持有第一地图信息54。GNSS接收机51基于从GNSS卫星接收到的信号，来确定车辆M的位置。车辆M的位置也可以通过利用了车辆传感器40的输出的INS(Inertial Navigation System)来确定或补充。GNSS接收机51也可以被设置为车辆传感器40。
导航HMI52包括显示装置、扬声器、触摸面板、按键等。导航HMI52也可以与前述的HMI30的一部分或全部共用化。路径决定部53例如参照第一地图信息54来决定从由GNSS接收机51确定出的车辆M的位置(或者被输入的任意的位置)到乘客使用导航HMI52而输入的目的地为止的路径(以下，称作地图上路径)。第一地图信息54例如是由表示道路的线路与由线路连接的节点来表现出道路形状的信息。第一地图信息54也可以包括道路的曲率、POI(Point OfInterest)信息等。地图上路径向MPU60输出。导航装置50也可以基于地图上路径来进行使用了导航HMI52的路径引导。导航装置50例如也可以通过乘客所持有的智能手机、平板终端等终端装置的功能来实现。导航装置50也可以经由通信装置20向导航服务器发送当前位置和目的地，并从导航服务器取得与地图上路径同等的路径。
MPU60例如包括推荐车道决定部61，在HDD、闪存器等存储装置保持有第二地图信息62。推荐车道决定部61将从导航装置50提供的地图上路径分割为多个区段(例如，在车辆行进方向上按每100[m]进行分割)，并参照第二地图信息62来按区段决定推荐车道。推荐车道决定部61进行从左数第几个车道上行驶这样的决定。推荐车道决定部61在地图上路径存在分支部位的情况下，以使车辆M能够在用于向分支目的地行进的合理的路径上行驶的方式决定推荐车道。
第二地图信息62是比第一地图信息54精度高的地图信息。第二地图信息62例如包括车道的中央的信息或者车道的边界信息等。第二地图信息62包括基于道路形状得到的行驶车道的位置、数量、交叉路口的有无、赶超车道的位置、汇合、分支等信息。在第二地图信息62中可以包括交通引导物、道路信息、交通限制信息、住所信息(住所、邮政编码)、设施信息、电话号码信息等。在交通引导物中例如包括交通信号机(以下，称作信号机)、交通标识。在第二地图信息62中也可以包括地图上的绝对坐标中的交通引导物的设置位置、正面的朝向、交通引导物的种类等信息。第二地图信息62可以通过通信装置20与其他装置进行通信而随时被更新。
驾驶操作件80例如包括油门踏板、制动踏板、换挡杆、转向盘、异形方向盘、操纵杆及其他操作件。在驾驶操作件80上安装有检测操作量或者操作的有无的传感器，其检测结果向驾驶控制装置100、或者行驶驱动力输出装置200、制动装置210及转向装置220中的一部分或全部输出。
驾驶控制装置100例如具备第一控制部120、第二控制部160、HMI控制部180及存储部190。除了存储部190之外的各构成要素分别例如通过CPU(Central Processing Unit)等硬件处理器执行程序(软件)来实现。这些构成要素中的一部分或全部既可以通过LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等硬件(包括电路部：circuitry)来实现，也可以通过软件与硬件的协同配合来实现。程序可以预先储存于驾驶控制装置100的存储部190，也可以储存于DVD、CD-ROM等能够装卸的存储介质(非暂时性的存储介质)，并通过将存储介质装配于驱动装置来安装于驾驶控制装置100的存储部190。
图2是第一控制部120及第二控制部160的功能结构图。第一控制部120例如具备识别部130和行动计划生成部140。行动计划生成部140与第二控制部160合起来是“驾驶控制部”的一例。
第一控制部120例如并行实现基于AI(Artificial Intelligence；人工智能)的功能和基于预先赋予的模型的功能。例如，“识别交叉路口”的功能可以通过并行执行基于深度学习等的交叉路口的识别和基于预先赋予的条件(存在能够图案匹配的信号、道路标示等)的识别并对双方评分而综合地评价来实现。由此，确保自动驾驶的可靠性。
识别部130例如基于从相机10、雷达装置12及探测器14经由物体识别装置16而输入的信息，来识别车辆M的周边状况。例如，识别部130识别存在于车辆M的周边的物体的位置、朝向及速度、加速度等状态。在物体中，例如包括行人、其他车辆等移动体、施工部位等障碍物、桥等建筑物、交通引导物等。在此识别到的交通引导物的交通标识中例如包括设置于道路附近的表示交通限制等的标示板、在路面绘制出的暂时停止线(以下，称作停止线)、以及其他的标识等。物体的位置例如被识别为以车辆M的代表点(重心、驱动轴中心等)为原点的相对坐标上的位置，并使用于控制。物体的位置可以由该物体的重心、角部等代表点来表示，也可以由被表现出的区域(例如，外接矩形)来表示。在物体为移动体的情况下，所谓物体的“状态”也可以包括物体的加速度、加加速度、或者“行动状态”(例如是否正在进行车道变更、或者是否正要进行车道变更)。
识别部130也可以基于由相机10拍摄到的图像，来识别由信号机的发光部发出的光源的颜色、道路构造(例如、交叉路口周边的道路状况)、以及其他的道路事项。
识别部130作为车辆M的周边状况，例如识别车辆M正行驶的车道(行驶车道)。例如，识别部130通过将从第二地图信息62得到的道路划分线的图案(例如实线与虚线的排列)与从由相机10拍摄到的图像识别到的车辆M的周边的道路划分线的图案进行比较，来识别行驶车道。识别部130不限于道路划分线识别，也可以通过识别包括道路划分线、路肩、缘石、中央隔离带、护栏等在内的行驶路边界(道边界)，来识别行驶车道。在该识别中，也可以加进从导航装置50取得的车辆M的位置、由INS处理的处理结果。
识别部130在识别行驶车道时，识别车辆M相对于行驶车道的位置、姿态。识别部130例如也可以将车辆M的基准点从车道中央的偏离、以及车辆M的行进方向相对于将车道中央相连的线所成的角度识别为车辆M相对于行驶车道的相对位置及姿态。也可以代替于此，识别部130将车辆M的基准点相对于行驶车道的任意侧端部(道路划分线或道边界)的位置等识别为车辆M相对于行驶车道的相对位置。对识别部130的交通引导物选择部132的功能进行后述。
行动计划生成部140以原则上在由推荐车道决定部61决定出的推荐车道上行驶、且基于由识别部130识别的识别结果能够应对车辆M的周边状况的方式，生成车辆M将来自动地(不依赖于驾驶员的操作地)进行行驶的目标轨道。
目标轨道例如包含有速度要素。例如，目标轨道表现为将车辆M应该到达的地点(轨道点)依次排列而成的轨道。轨道点是按沿途距离计每隔规定的行驶距离(例如几[m]程度)车辆M应该到达的地点，与此不同地，每隔规定的采样时间(例如，零点几[sec]程度)的目标速度及目标加速度作为目标轨道的一部分而生成。轨道点也可以是每隔规定的采样时间的在该采样时刻下的车辆M应该到达的位置。在该情况下，目标速度、目标加速度的信息由轨道点的间隔来表现。行动计划生成部140基于由识别部130识别的识别结果，来生成用于通过更适当的驾驶控制使车辆M行驶的目标轨道。
行动计划生成部140在生成目标轨道时，可以设定自动驾驶的事件。在自动驾驶的事件中具有定速行驶事件、低速追随行驶事件、车道变更事件、分支事件、汇合事件、躲避接触事件等。行动计划生成部140生成与起动了的事件相应的目标轨道。
第二控制部160控制行驶驱动力输出装置200、制动装置210及转向装置220，以使车辆M按照预定的时刻通过由行动计划生成部140生成的目标轨道。
第二控制部160例如具备取得部162、速度控制部164及转向控制部166。取得部162取得由行动计划生成部140生成的目标轨道(轨道点)的信息，并存储于存储器(未图示)。速度控制部164基于在存储器存储的目标轨道所附带的速度要素，来控制行驶驱动力输出装置200或制动装置210。转向控制部166根据存储于存储器的目标轨道的弯曲情况，来控制转向装置220。速度控制部164及转向控制部166的处理例如通过前馈控制与反馈控制的组合来实现。作为一例，转向控制部166将与车辆M的前方的道路的曲率相应的前馈控制、以及基于从目标轨道的偏离进行的反馈控制组合地执行。
返回图1，HMI控制部180通过HMI30来向乘客通知规定的信息。规定的信息例如是指与车辆M的状态相关的信息、与驾驶控制相关的信息等与车辆M的行驶存在关联的信息。与车辆M的状态相关的信息例如是指车辆M的速度、发动机转速、挡位、由车辆M应该遵照的交通引导物引导的内容等。由车辆M应该遵照的交通引导物引导的内容例如是指车辆M应该遵照的信号机的颜色、行进方向的道路的交通标识的内容(例如，进入禁止、单向通行等)。与驾驶控制相关的信息例如是指与ACC、LKAS、CMBS等驾驶支援功能的动作状态、执行了驾驶支援功能的理由相关的信息。在规定的信息中也可以包括电视节目、存储于DVD等存储介质的内容(例如，电影)等与车辆M的行驶无关的信息。HMI控制部180也可以将由HMI30接受到的信息向通信装置20、导航装置50、第一控制部120等输出。
存储部190例如通过ROM(Read Only Memory)、EEPROM(Electrically Erasableand Programmable Read Only Memory)、HDD等非易失性的存储装置和RAM(Random AccessMemory)、寄存器等易失性的存储装置来实现。
在存储部190中例如储存有交通引导物形状信息192及其他各种信息。在交通引导物形状信息192中，例如形状信息与交通引导物建立了对应关系。在交通引导物为信号机的情况下，在形状信息中包括实际上设置的信号机的框体的纵、横、进深等长度、纵横比、信号机所具备的发光部的直径的长度、面积等。在交通引导物为交通标识的情况下，在形状信息中包括标示板的纵、横的长度、在标示板或路面上绘制出的标志、文字、以及标示板的面积。在形状信息中，也可以包括交通引导物的基准形状(例如，圆形、正方形、正三角形等简要形状)的信息。在交通引导物形状信息192中也可以包括与交通引导物建立了对应关系的设置位置信息。交通引导物形状信息192也可以代替预先设定出的形状信息(或除此以外还)，包括通过使用了由相机10在过去拍摄到的图像的深度学习而导出的形状信息。
行驶驱动力输出装置200将用于使车辆行驶的行驶驱动力(转矩)向驱动轮输出。行驶驱动力输出装置200例如具备内燃机、电动机及变速器等的组合、以及控制它们的ECU(Electronic Control Unit)。ECU按照从第二控制部160输入的信息、或者从驾驶操作件80输入的信息，来控制上述的结构。
制动装置210例如具备制动钳、向制动钳传递液压的液压缸、使液压缸产生液压的电动马达、以及制动ECU。制动ECU按照从第二控制部160输入的信息、或者从驾驶操作件80输入的信息来控制电动马达，以使与制动操作相应的制动转矩向各车轮输出。制动装置210可以具备将通过驾驶操作件80所包括的制动踏板的操作而产生的液压经由主液压缸向液压缸传递的机构作为备用。制动装置210不限于上述说明的结构，也可以是按照从第二控制部160输入的信息来控制致动器，而将主液压缸的液压向液压缸传递的电子控制式液压制动装置。
转向装置220例如具备转向ECU和电动马达。
电动马达例如使力作用于齿条-小齿轮机构来变更转向轮的朝向。转向ECU按照从第二控制部160输入的信息、或者从驾驶操作件80输入的信息，来驱动电动马达并使转向轮的朝向变更。
[交通引导物选择部的功能]
交通引导物选择部132例如从存在于车辆M的周边的交通引导物中选择车辆M应该遵照的交通引导物。交通引导物选择部132基于选择出的交通引导物来使行动计划生成部140生成目标轨道。图3是用于说明交通引导物选择部132的处理的图。在图3的例子中，设为车道L1～车道L8连结于交叉路口CR1，车辆M正在车道L1上朝向交叉路口CR1行驶。交叉路口CR1是不规则交叉路口的一例。在不规则交叉路口中例如包括：连结于交叉路口的车道中的至少一部分相对于其他车道不正交(包括允许范围)的交叉路口；以及在从朝向交叉路口行进的车辆观察前方的情况下，有多个车道的交通引导物能够被识别地设置的交叉路口。在图3的例子中，车道L1～L4沿着图中X轴方向延伸，车道L7、L8沿着图中Y轴方向延伸，车道L5、L6是不与车道L1～L4、车道L7、L8正交的车道。
以下，假设本车辆M通过交叉路口CR1而在车道L3上行驶，为了便于说明，作为交通引导物的一例而仅示出信号机TL1～TL3、停止线SL1及人行横道CW1。信号机TL1～TL3例如借助杆、支柱等支承构件等而设置于道边或道路上的规定的高度。信号机TL1对从车道L1进入交叉路口CR1的车辆指示行进许可、停止。信号机TL2对从车道L5进入交叉路口CR1的车辆指示行进许可、停止。信号机TL3对在车道L3上行驶并要通过人行横道CW1的车辆指示行进许可、停止。
交通引导物选择部132基于从相机10、雷达装置12及探测器14经由物体识别装置16而输入的信息，来识别存在于车辆M的前方(行进方向)的交通引导物。例如，交通引导物选择部132基于车辆M在车道L1上行驶中由相机10拍摄到的图像等，在车辆M的前方识别交通引导物，基于识别结果选择车辆M应该遵照的交通引导物。以下，分为各实施例地说明车辆M应该遵照的交通引导物的选择方法。以下，作为交通引导物而主要以信号机为中心进行说明。
<第一实施例>
图4是表示包含由在车道L1上行驶的车辆M的相机10拍摄到的信号机TL1在内的图像IM1的一例的图。图5是表示包含由在车道L1上行驶的车辆M的相机10拍摄到的信号机TL2在内的图像IM2的一例的图。图像IM1及图像IM2是从由相机10拍摄到的车辆M的前方图像中截取信号机TL1及信号机TL2的周边的图像区域而得到的图像。
信号机TL1及信号机TL2例如具备框体HG、发光部(彩灯)LP1～LP3及罩部FD1～FD3。发光部LP1～LP3分别发出不同颜色的光。不同颜色例如是指表示通行许可的颜色(例如，蓝色)、表示停止劝告的颜色(例如，黄色)、表示通行禁止(停止指示)的颜色(例如，红色)。实施方式中的信号机是至少包括发出表示通行许可的颜色的光的发光部(第一发光部)和发出表示通行禁止的颜色的光的发光部(第二发光部)的结构即可。
罩部FD1～FD3分别设置于发光部LP1～LP3的上方。图6是从侧面(图4所示的箭头A方向)观察信号机TL1而得到的图。在从横向观察信号机TL1的情况下，罩部FD1～FD3构成为朝向发光部LP1～LP3的发光前方突出规定的长度。罩部FD1～FD3分别成为以覆盖对应的发光部LP1～LP3的至少上部的方式沿外周弯曲的形状或筒形形状。罩部FD1～FD3通过上述的结构例如抑制太阳光射入发光部LP1～LP3、或抑制因降雪而使雪附着于发光部LP1～LP3，由此提高从正面观察时发光部LP1～LP3的视觉确认性。信号机也可以是不设置罩部的结构。
交通引导物选择部132基于图像IM1及图像IM2所包含的各像素信息(颜色信息、亮度信息等)，通过边缘处理等特征提取处理、图案匹配处理等，来导出识别为信号机TL1及信号机TL2所占的图像区域中的框体HG的形状或外接矩形CR。交通引导物选择部132从导出的框体HG的形状或外接矩形CR取得图像平面坐标系(IX、IY)中的纵向(IX轴方向)的长度和横向(IY轴方向)的长度。交通引导物选择部132也可以根据图像所包含的信号机TL1及信号机TL2的朝向，来取得框体HG的进深的长度(厚度)T1。在图5的例子中，交通引导物选择部132也可以识别信号机TL2的进深的长度T1#。
在图4及图5的例子中，交通引导物选择部132根据图像IM1及图像IM2，导出信号机TL1的相对于框体HG的形状的左右的纵向长度H1L、H1R及横向长度W1、以及信号机TL2的相对于框体HG的形状的左右的纵向长度H1L#、H1R#及横向长度W1。并且，交通引导物选择部132基于从图像取得到的纵向与横向的长度之比(例如，图像纵横比H1L/W1、H1L#/W1#)、以及预先存储于交通引导物形状信息192的信号机TL1及信号机TL2的从正面方向观察到的基准纵横比(例如，纵向长度H0/横向长度W0)，来判定信号机TL1及信号机TL2是否为车辆M应该遵照的信号机。
例如，交通引导物选择部132在图像纵横比与基准纵横比的类似度为阈值以上的情况下，判定为是相对于车辆M的前方而朝向正面(与车辆面对)的信号机，将信号机TL1选择为车辆M应该遵照的信号机。交通引导物选择部132在图像纵横比与基准纵横比的类似度小于阈值的情况下，不将信号机TL1选择为车辆M应该遵照的信号机。在此，信号机TL1相对于车辆M大致朝向正面，因此与基准纵横比的类似度高，信号机TL2相对于车辆M朝向倾斜的方向，因此与基准纵横比的类似度低。因此，交通引导物选择部132将信号机TL1选择为车辆M应该遵照的信号机，不将信号机TL2选择为车辆M应该遵照的信号机。
在第一实施例中，交通引导物选择部132也可以将框体HG的图像区域中的面积与外接矩形CR的图像区域中的面积进行比较，在它们相同或近似的情况(它们的差小于规定值)下，判定为是相对于车辆M的前方而朝向正面的信号机，在它们不相同或近似的情况下，判定为不是相对于车辆M的前方而朝向正面的信号机。这样，根据第一实施例，即使由于不规则交叉路口等而识别到由多个信号机的发光部的颜色的状况下，也能够精度良好地识别车辆M应该遵照的交通引导物。根据第一实施例，通过使用识别为信号机TL1及信号机TL2所占的图像区域中的框体HG的形状或外接矩形CR，能够精度良好地识别信号机TL1及信号机TL2的正面的朝向(方向矢量)。
<第二实施例>
在第二实施例中，交通引导物选择部132代替上述的纵横比的类似度(或者除此以外还)，比较框体HG或外接矩形CR的左右的纵向长度，并基于比较结果来选择车辆M应该遵照的信号机。在该情况下，交通引导物选择部132例如导出识别为信号机TL1所占的图像区域中的框体HG的左右的纵向长度H1L、H1R，在导出的长度H1L、H1R相同或近似的情况(例如，长度之差为规定长度以下的情况)下，判定为信号机TL1朝向正面，在导出的长度H1L、H1R不相同或近似的情况下，判定为信号机TL2不朝向正面。也对图像区域所包含的其他的信号机进行上述的判定。并且，交通引导物选择部132将相对于车辆M而朝向正面的信号机选择为车辆M应该遵照的信号机。这样，根据第二实施例，不像第一实施例那样，与预先存储的基准纵横比进行比较，能够简便地判定信号机是否朝向正面。
<第三实施例>
在第三实施例中，交通引导物选择部132代替以框体HG的形状或外接矩形CR进行比较(或者除此之外还)，在信号机TL1及信号机TL2的各自的发光部LP1～LP3横向(左右)排列的情况下，取得识别为发光部LP1～LP3所占的图像区域中的各自的直径R1～R3、R1#～R3、或者面积S1～S3、S1#～S3#，并通过比较各信号机的彼此的直径或彼此的面积，来选择车辆M应该遵照的信号机。
例如，在从正面方向观察发光部LP1～LP3的情况下，识别为各发光部所占的图像区域成为相同或近似的直径或面积，在从倾斜的方向观察发光部LP1～LP3的情况下，远方比近方小。因此，通过比较各发光部各自的直径或面积，能够更准确地判定信号机是否朝向车辆M的正面。在图4的例子中，信号机TL1的发光部LP1～LP3的直径R1～R3各自的比率或面积S1～S3各自的面积比与1相同或近似。在该情况下，交通引导物选择部132判定为信号机TL1相对于车辆M的前方而朝向正面，并将信号机TL1选择为车辆M应该遵照的信号机。在图5的例子中，信号机TL2的发光部LP1～LP3的直径R1#～R3#或面积S1#～S3#按R3#、R2#、R1#的顺序或按S3#、S2#、S1#的顺序变小，因此各自的长度比、面积比不近似于1。在该情况下，交通引导物选择部132判定为信号机TL2相对于车辆M的前方不朝向正面，不将信号机TL2选择为车辆M应该遵照的信号机。这样，根据第三实施例，通过识别为发光部LP1～LP3所占的图像区域，能够更适当地选择车辆M应该遵照的信号机。
在如图5所示的信号机TL2那样相对于车辆M不朝向正面的情况下，发光部LP1～LP3的一部分被罩部FD1～FD3遮挡。因此，交通引导物选择部132也可以导出发光部LP1～LP3中的罩部FD1～FD3的遮蔽程度，并基于导出的遮蔽程度，来判定信号机是否朝向正面。在遮蔽程度中，例如包括被遮蔽的发光部的图像区域的面积(遮蔽量)、遮蔽方向(在哪个方向上被遮蔽)。
图7是用于说明导出罩部对发光部的遮蔽程度的图。在图7中，示出包括图像IM2所包含的发光部LP1和罩部FD1在内的部分图像。交通引导物选择部132例如取得将识别为发光部LP1所占的图像区域的面积S1#以如下线区分出的左右的面积S1#L及面积S1#R，所述线是通过识别为发光部LP1所占的图像区域的中心并沿垂直方向(图中的IY轴方向)延伸的线。并且，交通引导物选择部132例如基于取得到的面积S1#L与面积S1#R之差，来导出遮蔽程度。例如，如图7所示那样，在面积S1#R比面积S1#L小、且它们的差为阈值以上的情况下，交通引导物选择部132判定为信号机TL2从车辆M的正面观察朝向左侧而不朝向正面。交通引导物选择部132例如也可以通过基于罩部FD1、发光部LP1的标准形状的图案匹配来检测遮蔽程度。通过上述的处理，不仅能够识别到不朝向正面的情况，还能够精度良好地识别到相对于车辆M的正面而朝向哪侧。
在信号机不具备罩部的情况下，交通引导物选择部132也可以判定识别为发光部LP1～LP3所占的图像区域的形状是否为存储于交通引导物形状信息192的基准形状(例如，圆形、正方形、正三角形)，在判定为不是基准形状的情况下，判定为信号机不朝向正面。
图8是表示识别为不具备罩部的信号机的发光部所占的图像区域的一例的图。在图8的例子中，示出识别为发光部LP1的发光部所占的图像区域。在以下的说明中，发光部的实际的形状被设为圆形。例如，交通引导物选择部132导出图像区域中的发光部LP1的纵向(图中的IX轴方向)的长度Rh1和横向(图中IY轴方向)的长度Rw1，在导出的长度Rh1与长度Rw1相同或近似的情况(例如，Rh1与Rw1的差小于规定值的情况)下，判定为发光部LP1是圆形，判定为该信号机朝向正面。交通引导物选择部132在长度Rh1与长度Rw1不相同或不近似的情况下，判定为发光部LP1不是圆形，该信号机不朝向正面。
<第四实施例>
例如，为了在交叉路口CR1进行右转弯或左转弯，而在车道L1内靠向右侧或左侧的情况下，有时车身的朝向相对于车道成为倾斜，其结果是，有可能误认车辆M应该遵照的信号机。于是，在第四实施例中，交通引导物选择部132代替以车辆M的朝向为基准(或者除此之外还)，导出信号机的正面方向的朝向与正交于对车辆M行驶的车道进行划分的划分线的线所成的角度，并基于导出的角度来判定信号机的朝向，由此选择车辆M应该遵照的信号机。
图9是用于说明导出信号机相对于车道的方向的情况的图。
在图9的例子中，示出了车辆M在车道L1上行驶的场景中导出信号机TL1及信号机TL2的朝向的例子。交通引导物选择部132设定对车辆M行驶的车道L1进行划分的左右的划分线LL及划分线CL在延伸方向上延伸的假想线LL#及假想线CL#，并导出与设定出的假想线LL#及假想线CL#正交的线OL相对于信号机的正面方向所成的角度θ。
在图9的例子中，交通引导物选择部132导出信号机TL1及信号机TL2与线OL所成的角度θ1及角度θ2。并且，交通引导物选择部132在导出的各个角度θ1、θ2与90度相同或近似的情况(例如，为80～100度左右的情况)下，判定朝向与车道L1垂直的方向，并选择为车辆M应该遵照的信号机。在角度不近似于90度的情况下，交通引导物选择部132判定为不朝向与车道L1垂直的方向，不选择为车辆M应该遵照的信号机。在图9的例中，作为车辆M应该遵照的信号机而选择信号机TL1。这样，根据第四实施例，能够与车辆M的行为无关地识别信号机的准确的朝向，能够更准确地选择车辆M应该遵照信号机。
<第五实施例>
在第五实施例中，交通引导物选择部132代替划分线(或者除此以外还)，以在路面上绘制出的交通标识等的朝向为基准导出信号机的朝向，并基于导出的结果来选择车辆M应该遵照的信号机。例如，在图9中，停止线SL1在与车道L1的划分线CL正交的方向上绘制得长。因此，根据第五实施例，交通引导物选择部132通过导出停止线SL1延伸得长的方向与信号机的正面方向所成的角度，能够与第四实施例同样地取得信号机相对于车道L1的朝向，基于取得到的朝向，能够更加精度良好地选择车辆M应该遵照的信号机。
<第六实施例>
在第六实施例中，交通引导物选择部132基于由识别部130识别到的车辆M与交通引导物之间的距离，来选择车辆M应该遵照的信号机。图10是用于说明车辆M与交通引导物之间的距离的图。在图10的例子中，示出与图3同样的场景中的车辆M和信号机TL1～TL3。
识别部130例如通过相机10、雷达装置12及探测器14识别存在于车辆M的前方的各个信号机TL1～TL3与车辆M的距离D1～D3。交通引导物选择部132将存在于由识别部130识别到的距离D1～D3中的最短距离D1的信号机TL1选择为车辆M应该遵照的信号机。这样，根据第六实施例，例如，在车辆M的正面方向存在多个信号机(图10所示的信号机TL1及信号机TL3)的情况下，信号机TL3也是车辆M应该遵照的信号机，但通过使其前方的信号机TL1优先，能够执行更适当的驾驶控制。
<第七实施例>
第七实施例是在存在多个能够沿着同一方向行进的车道的情况下分别排列设置有信号机的场景下的实施例。在该情况下，交通引导物选择部132基于从车辆M到信号机的距离或信号机相对于车辆M的正面方向的角度，来选择车辆M应该遵照的交通引导物。
图11是用于说明排列设置有道路引导物的场景下的交通引导物选择部132的处理的图。在图11的例子中，设置有沿着同一方向(图中X轴方向)延伸且能够沿着同一方向行进的两车道L10、L11、以及与各个车道L10、L11建立对应关系地引导车辆的行进许可或停止的信号机TL4及信号机TL5。通过交通引导物选择部132判定为信号机TL4及信号机TL5分别朝向车辆M的正面方向。
在该情况下，交通引导物选择部132导出从车辆M分别到信号机TL4及信号机TL5各自为止的距离D4及距离D5，并将导出的距离D4、D5中的距离短的信号机选择为车辆M应该遵照的信号机。交通引导物选择部132导出车辆M的正面方向与自车辆M起向信号机TL4及信号机TL5的正面方向所成的角度θ4及角度θ5，并将角度小的信号机选择为车辆M应该遵照的信号机。在图11的例子中，距离D4比距离D5短，角度θ4比角度θ5小。因此，交通引导物选择部132将信号机TL4选择为车辆M应该遵照的信号机。交通引导物选择部132既可以使用上述的距离或角度中的一方来选择信号机，也可以使用双方来选择信号机。
<第八实施例>
在第八实施例中，交通引导物选择部132基于车辆M的当前的位置信息，并参照第二地图信息62从车辆M的位置信息的周边的地图信息取得存在于车辆M的行进方向的交通引导物的朝向，并基于取得到的信息来选择车辆M应该遵照的交通引导物。在该情况下，交通引导物选择部132例如基于车辆M的位置信息、朝向信息，来在相机10拍摄到的图像所包含的交通引导物与从第二地图信息取得到的交通引导物之间进行基于特征信息等的匹配。并且，交通引导物选择部132对于匹配的交通引导物取得在第二地图信息62中得到的基于绝对坐标的朝向。这样，根据第八实施例，通过以地图上的绝对坐标为基准而取得交通引导物的设置位置、正面的朝向，能够更准确地取得交通引导物相对于车辆M的朝向，能够更适当地从取得到的朝向选择车辆M应该遵照的交通引导物。
<变形例>
在上述的例子中，作为交通引导物而示出了信号机，但对于交通标识也同样地进行车辆M应该遵照的交通标识的选择。图12、图13是表示包含由车辆M的相机10拍摄到的交通标识在内的图像的一例的图(其1、其2)。图12所示的图像IM3是从由相机10拍摄到的车辆M的前方图像中截取交通标识MK1的周边的图像区域而得到的图像。图13所示的图像IM4是从由相机10拍摄到的车辆M的前方图像中截取交通标识MK2的周边的图像区域而得到的图像。交通标识MK1及交通标识MK2作为一例而示出禁止车辆向其前方的道路进入的标识信息。
交通引导物选择部132识别图像IM3所包含的交通标识MK1及图像IM4所包含的交通标识MK2的大小(例如，直径的长度Rm1、显示板整体的面积Sm1)、以及从交通标识MK1的特征区域(例如，在标示板上绘制出的文字、数值等)得到的信息(例如，在标示板上绘制出的标志的左右的纵向长度Hm1、Hm2、横向长度Wm1)。基于识别到的交通标识MK1及交通标识MK2的大小、从特征区域得到的信息、以及从交通引导物形状信息192得到的信息，来判定交通标识MK1相对于车辆M是否朝向正面。在图12、图13的例子中，交通引导物选择部132判定为交通标识MK1及交通标识MK2中的交通标识MK1相对于车辆M朝向正面，并作为车辆M应该遵照的交通标识而选择交通标识MK1。
交通引导物选择部132通过上述的各实施例，不仅判定交通引导物是否朝向正面，也可以导出交通引导物倾斜多少地朝向车辆M的正面方向。在该情况下，交通引导物选择部132例如根据第一实施例中的图像纵横比与基准纵横比之差的大小、第二实施例中的框体HG或外接矩形CR的左右的纵向长度(例如，H1L、H1R)之差的大小，来导出交通引导物倾斜多少地朝向。交通引导物选择部132也可以根据识别为第三实施例中的发光部LP1～LP3所占的图像区域中的各自的直径R1～R3、或者面积S1～S3的差，来导出交通引导物倾斜多少地朝向。
上述的第一实施例至第八实施例也可以分别组合其他的实施例的一部分或全部。交通引导物选择部132基于车辆M的周边状况、车辆M的行为、由乘客进行的设定等，来执行各实施例中的至少1个实施例所示出的选择方法。上述的各实施例中不仅基于由相机10检测的检测结果来进行交通引导物的识别、选择，也可以还组合由雷达装置12、探测器14检测的检测结果来进行交通引导物的识别、选择。
通过使用多个实施例所示出的选择方法，能够更加精度良好地选择车辆M应该遵照的交通引导物。能够通过选择出的交通引导物而执行更适当的车辆M的驾驶控制(也包括向乘客的驾驶支援)。
例如，在从上述的图3所示的车道L1进入交叉路口CR1时进行右转弯或左转弯的情况下，有时有可能由于车辆M的转弯行为而其他车道的交通引导物存在于车辆M的正面。因此，交通引导物选择部132也可以在车辆M进入交叉路口CR1的情况、或者车辆M的转向角为阈值角度以上的情况(为右转弯或左转弯的行为的情况)下，避免实施上述的交通引导物的选择。由此，在交叉路口附近能够更适当地进行车辆M应该遵照的交通引导物的选择。
[处理流程]
图14是表示由实施方式的交通引导物识别装置执行的处理的流程的流程图。本流程图的处理主要以交通引导物的识别处理为中心进行说明。本流程图的处理可以例如以规定的周期或者规定的时机反复执行。
首先，识别部130识别车辆M的周边状况(步骤S100)。接着，识别部130判定在车辆M的前方是否存在交通引导物(步骤S102)。在判定出在车辆M的前方存在交通引导物的情况下，交通引导物选择部132检测被识别到的交通引导物的朝向(步骤S104)，并判定交通引导物的朝向相对于车辆M的前方方向是否朝向正面(步骤S106)。在判定出朝向正面的情况下，交通引导物选择部132判定朝向正面的交通引导物是否存在多个(步骤S108)。
在判定出朝向正面的交通引导物存在多个的情况下，交通引导物选择部132将距车辆M的距离最短的交通引导物选择为车辆M应该遵照的交通引导物(步骤S110)。在判定出朝向正面的交通引导物不存在多个情况下，将判定出朝向正面的1个交通引导物选择为车辆M应该遵照的交通引导物(步骤S112)。由此，本流程图的处理结束。在步骤S102的处理中，在判定出在车辆M的前方不存在交通引导物的情况、或者在步骤S106的处理中判定出交通引导物的朝向相对于车辆M的行进方向不朝向正面的情况下，结束处理。
根据上述的实施方式，能够提高交通引导物的识别精度。因此，能够更适当地选择车辆M应该遵照的交通引导物。根据上述的实施方式，能够利用选择出的交通引导物实现更适当的驾驶控制。
[硬件结构]
图15是表示包括实施方式的交通引导物识别装置的一部分在内的驾驶控制装置100的硬件结构的一例的图。如图所示，驾驶控制装置100的计算机构成为通信控制器100-1、CPU100-2、作为工作存储器而使用的RAM100-3、储存引导程序等的ROM100-4、闪存器、HDD等存储装置100-5、驱动装置100-6等通过内部总线或者专用通信线而相互连接。通信控制器100-1与驾驶控制装置100以外的构成要素进行通信。在存储装置100-5中储存有供CPU100-2执行的程序100-5a。该程序通过DMA(Direct Memory Access)控制器(未图示)等向RAM100-3展开，并由CPU100-2执行。由此，实现驾驶控制装置100的各结构中的一部分或全部。
上述说明的实施方式能够如以下这样表现。
一种交通引导物识别装置，其构成为具备：
存储有程序的存储装置；
对车辆的周边进行拍摄的摄像部；以及
硬件处理器，
所述硬件处理器通过执行存储于所述存储装置的程序来进行如下处理：
识别所述车辆的周边状况；以及
从存在于所述车辆的周边的交通引导物中，基于由所述摄像部拍摄到的图像中的交通引导物的形态来选择所述车辆应该遵照的交通引导物。
以上使用实施方式说明了本发明的具体实施方式，但本发明丝毫不被这样的实施方式限定，在不脱离本发明的主旨的范围内能够施加各种变形及替换。

Claims (12)

1.一种交通引导物识别装置，其中，
所述交通引导物识别装置具备：
摄像部，其对车辆的周边进行拍摄；以及
识别部，其识别所述车辆的周边状况，
所述识别部从存在于所述车辆的周边的交通引导物中，基于由所述摄像部拍摄到的图像中的交通引导物的形态来选择所述车辆应该遵照的交通引导物。
2.根据权利要求1所述的交通引导物识别装置，其中，
所述识别部基于由所述摄像部拍摄到的图像来识别存在于所述车辆的周边的交通引导物，基于识别到的所述交通引导物的形状或特征区域所识别占有的图像区域的纵横比，来导出所述交通引导物的朝向，并基于导出的朝向来选择所述车辆应该遵照的交通引导物。
3.根据权利要求1或2所述的交通引导物识别装置，其中，
所述识别部基于对所述车辆行驶的车道进行划分的划分线所延伸的方向，来导出所述交通引导物的朝向。
4.根据权利要求1至3中任一项所述的交通引导物识别装置，其中，
所述识别部取得所述车辆的周边的地图信息，且根据取得到的地图信息来识别存在于所述车辆的前方的所述交通引导物的朝向，并基于识别到的朝向来选择所述车辆应该遵照的交通引导物。
5.根据权利要求1至4中任一项所述的交通引导物识别装置，其中，
所述识别部在识别到多个交通引导物的情况下，将与所述车辆之间的距离近的交通引导物选择为所述车辆应该遵照的交通引导物。
6.根据权利要求1至5中任一项所述的交通引导物识别装置，其中，
所述交通引导物包括交通信号机，该交通信号机包括发出许可所述车辆行进的颜色的光的第一发光部、以及发出禁止所述车辆行进的颜色的光的第二发光部。
7.根据权利要求6所述的交通引导物识别装置，其中，
所述识别部基于识别为所述第一发光部所占的图像区域或识别为所述第二发光部所占的图像区域的纵横比，来导出所述交通信号机的朝向，并基于导出的朝向来选择所述车辆应该遵照的交通信号机。
8.根据权利要求6或7所述的交通引导物识别装置，其中，
所述识别部在所述交通信号机的所述第一发光部与所述第二发光部左右排列的情况下，基于识别为所述第一发光部所占的图像区域与识别为所述第二发光部所占的图像区域之间的面积比，来导出所述交通信号机的朝向，并基于导出的朝向来选择所述车辆应该遵照的交通信号机。
9.根据权利要求6至8中任一项所述的交通引导物识别装置，其中，
所述交通信号机还具备罩部，该罩部设置于所述第一发光部及所述第二发光部的上方，且朝向所述第一发光部及所述第二发光部的发光前方突出，
所述识别部基于识别为所述第一发光部所占的图像区域或识别为所述第二发光部所占的图像区域的由所述罩部遮蔽的遮蔽程度，来导出所述交通信号机的朝向，并基于导出的朝向来选择所述车辆应该遵照的交通信号机。
10.根据权利要求9所述的记载的交通引导物识别装置，其中，
所述识别部基于识别为所述第一发光部所占的图像区域或识别为所述第二发光部所占的图像区域的左右的面积比，来导出由所述罩部遮蔽的遮蔽程度。
11.一种交通引导物识别方法，其中，
所述交通引导物识别方法使计算机进行如下处理：
识别车辆的周边状况；以及
从存在于所述车辆的周边的交通引导物中，基于由对车辆的周边进行拍摄的摄像部拍摄到的图像中的交通引导物的形态来选择所述车辆应该遵照的交通引导物。
12.一种存储介质，其中，
所述存储介质存储有程序，
所述程序使计算机进行如下处理：
识别车辆的周边状况；以及
从存在于所述车辆的周边的交通引导物中，基于由对车辆的周边进行拍摄的摄像部拍摄到的图像中的交通引导物的形态来选择所述车辆应该遵照的交通引导物。
CN201911153982.7A 2018-11-27 2019-11-21 交通引导物识别装置、交通引导物识别方法及存储介质 Active CN111223315B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-221038 2018-11-27
JP2018221038A JP6843819B2 (ja) 2018-11-27 2018-11-27 交通案内物認識装置、交通案内物認識方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN111223315A true CN111223315A (zh) 2020-06-02
CN111223315B CN111223315B (zh) 2022-08-05

Family

ID=70771502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911153982.7A Active CN111223315B (zh) 2018-11-27 2019-11-21 交通引导物识别装置、交通引导物识别方法及存储介质

Country Status (3)

Country Link
US (1) US11157751B2 (zh)
JP (1) JP6843819B2 (zh)
CN (1) CN111223315B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114973644A (zh) * 2021-02-24 2022-08-30 本田技研工业株式会社 道路信息生成装置
CN116659540A (zh) * 2023-08-01 2023-08-29 西安博康硕达网络科技有限公司 一种在自动驾驶过程中的交通护栏识别方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7264031B2 (ja) * 2019-12-09 2023-04-25 トヨタ自動車株式会社 制御装置
US11427193B2 (en) 2020-01-22 2022-08-30 Nodar Inc. Methods and systems for providing depth maps with confidence estimates
KR20230104298A (ko) 2020-01-22 2023-07-07 노다르 인크. 비-강성 스테레오 비전 카메라 시스템
JP7318614B2 (ja) * 2020-09-07 2023-08-01 トヨタ自動車株式会社 情報処理装置、情報処理方法、及び路面標示システム
KR20220036604A (ko) * 2020-09-16 2022-03-23 현대자동차주식회사 차량 및 그 제어 방법
CN113793523B (zh) * 2021-08-06 2023-01-13 华为技术有限公司 一种指挥交通的方法、装置、车载设备及车辆
US11577748B1 (en) 2021-10-08 2023-02-14 Nodar Inc. Real-time perception system for small objects at long range for autonomous vehicles
WO2023244252A1 (en) 2022-06-14 2023-12-21 Nodar Inc. 3d vision system with automatically calibrated stereo vision sensors and lidar sensor

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007034693A (ja) * 2005-07-27 2007-02-08 Denso Corp 安全運転支援装置
CN105074794A (zh) * 2013-04-04 2015-11-18 日产自动车株式会社 信号识别装置
US20160318490A1 (en) * 2015-04-28 2016-11-03 Mobileye Vision Technologies Ltd. Systems and methods for causing a vehicle response based on traffic light detection
US20170270378A1 (en) * 2016-03-16 2017-09-21 Haike Guan Recognition device, recognition method of object, and computer-readable recording medium

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015076006A (ja) 2013-10-10 2015-04-20 スズキ株式会社 運転支援装置
JP6464783B2 (ja) * 2015-02-04 2019-02-06 株式会社デンソー 物体検出装置
JP6468173B2 (ja) 2015-12-01 2019-02-13 株式会社デンソー 運転支援装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007034693A (ja) * 2005-07-27 2007-02-08 Denso Corp 安全運転支援装置
CN105074794A (zh) * 2013-04-04 2015-11-18 日产自动车株式会社 信号识别装置
US20160318490A1 (en) * 2015-04-28 2016-11-03 Mobileye Vision Technologies Ltd. Systems and methods for causing a vehicle response based on traffic light detection
US20170270378A1 (en) * 2016-03-16 2017-09-21 Haike Guan Recognition device, recognition method of object, and computer-readable recording medium

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114973644A (zh) * 2021-02-24 2022-08-30 本田技研工业株式会社 道路信息生成装置
CN114973644B (zh) * 2021-02-24 2024-03-15 本田技研工业株式会社 道路信息生成装置
CN116659540A (zh) * 2023-08-01 2023-08-29 西安博康硕达网络科技有限公司 一种在自动驾驶过程中的交通护栏识别方法
CN116659540B (zh) * 2023-08-01 2023-10-27 西安博康硕达网络科技有限公司 一种在自动驾驶过程中的交通护栏识别方法

Also Published As

Publication number Publication date
CN111223315B (zh) 2022-08-05
JP2020086986A (ja) 2020-06-04
US11157751B2 (en) 2021-10-26
US20200167574A1 (en) 2020-05-28
JP6843819B2 (ja) 2021-03-17

Similar Documents

Publication Publication Date Title
CN111223315B (zh) 交通引导物识别装置、交通引导物识别方法及存储介质
CN110895417B (zh) 车辆控制装置、车辆控制方法及存储介质
CN110531755B (zh) 车辆控制装置、车辆控制方法及存储介质
CN111133489B (zh) 车辆控制装置、车辆控制方法及存储介质
US11352009B2 (en) Vehicle control apparatus, vehicle control method, and program
CN110060467B (zh) 车辆控制装置
CN111762113A (zh) 车辆控制装置、车辆控制方法及存储介质
CN110341704B (zh) 车辆控制装置、车辆控制方法及存储介质
CN111273651B (zh) 车辆控制装置、车辆控制方法及存储介质
CN111731256B (zh) 驾驶支援装置、驾驶支援方法及存储介质
CN109624973B (zh) 车辆控制装置、车辆控制方法及存储介质
US11701967B2 (en) Display control device, display control method, and storage medium
US10854083B2 (en) Vehicle control device, vehicle control method, and storage medium
CN112622908A (zh) 车辆控制装置、车辆控制方法及存储介质
CN112208532A (zh) 车辆控制装置、车辆控制方法及存储介质
CN114954509A (zh) 判定装置、车辆控制装置、判定方法以及存储介质
US11117571B2 (en) Vehicle control device, vehicle control method, and storage medium
CN111824142B (zh) 显示控制装置、显示控制方法及存储介质
CN110194153B (zh) 车辆控制装置、车辆控制方法及存储介质
CN109559540B (zh) 周边监视装置、周边监视方法及存储介质
CN111731281A (zh) 车辆控制装置、车辆控制方法及存储介质
CN113479204B (zh) 车辆控制装置、车辆控制方法及存储介质
CN113525378B (zh) 车辆控制装置、车辆控制方法及存储介质
JP7028838B2 (ja) 周辺認識装置、周辺認識方法、およびプログラム
CN111717201B (zh) 车辆系统、车辆系统的控制方法及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant