CN114312826B - 自动驾驶系统 - Google Patents

自动驾驶系统 Download PDF

Info

Publication number
CN114312826B
CN114312826B CN202111085350.9A CN202111085350A CN114312826B CN 114312826 B CN114312826 B CN 114312826B CN 202111085350 A CN202111085350 A CN 202111085350A CN 114312826 B CN114312826 B CN 114312826B
Authority
CN
China
Prior art keywords
vehicle
driver
condition
lane
lane change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111085350.9A
Other languages
English (en)
Other versions
CN114312826A (zh
Inventor
津川优太郎
原健一郎
友末和宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN114312826A publication Critical patent/CN114312826A/zh
Application granted granted Critical
Publication of CN114312826B publication Critical patent/CN114312826B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/10—Number of lanes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

自动驾驶系统(1)具备：摄像头(3)，拍摄车辆(10)的驾驶员的面部而生成驾驶员的面部图像；车辆检测装置(2)，检测其他车辆；视点检测部(84)，检测驾驶员的面部朝向或视线的角度；判定部(85)，判定驾驶员是否确认了车辆周围的安全；及车辆控制部(86)，控制车辆的自主行驶。车辆控制部在判定为驾驶员确认了车辆周围的安全且驾驶员认可变道时开始车辆的变道。判定部当没有在移动目标车道上检测到其他车辆时，在满足第1条件的情况下判定为驾驶员确认了车辆周围的安全，当在移动目标车道上检测到其他车辆时，在满足比第1条件严格的第2条件的情况下判定为驾驶员确认了车辆周围的安全。能提高通过自主行驶进行变道时的安全性。

Description

自动驾驶系统
技术领域
本发明涉及自动驾驶系统。
背景技术
近年来，开发了能够通过自主行驶进行变道(车道变更)的自动驾驶车辆。在这样的自动驾驶车辆中，使用能够检测周围其他车辆的传感器，确认移动目标车道(目的车道)的状况。
与此相关地，在专利文献1中记载有：当没有由传感器检测到其他车辆时，由于存在传感器发生故障的可能性，因此变道时的安全性降低。因此，在专利文献1所述的驾驶控制装置中，当没有在移动目标车道上检测到其他车辆的情况下，检测由驾驶员进行的安全确认，并在由驾驶员按下变道的开始按钮时进行变道。另一方面，当在移动目标车道上检测到其他车辆的情况下，不检测由驾驶员进行的安全确认而进行变道。
现有技术文献
专利文献1：日本特开2017-100562号公报
发明内容
发明所要解决的问题
然而，即使由传感器检测到了其他车辆，也有可能由于其他车辆的意外的举动等而导致变道时的安全性降低。
鉴于上述问题，本发明的目的在于，提高通过自主行驶进行变道时的安全性。
用于解决问题的技术方案
本公开的主旨如下。
(1)一种自动驾驶系统，具备：车内摄像头(camera)，其拍摄车辆驾驶员的面部(人脸)而生成该驾驶员的面部图像；车辆检测装置，其检测所述车辆周围存在的其他车辆；视点检测部，其基于所述面部图像检测所述驾驶员的面部朝向或视线的角度；判定部，其基于所述角度判定所述驾驶员是否确认了所述车辆周围的安全；以及车辆控制部，其控制所述车辆的自主行驶，所述车辆控制部在所述判定部判定为所述驾驶员确认了所述车辆周围的安全并且所述驾驶员认可(批准、赞同)变道时开始进行所述车辆的变道，所述判定部在没有由所述车辆检测装置在移动目标车道上检测到其他车辆时，在满足第1条件的情况下判定为所述驾驶员确认了所述车辆周围的安全，在由所述车辆检测装置在所述车道上检测到其他车辆时，在满足比所述第1条件严格的第2条件的情况下判定为所述驾驶员确认了所述车辆周围的安全。
(2)根据上述(1)所述的自动驾驶系统，所述其他车辆是在所述车辆的侧后方行驶的其他车辆。
(3)根据上述(1)或(2)所述的自动驾驶系统，所述第1条件是所述驾驶员进行一个动作，所述第2条件是所述驾驶员进行多个动作。
(4)根据上述(1)或(2)所述的自动驾驶系统，在所述车辆正在行驶的车道是被合流车道的情况下，所述第1条件和所述第2条件包括所述驾驶员观察与所述被合流车道合流的合流车道的方向。
(5)根据上述(1)至(4)中任一项所述的自动驾驶系统，所述第1条件是所述驾驶员进行预定动作，所述第2条件是所述驾驶员进行所述预定动作和追加动作。
发明效果
根据本发明，能够提高通过自主行驶进行变道时的安全性。
附图说明
图1是概略地表示本发明的实施方式涉及的自动驾驶系统的构成的图。
图2是概略地表示搭载自动驾驶系统的车辆内部的图。
图3是ECU的处理器的功能框图。
图4是表示在被合流车道上行驶的车辆的图。
图5是表示请求标志(flag)设定处理的控制例程的流程图。
图6是表示变道处理的控制例程的流程图。
标号说明
1自动驾驶系统；2车辆检测装置；3车内摄像头；8电子控制单元(ECU)；10车辆；83处理器；84视点检测部；85判定部；86车辆控制部。
具体实施方式
以下，参照附图对本发明的实施方式进行详细说明。此外，在以下的说明中，对同样的构成要素附加同一标号。
＜自动驾驶系统的构成＞
图1是概略地表示本发明的实施方式涉及的自动驾驶系统1的构成的图。自动驾驶系统1搭载于车辆，进行车辆的自主行驶。在车辆的自主行驶中，自动执行车辆的加速、转向和制动的一部分或全部。
如图1所示，自动驾驶系统1具备车辆检测装置2、车内摄像头3、GPS(全球定位系统)接收机4、地图数据库5、致动器(actuator)6、HMI(人机接口)7以及电子控制单元(ECU)8。车辆检测装置2、车内摄像头3、GPS接收机4、地图数据库5、致动器6以及HMI7设置于车辆，经由遵照CAN(Controller Area Network，控制器域网)等标准的车内网络与ECU8可通信地连接。
车辆检测装置2检测车辆(本车辆)周围的其他车辆。在本实施方式中，车辆检测装置2由车外摄像头、激光雷达(LIDAR：Laser Imaging Detection And Ranging)、毫米波雷达或超声波传感器(声纳)、或者它们的任意组合构成。车外摄像头拍摄车辆周围而生成预定范围的图像。激光雷达向车辆周围照射激光，并接收激光的反射光。毫米波雷达向车辆周围发送毫米波，并接收毫米波的反射波。超声波传感器向车辆周围发送超声波，并接收超声波的反射波。车辆检测装置2的输出被发送到ECU8。
图2是概略地表示搭载自动驾驶系统1的车辆10的内部的图。车内摄像头3拍摄车辆驾驶员的面部而生成驾驶员的面部图像。即，车内摄像头3是所谓的驾驶员监视摄像头(driver monitor camera)。
车内摄像头3设置在车辆10的内部。具体而言，如图2所示，车内摄像头3设置在车辆10的转向柱11的上部。在图2中，用虚线表示了车内摄像头3的投影范围。此外，车内摄像头3也可以设置于车辆10的转向盘(steering)12、车内后视镜、仪表盘、仪表罩等。另外，自动驾驶系统1也可以具备多个车内摄像头3。
车内摄像头3包括摄像头和投光器(泛光灯)。摄像头由透镜和拍摄元件构成，例如为CMOS(互补金属氧化物半导体)摄像头或者CCD(电荷耦合器件)摄像头。投光器是LED(发光二极管)，例如是配置在摄像头两侧的两个近红外LED。通过对驾驶员照射近红外光，即使在夜间等低照度时，也能够拍摄驾驶员的面部而不会使驾驶员感到不悦。另外，在摄像头的内部设置去除近红外以外的波长成分的光的带通滤波器(band pass filter)，在投光器的前面设置去除从近红外LED照射的红色波长成分的光的可见光截止滤波器(light cutfilter)。车内摄像头3的输出被发送到ECU8。
GPS接收机4从3个以上的GPS卫星接收信号，检测车辆10的当前位置(例如，车辆10的纬度和经度)。GPS接收机4的输出被发送到ECU8。
地图数据库5存储地图信息。存储于地图数据库5的地图信息使用与车辆10外部的通信、SLAM(Simultaneous Localization and Mapping，同时定位与地图构建)技术等来更新。ECU8从地图数据库5取得地图信息。地图信息例如在制作到由驾驶员输入的目的地的行驶计划时被使用。
致动器6使车辆10动作。例如，致动器6包括用于车辆10的加速的驱动装置(发送机和马达中的至少一方)、用于车辆10的制动的刹车致动器、用于车辆10的转向的转向马达等。ECU8控制致动器6。
HMI7是在驾驶员与车辆10之间进行信息的输入输出的输入输出装置。HMI7例如包括显示信息的显示器、发出声音的扬声器、用于驾驶员进行输入操作的操作按钮或者触摸屏、接收驾驶员的语音的麦克风等。ECU8的输出经由HMI7传达给驾驶员，来自驾驶员的输入经由HMI7发送到ECU8。
ECU8执行车辆10的各种控制。如图1所示，ECU8具备通信接口(I/F)81、存储器82以及处理器83。通信接口81以及存储器82经由信号线连接于处理器83。此外，在本实施方式中，设置有一个ECU8，但也可以按功能设置有多个ECU。
通信接口81具有用于将ECU8与车内网络连接的接口电路。即，通信接口81经由车内网络与车辆检测装置2、车内摄像头3、GPS接收机4、地图数据库5、致动器6以及HMI7连接。
存储器82例如具有易失性的半导体存储器以及非易失性的半导体存储器。存储器82存储在由处理器83执行各种处理时使用的程序、数据等。
处理器83具有一个或多个CPU(Central Processing Unit，中央处理单元)及其外围电路。此外，处理器83也可以还具有逻辑运算单元或者数值运算单元这样的运算电路。
图3是ECU8的处理器83的功能框图。在本实施方式中，处理器83具有视点检测部84、判定部85以及车辆控制部86。视点检测部84、判定部85以及车辆控制部86分别是通过处理器83执行存储于存储器82的程序而实现的功能模块。此外，视点检测部84、判定部85以及车辆控制部86也可以分别是设置于处理器83的专用的运算电路。
视点检测部84基于由车内摄像头3生成的面部图像检测驾驶员的面部朝向或者视线的角度。判定部85基于驾驶员的面部朝向或者视线的角度，判定驾驶员是否确认了车辆10周围的安全。
视点检测部84例如通过进行由车内摄像头3生成的驾驶员的面部图像与驾驶员朝向正面时的面部形状数据的匹配来检测驾驶员的面部朝向的角度。具体而言，视点检测部84使驾驶员的面部图像旋转以使得两者的一致率成为最大，并检测一致率成为最大时的旋转角度作为驾驶员的面部朝向的角度。面部形状数据预先存储于ECU8的存储器82或者其他存储装置。面部形状数据既可以是一般人的面部的数据，也可以按每个驾驶员来取得。
此外，视点检测部84也可以通过进行由车内摄像头3生成的驾驶员的面部图像与驾驶员的面部朝向不同的多个面部形状数据的匹配来检测驾驶员的面部朝向的角度。在该情况下，视点检测部84检测两者的一致率成为最大的面部形状数据的面部朝向作为驾驶员的面部朝向的角度。多个面部形状数据预先存储于ECU8的存储器82或者其他存储装置。多个面部形状数据既可以是一般人的面部的数据，也可以按每个驾驶员来取得。
另外，视点检测部84例如利用以下的方法检测驾驶员的视线的角度。首先，视点检测部84从由车内摄像头3生成的驾驶员的面部图像中确定面部区域，并通过提取眼、鼻、口等面部器官的特征点来检测面部器官。接下来，视点检测部84检测普尔钦斑(Purkinjeimage)(角膜反射像)的位置和瞳孔中心的位置，基于普尔钦斑与瞳孔中心的位置关系检测驾驶员的视线的角度。此外，视点检测部84也可以基于普尔钦斑与瞳孔中心的位置关系、和检测出的驾驶员的面部朝向的角度来检测驾驶员的视线的角度。
另外，视点检测部84也可以利用其他的公知方法检测驾驶员的面部朝向或者视线的角度。
车辆控制部86控制车辆10的自主行驶。例如，车辆控制部86通过使用致动器6控制车辆10的转向和加速从而进行车辆10的变道。此时，车辆控制部86进行车辆10的变道以使得避免与由车辆检测装置2检测到的其他车辆的碰撞。
然而，为了提高变道时的安全性，优选不仅仅依靠车辆检测装置2，而要由驾驶员本身进行安全确认。另外，为了避免进行与驾驶员的意思相反的变道，优选预先得到驾驶员的认可。
因此，车辆控制部86在判定部85判定为驾驶员确认了车辆10周围的安全并且驾驶员认可变道时开始进行车辆10的变道。另一方面，车辆控制部86在判定部85判定为驾驶员没有确认车辆10周围的安全时或者驾驶员没有认可变道时中止车辆10的变道。
另外，变道时的危险度根据移动目标车道的状况而不同。在移动目标车道上存在其他车辆的情况下，与移动目标车道上不存在其他车辆的情况下相比，需要更慎重的安全确认。
因此，判定部85在没有由车辆检测装置2在移动目标车道上检测到其他车辆时，在满足第1条件的情况下判定为驾驶员确定了车辆10周围的安全，在由车辆检测装置2在移动目标车道上检测到其他车辆时，在满足比第1条件严格的第2条件的情况下判定为驾驶员确认了车辆10周围的安全。由此，由于基于与危险度相应的适当的基准判定安全确认的有无，因此能够提高通过自主行驶进行变道时的安全性。
第1条件和第2条件被预先确定。例如，第1条件是驾驶员进行一个动作，第2条件是驾驶员进行多个动作。在该情况下，第1条件的具体例为，驾驶员将面部朝向或者视线从正面转向变道的方向(第1动作)、驾驶员观察变道的方向预定时间(第2动作)、或者驾驶员观察车辆10的车内后视镜预定时间(第3动作)。另一方面，第2条件的具体例为，驾驶员在观察变道的方向预定时间后观察正面(第4动作)、驾驶员将面部朝向或者视线从正面转向变道的方向两次以上(第5动作)、驾驶员进行第1动作和第3动作、或者驾驶员进行第2动作和第3动作。预先确定与正面、变道的方向(右或左)以及车内后视镜的方向相当的面部朝向或者视线的角度。
此外，第1条件是驾驶员进行预定的动作，第2条件是驾驶员进行上述预定的动作以及追加的动作。在该情况下，例如，第1条件是驾驶员进行第1动作，第2条件是驾驶员进行第5动作。另外也可以为，第1条件是驾驶员进行第2动作，第2条件是驾驶员进行第4动作。另外也可以为，第1条件是驾驶员进行第3动作，第2条件是驾驶员进行第1动作和第3动作或者驾驶员进行第2动作和第3动作。
另外，在如图4所示的车辆10正在行驶的车道是被合流车道的情况下，第1条件以及第2条件也可以除了上述的条件之外还包括驾驶员观察与被合流车道合流的合流车道的方向。由此，能够进一步提高在如图4所示的状况下进行变道时的安全性。
＜请求标志设定处理＞
以下，参照图5以及图6的流程图，对用于通过自主行驶进行变道的控制进行详细说明。图5是表示请求标志设定处理的控制例程的流程图。本控制例程由ECU8按预定的时间间隔反复执行。在本控制例程中，根据变道请求，设定请求标志F。
首先，在步骤S101中，车辆控制部86判定车辆10是否需要进行变道。变道包括用于超车的变道、用于合流的变道、用于分流的变道、用于避撞的变道(例如在高速道路上的被合流等)等。
车辆控制部86例如在前车相对于车辆10的相对速度为预定值以下时判定为需要进行用于超车的变道。前车的相对速度能够由车辆检测装置2检测。另外，车辆控制部86例如在到合流地点或者分流地点的距离或者到达时间为预定值以下时判定为需要进行用于合流或者分流的变道。到合流地点或者分流地点的距离或者到达时间基于GPS接收机4的输出、存储于地图数据库5的地图信息等来计算。另外，车辆控制部86例如基于车辆检测装置2以及GPS接收机4的输出、存储于地图数据库5的地图信息等，预测到与向车辆10的行驶车道合流的其他车辆的碰撞时判定为需要进行用于避撞的变道。
在步骤S101中判定为车辆10不需要进行变道的情况下，本控制例程进入步骤S102。在步骤S102中，车辆控制部86判定驾驶员是否指示了进行变道。例如，驾驶员通过由操作或者语音对HMI7的输入、转向信号杆的操作等指示进行变道，基于它们的检测信号，判定驾驶员是否指示了进行变道。在步骤S102中判定为驾驶员没有指示进行变道的情况下，本控制例程结束。
另一方面，在步骤S101中判定为车辆10需要进行变道的情况下或者在步骤S102中判定为驾驶员指示了进行变道的情况下，本控制例程进入步骤S103。在步骤S103中，车辆控制部86经由HMI7将变道的实施通知给驾驶员。此时，HMI7也可以通过显示(文字等)或者语音促使驾驶员进行安全确认。
接下来，在步骤S104中，车辆控制部86将请求标志F设定为1。此外，在车辆10的点火开关接通(ON)时的请求标志F的初始值为零。在步骤S104之后，本控制例程结束。
＜变道处理＞
图6是表示变道处理的控制例程的流程图。本控制例程由ECU8反复执行。
首先，在步骤S201中，判定部85判定请求标志F是否为1。在判定为请求标志F是零的情况下，本控制例程结束。另一方面，在判定为请求标志F是1的情况下，本控制例程进入步骤S202。
在步骤S202中，判定部85判定是否由车辆检测装置2在移动目标车道上检测到了其他车辆。在判定为没有检测到其他车辆的情况下，本控制例程进入步骤S203。在步骤S203中，判定部85判定在预定时间以内是否满足第1条件。
另一方面，在步骤S202中判定为检测到了其他车辆的情况下，本控制例程进入步骤S204。在步骤S204中，判定部85判定在预定时间以内是否满足第2条件。
在步骤S203中判定为满足第1条件的情况下或者在步骤S204中判定为满足第2条件的情况下，本控制例程进入步骤S205。在步骤S205中，车辆控制部86判定在预定时间以内驾驶员是否认可变道。例如，驾驶员通过由操作或者语音对HMI7的输入、对转向盘12的接触、转向盘12的操作、对预定位置的注视等来认可变道，基于它们的检测信号，判定驾驶员是否认可变道。
在步骤S205中判定为驾驶员认可变道的情况下，本控制例程进入步骤S206。在步骤S206中，车辆控制部86开始进行变道。
另一方面，在步骤S203中判定为不满足第1条件的情况下、或者在步骤S204中判定为不满足第2条件的情况下、或者在步骤S205中判定为驾驶员不认可变道的情况下，本控制例程进入步骤S207。在步骤S207中，车辆控制部86中止变道。
在步骤S206或者步骤S207之后，本控制例程进入步骤S208。在步骤S208中，车辆控制部86将请求标志F重置为零。在步骤S208之后，本控制例程结束。
另外，在变道时，在移动目标车道上存在于车辆10的侧后方的其他车辆有可能接近车辆10。即，存在于车辆10的侧后方的其他车辆的危险度高。因此，在步骤S202中，判定部85也可以判定是否由车辆检测装置2检测到在移动目标车道上行驶于车辆10的侧后方的其他车辆。在该情况下，由于仅在危险度特别高的状况下强加用于安全确认的严格条件，因此能够一边确保车辆10的安全一边顺畅地进行自主行驶的变道。
以上，说明了本发明涉及的优选的实施方式，但本发明并非限定于这些实施方式，可以在权利要求书的记载内施加各种修正和变更。例如，ECU8也可以具有GPU(GraphicsProcessing Unit，图形处理单元)。

Claims (5)

1.一种自动驾驶系统，具备：
车内摄像头，其拍摄车辆驾驶员的面部而生成该驾驶员的面部图像；
车辆检测装置，其检测所述车辆周围存在的其他车辆；
视点检测部，其基于所述面部图像检测所述驾驶员的面部朝向或视线的角度；
判定部，其基于所述角度判定所述驾驶员是否确认了所述车辆周围的安全；以及
车辆控制部，其控制所述车辆的自主行驶，
所述车辆控制部在所述判定部判定为所述驾驶员确认了所述车辆周围的安全并且所述驾驶员认可变道时开始进行所述车辆的变道，
所述判定部在没有由所述车辆检测装置在移动目标车道上检测到其他车辆时，在满足第1条件的情况下判定为所述驾驶员确认了所述车辆周围的安全，在由所述车辆检测装置在所述车道上检测到其他车辆时，在满足比所述第1条件严格的第2条件的情况下判定为所述驾驶员确认了所述车辆周围的安全。
2.根据权利要求1所述的自动驾驶系统，
所述其他车辆是在所述车辆的侧后方行驶的其他车辆。
3.根据权利要求1或2所述的自动驾驶系统，
所述第1条件是所述驾驶员进行一个动作，所述第2条件是所述驾驶员进行多个动作。
4.根据权利要求1或2所述的自动驾驶系统，
在所述车辆正在行驶的车道是被合流车道的情况下，所述第1条件和所述第2条件包括所述驾驶员观察与所述被合流车道合流的合流车道的方向。
5.根据权利要求1或2所述的自动驾驶系统，
所述第1条件是所述驾驶员进行预定动作，所述第2条件是所述驾驶员进行所述预定动作和追加动作。
CN202111085350.9A 2020-09-24 2021-09-16 自动驾驶系统 Active CN114312826B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-159621 2020-09-24
JP2020159621A JP7272338B2 (ja) 2020-09-24 2020-09-24 自動運転システム

Publications (2)

Publication Number Publication Date
CN114312826A CN114312826A (zh) 2022-04-12
CN114312826B true CN114312826B (zh) 2023-12-12

Family

ID=80740002

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111085350.9A Active CN114312826B (zh) 2020-09-24 2021-09-16 自动驾驶系统

Country Status (3)

Country Link
US (1) US11834073B2 (zh)
JP (1) JP7272338B2 (zh)
CN (1) CN114312826B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022152694A (ja) * 2021-03-29 2022-10-12 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101356078A (zh) * 2005-12-12 2009-01-28 松下电器产业株式会社 安全行驶辅助装置
JP2009294753A (ja) * 2008-06-03 2009-12-17 Toyota Motor Corp 画像処理装置および画像処理方法
JP2012247871A (ja) * 2011-05-25 2012-12-13 Fujitsu Ltd 運転技術判別装置および運転技術判別プログラム
JP2015011457A (ja) * 2013-06-27 2015-01-19 株式会社デンソー 車両用情報提供装置
JP2017100562A (ja) * 2015-12-02 2017-06-08 株式会社デンソーアイティーラボラトリ 運転制御装置、運転制御方法及びプログラム
CN108604416A (zh) * 2016-03-11 2018-09-28 三菱电机株式会社 车载装置、警报输出方法以及警报输出程序
CN109795499A (zh) * 2017-11-15 2019-05-24 欧姆龙株式会社 旁视判定装置及方法、驾驶支援系统及计算机可读介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7839292B2 (en) * 2007-04-11 2010-11-23 Nec Laboratories America, Inc. Real-time driving danger level prediction
JP5354514B2 (ja) * 2008-03-31 2013-11-27 現代自動車株式会社 脇見運転検出警報システム
JP6617534B2 (ja) * 2015-11-30 2019-12-11 株式会社デンソー 運転支援装置
JP2017151694A (ja) 2016-02-24 2017-08-31 株式会社デンソー 安全確認診断システム及び安全確認診断方法
US11046247B1 (en) * 2018-01-10 2021-06-29 North Carolina A&T State University System and method for predicting effects of forward glance durations on latent hazard detection
EP3915046A4 (en) * 2019-01-22 2022-11-02 Adam Cogtech Ltd. DETECTION OF THE COGNITIVE STATE OF A DRIVER
US11235776B2 (en) * 2019-01-31 2022-02-01 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for controlling a vehicle based on driver engagement

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101356078A (zh) * 2005-12-12 2009-01-28 松下电器产业株式会社 安全行驶辅助装置
JP2009294753A (ja) * 2008-06-03 2009-12-17 Toyota Motor Corp 画像処理装置および画像処理方法
JP2012247871A (ja) * 2011-05-25 2012-12-13 Fujitsu Ltd 運転技術判別装置および運転技術判別プログラム
JP2015011457A (ja) * 2013-06-27 2015-01-19 株式会社デンソー 車両用情報提供装置
JP2017100562A (ja) * 2015-12-02 2017-06-08 株式会社デンソーアイティーラボラトリ 運転制御装置、運転制御方法及びプログラム
CN108604416A (zh) * 2016-03-11 2018-09-28 三菱电机株式会社 车载装置、警报输出方法以及警报输出程序
CN109795499A (zh) * 2017-11-15 2019-05-24 欧姆龙株式会社 旁视判定装置及方法、驾驶支援系统及计算机可读介质

Also Published As

Publication number Publication date
CN114312826A (zh) 2022-04-12
US20220089188A1 (en) 2022-03-24
US11834073B2 (en) 2023-12-05
JP2022053040A (ja) 2022-04-05
JP7272338B2 (ja) 2023-05-12

Similar Documents

Publication Publication Date Title
JP7249914B2 (ja) 走行制御装置及び車載システム
US11673569B2 (en) Alert control apparatus and alert control method
CN109758167B (zh) 驾驶员状态检测装置
CN111361552B (zh) 自动驾驶系统
US9896129B2 (en) Driving assistant system of vehicle and method for controlling the same
US20180354517A1 (en) Driving assistance apparatus
JP4134891B2 (ja) 衝突可能性判定装置
JP2018180594A (ja) 走行支援装置
US20180329415A1 (en) Driver monitoring apparatus and driver monitoring method
US20190073546A1 (en) Driver state recognition apparatus, driver state recognition system, and driver state recognition method
JP2019001314A (ja) 走行支援装置及び制御プログラム
CN111762161B (zh) 车辆的控制系统和车辆
CN114312826B (zh) 自动驾驶系统
US20210179082A1 (en) Driving assistance system and control method thereof
JP2023179568A (ja) 車両の表示システム
US11480970B2 (en) Vehicle control system
JP7140154B2 (ja) 車両制御装置
KR20200082457A (ko) A d a s 알람 출력 제어 방법 및 장치
CN115454037A (zh) 车辆远程操作装置、车辆远程操作系统、车辆远程操作方法以及车辆远程操作程序
JP7302311B2 (ja) 車両用表示制御装置、車両用表示制御方法、車両用表示制御プログラム
KR102175793B1 (ko) 인지 장애 경고 방법 및 장치
US11654923B2 (en) Act-of-looking-aside determination device
US20220319201A1 (en) Act-of-looking-aside determination device
US12012117B2 (en) Travel controller, method for travel control, and non-transitory computer-readable medium containing computer program for travel control
US20220237899A1 (en) Outside environment recognition device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant