CN116353625A - 行驶控制装置以及行驶控制方法 - Google Patents

行驶控制装置以及行驶控制方法 Download PDF

Info

Publication number
CN116353625A
CN116353625A CN202211675483.6A CN202211675483A CN116353625A CN 116353625 A CN116353625 A CN 116353625A CN 202211675483 A CN202211675483 A CN 202211675483A CN 116353625 A CN116353625 A CN 116353625A
Authority
CN
China
Prior art keywords
condition
detected
vehicle
driver
travel control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211675483.6A
Other languages
English (en)
Inventor
堀内佑树
光森卓
山西雄士
武田友希
石原昌弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Aisin Co Ltd
Original Assignee
Toyota Motor Corp
Aisin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp, Aisin Co Ltd filed Critical Toyota Motor Corp
Publication of CN116353625A publication Critical patent/CN116353625A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0013—Planning or execution of driving tasks specially adapted for occupant comfort
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

提供能够对车辆的行驶进行控制以使得驾驶员不会感到不安的行驶控制装置以及行驶控制方法。行驶控制装置从表示了能够通过满足预定的安全基准的自动驾驶控制进行行驶的车辆的周边的周边图像检测一个以上的物体，从表示了车辆的驾驶员的面部区域的面部图像检测驾驶员的视线方向，确定一个以上的物体中的处于驾驶员的视线方向上的物体，在车辆的行驶期间中检测到由驾驶员进行的用于躲避危险的危险躲避操作时，将所确定的物体与表示检测到所确定的物体时的状况的状况条件相关联地存储于存储部，在车辆基于自动驾驶控制的行驶期间中检测到存储于存储部的物体、且检测到物体时的状况满足状况条件时，对预定的安全基准进行变更以使得驾驶员感觉更安全。

Description

行驶控制装置以及行驶控制方法
技术领域
本公开涉及自动地对车辆的行驶进行控制的行驶控制装置以及行驶控制方法。
背景技术
已知一种行驶控制装置，其基于由搭载于车辆的摄像头生成的周边图像来自动地对车辆的行驶进行控制。行驶控制装置从周边图像检测车辆周围的物体，对车辆的行驶进行控制以使得不与周围的物体发生碰撞。
专利文献1记载了一种数据处理系统，其基于自主行驶车以手动驾驶模式驾驶时所收集到的驾驶统计信息来决定用户的驾驶行动和喜好，基于用户的驾驶行动和喜好来生成用户的驾驶配置文件。通过专利文献1的技术在路线选择、车道变更这样的驾驶场景中生成的驾驶配置文件被使用于相似的驾驶场景中的自主行驶车的行驶控制。
现有技术文献
专利文献1：日本特开2018－101400号公报
发明内容
发明要解决的技术问题
即使在某驾驶场景中确认了驾驶员采取预定的驾驶行动的倾向，驾驶员是否会一定关注该驾驶场景来采取了该驾驶行动并不明确。例如考虑在确认了在没有信号的交叉路口慢行的驾驶行动的情况下，驾驶员并不是关注交叉路口本身、而是关注存在于交叉路口附近的行人来进行慢行。在这样的情况下，例如在虽然不是交叉路口、但却存在好像要横穿道路的行人的场所中行驶之际，当不慢行时，驾驶员会感到不安，不可以说一定是适当的行驶控制。
本公开的目的在于提供能够对车辆的行驶进行控制以使得驾驶员不会感到不安的行驶控制装置。
用于解决问题的技术方案
本公开涉及的行驶控制装置具备：物体检测部，其从周边图像检测一个以上的物体，该周边图像表示了能够通过满足预定的安全基准的自动驾驶控制进行行驶的车辆的周边；视线检测部，其从面部图像检测驾驶员的视线方向，该面部图像表示了车辆的驾驶员的面部区域；确定部，其确定一个以上的物体中的、处于驾驶员的视线方向上的物体；条件存储部，其在车辆的行驶期间中检测到由驾驶员进行的用于躲避危险的危险躲避操作的情况下，将所确定的物体与状况条件相关联地存储于存储部，该状况条件表示检测到所确定的物体时的状况；以及基准变更部，其在车辆基于自动驾驶控制的行驶期间中检测到存储于存储部的物体、且检测到物体时的状况满足状况条件的情况下，对预定的安全基准进行变更以使得驾驶员感觉更安全。
在本公开涉及的行驶控制装置中，优选状况条件包括所确定的物体的、至少距车辆的距离。
本公开涉及的行驶控制装置优选还具备条件学习部，条件学习部基于与存储于存储部的物体中的任一物体相关联地在不同的时刻所存储的多个状况条件，制作表示在检测到该物体时危险躲避操作被检测到的状况的学习状况条件，基准变更部在检测到物体时的状况满足学习状况条件的情况下，判定为检测到物体时的状况满足状况条件。
在本公开涉及的行驶控制装置中，条件存储部还存储在车辆的行驶期间中检测到物体时的状况满足了状况条件的情况下危险躲避操作被检测到的比例，条件学习部制作学习状况条件，以使得危险躲避操作被检测到的比例大的状况条件一方比危险躲避操作被检测到的比例小的状况条件优先。
本公开涉及的行驶控制方法包括：从周边图像检测一个以上的物体，所述周边图像表示了能够通过满足预定的安全基准的自动驾驶控制进行行驶的车辆的周边；从面部图像检测驾驶员的视线方向，所述面部图像表示了车辆的驾驶员的面部区域；确定一个以上的物体中的、处于驾驶员的视线方向上的物体；在车辆的行驶期间中检测到由驾驶员进行的用于躲避危险的危险躲避操作的情况下，将所确定的物体与状况条件相关联地存储于存储部，所述状况条件表示检测到所确定的物体时的状况；以及在车辆基于自动驾驶控制的行驶期间中检测到存储于存储部的物体、且检测到物体时的状况满足状况条件的情况下，对预定的安全基准进行变更以使得驾驶员感觉更安全。
根据本公开涉及的行驶控制装置，能够对车辆的行驶进行控制以使得驾驶员不会感到不安。
附图说明
图1是安装有行驶控制装置的车辆的概略构成图。
图2是行驶控制装置的硬件示意图。
图3是行驶控制装置具有的处理器的功能框图。
图4是对处于视线方向上的物体的确定进行说明的图。
图5是表示状况表的例子的图。
图6是第1行驶控制处理的流程图。
图7是第2行驶控制处理的流程图。
标号说明
1 车辆
4 行驶控制装置
431 物体检测部
432 视线检测部
433 确定部
434 条件存储部
435 条件学习部
436 基准变更部
具体实施方式
以下，参照附图对行驶控制装置进行详细的说明，该行驶控制装置能够对车辆的行驶进行控制，以使得驾驶员不会感到不安。行驶控制装置从表示了能够通过满足车速、与周边物体的间隔这样的预定的安全基准的自动驾驶控制进行行驶的车辆的周边的周边图像检测一个以上的物体，从表示了车辆的驾驶员的面部区域的面部图像检测驾驶员的视线方向。行驶控制装置确定一个以上的物体中的、处于驾驶员的视线方向上的物体。另外，行驶控制装置在车辆的行驶期间中检测到由驾驶员进行的用于躲避危险的危险躲避操作的情况下，将所确定的物体与表示检测到所确定的物体时的状况的状况条件相关联地存储于存储部。并且，行驶控制装置在车辆基于自动驾驶控制的行驶期间中检测到存储于存储部的物体、且检测到物体时的状况满足状况条件的情况下，对预定的安全基准进行变更以使得驾驶员感觉更安全。
图1是安装有行驶控制装置的车辆的概略构成图。
车辆1具有周边摄像头2、驾驶员监控摄像头3以及行驶控制装置4。周边摄像头2以及驾驶员监控摄像头3和行驶控制装置4经由遵循了控制器局域网络这样的标准的车内网络而以能够通信的方式相连接。
周边摄像头2是用于生成周边图像的周边拍摄部的一个例子，周边图像是表示了车辆的周边的图像。周边摄像头2具有二维检测器和成像光学系统，该二维检测器由CCD或者C-MOS等的对可见光具有灵敏度的光电变换元件的阵列构成，该成像光学系在该二维检测器上成像成为拍摄对象的区域的像。周边摄像头2例如在车室内的前方上部朝向前方配置，按预定的拍摄周期(例如1/30秒～1/10秒)而经由前玻璃拍摄车辆1周边的状况，输出表示了周边的状况的周边图像。
驾驶员监控摄像头3是用于生成表示车辆的驾驶员的面部区域的面部图像的驾驶员拍摄部的一个例子。驾驶员监控摄像头3具有二维检测器和成像光学系，该二维检测器由CCD或者C-MOS等的对红外光具有灵敏度的光电变换元件的阵列构成，该成像光学系在该二维检测器上成像成为拍摄对象的区域的像。另外，驾驶员监控摄像头3具有发出红外光的光源。驾驶员监控摄像头3例如在车室内的前方朝向就坐于驾驶员座椅的驾驶员的面部来进行安装。驾驶员监控摄像头3按预定的拍摄周期(例如1/30秒～1/10秒)而对驾驶员照射红外光，输出显现了驾驶员的面部的图像。
行驶控制装置4是具有通信接口、存储器以及处理器的ECU(Electronic ControlUnit，电子控制单元)。行驶控制装置4对车辆1的发动机、制动器、转向这样的行驶机构(未图示)输出控制信号，执行车辆1的自动驾驶控制，以使得满足预定的安全基准。另外，行驶控制装置4根据经由通信接口而从周边摄像头2接收的周边图像和从驾驶员监控摄像头3接收的面部图像来检测处于驾驶员的视线方向上的物体，存储检测到物体时的状况。并且，行驶控制装置4基于从周边图像检测到物体时的状况，对车辆1的自动驾驶控制中的安全基准进行变更。
图2是行驶控制装置4的硬件示意图。行驶控制装置4具备通信接口41、存储器42以及处理器43。
通信接口41是通信部的一个例子，具有用于向车内网络连接行驶控制装置4的通信接口电路。通信接口41对处理器43提供所接收到的数据。另外，通信接口41向外部输出从处理器43提供的数据。
存储器42是存储部的一个例子，具有易失性的半导体存储器和非易失性的半导体存储器。存储器42保存在由处理器43进行的处理中使用的各种数据、例如用于对神经网络进行规定的参数组、在自动驾驶控制中使用的安全基准、关联了所检测到的物体和检测到物体时的状况的状况表等，所述神经网络作为从周边图像检测物体的物体识别器来进行工作。另外，存储器42存储各种应用程序、例如执行行驶控制处理的行驶控制程序等。
处理器43是控制部的一个例子，具有一个以上的处理器及其外围电路。处理器43也可以还具有逻辑运算单元、数值运算单元或者图形处理单元这样的其他运算电路。
图3是行驶控制装置4具有的处理器43的功能框图。
行驶控制装置4的处理器43具有物体检测部431、视线检测部432、确定部433、条件存储部434、条件学习部435以及基准变更部436来作为功能块。处理器43具有的这些各部是通过在处理器43上执行的程序来安装的功能模块。或者，处理器43具有的这些各部也可以作为独立的集成电路、微处理器或者固件来安装于行驶控制装置4。
物体检测部431通过将经由通信接口而从周边摄像头2接收的周边图像输入到预先被进行了学习以检测物体的物体识别器，从而检测车辆1周边的物体。
物体识别器例如可以设为具有从输入侧向输出侧串联连接的多个卷积层的卷积神经网络(CNN)。通过预先将包含物体的图像用作教师数据来输入到CNN并进行学习，CNN作为从图像检测物体的物体识别器来进行工作。
视线检测部432从面部图像检测驾驶员的视线方向，该面部图像是经由通信接口而从驾驶员监控摄像头3接收的。视线方向由车辆1的行进方向与驾驶员的视线之间的水平方向的角度来表示。
视线检测部432通过对被预先进行了学习以检测瞳孔和光源的角膜反射的位置的视线识别器输入面部图像，从而检测面部图像所包含的驾驶员的眼睛中的瞳孔和角膜反射的位置。并且，视线检测部432基于瞳孔与角膜反射的位置关系来检测视线方向。
视线识别器例如可以设为具有从输入侧向输出侧串联连接的多个卷积层的卷积神经网络(CNN)。通过预先将包含瞳孔和角膜反射的面部图像用作教师数据来输入到CNN并进行学习，CNN作为确定瞳孔和角膜反射的位置的视线识别器来进行工作。
确定部433确定从周边图像检测到的一个以上的物体中的、处于驾驶员的视线方向上的物体。
图4是对处于视线方向上的物体的确定进行说明的图。
在图4的例子中，从表示车辆1的前方的周边图像检测出物体O1(行人)、O2(行人)、O3(其他车辆)以及车道区划线L1、L2、L3。另外，从面部图像检测出视线方向DR1。视线方向DR1是相对于行进方向DR0呈角度α的方向。确定部433将从车辆1的位置起处于与视线方向DR1对应的位置的物体O2(行人)确定为处于驾驶员的视线方向的物体。
条件存储部434在车辆1行驶期间中检测到由驾驶员进行的危险躲避操作的情况下，与由确定部433确定的物体关联地，使对检测到所确定的物体时的状况进行表示的状况条件存储于存储器42。
危险躲避操作是指为了躲避危险而驾驶员对车辆1进行的操作。危险躲避操作例如可以是车辆1通过手动驾驶控制进行行驶期间中的驾驶员用于减速或者停止的制动踏板的踏下、用于躲避与物体的接近的方向盘的转动等。另外，危险躲避操作可以是车辆1通过自动驾驶控制行驶期间中的驾驶员的用于表示危险躲避意思的制动踏板的踏下、方向盘的转动、危险躲避意思表示按钮的按下这样的操作。条件存储部434通过经由通信接口41从连接在车内网络的制动踏板、方向盘、危险躲避意思表示按钮这样的操作部接收操作信号，从而检测危险躲避操作。
状况条件至少包括物体距车辆的距离、例如从车辆到物体为止的行进方向上的距离(纵向距离)或者横向上的距离(横向距离)。另外，状况条件也可以包括物体朝向的方向、道路环境(有无人行道与车道的台阶、车道数等)、车辆的速度、加速度、到物体为止的车辆的到达时间等。
在图4的例子中，条件存储部434将到所确定的物体O2(行人)为止的纵向距离D1、横向距离D2、表示物体O2(行人)朝向的方向DR2是否为朝向自车的信息以及物体O2(行人)相关联来使之存储于存储器42。
图5是表示状况表的例子的图。
在状况表421中，所检测到的物体和检测到物体时的状况被相关联地进行存储。例如在时刻T1，在驾驶员的视线方向上检测到行人，检测到驾驶员的危险躲避操作，分别存储表示作为此时的状况条件的纵向距离、横向距离、朝向本车的值。另外，在与时刻T1不同的时刻T2，在驾驶员的视线方向上检测到行人时的纵向距离满足时刻T1的纵向距离的状况条件，分别存储表示作为此时的状况条件的纵向距离、横向距离、朝向本车的值。另外，在时刻T3，在驾驶员的视线方向上检测到车辆，分别存储表示作为此时的状况条件的纵向距离、横向距离、正行驶的道路的车道数、车辆1的车速值。
此外，状况表421关联物体和状况即可，不限定于如图5所示那样的表形式的数据管理方式。
条件学习部435基于与存储于存储器42的物体中的任一个物体关联而在不同的时刻所存储的多个状况条件，制作表示在检测到该物体时危险躲避操作被检测到的状况的学习状况条件。
此时，条件学习部435优选制作学习状况条件，以使得危险躲避操作被检测到的比例大的状况条件一方比危险躲避操作被检测到的比例小的状况条件优先。
在图5所示的状况表421的例子中，在行人的朝向本车为“是”的时刻T1、T4、T5，在时刻T1和T5检测出危险躲避操作，在时刻T4未检测出危险躲避操作(检测出的比例为67％)。另一方面，在行人的朝向本车为“否”时(时刻T2)，未检测出危险躲避操作(检测出的比例为0％)。因此，条件学习部435关于检测到行人来作为物体的情况下的朝向本车，制作学习状况条件以使得危险躲避操作被检测到的比例大的“是”的状况条件比危险躲避操作被检测到的比例小的“否”的状况条件优先。
另外，在状况表421的例子中，在与行人的纵向距离为20(m)的时刻T1、T2中，在时刻T1检测出危险躲避操作，在时刻T2未检测出危险躲避操作(检测出的比例为50％)。在与行人的纵向距离为30(m)的时刻T4，未检测出危险躲避操作(检测出的比例为0％)。在与行人的纵向距离为15(m)的时刻T5，检测出危险躲避操作(检测出的比例为100％)。因此，条件学习部435关于与行人的纵向距离，制作学习状况条件以使得危险躲避操作被检测到的比例大的状况条件(例如15(m))比危险躲避操作被检测到的比例小的状况条件(例如30(m))优先。学习状况条件例如被作为“与行人的纵向距离为20(m)以下”这样的条件式来进行制作。
条件学习部435也可以通过对识别器进行学习来制作学习状况条件，该识别器对检测到存储于状况表421的物体时的状况是否为驾驶员的危险躲避操作被检测到的状况进行分类。
识别器可以设为SVM(Support Vector Machine，支持向量机)。条件学习部435通过将相关联地存储于存储器42的物体和状况条件输入到SVM来使之进行学习，从而制作学习状况条件。
另外，识别器也可以为神经网络。条件学习部435通过将相关联地存储于存储器42的物体和状况条件输入到神经网络并使之进行学习，从而制作学习状况条件。
基准变更部436在车辆1基于自动驾驶控制行驶期间中，在检测到存储于存储器42的物体、且检测到物体时的状况满足状况条件的情况下，对预定的安全基准进行变更以使得驾驶员感觉更安全。
例如，在车辆1通过自动驾驶控制进行行驶期间中检测到行人、与行人的纵向距离为20(m)、横向距离为4(m)、且行人的朝向本车为“是”的情况下，检测到物体时的状况满足检测到危险躲避操作的时刻T1的状况条件。此时，基准变更部436对预定的安全基准进行变更以使得驾驶员感觉更安全。
在安全基准为车速的情况下，基准变更部436将车速变低以使得驾驶员感觉更安全。另外，在安全基准为与周边物体的间隔的情况下，基准变更部436将间隔变大以使得驾驶员感觉更安全。
在检测到物体时的状况满足通过条件学习部435制作的学习状况条件的情况下，基准变更部436判定为检测到物体时的状况满足状况条件。例如设为制作“与行人的纵向距离为20(m)以下、与行人的横向距离为4(m)以下、行人的朝向本车为‘是’”的学习状况条件。在与所检测到的行人的纵向距离为18(m)、与该行人的横向距离为3.5(m)、该行人的朝向本车为“是”的情况下，检测到物体时的状况满足学习状况条件，因此，基准变更部436可以判定为检测到物体时的状况满足状况条件。
图6是第1行驶控制处理的流程图。行驶控制装置4在车辆1行驶的期间中，以预定的时间间隔(例如1/10秒间隔)反复执行第1行驶控制处理。
首先，行驶控制装置4的物体检测部431从通过周边摄像头2生成的周边图像检测一个以上的物体(步骤S11)。另外，行驶控制装置4的视线检测部432从通过驾驶员监控摄像头3生成的面部图像检测车辆1的驾驶员的视线方向(步骤S12)。
接着，行驶控制装置4的确定部433确定所检测到的一个以上的物体中的、处于驾驶员的视线方向上的物体(步骤S13)。
行驶控制装置4的条件存储部434判定是否检测到由驾驶员进行的危险躲避操作(步骤S14)。在检测到危险躲避操作的情况下(步骤S14：是)，条件存储部434将所确定的物体与表示检测到所确定的物体时的状况的状况条件相关联地存储于存储器42(步骤S15)，结束第1行驶控制处理。
在未检测到危险躲避操作的情况下(步骤S14：否)，条件存储部434结束第1行驶控制处理。
图7是第2行驶控制处理的流程图。行驶控制装置4在车辆1通过自动驾驶控制行驶的期间，以预定的时间间隔(例如1/10秒间隔)反复执行第2行驶控制处理。
首先，行驶控制装置4的物体检测部431从通过周边摄像头2生成的周边图像检测一个以上的物体(步骤S21)。
接着，行驶控制装置4的基准变更部436判定所检测到的物体是否为存储于存储器42的状况表421的物体(步骤S22)。在判定为所检测到的物体不为存储于状况表421的物体的情况下(步骤S22：否)，基准变更部436结束第2行驶控制处理。
另外，行驶控制装置的基准变更部436判定检测到物体时的状况是否满足状况条件(步骤S23)。在判定为检测到物体时的状况不满足状况条件的情况下(步骤S23：否)，基准变更部436结束第2行驶控制处理。
在判定为检测到物体时的状况满足状况条件的情况下(步骤S23：是)，基准变更部436对预定的安全基准进行变更以使得驾驶员感觉更安全(步骤S24)，结束第2行驶控制处理。
通过这样执行第1行驶控制处理和第2行驶控制处理，行驶控制装置4能够对车辆的行驶进行控制以使得驾驶员不会感到不安。
希望理解的是，本领域技术人员可以不脱离本公开的精神和范围地对其加以各种变更、置换以及修正。

Claims (5)

1.一种行驶控制装置，具备：
物体检测部，其从周边图像检测一个以上的物体，所述周边图像表示了能够通过满足预定的安全基准的自动驾驶控制进行行驶的车辆的周边；
视线检测部，其从面部图像检测所述驾驶员的视线方向，所述面部图像表示了所述车辆的驾驶员的面部区域；
确定部，其确定所述一个以上的物体中的、处于所述驾驶员的视线方向上的物体；
条件存储部，其在所述车辆的行驶期间中检测到由所述驾驶员进行的用于躲避危险的危险躲避操作的情况下，将所述确定的物体与状况条件相关联地存储于存储部，所述状况条件表示检测到所述确定的物体时的状况；以及
基准变更部，其在所述车辆基于所述自动驾驶控制的行驶期间中检测到存储于所述存储部的物体、且检测到所述物体时的状况满足所述状况条件的情况下，对所述预定的安全基准进行变更以使得所述驾驶员感觉更安全。
2.根据权利要求1所述的行驶控制装置，
所述状况条件包括所述确定的物体的、至少距所述车辆的距离。
3.根据权利要求1或者2所述的行驶控制装置，
还具备条件学习部，所述条件学习部基于与存储于所述存储部的物体中的任一物体相关联地在不同的时刻所存储的多个所述状况条件，制作表示在检测到该物体时所述危险躲避操作被检测到的状况的学习状况条件，
所述基准变更部在检测到所述物体时的状况满足所述学习状况条件的情况下，判定为检测到所述物体时的状况满足所述状况条件。
4.根据权利要求3所述的行驶控制装置，
所述条件存储部还存储在所述车辆的行驶期间中检测到所述物体时的状况满足了所述状况条件的情况下所述危险躲避操作被检测到的比例，
所述条件学习部制作所述学习状况条件，以使得所述危险躲避操作被检测到的比例大的所述状况条件一方比所述危险躲避操作被检测到的比例小的所述状况条件优先。
5.一种行驶控制方法，包括：
从周边图像检测一个以上的物体，所述周边图像表示了能够通过满足预定的安全基准的自动驾驶控制进行行驶的车辆的周边；
从面部图像检测所述驾驶员的视线方向，所述面部图像表示了所述车辆的驾驶员的面部区域；
确定所述一个以上的物体中的、处于所述驾驶员的视线方向上的物体；
在所述车辆的行驶期间中检测到由所述驾驶员进行的用于躲避危险的危险躲避操作的情况下，将所述确定的物体与状况条件相关联地存储于存储部，所述状况条件表示检测到所述确定的物体时的状况；以及
在所述车辆基于所述自动驾驶控制的行驶期间中检测到存储于所述存储部的物体、且检测到所述物体时的状况满足所述状况条件的情况下，对所述预定的安全基准进行变更以使得所述驾驶员感觉更安全。
CN202211675483.6A 2021-12-27 2022-12-26 行驶控制装置以及行驶控制方法 Pending CN116353625A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021213390A JP2023097183A (ja) 2021-12-27 2021-12-27 走行制御装置および走行制御方法
JP2021-213390 2021-12-27

Publications (1)

Publication Number Publication Date
CN116353625A true CN116353625A (zh) 2023-06-30

Family

ID=86898244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211675483.6A Pending CN116353625A (zh) 2021-12-27 2022-12-26 行驶控制装置以及行驶控制方法

Country Status (3)

Country Link
US (1) US20230202520A1 (zh)
JP (1) JP2023097183A (zh)
CN (1) CN116353625A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117041916A (zh) * 2023-09-27 2023-11-10 创意信息技术股份有限公司 一种海量数据处理方法、装置、系统及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230019334A (ko) * 2021-07-30 2023-02-08 현대자동차주식회사 차량 경로 제어 장치 및 차량의 경로 제어 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117041916A (zh) * 2023-09-27 2023-11-10 创意信息技术股份有限公司 一种海量数据处理方法、装置、系统及存储介质
CN117041916B (zh) * 2023-09-27 2024-01-09 创意信息技术股份有限公司 一种海量数据处理方法、装置、系统及存储介质

Also Published As

Publication number Publication date
US20230202520A1 (en) 2023-06-29
JP2023097183A (ja) 2023-07-07

Similar Documents

Publication Publication Date Title
US11787408B2 (en) System and method for controlling vehicle based on condition of driver
CN116353625A (zh) 行驶控制装置以及行驶控制方法
US9159235B2 (en) Method of operating a driver assistance system of a motor vehicle
JP6345199B2 (ja) 自動運転制御装置
JP6746784B2 (ja) 車両の高度自動運転モードが停止された場合に運転者を支援するための方法および装置
US20210016804A1 (en) Driving assistance apparatus
WO2018230245A1 (ja) 走行支援装置、制御プログラム、コンピュータ読み出し可能持続的有形記録媒体
US11072324B2 (en) Vehicle and control method thereof
US20230192114A1 (en) Method for Operating a Driver Assistance System of a Vehicle, Comprising Driver Moderation for Partially-Automated Functions, Driver Assistance System, and Vehicle
JP7140154B2 (ja) 車両制御装置
CN111762185B (zh) 车辆控制装置、车辆控制方法、车辆以及存储介质
KR20190061693A (ko) 자율주행 차량의 통합 모니터링장치 및 그 방법
US20220066551A1 (en) Apparatus and method for obtaining facial information
JP2017126151A (ja) 視線検出装置および視線検出方法
JP7512934B2 (ja) 走行制御装置、走行制御方法、および走行制御用コンピュータプログラム
CN114103991B (zh) 行驶控制装置以及行驶控制方法
JP7415990B2 (ja) 走行制御装置および走行制御方法
US20240067054A1 (en) Position displacement device, storage medium storing computer program for position displacement and position displacement method
CN117601889A (zh) 行驶控制装置、行驶控制方法以及非瞬时性的计算机可读介质
JP2024150115A (ja) 監視装置、監視用コンピュータプログラム及び監視方法
JP2022149775A (ja) 走行制御装置、走行制御方法、および走行制御用コンピュータプログラム
US20240336192A1 (en) Monitoring device, storage medium storing computer program for monitoring, and monitoring method
JP2024029612A (ja) 走行制御装置、走行制御方法、および走行制御用コンピュータプログラム
US20200133264A1 (en) Traveling control apparatus, traveling control method, and non-transitory computer-readable storage medium storing program
JP2023169776A (ja) メッセージ通知装置、メッセージ通知方法およびメッセージ通知用コンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination