CN117152946A - 驾驶支援装置、驾驶支援单元、存储介质及驾驶支援方法 - Google Patents

驾驶支援装置、驾驶支援单元、存储介质及驾驶支援方法 Download PDF

Info

Publication number
CN117152946A
CN117152946A CN202310612696.2A CN202310612696A CN117152946A CN 117152946 A CN117152946 A CN 117152946A CN 202310612696 A CN202310612696 A CN 202310612696A CN 117152946 A CN117152946 A CN 117152946A
Authority
CN
China
Prior art keywords
vehicle
notification
alarm
images
driving support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310612696.2A
Other languages
English (en)
Inventor
焦温·吉万·蒂萨
金原辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN117152946A publication Critical patent/CN117152946A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

提供能够简易且精度良好地输出警报的驾驶支援装置、驾驶支援单元、存储介质及驾驶支援方法。驾驶支援装置能够经由装卸部而相对于车辆装卸，其中，所述驾驶支援装置具备：取得部，其取得对所述车辆的周边的状况进行拍摄得到的一个以上的图像；以及通知控制部，其在基于从所述一个以上的图像得到的信息而预测所述车辆会从行驶中的行驶车道脱离的情况下，基于与所述一个以上的图像中的对象相关的变化来决定对所述车辆的驾驶员进行通知的通知强度，并使通知部进行所决定的通知强度的通知。

Description

驾驶支援装置、驾驶支援单元、存储介质及驾驶支援方法
技术领域
本发明涉及驾驶支援装置、驾驶支援单元、存储介质及驾驶支援方法。
背景技术
以往，公开了一种警报装置，其在检测到车辆的不稳行驶时，在正执行防止车辆从车道脱离的控制、且驾驶员未触摸接受车辆的转向操作的转向操作部的情况下，不从警报输出部输出警报(国际公开第2021/153606号，日本特开2021-066197号公报)。
发明内容
然而，在上述的技术中，有时不能简易且精度良好地输出警报。
本发明是考虑这样的情况而完成的，其目的之一在于提供能够简易且精度良好地输出警报的驾驶支援装置、驾驶支援单元、存储介质及驾驶支援方法。
用于解决课题的方案
本发明所涉及的驾驶支援装置、驾驶支援单元、存储介质及驾驶支援方法采用了以下的结构。
(1)：本发明的一方案涉及一种驾驶支援装置，其能够经由装卸部而相对于车辆装卸，其中，所述驾驶支援装置具备：取得部，其取得对所述车辆的周边的状况进行拍摄得到的一个以上的图像；以及通知控制部，其在基于从所述一个以上的图像得到的信息而预测所述车辆会从行驶中的行驶车道脱离的情况下，基于与所述一个以上的图像中的对象相关的变化来决定对所述车辆的驾驶员进行通知的通知强度，并使通知部进行所决定的通知强度的通知。
(2)：在上述(1)的方案的基础上，所述对象是所述车辆行驶的车道的道路划分线及所述车辆的驾驶员，与所述对象相关的变化是所述车辆的位置相对于所述道路划分线的变化及所述驾驶员的行为的变化。
(3)：在上述(1)或(2)的方案的基础上，所述一个以上的图像包括对驾驶着所述车辆的驾驶员的脸部进行拍摄得到的图像，所述通知控制部在基于所述一个以上的图像得到的所述驾驶员的脸部或视线的朝向处于预先设定的范围外的情况下，与所述驾驶员的脸部或视线的朝向不处于预先设定的范围外的情况相比，使所述通知部进行强的通知强度的通知。
(4)：在上述(1)至(3)中任一方案的基础上，所述一个以上的图像包括对驾驶着所述车辆的驾驶员的脸部进行拍摄得到的图像，所述通知控制部进行如下处理：在(a1)基于所述一个以上的图像得到的所述驾驶员的脸部或视线的朝向持续规定时间以上未朝着所述车辆的行进方向且左方向、而且(a2)基于所述一个以上的图像而判定为所述车辆向左方向摆动着的情况下，使所述通知部进行规定的强度的警报的通知，在不满足所述(a1)及所述(a2)中的一方或双方的情况下，使所述通知部进行比所述规定的强度的警报的通知弱的警报的通知、或者不使所述通知部进行警报的通知，在(b1)基于所述一个以上的图像得到的所述驾驶员的脸部或视线的朝向持续规定时间以上未朝着所述车辆的行进方向且右方向、而且(b2)基于所述一个以上的图像而判定为所述车辆向右方向摆动着的情况下，进行规定的强度的警报的通知，在不满足所述(b1)及所述(b2)中的一方或双方的情况下，使所述通知部进行比所述规定的强度的警报的通知弱的警报的通知、或者不使所述通知部进行警报的通知。
(5)：在上述(4)的方案的基础上，所述一个以上的图像包括对与所述行驶车道相邻的相邻车道上位于所述车辆的后方的相邻后方区域进行拍摄得到的图像，所述通知控制部进行如下处理：在满足所述(a1)及所述(a2)、且(a3)基于所述一个以上的图像而得出在所述车辆的左侧的所述相邻后方区域存在车辆的情况下，使所述通知部进行比所述规定的强度的警报的通知强的第三警报的通知，在满足所述(a1)及所述(a2)、且不满足所述(a3)的情况下，进行比所述规定的强度的通知强且比所述第三警报的通知弱的第二警报的通知，在满足所述(b1)及所述(b2)、且(b3)基于所述一个以上的图像而得出在所述车辆的右侧的所述相邻后方区域存在车辆的情况下，使所述通知部进行比所述规定的强度的警报的通知强的第三警报的通知，在满足所述(b1)及所述(b2)、且不满足所述(b3)的情况下，使所述通知部进行所述第二警报的通知。
(6)：在上述(1)至(5)中任一方案的基础上，所述一个以上的图像包括对所述驾驶员的臂及手中的一方或双方进行拍摄得到的图像，所述通知控制部进行如下处理：在(c1)基于所述一个以上的图像而判定为所述手或臂未进行控制使所述车辆向左方向移动的转向的操作、且(c2)基于所述一个以上的图像而判定为所述车辆向左方向摆动着的情况下，进行规定的强度的警报的通知，在不满足所述(c1)及所述(c2)中的一方或双方的情况下，使所述通知部进行比所述规定的强度的警报的通知弱的警报的通知、或者不使所述通知部进行警报的通知，在(d1)基于所述一个以上的图像而判定为所述手或臂未进行控制使所述车辆向右方向移动的转向的操作、且(d2)基于所述一个以上的图像而判定为所述车辆向右方向摆动着的情况下，进行规定的强度的警报的通知，在不满足所述(d1)及所述(d2)中的一方或双方的情况下，使所述通知部进行比所述规定的强度的警报的通知弱的警报的通知、或者不使所述通知部进行警报的通知。
(7)：在上述(6)的方案的基础上，所述一个以上的图像包括对与所述行驶车道相邻的相邻车道上位于所述车辆的后方的相邻后方区域进行拍摄得到的图像，所述通知控制部进行如下处理：在满足所述(c1)及所述(c2)、且(c3)基于所述一个以上的图像而得出在所述车辆的左侧的所述相邻后方区域存在车辆的情况下，使所述通知部进行比所述规定的强度的警报的通知强的第三警报的通知，在满足所述(c1)及所述(c2)、且不满足所述(c3)的情况下，进行比所述规定的强度的警报的通知强且比所述第三警报的通知弱的第二警报的通知，在满足所述(d1)及所述(d2)、且(d3)基于所述一个以上的图像而得出在所述车辆的右侧的所述相邻后方区域存在车辆的情况下，使所述通知部进行比所述规定的强度的警报的通知强的第三警报的通知，在满足所述(d1)及所述(d2)、且不满足所述(d3)的情况下，使所述通知部进行所述第二警报的通知。
(8)：在上述(1)至(7)中任一方案的基础上，所述一个以上的图像包括对与所述行驶车道相邻的相邻车道上位于所述车辆的后方的相邻后方区域进行拍摄得到的图像，所述通知控制部在基于所述一个以上的图像而判定为在所述相邻后方区域存在车辆的情况下，使所述通知部进行比所述规定的强度的警报强的警报的通知。
(9)：本发明的一方案涉及一种驾驶支援单元，其中，所述驾驶支援单元具备：上述(1)至(8)中任一方案的驾驶支援装置，其具备将用于使所述通知部进行所述通知的信息向所述通知部发送的通信部；第一相机，其未与车辆的车载网络连接，且取得所述一个以上的图像所包含的将所述车辆的前方的周边的状况包含在内的图像；第二相机，其未与车辆的车载网络连接，且拍摄所述一个以上的图像所包含的将所述驾驶员、所述车辆的驾驶员座侧的车窗、所述车辆的副驾驶员座侧的车窗、以及所述车辆的后方的区域包含在内的图像；以及壳体，其收纳所述驾驶支援装置、所述第一相机及所述第二相机。
(10)：本发明的一方案涉及一种存储介质，其存储有应用程序，所述应用程序安装于未与车辆的车载网络连接的便携终端装置，其中，所述应用程序用于使所述便携终端装置的计算机执行如下处理：取得对所述车辆的周边的状况进行拍摄得到的一个以上的图像；在基于从所述一个以上的图像得到的信息而预测所述车辆会从行驶中的行驶车道脱离的情况下，基于与所述一个以上的图像中的对象相关的变化来决定对所述车辆的驾驶员进行通知的通知强度，并使通知部进行所决定的通知强度的通知。
(11)：本发明的一方案涉及一种驾驶支援方法，其中，驾驶支援装置能够经由装卸部而相对于车辆装卸，所述驾驶支援方法使所述驾驶支援装置的计算机执行如下处理：取得对所述车辆的周边的状况进行拍摄得到的一个以上的图像；在基于从所述一个以上的图像得到的信息而预测所述车辆会从行驶中的行驶车道脱离的情况下，基于与所述一个以上的图像中的对象相关的变化来决定对所述车辆的驾驶员进行通知的通知强度，并使通知部进行所决定的通知强度的通知。
(12)：本发明的一方案涉及一种存储介质，其存储有控制程序，其中，驾驶支援装置能够经由装卸部而相对于车辆装卸，所述程序用于使所述驾驶支援装置的计算机执行如下处理：取得对所述车辆的周边的状况进行拍摄得到的一个以上的图像；在基于从所述一个以上的图像得到的信息而预测所述车辆会从行驶中的行驶车道脱离的情况下，基于与所述一个以上的图像中的对象相关的变化来决定对所述车辆的驾驶员进行通知的通知强度，并使通知部进行所决定的通知强度的通知。
发明效果
根据(1)-(11)，能够简易且精度良好地输出警报。例如，驾驶支援装置是能够后附于车辆的单元等简易的结构。另外，驾驶支援装置能够使用图像来精度良好地判定车辆的摆动、脱离等。
根据(2)、(3)或(5)，由于将驾驶员的意图纳入考虑，因此能够更加精度良好地输出摆动的警报。
根据(4)、(6)或(7)，由于考虑到周围的车辆，因此会输出更恰当的警报，实现更顾及到周围的控制。
附图说明
图1是表示包含实施方式所涉及的驾驶支援装置在内的驾驶监视装置的结构及使用环境的一例的图。
图2是表示驾驶监视装置的一例的图。
图3是表示驾驶监视装置所取得的图像的一例的图。
图4是用于说明控制部所进行的警报处理的概要的图。
图5是表示脱离判定部所具有的功能部的一例的图。
图6是用于说明偏置处理部的处理的图。
图7是用于说明噪声区域的图。
图8是用于说明综合处理部的处理的图。
图9是表示由意图判定部执行的处理的流程的一例的流程图。
图10是表示清单的一例的图。
图11是表示由意图判定部执行的处理的流程的一例的流程图。
图12是表示由意图判定部执行的处理的流程的另一例的流程图。
图13是用于说明意图标志“真”的图。
图14是表示警报控制部所执行的处理的流程的一例的流程图的1个例程。
具体实施方式
以下，参照附图来说明本发明的驾驶支援装置、驾驶支援单元、存储介质及驾驶支援方法的实施方式。在以下的说明中，将车辆的前方方向设为正X方向、将车辆的后方方向设为负X方向、将作为车辆的宽度方向且以正X方向为基准时的右方向设为正Y方向、将左侧方向设为负Y方向、将作为与X方向及Y方向正交的方向的车辆的高度方向设为正Z方向来进行说明。
[整体结构]
图1是表示包含实施方式所涉及的驾驶支援装置在内的驾驶监视装置1(驾驶支援系统)的结构及使用环境的一例的图。驾驶支援装置20例如搭载于行车记录仪等这样的后附安装于车辆(以下称作“车辆M”)的驾驶监视装置1。即，驾驶监视装置1(驾驶支援装置20)能够经由装卸部而相对于车辆M装卸。驾驶支援装置20例如是未与车辆M的车载网络连接的装置。车载网络是使用了与车辆M的驱动、制动、转向、车辆的各种传感器、关于驾驶的操作件、操作按钮等车辆的控制相关的ECU(Electronic Control Unit)所连接的CAN(Controller Area Network)等通信标准的车载网络。也可以将用于HMI(Human MachineInterface)的车辆M的网络从上述的车载网络排除。
图2是表示驾驶监视装置1的一例的图。驾驶监视装置1例如安装于前风窗玻璃上部的车室内后视镜附近的前窗玻璃。驾驶监视装置1将前方相机10和后方相机12分别拍摄到的图像(动态图像)例如存储于未图示的存储装置。驾驶监视装置1例如也可以是具备LCD(Liquid Crystal Display：液晶显示器)等显示装置、且能够使显示装置显示存储于存储装置的图像(动态图像)的结构。
驾驶监视装置1例如具备前方相机10、后方相机12、装卸部14及驾驶支援装置20。前方相机10及后方相机12分别例如是利用了CCD(ChargeCoupled Device)、CMOS(Complementary Metal Oxide Semiconductor)等固体摄像元件的数码相机。前方相机10从安装有驾驶监视装置1的位置反复(周期性地)对车辆M的前方的周围进行拍摄。后方相机12从安装有驾驶监视装置1的位置反复(周期性地)对车辆M的后方的周围进行拍摄。前方相机10及后方相机12分别拍摄的水平方向的画面角度例如是180°。即，驾驶监视装置1从所安装的位置对车辆M的周围的360°的范围进行拍摄。在本实施方式中，说明使用前方相机10及后方相机12的情况，但也可以代替于此或在此基础上使用其他相机。即，相机构成为拍摄出在本实施方式中使用的图像(对道路划分线进行拍摄得到的图像和对驾驶员的脸部进行拍摄得到的图像)即可。装卸部14例如是用于将驾驶监视装置1装配于车辆M的构件。装卸部14例如是吸盘、密封件、托架等支承构件等任意的构件。
图3是表示驾驶监视装置1所取得的图像的一例的图。前方相机10隔着前风窗玻璃而对车辆M的前方进行拍摄。后方相机12对车辆M的驾驶员、驾驶员座侧的车窗、副驾驶员座侧的车窗、车辆的后方等进行拍摄。
在前方相机10所拍摄到的图像(以下称作“前方图像”)中，作为被拍摄体而例如拍摄有其他车辆、行人、自行车、固定物、道路划分线等在透过前窗玻璃看得见的车辆M的前方、透过左右的侧窗玻璃看得见的车辆M的左右(前方)处存在的物体目标。驾驶支援装置20通过图像识别处理来识别这些物体目标。
在后方相机12所拍摄到的图像(以下称作“后方图像”)中，拍摄有车辆M的车室内、以及在透过后窗玻璃看得见的车辆M的后方、透过左右的侧窗玻璃看得见的车辆M的左右(后方)处存在的物体目标。因此，在后方相机12所拍摄到的后方图像中，作为被拍摄体而至少也拍摄有安装有驾驶监视装置1的车辆M的驾驶员。驾驶监视装置1只要是安装于前方相机10及后方相机12能够拍摄到上述的区域的位置即可，也可以安装于任意部位。
驾驶支援装置20基于参照由前方相机10输出的前方图像和由后方相机12输出的后方图像得出的结果，经由终端装置T而输出警报。
终端装置T例如是智能手机、平板终端等对安装有驾驶监视装置1的车辆M进行驾驶的驾驶员所使用的可移动型的终端装置。在终端装置T中，例如执行着用于接受由驾驶支援装置20进行的驾驶支援的应用程序等。应用程序使显示装置显示基于由驾驶支援装置20发送的信息、通知得到的图像、使扬声器发出声音。终端装置T是“通知部”的一例。终端装置T例如以能够装卸的方式安装于车辆M而被利用。例如，在终端装置T及车辆M中的一方或双方设置有具有装卸部的终端装置T用的支架，终端装置T由支架支承。也可以代替终端装置T，而由车辆M的导航装置、车辆M的显示部、扬声器基于驾驶支援装置20的指示而输出警报。也可以代替终端装置T而在驾驶监视装置1设置有显示部(通知部)、扬声器(通知部)等。
如图1所示那样，驾驶支援装置20例如具备识别部22、推定部24、控制部30及通信部70。识别部22、推定部24及控制部30(通知控制部)例如具备CPU(Central ProcessingUnit)等硬件处理器和存储有程序(软件)的存储装置(具备非暂时性的存储介质的存储装置)，通过处理器执行程序而实现各构成要素的功能。这些构成要素中的一部分或全部可以由LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等硬件(包括电路部：circuitry)等实现，也可以通过软件与硬件的协同配合来实现各构成要素的功能。这些构成要素中的一部分或全部也可以通过专用的LSI来实现各构成要素的功能。
程序(软件)可以预先保存于ROM(Read Only Memory)、RAM(Random AccessMemory)、闪存器等在驾驶支援装置20中具备的未图示的存储装置(具备非暂时性的存储介质的存储装置)，也可以保存于存储卡等能够装卸的存储介质(非暂时性的存储介质)，并通过存储介质装配于驾驶监视装置1而安装于存储装置。程序(软件)也可以通过在终端装置T中执行的应用程序利用近距离通信或广域通信而从其他计算机装置预先下载，并通过从终端装置T进行发送而安装于存储装置。
识别部22基于前方图像来识别车辆M行驶着的行驶车道、物体目标(前述的其他车辆、道路划分线等)等。其他车辆包括在相同的行驶车道或相邻的行驶车道上行驶着的其他车辆、在相邻车道上行驶且在车辆M的后方行驶的车辆、在对向车道上行驶的对向车辆。识别部22中的物体目标的识别例如也可以通过深度学习等处理来进行。识别部22基于前方图像或后方图像(例如在图像中着眼着的物体目标所占的区域)的变化，来识别车辆M(驾驶支援装置20)的状态(行进方向的速度、横向的速度、横摆角速度等)、车辆M的位置。识别部22也可以在能够与车辆M通信的情况下，通过利用了车辆M的车辆传感器(未图示)的输出的INS(Inertial Navigation System)来确定或补充车辆M的位置或状态。
推定部24推定在后方图像中拍摄有的驾驶员的脸部的朝向、视线的朝向。以下，有时将表示推定出的驾驶员的视线方向的信息称作“视线信息”。
控制部30具备脱离判定部40、意图判定部50及警报控制部60。图4是用于说明控制部30进行的警报处理的概要的图。脱离判定部40基于车辆M的状态及车辆M所行驶的行驶车道的道路划分线的位置，来判定车辆M是否要从行驶车道脱离。
意图判定部50基于从推定部24得到的视线信息，来判定车辆M是否根据驾驶员的意图而要从行驶车道脱离。警报控制部60基于脱离判定部40的判定结果(例如脱离标志)和意图判定部50的判定结果(例如意图标志)，来使终端装置T输出警报。例如，警报控制部60经由通信部70而将警报信息向终端装置T发送。终端装置T基于警报信息所包含的警报的强度等表示警报的类别的信息来输出警报。通信部70是用于与终端装置T进行无线通信或有线通信的通信接口。
以下，说明脱离判定部40、意图判定部50及警报控制部60的处理。
[脱离判定部的处理的详细情况]
图5是表示脱离判定部40所具有的功能部的一例的图。脱离判定部40例如具备时间处理部40A、距离处理部40B、偏置处理部40C、SMA(Simple Moving Average)处理部40D及综合处理部42。脱离判定部40从识别部22取得道路划分线的位置、表示车辆M的状态的信息。脱离判定部40以规定的周期反复执行以下说明的各种处理。
脱离判定部40也可以在不满足以下的全部或一部分的条件的情况下，不执行以下的各种处理，不判定脱离。条件例如是指，驾驶员进行了意图停止处理的操作这一条件、不能检知到道路划分线这一条件、道路划分线的检知的精度为阈值以下这一条件。条件也可以是行驶着的行驶车道的曲率为阈值以上这一条件(为急转弯这一条件)。行驶车道的曲率的信息例如是由终端装置T、车辆M的导航装置提供的信息。这样，脱离判定部40在执行处理的条件未齐备的情况下，处理负荷减轻，并且抑制向终端装置T输出警报。
(时间处理部)
时间处理部40A导出车辆M跨过道路划分线为止的时间TLC。时间TLC例如是从车辆M的基准位置到道路划分线的距离除以车辆M的横向的速度而得到的值。时间处理部40A在到车辆M跨过道路划分线为止的时间TLC为阈值以上的情况下，输出红标签标志(例如第一指标)，在时间TLC小于阈值的情况下，输出绿标签标志(例如第二指标)。
时间处理部40A例如也可以基于式(1)、式(2)来算出时间TLC。是横摆方向，是相对于行驶车道的延伸方向而言的车辆M的方向。“Vy”为车辆M的横向的速度，“V”是将本车辆的纵向的速度与横向的速度合成得到的速度。“yl”是到左侧的车道为止的处理，“yr”是到右侧的车道为止的距离。“D”是车辆的宽度方向的长度。“lf”是从车辆M的重心(设置有驾驶支援装置20的位置)到前轮的车轴为止的距离。“lf”也可以设定为“零”。
在的情况下，表示车辆M朝着左侧的车道，在/>的情况下，表示车辆M朝着右侧的车道。在/>的情况下，速度为零，时间TLC被视作“规定值(例如1000)”。
(距离处理部)
距离处理部40B算出从本车辆到道路划分线的距离DLC。距离DLC是从行驶车道的中心到道路划分线的距离减去车辆M的宽度的一半的长度而得到的值。距离处理部40B在距离DLC为阈值以上的情况下，输出红标签标志，在距离DLC小于阈值的情况下，输出绿标签标志。
(偏置处理部)
偏置处理部40C算出偏置指标EPS。偏置指标EPS是车辆M越远离行驶车道的中心则越大的指标。偏置指标EPS是与从车辆M的侧方到道路划分线的距离对应的指标。偏置处理部40C将偏置指标EPS与阈值进行比较，并基于比较的结果来输出红标签标志、橙标签标志(例如第三指标)或绿标签标志。
偏置处理部40C如图6所示那样使用偏置指标EPS_L和偏置指标EPS_R来进行处理。偏置指标EPS_L是从车辆M的左侧的侧方(例如车辆M的长度方向的中心或设置有驾驶支援装置20的位置)到左侧的道路划分线的距离，偏置指标EPS_R是从车辆M的右侧的侧方到右侧的道路划分线的距离。偏置处理部40C在偏置指标EPS_L比距离yl大的情况、或偏置指标EPS_R比距离yr大的情况下，进行使用了第一阈值及第二阈值的处理。距离yl是从行驶车道的中央到左侧的道路划分线的距离，距离yr是从行驶车道的中央到右侧的道路划分线的距离。第一阈值例如是车宽D加上规定值而得到的值。第二阈值例如是车宽D加上比规定值大的规定值而得到的值。第一阈值例如比距离yl及距离yr大，第二阈值比第一阈值大。
例如，设想车辆M偏向右侧的道路划分线而偏置指标EPS_L比距离yl大。在该情况下，偏置处理部40C在偏置指标EPS L为第二阈值以上的情况下，输出红标签标志，在偏置指标EPS L小于第二阈值且为第一阈值以上的情况下，输出橙标签标志，在偏置指标EPS L小于第一阈值的情况下，输出绿标签标志。
在偏置指标EPS L为距离yl以下的情况下，第一阈值及第二阈值不适用，而将此外另行设置的预先设定的阈值与偏置指标EPS L进行比较。
(SMA处理部)
SMA处理部40D对过去的车辆M的行驶位置进行统计处理而算出噪声区域。噪声区域是表示在车辆M行驶着时车辆M从行驶车道的中央偏移而行驶的范围的区域，是与驾驶员的驾驶相依存的区域。SMA处理部40D在车辆M在噪声区域行驶着的情况下，输出绿标签标志，在车辆M在噪声区域之外行驶着的情况下，输出红标签标志。
噪声区域AR N如图7所示那样基于多个过去的采样时机的位置而求出。噪声区域根据基于距行驶车道的中央产生的偏移的平均值、中央值、标准偏差得到的值来求出。例如，也可以将与行驶车道的中央相距的规定σ的范围作为噪声区域。
(综合处理部)
图8是用于说明综合处理部42的处理的图。综合处理部42取得时间处理部40A、距离处理部40B、偏置处理部40C及SMA处理部40D各自的处理结果列。处理结果列是规定的处理循环(一个以上的处理循环)的处理结果。综合处理部42按每个处理结果列进行统计处理，导出每个统计处理结果的指标。统计处理是平均值的算出、中央值的算出等。
接着，综合处理部42进行使用了指标的加权平均处理。综合处理部42对各指标各自乘以与指标各自对应的系数而进行加权平均处理来导出脱离指标。也可以代替加权平均而适用其他统计处理。
接着，综合处理部42判定脱离指标是否超过阈值TH。在脱离指标超过阈值TH的情况下，综合处理部42输出脱离标志“真”及表示车辆M脱离着的方向的标志即脱离标志“真(右)”或脱离标志“真(左)”。
在脱离指标为阈值TH以下的情况下，综合处理部42输出脱离标志“假”及表示车辆M未向右方向及左方向脱离这一情况的标志即脱离标志“假(右)”及脱离标志“假(左)”。
如上所述那样，脱离判定部40能够精度良好地判定车辆M是否要脱离道路划分线。
[意图判定部的处理的详细情况(样例1)]
(流程图(其1)
意图判定部50判定驾驶员的脸部或视线是否朝着规定的物体方向。在朝着规定的物体方向的情况下，推定为驾驶员正着眼于规定的物体方向。规定的物体是侧部后视镜、驾驶员座侧的车窗或副驾驶员座侧的车窗。规定的物体是存在于驾驶员对横向、相邻车道方向进行注视的情况下的视线方向上的物体即可。
图9是表示由意图判定部50执行的处理的流程的一例的流程图。图9的步骤S100-S104的处理与步骤S106-S110的处理可以并列执行，也可以在执行一方之后执行另一方。
首先，意图判定部50取得视线信息所包含的视线向量，并判定视线向量是否有效(步骤S100)。视线向量例如是由二维坐标系(例如规定了俯仰方向及横摆方向的坐标系)或三维坐标系所规定的向量。例如，意图判定部50判定视线向量是否符合着规定的基准(例如基于上次的视线向量得到的基准)，由此判定视线向量是否有效。
接着，意图判定部50基于视线向量的俯仰方向及横摆方向来推定驾驶员的视线所朝着的方向(步骤S102)。接着，意图判定部50判定驾驶员的视线是否朝着规定的物体方向(步骤S104)。在步骤S100或步骤S104的判定为否定的情况下，本流程图的1例程的处理结束，在步骤S100及步骤S104的判定为肯定的情况下，进入步骤S112的处理。
接着，意图判定部50取得视线信息所包含的脸部向量，并判定脸部向量是否有效(步骤S106)。脸部向量例如是二维坐标系(例如规定了俯仰方向及横摆方向的坐标系)或三维坐标系所规定的向量。例如，意图判定部50判定脸部向量是否符合着规定的基准(例如基于上次的脸部向量得到的基准)，由此判定视线向量是否有效。
接着，意图判定部50基于脸部向量的俯仰方向及横摆方向，来推定驾驶员的脸部所朝着的方向(步骤S108)。接着，意图判定部50判定驾驶员的脸部是否朝着规定的物体方向(步骤S110)。在步骤S106或步骤S110的判定为否定的情况下，本流程图的1例程的处理结束，在步骤S106及步骤S110的判定为肯定的情况下，进入步骤S112的处理。
在驾驶员的视线及脸部中的至少一方朝着规定的物体方向的情况下，意图判定部50更新清单(步骤S112)。由此，本流程图的1例程结束。在上述的处理中，可以仅利用视线的朝向及脸部的朝向中的一方来更新清单，也可以在视线的朝向与脸部的朝向匹配着的情况下，更新清单(也可以在两方朝着相同的方向的情况下，判定为对该方向着眼着)。
图10是表示清单的一例的图。意图判定部50生成将时刻与驾驶员注视着的方向建立了对应关系的信息。例如，在驾驶员的视线或脸部朝着右侧的物体方向的情况下驾驶员注视着右侧、在驾驶员的视线或脸部朝着左侧的物体方向的情况下驾驶员注视着左侧的信息与时刻建立对应关系。
流程图(其2)
图11是表示由意图判定部50执行的处理的流程的一例的流程图。首先，意图判定部50判定是否取得了脱离标志“真”(步骤S200)。在脱离判定部40判定为车辆M从车道脱离的情况(要脱离或脱离的可能性为阈值以上的情况)下，输出脱离标志“真”。在判定为车辆M向行驶车道的右侧脱离的情况下，输出脱离标志“真(右)”，在判定为车辆M向行驶车道的左侧脱离的情况下，输出脱离标志“真(左)”。
接着，意图判定部50参照清单(步骤S202)。接着，意图判定部50在取得了脱离标志“真(右)”的情况下，判定清单的视线的注视方向是否为右方向，若注视方向为右方向，则生成意图标志(DM)“真(右)”(步骤S204、S208)。
在取得了脱离标志“真(左)”的情况下，意图判定部50判定清单的视线的注视方向是否为左方向，若注视方向为左方向，则生成意图标志(DM)“真(左)”(步骤S206、S210)。
意图判定部50在步骤S204及步骤S206的判定为否定的情况下，生成意图标志(DM)“假”(步骤210)。如上所述那样，在脱离标志所示的脱离方向与驾驶员的注视方向吻合的情况下，生成意图标志(DM)“真”。
[意图判定部的处理的详细情况(样例2)]
意图判定部50也可以基于SMA处理部40D的处理结果来生成意图标志“真”或“假”。图12是表示由意图判定部50执行的处理的流程的另一例的流程图。
首先，意图判定部50取得脱离标志，并判定所取得的脱离标志是否为“真”(步骤S300)。接着，意图判定部50取得SMA信息(步骤S302)。SMA信息是表示SMA处理部40D所输出的车辆M的不稳的信息，是表示在规定期间中距车道的中央产生的偏移的简单移动平均值的信息。在SMA信息中，根据不稳的程度而赋予了红、橙、绿等的标签。在SMA处理部40D是输出红标签或绿标签但不输出橙标签的结构的情况下，也可以省略橙标签。
意图判定部50判定SMA信息的标签是否为红或橙(步骤S304)。换言之，意图判定部50判定简单移动平均值是否为阈值以上。
在SMA信息的标签为红或橙的情况下，意图判定部50使计数器增加计数(加1)(步骤S308)，在SMA信息的标签不是红或橙的情况下，意图判定部50使计数器减少计数(减1)(步骤S310)。
意图判定部50判定计数器的值是否为阈值以上(步骤S312)。意图判定部50在计数器的值为阈值以上的情况下，生成意图(K)标志“真”(步骤S314)，在计数器的值小于阈值的情况下，生成意图(K)标志“假”(步骤S316)。
如图13所示那样，在后述的警报控制部60中，也可以在状态A、B、C中的任意状态的情况下，视作意图标志“真”。状态A是意图标志(DM)“真”。状态B是意图标志(K)“真”。状态C是意图标志(DM)“真”及意图标志(K)“真”。
[警报控制部的处理的详细情况]
警报控制部60在基于从一个以上的图像(例如前方图像及后方图像)得到的信息而预测车辆M会从行驶中的行驶车道脱离的情况下，基于一个以上的图像中的对象的变化量来决定对车辆M的驾驶员进行通知的通知强度，并使终端装置T进行所决定的通知强度的通知。对象例如是车辆M行驶的车道的道路划分线及车辆M的驾驶员。与对象相关的变化是车辆M的位置相对于道路划分线的变化及驾驶员的行为的变化。例如，警报控制部60基于车辆M接近道路划分线的程度、以及启示驾驶员要接近道路划分线这一情况的行为(视线、脸部的朝向、转向盘的操作形态)，来决定通知强度。例如，车辆M越接近道路划分线，则警报控制部60越加强通知强度，在驾驶员有要接近道路划分线的意图的情况下，警报控制部60减弱通知强度。
警报控制部60也可以基于上述的脱离指标来决定通知的强度。例如，脱离指标越大(脱离指标的可能性越高)，则警报控制部60进行越大的强度的通知。警报控制部60也可以代替脱离指标，而基于与时间处理部40A的处理结果相应的指标、与距离处理部40B的处理结果相应的指标、与偏置处理部40C的处理结果相应的指标、或与SMA处理部40D的处理结果相应的指标中的一个以上的指标(脱离判定指标)或对它们进行统计处理得到的指标，来决定通知的强度。
而且，警报控制部60也可以在脱离判定指标的基础上(或代替于此)参照意图判定部50的判定结果来决定通知的强度。警报控制部60例如在基于后方图像得到的驾驶员的脸部或(或及)视线的朝向处于预先设定的范围外的情况(例如未朝着规定的物体方向的情况)下，与驾驶员的脸部或视线的朝向不处于预先设定的范围外的情况(例如朝着规定的物体方向的情况)相比，使终端装置T进行强的通知强度的通知。
更具体而言，警报控制部60在(a1)基于后方图像得到的驾驶员的脸部或(或及)视线的朝向持续规定时间以上未朝着车辆M的行进方向且左方向、而且(a2)基于前方图像或后方图像而判定为车辆M向左方向摆动着(脱离的可能性高)的情况下，使终端装置T进行规定的强度的警报的通知(后述的强度2或3的通知)。警报控制部60在不满足(a1)及(a2)中的一方或双方的情况下，使终端装置T进行比规定的强度的通知弱的警报的通知(后述的强度1的通知)，或不使终端装置T进行警报的通知。
警报控制部60在(b1)基于后方图像得到的驾驶员的脸部或(或及)视线的朝向持续规定时间以上未朝着车辆M的行进方向且右方向、而且(b2)基于前方图像或后方图像而判定为车辆M向右方向摆动着的情况下，使终端装置T进行规定的强度的通知(后述的强度2或3的通知)。警报控制部60在不满足(b1)及(b2)中的一方或双方的情况下，使终端装置T进行比规定的强度的通知弱的警报的通知(后述的强度1的通知)，或不使终端装置T进行警报的通知。
而且，也可以将在与行驶车道相邻的车道上位于车辆M的后方的车辆的有无纳入考虑。警报控制部60也可以在基于对视线盲区(在与行驶车道相邻的相邻车道上位于车辆M的后方的相邻后方区域)进行拍摄得到的前方图像或后方图像而判定为在视线盲区存在其他车辆的情况下，与判定为在视线盲区不存在其他车辆的情况相比，使终端装置T进行比规定的强度的警报强的警报的通知(后述的强度3的通知)。
也可以如以下说明的流程图那样决定通知的强度。图14是表示警报控制部60所执行的处理的流程的一例的流程图的1例程。
首先，警报控制部60判定脱离标志是否为“真”(步骤S400)。在脱离标志不是“真”的情况下，警报控制部60不向终端装置T输出警报(步骤S402)。此时的警报的强度为“零(0)”。
在脱离标志为“真”的情况下，警报控制部60判定意图标志是否为“真”(步骤S404)。在意图标志为“真”的情况下，警报控制部60使终端装置T输出强度“1”的警报(步骤S406)。在脱离方向与驾驶员注视着的方向一致的情况下，进行步骤S406的处理，在不一致的情况下，进入步骤S408。
在意图标志不是“真”的情况下，警报控制部60判定脱离标志与视线盲区的其他车辆之间的关系是否满足规定的条件(步骤S408)。在不满足规定的条件的情况下，警报控制部60使终端装置T输出强度“2”的警报(步骤S410)。在满足规定的条件的情况下，警报控制部60使终端装置T输出强度“3”的警报(步骤S412)。强度是按“3”、“2”、“1”的顺序从强向弱的强度。
规定的条件是指脱离标志的类别与视线盲区的其他车辆(或物体)的位置匹配。例如，规定的条件是指脱离标志为“真(右)”、且在右侧的视线盲区存在其他车辆。例如，规定的条件是指脱离标志为“真(左)”、且在左侧的视线盲区存在其他车辆。也可以不考虑上述的匹配而进行步骤S408的判定。在该情况下，若在左右的视线盲区中的任意视线盲区存在其他车辆，则与视线盲区相关的条件便满足。
如上所述那样，警报控制部60在(a1、b1)驾驶员不存在脱离行驶车道的意图、(a2、b2)车辆M要脱离行驶车道、且(a3、b3)脱离方向的视线盲区处存在其他车辆的情况下，进行强度3的警报的通知。警报控制部60在(a1、b1)驾驶员不存在脱离行驶车道的意图、(a2、b2)车辆M要脱离行驶车道、且(a3、b3)脱离方向的视线盲区处不存在其他车辆的情况下，进行强度2的警报的通知。
在意图的脱离的场景下输出的强度“1”的警报例如是使HMI输出表示进行着车道变更这一情况的图像(或图像、声音等)的警报。在非意图的脱离的场景下输出的强度“2”的警报例如是图像内的图标闪烁的图像及低频的警报音(例如模仿在设想车辆在起伏的道路上行驶了的情况下产生的声音而得到的警报音)。在是非意图的脱离且在视线盲区存在物体的场景下输出的强度“3”的警报是图像内的图标闪烁的图像及表示属于高风险的声音(例如高振幅及高频的警报音)。
在上述的例子中，意图标志基于(A)视线的朝向或(B)脸部的朝向而生成，但也可以代替于此(或在此基础上)，将(C)驾驶员的臂或手的行为纳入考虑。在该情况下，后方相机12拍摄出对驾驶员的臂或(及)手进行拍摄得到的图像。例如，意图判定部50也可以在规定期间的臂或手的变化表示规定的行为的情况下，判定为存在脱离的意图。规定的行为是驾驶员对转向盘进行着操作以使车辆M向车辆M的脱离方向移动的行为。例如，在图14的步骤S404的处理中，也可以将基于规定期间的臂或手的变化为规定的行为而生成的意图标志适用于判定。例如，意图判定部50可以在上述的(A)、(B)及(C)的全部意图着脱离的情况下，进行强度1的警报，也可以在规定数量的要素意图着脱离的情况下，进行强度1的警报。意图判定部50也可以在上述的(A)、(B)及(C)的全部未意图脱离的情况、或规定数量的要素未意图脱离的情况下，进入图14的步骤S408的处理。警报控制部60也可以根据上述的(A)、(B)及(C)中的表示脱离的意图的数量或要素的组合来决定警报的强度。
在上述的例子中，说明了对驾驶监视装置1适用驾驶支援装置20的例子，但也可以是，驾驶支援装置20的功能结构中的一部分或全部搭载于车辆。驾驶支援装置20实现的功能也可以通过执行安装于终端装置T的应用程序来实现。在该情况下，终端装置T例如以能够装卸的方式安装于车辆M而被利用。例如，在终端装置T及车辆M中的一方或双方设置有具有装卸部的终端装置T用的支架，终端装置T由支架支承。
驾驶支援装置20只要能够使用车辆M所取得的信息，便能够参照这些信息来推定车辆M的脱离指标、驾驶员的脱离的意图。车辆M所取得的信息例如是方向指示器的状态、转向形态(转向转矩)、车辆传感器(速度、加速度、横摆角速度)等信息。驾驶支援装置20有时由于未与车载网络连接而不能参照车辆M所取得的信息、或有时难以与车载网络协作。与此相对，在本实施方式中，驾驶支援装置20不使用车辆M所取得的信息而使用前方相机10及后方相机12所拍摄到的图像来推定脱离指标、驾驶员的脱离的意图，决定通知的强度。这样，驾驶支援装置20无需与车载网络协作而是能够以通过后附简易地支援驾驶员的驾驶的方式通知警报。而且，驾驶支援装置20也将驾驶员的意图纳入考虑，由此能够抑制不需要的通知。
根据以上说明的实施方式，驾驶支援装置20在基于从图像得到的信息而预测车辆M会从行驶中的行驶车道脱离的情况下，基于与图像中的对象相关的变化来决定对车辆M的驾驶员进行通知的通知强度，并使通知装置进行所决定的通知强度的通知，由此能够简易且精度良好地输出警报。
上述说明的实施方式能够如以下这样表现。
一种控制装置，其构成为具备：
能够经由装卸部而相对于车辆装卸的装置所包含的存储有程序的存储装置；以及
所述装置所包含的硬件处理器，
所述硬件处理器通过执行存储于所述存储装置的程序而进行如下处理：
取得对所述车辆的周边的状况进行拍摄得到的一个以上的图像；
在基于从所述一个以上的图像得到的信息而预测所述车辆会从行驶中的行驶车道脱离的情况下，基于与所述一个以上的图像中的对象相关的变化来决定对所述车辆的驾驶员进行通知的通知强度，并使通知部进行所决定的通知强度的通知。
以上使用实施方式说明了本发明的具体实施方式，但本发明丝毫不被这样的实施方式限定，在不脱离本发明的主旨的范围内能够施加各种变形及替换。

Claims (12)

1.一种驾驶支援装置，其能够经由装卸部而相对于车辆装卸，其中，
所述驾驶支援装置具备：
取得部，其取得对所述车辆的周边的状况进行拍摄得到的一个以上的图像；以及
通知控制部，其在基于从所述一个以上的图像得到的信息而预测所述车辆会从行驶中的行驶车道脱离的情况下，基于与所述一个以上的图像中的对象相关的变化来决定对所述车辆的驾驶员进行通知的通知强度，并使通知部进行所决定的通知强度的通知。
2.根据权利要求1所述的驾驶支援装置，其中，
所述对象是所述车辆行驶的车道的道路划分线及所述车辆的驾驶员，
与所述对象相关的变化是所述车辆的位置相对于所述道路划分线的变化及所述驾驶员的行为的变化。
3.根据权利要求2所述的驾驶支援装置，其中，
所述一个以上的图像包括对驾驶着所述车辆的驾驶员的脸部进行拍摄得到的图像，
所述通知控制部在基于所述一个以上的图像得到的所述驾驶员的脸部或视线的朝向处于预先设定的范围外的情况下，与所述驾驶员的脸部或视线的朝向不处于预先设定的范围外的情况相比，使所述通知部进行强的通知强度的通知。
4.根据权利要求2所述的驾驶支援装置，其中，
所述一个以上的图像包括对驾驶着所述车辆的驾驶员的脸部进行拍摄得到的图像，
所述通知控制部进行如下处理：
在(a1)基于所述一个以上的图像得到的所述驾驶员的脸部或视线的朝向持续规定时间以上未朝着所述车辆的行进方向且左方向、而且(a2)基于所述一个以上的图像而判定为所述车辆向左方向摆动着的情况下，使所述通知部进行规定的强度的警报的通知，在不满足所述(a1)及所述(a2)中的一方或双方的情况下，使所述通知部进行比所述规定的强度的警报的通知弱的警报的通知、或者不使所述通知部进行警报的通知，
在(b1)基于所述一个以上的图像得到的所述驾驶员的脸部或视线的朝向持续规定时间以上未朝着所述车辆的行进方向且右方向、而且(b2)基于所述一个以上的图像而判定为所述车辆向右方向摆动着的情况下，进行规定的强度的警报的通知，在不满足所述(b1)及所述(b2)中的一方或双方的情况下，使所述通知部进行比所述规定的强度的警报的通知弱的警报的通知、或者不使所述通知部进行警报的通知。
5.根据权利要求4所述的驾驶支援装置，其中，
所述一个以上的图像包括对与所述行驶车道相邻的相邻车道上位于所述车辆的后方的相邻后方区域进行拍摄得到的图像，
所述通知控制部进行如下处理：
在满足所述(a1)及所述(a2)、且(a3)基于所述一个以上的图像而得出在所述车辆的左侧的所述相邻后方区域存在车辆的情况下，使所述通知部进行比所述规定的强度的警报的通知强的第三警报的通知，
在满足所述(a1)及所述(a2)、且不满足所述(a3)的情况下，进行比所述规定的强度的通知强且比所述第三警报的通知弱的第二警报的通知，
在满足所述(b1)及所述(b2)、且(b3)基于所述一个以上的图像而得出在所述车辆的右侧的所述相邻后方区域存在车辆的情况下，使所述通知部进行比所述规定的强度的警报的通知强的第三警报的通知，
在满足所述(b1)及所述(b2)、且不满足所述(b3)的情况下，使所述通知部进行所述第二警报的通知。
6.根据权利要求2所述的驾驶支援装置，其中，
所述一个以上的图像包括对所述驾驶员的臂及手中的一方或双方进行拍摄得到的图像，
所述通知控制部进行如下处理：
在(c1)基于所述一个以上的图像而判定为所述手或臂未进行控制使所述车辆向左方向移动的转向的操作、且(c2)基于所述一个以上的图像而判定为所述车辆向左方向摆动着的情况下，进行规定的强度的警报的通知，在不满足所述(c1)及所述(c2)中的一方或双方的情况下，使所述通知部进行比所述规定的强度的警报的通知弱的警报的通知、或者不使所述通知部进行警报的通知，
在(d1)基于所述一个以上的图像而判定为所述手或臂未进行控制使所述车辆向右方向移动的转向的操作、且(d2)基于所述一个以上的图像而判定为所述车辆向右方向摆动着的情况下，进行规定的强度的警报的通知，在不满足所述(d1)及所述(d2)中的一方或双方的情况下，使所述通知部进行比所述规定的强度的警报的通知弱的警报的通知、或者不使所述通知部进行警报的通知。
7.根据权利要求6所述的驾驶支援装置，其中，
所述一个以上的图像包括对与所述行驶车道相邻的相邻车道上位于所述车辆的后方的相邻后方区域进行拍摄得到的图像，
所述通知控制部进行如下处理：
在满足所述(c1)及所述(c2)、且(c3)基于所述一个以上的图像而得出在所述车辆的左侧的所述相邻后方区域存在车辆的情况下，使所述通知部进行比所述规定的强度的警报的通知强的第三警报的通知，
在满足所述(c1)及所述(c2)、且不满足所述(c3)的情况下，进行比所述规定的强度的警报的通知强且比所述第三警报的通知弱的第二警报的通知，
在满足所述(d1)及所述(d2)、且(d3)基于所述一个以上的图像而得出在所述车辆的右侧的所述相邻后方区域存在车辆的情况下，使所述通知部进行比所述规定的强度的警报的通知强的第三警报的通知，
在满足所述(d1)及所述(d2)、且不满足所述(d3)的情况下，使所述通知部进行所述第二警报的通知。
8.根据权利要求4或6所述的驾驶支援装置，其中，
所述一个以上的图像包括对与所述行驶车道相邻的相邻车道上位于所述车辆的后方的相邻后方区域进行拍摄得到的图像，
所述通知控制部在基于所述一个以上的图像而判定为在所述相邻后方区域存在车辆的情况下，与判定为在所述相邻后方区域不存在车辆的情况相比，使所述通知部进行比所述规定的强度的警报强的警报的通知。
9.一种驾驶支援单元，其中，
所述驾驶支援单元具备：
权利要求2至7中任一项所述的驾驶支援装置，其具备将用于使所述通知部进行所述通知的信息向所述通知部发送的通信部；
第一相机，其未与车辆的车载网络连接，且取得所述一个以上的图像所包含的将所述车辆的前方的周边的状况包含在内的图像；
第二相机，其未与车辆的车载网络连接，且拍摄所述一个以上的图像所包含的将所述驾驶员、所述车辆的驾驶员座侧的车窗、所述车辆的副驾驶员座侧的车窗、以及所述车辆的后方的区域包含在内的图像；以及
壳体，其收纳所述驾驶支援装置、所述第一相机及所述第二相机。
10.一种存储介质，其存储有应用程序，所述应用程序安装于未与车辆的车载网络连接的便携终端装置，其中，
所述应用程序用于使所述便携终端装置的计算机执行如下处理：
取得对所述车辆的周边的状况进行拍摄得到的一个以上的图像；
在基于从所述一个以上的图像得到的信息而预测所述车辆会从行驶中的行驶车道脱离的情况下，基于与所述一个以上的图像中的对象相关的变化来决定对所述车辆的驾驶员进行通知的通知强度，并使通知部进行所决定的通知强度的通知。
11.一种驾驶支援方法，其中，
驾驶支援装置能够经由装卸部而相对于车辆装卸，
所述驾驶支援方法使所述驾驶支援装置的计算机执行如下处理：
取得对所述车辆的周边的状况进行拍摄得到的一个以上的图像；
在基于从所述一个以上的图像得到的信息而预测所述车辆会从行驶中的行驶车道脱离的情况下，基于与所述一个以上的图像中的对象相关的变化来决定对所述车辆的驾驶员进行通知的通知强度，并使通知部进行所决定的通知强度的通知。
12.一种存储介质，其存储有程序，其中，
驾驶支援装置能够经由装卸部而相对于车辆装卸，
所述程序用于使所述驾驶支援装置的计算机执行如下处理：
取得对所述车辆的周边的状况进行拍摄得到的一个以上的图像；
在基于从所述一个以上的图像得到的信息而预测所述车辆会从行驶中的行驶车道脱离的情况下，基于与所述一个以上的图像中的对象相关的变化来决定对所述车辆的驾驶员进行通知的通知强度，并使通知部进行所决定的通知强度的通知。
CN202310612696.2A 2022-05-31 2023-05-26 驾驶支援装置、驾驶支援单元、存储介质及驾驶支援方法 Pending CN117152946A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-089203 2022-05-31
JP2022089203A JP2023176757A (ja) 2022-05-31 2022-05-31 運転支援装置、運転支援ユニット、アプリケーションプログラム、運転支援方法、およびプログラム

Publications (1)

Publication Number Publication Date
CN117152946A true CN117152946A (zh) 2023-12-01

Family

ID=88877667

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310612696.2A Pending CN117152946A (zh) 2022-05-31 2023-05-26 驾驶支援装置、驾驶支援单元、存储介质及驾驶支援方法

Country Status (3)

Country Link
US (1) US20230382299A1 (zh)
JP (1) JP2023176757A (zh)
CN (1) CN117152946A (zh)

Also Published As

Publication number Publication date
JP2023176757A (ja) 2023-12-13
US20230382299A1 (en) 2023-11-30

Similar Documents

Publication Publication Date Title
EP2485203B1 (en) Vehicle-surroundings monitoring device
EP2352136B1 (en) System for monitoring the area around a vehicle
WO2018092265A1 (ja) 運転支援装置および運転支援方法
US20150344032A1 (en) Driver assistance apparatus capable of performing distance detection and vehicle including the same
EP3194211B1 (en) Driver assist system utilizing an inertial sensor
JP2006327527A (ja) 車両の走行安全装置
WO2005036371A2 (en) Moving object detection using low illumination depth capable computer vision
EP3207494B1 (en) Systems and methods for traffic sign validation
CN106314424B (zh) 基于汽车的超车辅助方法、装置及汽车
EP3447609B1 (en) Information display method and display control device
US20210031769A1 (en) Following target identification system and following target identification method
JP7234614B2 (ja) 異常検出装置、異常検出システム及び異常検出プログラム
CN117152946A (zh) 驾驶支援装置、驾驶支援单元、存储介质及驾驶支援方法
CN112528719A (zh) 推定装置、推定方法以及存储介质
JP2020086956A (ja) 撮影異常診断装置
CN115593403A (zh) 一种车辆侧方盲区防碰撞的预警方法
KR101872477B1 (ko) 차량
JP2019121274A (ja) 通知装置及び車載機
CN109070748B (zh) 信息处理装置和显示数据决定方法
CN115131749A (zh) 图像处理装置、图像处理方法以及计算机可读取存储介质
WO2016058634A1 (en) Systems and methods for traffic sign assistance
KR20150074753A (ko) 차량 운전 보조 장치 및 이를 구비한 차량
WO2014090957A1 (en) Method for switching a camera system to a supporting mode, camera system and motor vehicle
CN221272983U (zh) 一种基于道路障碍物高度的碰撞预警系统
JP2023166227A (ja) 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination