CN109747658A - 车辆的控制装置 - Google Patents

车辆的控制装置 Download PDF

Info

Publication number
CN109747658A
CN109747658A CN201811306881.4A CN201811306881A CN109747658A CN 109747658 A CN109747658 A CN 109747658A CN 201811306881 A CN201811306881 A CN 201811306881A CN 109747658 A CN109747658 A CN 109747658A
Authority
CN
China
Prior art keywords
driver
mentioned
vehicle
face
monitoring camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811306881.4A
Other languages
English (en)
Inventor
佐藤润
原健一郎
春日井纯也
山内航一郎
友末和宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN109747658A publication Critical patent/CN109747658A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/082Selecting or switching between different modes of propelling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0061Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • B60W2040/0827Inactivity or incapacity of driver due to sleepiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • G06V40/175Static expression

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本发明抑制驾驶员的脸部识别的精度的降低。车辆的控制装置(80)具备:驾驶员状态监视部(95),其根据驾驶员监视照相机(31)的拍摄图像来监视驾驶员的状态。驾驶员状态监视部(95)构成为根据驾驶员监视照相机(31)的拍摄图像来对驾驶员的脸部是否收进驾驶员监视照相机(31)的视角内进行判定,在判定为驾驶员的脸部未收进驾驶员监视照相机(31)的视角内时,经由信息提供装置(61)向驾驶员提供与为了使驾驶员的脸部收进视角内所需要的动作相关的动作信息。

Description

车辆的控制装置
技术领域
本发明涉及车辆的控制装置。
背景技术
在专利文献1中,作为现有的车辆的控制装置,公开了一种构成为根据利用驾驶员监视照相机测定出的驾驶员的闭眼率来进行驾驶员的状态是否为适于驾驶的状态的判断的车辆的控制装置。
专利文献1:日本特开2012-218592号公报
然而,在利用驾驶员监视照相机进行驾驶员的脸部识别的情况下,根据驾驶员的姿势、体格不同,存在驾驶员的脸部的一部分未收进驾驶员监视照相机的视角内、驾驶员的脸部识别的精度降低的担忧。
发明内容
本发明是着眼于这样的问题点而完成的,其目的在于抑制驾驶员的脸部识别的精度的降低。
为了解决上述课题,根据本发明的某形态,车辆的控制装置用于控制具备如下部件的车辆,即:驾驶员监视照相机,其拍摄本车辆的驾驶员的脸部;信息提供装置,其用于向本车辆的驾驶员提供信息,上述车辆的控制装置具备:驾驶员状态监视部,其根据驾驶员监视照相机的拍摄图像来监视驾驶员的状态。驾驶员状态监视部构成为根据驾驶员监视照相机的拍摄图像对驾驶员的脸部是否收进驾驶员监视照相机的视角内进行判定,在判定为驾驶员的脸部未收进驾驶员监视照相机的视角内时,经由信息提供装置向驾驶员提供与为了使驾驶员的脸部收进视角内所需的动作相关的动作信息。
根据本发明的该形态,能够抑制驾驶员的脸部识别的精度的降低。
附图说明
图1是本发明的第一实施方式的车辆用自动驾驶系统的简要结构图。
图2是搭载了本发明的第一实施方式的自动驾驶系统的本车辆的简要外观图。
图3是搭载了本发明的第一实施方式的自动驾驶系统的本车辆的简要内观图。
图4是对本发明的第一实施方式的驾驶员监视控制进行说明的流程图。
图5是对本发明的第一实施方式的自动驾驶控制进行说明的流程图。
图6是本发明的第二实施方式的车辆用自动驾驶系统的简要结构图。
图7是对本发明的第二实施方式的照相机位置控制进行说明的流程图。
附图标记说明:
1…本车辆;31…驾驶员监视照相机;61…信息提供装置;80…电子控制单元(控制装置);90…自动驾驶控制部;95…驾驶员状态监视部;96…照相机位置控制部。
具体实施方式
以下,参照附图对本发明的实施方式详细地进行说明。此外,在以下的说明中,对同样的构成要素标注相同的附图标记。
(第一实施方式)
图1是本发明的第一实施方式的车辆用自动驾驶系统100的简要结构图。图2是搭载了本实施方式的自动驾驶系统100的本车辆1的简要外观图。图3是搭载了本实施方式的自动驾驶系统100的本车辆1的简要内观图。
如图1所示,本实施方式的自动驾驶系统100具备:周边环境信息取得装置10、本车辆信息取得装置20、驾驶员信息取得装置30、地图数据库40、存储装置50、人机接口(HumanMachine Interface;以下称为“HMI”)60、导航装置70以及电子控制单元80。
周边环境信息取得装置10是用于取得本车辆周边的障碍物(例如建筑物、道路上的前车、后车、对向车之类的行驶车辆、停止车辆、路缘石、落下物、行人等)、气候之类的与本车辆1的周边环境状态相关的信息(以下“周边环境信息”)的装置。如图1~图3所示,本实施方式的周边环境信息取得装置10具备:光学雷达(LIDAR;Laser Imaging Detection AndRanging:激光成像探测与测距)11、毫米波雷达传感器12、外部照相机13、照度传感器14、雨水传感器15以及外部信息接收装置16。
光学雷达11利用激光对本车辆周边的道路、障碍物进行检测。如图2所示,在本实施方式中,光学雷达11安装于本车辆1的车顶上。光学雷达11朝向本车辆1的整个周围依次照射激光,并根据该反射光对至道路以及本车辆周边的障碍物为止的距离进行计量。而且,光学雷达11根据该计量结果生成本车辆1的整个周围的道路以及障碍物的三维图像,并将生成的三维图像的信息发送至电子控制单元80。
此外,只要能够取得为了生成三维图像所需的信息,光学雷达11的安装位置、个数并不特别限定。例如可以分割地安装于本车辆1的格栅或前照灯、制动灯之类的灯类的内部,也可以分割地安装于本车辆1的车辆主体部分(骨架)。
毫米波雷达传感器12利用电波对比光学雷达11处于更远距离的本车辆周边的障碍物进行检测。如图2所示,在本实施方式中毫米波雷达传感器12分别安装于本车辆1的前保险杠及后保险杠。毫米波雷达传感器12向本车辆1的周围(在本实施方式中为本车辆1的前方、后方以及侧方)发射电波,并根据该反射波对距本车辆周边的障碍物的距离、与该障碍物的相对速度进行计量。而且,毫米波雷达传感器12将该计量结果作为本车辆周边信息发送至电子控制单元80。
此外,只要能够取得所需的本车辆周边信息,毫米波雷达传感器12的安装位置、个数并不特别限定。例如,可以安装于本车辆1的格栅或前照灯、制动灯之类的灯类的内部,也可以安装于本车辆1的车辆主体部分(骨架)。
外部照相机13拍摄本车辆1的前方。如图2所示,在本实施方式中,外部照相机13安装于本车辆1的车顶前端的中央部。外部照相机13进行拍摄到的本车辆前方的影像的图像处理,由此对本车辆前方的障碍物信息、行驶车道的车道宽、道路形状、道路标志、白线的有无、信号灯的状态之类的本车辆前方的道路信息、偏航角(车辆相对于行驶车道的相对方向)、相对于行驶车道中央的车辆偏移位置之类的本车辆1的行驶信息、雨、雪、雾之类的本车辆周边的气象信息等进行检测。而且,外部照相机13将检测出的这些拍摄信息发送至电子控制单元80。
此外,只要能够拍摄本车辆1的前方,外部照相机13的安装位置、个数不特别限定。例如可以安装于本车辆内的前挡风玻璃里面的中央上部。
照度传感器14对本车辆周围的照度进行检测。如图3所示,在本实施方式中,照度传感器14安装于本车辆内的仪表板的上表面。照度传感器14将检测出的本车辆周围的照度信息发送至电子控制单元80。
雨水传感器15对降水的有无以及降水量进行检测。如图2所示,在本实施方式中,雨水传感器15安装于本车辆1的前挡风玻璃表面的中央上部。雨水传感器15将由内置的发光元件产生的光朝向前挡风玻璃表面照射,对此时的反射光的变化进行计量,从而对降水的有无、降水量之类的降水信息进行检测。而且,雨水传感器15将检测出的降水信息发送至电子控制单元80。
外部信息接收装置16例如对从道路交通信息通信系统中心等外部的通信中心发送来的交通阻塞信息、气象信息(雨、雪、雾、风速等信息)等外部信息进行接收。外部信息接收装置16将接收到的外部信息发送至电子控制单元80。
本车辆信息取得装置20是用于取得本车辆1的速度、加速度、姿势、当前位置之类的与本车辆1的状态相关的信息(以下称为“本车辆信息”)的装置。如图1所示,本实施方式的本车辆信息取得装置20具备车速传感器21、加速度传感器22、偏航率传感器23以及GPS接收机24。
车速传感器21是用于检测本车辆1的速度的传感器。车速传感器21将检测出的本车辆1的车速信息发送至电子控制单元80。
加速度传感器22是用于对加速时、制动时的本车辆1的加速度进行检测的传感器。加速度传感器22将检测出的本车辆1的加速度信息发送至电子控制单元80。
偏航率传感器23是用于检测本车辆1的姿势的传感器,详细地说,本车辆1的转弯时的偏航角的变化速度即绕本车辆1的铅垂轴的旋转角速度(偏航率)进行检测。偏航率传感器23将检测出的本车辆1的姿势信息发送至电子控制单元80。
GPS接收机24接收来自三个以上的GPS卫星的信号来确定本车辆1的纬度以及经度,对本车辆1的当前位置进行检测。GPS接收机24将检测出的本车辆1的当前位置信息发送至电子控制单元80。
驾驶员信息取得装置30适用于取得与本车辆1的驾驶员的状态相关的信息(以下称为“驾驶员信息”)的装置。如图1以及图3所示,本实施方式的驾驶员信息取得装置30具备驾驶员监视照相机31、方向盘触摸传感器32以及落座传感器33。
驾驶员监视照相机31安装于转向柱34的上表面,拍摄驾驶员的外观。驾驶员监视照相机31对拍摄到的驾驶员的影像进行图像处理,从而对驾驶员的表情、姿势之类的驾驶员的外观信息进行检测。而且,驾驶员监视照相机31将检测出的驾驶员的外观信息发送至电子控制单元80。
转向柱34具备能够将转向柱34的上下位置(角度)及前后位置(长度)调整为任意位置的电动倾斜、伸缩机构。通过该电动倾斜、伸缩机构能够自动变更安装于转向柱34的上表面的驾驶员监视照相机31的拍摄位置。
方向盘触摸传感器32安装于方向盘。方向盘触摸传感器32对驾驶员是否把持着方向盘进行检测,并将检测出的方向盘的把持信息发送至电子控制单元80。
落座传感器33设置于座椅的座面下部。落座传感器33根据施加于座椅的座面的载荷来对驾驶员的体重、体格(坐高、身高)等进行检测,并将来自检测过的座椅的输入信息发送至电子控制单元80。
地图数据库40是与地图信息相关的数据库。该地图数据库40例如存储在搭载于车辆的硬盘驱动器(HDD;Hard DiskDrive)内。地图信息包括道路的位置信息、道路形状的信息(例如弯道与直道的种类、弯道的曲率等)、十字路口以及分岔道口的位置信息、道路种类等信息等。
存储装置50存储自动驾驶专用的道路地图。自动驾驶专用的道路地图是电子控制单元80根据光学雷达11生成的三维图像而制成的,由电子控制单元80常时或定期更新。
HMI60是用于在驾驶员或车辆乘客与自动驾驶系统100之间进行信息的输入输出的接口。本实施方式的HMI60具备:信息提供装置61,其用于向驾驶员提供各种信息;话筒62,其用于识别驾驶员的声音;以及触摸面板、操作按钮等输入操作器63,其用于供驾驶员进行输入操作。
信息提供装置61具备显示器611,其用于显示文字信息、图像信息;和扬声器612,其用于产生声音。
导航装置70是将本车辆1引导至由驾驶员经由HMI60设定的目的地为止的装置。导航装置70根据由GPS接收机24检测出的本车辆1的当前位置信息与地图数据库40的地图信息来设定至目的地为止的行驶路径,并将与设定好的行驶路径相关的信息作为导航信息发送至电子控制单元80。
电子控制单元80是具备通过双向总线相互连接的中央运算装置(CPU)、读出专用存储器(ROM)、随机访问存储器(RAM)、输入端口以及输出端口的微机。
电子控制单元80构成为具备自动驾驶控制部90,在驾驶员从手动驾驶模式(驾驶员进行加速、转向操纵以及制动所涉及的驾驶操作的模式)切换成了自动驾驶模式时能够实施自动驾驶,即自动地进行加速、转向操纵以及制动所涉及的驾驶操作使车辆行驶。具体而言,自动驾驶控制部90构成为具备目标行驶路径设定部91、目标行驶路线设定部92以及驾驶操作实施部93。
目标行驶路径设定部91对自动驾驶模式中的车辆的目标行驶路径进行设定。具体而言,目标行驶路径设定部91将导航信息所包括的至目的地为止的行驶路径设定为目标行驶路径。
目标行驶路线设定部92对在目标行驶路径上的行驶车道行驶时的目标行驶路线进行设定。具体而言,目标行驶路线设定部92根据本车辆周边的障碍物信息(前车、落下物等的信息)、行驶车道的车道宽、道路形状之类的本车辆前方的道路信息、本车辆的车速信息来将能够以与道路状况(拥挤度、道路形状、路面状态等)对应的适当的车速通过本车辆前方的道路的行驶路线设定为目标行驶路线。
驾驶操作实施部93自动地实施加速、转向操纵以及制动所涉及的驾驶操作以使车辆沿着目标行驶路线行驶。具体而言,驾驶操作实施部93根据周边环境信息、本车辆信息以及需求,基于驾驶员信息等各种信息对为了进行加速、转向操纵以及制动所涉及的驾驶操作所需的各种控制部件进行控制,自动地实施车辆的驾驶操作。
另外,电子控制单元80构成为除了具备自动驾驶控制部90之外还具备驾驶辅助实施部94,能够自动地实施手动驾驶模式中以及自动驾驶模式中的目的在于驾驶员的安全确保等的各种驾驶辅助。
为了进行这样的驾驶辅助,本实施方式的驾驶辅助实施部94构成为具备驾驶员状态监视部95,例如在驾驶员未专注驾驶等而疏忽周边监视时能够实施提醒注意等与驾驶员状态对应的适当的驾驶辅助,上述驾驶员状态监视部95对由驾驶员监视照相机31拍摄到的驾驶员的图像进行监视,即根据上述驾驶员的外观信息对驾驶员的状态进行监视。
具体而言,驾驶员状态监视部95根据驾驶员的外观信息所包括的驾驶员的两眼的位置、鼻的位置、两眼的间隔等对驾驶员的脸部进行识别,监视驾驶员的脸部朝向、视线方向等。
然而,根据驾驶员的姿势、体格不同,存在驾驶员的脸部的一部分未收进驾驶员监视照相机31的视角内而不可见导致驾驶员的脸部的识别精度降低的担忧。这样一来,例如存在尽管驾驶员专注驾驶等但也提醒注意等无法实施适当的驾驶辅助的担忧。另外,在驾驶员的脸部的识别精度显著降低而无法正常识别驾驶员的脸部的情况下,存在无法实施驾驶员状态的监视本身的担忧。并且,从驾驶员的安全确保的观点考虑,优选尽量避免在驾驶员的脸部的识别精度降低而无法充分监视驾驶员的状态的状况下不采取任何措施就实施自动驾驶。
因此,在本实施方式中,将驾驶员状态监视部95构成为在驾驶员的脸部的一部分未收进驾驶员监视照相机31的视角内时,能够通过文字、声音向驾驶员通知用于提示为了使驾驶员的脸部收进视角内所需的动作的信息。
另外,从驾驶员的安全确保的观点考虑,将自动驾驶控制部90构成为在驾驶员的脸部未收进驾驶员监视照相机31视角内时,只在驾驶员把持着方向盘时能够实施自动驾驶。以下,对该本实施方式的驾驶员状态监视控制以及自动驾驶控制进行说明。
图4是对本实施方式的驾驶员监视控制进行说明的流程图。电子控制单元80在车辆的驾驶中按照规定的运算周期反复实施本程序。
在步骤S1中,电子控制单元80根据驾驶员外观信息所包括的驾驶员的两眼的位置、鼻的位置、两眼的间隔等进行驾驶员的脸部识别。
在步骤S2中,电子控制单元80根据驾驶员的脸部识别结果对驾驶员的脸部是否收进驾驶员监视照相机31的视角内进行判定。例如在电子控制单元80进行了驾驶员的脸部识别的结果是脸部的一部分不可见的情况下等,判定为驾驶员的脸部未收进驾驶员监视照相机31的视角内。若驾驶员的脸部收进驾驶员监视照相机31的视角内,则电子控制单元80进入至步骤S3的处理。另一方面,若驾驶员的脸部未收进驾驶员监视照相机31的视角内,则电子控制单元80进入至步骤S5的处理。
在步骤S3中,电子控制单元80将标志F1设定为1。标志F1是驾驶员的脸部收进驾驶员监视照相机31的视角内时设定为1、驾驶员的脸部未收进驾驶员监视照相机31的视角内时设定为0的标志。标志F1的初始值设定为0。
在步骤S4中,电子控制单元80根据驾驶员的脸部识别结果来检测驾驶员的脸部朝向、视线方向等,进行驾驶员状态的监视。
在步骤S5中,电子控制单元80将标志F1设定为0。
在步骤S6中,电子控制单元80经由信息提供装置61向驾驶员提供用于提示为了使驾驶员的脸部收进视角内所需的动作的信息(以下称为“动作信息”)。
动作信息例如是“请调整姿势”、“请变更脸部的位置”之类的内容的文字信息、声音信息。将这样的动作信息经由信息提供装置61提供给驾驶员,从而能够相对于驾驶员提示为了使驾驶员的脸部收进驾驶员监视照相机31的视角内所需的动作。
此外,也可以根据从驾驶员监视照相机31的视角内不可见的驾驶员的脸部的不可见部分来变更动作信息的内容。例如,若为驾驶员的眼睛不可见的情况下,则可以将动作信息的内容变更为“眼睛不可见,所以请降低脸部的位置”之类的内容的信息。由此,作为用于使驾驶员的脸部收进驾驶员监视照相机31的视角内的动作,能够相对于驾驶员提示与脸部的不可见部分对应的准确动作。
另外,可以根据从驾驶员监视照相机31的视角内不可见的驾驶员的脸部的不可见程度来变更动作信息的内容。例如若为驾驶员的脸部在上侧不可见的情况下,则可以根据相对于视角中心的偏移量[cm]将动作信息的内容变更为“请将脸部的位置降低几厘米”之类的内容的信息。由此,作为用于将驾驶员的脸部收进驾驶员监视照相机31的视角内的动作,能够相对驾驶员提示与脸部的不可见程度对应的准确动作。
图5是对本实施方式的自动驾驶控制进行说明的流程图。电子控制单元80在车辆的驾驶中按照规定的运算周期反复实施本程序。
在步骤S11中,电子控制单元80对是否存在自动驾驶要求进行判定。具体而言,电子控制单元80对驾驶模式是否切换为自动驾驶模式进行判定。若驾驶模式切换为自动驾驶模式,则电子控制单元80判定为存在自动驾驶要求,进入至步骤S12的处理。另一方面,若驾驶模式为手动驾驶模式,则电子控制单元80判定为不存在自动驾驶要求,结束本次处理。
在步骤S12中,电子控制单元80在驾驶员监视控制中读入随时设定、更新的标志F1的值,对标志F1的值是否为1进行判定。即电子控制单元80对是否处于驾驶员的脸部收进驾驶员监视照相机31的视角内、能够充分监视驾驶员的状态的状况进行判定。若标志F1的值为1,则电子控制单元80判定为能够充分监视驾驶员的状态,进入至步骤S13的处理。另一方面,若标志F1的值为0,则电子控制单元80判定为无法充分监视驾驶员的状态,进入至步骤S14的处理。
在步骤S13中,电子控制单元80允许自动驾驶的实施,实施自动驾驶。
在步骤S14中,电子控制单元80根据方向盘的把持信息对驾驶员是否把持着方向盘进行判定。若驾驶员把持着方向盘,则即便在处于无法充分监视驾驶员的状态的状况下,电子控制单元80也判断为实施自动驾驶时能够确保最低限度的安全,进入至步骤S13的处理。另一方面,若驾驶员未把持着方向盘,则电子控制单元80进入至步骤S15的处理。
在步骤S15中,电子控制单元80禁止自动驾驶的实施。具体而言,当存在自动驾驶的开始要求时,电子控制单元80在驾驶员的脸部收进驾驶员监视照相机31的视角内或驾驶员把持方向盘以前一直保留自动驾驶的开始。另外,当处于自动驾驶的实施中时,例如经由信息提供装置61向驾驶员要求驾驶操作的交替,以便在驾驶员的脸部收进驾驶员监视照相机31的视角内或驾驶员把持方向盘以前一直中断自动驾驶。
根据以上说明过的本实施方式,用于对具备拍摄本车辆的驾驶员的脸部的驾驶员监视照相机31和用于向本车辆的驾驶员提供信息的信息提供装置61的车辆进行控制的电子控制单元80(控制装置)具备驾驶员状态监视部95,该驾驶员状态监视部95根据驾驶员监视照相机31的拍摄图像来监视驾驶员的状态。
而且,驾驶员状态监视部95构成为根据驾驶员监视照相机31的拍摄图像对驾驶员的脸部是否收进驾驶员监视照相机31的视角内进行判定,在判定为驾驶员的脸部未收进驾驶员监视照相机31的视角内时,经由信息提供装置61向驾驶员提供与为了使驾驶员的脸部收进视角内所需的动作相关的动作信息。
由此,能够相对于驾驶员提示为了使驾驶员的脸部收进驾驶员监视照相机31的视角内所需的动作,因而能够抑制驾驶员的脸部的识别精度的降低。
此时,若将驾驶员状态监视部95构成为根据从驾驶员监视照相机31的视角内不可见的驾驶员的脸部的不可见部分变更提供给驾驶员的动作信息的内容,则作为用于使驾驶员的脸部收进驾驶员监视照相机31的视角内的动作,能够相对于驾驶员提示与脸部的不可见部分对应的准确动作。因此,能够有效地抑制驾驶员的脸部识别的精度的降低。
另外,若将驾驶员状态监视部95构成为根据驾驶员的脸部从驾驶员监视照相机31的视角内的不可见程度来变更提供给驾驶员的动作信息的内容,则作为用于使驾驶员的脸部收进驾驶员监视照相机31的视角内的动作,能够相对于驾驶员提示与脸部的不可见程度对应的准确动作。因此,能够有效地抑制驾驶员的脸部识别的精度的降低。
另外,本实施方式的电子控制单元80(控制装置)还具备自动驾驶控制部90,该自动驾驶控制部90实施自动地进行车辆的驾驶操作的自动驾驶,自动驾驶控制部90构成为根据针对车辆的方向盘的来自驾驶员的输入信息对驾驶员是否把持着方向盘进行判定,在判定为驾驶员的脸部未收进驾驶员监视照相机31的视角内的情况下,只有在驾驶员把持着方向盘时才允许自动驾驶。
由此,即便是驾驶员的脸部识别的精度降低的状况,也能够以确保安全的状态实施自动驾驶。
(第二实施方式)
对本发明的第二实施方式进行说明。本实施方式在开始驾驶员状态的监视时根据驾驶员的体格将驾驶员监视照相机31的拍摄位置自动地调节为适当的位置这点与第一实施方式不同。以下,以该不同点为中心进行说明。
在转向柱具备电动倾斜、伸缩机构的情况下等,能够自动地变更安装于转向柱的上表面的驾驶员监视照相机31的拍摄位置。
因此,例如在车辆的启动时、自动驾驶的开始时等,在开始驾驶员状态的监视时,若能够根据驾驶员的体格将驾驶员监视照相机31的拍摄位置自动地调节为适当的位置,则能够降低驾驶员的脸部未收进驾驶员监视照相机31的视角内的概率,进而能够抑制脸部识别的精度降低。
因此,在本实施方式中,在开始驾驶员状态的监视时,能够根据驾驶员的体格将驾驶员监视照相机31的拍摄位置调节为适当的位置。
图6是本发明的第二实施方式的车辆用自动驾驶系统100的简要结构图。
如图6所示,本实施方式的电子控制单元80还具备照相机位置控制部96。在开始驾驶员状态的监视时,照相机位置控制部96根据驾驶员的体格将驾驶员监视照相机31的拍摄位置调节为适当的位置。以下,对该本实施方式的照相机位置控制进行说明。
图7是对本实施方式的照相机位置控制进行说明的流程图。
在步骤S21中,电子控制单元80对是否为开始驾驶员状态的监视时进行判定。在本实施方式中,电子控制单元80对是否为车辆的启动时进行判定,但判定时机并不局限于此,例如也可以是自动驾驶的开始时。另外,若为能够根据驾驶员的意思打开/关闭驾驶员状态的监视的情况,则可以是驾驶员打开了驾驶员状态的监视时。
在步骤S22中,电子控制单元80根据来自由落座传感器33检测出的座椅的输入信息来推断驾驶员的坐高。
在步骤S23中,电子控制单元80根据驾驶员的坐高来设定驾驶员监视照相机31的目标初始位置,并控制转向柱的电动倾斜、伸缩机构以成为该目标初始位置。此外,在本实施方式中,能够预先通过实验等求出驾驶员的坐高与脸部的平均位置关系,通过参照总结出上述关系的映像,根据驾驶员的坐高来设定驾驶员监视照相机31的目标初始位置。
以上说明过的本实施方式的电子控制单元80还具备照相机位置控制部96,该照相机位置控制部96对用于自动调节驾驶员监视照相机31的位置的电动倾斜、伸缩机构(照相机位置调节机构)进行控制,照相机位置控制部96根据来自驾驶员落座的座椅的输入信息来推断驾驶员的坐高,根据该坐高来设定驾驶员监视照相机31的目标初始位置,并控制电动倾斜、伸缩机构以成为该目标初始位置。
这样,根据驾驶员的坐高自动调整驾驶员监视照相机31的初始位置,从而能够降低驾驶员的脸部未收进驾驶员监视照相机31的视角内的概率。因此,能够抑制驾驶员的脸部识别的精度降低。
以上,对本发明的实施方式进行了说明,但上述实施方式只不过示出本发明的应用例的一部分,其主旨并不在于将本发明的技术范围限定于上述实施方式的具体结构。

Claims (5)

1.一种车辆的控制装置,其用于控制具备如下部件的车辆,即:
驾驶员监视照相机,其拍摄本车辆的驾驶员的脸部;和
信息提供装置,其用于向本车辆的驾驶员提供信息,
其中,所述车辆的控制装置具备:
驾驶员状态监视部,其根据上述驾驶员监视照相机的拍摄图像监视驾驶员的状态,
上述驾驶员状态监视部构成为根据上述驾驶员监视照相机的拍摄图像对驾驶员的脸部是否收进上述驾驶员监视照相机的视角内进行判定,
在判定为驾驶员的脸部未收进上述驾驶员监视照相机的视角内时,上述驾驶员状态监视部经由上述信息提供装置向驾驶员提供与为使驾驶员的脸部收进上述视角内所需的动作相关的动作信息。
2.根据权利要求1所述的车辆的控制装置,其中,
还具备自动驾驶控制部,其实施自动地进行上述车辆的驾驶操作的自动驾驶,
上述自动驾驶控制部构成为根据针对上述车辆的方向盘的来自驾驶员的输入信息对驾驶员是否把持着方向盘进行判定,
在判定为驾驶员的脸部未收进上述视角内的情况下,上述自动驾驶控制部只有在驾驶员把持着方向盘时才允许上述自动驾驶。
3.根据权利要求1或2所述的车辆的控制装置,其中,
上述驾驶员状态监视部构成为根据从上述驾驶员监视照相机的视角内不可见的驾驶员的脸部的不可见部分变更提供给驾驶员的上述动作信息的内容。
4.根据权利要求1或2所述的车辆的控制装置,其中,
上述驾驶员状态监视部构成为根据从上述驾驶员监视照相机的视角内不可见的驾驶员的脸部的不可见程度变更提供给驾驶员的上述动作信息的内容。
5.根据权利要求1~4中任一项所述的车辆的控制装置,其中,
还具备照相机位置控制部,其对用于自动调节上述驾驶员监视照相机的位置的照相机位置调节机构进行控制,
上述照相机位置控制部构成为根据来自驾驶员落座的座椅的输入信息来推断驾驶员的坐高,
根据上述坐高设定上述驾驶员监视照相机的目标初始位置,并控制上述照相机位置调节机构以成为该目标初始位置。
CN201811306881.4A 2017-11-07 2018-11-05 车辆的控制装置 Pending CN109747658A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-214631 2017-11-07
JP2017214631A JP6930383B2 (ja) 2017-11-07 2017-11-07 車両の制御装置

Publications (1)

Publication Number Publication Date
CN109747658A true CN109747658A (zh) 2019-05-14

Family

ID=66328275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811306881.4A Pending CN109747658A (zh) 2017-11-07 2018-11-05 车辆的控制装置

Country Status (3)

Country Link
US (1) US10427690B2 (zh)
JP (1) JP6930383B2 (zh)
CN (1) CN109747658A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111267801A (zh) * 2020-02-19 2020-06-12 吉林大学 一种面向智能辅助驾驶的汽车自适应制动系统及其控制方法
CN112849148A (zh) * 2021-01-11 2021-05-28 重庆长安汽车股份有限公司 一种自动驾驶功能控制方法、自动驾驶系统、汽车、控制器及计算机可读存储介质
CN113044060A (zh) * 2019-12-11 2021-06-29 丰田自动车株式会社 驾驶意识推定装置
CN116118813A (zh) * 2023-01-12 2023-05-16 北京蓝天多维科技有限公司 一种铁路机车行驶安全的智能监测预警方法及系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102552490B1 (ko) * 2018-01-03 2023-07-06 현대자동차주식회사 차량용 영상 처리 장치 및 방법
JP6973298B2 (ja) * 2018-05-31 2021-11-24 トヨタ自動車株式会社 物体監視装置
CN110261131B (zh) * 2019-06-21 2021-06-29 北京迈格威科技有限公司 汽车模拟驾驶舱图像数据处理方法及装置
CN112622916A (zh) * 2019-10-08 2021-04-09 株式会社斯巴鲁 车辆的驾驶辅助系统
US10838056B1 (en) * 2019-12-25 2020-11-17 NextVPU (Shanghai) Co., Ltd. Detection of target
CN113335296B (zh) * 2021-06-24 2022-11-29 东风汽车集团股份有限公司 一种分心驾驶自适应检测系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06178302A (ja) * 1992-12-02 1994-06-24 Mitsubishi Electric Corp 運転者撮影装置
JP2008273521A (ja) * 2008-08-18 2008-11-13 Toyota Motor Corp 移動体の自動運転装置
JP4935762B2 (ja) * 2008-06-05 2012-05-23 トヨタ自動車株式会社 顔画像処理装置
JP5233322B2 (ja) * 2008-02-28 2013-07-10 オムロン株式会社 情報処理装置および方法、並びに、プログラム
CN105938365A (zh) * 2015-03-02 2016-09-14 丰田自动车株式会社 车辆控制装置
CN107077780A (zh) * 2014-10-30 2017-08-18 三菱电机株式会社 车载设备、自动驾驶车辆、自动驾驶辅助系统、自动驾驶监视装置、道路管理装置及自动驾驶信息收集装置
CN107176165A (zh) * 2016-03-10 2017-09-19 丰田自动车株式会社 车辆的控制装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101544524B1 (ko) * 2010-12-16 2015-08-17 한국전자통신연구원 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법
JP5782793B2 (ja) 2011-04-08 2015-09-24 日産自動車株式会社 車載機器制御装置
US10719724B2 (en) * 2016-08-23 2020-07-21 Blinkeyelabs Electronics Private Limited Safety system for an automobile
DE112018001403T5 (de) * 2017-04-27 2019-12-05 Robert Bosch Gmbh Fahrzeugmontiertes virtuelles Blendschutzsystem und Verfahren dafür
US10268903B2 (en) * 2017-06-11 2019-04-23 Jungo Connectivity Ltd. Method and system for automatic calibration of an operator monitor

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06178302A (ja) * 1992-12-02 1994-06-24 Mitsubishi Electric Corp 運転者撮影装置
JP5233322B2 (ja) * 2008-02-28 2013-07-10 オムロン株式会社 情報処理装置および方法、並びに、プログラム
JP4935762B2 (ja) * 2008-06-05 2012-05-23 トヨタ自動車株式会社 顔画像処理装置
JP2008273521A (ja) * 2008-08-18 2008-11-13 Toyota Motor Corp 移動体の自動運転装置
CN107077780A (zh) * 2014-10-30 2017-08-18 三菱电机株式会社 车载设备、自动驾驶车辆、自动驾驶辅助系统、自动驾驶监视装置、道路管理装置及自动驾驶信息收集装置
CN105938365A (zh) * 2015-03-02 2016-09-14 丰田自动车株式会社 车辆控制装置
CN107176165A (zh) * 2016-03-10 2017-09-19 丰田自动车株式会社 车辆的控制装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113044060A (zh) * 2019-12-11 2021-06-29 丰田自动车株式会社 驾驶意识推定装置
CN111267801A (zh) * 2020-02-19 2020-06-12 吉林大学 一种面向智能辅助驾驶的汽车自适应制动系统及其控制方法
CN111267801B (zh) * 2020-02-19 2022-03-18 吉林大学 一种面向智能辅助驾驶的汽车自适应制动系统及其控制方法
CN112849148A (zh) * 2021-01-11 2021-05-28 重庆长安汽车股份有限公司 一种自动驾驶功能控制方法、自动驾驶系统、汽车、控制器及计算机可读存储介质
CN112849148B (zh) * 2021-01-11 2023-03-14 重庆长安汽车股份有限公司 一种自动驾驶功能控制方法、自动驾驶系统、汽车、控制器及计算机可读存储介质
CN116118813A (zh) * 2023-01-12 2023-05-16 北京蓝天多维科技有限公司 一种铁路机车行驶安全的智能监测预警方法及系统
CN116118813B (zh) * 2023-01-12 2024-07-19 北京蓝天多维科技有限公司 一种铁路机车行驶安全的智能监测预警方法及系统

Also Published As

Publication number Publication date
JP6930383B2 (ja) 2021-09-01
US10427690B2 (en) 2019-10-01
JP2019087013A (ja) 2019-06-06
US20190135294A1 (en) 2019-05-09

Similar Documents

Publication Publication Date Title
CN109747658A (zh) 车辆的控制装置
US10915100B2 (en) Control system for vehicle
US20220080993A1 (en) Vehicle automated driving system
US9507345B2 (en) Vehicle control system and method
CN108137052B (zh) 驾驶控制装置、驾驶控制方法和计算机可读介质
CN108137050B (zh) 驾驶控制装置、驾驶控制方法
US11327485B2 (en) Control device for vehicle, and vehicle
US10120378B2 (en) Vehicle automated driving system
US10067506B2 (en) Control device of vehicle
US10896338B2 (en) Control system
US10099692B2 (en) Control system for vehicle
US20160137127A1 (en) Road sign information display system and method in vehicle
JP2021120248A (ja) 車両制御装置
JP6720732B2 (ja) 車両の制御装置
CN108202669A (zh) 基于车车通信的不良天气视觉增强行车辅助系统及其方法
CN107408338A (zh) 驾驶员辅助系统
JP2018127084A (ja) 自動運転車両
WO2014076841A1 (ja) 表示装置、制御方法、プログラム、及び記憶媒体
JP6772527B2 (ja) 車両の制御装置
EP4102323B1 (en) Vehicle remote control device, vehicle remote control system, vehicle remote control method, and vehicle remote control program
JP2018005604A (ja) 車両の制御装置
JP2017193210A (ja) 車両の制御装置
JP2018185555A (ja) 車両の制御装置
US11897482B2 (en) Autonomous vehicle control for changing grip completion status in real-time to prevent unnecessary warning issuance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190514