JP2019087013A - 車両の制御装置 - Google Patents

車両の制御装置 Download PDF

Info

Publication number
JP2019087013A
JP2019087013A JP2017214631A JP2017214631A JP2019087013A JP 2019087013 A JP2019087013 A JP 2019087013A JP 2017214631 A JP2017214631 A JP 2017214631A JP 2017214631 A JP2017214631 A JP 2017214631A JP 2019087013 A JP2019087013 A JP 2019087013A
Authority
JP
Japan
Prior art keywords
driver
vehicle
information
face
monitor camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017214631A
Other languages
English (en)
Other versions
JP6930383B2 (ja
Inventor
佐藤 潤
Jun Sato
潤 佐藤
健一郎 原
Kenichiro Hara
健一郎 原
和寛 友末
Kazuhiro Tomosue
和寛 友末
純也 春日井
Junya Kasugai
純也 春日井
航一郎 山内
Koichiro Yamauchi
航一郎 山内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2017214631A priority Critical patent/JP6930383B2/ja
Priority to CN201811306881.4A priority patent/CN109747658A/zh
Priority to US16/180,099 priority patent/US10427690B2/en
Publication of JP2019087013A publication Critical patent/JP2019087013A/ja
Application granted granted Critical
Publication of JP6930383B2 publication Critical patent/JP6930383B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/082Selecting or switching between different modes of propelling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0061Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • B60W2040/0827Inactivity or incapacity of driver due to sleepiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • G06V40/175Static expression

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)

Abstract

【課題】ドライバの顔認識の精度の低下を抑制する。【解決手段】車両の制御装置80は、ドライバモニタカメラ31の撮影画像に基づいてドライバの状態を監視するドライバ状態監視部95を備える。ドライバ状態監視部95は、ドライバモニタカメラ31の撮影画像に基づいてドライバの顔がドライバモニタカメラ31の画角内に収まっているか否かを判定し、ドライバの顔がドライバモニタカメラ31の画角内に収まっていないと判定したときは、情報提供装置61を介してドライバに対してドライバの顔を画角内に収めるために必要な動作に関する動作情報を提供するように構成される。【選択図】図1

Description

本発明は車両の制御装置に関する。
特許文献1には、従来の車両の制御装置として、ドライバモニタカメラによって測定したドライバの閉眼率に基づいて、ドライバの状態が運転にふさわしい状態であるか否かの判断を行うように構成されたものが開示されている。
特開2012−218592号公報
しかしながら、ドライバモニタカメラによってドライバの顔認識を行う場合、ドライバの姿勢や体格によっては、ドライバの顔の一部がドライバモニタカメラの画角内に収まらず、ドライバの顔認識の精度が低下するおそれがある。
本発明はこのような問題点に着目してなされたものであり、ドライバの顔認識の精度の低下を抑制することを目的とする。
上記課題を解決するために、本発明のある態様によれば、自車両のドライバの顔を撮影するドライバモニタカメラと、自車両のドライバに情報を提供するための情報提供装置と、を備える車両を制御するための車両の制御装置が、ドライバモニタカメラの撮影画像に基づいて、ドライバの状態を監視するドライバ状態監視部を備える。ドライバ状態監視部は、ドライバモニタカメラの撮影画像に基づいて、ドライバの顔がドライバモニタカメラの画角内に収まっているか否かを判定し、ドライバの顔がドライバモニタカメラの画角内に収まっていないと判定したときは、情報提供装置を介してドライバに対してドライバの顔を画角内に収めるために必要な動作に関する動作情報を提供するように構成される。
本発明のこの態様によれば、ドライバの顔認識の精度の低下を抑制することができる。
図1は、本発明の第1実施形態による車両用の自動運転システムの概略構成図である。 図2は、本発明の第1実施形態による自動運転システムを搭載した自車両の概略外観図である。 図3は、本発明の第1実施形態による自動運転システムを搭載した自車両の概略内観図である。 図4は、本発明の第1実施形態によるドライバ監視制御について説明するフローチャートである。 図5は、本発明の第1実施形態による自動運転制御について説明するフローチャートである。 図6は、本発明の第2実施形態による車両用の自動運転システムの概略構成図である。 図7は、本発明の第2実施形態によるカメラ位置制御について説明するフローチャートである。
以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下の説明では、同様な構成要素には同一の参照番号を付す。
(第1実施形態)
図1は、本発明の第1実施形態による車両用の自動運転システム100の概略構成図である。図2は、本実施形態による自動運転システム100を搭載した自車両1の概略外観図である。図3は、本実施形態による自動運転システム100を搭載した自車両1の概略内観図である。
図1に示すように、本実施形態による自動運転システム100は、周辺環境情報取得装置10と、自車両情報取得装置20と、ドライバ情報取得装置30と、地図データベース40と、記憶装置50と、ヒューマン・マシン・インターフェース(Human Machine Interface;以下「HMI」という。)60と、ナビゲーション装置70と、電子制御ユニット80と、を備える。
周辺環境情報取得装置10は、自車両周辺の障害物(例えば建物や、道路上の先行車や後続車、対向車といった走行車両、停止車両、縁石、落下物、歩行者等)や天候といった自車両1の周辺環境状態に関する情報(以下「周辺環境情報」という。)を取得するための装置である。図1から図3に示すように、本実施形態による周辺環境情報取得装置10は、ライダ(LIDAR;Laser Imaging Detection And Ranging)11と、ミリ波レーダーセンサ12と、外部カメラ13と、照度センサ14と、レインセンサ15と、外部情報受信装置16と、を備える。
ライダ11は、レーザー光を利用して自車両周辺の道路や障害物を検出する。図2に示すように、本実施形態ではライダ11は、自車両1のルーフ上に取り付けられている。ライダ11は、自車両1の全周囲に向けてレーザー光を順次照射し、その反射光から道路及び自車両周辺の障害物までの距離を計測する。そしてライダ11は、その計測結果に基づいて自車両1の全周囲における道路及び障害物の三次元画像を生成し、生成した三次元画像の情報を電子制御ユニット80に送信する。
なお、ライダ11の取り付け箇所や個数は、三次元画像を生成するために必要な情報を取得できるのであれば特に限られるものではない。例えば、自車両1のグリルや、ヘッドライトやブレーキランプといったライト類の内部に分割して取り付けても良いし、自車両1の車両本体部分(骨格)に分割して取り付けても良い。
ミリ波レーダーセンサ12は、電波を利用してライダ11よりも遠距離に亘る自車両周辺の障害物を検出する。図2に示すように、本実施形態ではミリ波レーダーセンサ12は、自車両1のフロントバンパー及びリヤバンパーにそれぞれ取り付けられている。ミリ波レーダーセンサ12は、自車両1の周囲(本実施形態では自車両1の前方、後方及び側方)に電波を発射し、その反射波から自車両周辺の障害物までの距離や当該障害物との相対速度を計測する。そしてミリ波レーダーセンサ12は、その計測結果を自車両周辺情報として電子制御ユニット80に送信する。
なお、ミリ波レーダーセンサ12の取り付け箇所や個数は、必要な自車両周辺情報を取得できるのであれば特に限られるものではない。例えば、自車両1のグリルや、ヘッドライトやブレーキランプといったライト類の内部に取り付けても良いし、自車両1の車両本体部分(骨格)に取り付けても良い。
外部カメラ13は、自車両1の前方を撮影する。図2に示すように、本実施形態では外部カメラ13は、自車両1のルーフ先端の中央部に取り付けられている。外部カメラ13は、撮影した自車両前方の映像の画像処理を行うことで、自車両前方の障害物情報や、走行レーンの車線幅や道路形状、道路標識、白線の有無、信号機の状態といった自車両前方の道路情報、ヨー角(走行レーンに対する車両の相対的な方向)や走行レーン中央からの車両オフセット位置といった自車両1の走行情報、雨や雪、霧といった自車両周辺の気象情報などを検出する。そして外部カメラ13は、検出したこれらの撮影情報を電子制御ユニット80に送信する。
なお、外部カメラ13の取り付け箇所や個数は、自車両1の前方を撮影できるのであれば特に限られるものではない。例えば、自車両内のフロントガラス裏面の中央上部に取り付けても良い。
照度センサ14は、自車両周囲の照度を検出する。図2に示すように、本実施形態では、照度センサ14は自車両内のインストルメントパネルの上面に取り付けられている。照度センサ14は、検出した自車両周囲の照度情報を電子制御ユニット80に送信する。
レインセンサ15は、降水の有無及び降水量を検出する。図2に示すように、本実施形態では、レインセンサ15は自車両1のフロントガラス表面の中央上部に取り付けられている。レインセンサ15は、内蔵された発光素子によって生じさせた光をフロントガラス表面に向けて照射し、そのときの反射光の変化を計測することで、降水の有無や降水量といった降水情報を検出する。そしてレインセンサ15は、検出した降水情報を電子制御ユニット80に送信する。
外部情報受信装置16は、例えば道路交通情報通信システムセンタなどの外部の通信センタから送信されてくる渋滞情報や気象情報(雨や雪、霧、風速等の情報)などの外部情報を受信する。外部情報受信装置16は、受信した外部情報を電子制御ユニット80に送信する。
自車両情報取得装置20は、自車両1の速度や加速度、姿勢、現在位置といった自車両1の状態に関する情報(以下「自車両情報」という。)を取得するための装置である。図1に示すように、本実施形態による自車両情報取得装置20は、車速センサ21と、加速度センサ22と、ヨーレートセンサ23と、GPS受信機24と、を備える。
車速センサ21は、自車両1の速度を検出するためのセンサである。車速センサ21は、検出した自車両1の車速情報を電子制御ユニット80に送信する。
加速度センサ22は、加速時や制動時における自車両1の加速度を検出するためのセンサである。加速度センサ22は、検出した自車両1の加速度情報を電子制御ユニット80に送信する。
ヨーレートセンサ23は、自車両1の姿勢を検出するためのセンサであって、詳しくは自車両1の旋回時におけるヨー角の変化速度、すなわち自車両1の鉛直軸まわりの回転角速度(ヨーレート)を検出する。ヨーレートセンサ23は、検出した自車両1の姿勢情報を電子制御ユニット80に送信する。
GPS受信機24は、3個以上のGPS衛星からの信号を受信して自車両1の緯度及び経度を特定し、自車両1の現在位置を検出する。GPS受信機24は、検出した自車両1の現在位置情報を電子制御ユニット80に送信する。
ドライバ情報取得装置30は、自車両1のドライバの状態に関する情報(以下「ドライバ情報」という。)を取得するための装置である。図1及び図3に示すように、本実施形態によるドライバ情報取得装置30は、ドライバモニタカメラ31と、ステアリングタッチセンサ32と、着座センサ33と、を備える。
ドライバモニタカメラ31は、ステアリングコラム34の上面に取り付けられ、ドライバの外観を撮影する。ドライバモニタカメラ31は、撮影したドライバの映像を画像処理することで、ドライバの表情や姿勢といったドライバの外観情報を検出する。そしてドライバモニタカメラ31は、検出したドライバの外観情報を電子制御ユニット80に送信する。
ステアリングコラム34は、ステアリングコラム34の上下位置(角度)、及び前後位置(長さ)を任意の位置に調整可能な電動チルト・テレスコピック機構を備える。この電動チルト・テレスコピック機構によって、ステアリングコラム34の上面に取り付けられたドライバモニタカメラ31の撮影位置を自動で変更できるようになっている。
ステアリングタッチセンサ32は、ステアリングに取り付けられる。ステアリングタッチセンサ32は、ドライバがステアリングを把持しているか否かを検出し、検出したステアリングの把持情報を電子制御ユニット80に送信する。
着座センサ33は、シートの座面下部に設けられる。着座センサ33は、シートの座面に加わる荷重に基づいて、ドライバの体重や体格(座高や身長)等を検出し、検出したシートからの入力情報を電子制御ユニット80に送信する。
地図データベース40は、地図情報に関するデータベースである。この地図データベース40は、例えば車両に搭載されたハードディスクドライブ(HDD;Hard Disk Drive)内に記憶されている。地図情報には、道路の位置情報や道路形状の情報(例えばカーブと直線部の種別、カーブの曲率など)、交差点及び分岐点の位置情報、道路種別などの情報などが含まれる。
記憶装置50は、自動運転専用の道路地図を記憶する。自動運転専用の道路地図は、ライダ11が生成した三次元画像に基づいて電子制御ユニット80が作成しており、電子制御ユニット80によって常時又は定期的に更新される。
HMI60は、ドライバ又は車両乗員と自動運転システム100との間で情報の入出力を行うためのインターフェイスである。本実施形態によるHMI60は、ドライバに各種の情報を提供するための情報提供装置61と、ドライバの音声を認識するためのマイク62と、ドライバが入力操作を行うためのタッチパネルや操作ボタンなど入力操作器63と、を備える。
情報提供装置61は、文字情報や画像情報を表示するためのディスプレイ611と、音を発生させるためのスピーカ612と、を備える。
ナビゲーション装置70は、HMI60を介してドライバによって設定された目的地まで自車両1を案内する装置である。ナビゲーション装置70は、GPS受信機24で検出した自車両1の現在位置情報と地図データベース40の地図情報とに基づいて、目的地までの走行ルートを設定し、設定した走行ルートに関する情報をナビゲーション情報として電子制御ユニット80に送信する。
電子制御ユニット80は、双方向性バスによって相互に接続された中央演算装置(CPU)、読み出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、入力ポート、及び出力ポートを備えたマイクロコンピュータである。
電子制御ユニット80は、自動運転制御部90を備えており、ドライバが手動運転モード(加速、操舵、及び制動に関する運転操作をドライバが行うモード)から自動運転モードに切り替えたときに、加速、操舵、及び制動に関する運転操作を自動的に行って車両を走行させる自動運転を実施できるように構成される。具体的には自動運転制御部90は、目標走行ルート設定部91と、目標走行ライン設定部92と、運転操作実施部93と、を備えるように構成される。
目標走行ルート設定部91は、自動運転モード中における車両の目標走行ルートを設定する。具体的には目標走行ルート設定部91は、ナビゲーション情報に含まれる目的地までの走行ルートを目標走行ルートとして設定する。
目標走行ライン設定部92は、目標走行ルート上の走行レーンを走行する際の目標走行ラインを設定する。具体的には目標走行ライン設定部92は、自車両周辺の障害物情報(先行車や落下物などの情報)や、走行レーンの車線幅や道路形状といった自車両前方の道路情報、自車両の車速情報に基づいて、自車両前方の道路を道路状況(混雑具合や道路形状、路面状態など)に応じた適切な車速で通過することができる走行ラインを目標走行ラインとして設定する。
運転操作実施部93は、目標走行ラインに沿って車両が走行するように、加速、操舵、及び制動に関する運転操作を自動的に実施する。具体的には運転操作実施部93は、周辺環境情報、自車両情報、及び必要に応じてドライバ情報などの各種の情報に基づいて、加速、操舵、及び制動に関する運転操作を行うために必要な各種の制御部品を制御し、車両の運転操作を自動的に実施する。
また電子制御ユニット80は、自動運転制御部90の他にも運転支援実施部94を備えており、手動運転モード中及び自動運転モード中のドライバの安全確保などを目的とした各種の運転支援を自動的に実施できるように構成される。
本実施形態による運転支援実施部94は、このような運転支援を行うために、ドライバモニタカメラ31によって撮影されたドライバの画像、すなわち前述したドライバの外観情報に基づいてドライバの状態を監視するドライバ状態監視部95を備えており、例えばドライバが脇見等をして周辺監視を怠っているときに注意喚起を促すなど、ドライバ状態に応じた適切な運転支援を実施することができるように構成されている。
具体的にはドライバ状態監視部95は、ドライバの外観情報に含まれるドライバの両眼の位置や鼻の位置、両眼の間隔等に基づいてドライバの顔を認識し、ドライバの顔向きや視線方向等を監視している。
しかしながら、ドライバの姿勢や体格によっては、ドライバの顔の一部がドライバモニタカメラ31の画角内に収まらずに見切れてしまい、ドライバの顔の認識精度が低下するおそれがある。そうすると、例えばドライバが脇見等をしていないにもかかわらず注意喚起を促してしまうなど、適切な運転支援を実施することができなくなるおそれがある。またドライバの顔の認識精度が顕著に低下してドライバの顔を正常に認識できなくなった場合には、ドライバ状態の監視自体を実施することができなくなるおそれがある。さらに、ドライバの顔の認識精度が低下してドライバの状態を十分に監視できていない状況で、何らの措置も取らずに自動運転を実施することは、ドライバの安全確保の観点から可能な限り避けることが望ましい。
そこで本実施形態では、ドライバの顔の一部がドライバモニタカメラ31の画角内に収まっていないときは、ドライバに対してドライバの顔を画角内に収めるために必要な動作を促すための情報を、文字や音声によって通知することができるように、ドライバ状態監視部95を構成することとした。
また、ドライバの顔がドライバモニタカメラ31画角内に収まっていないときは、ドライバの安全確保の観点から、ドライバがステアリングを把持しているときに限り自動運転を実施することができるように、自動運転制御部90を構成することした。以下、この本実施形態によるドライバ状態監視制御、及び自動運転制御について説明する。
図4は、本実施形態によるドライバ監視制御について説明するフローチャートである。電子制御ユニット80は、車両の運転中に本ルーチンを所定の演算周期で繰り返し実施する。
ステップS1において、電子制御ユニット80は、ドライバ外観情報に含まれるドライバの両眼の位置や鼻の位置、両眼の間隔等に基づいて、ドライバの顔認識を行う。
ステップS2において、電子制御ユニット80は、ドライバの顔認識結果に基づいて、ドライバの顔がドライバモニタカメラ31の画角内に収まっているか否かを判定する。例えば電子制御ユニット80は、ドライバの顔認識を行った結果、顔の一部が見切れている場合等に、ドライバの顔がドライバモニタカメラ31の画角内に収まっていないと判定する。電子制御ユニット80は、ドライバの顔がドライバモニタカメラ31の画角内に収まっていれば、ステップS3の処理に進む。一方で電子制御ユニット80は、ドライバの顔がドライバモニタカメラ31の画角内に収まっていなければ、ステップS5の処理に進む。
ステップS3において、電子制御ユニット80は、フラグF1を1に設定する。フラグF1は、ドライバの顔がドライバモニタカメラ31の画角内に収まっているときに1に設定され、ドライバの顔がドライバモニタカメラ31の画角内に収まっていないときに0に設定されるフラグである。フラグF1の初期値は0に設定される。
ステップS4において、電子制御ユニット80は、ドライバの顔認識結果に基づいて、ドライバの顔向きや視線方向等を検出してドライバ状態の監視を行う。
ステップS5において、電子制御ユニット80は、フラグF1を0に設定する。
ステップS6において、電子制御ユニット80は、ドライバに対してドライバの顔を画角内に収めるために必要な動作を促すための情報(以下「動作情報」という。)を、情報提供装置61を介して提供する。
動作情報は、例えば「姿勢を直してください」、「顔の位置を変更して下さい」といった内容の文字情報や音声情報である。このような動作情報を、情報提供装置61を介してドライバに提供することで、ドライバに対してドライバの顔をドライバモニタカメラ31の画角内に収めるために必要な動作を促すことができる。
なお動作情報の内容を、ドライバモニタカメラ31の画角内から見切れているドライバの顔の見切れ部分に応じて変更するようにしても良い。例えば、ドライバの目が見切れている場合であれば、動作情報の内容を「目が見切れているので、顔の位置を下げて下さい」といった内容の情報に変更しても良い。これにより、ドライバの顔をドライバモニタカメラ31の画角内に収めるための動作として、顔の見切れ部分に応じた的確な動作をドライバに対して促すことができる。
また動作情報の内容を、ドライバモニタカメラ31の画角内から見切れているドライバの顔の見切れ度合いに応じて変更するようにしても良い。例えばドライバの顔が上側に見切れている場合であれば、画角中心からのズレ量[cm]に応じて、動作情報の内容を「顔の位置を数センチ下げて下さい」といった内容の情報に変更しても良い。これにより、ドライバの顔をドライバモニタカメラ31の画角内に収めるための動作として、顔の見切れ度合いに応じた的確な動作をドライバに対して促すことができる。
図5は、本実施形態による自動運転制御について説明するフローチャートである。電子制御ユニット80は、車両の運転中に本ルーチンを所定の演算周期で繰り返し実施する。
ステップS11において、電子制御ユニット80は、自動運転要求があるか否かを判定する。具体的には電子制御ユニット80は、運転モードが自動運転モードに切り替えられているか否かを判定する。電子制御ユニット80は、運転モードが自動運転モードに切り替えられていれば、自動運転要求があると判定してステップS12の処理に進む。一方で電子制御ユニット80は、運転モードが手動運転モードであれば、自動運転要求がないと判定して今回の処理を終了する。
ステップS12において、電子制御ユニット80は、ドライバ監視制御において随時設定、更新されるフラグF1の値を読み込み、フラグF1の値が1であるか否かを判定する。すなわち電子制御ユニット80は、ドライバの顔がドライバモニタカメラ31の画角内に収まっており、ドライバの状態を十分に監視できている状況であるか否かを判定する。電子制御ユニット80は、フラグF1の値が1であれば、ドライバの状態を十分に監視できていると判定してステップS13の処理に進む。一方で電子制御ユニット80は、フラグF1の値が0であれば、ドライバの状態を十分に監視できていないと判定してステップS14の処理に進む。
ステップS13において、電子制御ユニット80は、自動運転の実施を許可し、自動運転を実施する。
ステップS14において、電子制御ユニット80は、ステアリングの把持情報に基づいて、ドライバがステアリングを把持しているか否かを判定する。電子制御ユニット80は、ドライバがステアリングを把持していれば、仮にドライバの状態を十分に監視できていない状況であったとしても、自動運転を実施するにあたって最低限の安全は確保できていると判断してステップS13の処理に進む。一方で電子制御ユニット80は、ドライバがステアリングを把持していなければ、ステップS15の処理に進む。
ステップS15において、電子制御ユニット80は、自動運転の実施を禁止する。具体的には電子制御ユニット80は、自動運転の開始要求時であれば、ドライバの顔がドライバモニタカメラ31の画角内に収まるか、又はドライバがステアリングを把持するまで、自動運転の開始を保留する。また自動運転の実施中であれば、ドライバの顔がドライバモニタカメラ31の画角内に収まるか、又はドライバがステアリングを把持するまで自動運転を中断すべく、例えば情報提供装置61を介してドライバに運転操作の交代を要求する。
以上説明した本実施形態によれば、自車両のドライバの顔を撮影するドライバモニタカメラ31と、自車両のドライバに情報を提供するための情報提供装置61と、を備える車両を制御するための電子制御ユニット80(制御装置)が、ドライバモニタカメラ31の撮影画像に基づいて、ドライバの状態を監視するドライバ状態監視部95を備える。
そしてドライバ状態監視部95は、ドライバモニタカメラ31の撮影画像に基づいて、ドライバの顔がドライバモニタカメラ31の画角内に収まっているか否かを判定し、ドライバの顔がドライバモニタカメラ31の画角内に収まっていないと判定したときは、情報提供装置61を介してドライバに対してドライバの顔を画角内に収めるために必要な動作に関する動作情報を提供するように構成されている。
これにより、ドライバに対してドライバの顔をドライバモニタカメラ31の画角内に収めるために必要な動作を促すことができるので、ドライバの顔の認識精度の低下を抑制することができる。
このとき、ドライバモニタカメラ31の画角内から見切れているドライバの顔の見切れ部分に応じて、ドライバに提供する動作情報の内容を変更するようにドライバ状態監視部95を構成すれば、ドライバの顔をドライバモニタカメラ31の画角内に収めるための動作として、顔の見切れ部分に応じた的確な動作をドライバに対して促すことができる。そのため、ドライバの顔認識の精度の低下を効果的に抑制することができる。
またドライバモニタカメラ31の画角内からのドライバの顔の見切れ度合いに応じて、ドライバに提供する動作情報の内容を変更するようにドライバ状態監視部95を構成すれば、ドライバの顔をドライバモニタカメラ31の画角内に収めるための動作として、顔の見切れ度合いに応じた的確な動作をドライバに対して促すことができる。そのため、ドライバの顔認識の精度の低下を効果的に抑制することができる。
また本実施形態による電子制御ユニット80(制御装置)は、車両の運転操作を自動的に行う自動運転を実施する自動運転制御部90をさらに備え、自動運転制御部90は、車両のステアリングに対するドライバからの入力情報に基づいて、ドライバがステアリングを把持しているか否かを判定し、ドライバの顔がドライバモニタカメラ31の画角内に収まっていないと判定されている場合は、ドライバがステアリングを把持しているときに限り自動運転を許可するように構成されている。
これにより、ドライバの顔認識の精度が低下している状況であっても、安全を確保した状態で自動運転を実施することができる。
(第2実施形態)
次に本発明の第2実施形態について説明する。本実施形態は、ドライバ状態の監視を開始するときに、ドライバモニタカメラ31の撮影位置をドライバの体格に応じて適切な位置に自動的に調節する点で、第1実施形態と相違する。以下、この相違点を中心に説明する。
ステアリングコラムが電動チルト・テレスコピック機構を備える場合などは、ステアリングコラムの上面に取り付けられたドライバモニタカメラ31の撮影位置を自動で変更することができる。
そのため、例えば車両の始動時や自動運転の開始時など、ドライバ状態の監視を開始するときに、ドライバモニタカメラ31の撮影位置をドライバの体格に応じて適切な位置に自動的に調節することができれば、ドライバの顔がドライバモニタカメラ31の画角内に収まらなくなる確率を下げることができ、ひいては顔認識の精度低下を抑制できる。
そこで本実施形態では、ドライバ状態の監視を開始するときに、ドライバモニタカメラ31の撮影位置をドライバの体格に応じて適切な位置に調節することができるようにした。
図6は、本発明の第2実施形態による車両用の自動運転システム100の概略構成図である。
図6に示すように、本実施形態による電子制御ユニット80は、カメラ位置制御部96をさらに備える。カメラ位置制御部96は、ドライバ状態の監視を開始するときに、ドライバモニタカメラ31による撮影位置をドライバの体格に応じて適切な位置に調節する。以下、この本実施形態によるカメラ位置制御について説明する。
図7は、本実施形態によるカメラ位置制御について説明するフローチャートである。
ステップS21において、電子制御ユニット80は、ドライバ状態の監視を開始するときか否かを判定する。本実施形態では電子制御ユニット80は、車両の始動時か否かを判定するが、判定時期はこれに限られるものではなく、例えば自動運転の開始時でも良い。またドライバ状態の監視をドライバの意思によってON/OFFできる場合であれば、ドライバがドライバ状態の監視をONにしたときでも良い。
ステップS22において、電子制御ユニット80は、着座センサ33によって検出されたシートからの入力情報に基づいてドライバの座高を推定する。
ステップS23において、電子制御ユニット80は、ドライバの座高に基づいて、ドライバモニタカメラ31の目標初期位置を設定し、当該目標初期位置となるように、ステアリングコラムの電動チルト・テレスコピック機構を制御する。なお本実施形態では、ドライバの座高と顔との平均的な位置関係を予め実験等によって求めておき、これらの関係を纏めたマップを参照することによって、ドライバの座高に基づいて、ドライバモニタカメラ31の目標初期位置を設定している。
以上説明した本実施形態による電子制御ユニット80は、ドライバモニタカメラ31の位置を自動で調節するための電動チルト・テレスコピック機構(カメラ位置調節機構)を制御するカメラ位置制御部96をさらに備え、カメラ位置制御部96は、ドライバが着座するシートからの入力情報に基づいてドライバの座高を推定し、当該座高に基づいてドライバモニタカメラ31の目標初期位置を設定し、当該目標初期位置となるように、電動チルト・テレスコピック機構を制御するように構成されている。
このように、ドライバの座高に基づいてドライバモニタカメラ31の初期位置を自動で調整することで、ドライバの顔がドライバモニタカメラ31の画角内に収まらなくなる確率を下げることができる。そのため、ドライバの顔認識の精度低下を抑制できる。
以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。
1 自車両
31 ドライバモニタカメラ
61 情報提供装置
80 電子制御ユニット(制御装置)
90 自動運転制御部
95 ドライバ状態監視部
96 カメラ位置制御部

Claims (5)

  1. 自車両のドライバの顔を撮影するドライバモニタカメラと、
    自車両のドライバに情報を提供するための情報提供装置と、
    を備える車両を制御するための車両の制御装置であって、
    前記ドライバモニタカメラの撮影画像に基づいて、ドライバの状態を監視するドライバ状態監視部を備え、
    前記ドライバ状態監視部は、
    前記ドライバモニタカメラの撮影画像に基づいて、ドライバの顔が前記ドライバモニタカメラの画角内に収まっているか否かを判定し、
    ドライバの顔が前記ドライバモニタカメラの画角内に収まっていないと判定したときは、前記情報提供装置を介してドライバに対してドライバの顔を前記画角内に収めるために必要な動作に関する動作情報を提供するように構成される、
    車両の制御装置。
  2. 前記車両の運転操作を自動的に行う自動運転を実施する自動運転制御部をさらに備え、
    前記自動運転制御部は、
    前記車両のステアリングに対するドライバからの入力情報に基づいて、ドライバがステアリングを把持しているか否かを判定し、
    ドライバの顔が前記画角内に収まっていないと判定されている場合は、ドライバがステアリングを把持しているときに限り前記自動運転を許可するように構成される、
    請求項1に記載の車両の制御装置。
  3. 前記ドライバ状態監視部は、
    前記ドライバモニタカメラの画角内から見切れているドライバの顔の見切れ部分に応じて、ドライバに提供する前記動作情報の内容を変更するように構成される、
    請求項1又は請求項2に記載の車両の制御装置。
  4. 前記ドライバ状態監視部は、
    前記ドライバモニタカメラの画角内からのドライバの顔の見切れ度合いに応じて、ドライバに提供する前記動作情報の内容を変更するように構成される、
    請求項1又は請求項2に記載の車両の制御装置。
  5. 前記ドライバモニタカメラの位置を自動で調節するためのカメラ位置調節機構を制御するカメラ位置制御部をさらに備え、
    前記カメラ位置制御部は、
    ドライバが着座するシートからの入力情報に基づいて、ドライバの座高を推定し、
    前記座高に基づいて前記ドライバモニタカメラの目標初期位置を設定し、当該目標初期位置となるように、前記カメラ位置調節機構を制御する、
    ように構成される、
    請求項1から請求項4までのいずれか1項に記載の車両の制御装置。
JP2017214631A 2017-11-07 2017-11-07 車両の制御装置 Active JP6930383B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017214631A JP6930383B2 (ja) 2017-11-07 2017-11-07 車両の制御装置
CN201811306881.4A CN109747658A (zh) 2017-11-07 2018-11-05 车辆的控制装置
US16/180,099 US10427690B2 (en) 2017-11-07 2018-11-05 Control system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017214631A JP6930383B2 (ja) 2017-11-07 2017-11-07 車両の制御装置

Publications (2)

Publication Number Publication Date
JP2019087013A true JP2019087013A (ja) 2019-06-06
JP6930383B2 JP6930383B2 (ja) 2021-09-01

Family

ID=66328275

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017214631A Active JP6930383B2 (ja) 2017-11-07 2017-11-07 車両の制御装置

Country Status (3)

Country Link
US (1) US10427690B2 (ja)
JP (1) JP6930383B2 (ja)
CN (1) CN109747658A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110261131A (zh) * 2019-06-21 2019-09-20 北京迈格威科技有限公司 汽车模拟驾驶舱图像数据处理方法及装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102552490B1 (ko) * 2018-01-03 2023-07-06 현대자동차주식회사 차량용 영상 처리 장치 및 방법
JP6973298B2 (ja) * 2018-05-31 2021-11-24 トヨタ自動車株式会社 物体監視装置
CN112622916A (zh) * 2019-10-08 2021-04-09 株式会社斯巴鲁 车辆的驾驶辅助系统
JP7358958B2 (ja) * 2019-12-11 2023-10-11 トヨタ自動車株式会社 運転意識推定装置
US10838056B1 (en) * 2019-12-25 2020-11-17 NextVPU (Shanghai) Co., Ltd. Detection of target
CN111267801B (zh) * 2020-02-19 2022-03-18 吉林大学 一种面向智能辅助驾驶的汽车自适应制动系统及其控制方法
CN112849148B (zh) * 2021-01-11 2023-03-14 重庆长安汽车股份有限公司 一种自动驾驶功能控制方法、自动驾驶系统、汽车、控制器及计算机可读存储介质
CN113335296B (zh) * 2021-06-24 2022-11-29 东风汽车集团股份有限公司 一种分心驾驶自适应检测系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06178302A (ja) * 1992-12-02 1994-06-24 Mitsubishi Electric Corp 運転者撮影装置
JP2008273521A (ja) * 2008-08-18 2008-11-13 Toyota Motor Corp 移動体の自動運転装置
JP2009201756A (ja) * 2008-02-28 2009-09-10 Omron Corp 情報処理装置および方法、並びに、プログラム
JP2009296355A (ja) * 2008-06-05 2009-12-17 Toyota Motor Corp 顔画像処理装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101544524B1 (ko) * 2010-12-16 2015-08-17 한국전자통신연구원 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법
JP5782793B2 (ja) 2011-04-08 2015-09-24 日産自動車株式会社 車載機器制御装置
EP3624081A1 (en) * 2014-10-30 2020-03-18 Mitsubishi Electric Corporation In-vehicle device and autonomous vehicle including such an in-vehicle device
JP6222137B2 (ja) * 2015-03-02 2017-11-01 トヨタ自動車株式会社 車両制御装置
JP6354776B2 (ja) * 2016-03-10 2018-07-11 トヨタ自動車株式会社 車両の制御装置
US10719724B2 (en) * 2016-08-23 2020-07-21 Blinkeyelabs Electronics Private Limited Safety system for an automobile
DE112018001403T5 (de) * 2017-04-27 2019-12-05 Robert Bosch Gmbh Fahrzeugmontiertes virtuelles Blendschutzsystem und Verfahren dafür
US10268903B2 (en) * 2017-06-11 2019-04-23 Jungo Connectivity Ltd. Method and system for automatic calibration of an operator monitor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06178302A (ja) * 1992-12-02 1994-06-24 Mitsubishi Electric Corp 運転者撮影装置
JP2009201756A (ja) * 2008-02-28 2009-09-10 Omron Corp 情報処理装置および方法、並びに、プログラム
JP2009296355A (ja) * 2008-06-05 2009-12-17 Toyota Motor Corp 顔画像処理装置
JP2008273521A (ja) * 2008-08-18 2008-11-13 Toyota Motor Corp 移動体の自動運転装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110261131A (zh) * 2019-06-21 2019-09-20 北京迈格威科技有限公司 汽车模拟驾驶舱图像数据处理方法及装置

Also Published As

Publication number Publication date
US10427690B2 (en) 2019-10-01
US20190135294A1 (en) 2019-05-09
JP6930383B2 (ja) 2021-09-01
CN109747658A (zh) 2019-05-14

Similar Documents

Publication Publication Date Title
JP6930383B2 (ja) 車両の制御装置
JP6354776B2 (ja) 車両の制御装置
JP7087623B2 (ja) 車両の制御装置
JP6690559B2 (ja) 車両の制御装置
JP6418199B2 (ja) 車両の自動運転システム
JP6460019B2 (ja) 車両の制御装置
JP6996253B2 (ja) 車両の制御装置
JP2017185946A (ja) 車両の自動運転システム
US20180237008A1 (en) Control device for vehicle
JP6720732B2 (ja) 車両の制御装置
JP6790522B2 (ja) 車両の制御装置
JP6772527B2 (ja) 車両の制御装置
JP2019087874A (ja) 車両の制御装置
JP6658358B2 (ja) 車両の制御装置
JP2006021706A (ja) 車両の灯体制御装置
JP2018185555A (ja) 車両の制御装置
JP6701913B2 (ja) 車両の制御装置
JP7272329B2 (ja) 車両の制御装置
JP2021172153A (ja) 車両の制御装置
JP2022024789A (ja) 車両の制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210713

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210726

R151 Written notification of patent or utility model registration

Ref document number: 6930383

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151