JP2020102252A - 運転者監視システム - Google Patents
運転者監視システム Download PDFInfo
- Publication number
- JP2020102252A JP2020102252A JP2020040235A JP2020040235A JP2020102252A JP 2020102252 A JP2020102252 A JP 2020102252A JP 2020040235 A JP2020040235 A JP 2020040235A JP 2020040235 A JP2020040235 A JP 2020040235A JP 2020102252 A JP2020102252 A JP 2020102252A
- Authority
- JP
- Japan
- Prior art keywords
- driver
- vehicle
- monitoring system
- mobile terminal
- display screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 86
- 238000003384 imaging method Methods 0.000 claims abstract description 3
- 238000012545 processing Methods 0.000 claims description 40
- 238000004891 communication Methods 0.000 abstract description 21
- 238000000034 method Methods 0.000 description 36
- 230000006870 function Effects 0.000 description 19
- 230000008569 process Effects 0.000 description 15
- 238000001514 detection method Methods 0.000 description 8
- 230000037007 arousal Effects 0.000 description 7
- 210000000744 eyelid Anatomy 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 239000000470 constituent Substances 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000009118 appropriate response Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 230000007958 sleep Effects 0.000 description 2
- 238000004804 winding Methods 0.000 description 2
- 208000032140 Sleepiness Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000037321 sleepiness Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/082—Selecting or switching between different modes of propelling
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0053—Handover processes from vehicle to occupant
- B60W60/0055—Handover processes from vehicle to occupant only part of driving tasks shifted to occupants
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0059—Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
- G05D1/0061—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0809—Driver authorisation; Driver identity check
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0881—Seat occupation; Driver or passenger presence
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/54—Audio sensitive means, e.g. ultrasound
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/225—Direction of gaze
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Evolutionary Computation (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
Description
例えば自動運転のレベルによっては、運転者がハンドル(即ちステアリングホイール)から手を離すことができるが、そのときに、運転者がスマホ等の携帯端末(即ち携帯機)を操作していると、運転者の状態をうまく検出できないことがある。
、運転者に注意を喚起する必要がある。
また、自動運転でない場合でも、例えば車載カメラによる撮影状況が好ましくないときなどには、運転者の状態を把握することが難しいことがある。
ることができる。
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
[1.第1実施形態]
[1−1.基本構成]
まず、第1実施形態の運転者監視システムの構成について説明する。
<携帯端末>
携帯端末1は、周知のように、運転者等が携帯可能な通信装置(即ち携帯機)の一種で
あり、外部の基地局や自車両等との間で情報の送受信が可能な装置である。
振動モータ15は、携帯端末1自身を振動させることにより、携帯端末1の使用者に警報等の情報を報知するものである。
このうち、ROM17bは、電源を切断しても記憶内容を保持する必要のあるデータやプログラムを記憶する。EEOROM17dは、電源を切断しても記憶内容を保持する必要のあるデータ(例えば認証データ)を記憶する。RAM17cは、データを一時的に格納する。CPU17aは、ROM17b等に記憶されたプログラム等に従って処理を実行する。
車両制御装置3は、各種のセンサからの情報等に基づいて、各種のアクチュエータを駆動させて車両の動作を制御したり、後述する運転者監視処理等を行う電子制御装置である
。
また、車両制御装置3には、運転用センサ類25、自車両センサ類27、周辺監視装置29、スイッチ類31、ディスプレイ33、アクチュエータ類35、ナビゲーション装置37等が接続されている。
運転用センサ類25としては、運転者の状態を検出するドライバカメラ25a等の各種のセンサが挙げられる。ドライバカメラ25aは、運転席の前方に配置された例えばCCDカメラであり、運転者の顔等を撮影して、その顔画像等を車両制御装置3に送信する。
ディスプレイ33は、例えば車両のダッシュボード等に取り付けられた表示装置であり、その表示画面は、周知のようにタッチパネルとしての機能、即ち入力装置としての機能も有している。
また、上述した運転者監視システムには、携帯端末1や車両制御装置3以外に、例えばウェアラブル装置39を用いてもよい。このウェアラブル装置39では、運転者の心拍や脈拍や脳波等を検出し、その情報を、携帯端末1や車両制御装置3等に送信することができる。
[1−2.メモリの記憶内容]
次に、後述する運転者監視処理を行うために、携帯端末1や車両制御装置3のメモリに
記憶される記憶内容について説明する。
図2に示すように、携帯端末1のメモリ(例えばEEPROM17d)には、携帯端末1の所有者の情報が予め登録されて記憶されている。
また、EEPROM17dには、今回の制御を行う際の通信相手の車両、即ち携帯端末1の所有者が運転が許可されている自車両の情報も記憶されている。なお、車両の情報としては、車両を区別する番号(例えば車両ID)が挙げられる。
図3に示すように、車両制御装置3のメモリ(例えばEEPROM21d)には、自車両の運転が許可されている運転者が予め登録されて記憶されている。
また、EEPROM21dには、今回の制御を行う際の通信相手の携帯端末1の情報が記憶されている。この携帯端末1の情報としては、携帯端末1を区別する番号(例えば携帯端末ID)が挙げられる。
なお、本第1実施形態では、携帯端末1の所有者は、前記車両の運転が許可されている運転者であるので、後述する運転者監視処理を実施する際には、少なくとも、携帯端末1の所有者と運転者とが一致する必要がある。
次に、各マイコン17、21にて実施される内容を、機能的に説明する。
<携帯端末>
図4に示すように、携帯端末1側のマイコン17は、処理プログラムが実行する処理内容として、即ち機能的に、第1の画像認識部41、第1の乗員状態判定部43、第1の安全制御部45、ディスプレイ制御部47、アクチュエータ制御部49、スマホアプリ部51を備えている。
なお、この第1の乗員状態判定部43は、車両制御装置3側の機能としてもよい。つまり、携帯端末1側から受信した顔画像の情報に基づいて、車両制御装置3にて、上述した状態判定を行ってもよい。
アクチュエータ制御部49は、携帯端末1自身をアクチュエータとして機能させる場合の動作を制御する。具体的には、上述したように、例えばディスプレイ11、スピーカ13、振動モータ15をアクチュエータとして用いて、携帯端末1から運転者に対して警報を発することができる。
<車両制御装置>
図5に示すように、車両制御装置3側のマイコン17は、処理プログラムが実行する処理内容として、即ち機能的に、第2の画像認識部61、第2の乗員状態判定部63、自車両状態検出部65、周辺情報検出部67、第2の安全制御部69、自動運転制御部71を有する車両制御部73、ディスプレイ制御部75、アクチュエータ制御部77を備えている。
ライバカメラ25aからの顔画像の情報、例えば瞼の開閉状態に基づいて、意識状態の程度を検出することができる。或いは、周知のように、ウェアラブル装置39やハンドルやシートベルト等に装着された心電センサ等からの情報、例えば心拍のゆらぎ等に基づいて、意識状態の程度を検出することができる。
車両制御部73は、例えばスイッチ類31、ディスプレイ33のタッチパネル、第2の乗員状態検出部63、自車両状態検出部65、周辺情報検出部67等からの情報などに基づいて、自車両の走行を制御する。
アクチュエータ制御部77は、車両側の各種の装置をアクチュエータとして機能させる場合の動作を制御する。具体的には、上述したように、例えばディスプレイ33、スピーカ、ランプ、駆動用や制動用や操舵用のアクチュエータ等をアクチュエータとして用いて、車両側から運転者に対して警報を発したり、情報を提供することができる。
次に、自動運転のレベルと、自動運転のレベルに応じて実施される運転者監視処理の制御内容について説明する。
また、後述する自動運転のレベルも、同様に運転者の指示により選択できるが、例えば車両側にて、自動運転が可能な条件が満たされた場合に、その満たされた条件に応じて、適宜自動的に自動運転のレベルを設定してもよい。
すことが可能な状態を示している。
する必要がない状態を示している。
本第1実施形態では、下記表3に示すように、走行状態、詳しくは自動運転のレベルに応じて警告の内容を設定し必要な情報を提供している。
そこで、例えば「運転に集中して下さい」等の警告を行う。例えば、携帯端末1側や車両側から、ディスプレイ11、33やスピーカ13等を用い、表示や音声等によって前記警告を行う。
そこで、前記レベル0と同様に、同様な装置を用いて、例えば「運転に集中して下さい」等の警告を行う。
そこで、前記と同様な装置を用いて、例えば「周囲の監視をして下さい」等の警告を行う。つまり、運転者はハンドルから手を離すことが可能であるが、周囲から目を逸らすことは適切ではないので、周囲の監視を促す警告を行う。
高低は、所定の判定値に基づいて判定できる。
なお、後述するように、自動化のレベルに応じて制御が実施されるが、その制御は、前記表3等の0〜5のレベルによる区分に加え、前記表3の各レベル(例えばレベル3)を更に細かく分ける各欄のような区分に応じて制御が行われる。つまり、自動運転のレベルに応じて制御を行う場合には、前記0〜5のレベルに限定されるものではなく、0〜5のレベルよりも更に細分化された区分に応じて実施される。
次に、運転者監視システムにて実施される処理内容、即ち運転者監視処理について説明する。
なお、以下の走行前の処理は、例えば自車両のイグニッションスイッチがオンにされた時点等に開始することができる。また、以降の各フローチャートの図面では、ステップをSと記す。
図6に示すように、ステップ100では、携帯端末1のカメラ5で、携帯端末1の操作者を撮影する。
次に、走行前に車両制御装置3にて実施される事前の処理について説明する。
図7に示すように、ステップ200では、車両側のドライバカメラ25aで、運転席に着座している人の顔等を撮影する。なお、運転席に着座していることは、例えば運転席の着座センサ等から検出することができる。
るので、ここで行う運転者の顔画像の一致の判定は、所有者の顔画像の一致の判定と同じである。ここで肯定判断されるとステップ250に進み、一方否定判断されると一旦本処理を終了する。
ここでは、車両制御装置3が実行する運転者監視処理について、図8のフローチャートを用いて説明する。
装置を振動させたり、エアコン等の駆動を制御する等により、注意を喚起させてもよい。なお、これらの注意の喚起についても、以下同様である。
一方、ステップ360では、運転者による操作(即ちバックアップタスク)が必要な状態又は必要となりそうな状態か否かを判定する。即ち、運転者の操作が必要な場合又は運転者の操作が必要となることが予測される場合か否かを判定する。ここで肯定判断されるとステップ390に進み、一方否定判断されるとステップ370に進む。
前記運転者によるバックアップタスクが必要な状態としては、上述したように、天候や道路状況等によって、自動運転に必要な情報が得られない状態が挙げられる。また、運転者によるバックアップタスクが必要となりそうな状態としては、自動運転に必要な情報の精度が低下する状態や、情報量が低下する状態等が挙げられる。
例えば、携帯端末1にて、前記図8に示す運転者監視処理に必要な情報を、車両制御装置3側から受信し、その情報に基づいて、前記図8に示す運転者監視処理を実施してもよい。なお、警告や情報の提供については、上述したように、携帯端末1側に行ってもよいし、車両側で行ってもよい。
以上詳述した第1実施形態によれば、以下の効果が得られる。
また、
(1a)本第1実施形態では、自車両の走行中に、例えば自動走行中に、自車両の運転者が携帯端末1の表示画面11aを見ているかどうかを、カメラ5によって撮影された画像に基づいて判定し、運転者が携帯端末1の表示画面11aを見ていると判定された場合には、警報を発することができる。
従って、運転の安全性が向上するという効果がある。
[1−7.特許請求の範囲と第1実施形態との関係]
本第1実施形態における、表示画面11a、カメラ5、携帯端末1、車両制御装置3、第1、第2の乗員状態判定部43、63、第1、第2の安全制御部45、69が、それぞれ、本発明における、表示画面、撮影装置、携帯機、車両制御装置、乗員状態判定部、安全制御部、の一例に相当する。
次に、第2実施形態について説明するが、前記第1実施形態と同様な内容については、説明を省略又は簡略化する。なお、第1実施形態と同様な構成については、同じ番号を使用して説明する。
(2a)レベル3からレベル1への切り替えの制御
レベル3の場合で、且つ、運転者が携帯端末1を操作しており、且つ、運転者の操作が必要又は操作の必要がありそうな場合に、例えば道路の白線が認識できない場合に、レベル1の制御に切り替えるときには、例えば「ステアリング操作を代わって下さい」等の警告を行う。
(2b)レベル3からレベル2への切り替えの制御
レベル3の場合で、且つ、運転者が携帯端末1を操作しており、且つ、運転者の操作が必要又は操作の必要がありそうな場合に、例えば道路の白線が認識できない場合に、レベル2の制御に切り替えるときには、例えば「監視タスクを代わって下さい」や「前を見て運転して下さい」等の警告を行う。ここで、監視タスクとは、バックアップタスクが可能なような周囲等の監視に関する作業である。
(2c)レベル4からレベル1への切り替えの制御
レベル4の場合で、例えば運転者が携帯端末1を見て寝てても、自動走行が可能な条件が外れる又は外れそうになった場合、例えば自動走行可能区間が終了する又は終了しそうになった場合に、例えば道路の白線が認識できない状況となって、レベル1の制御に切り替えるときには、例えば「ステアリング操作を代わって下さい」等の警告を行う。
(2d)レベル4からレベル2への切り替えの制御
レベル4の場合で、例えば運転者が携帯端末1を見て寝てても、自動走行が可能な条件が外れる又は外れそうになった場合、例えば自動走行可能区間が終了する又は終了しそうになった場合に、例えば道路の白線が認識できない状況となって、レベル2の制御に切り替えるときには、例えば「監視タスクを代わって下さい」や「前を見て運転して下さい」等の警告を行う。
[3.他の実施形態]
以上、本発明の実施形態について説明したが、本発明は前記実施形態に限定されるものではなく、本発明の技術的範囲に属する限り種々の形態を採ることができる。
(3c)前記実施形態では、携帯端末又は車両制御装置にて、運転者監視処理を行ったが、運転者監視処理に必要な情報を、例えば基地局等に送信し、インターネットを介して例えばサーバ側にて運転者監視処理を行い、警告等を携帯端末や車両にて実施させるよう
にすることもできる。
ここで、携帯端末が把持されていることは、例えば携帯端末のディスプレイがオンになって、何らかの画像等が表示されていることにより判定できる。また、携帯端末が操作されていることは、タッチパネル等により何からの操作がなされていることにより判定できる。さらに、この把持や操作を、Gセンサを用いて複合的に判断してもよい。
なお、携帯端末が把持や操作されていないときには、車両のカメラによって、運転者の状態を監視したり推定することができる。
(3i)車両のカメラで運転者の状態が把握できないとき、例えば顔画像が得られないときや目の画像が得られないときには、携帯端末のカメラを起動して撮影することができる。
(3k)運転者の状態を判定するための処理(例えば乗員状態判定部の処理)の一部又は全部を、携帯端末、自車両の制御装置(例えば自車両の動作を制御する車両制御装置)、他車両の制御装置(例えば他車両の動作を制御する車両制御装置)、及び車両以外の装置のうち、少なくとも1種にて行ってもよい(図10参照)。
(3m)また、前記実施形態における1つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を1つの構成要素に統合させたりしてもよい。また、前記実施形態の構成の一部を省略してもよい。また、前記実施形態の構成の少なくとも一部を、他の前記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
Claims (13)
- 表示画面(11a)と該表示画面に対向する側を撮影可能に配置された撮影装置(5)とを備えた携帯機(1)と、
自車両の制御を行う車両制御装置(3)と、
の間で通信を行って、前記自車両の運転者を監視する運転者監視システムであって、
前記自車両の走行中に、該自車両の運転者が前記携帯機の表示画面を見ているかどうかを、前記撮影装置によって撮影された画像に基づいて判定する乗員状態判定部(43)と、
前記乗員状態判定部によって、前記運転者が前記携帯機の前記表示画面を見ていると判定された場合には、警報を発する安全制御部(45)と、
を備えた運転者監視システム。 - 表示画面(11a)と該表示画面に対向する側を撮影可能に配置された撮影装置(5)とを備えた携帯機(1)と、
自車両の制御を行う車両制御装置(3)と、
の間で通信を行って、前記自車両の運転者を監視する運転者監視システムであって、
前記自車両の自動運転中に、該自車両の運転者が前記携帯機の表示画面を見ているかどうかを、前記撮影装置によって撮影された画像に基づいて判定する乗員状態判定部(43)と、
前記乗員状態判定部によって、前記運転者が前記携帯機の前記表示画面を見ていると判定された場合には、警報を発する制御及び前記運転者の運転に利用可能な情報を提供する制御のうち少なくとも一方の制御を行う安全制御部(45)と、
を備えた運転者監視システム。 - 請求項2に記載の運転者監視システムであって、
前記安全制御部は、前記自動運転のレベルに応じて、前記警報の内容を設定する、運転者監視システム。 - 請求項2又は3に記載の運転者監視システムであって、
前記安全制御部は、前記自動運転のレベルに応じて、前記情報の提供を行う、運転者監視システム。 - 請求項2から請求項4までのいずれか1項に記載の運転者監視システムであって、
前記乗員状態判定部は、前記撮影装置によって撮影された画像に基づいて、前記運転者の意識状態の程度を判定し、
前記安全制御部は、前記乗員状態判定部によって判定された前記運転者の意識状態の程度に基づいて、前記警報の内容の設定及び前記情報の提供のうち少なくとも一方を行う、運転者監視システム。 - 請求項2から請求項5までのいずれか1項に記載の運転者監視システムであって、
前記乗員状態判定部は、前記携帯機又は前記車両制御装置に設けられている、運転者監視システム。 - 請求項2から請求項6までのいずれか1項に記載の運転者監視システムであって、
前記安全制御部は、前記運転者の操作が必要な場合又は前記運転者の操作が必要となることが予測される場合には、前記警報を発する、運転者監視システム。 - 請求項2から請求項7までのいずれか1項に記載の運転者監視システムであって、
前記安全制御部は、前記自動運転が終了する条件が満たされた場合又は前記自動運転が
終了することが予測される場合には、前記警報を発する、運転者監視システム。 - 請求項2から請求項8までのいずれか1項に記載の運転者監視システムであって、
前記安全制御部は、前記自動運転によって前記自車両が目的に到着した場合には、前記到着した内容に関する警報を発する、運転者監視システム。 - 請求項1から請求項9までのいずれか1項に記載の運転者監視システムであって、
前記安全制御部は、前記携帯機及び前記自車両の少なく一方から、前記警報を発する、運転者監視システム。 - 請求項1から請求項10までのいずれか1項に記載の運転者監視システムであって、
前記安全制御部は、音、音声、光、振動、風、温度、及び前記自車両の走行状態の制御の少なくとも1種によって、前記警報を発する、運転者監視システム。 - 請求項1から請求項11までのいずれか1項に記載の運転者監視システムであって、
前記運転者の状態を判定するための処理の一部又は全部は、前記携帯機、前記自車両の制御装置、他車両の制御装置、及び車両以外の装置のうち、少なくとも1種にて行う、運転者監視システム。 - 請求項12に記載の運転者監視システムであって、
前記車両以外の装置とは、クラウドサーバである、運転者監視システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016037694 | 2016-02-29 | ||
JP2016037694 | 2016-02-29 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016253786A Division JP6917708B2 (ja) | 2016-02-29 | 2016-12-27 | 運転者監視システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020102252A true JP2020102252A (ja) | 2020-07-02 |
JP7060031B2 JP7060031B2 (ja) | 2022-04-26 |
Family
ID=59810609
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016253786A Active JP6917708B2 (ja) | 2016-02-29 | 2016-12-27 | 運転者監視システム |
JP2020040235A Active JP7060031B2 (ja) | 2016-02-29 | 2020-03-09 | 運転者監視システム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016253786A Active JP6917708B2 (ja) | 2016-02-29 | 2016-12-27 | 運転者監視システム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10640123B2 (ja) |
JP (2) | JP6917708B2 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11250514B2 (en) * | 2016-02-15 | 2022-02-15 | Allstate Insurance Company | Early notification of non-autonomous area |
JP6686869B2 (ja) * | 2016-12-22 | 2020-04-22 | 株式会社デンソー | 運転交代制御装置、及び運転交代制御方法 |
JP6702217B2 (ja) * | 2017-02-06 | 2020-05-27 | 株式会社デンソー | 自動運転装置 |
JP6897417B2 (ja) | 2017-08-16 | 2021-06-30 | 住友電気工業株式会社 | 制御装置、制御方法、およびコンピュータプログラム |
JP2019152942A (ja) * | 2018-03-01 | 2019-09-12 | 矢崎エナジーシステム株式会社 | 点呼システム |
JP6890103B2 (ja) * | 2018-05-15 | 2021-06-18 | 日本電信電話株式会社 | 測位システム、測位方法、およびプログラム |
JP7154071B2 (ja) * | 2018-09-07 | 2022-10-17 | 株式会社エヌ・ティ・ティ・データ | 運転状態監視支援システム、運転状態監視支援方法及びプログラム |
CN109858403A (zh) * | 2019-01-16 | 2019-06-07 | 深圳壹账通智能科技有限公司 | 一种监测司机开车使用手机的方法及摄像装置 |
CN115567891A (zh) * | 2019-06-05 | 2023-01-03 | 华为技术有限公司 | 自动驾驶信息指示方法、自动驾驶信息获取方法、自动驾驶信息发送方法及装置 |
KR20190122606A (ko) * | 2019-10-11 | 2019-10-30 | 엘지전자 주식회사 | 차량 내 객체 모니터링 장치 및 방법 |
JP7081844B2 (ja) * | 2020-11-11 | 2022-06-07 | 株式会社コムテック | 検出システム |
JP7447853B2 (ja) | 2021-03-22 | 2024-03-12 | トヨタ自動車株式会社 | 覚醒状態判定システム及び自動運転装置 |
CN113183971B (zh) * | 2021-06-04 | 2023-03-10 | 苏州智加科技有限公司 | 驾驶员状态监测方法、装置、车载终端及可读存储介质 |
DE102021124175A1 (de) | 2021-09-20 | 2023-03-23 | Bayerische Motoren Werke Aktiengesellschaft | Elektrofahrzeug mit Vibrationen zur Emotionalisierung von elektrischen Fahrzeugantrieben, Verfahren, Steuerung und Aktor hierfür |
JP7422962B2 (ja) * | 2022-02-02 | 2024-01-26 | 三菱電機株式会社 | 機器状態監視装置および機器状態監視方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010000951A (ja) * | 2008-06-20 | 2010-01-07 | Toyota Motor Corp | 運転支援装置 |
JP2015108519A (ja) * | 2013-12-03 | 2015-06-11 | 日産自動車株式会社 | 情報表示装置 |
JP2015141053A (ja) * | 2014-01-27 | 2015-08-03 | アイシン・エィ・ダブリュ株式会社 | 自動運転支援システム、自動運転支援方法及びコンピュータプログラム |
JP2015210660A (ja) * | 2014-04-25 | 2015-11-24 | 日産自動車株式会社 | 情報呈示装置及び情報呈示方法 |
JP2015217798A (ja) * | 2014-05-16 | 2015-12-07 | 三菱電機株式会社 | 車載情報表示制御装置 |
JP2016006628A (ja) * | 2014-05-27 | 2016-01-14 | 株式会社デンソー | 注意喚起装置 |
Family Cites Families (113)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
LU75977A1 (ja) * | 1976-10-12 | 1978-05-16 | ||
US4359724A (en) * | 1980-04-28 | 1982-11-16 | Ronald R. Zimmerman | Eyelid movement detector |
JPS60592A (ja) * | 1983-06-15 | 1985-01-05 | 三菱電機株式会社 | いねむり防止装置 |
EP0280124A1 (en) * | 1987-02-12 | 1988-08-31 | Omron Tateisi Electronics Co. | Doze detector |
US5239337A (en) * | 1990-08-20 | 1993-08-24 | Nikon Corporation | Apparatus for ordering to phototake with eye-detection |
JP3369201B2 (ja) * | 1991-10-02 | 2003-01-20 | マツダ株式会社 | 覚醒度維持装置 |
JP3293308B2 (ja) * | 1994-03-10 | 2002-06-17 | 三菱電機株式会社 | 人物状態検出装置 |
US5689241A (en) * | 1995-04-24 | 1997-11-18 | Clarke, Sr.; James Russell | Sleep detection and driver alert apparatus |
US5570698A (en) * | 1995-06-02 | 1996-11-05 | Siemens Corporate Research, Inc. | System for monitoring eyes for detecting sleep behavior |
JP3183161B2 (ja) * | 1996-04-12 | 2001-07-03 | 三菱自動車工業株式会社 | 覚醒度推定装置 |
US6400835B1 (en) * | 1996-05-15 | 2002-06-04 | Jerome H. Lemelson | Taillight mounted vehicle security system employing facial recognition using a reflected image |
FR2773521B1 (fr) * | 1998-01-15 | 2000-03-31 | Carlus Magnus Limited | Procede et dispositif pour surveiller en continu l'etat de vigilance du conducteur d'un vehicule automobile, afin de detecter et prevenir une tendance eventuelle a l'endormissement de celui-ci |
US6661345B1 (en) * | 1999-10-22 | 2003-12-09 | The Johns Hopkins University | Alertness monitoring system |
US6478425B2 (en) * | 2000-12-29 | 2002-11-12 | Koninlijke Phillip Electronics N. V. | System and method for automatically adjusting a lens power through gaze tracking |
US7202793B2 (en) * | 2002-10-11 | 2007-04-10 | Attention Technologies, Inc. | Apparatus and method of monitoring a subject and providing feedback thereto |
US7202792B2 (en) * | 2002-11-11 | 2007-04-10 | Delphi Technologies, Inc. | Drowsiness detection system and method |
US6859144B2 (en) * | 2003-02-05 | 2005-02-22 | Delphi Technologies, Inc. | Vehicle situation alert system with eye gaze controlled alert signal generation |
US7682024B2 (en) * | 2003-03-13 | 2010-03-23 | Plant Charles P | Saccadic motion sensing |
US6989754B2 (en) * | 2003-06-02 | 2006-01-24 | Delphi Technologies, Inc. | Target awareness determination system and method |
BRPI0411056A (pt) * | 2003-06-06 | 2007-04-17 | Volvo Technology Corp | método e disposição para controlar subsistemas veiculares baseados na atividade interpretativa do condutor |
JP4206928B2 (ja) * | 2004-01-19 | 2009-01-14 | 株式会社デンソー | 衝突可能性判定装置 |
EP1613082A1 (en) * | 2004-06-30 | 2006-01-04 | Sony Ericsson Mobile Communications AB | Face image correction |
US20060011399A1 (en) * | 2004-07-15 | 2006-01-19 | International Business Machines Corporation | System and method for controlling vehicle operation based on a user's facial expressions and physical state |
JP2006071619A (ja) * | 2004-08-03 | 2006-03-16 | Denso Corp | ナビゲーション装置およびプログラム |
JP4687266B2 (ja) * | 2004-10-20 | 2011-05-25 | 富士ゼロックス株式会社 | 注意喚起装置および方法ならびに情報処理システム |
JP2006130010A (ja) * | 2004-11-04 | 2006-05-25 | Denso Corp | 視覚認識支援装置 |
US7438418B2 (en) * | 2005-02-23 | 2008-10-21 | Eyetracking, Inc. | Mental alertness and mental proficiency level determination |
US7344251B2 (en) * | 2005-02-23 | 2008-03-18 | Eyetracking, Inc. | Mental alertness level determination |
EP1853155B1 (en) * | 2005-03-04 | 2011-10-05 | Sleep Diagnostics Pty Ltd | Measuring alertness |
US7301465B2 (en) * | 2005-03-24 | 2007-11-27 | Tengshe Vishwas V | Drowsy driving alarm system |
JP4735310B2 (ja) * | 2005-04-15 | 2011-07-27 | 株式会社デンソー | 走行支援装置 |
US7301464B2 (en) * | 2005-05-24 | 2007-11-27 | Electronic Data Systems Corporation | Process and method for safer vehicle navigation through facial gesture recognition and operator condition monitoring |
US20070009139A1 (en) * | 2005-07-11 | 2007-01-11 | Agere Systems Inc. | Facial recognition device for a handheld electronic device and a method of using the same |
US20140143061A1 (en) * | 2006-11-22 | 2014-05-22 | Raj Abhyanker | Garage sales in a geo-spatial social network |
US20090015425A1 (en) * | 2007-07-13 | 2009-01-15 | Sony Ericsson Mobile Communications Ab | Camera of an electronic device used as a proximity detector |
US8560157B2 (en) * | 2007-09-19 | 2013-10-15 | Topcon Positioning Systems, Inc. | Partial manual control state for automated vehicle navigation system |
JP4966816B2 (ja) * | 2007-10-25 | 2012-07-04 | 株式会社日立製作所 | 視線方向計測方法および視線方向計測装置 |
WO2009069235A1 (ja) * | 2007-11-30 | 2009-06-04 | Pioneer Corporation | ハンズフリー通話装置、通話制御方法、通話制御プログラム、および記録媒体 |
US8340368B2 (en) * | 2008-06-11 | 2012-12-25 | Hyundai Motor Company | Face detection system |
US8552850B2 (en) * | 2010-02-17 | 2013-10-08 | Honeywell International Inc. | Near-to-eye tracking for adaptive operation |
JP5139470B2 (ja) | 2010-04-28 | 2013-02-06 | トヨタ自動車株式会社 | 眠気度推定装置および眠気度推定方法 |
US20110316666A1 (en) * | 2010-06-25 | 2011-12-29 | Kabushiki Kaisha Toshiba | Information device, computer program product and method thereof |
US10120438B2 (en) * | 2011-05-25 | 2018-11-06 | Sony Interactive Entertainment Inc. | Eye gaze to alter device behavior |
US20120306637A1 (en) * | 2011-06-01 | 2012-12-06 | Johnson Controls Technology Company | System and method for selectively altering content of a vehicle interface |
US9082235B2 (en) * | 2011-07-12 | 2015-07-14 | Microsoft Technology Licensing, Llc | Using facial data for device authentication or subject identification |
EP2765568A4 (en) * | 2011-10-06 | 2015-09-16 | Honda Motor Co Ltd | ALARM DEVICE |
US8494481B1 (en) * | 2011-11-02 | 2013-07-23 | Amazon Technologies, Inc. | Mobile alarm device |
JP5630518B2 (ja) * | 2012-03-14 | 2014-11-26 | 株式会社デンソー | 運転支援装置 |
US20130322705A1 (en) * | 2012-05-30 | 2013-12-05 | Google Inc. | Facial and fingerprint authentication |
CN104363948B (zh) * | 2012-06-15 | 2016-08-24 | 株式会社日立制作所 | 刺激呈现系统 |
IN2014MN02460A (ja) * | 2012-06-29 | 2015-07-10 | Essilor Int | |
CA2912358A1 (en) * | 2012-08-10 | 2014-02-13 | Cnv Systems Ltd. | Mobile device system for measurement of cardiovascular health |
WO2014050459A1 (ja) * | 2012-09-25 | 2014-04-03 | 富士通テン株式会社 | 車両用装置、通信方法、及びプログラム |
EP2713307B1 (en) * | 2012-09-28 | 2018-05-16 | Accenture Global Services Limited | Liveness detection |
JP6288653B2 (ja) * | 2012-10-19 | 2018-03-07 | オートリブ ディベロップメント エービー | 運転者注意力検出方法および装置 |
US10482753B2 (en) * | 2013-01-04 | 2019-11-19 | Minnesota Imaging And Engineering Llc | Infection control monitoring system |
US20140197922A1 (en) * | 2013-01-16 | 2014-07-17 | Cygnus Broadband, Inc. | System and method for positive identification on a mobile device |
JP2014154901A (ja) * | 2013-02-05 | 2014-08-25 | Nec Casio Mobile Communications Ltd | 携帯電子機器、その制御方法及びプログラム |
JP2014172554A (ja) * | 2013-03-12 | 2014-09-22 | Calsonic Kansei Corp | カメラ付き表示装置 |
US9858832B1 (en) * | 2013-03-14 | 2018-01-02 | Allstate Insurance Company | Interactive driver development |
JP2014178971A (ja) * | 2013-03-15 | 2014-09-25 | Denso Corp | 車両用衝突警報装置 |
US20140347458A1 (en) * | 2013-05-23 | 2014-11-27 | Ford Global Technologies, Llc | Cellular phone camera for driver state estimation |
US20140375810A1 (en) * | 2013-06-21 | 2014-12-25 | Digimarc Corporation | Vehicular safety methods and arrangements |
KR101470190B1 (ko) * | 2013-07-09 | 2014-12-05 | 현대자동차주식회사 | 자율주행 시스템의 고장 처리 장치 및 그 방법 |
JP6142718B2 (ja) * | 2013-07-31 | 2017-06-07 | 株式会社デンソー | 運転支援装置、および運転支援方法 |
JP6122129B2 (ja) * | 2013-09-04 | 2017-04-26 | 本田技研工業株式会社 | 電子通信システム、車載装置、及び制御方法 |
EP2848488B2 (en) * | 2013-09-12 | 2022-04-13 | Volvo Car Corporation | Method and arrangement for handover warning in a vehicle having autonomous driving capabilities |
US20150116197A1 (en) * | 2013-10-24 | 2015-04-30 | Johnson Controls Technology Company | Systems and methods for displaying three-dimensional images on a vehicle instrument console |
JP6462209B2 (ja) * | 2013-12-03 | 2019-01-30 | 浜松ホトニクス株式会社 | 計測装置及び計測方法 |
US20150164323A1 (en) * | 2013-12-16 | 2015-06-18 | Medtronic Minimed, Inc. | Secure communications between elements in a wireless network |
US9406177B2 (en) * | 2013-12-20 | 2016-08-02 | Ford Global Technologies, Llc | Fault handling in an autonomous vehicle |
US9346400B2 (en) * | 2013-12-20 | 2016-05-24 | Ford Global Technologies, Llc | Affective user interface in an autonomous vehicle |
JP2015132997A (ja) * | 2014-01-14 | 2015-07-23 | 株式会社日本自動車部品総合研究所 | 情報提示システム、送信装置及び受信装置 |
US9580081B2 (en) * | 2014-01-24 | 2017-02-28 | Tobii Ab | Gaze driven interaction for a vehicle |
US20150221341A1 (en) * | 2014-01-31 | 2015-08-06 | Audi Ag | System and method for enhanced time-lapse video generation using panoramic imagery |
JP6213282B2 (ja) * | 2014-02-12 | 2017-10-18 | 株式会社デンソー | 運転支援装置 |
US10424199B2 (en) * | 2014-02-13 | 2019-09-24 | Mitsubishi Electric Corporation | Communication apparatus, operation assistance apparatus, and operation assistance system |
US9465388B1 (en) * | 2014-03-03 | 2016-10-11 | Google Inc. | Remote assistance for an autonomous vehicle in low confidence situations |
JP6221873B2 (ja) * | 2014-03-21 | 2017-11-01 | アイシン・エィ・ダブリュ株式会社 | 自動運転支援装置、自動運転支援方法及びプログラム |
US9922548B2 (en) * | 2014-04-18 | 2018-03-20 | Gentex Corporation | Trainable transceiver and camera systems and methods |
CN106233356B (zh) * | 2014-04-25 | 2018-11-13 | 日产自动车株式会社 | 信息呈现装置以及信息呈现方法 |
US9820114B2 (en) * | 2014-05-09 | 2017-11-14 | Jessica Greenhut | System and method for testing blood alcohol level and transmitting the results using a mobile device |
US9547798B2 (en) * | 2014-05-20 | 2017-01-17 | State Farm Mutual Automobile Insurance Company | Gaze tracking for a vehicle operator |
JP6557457B2 (ja) * | 2014-07-25 | 2019-08-07 | クラリオン株式会社 | 画像表示システム、画像表示方法、及び表示装置 |
US9824578B2 (en) * | 2014-09-03 | 2017-11-21 | Echostar Technologies International Corporation | Home automation control using context sensitive menus |
KR101612824B1 (ko) * | 2014-11-20 | 2016-04-15 | 현대자동차주식회사 | Hmd를 이용한 운전자 상태 모니터링 방법 및 장치 |
US9483059B2 (en) * | 2014-11-26 | 2016-11-01 | Toyota Motor Engineering & Manufacturing North America, Inc. | Method to gain driver's attention for autonomous vehicle |
CN111016926B (zh) * | 2014-12-12 | 2023-06-13 | 索尼公司 | 自动驾驶控制设备以及自动驾驶控制方法和程序 |
KR101677648B1 (ko) * | 2014-12-22 | 2016-11-18 | 엘지전자 주식회사 | 차량 제어 장치 및 그 제어 방법 |
ES2660309T3 (es) * | 2015-02-10 | 2018-03-21 | Juan Dominguez-Montes | Sistema de reproducción estereoscópica por transparencia |
WO2016151750A1 (ja) * | 2015-03-24 | 2016-09-29 | パイオニア株式会社 | 地図情報記憶装置、自動運転制御装置、制御方法、プログラム及び記憶媒体 |
KR102043060B1 (ko) * | 2015-05-08 | 2019-11-11 | 엘지전자 주식회사 | 자율 주행 장치 및 이를 구비한 차량 |
JP6573193B2 (ja) * | 2015-07-03 | 2019-09-11 | パナソニックIpマネジメント株式会社 | 判定装置、判定方法、および判定プログラム |
JP6237725B2 (ja) * | 2015-07-27 | 2017-11-29 | トヨタ自動車株式会社 | 乗員情報取得装置及び車両制御システム |
KR20170015115A (ko) * | 2015-07-30 | 2017-02-08 | 삼성전자주식회사 | 자율 주행 차량 및 자율 주행 차량 제어 방법 |
US10220705B2 (en) * | 2015-08-12 | 2019-03-05 | Madhusoodhan Ramanujam | Sharing autonomous vehicles |
US9996756B2 (en) * | 2015-08-31 | 2018-06-12 | Lytx, Inc. | Detecting risky driving with machine vision |
US10053001B1 (en) * | 2015-09-24 | 2018-08-21 | Apple Inc. | System and method for visual communication of an operational status |
DE102015220237A1 (de) * | 2015-10-16 | 2017-04-20 | Zf Friedrichshafen Ag | Fahrzeugsystem und Verfahren zur Aktivierung einer Selbstfahreinheit zum autonomen Fahren |
US10768617B2 (en) * | 2015-11-19 | 2020-09-08 | Sony Corporation | Drive assistance device and drive assistance method, and moving body |
JP2017097519A (ja) * | 2015-11-20 | 2017-06-01 | オムロン株式会社 | 自動運転支援装置、自動運転支援システム、自動運転支援方法、プログラムおよび記録媒体 |
JP6641916B2 (ja) * | 2015-11-20 | 2020-02-05 | オムロン株式会社 | 自動運転支援装置、自動運転支援システム、自動運転支援方法および自動運転支援プログラム |
KR20170069734A (ko) * | 2015-12-11 | 2017-06-21 | 삼성전자주식회사 | 정보 제공을 위한 전자 장치 및 방법 |
JP2017111469A (ja) * | 2015-12-14 | 2017-06-22 | 富士通株式会社 | 道路標識視認判定システム、道路標識視認判定方法、及びプログラム |
US11250514B2 (en) * | 2016-02-15 | 2022-02-15 | Allstate Insurance Company | Early notification of non-autonomous area |
JP6369487B2 (ja) * | 2016-02-23 | 2018-08-08 | トヨタ自動車株式会社 | 表示装置 |
JP6460008B2 (ja) * | 2016-02-25 | 2019-01-30 | トヨタ自動車株式会社 | 自動運転装置 |
DE102016207353A1 (de) * | 2016-04-29 | 2017-11-02 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Detektieren eines Benutzens eines elektronischen Geräts durch einen Fahrer für ein Fahrzeug |
US10025383B2 (en) * | 2016-07-20 | 2018-07-17 | Toyota Motor Engineering & Manufacturing North America, Inc. | Automatic pause and resume of media content during automated driving based on driver's gaze |
US20180229654A1 (en) * | 2017-02-16 | 2018-08-16 | Regents Of The University Of Minnesota | Sensing application use while driving |
US10882453B2 (en) * | 2017-04-01 | 2021-01-05 | Intel Corporation | Usage of automotive virtual mirrors |
JP7074528B2 (ja) * | 2018-03-27 | 2022-05-24 | 本田技研工業株式会社 | 情報処理装置及びプログラム |
JP7063672B2 (ja) * | 2018-03-27 | 2022-05-09 | 本田技研工業株式会社 | 情報処理装置及びプログラム |
-
2016
- 2016-12-27 JP JP2016253786A patent/JP6917708B2/ja active Active
-
2017
- 2017-02-27 US US15/780,056 patent/US10640123B2/en active Active
-
2020
- 2020-03-09 JP JP2020040235A patent/JP7060031B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010000951A (ja) * | 2008-06-20 | 2010-01-07 | Toyota Motor Corp | 運転支援装置 |
JP2015108519A (ja) * | 2013-12-03 | 2015-06-11 | 日産自動車株式会社 | 情報表示装置 |
JP2015141053A (ja) * | 2014-01-27 | 2015-08-03 | アイシン・エィ・ダブリュ株式会社 | 自動運転支援システム、自動運転支援方法及びコンピュータプログラム |
JP2015210660A (ja) * | 2014-04-25 | 2015-11-24 | 日産自動車株式会社 | 情報呈示装置及び情報呈示方法 |
JP2015217798A (ja) * | 2014-05-16 | 2015-12-07 | 三菱電機株式会社 | 車載情報表示制御装置 |
JP2016006628A (ja) * | 2014-05-27 | 2016-01-14 | 株式会社デンソー | 注意喚起装置 |
Also Published As
Publication number | Publication date |
---|---|
US20180345980A1 (en) | 2018-12-06 |
JP7060031B2 (ja) | 2022-04-26 |
US10640123B2 (en) | 2020-05-05 |
JP6917708B2 (ja) | 2021-08-11 |
JP2017157196A (ja) | 2017-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7060031B2 (ja) | 運転者監視システム | |
CN107415938B (zh) | 基于乘员位置和注意力控制自主车辆功能和输出 | |
CN110892351B (zh) | 车辆控制装置和车辆控制方法 | |
US10908677B2 (en) | Vehicle system for providing driver feedback in response to an occupant's emotion | |
CN110914884B (zh) | 车辆控制器和车辆控制方法 | |
JP7203035B2 (ja) | 情報処理装置および情報処理方法 | |
KR101655818B1 (ko) | 웨어러블 글래스, 그 제어 방법 및 차량 제어 시스템 | |
EP3936363A1 (en) | Cognitive load driving assistant | |
US20180229654A1 (en) | Sensing application use while driving | |
US20190317328A1 (en) | System and method for providing augmented-reality assistance for vehicular navigation | |
US10666901B1 (en) | System for soothing an occupant in a vehicle | |
US20200247422A1 (en) | Inattentive driving suppression system | |
US10674003B1 (en) | Apparatus and system for identifying occupants in a vehicle | |
WO2018150676A1 (ja) | 運転切替支援装置、及び運転切替支援方法 | |
JP2010018201A (ja) | 運転者支援装置、運転者支援方法および運転者支援処理プログラム | |
JP7191752B2 (ja) | 車両制御システム及び車両 | |
JP6256433B2 (ja) | 運転者状態検出装置 | |
WO2008114839A1 (ja) | 覚醒度判定装置及び覚醒度判定方法 | |
WO2019012720A1 (ja) | 警告出力装置、警告出力方法、及び警告出力システム | |
US20200211354A1 (en) | System and method for adjusting reaction time of a driver | |
CN114340970A (zh) | 信息处理设备、移动设备、信息处理系统、方法和程序 | |
JP6891926B2 (ja) | 車両システム、車両システムで実行される方法、および運転者支援システム | |
WO2017150466A1 (ja) | 運転者監視システム | |
JP2019081450A (ja) | 表示装置、表示制御方法、及びプログラム | |
JP2019006183A (ja) | 操縦支援装置、操縦支援方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200407 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200407 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210316 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210510 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210914 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211108 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220315 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220328 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7060031 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |