JP2018151910A - 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム - Google Patents
集中度判定装置、集中度判定方法及び集中度判定のためのプログラム Download PDFInfo
- Publication number
- JP2018151910A JP2018151910A JP2017048203A JP2017048203A JP2018151910A JP 2018151910 A JP2018151910 A JP 2018151910A JP 2017048203 A JP2017048203 A JP 2017048203A JP 2017048203 A JP2017048203 A JP 2017048203A JP 2018151910 A JP2018151910 A JP 2018151910A
- Authority
- JP
- Japan
- Prior art keywords
- driving
- concentration
- operation mode
- driver
- manual operation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 25
- 230000007958 sleep Effects 0.000 claims description 44
- 230000004622 sleep time Effects 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 description 94
- 238000012544 monitoring process Methods 0.000 description 19
- 230000000007 visual effect Effects 0.000 description 15
- 206010041349 Somnolence Diseases 0.000 description 12
- 238000013500 data storage Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 208000032140 Sleepiness Diseases 0.000 description 8
- 230000007423 decrease Effects 0.000 description 8
- 230000037321 sleepiness Effects 0.000 description 8
- 210000001508 eye Anatomy 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 239000012141 concentrate Substances 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000036578 sleeping time Effects 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000007937 eating Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0059—Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6893—Cars
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/082—Selecting or switching between different modes of propelling
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0051—Handover processes from occupants to vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0053—Handover processes from vehicle to occupant
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
- G05D1/0061—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/10—Accelerator pedal position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/12—Brake pedal position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/18—Steering angle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/22—Psychological state; Stress level or workload
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/225—Direction of gaze
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/05—Type of road, e.g. motorways, local streets, paved or unpaved roads
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Automation & Control Theory (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- General Physics & Mathematics (AREA)
- Educational Technology (AREA)
- Social Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Description
[一実施形態]
(構成)
図1は、この発明の一実施形態に係る集中度判定装置2を備えた車両1の全体構成を示す図である。集中度判定装置2は、乗用車等の車両1に搭載される。集中度判定装置2の構成については後述する。車両1は、例えば、自動車、バス、トラック及び電車等のうちの何れかであっても、これら以外の運転者(以下、ドライバとも称する)が乗る乗り物であってもよい。
アクセルペダルセンサ8は、アクセルペダルの操作量を検出する。アクセルペダルセンサ8は、検出結果を自動運転制御装置14へ出力する。
ブレーキペダルセンサ9は、ブレーキペダルの操作量を検出する。ブレーキペダルセンサ9は、検出結果を自動運転制御装置14へ出力する。
GPS受信機10は、車両1の現在位置情報を受信する。GPS受信機10は、現在位置情報を集中度判定装置2、ナビゲーション装置13及び自動運転制御装置14へ出力する。
ジャイロセンサ11は、車両1の挙動を検出する。ジャイロセンサ11は、検出結果をナビゲーション装置13及び自動運転制御装置14へ出力する。
車速センサ12は、車両1の速度を検出する。車速センサ12は、検出結果をナビゲーション装置13及び自動運転制御装置14へ出力する。
ナビゲーション装置13は、経路情報を集中度判定装置2及び自動運転制御装置14へ出力する。
道路環境に関する情報のいくつかの例について説明する。
道路環境に関する情報は、現在位置から目的地までに通過する道路の種別の情報を含んでいてもよい。道路の種別は、例えば、人の通行が制限されている道路又は人の通行が制限されていない道路などに分けられる。人の通行が制限されている道路は、例えば、高速道路である。高速道路は、自動車専用道路ということもできる。人の通行が制限されていない道路は、例えば、一般道路である。
道路環境に関する情報は、現在位置から目的地までに通過する道路上の設置物の位置情報を含んでいてもよい。設置物は、例えば、標識であるが、これ以外に道路に設置されている物であってもよい。
道路環境に関する情報は、現在位置から目的地までに通過する道路近傍の建造物の位置情報を含んでいてもよい。
なお、経路情報は、道路環境に関する情報として、上述の例以外の情報を含んでいてもよい。
一例では、第1の道路は高速道路であり、第2の道路は一般道路である。高速道路では、通常、人の飛び出しは起こり得ない。他方、一般道路では、人の飛び出しが起こり得る。さらに、高速道路は、一般道路よりも長い直線区間を有する道路である。そのため、一般道路は、運転モードによらず、高速道路よりも運転者が車両1の運転に集中力及び注意力などを要する。
自動運転制御装置14は、運転モードが自動運転モードである場合に車両1の走行を自動制御する。
自動運転制御装置14は、各種情報又は各種指示に基づき運転モードを自動運転モードに設定して車両1の走行を自動制御したり、運転モードを自動運転モードから手動運転モードに切り替えて自動制御を停止したりする。手動運転モードに切り替えられると、つまり自動制御が停止されると手動運転が可能になる。例えば、ナビゲーション装置13は、運転手からの自動運転モードの指示入力を受け取り、自動運転制御装置14へ自動運転モードを指示し、自動運転制御装置14が運転モードを自動運転モードに設定し、車両1の走行を自動制御する。また、ナビゲーション装置13は、記憶している地図情報に対応する自動運転区間の設定情報を受け取り、GPS受信機10からの現在位置情報に基づき車両1が自動運転区間に入ったことが検出されると、自動運転モードを指示し、自動運転制御装置14が運転モードを自動運転モードに設定し、車両1の走行を自動制御する。
自動運転制御装置14は、運転モード(自動運転モード又は手動運転モード)を集中度判定装置2へ通知する。
ドライバカメラ15は、例えば、ダッシュボード上のような運転者の正面となる位置に設置されている。ドライバカメラ15は、運転者を監視するセンサの一例である。ドライバカメラ15は、車両1の運転開始に応答して起動し、運転者の顔を含む所定の範囲を連続的に撮影する。ドライバカメラ15は、撮影した画像(以下、運転者画像データという)を集中度判定装置2へ出力する。運転者画像データは、運転者の状態を検出するために用いられる監視データの一例である。運転者の状態は、例えば、運転者の前方注視、眠気、睡眠、脇見、服の着脱、電話操作、窓側・肘掛けへの寄り掛かり、同乗者やペットによる運転妨害、病気の発症、後ろ向き、突っ伏し、飲食、喫煙、めまい、異常行動、カーナビゲーション・オーディオ操作、眼鏡・サングラスの着脱、写真撮影及び視覚的認知などの指標のうちの少なくとも何れか1つの指標を含む。視覚的認知については、運転者が対象を視覚的にどの程度認知したかの指標である。運転者の状態は、ここに例示する指標以外の指標を含んでいてもよい。
集中度判定装置2は、上述の運転者の状態に基づいて運転者の運転集中度を推定し、運転者が車両1の運転に適した状態か否かを判定する。運転集中度は、運転者が車両1の運転に適した度合いである。運転集中度が高くなるにつれ、運転者は、より車両1の運転に適した状態になる。逆に、運転集中度が低くなるにつれ、運転者は、より車両1の運転に適さない状態になる。なお、運転集中度は運転危険度とも言える。運転集中度が高くなるにつれ運転危険度は低くなり安全性が向上する。逆に、運転集中度が低くなるにつれ運転危険度は高くなり安全性が低下する。
集中度判定装置2は、入出力インタフェースユニット21と、記憶ユニット22と、制御ユニット23とを備える。
記憶ユニット22は、例えば、SSD(Solid State Drive)やHDD(Hard Disk Drive)等の随時書き込み及び読み出しが可能な不揮発性メモリである。記憶ユニット22は、運転者画像データ記憶部221と、車外画像データ記憶部222と、集中度テーブル記憶部223とを備える。
車外画像データ記憶部222は、制御ユニット23が車外カメラ6から取得する車外画像データを記憶する。
集中度テーブルは、指標となる脇見について、以下のように、運転者の状態をレベル1、レベル2及びレベル3それぞれと対応付けている。レベル1は、例えば、車両1の進行方向に対して0度以上第1の角度未満の範囲内の角度で傾く方向を見ている運転者の状態と対応付けられている。つまり、レベル1は、運転者が脇見をしておらず、運転集中度が高い状態である。レベル2は、例えば、車両1の進行方向に対して第1の角度以上第2の角度未満の範囲内の角度で傾く方向を見ている運転者の状態と対応付けられている。つまり、レベル2は、運転者が少し脇見をしており、レベル1よりも運転集中度が低い状態である。レベル3は、例えば、車両1の進行方向に対して第2の角度以上の角度で傾く方向を見ている運転者の状態と対応付けられている。つまり、レベル3は、運転者が脇見をしており、レベル2よりも運転集中度が低い状態である。ここでは、脇見を例にして集中度テーブルに管理されている情報について説明したが、他の指標についても同様である。
制御ユニット23は、プロセッサ231と、メモリ232とを備える。
プロセッサ231は、例えば、コンピュータを構成するCPU(Central Processing Unit)である。プロセッサ231が備える各部の構成については後述する。なお、図2には1つのプロセッサ231を示しているが、制御ユニット23は、1つ以上のプロセッサを備えていてもよい。
メモリ232は、プロセッサ231が備える各部の処理をプロセッサ231に機能させるプログラムを備える。プログラムは、プロセッサ231を動作させる命令ということもできる。プログラムは、記憶ユニット22に記憶されており、記憶ユニット22からメモリ232に読み出される。メモリ232のプログラムは、プロセッサ231によって読み出される。一実施形態は、プログラムによって実現されてもよい。
プロセッサ231は、監視データ取得部2311と、車外画像データ取得部2312と、経路情報取得部2313と、現在位置情報取得部2314と、状態検出部2315と、集中度推定部2316と、情報取得部2317と、基準設定部2318aと、基準比較部2318bと、信号出力部2319とを備える。なお、各部は、1つ以上のプロセッサに分散されていてもよい。
車外画像データ取得部2312は、入出力インタフェースユニット21を介して、車外カメラ6から車外画像データを取得する。車外画像データ取得部2312は、車外画像データを車外画像データ記憶部222に記憶させる。
現在位置情報取得部2314は、入出力インタフェースユニット21を介して、GPS受信機10から現在位置情報を取得する。現在位置情報取得部2314は、現在位置情報を状態検出部2315へ出力する。
状態検出部2315は、運転者の状態を集中度推定部2316へ出力する。
状態検出部2315は、道路環境を情報取得部2317へ出力する。
集中度推定部2316は、運転集中度を情報取得部2317へ出力する。
なお、上記した基準は危険度判定レベル(運転不適判定の閾値)と定義することもできる。
はじめに、集中度推定部2316によって推定される数値が、運転集中度が高くなるにつれ大きくなる場合について説明する。基準は数値Aとする。集中度推定部2316によって推定される数値が基準である数値Aよりも小さければ、基準比較部2318bは、集中度推定部2316によって推定される運転集中度が基準よりも低いと判断する。
基準は複数のレベルのうちから抽出されるレベルBとする。集中度推定部2316によって推定されるレベルに基準であるレベルBよりも低い運転集中度が割り当てられている場合、基準比較部2318bは、集中度推定部2316によって推定される運転集中度が基準よりも低いと判断する。
図3は、状態検出部2315の構成を示すブロック図である。状態検出部2315は、一例として、局所状態検出部23151と、大局状態検出部23152と、運転者状態検出部23153とを備える。
このように、状態検出部2315は、例えば、局所的な情報及び大局的な情報を組み合わせることで、様々な運転者の状態を検出することができる。
状態検出部2315は、経路情報及び現在位置情報を参照して、車両1の近傍に位置する対象を抽出する。対象は、上述のように、例えば、標識などの設置物及び建造物などであるが、運転者が視覚的に認識する可能性のあるものであれば特に限定されない。状態検出部2315は、車両1が対象の近傍を通過するタイミングと略同タイミングで撮影された運転者画像データから運転者の視線及び顔の向きを検出する。状態検出部2315は、運転者の視線及び顔の向きの少なくとも何れか一方と対象の位置情報とを用いて、視覚的認知を検出する。
なお、状態検出部2315は、車両1の前後左右の何れの近傍に位置している対象を用いてもよい。状態検出部2315は、車両1の前側よりも、左側又は右側の近傍に位置している対象を用いた方が好ましい。対象が車両1の前側に位置していれば、運転者の視線及び顔はそれほど動かない。これに対して、対象が車両1の左側又は右側の近傍に位置していれば、運転者の視線及び顔は、左側又は右側へ動く。そのため、状態検出部2315は、視覚的認知を適切に検出することができる。
図4は、自動運転モードM11の実行期間に含まれる第1の期間の第1例を説明するための図である。図4に示すように、例えば、自動運転モードM11の実行期間に含まれる第1の期間は、手動運転モードM21へ切り替わる直前を含む所定期間である。この所定期間は任意の時間に設定可能としてもよい。例えば、所定期間を90分、60分、又は30分に設定可能としてもよい。この第1の期間に対応して推定(取得)される運転集中度を第1の運転集中度と定義し、この第1の期間に対応して取得される走行情報を第1の走行情報と定義する。なお、自動運転モードM11の実行期間に対応して、自動運転基準が設定される。この第1例では、自動運転モードM11の全ての期間を第1の期間に設定するものではなく、一部分を第1の期間に設定する。例えば、自動運転モードM11の実行期間が非常に長い場合に、限定的な第1の期間を設定することができ、限定的な第1の期間に対応する第1の運転集中度に基づく判定が可能となる。
次に、以上のように構成されている集中度判定装置2の動作を説明する。
図8は、集中度判定装置2による運転集中度判定処理の一例を示すフローチャートである。最初に運転集中度の推定の流れについて説明する。監視データ取得部2311は、車両1の運転者を監視するセンサから監視データを取得する。監視データ取得部2311は、例えば、入出力インタフェースユニット21を介して、ドライバカメラ15から運転者画像データを取得する。なお、監視データ取得部2311が監視データを取得する間隔は、状態検出部2315が運転者の状態を検出する間隔と同じであっても、これより短くてもよい。
以上詳述したようにこの発明の一実施形態では、集中度判定装置2は、自動運転モードの実行中の第1の運転集中度及び第1の走行情報のうちの少なくとも1つに基づき、自動運転モードから切り替えられる手動運転モードのための第1の基準又は第1の基準より高い第2の基準を設定することができる。つまり、自動運転モードの実行中の状態に基づき危険度判定基準を第1又は第2の基準に設定することができ、自動運転モードの実行中の状態に基づき可変設定される第1又は第2の基準で手動運転モードの実行中の第2の運転集中度を判定することができる。また、判定結果に応じて、警告等の情報を出力することができる。したがって、自動運転モードの実行中の状態に応じて、手動運転モードの実行中における適切な警告等の情報出力により運転の安全性が保たれる。さらに、自動運転モードの実行中の状態に応じて、手動運転モードの実行中における適切な警告等の情報出力により快適性が保たれる。
また、図5に示す第2例の第1の期間を採用することにより、自動運転モードM11の連続する全ての実行期間を第1の期間に設定することができる。そのため、自動運転モードM11の開始から終了までの間の第1の運転集中度に基づき第1又は第2の手動運転基準を設定することができる。
また、図6に示す第3例の第1の期間を採用することにより、非連続の複数の自動運転モードの実行期間を第1の期間に設定することができる。そのため、非連続の複数の自動運転モードの期間に対応する第1の運転集中度に基づき第1又は第2の手動運転基準を設定することができる。
以下、いくつかの他の実施形態について説明する。
前記一実施形態では、第1又は第2の手動運転基準の2つの基準の使い分けについて説明したが、3つ以上の異なる基準を使い分けるようにしてもよい。例えば、自動運転モードの実行中に得られる複数の指標に対応する複数の第1の運転集中度のうちの例えば1つ(第1の所定数)が自動運転基準を満たさない場合に第1の手動運転基準を設定する。また、複数の第1の運転集中度のうちの例えば3つ(第1の所定数より多い第2の所定数)が自動運転基準を満たさない場合に第2の手動運転基準を設定する。また、複数の第1の運転集中度のうちの例えば5つ(第2の所定数より多い第3の所定数)が自動運転基準を満たさない場合に第2の手動運転基準よりさらに高い(さらに厳しい)第3の手動運転基準を設定するようにしてもよい。或いは、自動運転モードの実行中の1又は複数の第1の運転集中度及び走行情報を組み合わせた結果に基づき3つ以上の手動運転基準を使い分けるようにしてもよい。
さらに、監視データは、例えば、ステアリングホイール5に設置されている運転者のステアリングホイール5を握る強度を測るセンサで得られるデータであってもよい。
(付記1)
車両の運転者の運転集中度を取得し、
自動運転モードの実行中の第1の運転集中度及び走行情報のうちの少なくとも1つに基づき前記自動運転モードから切り替えられる手動運転モードのための第1の基準又は前記第1の基準より高い第2の基準を設定し、
前記手動運転モードの実行中の第2の運転集中度を前記第1又は第2の基準と比較し、
比較結果に応じた情報を出力するように構成されているプロセッサと、
前記プロセッサを動作させる命令を記憶するメモリと、
を備える集中度判定装置。
(付記2)
少なくとも1つのプロセッサを用いて、車両の運転者の運転集中度を取得する情報取得過程と、
前記少なくとも1つのプロセッサを用いて、自動運転モードの実行中の第1の運転集中度及び走行情報のうちの少なくとも1つに基づき前記自動運転モードから切り替えられる手動運転モードのための第1の基準又は前記第1の基準より高い第2の基準を設定する基準設定過程と、
前記少なくとも1つのプロセッサを用いて、前記手動運転モードの実行中の第2の運転集中度を前記第1又は第2の基準と比較する基準比較過程と、
前記少なくとも1つのプロセッサを用いて、比較結果に応じた情報を出力する情報出力過程と、
を備える集中度判定方法。
Claims (10)
- 車両の運転者の運転集中度を取得する情報取得部と、
自動運転モードの実行中の第1の運転集中度及び走行情報のうちの少なくとも1つに基づき前記自動運転モードから切り替えられる手動運転モードのための第1の基準又は前記第1の基準より高い第2の基準を設定する基準設定部と、
前記手動運転モードの実行中の第2の運転集中度を前記第1又は第2の基準と比較する基準比較部と、
比較結果に応じた情報を出力する情報出力部と、
を備える集中度判定装置。 - 前記基準比較部は、前記第1の運転集中度の指標に含まれる前記運転者の睡眠状態に基づき前記第1又は第2の基準を設定する請求項1に記載の集中度判定装置。
- 前記基準比較部は、前記第1の運転集中度の指標に含まれる前記運転者の睡眠時間に基づき前記第1又は第2の基準を設定する請求項1又は2に記載の集中度判定装置。
- 前記基準設定部は、前記走行情報に含まれる走行時間、走行距離、及び道路環境のうちの少なくとも1つに基づき前記第1の基準又は前記第2の基準を設定する請求項1から3の何れか1項に記載の集中度判定装置。
- 前記基準設定部は、前記自動運転モードから前記手動運転モードへ切り替わる直前を含む第1の期間における前記第1の運転集中度及び前記走行情報のうちの少なくとも1つに基づき前記第1又は第2の基準を設定する請求項1から4の何れか1項に記載の集中度判定装置。
- 前記基準設定部は、前記第1の運転集中度及び前記走行情報のうちの少なくとも1つに基づき前記自動運転モードから前記手動運転モードへ切り替わる直後を含む第2の期間において前記第1又は第2の基準を設定する請求項1から5の何れか1項に記載の集中度判定装置。
- 前記基準設定部は、前記第2の期間経過後の手動運転モードにおいて前記第1の基準を設定する請求項6に記載の集中度判定装置。
- 前記基準設定部は、前記第2の期間における第2の運転集中度に基づき前記第2の期間経過後の手動運転モードにおいて前記第1又は第2の基準を設定する請求項6に記載の集中度判定装置。
- 車両の運転者の運転集中度を取得する情報取得過程と、
自動運転モードの実行中の第1の運転集中度及び走行情報のうちの少なくとも1つに基づき前記自動運転モードから切り替えられる手動運転モードのための第1の基準又は前記第1の基準より高い第2の基準を設定する基準設定過程と、
前記手動運転モードの実行中の第2の運転集中度を前記第1又は第2の基準と比較する基準比較過程と、
比較結果に応じた情報を出力する情報出力過程と、
を備える集中度判定方法。 - 請求項1から8の何れか1項に記載の集中度判定装置が備える各部の処理をコンピュータに機能させる集中度判定のためのプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017048203A JP6627811B2 (ja) | 2017-03-14 | 2017-03-14 | 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム |
PCT/JP2017/038575 WO2018168052A1 (ja) | 2017-03-14 | 2017-10-25 | 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム |
DE112017007267.0T DE112017007267T8 (de) | 2017-03-14 | 2017-10-25 | Vorrichtung zur Bestimmung des Konzentrationsgrades, Verfahren zur Bestimmung des Konzentrationsgrades und Programm zur Bestimmung des Konzentrationsgrades |
CN201780055638.7A CN109690654B (zh) | 2017-03-14 | 2017-10-25 | 集中度判定装置、集中度判定方法及用于集中度判定的程序 |
US16/333,850 US20190265699A1 (en) | 2017-03-14 | 2017-10-25 | Concentration degree determination device, concentration degree determination method, and program for determining concentration degree |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017048203A JP6627811B2 (ja) | 2017-03-14 | 2017-03-14 | 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018151910A true JP2018151910A (ja) | 2018-09-27 |
JP2018151910A5 JP2018151910A5 (ja) | 2019-05-23 |
JP6627811B2 JP6627811B2 (ja) | 2020-01-08 |
Family
ID=63521906
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017048203A Expired - Fee Related JP6627811B2 (ja) | 2017-03-14 | 2017-03-14 | 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20190265699A1 (ja) |
JP (1) | JP6627811B2 (ja) |
CN (1) | CN109690654B (ja) |
DE (1) | DE112017007267T8 (ja) |
WO (1) | WO2018168052A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021053780A1 (ja) * | 2019-09-19 | 2021-03-25 | 三菱電機株式会社 | 認知機能推定装置、学習装置、および、認知機能推定方法 |
JP2022512114A (ja) * | 2018-12-19 | 2022-02-02 | ウェイモ エルエルシー | 運転手の疲労を検出し、動的に緩和するためのシステムおよび方法 |
JP7560486B2 (ja) | 2020-01-17 | 2024-10-02 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018220826A1 (ja) * | 2017-06-02 | 2018-12-06 | 本田技研工業株式会社 | 車両制御システム、車両制御方法、および車両制御プログラム |
JP2018203009A (ja) * | 2017-06-02 | 2018-12-27 | 本田技研工業株式会社 | 車両制御システム、車両制御方法、およびプログラム |
JP6920112B2 (ja) * | 2017-06-15 | 2021-08-18 | 株式会社デンソーテン | 運転支援装置および運転支援方法 |
JP6859907B2 (ja) * | 2017-09-08 | 2021-04-14 | トヨタ自動車株式会社 | 車両制御装置 |
DE102018209440A1 (de) * | 2018-06-13 | 2019-12-19 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zur Beeinflussung von Systemen zur Aufmerksamkeitsüberwachung |
US20210387640A1 (en) * | 2018-11-13 | 2021-12-16 | Sony Group Corporation | Information processing apparatus, information processing method, and program |
JP7523373B2 (ja) | 2021-01-25 | 2024-07-26 | 株式会社豊田中央研究所 | 運転準備状態推定装置及びプログラム |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH102241A (ja) * | 1996-04-19 | 1998-01-06 | Toyota Motor Corp | ハイブリッド車両の制御装置 |
JP2003118423A (ja) * | 2001-10-11 | 2003-04-23 | Nissan Motor Co Ltd | 自動巡航制御装置 |
JP2003267173A (ja) * | 2002-03-14 | 2003-09-25 | Toyota Central Res & Dev Lab Inc | 車間距離警報装置 |
WO2015122158A1 (ja) * | 2014-02-12 | 2015-08-20 | 株式会社デンソー | 運転支援装置 |
JP2016115356A (ja) * | 2014-12-12 | 2016-06-23 | ソニー株式会社 | 自動運転制御装置および自動運転制御方法、並びにプログラム |
WO2017002471A1 (ja) * | 2015-07-02 | 2017-01-05 | ソニー株式会社 | 車両制御装置と車両制御方法およびプログラム |
JP2017030390A (ja) * | 2015-07-29 | 2017-02-09 | 修一 田山 | 車輌の自動運転システム |
-
2017
- 2017-03-14 JP JP2017048203A patent/JP6627811B2/ja not_active Expired - Fee Related
- 2017-10-25 WO PCT/JP2017/038575 patent/WO2018168052A1/ja active Application Filing
- 2017-10-25 DE DE112017007267.0T patent/DE112017007267T8/de active Active
- 2017-10-25 US US16/333,850 patent/US20190265699A1/en not_active Abandoned
- 2017-10-25 CN CN201780055638.7A patent/CN109690654B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH102241A (ja) * | 1996-04-19 | 1998-01-06 | Toyota Motor Corp | ハイブリッド車両の制御装置 |
JP2003118423A (ja) * | 2001-10-11 | 2003-04-23 | Nissan Motor Co Ltd | 自動巡航制御装置 |
JP2003267173A (ja) * | 2002-03-14 | 2003-09-25 | Toyota Central Res & Dev Lab Inc | 車間距離警報装置 |
WO2015122158A1 (ja) * | 2014-02-12 | 2015-08-20 | 株式会社デンソー | 運転支援装置 |
JP2016115356A (ja) * | 2014-12-12 | 2016-06-23 | ソニー株式会社 | 自動運転制御装置および自動運転制御方法、並びにプログラム |
WO2017002471A1 (ja) * | 2015-07-02 | 2017-01-05 | ソニー株式会社 | 車両制御装置と車両制御方法およびプログラム |
JP2017030390A (ja) * | 2015-07-29 | 2017-02-09 | 修一 田山 | 車輌の自動運転システム |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022512114A (ja) * | 2018-12-19 | 2022-02-02 | ウェイモ エルエルシー | 運転手の疲労を検出し、動的に緩和するためのシステムおよび方法 |
US11491994B2 (en) | 2018-12-19 | 2022-11-08 | Waymo Llc | Systems and methods for detecting and dynamically mitigating driver fatigue |
US11634145B2 (en) | 2018-12-19 | 2023-04-25 | Waymo Llc | Systems and methods for detecting and dynamically mitigating driver fatigue |
JP7565919B2 (ja) | 2018-12-19 | 2024-10-11 | ウェイモ エルエルシー | 運転手の疲労を検出し、動的に緩和するためのシステムおよび方法 |
WO2021053780A1 (ja) * | 2019-09-19 | 2021-03-25 | 三菱電機株式会社 | 認知機能推定装置、学習装置、および、認知機能推定方法 |
JPWO2021053780A1 (ja) * | 2019-09-19 | 2021-11-18 | 三菱電機株式会社 | 認知機能推定装置、学習装置、および、認知機能推定方法 |
JP7560486B2 (ja) | 2020-01-17 | 2024-10-02 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2018168052A1 (ja) | 2018-09-20 |
CN109690654B (zh) | 2021-10-26 |
CN109690654A (zh) | 2019-04-26 |
US20190265699A1 (en) | 2019-08-29 |
JP6627811B2 (ja) | 2020-01-08 |
DE112017007267T5 (de) | 2019-11-28 |
DE112017007267T8 (de) | 2020-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6627811B2 (ja) | 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム | |
JP7080598B2 (ja) | 車両制御装置および車両制御方法 | |
JP6555647B2 (ja) | 車両運転支援システム及び車両運転支援方法 | |
WO2018168051A1 (ja) | 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム | |
JP6631570B2 (ja) | 運転状態判定装置、運転状態判定方法及び運転状態判定のためのプログラム | |
JP6593712B2 (ja) | 車両運転支援システム | |
WO2018168049A1 (ja) | 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム | |
US20240000354A1 (en) | Driving characteristic determination device, driving characteristic determination method, and recording medium | |
JP6631569B2 (ja) | 運転状態判定装置、運転状態判定方法及び運転状態判定のためのプログラム | |
WO2018168099A1 (ja) | 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム | |
US20190147264A1 (en) | Concentration determination apparatus, concentration determination method, and program for concentration determination | |
US9849833B2 (en) | Driving assistance system | |
WO2018168050A1 (ja) | 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム | |
WO2018168048A1 (ja) | 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム | |
WO2018168046A1 (ja) | 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム | |
WO2018163536A1 (ja) | 運転者身体コンディション回復支援装置、方法およびプログラム | |
WO2018168047A1 (ja) | 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム | |
JP7393738B2 (ja) | ドライバ状態推定装置 | |
JP7238193B2 (ja) | 車両制御装置および車両制御方法 | |
JP2022156031A (ja) | 安全運転支援装置、安全運転支援方法、プログラムおよび記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190312 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190412 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191118 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6627811 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |