JP2022527912A - 運転者疲労マップに基づく個人向けルート探索 - Google Patents

運転者疲労マップに基づく個人向けルート探索 Download PDF

Info

Publication number
JP2022527912A
JP2022527912A JP2021557587A JP2021557587A JP2022527912A JP 2022527912 A JP2022527912 A JP 2022527912A JP 2021557587 A JP2021557587 A JP 2021557587A JP 2021557587 A JP2021557587 A JP 2021557587A JP 2022527912 A JP2022527912 A JP 2022527912A
Authority
JP
Japan
Prior art keywords
driver
fatigue
vehicle
map
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021557587A
Other languages
English (en)
Other versions
JP7391990B2 (ja
Inventor
ジア、チェンチェン
ヤン、レイ
ユ、ハイ
フアン、ウェイ
Original Assignee
ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ホアウェイ・テクノロジーズ・カンパニー・リミテッド filed Critical ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Publication of JP2022527912A publication Critical patent/JP2022527912A/ja
Application granted granted Critical
Publication of JP7391990B2 publication Critical patent/JP7391990B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3605Destination input or retrieval
    • G01C21/3617Destination input or retrieval using user history, behaviour, conditions or preferences, e.g. predicted or inferred from previous use or current movement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04Traffic conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3453Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3484Personalized, e.g. from learned user behaviour or user-defined profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/22Psychological state; Stress level or workload
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4046Behavior, e.g. aggressive or erratic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/10Historical data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/40High definition maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

本開示は、疲労検知マッピングを用いて運転者の安全性を高めるナビゲーションシステムの技術に関する。本ナビゲーションシステムは、1つ又は複数の第1車両の運転者についてのあるルートに関するマップデータを格納しているデータソースにアクセスする。マップデータに基づいて、第2車両の運転者用の個人向け疲労マップが生成される。個人向け疲労マップは、第2車両の運転者の予測される運転者疲労をルート上に表示する。第1車両及び第2車両に乗った運転者が、運転者疲労を検知するために監視され、計算された疲労スコアに従って運転者疲労のレベルが評価される。運転者疲労が検知されると、運転者疲労のレベルに基づいた助言が第2車両の運転者に出力される。個人向け疲労マップは、この助言を反映するために更新される。

Description

本開示は概して運転者行動検知に関し、具体的には、ナビゲーションマップ及び疲労検知を用いて運転者の安全性を高める運転者行動システムに関する。
車両がますます技術依存度を高めている。ナビゲーションシステム、運転者疲労認識、及び自動運転などの機能を用いると、運転者は安全性を提供する自分の車両にこれまでよりも大きく依存することができる。従来のナビゲーションシステムは、走行ルートをマップ上に提供したり、地図上の特定のポイント、走行距離や走行時間を特定したりすることで、車両の運転者を支援する。ナビゲーションシステムは、マップ上でルートを特定したり選択したりすることの一部として、車両が走行している地理的領域内の交通情報及び事故情報を考慮して走行距離や走行時間を減らすことが多い。運転者支援システムといった他の車両システムは、安全をますます重視するようになった。こうしたシステムは、運転者の疲労及び眠気に関連した事故を運転者疲労認識などの仕組みを用いて防止するのに役立つ。さらに、自動運転は、運転している運転者を大いに支援する能力、特に事故を回避して、一般に運転者の安全を高める能力を実証してきた。こうした技術や他の多くの技術は運転者にとって非常に役立つことが分かってきたが、車両の安全性向上に対する要求は依然として存在する。
本開示の1つの態様によれば、コンピュータ実装方法が提供され、本方法は、1つ又は複数の第1車両の運転者についての、あるルートの1つ又は複数の区間に対する過去の疲労データ及び現在の疲労データを含むマップデータを格納している1つ又は複数のデータソースにアクセスする段階と、1つ又は複数のデータソースにアクセスすることにより取得されるマップデータに基づいて、第2車両の運転者用の個人向け疲労マップを生成する段階であって、個人向け疲労マップはルートの1つ又は複数の区間に対する第2車両の運転者に関して予測される運転者疲労を表示する、生成する段階と、1つ又は複数のセンサにより取得される計測値に基づいて運転者疲労を検知するために、1つ又は複数の第1車両及び第2車両の運転者を監視する段階であって、運転者疲労のレベルが疲労スコアに従って評価される、監視する段階と、運転者疲労が検知されると、第2車両の運転者に運転者疲労のレベルに基づいた助言を出力し、その助言を反映するために個人向け疲労マップを更新する段階とを備える。
必要に応じて、前述の態様のいずれかにおいて、マップデータはさらに、オンラインマッピングデータソースから取得されるオンラインマップデータを含み、過去の疲労データは、過去の指定期間における1つ又は複数の第1車両の運転者について収集され、過去の疲労データは、ルートの1つ又は複数の区間に沿った1つ又は複数の第1車両のそれぞれにおける運転者疲労を示す過去の疲労マップを生成するのに用いられ、現在の疲労データは、1つ又は複数の第1車両の運転者についてリアルタイムで収集され、現在の疲労データは、ルートの1つ又は複数の区間に沿った1つ又は複数の第1車両のそれぞれにおける運転者疲労を示す現在の疲労マップを生成するのに用いられる。
必要に応じて、前述の態様のいずれかにおいて、個人向け疲労マップを生成する段階は、個人向け疲労マップを生成するために、オンラインマップ、過去の疲労マップ、及び現在の疲労マップを学習アルゴリズムに適用する段階を含む。
必要に応じて、前述の態様のいずれかにおいて、本方法はさらに、1つ又は複数の第1車両に乗った運転者の疲労スコアを、パラメータのセット及び目的関数に基づいて計算する段階と、1つ又は複数の第1車両に乗った運転者が、第2車両に乗った運転者の周囲の運転者であり、且つ1つ又は複数の第1車両の運転者に関して検知された運転者疲労に基づいて第2車両の運転者に安全上のリスクをもたらす場合、安全上のリスクをもたらすと判定された周囲の運転者を回避するために、第2車両の運転者に助言として注意を喚起する段階とを含む。
必要に応じて、前述の態様のいずれかにおいて、本方法はさらに、1つ又は複数の第1車両に乗った運転者の疲労のレベルを反映するために、過去の疲労マップ及び現在の疲労マップを更新する段階と、第2車両のルートを変更して、安全上のリスクをもたらすと判定された周囲の運転者を回避するために、個人向け疲労マップを更新する段階とを含む。
必要に応じて、前述の態様のいずれかにおいて、本方法はさらに、第2車両に乗った運転者に運転者疲労を生じていると検知された場合、パラメータのセット及び目的関数に基づいて、第2車両に乗った運転者の疲労スコアを計算する段階と、1つ又は複数の第1車両の運転者についての過去の疲労データ及び現在の疲労データと第2車両の運転者の計算された疲労スコアとに基づいて、第2車両の運転者に注意を喚起する段階とを含む。
必要に応じて、前述の態様のいずれかにおいて、本方法はさらに、第2車両の運転者の計算された疲労スコアに基づいて第2車両のルートを変更するために、個人向け疲労マップを更新する段階と、1つ又は複数の第1車両に乗った運転者の疲労のレベルを反映するために、過去の疲労マップ及び現在の疲労マップを更新する段階とを含む。
必要に応じて、前述の態様のいずれかにおいて、パラメータのセットは、期間、ユーザ数、道路状況、疲労時間、疲労期間、気候、及び運転者の長期間にわたる運転パターンのうちの1つ又は複数を含む。
必要に応じて、前述の態様のいずれかにおいて、変更することは、運転者疲労のレベルが第1レベルであると計算された場合、第2車両の運転者に警告を出すことと、運転者疲労のレベルが第2レベルであると計算された場合、第2車両の運転者に警告を出し、近くの休憩場所までの代替ルートを提供することと、運転者疲労のレベルが第3レベルであると計算された場合、第2車両の運転者に警告を出し、第2車両を自動運転モードに入れることとを含む。
本開示のさらにもう1つの態様によれば、命令を含む非一時的メモリストレージと、メモリと通信する1つ又は複数のプロセッサとを備えるデバイスがあり、1つ又は複数のプロセッサは、1つ又は複数の第1車両の運転者についての、あるルートの1つ又は複数の区間に対する過去の疲労データ及び現在の疲労データを含むマップデータを格納している1つ又は複数のデータソースにアクセスする命令と、1つ又は複数のデータソースにアクセスすることにより取得されるマップデータに基づいて、第2車両の運転者用の個人向け疲労マップを生成する命令であって、個人向け疲労マップはルートの1つ又は複数の区間に対する第2車両の運転者に関して予測される運転者疲労を表示する、生成する命令と、1つ又は複数のセンサにより取得される計測値に基づいて運転者疲労を検知するために、1つ又は複数の第1車両及び第2車両の運転者を監視する命令であって、運転者疲労のレベルが疲労スコアに従って評価される、監視する命令と、運転者疲労が検知されると、第2車両の運転者に運転者疲労のレベルに基づいた助言を出力し、その助言を反映するために個人向け疲労マップを更新する命令とを実行する。
本開示のさらにもう1つの態様によれば、1つ又は複数のプロセッサにより実行されると、1つ又は複数の第1車両の運転者についての、あるルートの1つ又は複数の区間に対する過去の疲労データ及び現在の疲労データを含むマップデータを格納している1つ又は複数のデータソースにアクセスする段階と、1つ又は複数のデータソースにアクセスすることにより取得されるマップデータに基づいて、第2車両の運転者用の個人向け疲労マップを生成する段階であって、個人向け疲労マップはルートの1つ又は複数の区間に対する第2車両の運転者に関して予測される運転者疲労を表示する、生成する段階と、1つ又は複数のセンサにより取得される計測値に基づいて運転者疲労を検知するために、1つ又は複数の第1車両及び第2車両の運転者を監視する段階であって、運転者疲労のレベルが疲労スコアに従って評価される、監視する段階と、運転者疲労が検知されると、第2車両の運転者に運転者疲労のレベルに基づいた助言を出力し、その助言を反映するために個人向け疲労マップを更新する段階とを1つ又は複数のプロセッサに実行させるコンピュータ命令を格納する非一時的コンピュータ可読媒体がある。
本概要は、「発明を実施するための形態」において以下にさらに説明される概念から選択したものを簡略化した形で紹介するために提供されている。本概要は、特許請求される主題の重要な特徴又は本質的な特徴を識別することを意図しているわけでもなく、特許請求される主題の範囲を判定する際の補助として用いられることを意図しているわけでもない。特許請求される主題は、「背景技術」で指摘された問題点のいずれか又は全てを解決する実装形態に限定されるわけではない。
本開示の態様が例として示されるが、添付図に限定されるわけではなく、この図では同様の参照符号が同様の要素を示している。
車両用の例示的なナビゲーション兼運転者疲労認識システムを示している。
機械学習エンジンが個人向け疲労マップを生成する例示的な実施形態を示している。
例示的なオンラインマップを示している。
過去の運転者行動情報を含む例示的なマップを示している。
現在の運転者行動情報を含む例示的なマップを示している。
個人向け運転者行動情報を含む例示的なマップを示している。
個人向け疲労マップを生成し更新するための例示的なフロー図を示している。
本開示の実施形態に従った例示的なルートプランニング戦略を示している。
疲労検知情報を表示するナビゲーションシステムを備えた車両の運転席を示している。
運転者疲労が個人向け疲労マップに従って検知されたときの、車両の中から見た運転者の視界を示している。 運転者疲労が個人向け疲労マップに従って検知されたときの、車両の中から見た運転者の視界を示している。
本開示の実施形態が実装され得るコンピューティングシステムを示している。
ここで本開示が各図を参照して説明される。これらの図は概して運転者行動検知に関する。
疲労に関連した行動を含む運転者行動は、運転中の危険運転や事故の可能性増大につながる可能性がある。開示される実施形態は、疲労に関連した行動などの様々な種類の運転者行動を特定するために、音声的手法及び/又は視覚的手法の両方を用いて、運転者行動を捉える仕組みを提供する。1つの実施形態において、疲労運転者情報を含む過去のマップを作成するために、予め定められた期間にわたり、多数の運転者(例えば、運転者の集団)について運転者行動が捉えられ、収集される。別の実施形態において、疲労運転者情報を含む瞬時マップを作成するために、多数の運転者についてリアルタイムで運転者行動が捉えられ、収集される。過去のマップ及び瞬時マップは、車両の現在の運転者についての運転者行動の検知と共に、現在の運転者疲労情報を含む個人向けマップを生成するのに用いられてよい。個人向けマップ(すなわち、個人向け疲労マップ)は、居眠り運転などの危険運転を防止するために、且つ現在の運転者に周囲の車両の運転者による危険運転について注意を喚起する又は警告するために、現在の運転者への様々なアラート及びアクションを生成するのに使用されてよい。
本開示の本実施形態は多くの異なる方式で実現されてよいこと、特許請求の範囲が本明細書に記載する実施形態に限定されると解釈されるべきではないことを理解されたい。むしろ、こうした実施形態は、本開示が完全且つ完結した状態になり、発明的実施形態の概念を当業者に十分に伝えるように提供されている。さらに本開示は、こうした実施形態の代替例、修正例、均等例を包含することが意図されており、これらの例は添付の特許請求の範囲によって定められる本開示の範囲及び趣旨に含まれる。さらに、本開示の本実施形態に関する以下の詳細な説明において、十分な理解を提供するために多くの具体的な詳細が記載されている。しかしながら、本開示の本実施形態はそのような具体的な詳細がなくても実施され得ることが、当業者には明らかであろう。
自動車及びモバイルデバイスのナビゲーションシステムが、目的地へのルート探索を支援するために、運転者によってますます用いられている。目的地が運転者によって設定されると、こうしたシステムは、運転中にリアルタイムで進路変更ごとの指示を行って運転者を道案内することができる。代替ルート及び最適ルートも、様々な機能を利用するルートプランニング用ソフトウェアを用いて特定されてよい。運転者は、現在の交通状況、気象状態、又は走行に悪影響を与えることがある他の要素を監視しながら又はこれに関する情報入手を続けながらルートプランニングを行うのにナビゲーションシステムを用いてよい。こうしたシステムは、さらに運転者を補助するために、他のアプリケーション、ソフトウェア、又はシステムと組み合わせて用いられてもよい。1つの関心領域が、運転者の特定のニーズに基づいた車両誘導に関する個別化である。例えば、疲労の初期兆候を示す運転者が、休憩を取るための警告を必要とすることがあり、疲労のあらゆる兆候を示す運転者が、最寄りの休憩所へ向かう助言を必要とすることがある。
図1は、車両用の例示的なナビゲーション兼運転者行動認識システムを示している。システム100は、限定されないが、車両が移動するルート上における過去の、現在(又は瞬時)の、且つ個人の運転者疲労を含む幅広い種類の要素に基づく個人向けルート探索及びナビゲーション情報を提供する。運転者疲労情報は、ナビゲーションシステム及びマップ(又はルート)情報と組み合わせて、確固たるプラットフォームを提供し、そのプラットフォームでは、ルートをマッピングし、特に運転者疲労が要素である又は要素になる場合には、運転者の意識及び安全性を高める。
示された実施形態において、システム100は、車両101と、疲労検知器106と、ナビゲーションシステム120とを含む。車両101は、車両101に通信可能に結合される疲労検知器106及びナビゲーションシステム120と共に運転者102(及び同乗者)を含む運転席を示している。1つの実施形態において、疲労検知器106及び/又はナビゲーションシステム120(又はそのうちのいずれか1つ又は複数の部分)は、車両101の中に位置してよい。別の実施形態において、疲労検知器106及び/又はナビゲーションシステム120(又はそのうちのいずれか1つ又は複数の部分)は、車両101から遠く離れて位置し、1つ又は複数のネットワーク(不図示)を介して通信してよい。1つのさらなる実施形態において、キャプチャデバイス103が、運転者疲労に関連した情報を取得できる位置にある。
1つ又は複数のネットワークは、データネットワーク、無線ネットワーク、電話通信ネットワーク、又はそのあらゆる組み合わせであってよい。データネットワークは、任意のローカルエリアネットワーク(LAN)、メトロポリタンエリアネットワーク(MAN)、ワイドエリアネットワーク(WAN)、公衆データネットワーク(例えば、インターネット)、短距離無線ネットワーク、又は任意の他の好適なパケット交換ネットワークであってよいと考えられている。さらに、無線ネットワークは、例えばセルラネットワークであってよく、また様々な技術、例えば、グローバル進化型高速データレート(EDGE)、汎用パケット無線サービス(GPRS)、移動体通信用グローバルシステム(GSM(登録商標))、インターネットプロトコルマルチメディアサブシステム(IMS)、ユニバーサル移動体通信システム(UMTS)などを含む技術、並びに任意の他の好適な無線媒体、例えば、ワールドワイドインターオペラビリティフォーマイクロウェーブアクセス(WiMAX(登録商標))、ロングタームエボリューション(LTE)ネットワーク、符号分割多元接続(CDMA)、広帯域符号分割多元接続(WCDMA(登録商標))、ワイヤレスフィデリティ(WiFi(登録商標))、無線LAN(WLAN)、Bluetooth(登録商標)、インターネットプロトコル(IP)データキャスト、衛星、及びモバイルアドホックネットワーク(MANET)などの無線媒体、又はそのあらゆる組み合わせを使用してよい。
示された実施形態において、疲労検知器106は、キャプチャデバイス103と、運転者行動検知器105及び関連プロファイル107と、1つ又は複数のプロセッサ108と、機械学習エンジン109と、入力/出力(I/O)インタフェース110と、メモリ112と、ディスプレイ114と、通信デバイス116と、データベース118とを含む。
キャプチャデバイス103は、運転席に配置された1つ又は複数のキャプチャデバイス(センサ103A、カメラ103B、又はマイク103Cなど)を用いて取得された運転者の動き及び/又は音声データに基づく運転者行動の監視及び特定を担ってよい。1つの実施形態において、キャプチャデバイス103は、運転者の頭及び顔の動きを捉えるように配置されており、他の実装形態では、運転者の胴及び/又は運転者の手足の動きも捉えられる。例えば、運転者行動検知器105は、キャプチャデバイス103が捉える運転者行動を監視して、例えば、車両の運転中に車両のハンドルを両手で握っているかどうか、又は車両の運転中に拳を握って片方の腕を上げているかどうかといった特定の姿勢を検知できる。
さらに他の実施形態では、マイク103Cを介して、運転者の動きデータと共に又はそれとは別に音声データを取得することを含む。取得した音声は、例えば、マイク103Cが取得した運転者102の音声信号であってよい。音声は、運転者の状態に依存して変わり得る様々な特徴を検知するために分析されてよい。そのような音声的特徴の例には、不明瞭な話し方又はいびきが含まれ、これは、運転者の疲労した状態又は眠気のある状態を示し得る。
キャプチャデバイス103は、複数のコンポーネントを有する単一のデバイスとして図示されているが、各コンポーネント(例えば、センサ、カメラ、マイクなど)は車両101の異なる場所に位置している別個のコンポーネントであってよいことを理解されたい。例えば、センサ103A、カメラ103B、及びマイク103Cはそれぞれ、車両の運転席の異なる場所に位置してよい。別の例において、キャプチャデバイス103の個々のコンポーネントは別のコンポーネント又はデバイスの一部であってもよい。例えば、カメラ103B及びディスプレイ114が、車両の運転席に置かれた携帯電話又はタブレット(不図示)の一部であってよく、センサ103A及びマイク103Cは車両の運転席の異なる場所に個々に位置してよい。
運転者行動検知器105はプロファイル107(これは運転者行動をモデル化しており、以下でさらに説明される)と関連付けられてよく、車両101の運転者102の行動様式を示す1つ又は複数の属性を全体として検知してよい。運転者行動は、例えば、運転者の通常のまばたき速度、注視方向、手足及び/もしくは胴の位置、並びに/又は他の運転者の動き及び活動もしくは運転者の声もしくは音声を含んでよい。運転者102の行動がプロファイル107から著しく逸脱した場合、これは、車両及びその乗員の安全性が大きなリスクにさらされていることを示唆する普通ではない又は異常な運転者行動の兆候であり得る。例えば、速いまばたき速度又は不自然な注視方向は、運転者が疲労していることを示し得る。別の例において、いびき又は不明瞭な話し方は、運転者が居眠り運転をしそうになっている又は居眠り運転をしていたことを示し得る。以下でさらに説明されるように、運転者行動をリアルタイムで過去の及び現在のマッピングデータ又は情報と併せて評価することにより、システム100は好ましくない運転者行動の検知に応答してリアルタイムのフィードバック(例えば、アラート、メッセージ、ルート再探索など)を提供できるようになる。
1つの実施形態において、運転者の行動は、個人プロファイルもしくは運転者集団のプロファイルと比較されても、「限界」プロファイルと比較されてもよく、各プロファイルは比較用の基準になり得る。この比較は、特定の運転者の行動(例えば、顔の表情、動き、又は声)が許容可能な(例えば、疲労が問題ではない又は問題である可能性が低い)運転者行動となるのか、又は許容できない(例えば、疲労が問題である可能性が高い又は問題である)運転者行動となるのかを判定するのに用いられてよい。例えば、キャプチャデバイス103が捉えた運転者102の閉眼が許容可能な(例えば、目が開いており、指定の行動限界でまばたきしている)運転者行動、又は許容できない(例えば、目が行動限界レベルより長く閉じたままになっている)運転者行動のどちらと関連している可能性が高いのかを判定するのに、アルゴリズムが使用されてよい。
運転者の動き及び/又は音声が運転者行動を特定する分析のために取得されてよいが、追加情報も取得され収集されてよい。追加情報には、限定されないが、運転者の履歴、マッピング及びルート探索情報が含まれてよい。特定された行動は、所定期間にわたってデータが収集されている過去のプロファイルを生成するのに用いられるだけでなく、初期の又は基準となる運転者プロファイルを生成するのに用いられてよい。1つの実施形態において、追加情報には、運転者が車両101を現在運転している状況又は環境が含まれる。例えば、車両の運転に適用される状況又は環境が、運転者が運転している現在の状況のセットとして定められてよい。そのような状況には、運転者が運転している時間の長さ(例えば、現在の運転時間)、運転者が最後に眠ってからの時間の長さ、気象状態、気温、進行方向、太陽の位置、道路状況、日付及び昼夜の時間、交通状況、並びに/又は運転者行動に関連する且つ/もしくはそれに影響を与え得る任意の他の現在の状況(前述した状況のいずれかに関する過去の収集を含む)が含まれてよい。この情報は、ある地理的領域又はルートの所定期間にわたる個々の運転者及び/又は任意の数の運転者(例えば、クラウドソース又は集団の運転者)について収集されてよい。それに応じて、運転している他の運転者の疲労も、全体的な疲労検知及び分析の一部として取得され、収集されてよい。
いくつかの実施形態において、検知された運転者行動は、疲労又は眠気もしくは居眠りに関連した行動である。こうした運転者行動は、過度なあくび、まばたき、及び/又は上下の首振りなどの動きで示され得る。いくつかの実施形態において、運転者行動は、携帯電話又はタブレットを用いてメッセージやメールを打つ、何か食べる、読み物をする、会話をするなどといった、(疲労に関連した行動と対照的に)活動的な行動である。例えば、デバイスとやり取りする運転者と一致した動き/姿勢が、運転者の注視方向、目及び/又は網膜の動き(例えば、道路とデバイスを行き来する)、タッチ又はキーパッドとのやり取りと一致した指/手の動き、頭の回転(例えば、道路に向かったりデバイスに向かったりを交互に繰り返す)などによって示され得る。
1つの実施形態において、運転者行動検知器105は、ハードウェアを実行するソフトウェア及び/又は運転者行動検知を行うように構成されたファームウェアを有してよい。いくつかの実施形態において、運転者行動検知器105は車両に搭載したコンピュータ(不図示)又はプロセッサ108の一部として実装されてよい。他の実施形態において、取得された運転者の動き及び関連する音声データ、並びに必要に応じて追加情報のうちの少なくともいくつかは、ネットワーク(不図示)を介して車両から外部のコンピュータ又はプロセッサに伝送される。いくつかの実施形態において、運転者行動検知のいくつかの部分、例えば、動き検知、画像処理、並びに/又は行動認識、分類、及び検知などは、車両101の中にある疲労検知器106によって実現されてよく、運転者行動検知器の他の部分、例えば、処理したデータの分析などは、ネットワークを介して外部プロセッサにより実施されてよい。
入力/出力インタフェース110は、様々な入力/出力デバイスを用いて、ユーザ及び/又は他のコンポーネントもしくはデバイスに情報が提示されるのを可能にする。入力デバイスの例には、キーボード、マイク、タッチ機能(例えば、物理的な接触を検知するように構成された静電容量式センサ又は他のセンサ)、カメラ(例えば、可視波長又は非可視波長(赤外線周波数など)を使用して接触を伴わないジェスチャとして動きを認識してよい)などが含まれる。出力デバイスの例には、表示デバイス114、スピーカなどが含まれる。1つの実施形態において、I/Oインタフェース110が、運転者動作データ及び/又は運転者102の音声データをキャプチャデバイス103から受信する。運転者動作データは、例えば、運転者102の目及び顔に関連してよく、このデータはプロセッサ108により分析されてよい。
1つの例示的な実施形態において、閉眼の抽出及び測定がプロセッサ108により判定される。例えば、プロセッサ108は、1つ又は複数の閉眼測定値と運転者102のプロファイル107とを用いて、現在の期間における運転者102の閉眼比率を判定できる。この例において、閉眼比率は、現在の期間で評価される運転者102の閉眼の割合を示しており、運転者102の閉眼は基準状態(例えば、運転者の目が閉じている又は開いている状態)で運転者102のプロファイル107から取得される。次に、閉眼比率は正規化されてよく、閉眼の割合値がプロセッサ108により判定されてよく、この処理はある期間にわたって繰り返されてよい。次に、測定値は、例えば運転者102のプロファイル107に格納されている値と比較され、測定した閉眼が車両101の運転者102の疲労した状態又は眠気のある状態を示しているかどうかが判定されてよい。1つの実施形態において、プロセッサ108は、車両のエンジンを切るまで、又はそうでなければ運転者102が、例えば、車両101から降りることによって運転を終えるまで測定を続ける。
疲労検知器により収集されたデータは、データベース118、メモリ112、又はそのあらゆる組み合わせに格納されてよい。1つの実施形態において、収集されたデータは、車両101の外部にある1つ又は複数のソースからのものである。格納された情報は、キャプチャデバイス103が取得した情報などの、運転者行動及び安全性に関連したデータであってよい。1つの実施形態において、データベース118に格納されたデータは、車両101及び/又は他の車両について収集されたデータの集まりであってよい。1つの例において、収集されたデータは、リアルタイムで収集される現在のデータを提供してもよく、現在のプロファイルデータ並びに運転者行動及び安全性に関連し且つ役立つ他のデータを含んでもよい。1つの他の実施形態において、収集されたデータは、過去に及び/又はある期間にわたって収集された過去のデータ又は情報、例えば、運転履歴、運転者疲労データ、過去のプロファイルデータ、並びに運転者行動及び安全性に関連し且つ役立つ他のデータなどを提供してよい。1つの実施形態において、運転履歴は、格納されたプロファイル107の一部として含まれてよい。別の実施形態において、収集されたデータは、特定のルート又は地理的領域を現在運転している1人又は複数の運転者の、収集されたデータのリアルタイムの兆候を提供する現在のデータであってよい。
運転者の履歴には、運転者102及び/又は他の車両の運転者に関する過去のデータが含まれてよい。例えば、運転者の履歴には、運転経験年数、運転経験の種類、交通事故の履歴、雇用人事履歴からの各項目、スピード違反及び/又は他の交通違反の履歴、様々な運転者行動に関して以前に特定された出来事の回数、程度、及び長さが含まれてよい。上述したように、システムは、特定の運転者又は複数の運転者の運転プロファイル(例えば、プロファイル107)を運転者の履歴の一部として収集し且つ格納してよい。例えば、運転者のプロファイルには、運転者がどれほど急に加速又は減速するか、特定の運転状況(例えば、夜間運転、降雨時又は降雪時の運転など)での通常速度、及び運転者がどれほど頻繁にセンターラインからそれるか又はセンターラインを横切るかなどが含まれてよい。1つの実施形態において、運転者の履歴情報は、運転者の保険会社のデータベースといった外部データベースから取得されてよい。
運転履歴には、車両101の運転者又は他の車両の運転者が移動中に疲労した1つ又は複数の運転ルートに関する情報も含まれてよい。いくつかの実施形態において、その1つ又は複数の運転ルートに関する情報には、道路プロファイル、道路トポロジ、運転ルートと関連した停車の回数、運転ルートと関連した進路変更の回数なども含まれてよい。
1つの実施形態において、メモリ112は、プロセッサ108、機械学習エンジン109が実行可能な命令、及びプロセッサ108がロード可能且つ実行可能なプログラム又はアプリケーション(不図示)を格納できる。1つの実施形態において、機械学習エンジン109は、メモリ112に格納された、プロセッサ108が実行可能な実行可能コードを含み、メモリ112(又はデータベース118)に格納された、行動モデルなどの1つ又は複数の機械学習モデルを選択する。行動モデルは、車両101及び/又は他の車両から収集された現在及び過去のデータを用いるだけでなく、運転者行動又は履歴に関連する任意の他の情報と共に、許容可能な運転者行動及び許容できない運転者行動(例えば、運転者の姿勢)に基づいて開発されてよい。許容可能な運転者行動及び許容できない運転者行動(運転者の姿勢など)のモデルが、以下でより詳細に説明される、畳み込みニューラルネットワーク(CNN)の実装などのよく知られた従来型の機械学習法及び深層学習法を用いて開発されてよい。
1つの実施形態において、車両101及び疲労検知器106は、ナビゲーションシステム120と直接的にインタフェースで接続し、ナビゲーションシステム120は(音声を提供するだけでなく)ディスプレイ114に情報を表示してよい。例えば、1つの実施形態において、ナビゲーションシステム120は、進路変更ごとのナビゲーション、ルート探索情報、ルート再探索情報、マップ、運転指示などを提供してよい。
1つの実施形態において、ナビゲーションシステム120は、マップサービス120A、ルート探索サービス120B、交通サービス120C、及びマップデータベース120Dを含み、これらが全体としてナビゲーション情報の収集及び提供を行う。マップサービス120Aは、限定されないが、給油所、病院、コーヒーショップ、休憩所などを含む地図上の特定のポイント(POI)といったマッピングデータ及び関連情報を提供する。ルート探索サービス120Bは、ナビゲーションルートを計算するためのルート探索エンジンを提供する。交通サービス120Cは、ルートに沿った最新交通情報及び交通状況を提供する。
ナビゲーション情報は、マップデータベース120Dに格納されてよい。1つの実施形態において、マップデータベース120Dは、過去のデータ、現在のデータ、及びオンラインマップデータのうちの少なくとも1つを含むマップデータを格納する。1つの他の実施形態において、データベース118及びマップデータベース120Dは、単一のデータベースであってよい。マップデータベース120Dは、ナビゲーションシステム120の他のコンポーネントにより提供される情報以外の情報を含んでよい。例えば、ルートに沿った道路又は走行区間の車線情報を提供するために、車線レコードが格納されてよい。1つの実施形態において、車線情報には、車線数、車線の寸法、車線の走行方向、及び/又は任意の他の車線属性又は特徴が含まれてよい。1つの他の例において、追加情報には、道路又は走行区間の制限速度に関連した情報を含む制限速度レコードが含まれてよい。1つの実施形態において、制限速度情報には、実際の制限速度と、その制限が適用される状況又は基準とが含まれてよい。例えば、異なる制限速度が、時刻、車両の種類、気象状態などに基づいて指定され得る。
1つの実施形態において、マップデータベース120Dは、POIに関連した情報及びそのそれぞれの位置を格納してよい。別の実施形態において、マップデータベース120Dには、市、町、又は他の地域社会といった場所に関するデータと、水域、山岳地帯などといった他の地理的特徴が含まれてよい。
概して、ナビゲーション情報には、限定されないが、ルート、公共スペース(公園、図書館など)、地理的地域(町、自治町村、街区など)、POI(レストラン、ショッピングなど)、及び他の同様なナビゲーション情報に関連した情報が含まれてよい。そのような情報は、ナビゲーション情報として又は既存の情報を補うために集められてよく、さらに、クラウドソースデータ、ネットワーク情報、公開データベース、公共情報(公共交通機関のスケジュールなど)、及び他の同様な情報を含んでよい。1つの実施形態において、ナビゲーション情報は、ルート情報に関連した注釈、位置、ロゴ、視覚イメージ、頭字語、及びナビゲーション情報を示し得る他の同様な形式を含む多数の形式も含んでよい。
図2Aは、機械学習エンジンが個人向け疲労マップを生成する例示的な実施形態を示している。機械学習エンジン109は、3つの入力である、過去の疲労マップ(HFMap)202、瞬時(又は現在)の疲労マップ(MFMap)204、及びオンラインマップ206のうちの少なくとも1つに基づいて運転者疲労を予測する。オンラインマップは、Google(登録商標)マップ、Apple(登録商標)マップなどといったアプリケーションを用いて生成されてよい。1つの実施形態において、疲労検知器106により収集される情報(キャプチャデバイス103により取得される画像及び/又は音声を含む)も、機械学習エンジン109に入力されてよい。様々なマップ202~206及び疲労検知器106(キャプチャデバイス103を含む)から取得した情報に基づいて、機械学習エンジン109は運転者疲労(例えば、車両101に乗った運転者102の疲労)を予測して、運転者102に表示され得る個人向け疲労マップ(PFMap)208を、例えばディスプレイ114に生成する。1つの実施形態において、PFMap208は、運転者102のモバイルデバイスに表示される。さらに別の実施形態において、PFMap208は、可視、可聴、又はその組み合わせで運転者に警告(又はアラート)210を出してよい。例えば、システム100は、運転者に「すぐに迂回してください」と警告しても通知してもよく、それと同時に現在のルートから出るよう運転者に指示する視覚的な迂回矢印を表示してよい。1つの他の実施形態において、システム100は、疲労していると特定された他の疲労した運転者が指定された距離の範囲内にいることを運転者102に通知しても警告してもよい。例えば、システム100は、同じルートの隣接車線の車両に疲労した運転者がいると特定したことに応答して、「すぐに右車線に進んでください」と運転者に通知し、それと同時に右車線に移動するように視覚的な矢印を表示してよい。
オンラインマップ206の例示的な実施形態が、図2Bを参照すると確認され得る。オンラインマップ206は、河川などの地理的特徴や、レストラン、ショップ、休憩所、空港、ゴルフコース、大学などといった他の大きなランドマークだけでなく、街路や幹線道路も示してよい。通常、そのようなマップには、住宅地域、工業団地などといった、マップ上に示される地域の名称も含まれることがある。具体的には、例示的な説明図に示すオンラインマップ206は、ロサンゼルス(ドロップピン1)に始まりメンドシーノ(ドロップピン2)に終わるルート220と共にカリフォルニア州を示しており、いくつかのラベル又はアイコン222がルート220に沿った工事箇所を示している。1つの実施形態において、オンラインマップ206は、ナビゲーションシステム120により生成される。
MFMap204の例示的な実施形態が、図2Cを参照すると確認され得る。1つの実施形態において、オンラインマップ206は、MFMap204の基準層としての役割を果たしてよい。したがって、MFMap204は、オンラインマップ206に記載されているのと同じ又は同様の特徴を表示してよい。例えば、ロサンゼルス(ドロップピン1)に始まりメンドシーノ(ドロップピン2)に終わるルート220が、アイコン222と共に表示されている。1つの実施形態において、MFMap204は、運転者行動層などの追加層を含み、運転者行動層は運転者行動をMFMap204に表示する機能を提供してよい。例えば、運転者行動層はさらに、1人又は複数の疲労した運転者220B(ルートに沿った1つ又は複数の顔アイコンとしても識別可能)などの運転者疲労を特定する、ルート220に沿った区域又は区間220A(ルート上の灰色区間としても識別可能)を表示してよい。
運転者行動層は、検知された運転者行動をルート220に沿って任意の時点で表示する役割を果たしてよい。1つの実施形態において、運転者行動(例えば、運転者疲労)を検知するための要素は、交通、個人向け運転記録(例えば、運転習慣、睡眠時間など)、道路状況(例えば、直線道路、天候、時刻など)などを含んでよい。1つの実施形態において、MFMap204はルート220に沿った特定の時点又は場合における運転者行動の現在の状態を表示する。例えば、MFMap204は、2019年10月17日、午前10時現在の運転者行動(例えば、運転者疲労)を表示してよい。この状況における現在の運転者行動とは、過去のある時点(例えば、過去の運転者疲労)、リアルタイムでのある時点(例えば、現在の運転者疲労)、又は予測される将来のある時点(例えば、予測される運転者疲労)を意味してよい。
別の例示的な実施形態において、図2DはHFMap202を示す。1つの実施形態において、オンラインマップ206は、MFMap204と同様にHFMap202の基準層としての役割を果たしてよい。図示されているように、このマップは、ロサンゼルス(ドロップピン1)に始まりメンドシーノ(ドロップピン2)に終わるルート220を、アイコン222、区域又は区間220A、及び1人又は複数の疲労した運転者220Bと共に表示している。MFMap204とは異なり、HFMap202は、予め定められた期間に収集された過去の運転者行動(疲労した運転者行動など)を示している。例えば、疲労した運転者についての過去のデータは、2018年9月1日から2018年9月30日まで、又は2018年10月17日の午前10時と午後5時との間に、疲労検知器106により収集され、データベース118に格納されてよい。
図2Aに戻ると、オンラインマップ206、MFMap204、及びHFMap202を機械学習エンジン109に入力する前に、モデル109Aは関連情報の分類及び識別を行う方法を理解するために訓練される。例えば、モデル109Aは、疲労運転と識別できる、運転者の画像又は動き又は音声を理解するために訓練されてよい。同様に、同じモデルは、運転者疲労と認識されるような様々な行動を防止又は回避するために、疲労運転と識別できない画像又は動き又は音声を用いて訓練されてよい。
機械学習エンジン109自体は、当業者が理解しているように、教師あり学習法又は教師なし学習法などの多くの異なる方式で実現し得る。さらに、機械学習エンジン109は、線形コンピューテーション、非線形コンピューテーションなどの他の関数、畳み込みニューラルネットワーク(CNN)、再帰型ニューラルネットワーク(RNN)、多線形コンピューテーションなどの深層学習法を用いて計算を行ってよい。議論を進めるために、機械学習エンジン109は、畳み込みニューラルネットワーク(CNN)109Bを含む深層学習エンジンである。1つの実施形態において、CNN109Bは、運転者行動を理解するための行動モデルを生成するように訓練される。CNN109Bは複数の層を含み、各層は異なる種類の層であってよい。こうした異なる種類の層は、例えば、畳み込み層、プーリング層、正規化層、及び全結合層を含んでよい。1つの実施形態において、CNN109Bは入力データ(この場合、疲労検知器106により収集されたデータと共に、オンラインマップ、MFMap、及びHFMapのデータ)を分析して、所望の分析を行うように訓練され、この訓練は訓練データのセット(例えば、入力データのサブセット)に対して行われる。CNN109Bは、訓練データのセット及び得られた結果に基づいて分析を「学習」する。例えば、訓練データのセットには、収集された現在のマップデータ、過去のマップデータ、運転者疲労データ(過去の疲労データ及び現在の疲労データなど)などのサブセットが含まれてよく、このデータはシステム100(図1)のそれぞれのコンポーネントにより収集され且つ/又は格納されている、あるいは運転者行動データのデータベースなどの他のソースから取得されている。収集された現在のマップデータ、過去のマップデータ、及び運転者疲労データのサブセットは、特定の運転者行動、具体的には、訓練時に入力データにより特定される運転者疲労と関連した行動を理解するために、CNN109Bが行動モデルを訓練するような方式で分析されてよい。
訓練されると、モデル109Aは、図2Eに示すような個人向け疲労マップ(PFMap)208を生成し且つ出力するための入力として、収集されたマップデータ(過去のデータ及び現在のデータを含む)、運転者疲労データなどといった収集されたデータを用いてよい。
PFMap208は、車両101の運転者102に関する個人向けマップである。通常のマッピング及び/又はナビゲーション情報を提供することに加えて、PFMap208は、運転者疲労が疲労検知器106により検知された場合にルートを変更(すなわち、ルートを再探索)するために、代替ルート226(破線で示されている)についての助言又は提案を提供する。1つの実施形態において、この助言又は提案は、車両102の運転者102の周辺又は近くにいる他の車両(周囲の車両)で運転者疲労が検知されたときに提供される。PFMap208は、漫然運転又は飲酒運転を含むリスクデータも含んでよく、このデータは表示されるマップの一部として示すことができる。
1つの実施形態において、PFMap208は車両101のディスプレイ114に表示され、運転者102にとって有益な休憩所であると判定されるマップ上の1つ又は複数の位置に関する1つ又は複数の視覚表示228を含む。代替ルート226及び当該位置の視覚表示228は、オンラインマップ206への追加層を用いて表示されてよい。例えば、ルート再探索層が代替ルート226を提供してよく、個別化層が当該位置の視覚表示226を提供してよく、運転者が休憩するために再誘導されてよい。1つの実施形態において、代替ルート226は、運転者102が疲労する前に提供されてよい。例えば、PFMap208の各ルート区間が、運転者疲労を引き起こすことで知られている区域を示してよい。車両101がこのルート区間に到達する前に、代替ルート226がディスプレイ114に表示されてもよく、ルート220が現在のルート区間を代替ルート区間に置き換えるために更新されてもよい(ルートが変更される又は再探索される)。
1つの例において、オンラインマップ206は、MFMap204及びHFMap202と同様に、PFMap208の基準層としての役割を果たしてよい。ルート220、アイコン222、区域又は区間220A、及び1人又は複数の疲労した運転者220Bに加えて、PFMap208は、運転者をコーヒーショップなどの休憩ポイント228に再誘導する追加のルート区間(例えば、代替ルート226)を含む。1つの実施形態において、代替ルート226は、車両101の運転者102の運転者疲労に基づいて、且つ/又は運転者疲労とオンラインマップ206、MFMap204、及びHFMap202により提供される情報との組み合わせに基づいて、計算されても選択されてもよい。1つの実施形態において、以下でさらに説明されるように、検知された疲労のレベルで、提案されるルート又は代替ルートが判定される。いくつかの実施形態において、検知された運転者疲労のレベルで、車両101が自動的に再誘導されることになり得る。1つの実施形態において、疲労のレベルは、以下で説明されるように、疲労スコア又は疲労採点等級に従って評価されてよい。
図3Aは、個人向け疲労マップを生成し更新するための例示的なフロー図を示している。複数の実施形態において、本フロー図は、様々な図に示され且つ本明細書で説明されているハードウェア及び/又はソフトウェアコンポーネントにより、少なくとも部分的に行われるコンピュータ実装方法であってよい。1つの実施形態において、開示されるプロセスは、システム100により、具体的には疲労検知器106及びナビゲーションシステム120、又は図6に開示されるシステムにより行われてよい。1つの実施形態において、プロセッサ109又はプロセッサ602などの1つ又は複数のプロセッサにより実行されるソフトウェアコンポーネントは、本プロセスの少なくとも一部を行う。
本プロセスは段階302で始まり、ここでは、ナビゲーションシステム120がオンラインマップ206をロードし、車両101の運転者102によりルートが選択される。1つの実施形態において、ルート選択には、運転者101がナビゲーションシステム120に目的地を入力することが含まれてよく、これは当業者が理解していることである。オンラインマップ206をロードすると、疲労検知及び分析のためにシステム100が開始されても起動されてもよい。システム100の開始又は起動によって、HFMap202及びMFMap204のうちの少なくとも一方が段階304及び306でそれぞれロードされることになる。1つの実施形態において、HFMap202及び/又はMFMap204がデータベース118に存在する場合、これらのマップはシステム100が用いるためにロードされてよい。別の実施形態において、HFMap202及びMFMap204のいずれか又は両方が、データベース118に存在しない場合、これらのマップはシステム100により作成されてよい。
1つの実施形態において、また図3Bを参照すると、HFMap202及びMFMap204はルートプランニング戦略を用いて作成されてよい。ルートプランニング戦略では、HFMap202及びMFMap204を作成するために、ルートの各区間に沿って運転者行動データが収集され且つ評価される。1つの実施形態において、また議論を進めるために、収集された運転者行動データには、期間(例えば、1年、3週間、2時間)、ユーザ数(例えば100万人)、道路状況(例えば、高速道路、長く続く道路、直線道路)、疲労時間(1日の異なる時間)、疲労期間(例えば休日又は平日)、気候(例えば、濃霧、降雪、暴風、降雨)、及び長期間にわたる運転パターンなどの要素が含まれる。長期間にわたる運転パターンには、深夜、早朝、もしくは昼下がりの運転、休憩もしくは停車をしない期間の長さ、薬剤、薬品、もしくはアルコールの服用、又は他の睡眠を妨げるものもしくは睡眠の要素といった要素が含まれてよい。こうした要素は、ルートのうちの1つ又は複数の区間で評価され且つ計算され、その後マップに適用され得る運転者の疲労レベル(又は疲労スコア)の予測及び判定に用いられてよい。
図3Bに示されている実施形態において、ルート220は、ノード(ドロップピン1及びドロップピン2)又は目的地(i、j、k、及びq)及びノード又は目的地のそれぞれの間に形成されたルート区間(1~9)を含む。ノード及び目的地という用語は、本開示の状況の中では同義語として用いられてよく、開始ノード、終了ノード、及び任意の中間ノードを含む。目的地(i、j、k、及びq)は、ルート220の開始ポイント、停車ポイント、又は終止ポイントとなった又はそれに指定されてよい、終了ノード(ドロップピン2)などの最終目的地に限定されない、マップ上の任意のポイントであってよい。図示されているように、区間1~9のそれぞれは、第1ノード(ドロップピン1又はドロップピン2)又は目的地(i、j、k、又はq)と第2ノード(ドロップピン1又はドロップピン2)又は目的地(i、j、k、又はq)とを接続し、距離を示している。
引き続き図3Bを参照すると、区間1~9ごとに疲労レベル(又は疲労スコア)を判定するために、ルート220の1つ又は複数の区間1~9で複数の要素が収集され且つ評価される。1つの実施形態において、これらの要素は、過去のデータ用のパラメータセットとして表されてよい。別の実施形態において、これらの要素は、現在のデータ用のパラメータセットとして表されてよい。さらに別の実施形態において、これらの要素は、個人向けデータ用のパラメータセットとして表されてよい。
過去のデータ、現在のデータ、及び個人向けデータの収集は、過去のデータ、現在のデータ、個人向けデータが継続的に評価され、疲労レベルが計算され、マップが更新されるという反復プロセスであってよいことを理解されたい。「継続的に」とは、中断しない(絶え間ない)、又は設定した時間もしくは間隔で、又はランダムにということを意味してよい。さらに、過去のデータ、現在のデータ、及び個人向けデータは、同じ時間又は間隔で収集され且つ評価されてもよく、異なる時間又は間隔で収集され且つ評価されるように設定されてもよい。例えば、過去のデータは週単位で収集され且つ評価されてよく、現在のデータ及び個人向けデータは常にリアルタイムで収集され且つ評価されてよい。
HFMap202用の過去のデータを収集する場合、パラメータセットは、次に挙げる、期間(w)、ユーザ数(w)、道路状況(w)、疲労時間(w)、疲労期間(w)、気候(w)、運転者の長期間にわたる全ての運転パターン(w)という要素を含む。HFMap202のある区間の疲労レベルを判定するために、疲労スコアsが、パラメータセットの各要素を用いて、次式に従い計算される。
[式(1)]
Figure 2022527912000002
ここで、i、jはルート区間1~9の開始(ドロップピン1)及び終了(ドロップピン2)のポイントであり、Nは区間の数であり、dij(・)は<i,j>のユークリッド距離であり、
Figure 2022527912000003
は最適距離であり、
Figure 2022527912000004
はフロベニウスノルム(Fノルム)である。
MFMap204の場合、パラメータセットは現在のデータ用の要素を含む。現在のデータ用に収集される要素は、期間(w)を除いて、過去のデータ用に収集される要素と同じである。したがって、MFMap204のある区間の疲労レベルsを計算するのに用いられるパラメータセットは、ユーザ数(w)、道路状況(w)、疲労時間(w)、疲労期間(w)、気候(w)、運転者の長期間にわたる全ての運転パターン(w)という要素を含む。MFMap204のある区間の疲労レベルを判定するために、疲労スコアsが、パラメータセットの各要素を用いて、次式に従い計算される。
[式(2)]
Figure 2022527912000005
ここで、i、jはルート区間1~9の開始(ドロップピン1)及び終了(ドロップピン2)のポイントであり、Nは区間の数であり、dij(・)は<i,j>のユークリッド距離であり、
Figure 2022527912000006
は最適距離であり、
Figure 2022527912000007
はフロベニウスノルム(Fノルム)である。
1つの実施形態において、PFMap208が作成されていない場合、HFMap202及びMFMap204(及びオンラインマップ206)が、前述した機械学習エンジン109(図1)を用いて、車両101の運転者102用の初期PFMap208を作成するのに用いられてよい。1つの他の実施形態において、初期PFMap208は、データベース118又は何らかの他の外部データソースから取得されてよい。
別の実施形態において、PFMap208がすでに作成されている場合、ルート220の区間1~9ごとに疲労レベル(又はスコア)が計算されてよい。個人向けデータ用に収集される要素は、ユーザ数(w)を除いて、現在のデータ用に収集される要素と同じである。したがって、PFMap208のある区間の疲労レベルsを計算するのに用いられるパラメータセットは、道路状況(w)、疲労時間(w)、疲労期間(w)、気候(w)、運転者の長期間にわたる全ての運転パターン(w)という要素を含む。PFMap208のある区間の疲労レベルを判定するために、疲労スコアsが、パラメータセットの各要素を用いて次式に従い計算される。
[式(3)]
Figure 2022527912000008
ここで、i、jはルート区間1~9の開始(ドロップピン1)及び終了(ドロップピン2)のポイントであり、Nは区間の数であり、dij(・)は<i,j>のユークリッド距離であり、
Figure 2022527912000009
は最適距離であり、
Figure 2022527912000010
はフロベニウスノルム(Fノルム)である。
図3Aに戻ると、3つの戦略である交通戦略、運転戦略、対話式戦略のうちの少なくとも1つが、マップを更新するのに使用されてよい。段階308において、車両101がルート220を進んでいるときに、PFMap208を更新するように交通戦略が実施される。車両101の運転者102が疲労していることを疲労検知器106が検知すると、システム100はある場所(例えば、休憩所又はコーヒーショップ)までの距離を計算し、段階310で次の目的関数を用いてPFMap208を更新する。
[式(4)]
Figure 2022527912000011
ここで、α、β、γ、δはそれぞれs、s、s、sの重みであり、sはオンラインマップ206からの最適ユークリッド距離であり、これはオンラインマップ206からのリアルタイムの交通情報を反映している。これらの重みは、特定の疲労レベルの影響を少なくする又は大きくするために、各疲労スコアs、s、s、sに割り当てられてよい。例えば、疲労スコアsが目的関数(4)にオンラインマップの疲労スコアsを上回る影響を与える必要がある場合、sには大きい重みが割り当てられる(例えば、αはβより小さくなる)。
1つの実施形態において、計算された疲労スコアは、過去の疲労データ(過去の疲労を含む過去のデータ)の判定に用いるためにデータベース118に格納されてよい。
車両101の運転者102がルート220に乗ると、PFMap310を更新するために、段階312で運転戦略が実施されてよい。1つの実施形態において、運転戦略は交通戦略と組み合わせて実施されてよい。運転者102が疲労していることを疲労検知器106が検知すると、ナビゲーションシステム120は警告210(図2A)を発する、且つ/又は休憩に立ち寄るには有益と判定された場所に車両101を再誘導するために代替ルート226(図2E)を提供する。
1つの実施形態において、運転者疲労のレベルによって、検知された運転者疲労にシステム100がどのように反応するかが決定される。例えば、低いレベルの疲労がある運転者102は、ナビゲーションシステム120により(可視及び/又は可聴)警告210が発せられるだけでよいが、高いレベルの疲労がある運転者102は、ナビゲーションシステム120により警告210が発せられ、且つ代替ルート226に再誘導されてよい。
PFMap208の場合、運転者疲労のレベルは、上述したように要素w~w及び式(3)を用いて、ルート220の区間ごとに判定されても評価されてもよい。1つの実施形態において、プロセッサ108は、要素w~w及び式(3)に基づいて運転者疲労のレベルを判定するためのコンピュータ実行可能アルゴリズムを含み、疲労スコアsを出力してよい。出力された疲労スコアsは、運転者102が運転するには疲労し過ぎている又は疲れ過ぎているかどうかを示してもよく、運転者102の現在の疲労レベルに関連した何らかの他の指標であってもよい。例えば、運転者疲労のレベルは、0~3の評価点又は採点等級に基づいてよく、「0」は「覚醒している」状態で最も低い疲労レベルであり、「1」は「わずかに疲れている」状態であり、「2」は「強い眠気がある」状態であり、「3」は「完全に眠っている」状態で最も高い疲労レベルである。他の疲労採点等級及び評価システムも使用されてよい。
1つの例において、また議論を進めるために、ナビゲーションシステム120は、警告210を出して代替ルート226を表示する。1つの実施形態において、図4Bを参照すると、運転者疲労が検知された場合、プロセッサ108により実行されるアルゴリズム又は命令が次のように構成されてよい。
現在の運転者の疲労レベルが3以上である場合、
・自動運転パターンが存在するならば、
・自動運転パターンに変更する。
それ以外の場合(運転者の疲労レベルが3より小さい、又は自動運転パターンが存在しない場合)、
・個人向け疲労マップを更新する。
・ルートを近くの店に変更し、休憩を取る又はコーヒーを飲むように警告を出し続ける。
・運転ルートを更新する。
・MFMap及びHFMapを更新する。
ここで、運転者疲労のレベルは、疲労スコア{0,1,2,3}に従って評価され、このスコアはそれぞれ{覚醒している、わずかに眠気がある、強い眠気がある、完全に眠っている}に対応している。疲労レベルは、アルゴリズム/命令で調整されてよいことを理解されたい。
アルゴリズム又は命令によれば、現在の運転者の疲労レベルが3より大きい又は3に等しいと計算された疲労スコアsである場合、車両101が自動運転可能であるならば、車両101は自動運転モードに入り、代替ルート226を経由して指定された休憩所に向かう。警告210及び視覚表示も、車両101により提供されてよい。
現在の運転者の疲労レベルが2より小さいと計算された疲労スコアsである場合(又は疲労スコアが3より大きい又は3に等しく、車両が自動運転モードを有していない場合)、車両101は、PFMap208を更新する、ルートを代替ルートに変更する、及び休憩を取るよう運転者に警告する、のうちの1つ又は複数を行い、運転ルートを更新してよい。例えば、図4Aを参照すると、疲労スコアsが3に等しいなどの高い疲労スコアでは、ディスプレイ114に「!!警告!!運転者疲労」、「強調表示したルートに向かってください」と表示し、最寄りの場所(例えば、最寄りの休憩所)まで進路変更ごとの指示を出すようにシステム100に指示してよい。疲労スコアsが1に等しいなどの低い疲労スコアでは、運転者102に「眠らないように!」などの可聴警告だけを出すようシステム100に指示してよい。
別の例において、図4Bを参照すると、ナビゲーションシステム120は警告210を出し、代替ルート226を勧める。最初の例と同様に、運転者疲労を検知すると、プロセッサ108により実行されるアルゴリズム又は命令が次のように構成されてよい。
疲労レベルが0より大きく3より小さい場合、
・個人向け疲労マップを更新する。
・近くの休憩所へのルート変更を勧める。
・可聴警告を追加する。
・MFMap及びHFMapを更新する。
疲労レベルが3以上の場合、
・自動運転パターンに変更する。
それ以外の場合、
・個人向け疲労マップを更新する。
ここで、運転者疲労のレベルは、疲労スコア{0,1,2,3}に従って評価され、このスコアはそれぞれ{覚醒している、わずかに眠気がある、強い眠気がある、完全に眠っている}に対応している。疲労レベルは、アルゴリズム/命令で調整されてよいことを理解されたい。
アルゴリズム又は命令によれば、現在の運転者の疲労レベルが0より大きい又は3より小さいと計算された疲労スコアsである場合、システム100はPFMap208を更新して、代替ルートへのルート変更を勧める。例えば、図4Bに示す運転者の視界を参照すると、PFMap208は代替ルート226を含むように更新される。代替ルート226は、ルート220を走行し続けるのと異なり、近くの休憩所に向かうべきとの助言として運転者102に表示されてよい。1つの実施形態において、システム100はまた、可聴警告(例えば、「注意、休憩するために最寄りのコーヒーショップに向かってください」)を出してよく、且つ/又はMFMap204及びHFMap202を(後述する対話式戦略により)更新してよい。
現在の運転者の疲労レベルが3より大きいと計算された疲労スコアsである場合、車両101は自動運転モードに入り、代替ルート226を経由して指定された休憩所に向かう。警告210及び視覚表示も、車両101により提供されてよい。それ以外の場合、車両101は、上述した運転戦略に従ってPFMap208を更新する。
図3Aに戻ると、対話式戦略が段階314で実施され得る。1つの実施形態において、対話式戦略は、各運転者の車両にあるシステム100により収集される全ての運転者行動データ、及び/又はそれぞれの車両の運転者によって主観的に報告される全ての運転者行動データを用いる。運転者行動データ(主観的に報告されるデータを含む)は、過去の疲労マップ、瞬時の疲労マップ、及び運転者ごとに個人向け疲労マップを作成するために、上述したように収集され、評価され、且つ格納されてよい。主観的に報告される運転者行動には、運転者により報告されるコメント又はデータが含まれてよく、そうしなければ、こうしたコメント又はデータはシステム100が検知できない。例えば、システム100は、運転者が報告しない限り、ルートに沿って運転し始める前に運転者が取った睡眠時間を検知できない可能性がある。同様に、システム100は、運転者が報告しない限り、運転者の酒酔いのレベルを検知できない可能性がある。1つの実施形態において、主観的に報告される運転者行動が、プロファイル107として格納される運転者プロファイルの一部として含まれてよい。
1つの例において、また議論を進めるために、ナビゲーションシステム120は、1つ又は複数の近くもしくは周囲の車両において運転者疲労が検知されると、警告210を出す且つ/又は代替ルート226を表示する。近く又は周囲の車両には、限定されないが、隣接車線にいる車両といった運転者の近くにいる車両(例えば、予め定められた距離の範囲内にいる車両)、同じ車線で後ろについてくる又は後を追ってくる車両、又は現在のルート区間にいる車両が含まれてよく、こうした車両は、検知される疲労などの運転者行動によって現在の運転者に安全上のリスクをもたらすことがある。1つの実施形態において、プロセッサ108により実行されるアルゴリズム又は命令が、対話式戦略を実施するために次のように構成されてよい。
周囲の運転者の疲労レベルが1より大きい場合、
・パラメータセット及び式(1)を用いてMFMapを更新する。
・パラメータセット及び式(3)を用いてHFMapを更新する。
ここで、運転者疲労のレベルは、疲労スコア{0,1,2,3}に従って評価され、このスコアはそれぞれ{覚醒している、わずかに眠気がある、強い眠気がある、完全に眠っている}に対応している。疲労レベルは、アルゴリズム/命令で調整されてよいことを理解されたい。
したがって、アルゴリズム又は命令は、1人又は複数の周囲の運転者の疲労レベルが1より大きいと計算された疲労スコアsである場合、システム100はMFMap204及びHFMap202をそれぞれのパラメータセット及び目的関数(例えば、式1又は3)を用いて更新する。
1つの実施形態において、HFMap202及びMFMapを更新した後に、PFMap208が更新され、車線又はルートを変更するという助言が発せられる。その助言には、可視警告及び/又は可聴警告が含まれてよい。1つの実施形態において、プロセッサ108により実行されるアルゴリズム又は命令が、対話式戦略を実施するために次のように構成されてよい。
周囲の疲労レベルが1より大きい場合、
・MFMap及びHFMapを更新する。
・PFMapを更新する。
・疲労区域を回避するために、車線又はルートの変更を勧める。
・可聴警告
それ以外の場合、
・PFMapを更新する。
ここで、運転者疲労のレベルは、疲労スコア{0,1,2,3}に従って評価され、このスコアはそれぞれ{覚醒している、わずかに眠気がある、強い眠気がある、完全に眠っている}に対応している。疲労レベルは、アルゴリズム/命令で調整されてよいことを理解されたい。
例えば、図5に示す運転者の視界を参照すると、1人又は複数の周囲の運転者502が1より大きい疲労レベルである場合、MFMap204及びHFMap204が更新され、その後に、代替ルート226を含めるためにPFMap208の更新が続く。代替ルート226は、1人又は複数の周辺の疲労した運転者502を回避するためにルート220に沿った別の車線に向かうという助言として、運転者102に表示されてよい。1つの実施形態において、システム100は可聴警告(例えば、「注意してください、この区域に疲労した運転者が6人います」)も提供する。
1人又は複数の周囲の運転者の疲労レベルが、1より小さいと計算された疲労スコアsである場合、上述したように、車両101は、交通戦略、運転戦略、及び/又は対話式戦略に従ってPFMap208を更新する。
図6は、本開示の実施形態が実装され得るコンピューティングシステムを示している。コンピューティングシステム600は、本明細書で説明した運転者行動検知を用いて、運転者に安全性向上を提供するように(例えば、コンピュータプログラムコード又は命令によって)プログラムされてよく、コンピュータシステム600の他の内蔵及び外部のコンポーネント同士で情報を伝達するためのバス610などの通信メカニズムを含む。1つの実施形態において、コンピュータシステム600は図1のシステム100である。コンピュータシステム600又はその一部は、運転者行動検知を用いて運転者に安全性向上を提供するための1つ又は複数の段階を実行する手段となる。
バス610は、バス610に結合されたデバイスの間で情報がすぐに転送されるように、情報を運ぶ1つ又は複数の並行導体を含む。情報を処理するための1つ又は複数のプロセッサ602がバス610に結合されている。
1つ又は複数のプロセッサ602は、運転者行動検知を用いて運転者に安全性向上を提供することに関連したコンピュータプログラムコードで指定されるように、情報(又はデータ)に対して一連のオペレーションを行う。コンピュータプログラムコードは、指定された関数を実行するプロセッサ及び/又はコンピュータシステムのオペレーション用の命令を提供する一連の命令又はステートメントである。例えばコードは、プロセッサのネイティブ命令セットにコンパイルされるコンピュータプログラミング言語で記述されてよい。コードは、ネイティブ命令セット(例えば、機械語)を用いて直接的に記述されてもよい。一連のオペレーションには、バス610から情報を取り込むこと、及び情報をバス610に乗せることが含まれる。プロセッサにより実行され得る一連のオペレーションの各オペレーションは、命令と呼ばれる情報(1つ又は複数の数字のオペレーションコードなど)によってプロセッサに示される。プロセッサ602により実行されるオペレーションのシーケンス(オペレーションコードのシーケンスなど)が、コンピュータシステム命令又は単にコンピュータ命令とも呼ばれるプロセッサ命令となる。
コンピュータシステム600は、バス610に結合されたメモリ604も含む。ランダムアクセスメモリ(RAM)又は任意の他の動的記憶装置などのメモリ604は、運転者行動検知を用いて運転者に安全性向上を提供するためのプロセッサ命令を含む情報を格納する。動的メモリによって、そこに格納された情報をコンピュータシステム600が変更できるようになる。RAMによって、メモリアドレスと呼ばれる位置に格納された情報の単位が、周辺のアドレスにある情報から独立して格納され且つ取得されることが可能になる。メモリ604は、プロセッサ602がプロセッサ命令の実行中に一時的保存値を格納するためにも用いられる。コンピュータシステム600は、バス610に結合された、静的情報を格納するための読み出し専用メモリ(ROM)606又は任意の他の静的記憶装置も含む。磁気ディスク、光ディスク、又はフラッシュカードといった、命令を含む情報を格納するための不揮発性(永続的)記憶装置608もバス610に結合される。
1つの実施形態において、人間のユーザが操作するキーボード、マイク、赤外線(IR)リモコン、ジョイスティック、ゲームパッド、スタイラスペン、タッチスクリーン、ヘッドマウントディスプレイ、又はセンサなどの外部入力デバイス612から、運転者行動検知を用いて運転者の安全性向上を提供するための命令を含む情報がバス610に供給されて、プロセッサにより用いられる。センサは、その近くの状況を検知し、検知したものを、測定可能な現象と互換性がある、コンピュータシステム600で情報を表すのに用いられる物理的表現に変換する。バス610に結合された他の外部デバイスには、主に人間とのやり取りに用いられ、テキスト又は画像を提示するための表示デバイス614と、ディスプレイ614に提示される小さいカーソルイメージの位置を制御してディスプレイ614に提示されるグラフィカルエレメントに関連付けられたコマンドを発行するための、マウス、トラックボール、カーソル移動キー、又はモーションセンサといったポインティングデバイス616と、録音も含み得る1つ又は複数の静止画及び/又は動画(例えば、ビデオ、ムービーなど)を取得し、録画し、格納させるための1つ又は複数のカメラセンサ694とが含まれる。
示された実施形態において、特定用途向け集積回路(ASIC)620などの特定用途向けハードウェアがバス610に結合される。特定用途向けハードウェアは、プロセッサ602が実行しないオペレーションを、特殊目的用に十分速く実行するように構成される。
コンピュータシステム600は、バス610に結合された通信インタフェース670も含む。通信インタフェース670は、独自のプロセッサで動作する様々な外部デバイスに結合する単方向又は双方向の通信を提供する。一般に、この結合は、サーバ又はデータベースなどの様々な外部デバイスが接続され得るローカルネットワーク680に接続されたネットワークリンク678を伴う。あるいは、リンク678はインターネットサービスプロバイダ(ISP)684又はインターネットなどのネットワーク690に直接的に接続してよい。ネットワークリンク678は、有線でも無線でもよい。例えば、通信インタフェース670は、パーソナルコンピュータ上のパラレルポートでも、シリアルポートでも、ユニバーサルシリアルバス(USB)ポートでもよい。いくつかの実施形態において、通信インタフェース670は、デジタル総合サービス網(ISDN)カード、又はデジタル加入者回線(DSL)カード、又は対応する種類の電話回線への情報通信接続を提供する電話モデムである。いくつかの実施形態において、通信インタフェース670は、バス610に乗る信号を、同軸ケーブルを介した通信接続向けの信号、又は光ファイバケーブルを介した通信接続向けの光信号に変換するケーブルモデムである。別の例として、通信インタフェース670は、イーサネット(登録商標)などの互換LANへのデータ通信接続を提供するローカルエリアネットワーク(LAN)カードであってよい。無線リンクも実装されてよい。無線リンクの場合、通信インタフェース670は、赤外線信号及び光信号を含む、デジタルデータなどの情報ストリームを搬送する、電気信号、音響信号、又は電磁信号を送信する且つ/又は受信する。例えば、携帯電話のような移動電話などの無線ハンドヘルドデバイスでは、通信インタフェース670は、無線送受信機と呼ばれる無線帯域の電磁送信機兼受信機を含む。ある種の実施形態では、通信インタフェース670により、携帯電話又はタブレットなどのモバイルデバイスに対して、運転者行動検知を用いて運転者に安全性向上を提供するための通信ネットワークへの接続が可能になる。
ネットワークリンク678は通常、1つ又は複数のネットワークを介する伝送媒体を用いて情報を、その情報を用いる又は処理する他のデバイスに提供する。例えば、ネットワークリンク678は、ローカルネットワーク680を介した接続を、ホストコンピュータ682又はISPが操作する機器684に提供してよい。ISPの機器684は次に、現在は一般にインターネット690と呼ばれるネットワークのうち、世界規模の公衆パケット交換通信ネットワークを介して、データ通信サービスを提供する。
インターネットに接続されるサーバホスト682と呼ばれるコンピュータが、インターネットを介して受信された情報に応答してサービスを提供するプロセスをホストする。例えば、サーバホスト682は、ディスプレイ614に提示するためのビデオデータを表す情報を提供するプロセスをホストする。システム600の各コンポーネントは、他のコンピュータシステム(例えば、ホスト682及びサーバ692)に様々な構成で導入されてよいと考えられている。
本開示の少なくともいくつかの実施形態が、本明細書で説明される一部又は全部の手法を実施するためにコンピュータシステム600を用いることに関連している。本開示の1つの実施形態によれば、こうした手法は、メモリ604に格納された1つ又は複数のプロセッサ命令の1つ又は複数のシーケンスをプロセッサ602が実行することに応答して、コンピュータシステム600によって行われる。そのような命令(コンピュータ命令、ソフトウェア、及びプログラムコードとも呼ばれる)は、記憶装置608などの別のコンピュータ可読媒体又はネットワークリンク678からメモリ604に読み出されてよい。メモリ604に格納された命令のシーケンスを実行することにより、プロセッサ602は本明細書で説明される複数の方法段階のうちの1つ又は複数を行うことになる。
本主題は多くの異なる方式で具現化されてよく、本明細書に記載される実施形態に限定されると解釈されるべきではないことを理解されたい。むしろ、こうした実施形態は、本主題が完全且つ完結した状態になり、本開示を当業者に十分に伝えるように提供されている。さらに本主題は、こうした実施形態の代替例、修正例、均等例を包含することが意図されており、これらの例は添付の特許請求の範囲によって定められる本主題の範囲及び趣旨に含まれる。さらに、本主題に関する以下の詳細な説明において、本主題の十分な理解を提供するために多くの具体的な詳細が記載されている。しかしながら、本主題はそのような具体的な詳細がなくても実施され得ることが、当業者には明らかであろう。
本開示の各態様は、本開示の実施形態による方法、装置(システム)、及びコンピュータプログラム製品のフローチャート図及び/又はブロック図を参照して、本明細書に説明されている。フローチャート図及び/又はブロック図の各ブロック、並びにフローチャート図及び/又はブロック図の各ブロックの組み合わせは、コンピュータプログラム命令により実現されてよいことを理解されたい。こうしたコンピュータプログラム命令が汎用コンピュータ、専用コンピュータ、又は他のプログラム可能型データ処理装置のプロセッサに提供されて、機械が作り出されてよく、コンピュータ又は他のプログラム可能型命令実行装置のプロセッサにより実行される命令が、フローチャート及び/又はブロック図の1つ又は複数のブロックにおいて指定された機能/動作を行うためのメカニズムを生み出すことができるようにする。
非一時的コンピュータ可読媒体は、磁気記憶媒体、光記憶媒体、及び固体記憶媒体を含むあらゆる種類のコンピュータ可読媒体を含み、信号を除外しない。ソフトウェアは、デバイスにインストールされ、デバイスと共に販売され得ることを理解されたい。あるいは、ソフトウェアは取得されてデバイスにロードされてよく、ソフトウェアの取得については、ディスク媒体を介して又はあらゆる方式のネットワーク又は配信システムから(例えば、ソフトウェア作成会社が所有するサーバ、又はソフトウェア作成会社が所有していないが使用するサーバなどから)取得することが含まれる。ソフトウェアは、例えば、インターネットを介して配信するためのサーバに格納されてよい。
コンピュータ可読記憶媒体は、伝搬信号そのものを除外し、コンピュータ及び/又はプロセッサによりアクセスされてよく、着脱可能及び/又は着脱不可能な内蔵及び/又は外部の揮発性及び不揮発性の媒体を含む。コンピュータの場合、様々な種類の記憶媒体が、あらゆる好適なデジタルフォーマットのデータ記憶に適応している。開示されたアーキテクチャの新規な方法(動作)を実行するためのコンピュータ実行可能命令を格納するために、zipドライブ、ソリッドステートドライブ、磁気テープ、フラッシュメモリカード、フラッシュドライブ、及びカートリッジなどといった他の種類のコンピュータ可読媒体を使用できることが、当業者によって理解されるはずである。
本明細書に用いられる用語は、特定の態様を説明することだけを目的としており、本開示を限定することを意図してはいない。本明細書では、「a」、「an」、及び「the」で示される単数形は、文脈上特に明記されていない限り、複数形も含むことが意図されている。さらに、「comprises」及び/又は「comprising」という用語は、本明細書で用いられる場合、記載した特徴、整数、ステップ、オペレーション、要素、及び/又はコンポーネントの存在を明示しているが、1つ又は複数の他の特徴、整数、ステップ、オペレーション、要素、コンポーネント、及び/又はそのグループの存在又は追加を除外しないことを理解されたい。
本開示の説明は、例示及び説明の目的で示されたが、網羅的であることも、開示した形の本開示に限定されることも意図していない。本開示の範囲及び趣旨から逸脱しない多くの修正及び変形が、当業者には明らかであろう。本明細書における本開示の各態様は、本開示の原理及び実際の適用を最もよく説明するために、且つ考えられる特定の使用に適している様々な修正と共に本開示を当業者が理解できるようにするために、選択されて説明されたものである。
本明細書の目的のために、開示された技術に関連する各プロセスは、1つ又は複数のコンピューティングデバイスにより継続的に実行されてよい。プロセスの各ステップは、他のステップで用いられるものと同じ又は異なるコンピューティングデバイスで実行されてよく、各ステップは必ずしも単一のコンピューティングデバイスで実行される必要はない。
本主題は構造的特徴及び/又は方法論的動作に特有の言語で説明されているが、添付の特許請求の範囲に定められている本主題は必ずしも上述した特定の特徴又は動作に限定されないことを理解されたい。むしろ、上述した特定の特徴及び動作は、特許請求の範囲の実現に関する例示的な形態として開示されている。

Claims (27)

  1. 1つ又は複数の第1車両の運転者についての、あるルートの1つ又は複数の区間に対する過去の疲労データ及び現在の疲労データを含むマップデータを格納している1つ又は複数のデータソースにアクセスする段階と、
    前記1つ又は複数のデータソースにアクセスすることにより取得される前記マップデータに基づいて、第2車両の運転者用の個人向け疲労マップを生成する段階であって、前記個人向け疲労マップは、前記ルートの前記1つ又は複数の区間に対する前記第2車両の前記運転者の予測される運転者疲労を表示する、生成する段階と、
    1つ又は複数のセンサにより取得される計測値に基づいて運転者疲労を検知するために、前記1つ又は複数の第1車両及び前記第2車両の前記運転者を監視する段階であって、前記運転者疲労のレベルが疲労スコアに従って評価される、監視する段階と、
    前記運転者疲労が検知されると、前記第2車両の前記運転者に前記運転者疲労の前記レベルに基づいた助言を出力し、前記助言を反映するために前記個人向け疲労マップを更新する段階と
    を備えるコンピュータ実装方法。
  2. 前記マップデータがさらに、オンラインマッピングデータソースから取得されるオンラインマップデータを含み、
    前記過去の疲労データが、過去の指定期間における前記1つ又は複数の第1車両の前記運転者について収集され、前記過去の疲労データが、前記ルートの前記1つ又は複数の区間に沿った前記1つ又は複数の第1車両のそれぞれにおける前記運転者疲労を示す過去の疲労マップを生成するのに用いられ、
    前記現在の疲労データが、前記1つ又は複数の第1車両の前記運転者についてリアルタイムで収集され、前記現在の疲労データが、前記ルートの前記1つ又は複数の区間に沿った前記1つ又は複数の第1車両のそれぞれにおける前記運転者疲労を示す現在の疲労マップを生成するのに用いられる、請求項1に記載のコンピュータ実装方法。
  3. 前記個人向け疲労マップを生成する段階が、前記個人向け疲労マップを生成するために、オンラインマップ、前記過去の疲労マップ、及び前記現在の疲労マップを学習アルゴリズムに適用する段階を含む、請求項2に記載のコンピュータ実装方法。
  4. 前記1つ又は複数の第1車両に乗った前記運転者の前記疲労スコアを、パラメータのセット及び目的関数に基づいて計算する段階と、
    前記1つ又は複数の第1車両に乗った前記運転者が、前記第2車両に乗った前記運転者の周囲の運転者であり、且つ前記1つ又は複数の第1車両の前記運転者に関して検知された前記運転者疲労に基づいて前記第2車両の前記運転者に安全上のリスクをもたらす場合、安全上のリスクをもたらすと判定された前記周囲の運転者を回避するために、前記第2車両の前記運転者に前記助言として注意を喚起する段階と
    をさらに備える、請求項2又は3に記載のコンピュータ実装方法。
  5. 前記1つ又は複数の第1車両に乗った前記運転者の疲労の前記レベルを反映するために、前記過去の疲労マップ及び前記現在の疲労マップを更新する段階と、
    前記第2車両の前記ルートを変更して、安全上のリスクをもたらすと判定された周囲の運転者を回避するために、前記個人向け疲労マップを更新する段階と
    をさらに備える、請求項2から4のいずれか一項に記載のコンピュータ実装方法。
  6. 前記第2車両に乗った前記運転者に運転者疲労が生じていると検知された場合、パラメータのセット及び目的関数に基づいて、前記第2車両に乗った前記運転者の前記疲労スコアを計算する段階と、
    前記1つ又は複数の第1車両の前記運転者についての前記過去の疲労データ及び前記現在の疲労データと前記第2車両の前記運転者の計算された前記疲労スコアとに基づいて、前記第2車両の前記運転者に注意を喚起する段階と
    をさらに備える、請求項4又は5に記載のコンピュータ実装方法。
  7. 前記第2車両の前記運転者の計算された前記疲労スコアに基づいて前記第2車両の前記ルートを変更するために、前記個人向け疲労マップを更新する段階と、
    前記1つ又は複数の第1車両に乗った前記運転者の疲労の前記レベルを反映するために、前記過去の疲労マップ及び前記現在の疲労マップを更新する段階と
    をさらに備える、請求項6に記載のコンピュータ実装方法。
  8. 前記パラメータのセットが、期間、ユーザ数、道路状況、疲労時間、疲労期間、気候、及び運転者の長期間にわたる運転パターンのうちの1つ又は複数を含む、請求項4、6及び7のいずれか一項に記載のコンピュータ実装方法。
  9. 前記第2車両の前記ルートを変更することが、
    運転者疲労の前記レベルが第1レベルであると計算された場合、前記第2車両の前記運転者に警告を出すことと、
    運転者疲労の前記レベルが第2レベルであると計算された場合、前記第2車両の前記運転者に警告を出し、近くの休憩場所までの代替ルートを提供することと、
    運転者疲労の前記レベルが第3レベルであると計算された場合、前記第2車両の前記運転者に警告を出し、前記第2車両を自動運転モードに入れることと
    を含む、請求項4から8のいずれか一項に記載のコンピュータ実装方法。
  10. 命令を含む非一時的メモリストレージと、
    前記非一時的メモリストレージと通信する1つ又は複数のプロセッサと
    を備えるデバイスであって、前記1つ又は複数のプロセッサが、
    1つ又は複数の第1車両の運転者についての、あるルートの1つ又は複数の区間に対する過去の疲労データ及び現在の疲労データを含むマップデータを格納している1つ又は複数のデータソースにアクセスする命令と、
    前記1つ又は複数のデータソースにアクセスすることにより取得される前記マップデータに基づいて、第2車両の運転者用の個人向け疲労マップを生成する命令であって、前記個人向け疲労マップは前記ルートの前記1つ又は複数の区間に対する前記第2車両の前記運転者に関して予測される運転者疲労を表示する、生成する命令と、
    1つ又は複数のセンサにより取得される計測値に基づいて運転者疲労を検知するために、前記1つ又は複数の第1車両及び前記第2車両の前記運転者を監視する命令であって、前記運転者疲労のレベルが疲労スコアに従って評価される、監視する命令と、
    前記運転者疲労が検知されると、前記第2車両の前記運転者に前記運転者疲労の前記レベルに基づいた助言を出力し、前記助言を反映するために前記個人向け疲労マップを更新する命令と
    を実行する、デバイス。
  11. 前記マップデータがさらに、オンラインマッピングデータソースから取得されるオンラインマップデータを含み、
    前記過去の疲労データが、過去の指定期間における前記1つ又は複数の第1車両の前記運転者について収集され、前記過去の疲労データが、前記ルートの前記1つ又は複数の区間に沿った前記1つ又は複数の第1車両のそれぞれにおける前記運転者疲労を示す過去の疲労マップを生成するのに用いられ、
    前記現在の疲労データが、前記1つ又は複数の第1車両の前記運転者についてリアルタイムで収集され、前記現在の疲労データが、前記ルートの前記1つ又は複数の区間に沿った前記1つ又は複数の第1車両のそれぞれにおける前記運転者疲労を示す現在の疲労マップを生成するのに用いられる、請求項10に記載のデバイス。
  12. 前記個人向け疲労マップを生成することが、前記個人向け疲労マップを生成するために、オンラインマップ、前記過去の疲労マップ、及び前記現在の疲労マップを学習アルゴリズムに適用することを含む、請求項11に記載のデバイス。
  13. 前記1つ又は複数のプロセッサがさらに、
    前記1つ又は複数の第1車両に乗った前記運転者の前記疲労スコアを、パラメータのセット及び目的関数に基づいて計算する命令と、
    前記1つ又は複数の第1車両に乗った前記運転者が、前記第2車両に乗った前記運転者の周囲の運転者であり、且つ前記1つ又は複数の第1車両の前記運転者に関して検知された前記運転者疲労に基づいて前記第2車両の前記運転者に安全上のリスクをもたらす場合、安全上のリスクをもたらすと判定された前記周囲の運転者を回避するために、前記第2車両の前記運転者に前記助言として注意を喚起する命令と
    を実行する、請求項11又は12に記載のデバイス。
  14. 前記1つ又は複数のプロセッサがさらに、
    前記1つ又は複数の第1車両に乗った前記運転者の疲労の前記レベルを反映するために、前記過去の疲労マップ及び前記現在の疲労マップを更新する命令と、
    前記第2車両の前記ルートを変更して、安全上のリスクをもたらすと判定された周囲の運転者を回避するために、前記個人向け疲労マップを更新する命令と
    を実行する、請求項11から13のいずれか一項に記載のデバイス。
  15. 前記1つ又は複数のプロセッサがさらに、
    前記第2車両に乗った前記運転者に運転者疲労が生じていると検知された場合、パラメータのセット及び目的関数に基づいて、前記第2車両に乗った前記運転者の前記疲労スコアを計算する命令と、
    前記1つ又は複数の第1車両の前記運転者についての前記過去の疲労データ及び前記現在の疲労データと前記第2車両の前記運転者の計算された前記疲労スコアとに基づいて、前記第2車両の前記運転者に注意を喚起する命令と、
    を実行する、請求項13又は14に記載のデバイス。
  16. 前記1つ又は複数のプロセッサがさらに、
    前記第2車両の前記運転者の計算された前記疲労スコアに基づいて前記第2車両の前記ルートを変更するために、前記個人向け疲労マップを更新する命令と、
    前記1つ又は複数の第1車両に乗った前記運転者の疲労の前記レベルを反映するために、前記過去の疲労マップ及び前記現在の疲労マップを更新する命令と
    を実行する、請求項15に記載のデバイス。
  17. 前記パラメータのセットが、期間、ユーザ数、道路状況、疲労時間、疲労期間、気候、及び運転者の長期間にわたる運転パターンのうちの1つ又は複数を含む、請求項13、15及び16のいずれか一項に記載のデバイス。
  18. 前記第2車両の前記ルートを変更することが、
    運転者疲労の前記レベルが第1レベルであると計算された場合、前記第2車両の前記運転者に警告を出すことと、
    運転者疲労の前記レベルが第2レベルであると計算された場合、前記第2車両の前記運転者に警告を出し、近くの休憩場所までの代替ルートを提供することと、
    運転者疲労の前記レベルが第3レベルであると計算された場合、前記第2車両の前記運転者に警告を出し、前記第2車両を自動運転モードに入れることと
    を含む、請求項11から17のいずれか一項に記載のデバイス。
  19. プロセッサに、
    1つ又は複数の第1車両の運転者についての、あるルートの1つ又は複数の区間に対する過去の疲労データ及び現在の疲労データを含むマップデータを格納している1つ又は複数のデータソースにアクセスする手順と、
    前記1つ又は複数のデータソースにアクセスすることにより取得される前記マップデータに基づいて、第2車両の運転者用の個人向け疲労マップを生成する手順であって、前記個人向け疲労マップは、前記ルートの前記1つ又は複数の区間に対する前記第2車両の前記運転者の予測される運転者疲労を表示する、生成する手順と、
    1つ又は複数のセンサにより取得される計測値に基づいて運転者疲労を検知するために、前記1つ又は複数の第1車両及び前記第2車両の前記運転者を監視する手順であって、前記運転者疲労のレベルが疲労スコアに従って評価される、監視する手順と、
    前記運転者疲労が検知されると、前記第2車両の前記運転者に前記運転者疲労の前記レベルに基づいた助言を出力し、前記助言を反映するために前記個人向け疲労マップを更新する手順と
    を実行させるためのコンピュータプログラム。
  20. 前記マップデータがさらに、オンラインマッピングデータソースから取得されるオンラインマップデータを含み、
    前記過去の疲労データが、過去の指定期間における前記1つ又は複数の第1車両の前記運転者について収集され、前記過去の疲労データが、前記ルートの前記1つ又は複数の区間に沿った前記1つ又は複数の第1車両のそれぞれにおける前記運転者疲労を示す過去の疲労マップを生成するのに用いられ、
    前記現在の疲労データが、前記1つ又は複数の第1車両の前記運転者についてリアルタイムで収集され、前記現在の疲労データが、前記ルートの前記1つ又は複数の区間に沿った前記1つ又は複数の第1車両のそれぞれにおける前記運転者疲労を示す現在の疲労マップを生成するのに用いられる、請求項19に記載のコンピュータプログラム。
  21. 前記個人向け疲労マップを生成する手順が、前記個人向け疲労マップを生成するために、オンラインマップ、前記過去の疲労マップ、及び前記現在の疲労マップを学習アルゴリズムに適用する手順を含む、請求項19に記載のコンピュータプログラム。
  22. 前記プロセッサに、
    前記1つ又は複数の第1車両に乗った前記運転者の前記疲労スコアを、パラメータのセット及び目的関数に基づいて計算する手順と、
    前記1つ又は複数の第1車両に乗った前記運転者が、前記第2車両に乗った前記運転者の周囲の運転者であり、且つ前記1つ又は複数の第1車両の前記運転者に関して検知された前記運転者疲労に基づいて前記第2車両の前記運転者に安全上のリスクをもたらす場合、安全上のリスクをもたらすと判定された前記周囲の運転者を回避するために、前記第2車両の前記運転者に前記助言として注意を喚起する手順と
    をさらに実行させる、請求項20又は21に記載のコンピュータプログラム。
  23. 前記プロセッサに、
    前記1つ又は複数の第1車両に乗った前記運転者の疲労の前記レベルを反映するために、前記過去の疲労マップ及び前記現在の疲労マップを更新する手順と、
    前記第2車両の前記ルートを変更して、安全上のリスクをもたらすと判定された周囲の運転者を回避するために、前記個人向け疲労マップを更新する手順と
    をさらに実行させる、請求項20から22のいずれか一項に記載のコンピュータプログラム。
  24. 前記プロセッサに、
    前記第2車両に乗った前記運転者に運転者疲労が生じていると検知された場合、パラメータのセット及び目的関数に基づいて、前記第2車両に乗った前記運転者の前記疲労スコアを計算する手順と、
    前記1つ又は複数の第1車両の前記運転者についての前記過去の疲労データ及び前記現在の疲労データと前記第2車両の前記運転者の計算された前記疲労スコアとに基づいて、前記第2車両の前記運転者に注意を喚起する手順と
    をさらに実行させる、請求項22又は23に記載のコンピュータプログラム。
  25. 前記プロセッサに、
    前記第2車両の前記運転者の計算された前記疲労スコアに基づいて前記第2車両の前記ルートを変更するために、前記個人向け疲労マップを更新する手順と
    前記1つ又は複数の第1車両に乗った前記運転者の疲労の前記レベルを反映するために、前記過去の疲労マップ及び前記現在の疲労マップを更新する手順と
    をさらに実行させる、請求項24に記載のコンピュータプログラム。
  26. 前記パラメータのセットが、期間、ユーザ数、道路状況、疲労時間、疲労期間、気候、及び運転者の長期間にわたる運転パターンのうちの1つ又は複数を含む、請求項22、24及び25のいずれか一項に記載のコンピュータプログラム。
  27. 前記第2車両の前記ルートを変更することが、
    運転者疲労の前記レベルが第1レベルであると計算された場合、前記第2車両の前記運転者に警告を出すことと、
    運転者疲労の前記レベルが第2レベルであると計算された場合、前記第2車両の前記運転者に警告を出し、近くの休憩場所までの代替ルートを提供することと、
    運転者疲労の前記レベルが第3レベルであると計算された場合、前記第2車両の前記運転者に警告を出し、前記第2車両を自動運転モードに入れることと
    を含む、請求項22から26のいずれか一項に記載のコンピュータプログラム。
JP2021557587A 2019-03-29 2019-03-29 運転者疲労マップに基づく個人向けルート探索 Active JP7391990B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2019/024917 WO2020204884A1 (en) 2019-03-29 2019-03-29 Personalized routing based on driver fatigue map

Publications (2)

Publication Number Publication Date
JP2022527912A true JP2022527912A (ja) 2022-06-07
JP7391990B2 JP7391990B2 (ja) 2023-12-05

Family

ID=67441575

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021557587A Active JP7391990B2 (ja) 2019-03-29 2019-03-29 運転者疲労マップに基づく個人向けルート探索

Country Status (5)

Country Link
US (1) US11906318B2 (ja)
EP (1) EP3931529A1 (ja)
JP (1) JP7391990B2 (ja)
CN (1) CN113631884A (ja)
WO (1) WO2020204884A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110575163B (zh) * 2019-08-01 2021-01-29 深圳大学 一种检测驾驶员分心的方法及装置
US11587461B2 (en) * 2019-10-23 2023-02-21 GM Global Technology Operations LLC Context-sensitive adjustment of off-road glance time
DE102021132689A1 (de) * 2020-12-22 2022-06-23 Subaru Corporation Sicherheitsfahrunterstützungsvorrichtung
DE102021201459B3 (de) * 2021-02-16 2022-06-15 Volkswagen Aktiengesellschaft Verfahren zum Unterstützen eines Fahrzeugführers eines Fahrzeugs beim Führen des Fahrzeugs, sowie elektronisches Fahrerunterstützungssystem und Fahrzeug
CN113223270B (zh) * 2021-04-26 2023-02-28 西安建筑科技大学 基于计算机视觉技术的疲劳驾驶监测提醒预警方法及系统
CN114386763B (zh) * 2021-12-10 2023-05-23 斑马网络技术有限公司 一种车辆交互方法、车辆交互装置及存储介质
WO2023126861A1 (en) * 2021-12-29 2023-07-06 Harman Becker Automotive Systems Gmbh Methods and systems for navigation guidance based on driver state events
US20230286437A1 (en) * 2022-03-09 2023-09-14 Toyota Research Institute, Inc. Vehicular warning system and method based on gaze abnormality
CN114758503B (zh) * 2022-05-06 2023-06-20 浙江水晶光电科技股份有限公司 一种驾驶数据处理方法、设备、服务器及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005190082A (ja) * 2003-12-25 2005-07-14 Fuji Photo Film Co Ltd 居眠り運転警告装置及びカーナビゲーション装置
JP2009293996A (ja) * 2008-06-03 2009-12-17 Toyota Motor Corp 運転者疲労度推定装置、運転者疲労度推定方法
JP2013069152A (ja) * 2011-09-22 2013-04-18 Denso Corp 眠気予測装置
JP2014206785A (ja) * 2013-04-10 2014-10-30 株式会社デンソー 眠気予測装置及び眠気予測システム
US20150285653A1 (en) * 2014-04-04 2015-10-08 Hyundai Motor Company Apparatus and method for controlling driving of vehicle based on driver's fatigue

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10335927B4 (de) 2003-08-06 2005-09-22 Siemens Ag Navigationssystem mit Ermittlung einer verbrauchsoptimierten Route
DE102005031312A1 (de) * 2005-07-05 2007-01-11 Deutsches Zentrum für Luft- und Raumfahrt e.V. Routenplaner
US7468673B2 (en) * 2006-06-23 2008-12-23 Delphi Technologies, Inc. System and method for determining whether a vehicle operator has an impaired cognitive state
US10096038B2 (en) 2007-05-10 2018-10-09 Allstate Insurance Company Road segment safety rating system
DE102007030526A1 (de) * 2007-06-30 2009-01-02 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur Routenplanung für eine Fahrzeugflotte
WO2011000373A1 (en) * 2009-06-30 2011-01-06 Asp Technology Aps Pause adviser system and use thereof
DE102011077941A1 (de) * 2011-06-22 2012-12-27 Robert Bosch Gmbh Verfahren und Vorrichtung zur Bestimmung einer Tauglichkeit einer Route
US9751534B2 (en) * 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
US20170154394A1 (en) * 2014-07-24 2017-06-01 Pulsar Informatics, Inc. Fatigue Optimized Routing & Tracking
US9771081B2 (en) * 2014-09-29 2017-09-26 The Boeing Company System for fatigue detection using a suite of physiological measurement devices
WO2016093751A1 (en) * 2014-12-10 2016-06-16 Telefonaktiebolaget Lm Ericsson (Publ) Method and system for avoiding an accident involving moving vehicle, and related computer program and computer program products
US9778654B2 (en) * 2016-02-24 2017-10-03 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for advanced resting time suggestion
US9956963B2 (en) * 2016-06-08 2018-05-01 GM Global Technology Operations LLC Apparatus for assessing, predicting, and responding to driver fatigue and drowsiness levels
US9927252B1 (en) 2016-12-14 2018-03-27 Uber Technologies, Inc. Safe routing for navigation systems
CN108238053A (zh) * 2017-12-15 2018-07-03 北京车和家信息技术有限公司 一种车辆驾驶监控方法、装置及车辆
CN108423006A (zh) * 2018-02-02 2018-08-21 辽宁友邦网络科技有限公司 一种辅助驾驶预警方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005190082A (ja) * 2003-12-25 2005-07-14 Fuji Photo Film Co Ltd 居眠り運転警告装置及びカーナビゲーション装置
JP2009293996A (ja) * 2008-06-03 2009-12-17 Toyota Motor Corp 運転者疲労度推定装置、運転者疲労度推定方法
JP2013069152A (ja) * 2011-09-22 2013-04-18 Denso Corp 眠気予測装置
JP2014206785A (ja) * 2013-04-10 2014-10-30 株式会社デンソー 眠気予測装置及び眠気予測システム
US20150285653A1 (en) * 2014-04-04 2015-10-08 Hyundai Motor Company Apparatus and method for controlling driving of vehicle based on driver's fatigue

Also Published As

Publication number Publication date
US20220011132A1 (en) 2022-01-13
CN113631884A (zh) 2021-11-09
US11906318B2 (en) 2024-02-20
JP7391990B2 (ja) 2023-12-05
WO2020204884A1 (en) 2020-10-08
EP3931529A1 (en) 2022-01-05

Similar Documents

Publication Publication Date Title
JP7391990B2 (ja) 運転者疲労マップに基づく個人向けルート探索
JP6341311B2 (ja) ドライバの動的道路シーンに対する精通度インデックスのリアルタイム作成
US11821741B2 (en) Stress map and vehicle navigation route
Chan et al. A comprehensive review of driver behavior analysis utilizing smartphones
JP6842574B2 (ja) 自律車両運転イベントに応答して乗車者フィードバックを取得するシステムおよび方法
US11004357B2 (en) Pre-license development tool
JP6615840B2 (ja) 自律走行車の個人運転好みの認識方法及びシステム
Kashevnik et al. Cloud-based driver monitoring system using a smartphone
US9165280B2 (en) Predictive user modeling in user interface design
TWI627084B (zh) 用於感測器驅動車輛遙測應用與服務之開發及部署的運算平台
JP2018027776A (ja) 運転者行動予測モデルの個人適合
US20170243518A1 (en) Information Presentation Apparatus and Method, and Computer Program Product
JP5691967B2 (ja) 眠気予測装置
WO2022053617A1 (en) Mobile device and system for automated trip familiarity recognition and corresponding method thereof
JP6303795B2 (ja) 経路探索システム及び経路探索方法
JP4919172B2 (ja) 車両案内装置
US20220357172A1 (en) Sentiment-based navigation
JP2023040789A (ja) 危険検知装置及び危険検知方法
US20230392936A1 (en) Method and apparatus for determining lingering communication indicators
US20240037510A1 (en) Method and apparatus for determining appointment attendance probability
WO2020189731A1 (ja) 情報処理装置、プログラム、及び情報処理方法
US20240046324A1 (en) Digital token generation and output for riders of autonomous vehicles
US10986223B1 (en) Systems and methods for presenting content based on user behavior
JP5285939B2 (ja) 運転状態警告システム、運転状態警告方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211101

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230818

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231024

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231122

R150 Certificate of patent or registration of utility model

Ref document number: 7391990

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150