JP2019528217A - 資源配分管理を改善するために注意力バッファを使用するシステムおよび方法 - Google Patents

資源配分管理を改善するために注意力バッファを使用するシステムおよび方法 Download PDF

Info

Publication number
JP2019528217A
JP2019528217A JP2019530379A JP2019530379A JP2019528217A JP 2019528217 A JP2019528217 A JP 2019528217A JP 2019530379 A JP2019530379 A JP 2019530379A JP 2019530379 A JP2019530379 A JP 2019530379A JP 2019528217 A JP2019528217 A JP 2019528217A
Authority
JP
Japan
Prior art keywords
sight
line
vehicle
buffer value
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019530379A
Other languages
English (en)
Other versions
JP7139331B2 (ja
JP2019528217A5 (ja
Inventor
セッペルト・ボビー・ダニエル
リー・ジョンボム
エンジェル・リンダ・サラ
ライマー・ブライアン・エル
メーラー・ブルース・エル
コフリン・ジョセフ・エフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Massachusetts Institute of Technology
Original Assignee
Massachusetts Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Massachusetts Institute of Technology filed Critical Massachusetts Institute of Technology
Publication of JP2019528217A publication Critical patent/JP2019528217A/ja
Publication of JP2019528217A5 publication Critical patent/JP2019528217A5/ja
Application granted granted Critical
Publication of JP7139331B2 publication Critical patent/JP7139331B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60K35/10
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08Insurance
    • B60K2360/149
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872Driver physiology
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/225Direction of gaze
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/197Matching; Classification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Abstract

資源配分を評価するためのシステムおよび方法が提供される。いくつかの例示的な実施形態では、システムは、人および/または自動化システムによって視線を分類するために注意力バッファを使用し、バッファは、視線が人および/または自動化システムの状況認識レベルに対して有する影響を決定する。注意力バッファは、特定の時点における人および/または自動化システムの状況認識レベルを表すバッファ値を連続的に算出する。他の名前の中でも特に瞬間ごとのバッファ値と呼ばれる、算出されたバッファ値は、データ点として使用され得、かつ/または、人および/または自動化システムの状況認識レベルを変えるためにシステムおよび/または人によるアクションを指示するように使用されることもできる。

Description

開示の内容
〔関連出願の相互参照〕
本出願は、「Attention Buffer」のタイトルで2016年8月19日に出願された米国仮特許出願第62/377,016号の優先権および利益を主張し、この内容は、参照により全体として本明細書に組み込まれる。
〔分野〕
本開示は、ダイナミックに変化する環境において時間を通じて個人の注意力を評価し、少なくとも部分的には個人が行っている活動に応じて、さまざまな情況でその評価を使用する、システムおよび方法に関する。このような評価に関連するシステムおよび方法は、多くの活動に関して使用され得るが、本開示が適用可能である1つの非限定的な活動は、運転活動である。
〔背景〕
マルチタスク(Multi-tasking)は、かつてないほどに地方言語において普及していると思われる用語である。マルチタスクという用語は、2つの異なるタスク(例えば、歩行、およびテキストメッセージによる会話への参加)を実行することを意味する用語と考えることができるが、実際には、多くの単独のタスク自体が、複数のタスクに再分割され得る(例えば、歩行は、動けと脚に命令を出すこと、特定の方向を決定しその方向に動くこと、潜在的危険性を回避するよう周辺環境を評価することなどを伴う)。情報へのアクセス、および利用可能な情報の種類が増え続けるにつれて、単独のタスクは複数のタスクに再分割可能であることがさらに多く、それは、単独のタスクを実行する個人が、複数の情報源を評価し、その情報に基づいて行動することによって、それを実行するためである。しかしながら、すべての情報が等しく作成されるわけではない。一部の情報は、一部の他の情報よりも、単独のタスクの実行に役立ち、一部の情報は、個人がその単独のタスクを実行する能力を邪魔し、かつ/または損なう場合すらある。
運転は、車両の操作者またはドライバーとも呼ばれる個人が、長期間にわたり複数の情報源を監視することを必要とするタスクの一例である。特に、運転は、多くの情報源(例えば、視覚、聴覚、およびその他)、ならびに車両への複数の制御入力の提供に対する注意力の管理を必要とする。さらに、運転席に対してさまざまな場所にある、気を散らす可能性があるものが、ドライバーの感覚、知覚、および注意資源を求めて競い合う場合があり、例えば、ごく近い道路およびその状態(例えば、くぼみ、その道路の降雨量、車線閉鎖、速度制限標識)、ごく近い道路の周囲の状況(例えば、交通量、危険、歩行者、建設工事およびそれに伴う材料)、全体的な周囲の状況(例えば、天候、広告板)、運転台内の(in-cab)器具類(例えば、計器群、インフォテインメントセンター、全地球測位システムデバイス、警報、ミラー)、乗客、ならびに他の物体(例えば、携帯電話、飲料)である。今日では、これまで以上に、ドライバーは、いくつかある情報資源の中でも特に、車両内の情報システム(例えば、計器群、インフォテインメントセンターなど)、近代的車両におけるセルラー方式の接続性アプリケーション、衛星ナビゲーションシステム、スマートフォンのアプリケーションの存在により、ドライバーの注意をめぐる激しい競争に直面している。さらに、携帯電話での会話、乗客との会話、ラジオの聴取、注意力散漫、および道端の広告などの、自然に発生する注意をそらす活動も、競ってドライバーの注意を道路から引き離そうとする場合がある。特に、自律走行車または半自律走行車であっても、システム(例えば、その1つ以上のプロセッサ)が運転中にどのアクションを取るかを決定するためさまざまな情報源を受信し、それに応答するので、これらの同じ資源配分の課題が一般的となっている。
前記を考慮して、ドライバー(車両と関連付けられた個人および/またはプロセッサ)は、道路への、また道路からの注意を管理しなければならず、いつ、どこで、そしてどのくらいの間、道路から注意をそらすのかを決定する。車両内および車両外にある注意を引きつける情報源の量が増え続けているという観点から、ドライバーに対する特定の種類および規模のタスク要求が運転要素を選択的に損ない得るという懸念が高まっている。これらのタスク負荷は、感覚的、知覚的、運動性、認知的、混合的なものなどであり得る。注意散漫な運転の思わぬ危険を阻止することを目的としたシステムおよび方法が存在するが、それらは、多くの欠陥がある。例えば、いくつかの注意散漫な運転を検出する技術は、注意散漫な運転の二元的検出(binary detection)を提供し、有害事象を引き起こすネガティブなドライバーの行動(例えば、ある時間の間、「道路以外」を見ること)に基づいて注意散漫な運転の有無を判断する。注意散漫な運転状態が特定されると、既存のシステムは、注意散漫な運転状態を考慮に入れるため車両内のシステムに対して制限的なアクションを取り、例えばブレーキをかけて車両を減速させ得る。このような二元システムは、非常に精密であり得るが、さまざまなレベルの反応に値し得るさまざまなレベルの注意散漫を考慮に入れることができない。いくつかの二元システムのような既存のシステムは、ドライバーの資源配分管理において役割を果たす、道路を調べるなど、ドライバーの行動のポジティブな特徴を考慮に入れることもできない。
前述のとおり、さまざまな場所からの複数の情報の流れを管理するのは、運転に限られたタスクではない。当業者は、人が複数の形態の情報のバランスを取り、その情報に基づいて状況を評価し、それに応じて反応することを必要とする、多くのタスクが存在することを認識するであろう。これは、マルチタスクが主要タスクの一部であるシステムおよび不確実な環境にダイナミックに取り組むことを伴う状況において、かつ/または、タスクに関連する活動およびタスクに関連しない活動の両方が可能である場合に、特に当てはまる。このようなタスクの非限定的な例としては、歩行、自転車運転、飛行、重機械の操作、ならびに、地上交通(例えば、トラック、バス、電車、地下鉄、タンクなどの軍用車などの運転)、海運(例えば、ボート、潜水艦などの運転)、および空輸(例えば、飛行機、ヘリコプター、飛行船などの操縦)を含む、他の輸送モードの運用が含まれる。複数の形態の情報のバランスをとることの難しさも、車両の運転などに限られたものではなく、それは、特に制御装置およびディスプレイのかなり複雑なパネルによる、多くのプロセス制御に影響を及ぼすためである。非限定的な例として、複数の形態の情報のバランスをとることを伴うプロセス制御は、核エネルギー施設、製造制御施設、フライト制御施設、宇宙管制センター(space mission control)、通信制御室(communications control)などのいずれかを動作させることを含む。世界はさらにつながってきているので、この情報のバランスをとる行為は、人およびプロセッサなどのいずれかまたは両方を必要とし得、そのいずれかまたは両方がこのバランスをとる行為の実行に関与し得る。プロセッサは、人が相互作用する物体の一部であり得、車両およびスマートフォンは、そのような2つの物体であり、かつ/または、プロセッサは、大量のデータを収集し評価するスタンドアロンコンピュータ、コンピュータのネットワークなどの一部であり得る。
したがって、システムおよび/または人の(例えばドライバーの)タスク要求および注意資源配分をより考慮に入れる、システムおよび方法が必要とされている。このようなタスク負荷の要求は、多様であり得、複数の入力様式(例えば、視覚、聴覚、触覚)および/または複数の出力様式(例えば、自動車移動、スピーチなど)と必要とし、また、人による認知処理資源を必要とする。タスクの要求および注意配分を考慮に入れるための改善されたシステムおよび方法は、人が関与している物体の関連インターフェース(例えば、車両内のインターフェースおよび支援テクノロジー)のデザインを高めて、より効果的な資源配分管理を促進するであろう。運転との関連では、これは、運転の安全性を高めることができる。より具体的には、支援的な資源配分システムの中核をなすロバストな方法、およびリアルタイムで人の状況認識を評価し、ポジティブおよびネガティブの両方に人の状況認識を高める要因を考慮に入れることができる方法が必要とされる。さらになお、これらの新しいシステムおよび方法は、インテリジェントな支援テクノロジー(例えば、何らかの形態の人工知能または他の学習もしくは適応能力を有する物体)と互換性を有して、それらのテクノロジーが、人の状況認識の知識に基づいて最終結果を改善するように調節することができなければならない。車両との関連では、これは、完全に自動化された車両および半自動の車両を含む、インテリジェントな車両または支援テクノロジーシステムを含み得る。しかしながら、これらの改善は、このような「スマート」テクノロジーにおいて、またはそれと共に実施される必要はなく、理想的には、人工知能または他の学習もしくは適応能力を有するように必ずしも設定されていないか、または人工知能または他の学習もしくは適応能力に関して限られた能力を有する、物体での使用に適応性を有し得る。例えば、車両に関して、新しいシステムおよび方法は、好ましくは、人工知能または他の学習もしくは適応能力を持たないか、または人工知能または他の学習もしくは適応能力に関して限られた能力を有する車両を含む、車両に、安全システムおよび方法を組み込むためのプラグアンドプレイ、改造、または他の設定手段によって、改善されたシステムおよび方法が提供されることを可能にする能力を有するであろう。
〔概要〕
注意力バッファを利用するシステムおよび方法が提供される。注意力バッファは、ダイナミックに変化する環境に関するさまざまな受信情報を連続的に分析し、その環境と関連付けられた人および/または物体の状況認識に対するその情報の影響を連続的に評価するように設計される。注意力バッファは、受信情報を定量化して、本明細書では瞬間ごとのバッファ、一時的バッファ、および瞬間バッファと呼ばれる、任意の時点における人および/または物体の認識レベルを判断する。評価は、当業者が理解する自然な遅れが、「リアルタイム」とみなされたシステムでも起こることを考慮に入れて、リアルタイムまたはほぼリアルタイムで行われる。その判断に基づいて、多くの異なるアクションが実行され得る。例えば、一時的バッファが、注意を他にシフトさせる必要があると示す場合、そのようなシフトを生じさせるように設計されたコマンドが、人および/または物体に対して履行され得る。さらなる非限定的な実施例として、評価された一時的バッファは、評価を行う(例えば、保険料控除(insurance credit)または保険料率を決定する)のに使用される、1つ以上のデータベースなどに送信される情報として使用され得る。判断された一時的バッファに対する、多くの可能な反応が本明細書に提供され、多くの他の可能な反応が本開示から導き出せる。
例示的な一実施形態では、資源配分をリアルタイムで評価する方法が提供される。この方法は、ある期間にわたって生じた、ユーザの複数の視線(glances)に関する情報を、リアルタイムで受信することを含む。各視線は、オンターゲット視線またはオフターゲット視線として分類される。注意力バッファの瞬間ごとのバッファ値は、分類された視線に基づいて連続的に算出され、注意力バッファは、ユーザの認識レベルに対応する、ある範囲の値である。算出された瞬間ごとのバッファ値は、算出された瞬間ごとのバッファ値が方法の実行中の任意の時点において分かるように、出力される。さらに、方法は、(1)連続的に出力された、算出された瞬間ごとのバッファ値に基づいて、指示を提供すること;および/または(2)ある期間にわたる、連続的に出力された、算出された瞬間ごとのバッファ値のうちの少なくともいくつかの連続的に出力された、算出された瞬間ごとのバッファ値を含むデータを、1つ以上のデータベースに提供すること、のいずれかまたは両方を含む。
複数の視線についてリアルタイムで受信された情報は、頻度、持続時間、および場所を含み得る。分類された視線に基づいて注意力バッファの瞬間ごとのバッファ値を連続的に算出することは、ある期間にわたる、分類されたオンターゲット視線および分類されたオフターゲット視線を互いにつなげること(threading together)を含み得、分類されたオンターゲット視線およびオフターゲット視線は、そのような分類されたオンターゲット視線およびオフターゲット視線それぞれの持続時間を含む。
オンターゲット視線およびオフターゲット視線は、さらに分類され得る。例えば、オンターゲット視線はそれぞれ、中心に位置する視線または周辺に位置する視線として分類され得、オフターゲット視線はそれぞれ、状況認識関連視線または状況認識無関係視線として分類され得る。オフターゲット視線が状況認識関連視線または一連の状況認識関連視線である場合、注意力バッファの瞬間ごとのバッファ値を連続的に算出することは、注意力バッファの減少率(decrement rate)の適用を、遅延期間が終了し、状況認識関連視線が依然として現在の分類された視線となるまで、遅延させることを含み得る。オンターゲット視線が中心に位置する視線である場合、注意力バッファの瞬間ごとのバッファ値を連続的に算出することは、中心に位置する視線が生じる時間が閾値を超えたときに、注意力の減少率を適用することを含み得る。
場合によっては、提供される方法は、車両の運転と併せて実行され得、その場合、ユーザは車両の操作者(すなわち、ドライバー)であってよい。このような場合、前述した状況認識関連視線は、以下の場所のいずれかにおける視線を含み得る:バックミラー、サイドミラー、死角、車両性能、車両の自動化状態、道路およびその状態、環境データ、周辺データ、およびユーザデータのうちの少なくとも1つに関する情報が表示される、車両内ディスプレイの一部、ならびに、道路およびその状態、環境データ、および周辺データのうちの少なくとも1つに関する情報が表示される、車両の外側の場所。
方法は、連続的に出力された、算出された瞬間ごとのバッファ値を閾値と比較することも含み得る。このような場合、指示が、連続的に出力された、算出された瞬間ごとのバッファ値に基づいて提供される場合に、提供される指示は、算出された瞬間ごとのバッファ値と閾値との比較に基づいていてよい。いくつかのこのような場合、方法は、車両性能、車両の自動化状態、道路およびその状態、環境データ、周辺データ、およびユーザデータのうちの少なくとも1つを考慮して閾値を調節することも含み得る。
方法が、連続的に出力された、算出された瞬間ごとのバッファ値に基づいて指示を提供することを含む場合、方法は、(1)ユーザの認識レベルを変化させるように構成された指示を提供すること;(2)連続的に出力された、算出された瞬間ごとのバッファ値に応答して自動化システムの1つ以上のパラメータを調節するように、自動化システムに指示を提供すること;および(3)ユーザとの情報交換を増やすように指示を提供すること、のうちの少なくとも1つをさらに含み得る。ユーザとの情報交換を増やすことは、例えば、ユーザとの情報交換を抑制するように指示を提供することを含み得る。
注意力バッファは、瞬間ごとのバッファ値に影響を与える複数の変数を有する等式を含み得る。複数の変数は、瞬間ごとのバッファ値間の比率を、可変レートで増減させるように構成され得る。注意力バッファが、瞬間ごとのバッファ値に影響を与える複数の変数を有する等式を含む場合、これらの変数は、(1)増加率(increment rate);(2)減少率;(3)初期値開始;(4)切替コスト;(5)視線速度減少の存在;および(6)場所に基づくレイテンシ、のうちの少なくとも1つを含み得る。さらに、方法は、瞬間ごとのバッファ値を算出するアクションを実行するために依存する変数のうちの1つ以上を選択することを含み得、このような選択は、以下の要素のうちの少なくとも1つに基づく:(1)状況に応じた広範な要求;(2)即時タスク要求;および(3)情報処理状態。いくつかのそのような実施形態では、注意力バッファの等式は、(1)オンターゲット視線の持続時間およびオフターゲット視線の持続時間;ならびに/または(2)視線推移を考慮に入れることができる。人工知能コンポーネントは、ユーザおよびユーザに影響を与える環境のうちの少なくとも1つに関する学習された情報に基づいて、注意力バッファを調節するように動作され得る。
前述したように、場合によっては、ユーザは車両の操作者であってよい。方法が、連続的に出力された、算出された瞬間ごとのバッファ値に基づいて指示を提供することを含む場合、指示は、車両、車両の操作者、および指示を受信するように構成された受信機のうちの任意の1つまたは組み合わせに提供され得る。指示は、連続的に出力された、算出された瞬間ごとのバッファ値に基づき得る。いくつかのそのような実施形態では、方法は、車両の1つ以上のコンポーネントと通信して、算出された瞬間ごとのバッファ値を少なくとも連続的に出力し、連続的に出力された、算出された瞬間ごとのバッファ値に基づいて、車両、車両の操作者、および受信機のうちの任意の1つまたは組み合わせに指示を提供することをさらに含み得る。通信され得る車両のコンポーネントのいくつかの非限定的な例は、自動化システム、適応インターフェース、情況認識機能を持った車両制御システム(context-aware vehicle control system)、および車両内ディスプレイを含む。自動化システムは、車両と関連付けられた1つ以上のアクションを自動化するように構成され得る。適応インターフェースは、車両の操作者が状況認識を促進するように環境に注意を払うのを効果的に助けるために、車両の操作者に提供される1つ以上の機能およびコンテンツ;コンテンツが操作者に提供される1つ以上の方式;ならびに1つ以上の制御入力の性質のうちの少なくとも1つを変更するように応答するよう構成され得る。情況認識機能を持った車両制御システムは、車両の周辺環境、知識、および車両の操作者の認識レベルのうちの少なくとも1つに応答して、車両のパラメータを調節するように構成され得る。そして、車両内ディスプレイは、車両の操作者に、車両および/または車両の向き(aspects)の制御に関する情報を提供するように構成され得る。いくつかの実施形態では、車両、車両の操作者、および指示を受信するように構成された受信機のうちの任意の1つまたは組み合わせに提供される指示は、車両の運転中に車両の操作者が行う変更および/または車両の周辺の環境に対する変化に基づいて、適合され得る。
ユーザが車両の操作者である実施形態では、方法は、さまざまな目的で1つ以上のデータベースにデータを提供することを含み得る。データは、ある期間にわたる、連続的に出力された、算出された瞬間ごとのバッファ値のうちの少なくともいくつかの連続的に出力された、算出された瞬間ごとのバッファ値を含み得る。いくつかのこのような場合、提供されるデータは、受信された瞬間ごとのバッファ値に基づいて操作者プロフィールを定めるために使用されるように構成され得る。さらに、または代わりに、提供されるデータは、受信された瞬間ごとのバッファ値の少なくともいくつかの部分から算出された、平均、モード、可変性、移動平均窓、標準偏差、分布サマリー(distribution summary)、瞬間ごとの集合プロット(moment-to-moment aggregate plot)、スペクトル幅およびパワーのフーリエ解析を含む高度な指標、ならびに記号集約近似(Symbolic Aggregate Approximation)のうちの少なくとも1つに基づいて、グローバルプロフィールを定めるのに使用されるように構成され得る。ユーザが車両の操作者であり、データが1つ以上のデータベースに提供されるいくつかの実施形態では、データは、ある期間にわたる、少なくともいくつかの連続的に出力された、算出された瞬間ごとのバッファ値を含み得る。提供されるデータは、他の用途の中でも特に、保険料控除および/または保険料率を決定することに関連する情報を含み得る。
車両のための資源配分管理システムの例示的な一実施形態は、車両と関連付けられた1つ以上の視線測定装置(例えばカメラおよびセンサ)と通信している少なくとも1つのプロセッサを含む。プロセッサはさまざまな機能を実行するように動作可能である。例えば、プロセッサは、少なくとも1つのプロセッサと通信している1つ以上の視線測定装置と関連付けられた車両の操作者の複数の視線に関する情報をリアルタイムで受信するように動作可能であり、複数の視線は、ある期間にわたって発生するものである。さらに、プロセッサは、複数の視線のそれぞれを路上視線または路外視線として分類し、かつ、分類された視線に基づいて注意力バッファの瞬間ごとのバッファ値を連続的に算出するように動作可能である。注意力バッファは、車両の操作者の認識レベルに対応する、ある範囲の値である。さらになお、プロセッサは、瞬間ごとのバッファ値を算出するようにプロセッサが動作している任意の時点で、算出された瞬間ごとのバッファ値が分かるように、算出された瞬間ごとのバッファ値を連続的に出力し、かつ、車両、車両の操作者、およびプロセッサからの指示を受信するように構成された受信機のうちの少なくとも1つに指示を提供するように動作可能である。指示は、連続的に出力された、算出された瞬間ごとのバッファ値に基づく。
プロセッサは、車両の1つ以上のコンポーネントと通信して、算出された瞬間ごとのバッファ値を連続的に出力し、かつ/または車両、車両の操作者、およびプロセッサからの指示を受信するように構成された受信機のうちの少なくとも1つに指示を提供するように構成され得る。プロセッサが通信し得る車両のコンポーネントのいくつかの非限定的な例は、自動化システム、適応インターフェース、情況認識機能を持った(context-ware)車両制御システム、および車両内ディスプレイを含む。自動化システムは、車両と関連付けられた1つ以上のアクションを自動化するように構成され得る。適応インターフェースは、車両の操作者に提供される1つ以上の機能およびコンテンツ;コンテンツが操作者に提供される1つ以上の方式;ならびに1つ以上の制御入力の性質のうちの少なくとも1つを変更するように応答するよう構成され得る。このような変更は、車両の操作者が状況認識を促進するように環境に注意を払うのを助けるのに有効となり得る。情況認識機能を持った車両制御システムは、車両の周辺環境、知識、および車両の操作者の認識レベルのうちの少なくとも1つに応答して、車両のパラメータを調節するように構成され得る。そして、車両内ディスプレイは、車両の操作者に、車両および/または車両の向きの制御に関する情報を提供するように構成され得る。プロセッサが指示を提供するように動作可能である受信機は、プロセッサが通信している1つ以上の視線測定装置と関連付けられた車両の近くにある第2の車両、スマートデバイス(例えば、スマートフォン、タブレット、コンピュータ、スマートウォッチ、およびスマートカー)、ならびにデータベースのうちの任意の1つまたは組み合わせについて情報を受信するように構成された、受信機であってよい。いくつかの実施形態では、プロセッサは、車両の運転中に車両の操作者が行う変更および/または車両の周辺の環境に対する変化に基づいて、車両、車両の操作者、およびプロセッサからの指示を受信するように構成された受信機のうちの任意の1つまたは組み合わせに提供される指示を適合させるように構成され得る。
さまざまな指示が、車両、車両の操作者、およびプロセッサからの指示を受信するように構成された受信機のうちの少なくとも1つに提供され得る。例えば、提供される指示は、車両の操作者の認識レベルを変えるように構成された指示であってよい。さらに、または代わりに、提供される指示は、連続的に出力された、算出された瞬間ごとのバッファ値に応答して車両の1つ以上のパラメータを調節するために車両の自動化システムに対するものであってよい。さらになお、さらに、または代わりに、提供される指示は、車両および/または車両の操作者との情報交換を増やすためのものであってよい。車両および/または車両の操作者との情報交換を増やす指示は、例えば、情報交換を抑制するように指示を提供することを含み得る。
複数の視線に関してリアルタイムで受信される情報は、頻度、持続時間、および場所を含み得る。分類された視線に基づいて注意力バッファの瞬間ごとのバッファ値を連続的に算出するプロセッサの操作性は、プロセッサが、ある期間にわたる、分類された路上視線および分類された路外視線を互いにつなげるように動作可能であることを含み得、分類された路上視線および路外視線は、そのような分類された路上視線および路外視線それぞれの持続時間を含む。
路上視線および路外視線は、さらに分類され得る。例えば、路上視線はそれぞれ、中心に位置する視線または周辺に位置する視線として分類され得、路外視線はそれぞれ、状況認識関連視線または状況認識無関係視線として分類され得る。状況認識関連視線のいくつかの非限定的な例は、以下の場所のいずれかにおける視線を含む:バックミラー、サイドミラー、死角、車両性能、車両の自動化状態、道路およびその状態、環境データ、周辺データ、およびユーザデータのうちの少なくとも1つに関する情報が表示される、車両内ディスプレイの一部、ならびに、道路およびその状態、環境データ、および周辺データのうちの少なくとも1つに関する情報が表示される、車両の外側の場所。路外視線が状況認識関連視線または一連の状況認識関連視線である場合、注意力バッファは、瞬間ごとのバッファ値の算出中に注意力バッファの減少率の適用を遅延させることによって、そのような視線または一連の視線を考慮に入れることができる。減少率は、遅延期間が終了し、状況認識関連視線が依然として現在の分類された視線となった後で注意力バッファによって適用され得る。注意力バッファは、中心に位置する視線が生じる時間が閾値を超えたときに、瞬間ごとのバッファ値の算出中に減少率を適用することによって、中心に位置する視線が長すぎることを考慮に入れることができる。
プロセッサは、連続的に出力された、算出された瞬間ごとのバッファ値を、閾値と比較するようにさらに動作可能であってよい。いくつかのそのような実施形態では、プロセッサが、車両、車両の操作者、およびプロセッサからの指示を受信するように構成された受信機のうちの任意の1つまたは組み合わせに指示を提供するように動作可能であることによって、算出された瞬間ごとのバッファ値と閾値との比較に基づいて選択された指示を提供することができる。プロセッサは、車両性能、車両の自動化状態、道路およびその状態、環境データ、周辺データ、ならびにユーザデータのうちの少なくとも1つを考慮して閾値を調節するようにさらに動作可能であってよい。
注意力バッファは、瞬間ごとのバッファ値に影響を与える複数の変数を有する等式を含み得る。これらの変数は、(1)増加率;(2)減少率;(3)初期値開始;(4)切替コスト;(5)視線速度減少の存在;および(6)場所に基づくレイテンシ、のうちの少なくとも1つを含み得る。さらに、プロセッサは、、瞬間ごとのバッファ値を算出するために依存する変数のうちの1つ以上を選択するようにさらに動作可能であってよく、このような選択は、以下の要素のうちの少なくとも1つに基づく:(1)状況に応じた広範な要求;(2)即時タスク要求;および(3)情報処理状態。いくつかのそのような実施形態では、注意力バッファの等式は、(1)路上視線の持続時間および路外視線の持続時間;ならびに/または(2)視線推移を考慮に入れることができる。人工知能コンポーネントは、ユーザおよびユーザに影響を与える環境のうちの少なくとも1つに関する学習された情報に基づいて、注意力バッファを調節するように動作され得る。
プロセッサは、人工知能コンポーネントを含み得る。知能コンポーネントは、車両、車両の操作者、および車両の周辺の環境のうちの少なくとも1つに関する、プロセッサが学習した情報に基づいて、注意力バッファを調節するように構成され得る。場合によっては、プロセッサは、ある期間にわたる瞬間ごとのバッファ値を含むプロセッサからの指示を受信するように構成された受信機に、指示を提供するように動作可能である。受信機は、少なくとも1つのプロフィール決定プロセッサに通信連結され得、少なくとも1つのプロフィール決定プロセッサは、操作者プロフィールおよび/またはグローバルプロフィールを定めるように構成される。操作者プロフィールは、受信機が受信する瞬間ごとのバッファ値に基づいていてよく、グローバルプロフィールは、受信機が受信する、受信された瞬間ごとのバッファ値の少なくともいくつかの部分から算出された、平均、モード、可変性、移動平均窓、標準偏差、分布サマリー、瞬間ごとの集合プロット、スペクトル幅およびパワーのフーリエ解析を含む高度な指標、ならびに記号集約近似のうちの少なくとも1つに基づいていてよい。プロセッサが、プロセッサからの指示を受信するように構成された受信機に指示を提供するように動作可能である場合には、指示は、保険料控除および/または保険料率を決定することに関連する情報を含み得る。
資源を配分する例示的な一方法において、方法は、一時的バッファ値を定量化するのに使用される、オンターゲット視線またはオフターゲット視線として視線を分類することを含む。視線がオンターゲット視線として分類された場合、方法は、直前の視線がオンターゲット視線であったかまたはオフターゲット視線であったかを決定することと、その視線について一時的バッファ値を決定することと、をさらに含む。直前の視線がオフターゲット視線であった場合、方法は、オフターゲット視線からオンターゲット視線への移動と関連付けられた推移を考慮に入れることも含む。視線がオフターゲット視線として分類された場合、方法は、オフターゲット視線を状況認識関連視線または状況認識無関係視線であるとして分類することと、その視線について一時的バッファ値を決定することと、をさらに含む。オフターゲット視線が状況認識関連視線である場合、その視線について一時的バッファ値を決定することは、レイテンシを考慮に入れることも含む。
視線がオンターゲット視線である場合、方法は、オンターゲット視線を、中心に位置する視線または周辺に位置する視線として分類することを含み得る。オンターゲット視線が中心に位置する視線である場合、その視線について一時的バッファ値を決定することは、連続的な中心に位置する視線の持続時間が閾値時間を超える場合を考慮に入れることを含み得、オンターゲット視線が周辺に位置する視線である場合、その視線について一時的バッファ値を決定することは、最初に決定された一時的バッファ値、最大バッファ値、およびオンターゲット視線と関連付けられた増加値のうちの少なくとも1つに基づいて、その視線について一時的バッファ値を決定することを含み得る。さらに、オンターゲット視線が中心に位置する視線の場合、場合によっては、その視線について一時的バッファ値を決定することは、連続的な中心に位置する視線の持続時間を決定することと、連続的な中心に位置する視線の持続時間を、閾値時間と比較することと、を含み得る。連続的な中心に位置する視線の持続時間が、閾値時間以上である場合、方法は、最初に決定された一時的バッファ値を、オンターゲットバッファ減少下限値(on-target buffer decrement floor value)と比較することをさらに含み得る。最初に決定された一時的バッファ値がオンターゲットバッファ減少下限値より大きい場合、視線について一時的バッファ値を決定することは、一時的バッファ値を、オンターゲット視線と関連付けられた減少値未満の最初に決定された一時的バッファ値として設定することをさらに含み得、最初に決定された一時的バッファ値がオンターゲットバッファ減少下限値以下である場合、視線について一時的バッファ値を決定することは、一時的バッファ値をオンターゲットバッファ減少下限値として設定することをさらに含み得る。しかしながら、連続的な中心に位置する視線の持続時間が閾値時間未満である場合、視線について一時的バッファ値を決定することは、最初に決定された一時的バッファ値、最大バッファ値、およびオンターゲット視線と関連付けられた増加値のうちの少なくとも1つに基づいて、視線について一時的バッファ値を決定することを含み得る。
視線がオフターゲット視線である場合、その視線について一時的バッファ値を決定することは、最初に決定された一時的バッファ値、最小バッファ値、およびオフターゲット視線と関連付けられた減少値のうちの少なくとも1つに基づき得る。さらに、オフターゲット視線が状況認識関連視線として分類された場合、方法は、一時的バッファ値と関連付けられたレイテンシ値を決定することと、決定されたレイテンシ値を閾値レイテンシ値と比較することと、を含み得る。決定されたレイテンシ値が閾値レイテンシ値以下である場合、視線について一時的バッファ値を決定することは、一時的バッファ値を最初に決定された一時的バッファ値として設定することを含み得、決定されたレイテンシ値が閾値レイテンシ値超である場合、方法は、最初に決定された一時的バッファ値を最小バッファ値と比較することをさらに含み得る。最初に決定された一時的バッファ値が最小バッファ値以下である場合、視線について一時的バッファ値を決定することは、一時的バッファ値を最小バッファ値として設定することをさらに含み得、最初に決定された一時的バッファ値が最小バッファ値超である場合、視線について一時的バッファ値を決定することは、一時的バッファ値を、オフターゲット視線と関連付けられた減少値未満の、最初に決定された一時的な値として設定することをさらに含み得る。
オフターゲット視線が状況認識無関係視線として分類された場合、方法は、最初に決定された一時的バッファ値を最小バッファ値と比較することを含み得る。最初に決定された一時的バッファ値が最小バッファ値以下である場合、視線について一時的バッファ値を決定することは、一時的バッファ値を最小バッファ値として設定することを含み得、最初に決定された一時的バッファ値が最小バッファ値超である場合、視線について一時的バッファ値を決定することは、一時的バッファ値を、オフターゲット視線と関連付けられた減少値未満の、最初に決定された一時的バッファ値として設定することを含み得る。
オフターゲット視線からオンターゲット視線への移動に関連する推移を考慮に入れることは、オンターゲット視線の情報抽出レイテンシ値を決定することと、情報抽出レイテンシ値を閾値情報抽出レイテンシ値と比較することと、を含み得る。情報抽出レイテンシ値が閾値情報抽出レイテンシ値未満である場合、視線について一時的バッファ値を決定することとは、一時的バッファ値を最初に決定された一時的バッファ値として設定することを含み得、情報抽出レイテンシ値が閾値抽出レイテンシ値以上である場合、方法は、オンターゲット視線を、中心に位置する視線または周辺に位置する視線であるとして分類することをさらに含み得る。オンターゲット視線が中心に位置する視線である場合、その視線について一時的バッファ値を決定することは、連続的な中心に位置する視線の持続時間が閾値時間を超える場合を考慮に入れることを含み得、オンターゲット視線が周辺に位置する視線である場合、その視線について一時的バッファ値を決定することは、最初に決定された一時的バッファ値、最大バッファ値、およびオンターゲット視線と関連付けられた増加値のうちの少なくとも1つに基づいて、その視線について一時的バッファ値を決定することを含み得る。
方法は、決定された一時的バッファ値を記憶することと、決定された一時的バッファ値をエクスポートすることと、1つ以上の後続の一時的バッファ値を決定するために一時的バッファ値を定量化するのに使用されるオンターゲット視線またはオフターゲット視線として視線を分類することと関連付けられた前述したステップのうちの少なくともいくつかを繰り返すことと、をさらに含み得る。いくつかの実施形態では、方法は、視線について一時的バッファ値を決定することと共に使用される、1つ以上の閾値(例えば、連続的な同じ場所の視線の持続時間と関連付けられた閾値時間、1つ以上の一時的バッファ値と関連付けられた閾値レイテンシ値、視線と関連付けられた閾値情報抽出レイテンシ値)を調節することをさらに含み得る。
場合によっては、分類される視線は、車両を運転する間になす視線である。このような場合、オンターゲット視線は、路上視線とみなされてよく、オフターゲット視線は、路外視線とみなされてよい。方法は、決定された一時的バッファ値を、操作者プロフィールおよび/またはグローバルプロフィールを定めるように構成されたデータベースなどの、1つ以上のデータベースに提供することをさらに含み得る。このような場合、1つ以上の後続の一時的バッファ値を決定するために一時的バッファ値を定量化するのに使用されるオンターゲット視線またはオフターゲット視線として視線を分類することと関連付けられた前述したステップのうちの少なくともいくつかを繰り返して、1つ以上の後続の一時的バッファ値を決定することができる。決定された1つ以上の後続の一時的バッファ値は、データベースに提供され得る。操作者プロフィールは、提供される、決定された一時的バッファ値および決定された後続の一時的バッファ値に基づいて定められ得、グローバルプロフィールは、決定された一時的バッファ値および後続の一時的バッファ値の少なくともいくつかの部分から算出された、平均、モード、可変性、移動平均窓、標準偏差、分布サマリー、瞬間ごとの集合プロット、スペクトル幅およびパワーのフーリエ解析を含む高度な指標、ならびに記号集約近似のうちの少なくとも1つに基づいて、定められ得る。場合によっては、方法は、決定された一時的バッファ値を、保険料控除および/または保険料率を決定するのに使用されるように構成された1つ以上のデータベースに提供することをさらに含み得る。
方法は、視線について一時的バッファ値を決定することと共に使用される1つ以上の閾値を調節するために人工知能コンポーネントを動作させることをさらに含み得る。いくつかのそのような実施形態では、閾値の調節は、ユーザおよびユーザに影響を与える環境のうちの少なくとも1つに関する、学習された情報に基づき得る。
本開示は、添付図面と併せて理解される以下の詳細な説明から、さらに十分に理解されるであろう。
〔詳細な説明〕
特定の例示的な実施形態は、本明細書に開示する装置および方法の構造、機能、製造、および使用の原理の全体的な理解をもたらすために説明される。これらの実施形態の1つ以上の例を添付図面に示す。当業者は、本明細書に具体的に説明され添付図面に示される装置および方法が、非限定的な例示的実施形態であること、また、本開示の範囲が特許請求の範囲によってのみ定められることを理解するであろう。例示的な一実施形態に関連して示されるか、または説明される特徴は、他の実施形態の特徴と組み合わせることができる。このような修正および変形体は、本開示の範囲に含まれることが意図されている。本開示では、さまざまな実施形態の同様の符号のコンポーネントは概して、それらのコンポーネントが同様の性質のものであり、かつ/または同様の目的に役立つものである場合に、同様の特徴を有する。当業者は、本開示を鑑みれば、さまざまな図面にわたる同様の符号のコンポーネントが類似しているさまざまな実例を理解するであろう。さらに、いくつかの場合、当業者が理解するかもしくは別様に当業者に既知であり、かつ/または本開示において提供される、さまざまな用語は、互換的に使用される。非限定的な例として、認識(「認識のレベル」/「認識レベル」および「認識量」を含む)、注意力(「注意力のレベル」/「注意力レベル」および「注意力の量」を含む)、および状況情報(「状況情報のレベル」/「状況情報レベル」および「状況情報の量」を含む)、ならびに(これに関連して使用される他の用語の中でもとりわけ)操作者およびユーザなどの用語は、互換的に使用され得る。
本開示は、資源配分のリアルタイムの評価を対象としている。資源は、ユーザが知覚する視覚的情報および/またはユーザによって操作されているシステムと関連付けられたさまざまなセンサにより供給される情報を含め、さまざまな形態で提供され得る。ユーザは、人であってよいが、必ずしもそうでなくてよい。本開示との関連では、ユーザは、情報を受信および総合することができるシステムまたは物体(例えば、自律走行車およびその関連コンポーネント)であってもよい。本明細書に記載するように、資源配分は、ユーザの認識レベル、注意力レベル、および/または状況情報のレベルを含み得、提供されるシステムおよび方法は、ユーザに利用可能なさまざまな資源が、ユーザの状況認識(SA)を改善することなどによって、ユーザの経験を改善するよう適切に管理され得る方法を提供する。記載される実施形態のうちの多くにおいて、SAは、ドライバーが運転している車両およびその車両周辺の環境の、ドライバーのSAに関するが、本開示は、決して車両での使用のみに制限されない。例えば、車両以外の適用では、ユーザのSAは、概して、まとめて「ユーザに影響を与える環境」または他の類似用語で呼ばれ得る、ユーザに影響を与える環境および周辺要因(例えば、ユーザおよび/またはユーザが操作している任意のシステム、物体などに関する情報およびデータ)の、ユーザの認識を指す。用語「個人」が人に限定されないのと同じように、「操作者」および「ドライバー」のような用語は、関連動作/運転情報を受信し総合することができるシステムおよび物体を包含することもできる。本明細書で提供される資源配分システムおよび方法が使用され得る他の情況のいくつかの非限定的な例は、歩行、自転車運転、飛行、重機械の操作、ならびに(例えば、保険料控除を決定し、他の保険に関する決定を行い、車隊を管理し、小売りに関する消費者の注意、保険数理において行われた決定、事故の再現(accident reconstruction)、および法の執行を監視する)さまざまなデータ管理および分析プラットフォームを含む。実際、本開示は、複数の形態の情報(例えば、地上交通、海運、空輸、プロセス制御など)のバランスをとることを含むものとして前述された使用のいずれかに、また本開示を考慮して当業者に知られている任意の他の使用に適用され得る。
提供されるシステムおよび方法は、注意力バッファを含み、これは、ユーザの認識レベル、またはユーザが有する状況情報の量/レベルに対応する、ある範囲の値を有する、ダイナミックに変化する指標である。認識レベルは、ユーザによって見られるかもしくは別様に感知される情報、さまざまなセンサおよび監視システムを通じてユーザに提供された情報、および、ユーザが存在する状況に影響を及ぼし得る情報を、ユーザにより操作されている特定の物体が受信および/または決定することができる、他の方法、を含むがこれらに限定されないさまざまな要因を考慮に入れた、状況、またはシーン、ユーザの認識を指す。一例として、提供される注意力バッファが、車両の運転と併せて使用される場合、バッファは、ユーザがどこを見ているか、およびユーザがどのくらいの間車両に対する特定の場所を見ているかに関する情報、ならびに車両自体(例えば、そのスピード、場所など)、ドライバー(ドライバーがその場所に精通していること、ドライバーの眠気、ドライバーが典型的には攻撃的なドライバーであるかどうか、など)、および車両周辺の環境(他の周辺車両からのデータ、障害物、道路標識、潜在的危険、天候、道路状況など)に関する情報を受信し得る。
注意力バッファは、ユーザが1つ以上のタスク(例えば運転)を実行している間に、ユーザの注意力レベルの指標を提供し得る。バッファは、ユーザの注意力または認識レベルを定量化し、注意力または認識レベルは、本明細書では、ユーザが実行しているタスクに関連する周囲の状況をユーザがどれだけ認識しているかの評価に関する。認識レベルは、状態および/または周辺環境に関する既知知識も包含することができ、既知知識は、ユーザ、および/またはユーザが関わっているシステム、物体などに起因する。周囲の状況は、ユーザによって操作されている任意の物体もしくはシステムに関する情報およびデータ、物体もしくはシステムが操作されている環境に関する情報およびデータ、および/またはユーザ別の情報およびデータを含む、ユーザに関する情報およびデータ、ならびにユーザに関する1つ以上の既知の特徴など(例えば、年齢、スキルのレベルなど)に基づいて関連性のあるデータもしくは情報を含み得る。集合的に、この情報およびデータは、車両周辺の環境と呼ばれ得、よって、車両周辺の環境が、本明細書で提供されるか、または別様に当業者に既知であるような、環境データおよび周辺データを含むことを示す。本明細書で説明するように、ユーザは、自律走行車または半自律走行車などの、システム自体であってよいので、必ずしも人ではない。
提供されるバッファは、その瞬間におけるバッファの状況情報のレベルおよび/または操作者が有する状況認識のレベルの即時測定値である、瞬間ごとのバッファ値を連続的に算出するように設計される。これらは、操作者の注意力の産物または結果であり、その瞬間における操作者の注意力の範囲内に存在する。バッファは、システムにより受信または作成されるユーザ視線指標を含むがこれらに限定されない1つ以上の係数の関数であってよい。本明細書で提供されるように、各入力視線は、入力視線の瞬間における瞬間ごとのバッファ値を決定するために、提供されるシステムおよび方法によって分類され得る。定量化は、(例えば、低い値および高い値、ならびに、低い値および高い値の範囲のどこかに該当する瞬間ごとのバッファ値を有する)スケールで行われ、かつ/またはアクション、結果などを駆動し得る、そのスケールの範囲内の閾値を含み得る。
瞬間ごとのバッファ値が所望の閾値より高いかまたは低い(もしくは、所望の値の範囲外である)場合には、開示されるシステムおよび方法は、瞬間ごとのバッファ値を、所望の値に(または瞬間ごとのバッファ値が所望の値の範囲内に含まれるように)調節するのを助けるアクションを提供し得る。定量化された認識または情報レベルは、以下でさらに詳述するように、多くの異なるアクションをもたらし得る。このようなアクションは、閾値と比較した特定の時点における瞬間ごとのバッファ値を鑑みて、インターフェース(例えば、ディスプレイ、または車両の操作者に利用可能な他の情報、例えば、車両およびその制御に関する情報)を増大させること、自動化(例えば、システムに、より多くの制御を引き受けさせる)、(例えば、さまざまな制御システムを選択的に起動または停止させる)制御の要素、情報の流れ(例えば、情報を抑制すること、提供される情報を増やすこと、または提供される情報の種類および/または情報の表示方法を変更することを含む、ユーザおよび/もしくは車両への、またはこれらからの情報の流れを変えること)、ならびに/または他の知的エージェントを含み得る。
プロセッサは、動作中に車両、操作者、ならびに環境および関連要因のうちの少なくとも1つに関する学習情報に基づいて注意力バッファを調節するようにアクションを起こすよう構成された、人工知能コンポーネントを含み得る。自動化または制御の要素の増強など、車両の性能に影響を及ぼすアクションが起こされると、車両の状態を増強すると言われ得る。前述したアクションのいずれかは、プロセッサが、所望のアクションを起こすかまたは所望の応答をトリガするために、車両、車両の操作者、受信機および/または接続されたスマートデバイスのうちの少なくとも1つに指示を送信することを含み得る。指示は、ローカルな場所および/または離れた場所に送信され得る。例えば、受信機は、車両自体の一部であってよく、または、資源配分管理システムに無線接続された第三者のコンピュータと関連付けられ得る。場合によっては、指示は、ユーザに提供され得、ユーザが特定のステップを行って、瞬間ごとのバッファ値および/またはシステムへの指示を変更して、瞬間ごとのバッファ値を自動的に調節するのを促す。これらのアクションは、ユーザのSAを改善するため瞬間ごとのバッファ値を増やすアクション、またはユーザが過度に認識する(hyperaware)とシステムが決定した場合に瞬間ごとのバッファ値を減らすアクションを含み得る。以下でさらに詳細に説明するように、また当業者には理解されるように、提供され得る指示のタイプは、さまざまな他の形態とすることもできる。実際、場合によっては、指示は、さらなる計算を行う(例えば、保険料率を調節する、決定された瞬間ごとのバッファ値を利用するように設計されたさまざまなアプリケーションを操作する、など)、および/またはしばらくの間情報を取り除く、しばらくの間制御装置を停止させるなどの際の後続の分析または使用のため、スマートデバイス、データベースなどに情報を伝送することを伴い得る。
注意力バッファの一部として視線指標を利用するシステムおよび方法の最も基本的なレベルにおいて、視線は、ユーザの注意力に対する影響を決定するため、「オンターゲット」または「オフターゲット」としてみなされ得る。より具体的なレベルでは、「オンターゲット」および「オフターゲット」視線は、いくつかのタイプの視線が、「オフターゲット」と考えられてもSAを提供し得るので、認識レベルへの影響を具体的に考慮に入れるようさらに分析され得る。例えば、運転が評価されている状況では、特定の「オフターゲット」視線(例えば道路から離れた視線)は、速度制限標識とユーザ自身の速度計との何らかの組み合わせを見ることによって、許容される速度と現在の速度との差を決定するなどのSAを提供し得る。したがって、本開示は、別の状況では「オフターゲット」と考えられるが実際には操作者にSA関連情報を提供するある種の視線(例えば、死角を見る)、ならびに、別の状況では「オンターゲット」と考えられるが、視線の長さ、分布および/または経時的なシーケンスなどの要因によっては、操作者にSA関連情報を均等に提供しない、ある種の視線(例えば、過度に長い時間にわたって、道路の中心など、同じ場所を見つめる)を考慮に入れるため、偏心領域のさらなる分類を提供する。新たな瞬間ごとのバッファ値は、注意力バッファに入力された、各視線および/または他の情報の入力に従って算出され得、注意力バッファは、視線がSA関連情報を提供するかどうかについて、これらのさらに微妙な評価(nuanced evaluations)を考慮に入れる。
本明細書では一時的バッファ値および瞬間バッファ値とも呼ばれる(また、場合によっては、「値」という語を使用しない。当業者は、「瞬間ごとのバッファ」、「一時的バッファ」、および「瞬間バッファ」という語句がカバーするものを理解するであろう)瞬間ごとのバッファ値は、監視されるシステムの1つ以上のコンポーネントまたはデバイスに連続的に出力され得、算出された一時的バッファ値は、ユーザにより動作中の任意の瞬間に分かる。さらに、システムは、注意力バッファの寿命値を反映する統計または指標を出力し得る。非限定的な例として、これは、注意力バッファの平均、モード、最小値、最大値、可変性、もしくは移動平均窓、関連する標準偏差、分布サマリー(例えば、ユーザ群間の有意義な差を分析するために平均および標準偏差カットオフのための75パーセンタイルなどの特定のパーセンタイル値の使用)、瞬間ごとの集合プロット、スペクトル幅およびパワーのフーリエ解析により生成され得る高度な指標など、記号集約近似技術、ならびに本開示および当業者の知識を鑑みれば導くことができる他の統計学的データまたは指標を含み得る。監視されるシステムのコンポーネントは、次に、一時的バッファ値または注意力バッファ測定値を使用して、本明細書で提供される他の使用の中でも特に、注意力配分、注意力レベル、および/または安全なシステム動作に関してユーザを助けることができる。さらに、リアルタイムでユーザに支援を提供する代わりに、またはそれに加えて、資源配分管理システムは、ユーザおよび/または第三者が所有するデバイスを含む、記憶されたメモリデバイスまたは1つ以上の接続されたデバイスに、一時的バッファ値および/または注意力バッファ統計を出力することができる。その後、データは、ユーザの注意力を監視することの恩恵を受けるであろうアプリケーションにおける評価および解釈のために後からアクセスされ得る。非限定的な例として、この情報は、法の執行、事故を再現する人、保険数理人(actuarial scientists)、保険会社、または車隊管理人(例えば、配送車両、バスもしくは列車のような輸送システムなど)によってアクセスされ得る。本開示の結果として入手されるデータは、個人レベルで注意力を管理もしくは評価するのに使用され得、かつ/または、個人群全体の注意力習慣を合計するために集団レベルで入手され得る。
本開示は、「リアルタイム」で行われる評価に言及するが、当業者は、リアルタイムの評価が、リアルタイムとみなされるシステムにおいても、当業者が理解する自然な遅延が発生することを考慮に入れて、ほぼリアルタイムの評価を含むことを認識するであろう。場合によっては、リアルタイムは、資源配分データが測定されるかまたは別様に受信され、一時的バッファ値が測定され、測定された一時的バッファ値を考慮した応答(例えば、さまざまなコンポーネントの増強、データベース、スマートフォンなどへのデータの送信、操作者および/または操作者が関与している物体もしくはシステムへの指示の提供など)が提供される時間を意味する。本開示では、これらのアクションは、およそミリ秒またはマイクロ秒で行われてよく、また、実際には「ほぼリアルタイム」であるかもしれないにもかかわらず、互換的に「リアルタイム」と理解され得る。
資源配分管理エコシステム
注意力バッファについて説明する前に、それが利用され得るさまざまな環境を理解することが有用である。図1は、資源配分の管理に関連する本開示が使用され得る、コンピューティングデバイスエコシステム100の例示的な実施形態を示す。いくつかの実施形態では、用語「資源配分」は、提供されるシステムおよび方法のユーザに提供され得る、さまざまな量の情報を指すために本明細書で使用される。これは、例えば、ユーザの視線に関して行われる決定を含み得、提供されるシステムおよび方法と関連付けられたさまざまなセンサから収集される情報など、システムおよび方法に関連する他の情報を全体として含むこともできる。本開示が視覚的注意力の配分を説明する範囲で、このような配分は、人の視力、注目、視線、頭の位置または姿勢などを評価することを伴うことができ、これには、所与の時間に眼球運動を空間領域、場所、方向などに割り当てることを含む。視覚配分を管理することは、いくつかの実施形態では、視覚的データ(例えば、視線方向、視線持続時間、視線推移)、ならびに/または、実行されているタスクに関連する、情況データを入手および分析し、それに基づいて情報を出力することを指すことを理解されたい。視覚的データは、視覚的注意力および/または認識のプロキシとしても役立ち得、これは、入手した視覚的データが、注意力または認識情報を表すか、または暗示し得ることを意味することを理解されたい。同様に、本明細書に記載する出力は、人間の、またはシステムもしくはデバイスの、視覚的注意力もしくは認識を管理するか、変化させるか、促進するか、または別様にそれに対する影響を有するために使用され得る。さらに、本開示は、さらに広範に資源配分をカバーするので、当業者は、視覚的注意力もしくは認識が、本明細書で提供されるような注意力バッファを動作させる際にユーザの注意力または認識レベルを決定する上で含まれ得る資源の種類のサブセットであることを認識するであろう。非視覚的資源の多くの例が本開示で提供され、また、本開示を鑑みれば当業者によって同じように引き出され得る。
エコシステム100は、人の資源配分を管理するためにデータを収集し、記憶し、操作し、算出するように構成された、さまざまなシステム、デバイス、物体、ネットワーク、インフラストラクチャーなどを含む。コンピューティングデバイスエコシステム100が、任意の数および種類の相互接続されたシステム、デバイス、物体、インフラストラクチャーなどを含み得ることを理解されたい。例えば、エコシステム100は、モノのインターネット(IoT)、ホームネットワーク、オフィスネットワーク、または同様の相互接続されたデバイスのセットを指すことができる。示された例示的なコンピューティングデバイスエコシステム100では、データは、有線または無線通信を介して伝送され得ることも理解されたい。
図1に示すように、エコシステム100は、とりわけ、監視システム101および/または監視システム101を使用する人103pによって受信されたさまざまな量の情報の配分を管理するように構成された、資源配分管理システム103を含む。このために、資源配分管理システム103は、人103pの視覚配分データを含むがこれらに限定されない情報を収集または決定する。以下でさらに詳細に説明するように、視覚的データは、未処理形態の、人103pの画像化、および処理形態の、そこから引き出されたデータ、例えば眼球画像シーケンス、瞳孔の位置、他の視覚的特徴、視線方向、視線持続時間、視線推移などを含み得る。用語「個人」、「人間」、「人々」、「人」、「ユーザ」、および他の類似用語は、注意力、およびそれに関連するデータが資源配分管理システム103によって取り込まれ、かつ/または処理される、一人または複数の人間を指すように本明細書で互換的に使用されることを理解されたい。前述したように、「個人」および「ユーザ」などの用語は、人間に制限されず、むしろ、情報を受信、決定および/または総合することができる、システム、デバイス、物体などであってよく、「人間」、「人々」、および「人」のような用語が使用される範囲で、このような使用は、システム、デバイス、物体などが同じかまたは類似の方法で使用されるのを妨げない。コンピューティングデバイスエコシステム100の資源配分管理システム103、およびその他のコンポーネント、および/またはシステムは、任意の数の個人、システム、デバイス、物体などの視覚配分を、連続して、または同時に管理するように構成されることも理解されたい。にもかかわらず、単純化のため、単一の人103pのみが図1に示され、本明細書に記載する実施形態は、単に単純化のために一人の人に関連して資源配分管理システム103を使用することを指し得る。「人」のような用語の使用は、本開示の適用性を生物に制限せず、このような開示は、機械、物体、デバイスなど(例えば、自律走行車または半自律走行車)に適用可能であってよい。
資源配分管理システム103によって収集または決定されたデータに基づいて、システム103は、一時的バッファ(または一時的バッファ値)を算出する。以下でさらに詳細に説明するように、いくつかの実施形態では、資源配分管理システム103は、監視システム101に組み込まれるか、またはこれに埋め込まれ、かつ/または通信可能に連結され得、監視システム101は、資源配分管理システム103により生じる処理および結果に基づいて、管理し、かつ/または管理され得る。資源配分管理システム103および/または監視システム101は、ネットワーク105を介して、クラウド109およびシステム107−1、107−2、…、107−n(集合的に「システム107」と呼ぶ)を含むさまざまなシステムに、通信可能に連結される。本明細書でさらに詳細に説明するように、資源配分管理システム103および/または監視システム101は、システム107およびクラウド109と協力して、例えば、中央の接続性を高め、データおよび他の資源を共有し、最終的には、より効果的で有効な資源配分管理を提供することができる。
より具体的には、依然として図1を参照すると、図1には示されていないが、資源配分管理システム103は、通信可能に連結され、資源配分管理を提供するように構成された、1つ以上のプロセッサ、1つ以上のメモリ、および/または1つ以上のセンサを含む。いくつかの実施形態では、資源配分管理システム103の1つ以上のメモリは、本明細書に記載する資源配分管理を行うために1つ以上のプロセッサによって実行され得るコードまたはロジックを記憶し得る。あるいは、またはさらに、資源配分管理を提供するためのコードまたはロジックのすべてまたは一部は、以下でさらに詳細に説明する、(1)クラウド109および/もしくは(2)監視システム101のメモリ、プロセッサおよび/または他のコンポーネント、(1)クラウド109および/もしくは(2)監視システム101内のメモリ、プロセッサおよび/または他のコンポーネント、または(1)クラウド109および/もしくは(2)監視システム101と関連付けられたメモリ、プロセッサおよび/または他のコンポーネントの中で、またはこれらによって、記憶および実行され得る。なお、さらに、1つ以上のメモリは、ユーザに関して受信され、その後システム103によって分析されるデータなどの、システム103によって検出されるか、決定されるか、または別様に受信されたデータを、その中に記憶させるように動作可能であってよく、この分析については、以下でさらに詳細に述べる。
資源配分管理システム103のセンサは、当業者が理解するさまざまな技術を用いて、人の視覚配分データを取り込むように構成された、1つ以上のカメラを含み得る。用語「視覚配分データ」または「視覚的データ」は、(1)期間Tの間、人103pの眼球領域および人103pの頭部のうちの1つ以上と関連付けられた処理されていない(例えば未処理の)データ;または(2)未処理のデータもしくは処理されていないデータから引き出された情報を意味する、処理されたデータを指し得ることを理解されたい。例えば、視覚配分データは、人103pの連続した動画または周期的静止画像を指すことができ、これは、場合によっては、資源配分管理システム103の一部であるかまたはこれと通信しているカメラによって取り込まれる。人103pはさまざまな角度および距離から撮像され得るが、動画および/または画像は、少なくとも人103pの眼球または眼球領域の画像化を含み、眼球画像または画像シーケンスは、そこから、および/または人103pの頭部の画像化から引き出され得、人103pが見ている方向を確認することができる。いくつかの実施形態では、視覚配分データは、別のデバイスによって事前に取り込まれ、相互接続されたメモリ、または資源配分管理システム103のメモリに記憶され得る。さらに、当業者に既知であるように、視覚配分データは、例えば眼瞼の動き、眼球または顔の筋肉の動き、脳波、赤外線または音響画像(thermal or acoustic imaging)(または他の形態のエネルギーを使用するもの)などを測定するセンサから収集されたデータから入手されるか、または引き出され得る。視覚配分データに関する追加情報、ならびにそれを管理するためのシステムおよび方法は、本出願と同日出願された、Delgado他の「Systems and Methods for Providing Visual Allocation Management」のタイトルの米国特許出願において提供されており、その内容は参照により全体として本明細書に組み込まれる。
資源配分管理システム103の、またはこれと別様に通信しているカメラは、以下でさらに詳細に説明するように、連続的に、または特定の事象もしくはアクションによってトリガされて、視覚配分データ(例えば動画、静止画像)を取り込むように構成され得る。取り込まれた視覚的データは、1つ以上のメモリ(例えば揮発性もしくは不揮発性)、例えば資源配分管理システム103のメモリに記憶され、以下に記載するように処理されて、人103pおよび/または関連するシステム、デバイス、物体などの資源配分に関するフィードバック、指示、および/または他の出力を提供することができる。
依然として図1を参照すると、監視システム101は、システム、1組のシステム、インフラストラクチャー、物体などであり、資源配分管理システム103を含むか、資源配分管理システム103が埋め込まれているか、または資源配分管理システム103と共に動作する。図1では、監視システム101および資源配分管理システム103が独立した要素として図示されているが、いくつかの実施形態では、資源配分管理システム103および監視システム101が単一の結合力のあるシステム、または1組のシステムを指し得ることを理解されたい。監視システム101は、多くの種類のうちの1つであってよいが、本明細書に記載する例示的な一実施形態では、監視システム101は、資源配分管理システム103を含む車両である。このようなシナリオでは、例えば、資源配分管理システム103は、期間Tの間のドライバー103pの眼球領域および/または頭部の視覚的データ(例えば動画、画像)を取り込み、取り込まれた視覚的データに基づいて期間Tの間の個人103pの行動を決定し、データ(例えば指示、警告、通知など)を車両101、人103p、またはシステムの他のコンポーネント(例えば、この種のエコシステムで提供され得る可能なコンポーネントまたはシステムとして例示されるか、または別様に知られているかに関わらず、ポータブルデバイス技術(portable technologies)およびエコシステム100における他のシステム)に出力することができる。例えば、出力データは、車両101の制御または部分制御を想定せよという指示であってよい。いくつかの実施形態では、出力データの種類または詳細は、事前に決定されかつ/または事前に記憶されたルール、閾値などに基づいていてよい。この点について、ルール、閾値などは、資源配分管理システム103の1つもしくは複数のメモリ、または(例えば、クラウド109の中、他の接続されたデバイスおよびシステム、例えばスマートフォン、データロガーなどの中の)任意の相互接続されたメモリに記憶され得る。
例示したように、監視システム101は、1つ以上のメモリ101mと、1つ以上のコンポーネント101cと、を含む。メモリ101mは、監視システム101によって使用され、システム101の動作前に提供されたデータ、ルール、コード、ロジックなど、ならびにシステム101を動作させる結果として受信されかつ/もしくは引き出されたデータ、ルール、コード、ロジックなど、例えば、受信データ、受信データを考慮して調節されたルールおよびロジックなどを含む、それ自体のデータ、ルール、コード、ロジックなどを記憶することができる。例えば、監視システム101が車両である、前述し本明細書に記載する実施例では、メモリ101mに記憶されるデータは、車両に関する情報(例えば、燃料油面、油面、タイヤ圧力、残りの電池容量)、車両によって感知されるかまたは取り込まれた情報(例えば、異なる部分の温度、外部の温度、速度、場所)、周辺環境に関する情報(例えば、物体、障害物、他の車両)、および車両のドライバーまたは乗客、時間、旅行、予報などに関する他のデータ、を含み得る。これらの非限定的な例は、例示のために提示されたものであり、当業者は、監視システム101によって記憶され得る他の種類のデータ、および本明細書に記載する車両の例示的な実施形態以外の種類の監視システム101を認識するであろうことを理解されたい。
いくつかの実施形態では、システム101のメモリ101mに記憶されたデータは、コンポーネント101cによって取り込まれるか、もしくは入手され、あるいはコンポーネント101cと関連付けられる。監視システム101のコンポーネント101cは、監視システム101のものであるか、監視システム101に埋め込まれるか、取り付けられるか、もしくはつながれ、かつ/またはデータを収集および/もしくは伝送するように動作可能である、任意の物体、デバイス、部分、コンポーネントなどであってよい。1つの非限定的な例として、コンポーネント101cはセンサを含み得る。監視システム101が車両である、前述したシナリオでは、コンポーネント101cは、道路状況センサ、距離センサ、空気圧センサ、全地球測位システム(GPS)、センサ、および当業者に既知である他のものなどのセンサであってよい。さらに、監視システム101が車両である、例示的なシナリオに関連して、コンポーネント101は、車両内ディスプレイ(例えば、車両内のインフォテインメント(IVI)センター/システム、エンターテインメントセンター/システム、器具パネル/ダッシュボードなど)、および/または(例えば、ブルートゥース、Wi−Fiなどを使用して)車両と関連付けられるか、もしくは車両につながれたデバイス、例えばモバイルデバイス、オーディオプレイヤー、ビデオプレイヤー、スクリーン、タブレット、コンピュータなどを含み得る。車両内ディスプレイは、デジタル表示および/または非デジタル表示の情報を含み得る。コンポーネント101cが1つ以上のプロセッサであってよいか、またはこれを含み得ることを理解されたい。
メモリ101mに記憶され、かつ/またはコンポーネント101cで取り込まれるか、生成されるか、もしくはこれと関連付けられたデータは、資源配分管理システム103と共有されるか、またはこれに伝送されて、本明細書に記載する資源配分の管理中に情況の改善を提供することができる。例示的な例として、システム101のコンポーネント101c(例えばセンサ)によって入手または感知された凍結温度および滑らかな表面のデータは、資源配分管理システム103に伝送され、かつ/またはこれによって使用され得、例えば、一時的バッファが特定の閾値を下回った場合に特定の出力を提供するようにプログラムされた閾値を調節することができる。より具体的には、一時的バッファが通常の道路状況において0.8のレベルを下回ったときに、システム101がドライバーから車両のより多くの制御を引き継ぐことを監視システム103が必要とした場合、監視システム103は、引き継ぎコマンドがより迅速に生じるように、閾値レベルを凍りついた状態で1.4になるように調節し得る。
さらに図1を参照すると、例示されるように、資源配分管理システム103および監視システム101は、ネットワーク105を介して、さまざまなシステム107およびクラウド109に接続され得る。ネットワーク105は1つ以上のネットワークを含み得る。ネットワーク105の非限定的な例は、インターネット、プライベートエリアネットワーク(PAN)、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、企業のプライベートネットワーク(EPN)、仮想プライベートネットワーク(VPN)などを含む。ネットワーク105を介したこのような通信は、Wi−Fi、ブルートゥース、および携帯電話もしくは衛星通信サービスを含む、当業者に既知であるさまざまな有線および無線技術、基準、およびプロトコルを用いて実行され得る。さらに、いくつかの実施形態では、システム101、103、107、および109、ならびに/またはそれらのそれぞれのデバイス、コンポーネント、部分、センサ、サブシステムなど(例えばコンポーネント101c)は、例えば、近距離通信テクノロジーおよびブルートゥースなどの基準を介して、直接通信し得る。このために、図1には例示していないが、システム101、103、107、109および/またはそれらのそれぞれのデバイス、コンポーネント、部分、センサ、サブシステムは、前述した通信を可能にするためにハードウェア(例えば、ラジオ、アンテナ)およびロジックを含む。
単一のクラウド109が図1に例示されているが、エコシステム100は、公的および私設クラウドを含む複数のクラウド、ならびに、データ伝送、記憶および/または検索のための他の技術を含み得、これらは、当業者に既知であることを理解されたい。本明細書においてクラウド109での記憶に言及することによって、他の場所に記憶する能力を決して制限するわけではない。同様に、3つのシステム107−1、107−2、および107−nのみが例示されているが、任意の数のシステムが、監視システム101および/または資源配分管理システム103に通信可能に連結され得る。
クラウド109は、共有されるコンピューティング資源、ならびに資源配分管理システム101、監視システム103、および/またはシステム107などのデバイスがアクセス可能なデータで構成された、インフラストラクチャーを指す。共有されるコンピューティング資源は、ネットワーク、サーバー、記憶装置、アプリケーションおよびサービスを含み得る。当業者は、任意の種類のデータおよびデバイスをクラウド109に含め得ることを理解するであろう。にもかかわらず、クラウド109のコンテンツの例示的な一例は、接続されたシステム107から収集されクラウド109に記憶された視覚的データを含む。クラウド109におけるアプリケーションおよびサービスは、視覚的データを処理し、例えばそこから情報を引き出すのに使用され得る。システム101が車両である、前述した例示的なシナリオでは、クラウド109は、そこから、例えば、車両101の近くにおける、潜在的な危険および/または他の車両(例えばシステム107)のドライバーの視覚配分パターンを引き出すか、または識別し得る。いくつかの実施形態では、資源配分管理システム103により使用されるデータまたはロジックは、クラウド109に記憶される。例えば、フィードバック、指示などを出力するために資源配分管理システム103によって使用される統計モデルおよびルールは、クラウド109に中心的に記憶され得る。さらなる例として、システム103によって記憶されるかまたは別様に受信されるデータ、ならびに、受信データを分析するかまたは別様に使用するためにシステム103によって行われた任意のステップで実行される任意の出力もまた、クラウド109に中心的に記憶され得る。さらに、またはクラウド109を介する記憶の代わりに、記憶は、スマートフォン、およびタブレット、データロガーなどのようなポータブルデバイステクノロジーを含むがこれらに限定されない、エコシステム100に接続された任意の他のデバイスで行われてもよい。
システム107は、事実上、データを収集し、かつ/またはそれを、例えば資源配分管理システム103と通信することができる任意のシステム、デバイス、物体、人、インフラストラクチャーなどを含み得る。例えば、システム107は、いくつかの相互接続されたデバイス(例えば、冷蔵庫、テレビ、冷暖房システム)、およびセンサを備えた物体(例えば、ドア、窓、セキュリティシステム)を有する家;センサを備えた機械類で作られた工場;モバイルデバイス、植え込み可能なデバイス、ウェアラブルデバイスなどを身に着けた人、を含み得る。当業者は、他の種類のシステム107を認識するであろう。にもかかわらず、システム107は、資源配分管理システム103に、またはそのためのデータを提供して、より情況に沿った資源配分管理を実行することができ、資源配分管理システムは、例えばシステム103によって実行された資源配分管理処理に基づいて、データまたは指示をシステム107に出力し得る。
前述の一例で説明したように、システム107は、システム/車両101と相互接続された周囲の車両を含み得る。周囲の車両107は、それら自体が感知または収集した情報を車両101と共有することができ、逆もまた同じである。いくつかの実施形態では、車両101は、資源配分管理システム103によって算出または決定された資源配分管理結果を鑑みて、資源配分管理システム103から出力された指示および/または他のデータを周囲の車両107に送信し、例えば周囲の車両107のドライバーに警告し、かつ/または周囲の車両107に指示して、特定の様式で動かすかもしくは機能させる(例えば、ヘッドライトをつける、減速する、停止する、車線中央に戻る)ことができる。
エコシステム100がドライバーの認識または注意力を識別するために車両101で使用される資源配分システム103を含む、例としての実施形態は、ドライバーが車両を運転するとSAのレベルを連続的に算出および出力し、図2〜図6に関連して以下で詳細に説明する、ドライバーの安全性を支援する車両システムと協調する。しかしながら、エコシステム100およびその中のシステムが、さまざまな情況のために構成され、かつ/またはさまざまな情況で使用され得ることを、理解されたい。資源配分管理システム103の非限定的な例示的な適用は以下を含む:
・保険会社 − 保険料控除を決定する上でリスクの尺度として特定の操作者の注意力レベルを評価し、かつ/または特定の集団(例えば、特定の年齢、特定の経験レベル)の注意力レベルを、その特定の集団の基準値予想を確立するために評価する;
・車隊管理 − 個人として、また車隊(配送車両、バスもしくは列車のような輸送システムなど)にわたって車両操作者の能力を監視し、車隊の安全性を最適化するか、または安全性に関連するボーナスを支給する;
・小売業 − 買い物中の消費者の注意力パターンを識別し、消費者の注意力をオンターゲットに引き戻すよう対話式のインターフェースディスプレイを改善または強化する;
・車同士のネットワーク − 1つの車からクラウドネットワークに資源配分データをアップロードし、他の車がその情報にアクセスでき、車および/またはドライバーが自分たちの周りの車両の認識を考慮できるようにする;
・保険数理 − リスクおよび不確実性評価の精度および詳細を改善する;
・事故再現 − 本開示を鑑みて決定され得る要因の中でも特に、事故に巻き込まれた人の認識のレベルを評価する;
・法の執行 − ドライバーにわたる共通の注意力パターンを識別し、速度制限、標識、またはパトロールカバー(patrol cover)の調節など、懸念に対処する積極的な措置をとり、かつ/または、特定の時間に特定の操作者の注意力を評価する。
資源配分管理システムを備えた車両
前述のように、資源配分管理システム103は、監視システム101として役立ち得る多くの物体に組み込まれ得る。このような物体は、異なるレベルの行動、注意力、および/または認識を分類することから利益を得ることができ、監視システム101がそれ自体の調節を行うか、または、資源配分管理システム103によって記録されかつ/もしくは別様に決定された結果を鑑みて望ましい調節を行うために実行され得るアクションについて、他のコンポーネントおよび/もしくは人々に通知することを可能にする。車両は、本開示で提供される認識監視システムおよび方法から利益を得る物体の、非限定的な一例である。以下でさらに詳細に説明するように、車両に組み込まれた資源配分システムによって、システムは、車両自体、車両のドライバーもしくは操作者、ならびに/または、車両および/もしくは資源配分管理システムと相互接続されるかもしくは別様に通信する他のデバイスもしくは他のコンポーネントに指示を与えて、それら(例えば、スマートフォン、データロガーなど)の能力を改善することができる。
図2は、車両201に含まれ得るセンサおよび他の監視コンポーネントの種類の非限定的な例示を与えるものである。これらのセンサおよび他のコンポーネントの認識、またこれらにより与えられる認識は、車両201、その操作者、およびエコシステム(例えばエコシステム100)に接続された他のデバイスもしくはコンポーネントの全体的な認識を改善するのに役立つ。エコシステムに接続された他のコンポーネントは、車両100と関連付けられた他の監視システム、他の車両(例えば、周辺エリアにある車両、同型の車両、特定のデータベースにある車両)、およびグローバルデータベースを含み得、グローバルとは、世界中を意味するが、必ずしも世界中を意味しておらず、より特定の領域、例えば車両の周辺環境、車両が運転される領域(例えば、都市、州、領土、国、保険業者が担保範囲を提供する領域など)を含み得る。
いくつかのセンサおよび他の監視コンポーネントは、外部環境、およびそれに対する車両201の反応の仕方を検出するように動作され得る。それらは以下を含む:道路状況センサ202、磁気センサ203、車両距離センサ204、前方障害物センサ205、死角監視カメラ206、側面障害物センサ207、後方障害物センサ208、道路−車両/車両−車両の通信システム209、後方確認カメラ210。他のセンサおよび監視コンポーネントは、車両の上および/または内部で何が起こるのかを監視または制御するように動作され得る。それらは以下を含む:ドライブレコーダー211、空気圧センサ212、内側ドアロック/ロック解除213、エアバッグ214、撥水性フロントガラス215、シートベルトプリテンショナー216、ドライバー監視センサ217、ドライバーを監視する1つ以上のカメラ(one or cameras)218、ヘッドアップディスプレイ219、ステアリング角センサ220、電子制御スロットル221、電子制御ブレーキ222、火災検知センサ223、車両速度および加速度センサ224、衝突検出センサ225、歩行者衝突傷害低減構造体226、ならびに電子制御ステアリング227。
なお、さらに、他のセンサおよび監視コンポーネントは、情報を通信するように動作され得、これにより、車両201がそれに対して反応し、かつ/または他の車両およびコンポーネントが、通信された情報に対して反応することができる。それらは以下を含む:全地球測位システム(GPS)センサ228、メッセージ表示システム229、およびハンズフリーシステム230。標識付きのセンサおよび他の監視コンポーネントは、決して限定的なものでなく、外部環境、車両201を感知および監視し、かつ/または車両201とエコシステム(例えばエコシステム100)の他のコンポーネントとの間で情報を通信するために車両201と組み合わせられ得る多量の他のセンサおよび他の監視コンポーネントを、当業者は理解するであろう。さらに、特定されたセンサおよび監視コンポーネントのうちの少なくともいくつかが、データの感知、および、車両201の他のコンポーネントへ、またはエコシステムの任意の他のコンポーネントへのその情報の通信を含む、これらの機能のうちの複数を実行し得ることを、当業者は認識するであろう。なお、さらに、例示された実施形態が単一のセンサまたは他の監視コンポーネントを標識付けした範囲で、そのタイプの複数のセンサまたは監視コンポーネントがあってよく、同様に、例示された実施形態が複数のセンサまたは他の監視コンポーネントを標識付けした範囲で、ただ1つのセンサまたは他の監視コンポーネントが提供される場合があってもよい。
車両201のセンサおよび他の監視コンポーネントによって感知されるか、記録されるか、または別様に受信されるデータまたは情報が、互いとの間で、および/または他の場所(例えば、クラウド、他のデータベース、他の車両など)に、通信され得る多くの方法がある。データ伝送の任意の手段を使用し得る。図3は、車両201内部のさまざまなシステムが互いと、また外部環境(例えばエコシステム100)と通信することを可能にする電子制御ユニット(ECU)242を車両201(不図示)が含む、車両ネットワーク240の例示的な非限定的一実施形態を提供する。電子制御ユニットは、コア(例えば、マイクロコントローラなど)、1つ以上のメモリ(例えば、スタティックランダムアクセスメモリ(SRAM)、電気的消去可能プログラム可能読取り専用メモリ(EEPROM)、フラッシュなど)、1つ以上の入力(例えば、供給電圧、デジタル入力、アナログ入力など)、1つ以上の出力(例えば、リレードライバー、Hブリッジドライバー、インジェクタドライバー、ロジック出力など)、および通信リンクなどのコンポーネントを含み得る。
いくつかの例示的な入力が図3に例示される。図示のとおり、第1のミニスイッチまたはハブ244は、計器群246、パワートレインモジュール248、本体制御モジュール250、シャシーおよび/または安全性モジュール252、1つ以上のドライバー対面ビデオカメラ254、および、それ自体がバックミラー258および遠隔測定モジュール260などのコンポーネントから情報を受信し得る第2のミニスイッチまたはハブ256など、のコンポーネントから情報を受信し得る。例示された実施形態では、本体制御モジュール250と、シャシーおよび/または安全性モジュール252とは組み合わせられて単一のモジュールになる。遠隔測定モジュール260は、本明細書で提供される他のコンポーネントと同じように、任意の既知の通信手段、例えばWi−Fi、ブルートゥース、セルラーネットワーク、GPS、専用狭域通信(DSRC)などにより、車両の内部および外部と通信し得る。ドライバーを監視するドライバー対面ビデオカメラ254に関して、このような監視は、眼球運動、眼球の微小移動、頭部の動きの追跡、ならびに本明細書で提供されるか、または別様に当業者に既知である他の測定手段を含むがこれらに限定されない、眼球および頭部の動きを測定する任意の既知の技術によって行われ得る。視覚的データが測定される場合、視覚的データは、カメラ254などの資源配分管理システムのセンサを用いて、活動(例えば運転)に関与している間の人の動画または画像を取り込むことによって入手することができる。視覚的データは、活動に関与している間の人の少なくとも眼球画像シーケンスを含み得る。瞳孔位置などの、および/または、顔面の特徴、赤外線もしくは音響画像などに基づいた、視覚的特徴は、視覚的データから抽出され、活動への人の関与全体にわたって視線情報を算出するのに使用され得る。視線情報は、視線方向(例えば、所与の時間に、人が見ているもの、または人が見ている方向もしくは領域)、視線持続時間(例えば、人が所与の時間に視線方向を見ている長さ)、(例えば、人が一方向の注視から別の方向の注視へと動くときの)視線推移、および/または頭部の位置もしくは姿勢を含み得る。視覚的データにおける各視線は、少なくともその方向または空間領域に従って分類される。さらに、当業者には既知であるように、資源配分管理システム103のカメラは、車両の異なるエリア(例えば、ダッシュボード、コンソール、バックミラー、サイドミラーなど)に位置づけられ得、ドライバーの眼球領域(例えば、一方または両方の眼球、開くかまたは閉じた眼球、ドライバーがサングラスをつけているときの眼球エリア)が、見えるようになり、さまざまな角度から取り込まれ得る。例えば、カメラは、ドライバーが通常または予期されるタイプの動きを行っている間に頭部または顔面が見えたままになるように、十分な余裕をもってドライバーの頭部全体および上部胴体を取り込むように位置づけられ得る。
第1のハブ244は、それが受信した情報を、任意の既知の通信手段によってECU242に伝送することもでき、例示された実施形態では、イーサネット243によって行う。例示された実施形態では、第2のハブ256は、それが受信した情報を、イーサネット245を介して伝送することもできるが、他の通信手段を使用することができ、さらに、代替的な実施形態では、第2のハブ256は、第1のハブ244ではなくECU242に直接通信するように構成され得る。
第3のミニスイッチまたはハブ262および第4のミニスイッチまたはハブ264はそれぞれ、同様に、車両の他のコンポーネントから情報を受信し得る。図示のとおり、第3のハブ262は、第2のパワートレインモジュール266、第2の本体制御モジュール268、第2のシャシーおよび/または安全性モジュール270、ならびに1つ以上の前方ビデオカメラ272から受信し、第4のハブ264は、第3の本体制御モジュール274および1つ以上の後方ビデオカメラ276から情報を受信する。例示された実施形態では、第2のパワートレインモジュール266、第2の本体制御モジュール268、ならびに第2のシャシーおよび/または安全性モジュール270は、組み合わせられて単一のモジュールになる。第3のハブ262および第4のハブ264は同様に、それらが受信した情報を、任意の既知の通信手段によって、ECU242に伝送することができ、例示された実施形態では、イーサネット247および249によってそれぞれ行う。
さらに、当業者に既知の名称の中でも特に、インフォテインメントセンター/システム、エンターテインメントセンター/システム、またはセンタースタックとも呼ばれる、IVIセンター/システム278は、ECU242と通信することもできる。IVIセンター/システム278、ならびに本開示の他のコンポーネント、例えば計器群246は、より一般的には車両内ディスプレイとも呼ばれ、これは、ユーザによる車両の動作に関連する情報をユーザに表示する任意のコンポーネントを含む。したがって、場合によっては、車両内ディスプレイは、スマートフォンなどといった外部の物体によって提供され得る。例示された実施形態では、IVIセンター/システム278は、イーサネット251を介して直接ECU242と通信するが、他の実施形態では、例えば、ミニスイッチまたはハブを通じて、および/または当業者に既知の他の通信手段によって、実行することができる。図示のとおり、IVIシステム278は、GPS280、衛星282、アンテナ(不図示)、または他の通信手段などのコンポーネントを用いて、車両201の外部で、例えばエコシステムの別の部分に、通信することもできる。いくつかの例示的なIVIシステムは、Ford SYNC、Ford MyFordTouch、Audi Multi-Media Interface、BMW iDrive、Lexus Remote Touch、Mercedes-Benz Command APS、Toyota Entune、Kia Motors UVO、Cadillac CUE、Chevrolet MyLink、Hyundai Blue Link、Fiat Chrysler Uconnect、Fiat Chrysler Blue&Meを含むがこれらに制限されない。いくつかの実施形態では、IVIセンター278は、遠隔測定モジュール260を使用して、車両201の環境の外部に通信することができ、かつ/または他の車両内ディスプレイ(例えば、計器群246、スピーカー、マイクなど)を通じて通信することができる。
なお、さらに、追加情報は、1つ以上の追加デバイスによって、ECU242に、かつ/またはECU242によって提供され得る。例示された実施形態では、追加デバイスは、スマートフォン284およびコンピュータ286として図示されており、これは、車両201、および図3に例示するか、または別様に本明細書で提供されるかもしくは当業者に既知であるコンポーネントと通信するためにリンク253によってECU242に通信可能に連結され(例えばつながれ)得る。リンク253は、ユニバーサルシリアルバス(USB)、Wi−Fi、およびブルートゥースを含むがこれらに限定されない、多くの異なる通信手段を用いて達成され得る。追加デバイスは、しばしば、車両201の操作者によって提供されるデバイスであってよいが、場合によっては、デバイスは、車両201の乗客、車両201の近くの別の人、車両もしくはそのコンポーネントの製造業者もしくは他の供給業者、および/またはエコシステムもしくは車両201の別のコンポーネントなどの第三者によって提供され得る。
図示のとおり、ECU242は、一般的に、関連する配線255を含むデータリンクコネクタ288(例えばOBD DLCコネクタ)によって車両201と関連付けられ得る。データリンクコネクタ288は、ECUが車両201により電力供給されることを可能にする、マルチピン診断コネクタポートであってよい。これは、ECU242に結び付けられた、識別されたコンポーネントまたは制御モジュールと連動する車両スキャンツールを含み得、他の情報の中でも特に、内蔵の診断および実データストリームにアクセスし得る。データリンクコネクタ288と関連付けられたスキャンツールを使用して、例えば、ECU242と関連付けられたさまざまなモジュールを診断および/または再プログラミングし得る。
当業者は、車両ネットワーク240と関連付けられたさまざまなモジュールおよびコンポーネントがどのように動作するかを理解するであろうから、特定のモジュールおよびコンポーネントの詳細な説明は不要である。一例として、当業者は、速度計、走行距離計、燃料計器、およびそれらの関連コンポーネント、センサなどがどのように動作するかを詳述しなくても、計器群246によって提供および/または監視され得るさまざまな情報を理解するであろう。
図4は、車両201’と共に提供される、資源配分管理システム、例えば、資源配分管理システム103のいくつかの態様を示す。図示のとおり、車両201’は、車両内ディスプレイ、例えば計器群246’およびIVIセンター278’、ならびにバックミラー258’、サイドミラー290’、および2つのドライバー対面カメラ254’を含み、これらはそれぞれ、車両201’の動作中に車両201’およびその操作者を監視するのを助けるために使用され得る。当業者は、これらのさまざまなコンポーネントおよびモジュール、ならびに図4では具体的に標識付けまたは例示されていないが、車両201’を含む車両ネットワーク240’に追加情報を提供し得るコンポーネントおよびモジュールとして当業者に既知である、他のコンポーネントおよびモジュールが、どのようにして動作され得るのかを理解するであろう。これらのコンポーネントおよびモジュールは、図3に関して説明したタイプを含むが、これらに制限されない。非限定的な例として、2つのドライバー対面カメラ254’は、ドライバーの視線の頻度、場所、および持続時間を検出するように動作され得、これらと関連付けられたプロセッサは、本明細書で提供される開示に従ってこのような場所を分析するように動作可能であってよい。さらに、例示された実施形態では、2つのドライバー対面カメラ254’があるが、バックミラー258’と関連付けられた単一のカメラなどの多くの他のカメラ構成が使用されて、ドライバーを監視することができ、任意の数のカメラを使用し得ることを、当業者は認識するであろう。なお、さらに、いくつかの実施形態では、カメラが含まれるかどうかに関わらず、他のツール、デバイス、コンポーネントなどを使用してドライバーを監視することができる。非限定的な例として、ドライバーに関する情報、例えば、ドライバーが自分の見ているものに注意を払っている場合、ドライバーがどこを見ているか、どれほどの長さか、どのようにしてドライバーが外側の物体を認識するかなどを判断するために、身体(例えば、眼球の近くもしくは眼球上)に埋め込まれるか、もしくは別様に身体と関連付けられたセンサ、および/または、脳波および/もしくは他の神経機能および経路を監視するのに使用されるデバイス。
図4には、視線が位置し得るさまざまな場所も示されており、そのうちのいくつかは、車両操作者による車両の動作に有益であり、かつ/または役立ち、他のものは役立たない。例えば、起ころうとしている交通問題に関する情報を含む、速度制限標識292’および広告板294のそれぞれが、ドライバーのSAに有益と考えられ得る(以下でさらに詳細に説明する)周辺道路視線を必要とし得、テキストメッセージを確認するために携帯電話を見ることは、ドライバーのSAに有益とはみなされ得ない路外視線を必要とし得る。さらに、いくつかの実施形態では、すべての標識および広告板がSA関連情報を提供するわけではないので、システムは、どの標識292’および広告板294’がSA関連情報およびSA無関係情報を提供するのかを知ることができる。このような情報は、例えば、標識および広告板がSA関連情報およびSA無関係情報を提供するものとして識別またはタグ付けされている、1つ以上のデータベースによって提供され得る。したがって、場合によっては、周辺道路視線は、SA関連情報およびSA無関係情報にさらに分類され得る。本明細書で提供されるように、路外視線のタイプは、資源配分管理システム103が視線を処理し、提供されたバッファアルゴリズムを動作させる方法に影響し得る。同様に、路上視線の持続時間は、資源配分管理システム103が視線を処理し、提供されたバッファアルゴリズムを動作させる方法に影響し得る。図4は、路上視線および路外視線として本明細書に記載されるものに背景(context)を提供するのに役立つ。
注意力バッファ
図1〜図4に関して論じたように、いくつかの好適な実施形態では、本明細書で提供される開示は、ドライバーが、管理されたシステムと相互作用するときに、車両および/またはドライバーの資源配分を評価するために車両に適用され得る。システムは、車両およびその関連コンポーネント、モジュールなど、ならびにさまざまな外部の影響、例えば、車両付近の他の車両、道路状況、および背景データとも呼ばれる、車両とその操作者に直接関連付けられない他の要因を含み得る。非限定的なタイプの背景データは、車両が位置する環境に関する環境データ(例えば、天候、道路状況)、所与の半径以内の車両301の周辺環境に関する周辺データ(例えば、近くの車両、障害物、構造物、道路などに関する情報)、車両のドライバーに関するユーザデータ(例えば、年齢、性別、心拍数、体温、先に入力/受信されたデータに基づく、ユーザの、導き出された運転習慣)を含む。にもかかわらず、当業者は、本開示が車両の運転と併せた適用に制限されず、むしろ、本開示は、ダイナミックに変化する環境において時間にわたって個人の注意力を評価するためにさまざまな分野で使用され得ることを認識するであろう。非限定的な例として、本明細書に記載するシステムおよび方法は、運転、歩行、航空機の操縦、および/または重機械の操作との関連で、また、さまざまなデータ管理および分析プラットフォーム(例えば、保険料控除の決定、および他の保険関連の決定、車隊管理、小売りに対する消費者注意の監視、保険数理において行われた決定、事故の再現、および法の執行)に関して、使用され得る。特に、提供された使用のすべてが、車両の操作に関連するわけではなく、それは、ダイナミックに変化する環境において時間にわたって注意力を評価する能力が、決して車両の操作に限定されないためである。
本開示で提供されるシステムおよび方法は、監視システム(例えば図1の監視システム103)において注意力バッファを実装することに関する。図5Aおよび図5Bは、注意力バッファの1つの例示的な実装を例示している。しかしながら、図面に例示されるさまざまなステップおよびアクション項目を掘り下げる前に、開示される注意力バッファと共に使用されるさまざまな用語の基本的な理解を有することが役立つ。
注意力バッファに関連する用語
注意力バッファは、管理されるシステムのユーザの認識または状況情報レベルを表し、これに対応する、連続的に変化する値範囲を指す。一時的バッファ値は、入力(例えば、入力された視線)に応答して注意力バッファアルゴリズムによって算出された注意力バッファの瞬時の離散値である。注意力バッファは、算出された一時的バッファ値をそれぞれ記憶することができ、注意力バッファは、測定値の連続したタイムラインを含む。図5Aおよび図5Bで使用されるように、用語「バッファ」は、注意力バッファアルゴリズムを通じてプロセスが機能する際の、注意力バッファの現在の値を指す。このバッファ値は、本開示を鑑みて決定可能である他の用語の中でも特に、最初に決定された一時的バッファとも呼ばれ得、それは、プロセッサによって一時的バッファに対する任意の調節が行われる前には、注意力バッファの現在の値が、先の注意力バッファアルゴリズム反復で持ち越された、最初に決定された一時的バッファと等しいためである。
注意力バッファが車両適用で使用される場合、「オンターゲット」視線は「路上」であり、「オフターゲット」視線は「路外」である。しかし、本明細書で提供されるように、このような視線のより微妙な分析が決定され得、いくつかのオフターゲット/路外視線が、いくつかの他のオフターゲット/路外視線よりもSAに有益であるとみなされ、同じように、いくつかのオンターゲット/路上視線が、いくつかの他のオンターゲット/路上視線よりもSAに有益でないとみなされる。一例として、運転との関連では、「路上」視線は、「前方」、「左前方」(および/または「周囲の左」)、「右前方」(および/または「周囲の右」)などのカテゴリーに分割され得、それによって、システムはどの路上視線が「道路の中心(center road)」とみなされるかを知ることができ、「路外」視線は、「センタースタック」(例えば、IVIシステムもしくは他の車両内ディスプレイ)、「計器群」(場合によっては、センタースタックおよび/または車両内ディスプレイの一部であってよい)、「内部物体」、「携帯電話」、「左のミラー」、「左のウィンドウ」、「バックミラー」、「右のミラー」、「右のウィンドウ」、および「乗客」などのカテゴリーに分割され得る。当業者は、本開示を鑑みれば、「路上」と考えられる関連視線と無関係視線との間のさらなる境界描写(delineating)を含むがこれらに限定されない、「路上」/「オンターゲット」視線および「路外」/「オフターゲット」視線をみなすのに使用され得る他のカテゴリーを理解するであろう。
注意力バッファが、連続した期間にわたってユーザの注意力または認識レベルを定量化するので、瞬間ごとの値は、ある種のアクションを通知するのに使用され得る。一時的バッファ値に応答して起こるいくつかの例示的なアクションについて前述し、また以下で説明するが、特定のアクションをとるかどうかに関する決定は、少なくとも部分的に閾値によって駆動される。すなわち、一時的バッファ値が閾値を満たし、かつ/または超える場合、アクションは何らとられなくてよいが、一時的バッファ値が閾値を下回ると、アクションをとることができる。当然、閾値を超えた場合、および/または閾値が満たされた場合に起こるアクションなど、他の変形体が存在する。
閾値が評価手段として利用される場合、閾値は、集団および/または個人の特徴に基づいて規範的であってよい。例えば、事前のデータセットが、特定の認識レベルについて関連閾値を決定するために、集団の中で存在し得る。集団は、関連集団全体(例えばすべてのドライバー)、またはそのサブセット(例えば、16〜22歳であり、800,000人以上の人口を有する都市で運転するすべてのドライバー)であってよい。代わりに、またはさらに、閾値は、特定のユーザ、すなわち、ユーザの「個人的特徴」に基づいて調整され得る。このようなデータは、前もって入力され得、かつ/または、例えば本開示で提供される資源配分管理システムの使用と共にデータを収集することによって、経時的に開発され得る。同様に、集団のデータに基づく閾値は、追加データがこの資源配分管理システムの使用と共に入力されるか、または別様に閾値が調節され得るように、動的であってよい。さらに具体的には、閾値は、個人に合わせて、および/または集団にわたって、学習アルゴリズムを通じて調整され得る。資源配分管理システム103の、または、別様に資源配分管理システム103に位置し、これと通信する人工知能コンポーネントは、学習情報、例えばユーザおよび/またはユーザに影響を与える環境に関して学習された情報に基づいて、注意力バッファおよび/または閾値を調節するのに用いられ得る。
閾値は、一定の限界、可変の限界、または適応限界として実施され得る。さらに具体的には、一定の限界は、データがシステムによって生成されるかまたはその他によって生成されるかに関わらず、閾値が同じままである場合を含み得る。以下で論じるように、場合によっては、注意力バッファの値は、0〜2の一定の範囲を有し得る。一方、可変の限界は、閾値が特定の条件に基づいて変化する場合を含み得る。例えば、道路状況が通常より滑りやすい状態に変化すると、閾値は、より滑りやすい道路を考慮に入れるよう変化し得る。一定または可変の範囲は、車両が動作される自動化のレベルに基づいて設定または調節されてもよい。なお、さらに、適応限界は、ユーザに関するデータ入力を通じ、かつ/または資源配分管理システムを使用することにより入力されるデータを通じるかに関わらず、ユーザに関して提供された追加データを鑑みて、閾値が変化することを可能にするものである。
リアルタイムステップは、各入力と関連付けられたタイムスタンプを用いて算出される、受信された視線データ間の時間増加を指す。前述したように、リアルタイムとは「ほぼリアルタイム」を含む。
注意力バッファでは、SA減衰またはSA減少は、視線がオフターゲットにされたときに生じるSAの減少または喪失の割合である。最適には、SA減衰は、路外視線中に生じる、運転シーンにおける、非SA関連領域または延長されたSA関連領域視線への変化に関する不確実性を反映するように調整される。これは、道路シーン、移動速度、および道路の湾曲の複雑さなどの要因によって影響を受け得る、視線が離れる間にシーンの情報が変化する割合に関係している。非限定的な例として、SA減衰は、約0.2単位/秒〜約8.0単位/秒の範囲内であってよい。この値の範囲は、さまざまな状況下におけるオフターゲット視線中のシーン(例えば速度)の変化により車両が車線(または道路)を離れる前の予想時間の関数である。SA減衰は、デフォルトのスカラー値から、特定の視線特徴または他の情況要因を考慮に入れる複数の変数の関数へと調節され得る。追加の要因は、車両制御と関連付けられたパラメータ、ドライバーのバイオメトリクス、および/または動作環境を含み得るが、これらに制限されない。さらに、任意の所与の状況でのSA減少率は、ユーザが動作している特定の環境をユーザが熟知していることを考慮に入れるために調節され得る。SA減衰の最適な値は、実験変数、例えば移動速度、道路/環境の複雑さ、道路の湾曲、および認知的メモリ負荷によって左右され得る、車線内で位置を維持するのに必要な道路に関する情報が失われる前に、路外視線時間の長さを評価するデスクトップ、シミュレータ、および/または路上研究を通じて、当業者によって識別され得る。
SAゲイン、またはSA増加は、注意力バッファを路上視線の長さの関数として復元するための増加の割合である。SAゲインは、好ましくは、ドライバーがオンターゲット視線の結果確立したSAを反映する、デフォルトの割合に設定される。非限定的な例として、SAゲインは、約0.1単位/秒〜約3.0単位/秒の範囲内であってよい。SA増加は、潜在的な危険の存在を知覚し理解するのに必要な路上視線時間の長さを評価する、デスクトップ、シミュレータ、および/または路上研究を通じて、当業者によって決定され得る。SAゲインは、特定の路上視線特徴を考慮に入れるためにデフォルトから調整され得る。例えば、SAゲインの割合は、路上視線の領域が潜在的な危険を知覚し理解するドライバーの能力に意味深く影響を与えるので、道路上で視線が向けられる場所の関数となり得る。さらに、SAゲインは、設定されたスカラー値、アルゴリズム、または関数であってよい。SA増加率に影響を与え得る要因の非限定的な例は、シーンの情報密度(例えば、幹線道路/州間高速道路(interstate)対大都会の環境)、シーン事象周辺の不明確さの程度(例えば、合流車線、車線閉鎖、迂回路)、および周辺の交通が予測されたように機能する程度、を含む。典型的には、SAゲインの割合は、SAの喪失が、典型的にはSAのゲインよりも速く生じるため、SA減少の割合よりも小さい。そうは言うものの、場合によっては、例えばドライバーが既に周辺環境に非常に精通しているいくつかの状況では、差は、取るに足りないか、または存在しないであろう。
レイテンシ期間は、視線または視線の関連特徴の分類と、注意力バッファ値の対応する調節との間の遅延期間を指す。レイテンシ期間が与えられるのは、本明細書ではSA関連レイテンシと呼ばれる、路外視線がSA関連領域に対するものである場合と、本明細書では推移または情報抽出レイテンシと呼ばれる、視線が路外領域から路上領域への推移する場合と、連続した路上中心視線の最初の期間である。これらのレイテンシ期間は、視線がどこにあるか、およびシーンの認識を維持するか、増大させるか、または減少させる際の場所の示唆の関数である。SA関連領域への視線は、SAに関する有益な情報を提供するので、ユーザが保持する道路または環境情報の減衰を遅延させる。ユーザの視線が路上中心領域へのものである場合、ユーザは有利には、前方中央の視線が周辺認識を犠牲にして有害となる、特定の時点まで、SA情報を得る。よって、路上中心レイテンシ期間は、路上中心視線時間が閾値を超えた後まで、バッファの減少を遅延させる。対照的に、路外から路上へ推移すると、結果として、ユーザが心的表示または路上シーンの理解を再建するのにかかる時間により、路上視線から得られるユーザのSAの増加を遅延させる。
図5Aおよび図5Bに詳細に示すように、また以下でさらに説明するように、レイテンシ期間は、各レイテンシ期間について特定のカウンター変数を使用するアルゴリズムによって、評価される。SA関連レイテンシカウンターは、SA関連レイテンシ期間を追跡し;情報抽出レイテンシカウンターは、知覚遅延とも呼ばれる、推移遅延を追跡し;路上中心持続時間カウンターは、路上中心レイテンシ期間を追跡する。各カウンターは、同じように動作し、カウンターの値は、アルゴリズムによって特に指示された場合に、リアルタイムステップによって徐々に増える。これは、例えば、路上中心持続時間カウンターが前の路上中心持続時間値にリアルタイムのセットを加えたものに設定されたときに、図5Bのステップ320で見ることができる。各カウンターは、カウンターが増進するかまたはゼロにリセットされるまで、例えば、路上中心持続時間カウンターがステップ312および316でゼロにリセットされたときに、その値を保持する。当業者は、累積カウンターが期間を算出するための当技術分野で既知のただ1つの方法であることを認識するであろう。例えば、いくつかの実施形態では、注意力バッファアルゴリズムは、単一の領域への連続した視線の完全な持続時間を表す、受信された入力のタイムスタンプを比較し得る。よって、それぞれの視線場所と関連付けられたタイムスタンプを使用すると、注意力バッファは、一時的バッファを算出するプロセスにおいて、視線の時間を決定し、それを適切な閾値と比較することができる。
注意力バッファアルゴリズム
図5Aおよび図5Bはまとめて、車両で利用される注意力バッファプログラムの実施形態の概略的表示を示す。アルゴリズムは、注意力バッファの一時的バッファ値を連続的に算出するために、車両システムのコンポーネントと通信している、資源配分管理システム(例えばシステム103)の1つ以上のプロセッサによって実行される。以下でさらに詳細に説明するように、注意力バッファ値は、どのようにしてドライバーが情報をサンプリングして、周辺環境のしっかりした表示を形成し、保持し、更新するのかに影響を与える、注意力およびメモリのプロセスに関係する。車両の適用では、管理されるシステムは、車両および車両内のコンポーネント、ならびに、道路および外部の運転環境を含む。本開示の資源配分管理システムおよび方法は、(1)1つ以上の車両コンポーネントおよび/またはセンサ(例えば図2〜図4に関連する説明および例示を参照;(2)既に既知である/使用中に入力されるかもしくは引き出されているかに関わらず、ユーザの1つ以上の生理学的または他の特色(例えば、年齢、性別、心拍数、体温、先に入力/受信されたデータに基づく、ユーザの、導き出された運転習慣)を監視するのに使用されているユーザおよび/またはセンサ、カメラなど;(3)車両が位置する環境に関する環境データ(例えば、天候、道路状況)および/または所与の半径以内の車両301の周辺環境に関する周辺データ(例えば、近くの車両、障害物、構造物、道路などに関する情報)のうちの少なくとも1つから入力を受信することができ、最後の2つは本明細書では背景データと呼ばれる。
同様に、本開示の資源配分管理システムおよび方法は、少なくとも1つの車両コンポーネント(例えば、資源配分管理システムおよび/もしくはより一般的には車両と関連付けられた少なくとも1つのメモリ)に、かつ/または情報を受信することができる、管理されるシステムの外部もしくは内部にある、データベースおよび/もしくは受信機に、注意力データを出力し得る。本明細書で使用される、データベースは、データを受信することができる物体、例えば、第三者データベース、データロガー、クラウド、スマートデバイス(例えばスマートフォン)、およびデータ記憶のために存在する他のアフターマーケットデバイスなどを含むがこれらに制限されない。スマートデバイスは、スマートフォン、タブレット、コンピュータ、スマートウォッチ、スマートカーを含むがこれらに限定されない、ブルートゥース、Wi−Fi、3G、NFCなどといった既知の異なるプロトコルを介して他のデバイスまたはネットワークへの通信および接続性が可能である任意の電子デバイスを包含し得る。いくつかの実施形態では、少なくとも1つの車両コンポーネント、データベース、および/または受信機は、プロフィール決定プロセッサを含み得、これは、受信した注意力データ(例えば瞬間ごとのバッファ)に基づいて操作者に特化したプロフィールを作製および/または定義するように構成されたプロセッサであってよい。代わりに、またはさらに、プロフィール決定プロセッサは、平均、モード、最小値、最大値、可変性、もしくは注意力バッファの移動平均窓、関連する標準偏差、分布サマリー(例えば、ユーザ群間の有意義な差を分析するために平均および標準偏差カットオフのための75パーセンタイルなどの特定のパーセンタイル値の使用)、瞬間ごとの集合プロット、スペクトル幅およびパワーのフーリエ解析などによって生成される高度な指標など、記号集約近似技術、および本開示および当業者の知識を鑑みれば導くことができる他の統計学的データまたは指標などの指標に基づいて、より広範な集団評価を用いて作製および/または定義され得る、グローバルプロフィールを作るように構成され得る。
注意力バッファシステムは、算出された一時的バッファ、または経時的な一時的バッファまたは注意力バッファのいずれかの他の統計学的指標もしくは表示を、1つ以上の「スマートな」、人工知能を有する、および/または適応する車両内のコンポーネントまたはシステム、ならびに、車両外の場所のホスト、例えば、本明細書中の先の段落およびその他に記載されるものに連続的に出力し得る。コンポーネントまたはシステムは次に、注意力バッファプログラム出力を使用して、安全運転を助けることができる。例えば、注意力バッファプログラム出力に応答して、車両内のコンポーネントまたはシステムは、自動化レベルを増大させ、ドライバーの同意なしに運転タスクを引き継ぎ、自動化された機能のレベルを低下させ、厄介なアラームを遮断し、車両へ入ってくるデータを制限し、機能性を無効もしくは有効にし、アラームもしくは警報をトリガし、または、車両および車両の操作者のうちの少なくとも一方との情報交換を増大させるように適応され得る。
プロセスは、ステップ300で開始し、資源配分管理システムが、ドライバー対面ビデオカメラ254’などの1つ以上の視線測定装置から入力データを受信する。システムは、1つまたは複数の別個の入力変数を、各視線について受信する。入力された視線データは、例えば、少なくともタイムスタンプおよび視線領域マーカーを含み得る。非限定的な例として、入力は、他の情報の中でも特に、頻度、持続時間、および視線の場所、瞳孔の座標、および/または頭部の位置もしくは姿勢をさらに含み得る。注意力バッファプログラムは、入力として、車両制御、車両の自動化レベル、表示変化、乗客の存在、ユーザのバイオメトリックス、および/または動作環境に関する指標を受信することもできる。入力された視線データは、定期的な時間間隔で受信され得、例えば、10Hzで動作するシステムは、約10ミリ秒ごとに入力された視線データを受信し(例えば、10Hzでは、1.0秒の視線が10列の入力データを生じ、2.5秒の視線が25列の入力データを生じる)、各列のデータは、各視線の合計持続時間内の時間の等しい増加を表す。あるいは、ソフトウェアは、カメラ(例えばカメラ254’)から受信した動画を試写し、視線領域への視線一式の後で、データを注意力バッファアルゴリズムに伝送することができる。このシナリオでは、各列のデータは、注視が異なる領域にシフトするまで特定の領域を見るユーザの連続した時間の全体を表す。この場合、領域は、眼球トラッカーまたは所望の出力を提供することができる他のデバイスから出力された座標境界に基づいて、事前に特定され得る。図5Aおよび図5Bを参照する詳細な説明は、データを定期的な間隔で受信し、タイムステップは、約0.1秒に等しい。
入力された視線は、視線領域マーカーにより示されるような現在の視線領域が、「路上」であるかどうかを評価することによって、ステップ301において路上または路外と分類される。視線は、視線領域を事前に決定するように分類される。例えば、4つの別個の視線領域があり得るので、分類は、4つの視線領域のうちの1つになる。提供される実施例では、より広い「路上」カテゴリーが、「路上中心の視線」および「路上周辺の視線」を含み、「路外」カテゴリーは、「路外SA関連視線」および「路外非SA関連視線」を含む。当業者は、本開示を鑑みれば、より少ないか、またはより多い領域が使用され得、任意のそのような領域は、本開示の趣旨から逸脱することなく、異なる様式で識別され得ることを認識するであろう。一例として、路上視線を中心に位置する視線または周辺に位置する視線と分類することは、前方道路からのドライバーの視線の偏心の程度に基づき得る。
各視線入力は、特定の入力視線と関連付けられた領域マーカーを含み得る。同一の領域マーカーを有する連続した入力視線は、視線領域を構成する。言い換えれば、連続的な視線が同じ領域マーカーを呈する場合、これらの別個の視線は、一緒につなげられて、視線領域を形成する。視線領域は、高い「路上」および「路外」レベルで、または、さらに詳細には、本明細書で提供されるか、もしくは別様に本開示を鑑みれば当業者が導くことができる他の分類の中でも特に、「路上中心」、「路上周辺」、「路外SA関連」、および「路外SA無関係」として、識別され得る。アルゴリズムが先の視線領域を問い合わせた場合、バッファプログラムは、直前の入力視線と関連付けられた視線領域マーカーとは対照的に、先の完全に完了した視線領域を見る。現在の視線領域は、現在の入力視線マーカーに基づいて識別される。視線マーカーは、カメラが受信した動画画像から決定され得る。非限定的な例として、視線マーカーは、人間の採点によって、および/または動画から経時的に手作業で採点された視線を含むトレーニングデータベースに基づいて視線領域評価を行うように訓練された学習アルゴリズムによって、後処理分析された(analyzed post-processing)動画から、眼球トラッカーシステムを使用して設定される、事前定義された領域に基づいて分類され得る。一般的に、視線マーカーデータは、カメラおよび/またはセンサなどの1つ以上の視線測定装置から収集されたデータから入手されるか、または導き出され得る。非限定的な例として、ドライバーに関する情報、例えば、ドライバーが自分の見ているものに注意を払っている場合、ドライバーがどこを見ているか、どれほどの長さか、どのようにしてドライバーが外側の物体を認識するかなどを判断するために、眼瞼の動きおよび/または眼球もしくは顔面の筋肉の動きを測定するのに使用され得る、身体(例えば、眼球の近くもしくは眼球上)に埋め込まれるか、もしくは別様に身体と関連付けられたセンサ、および/または、脳波および/もしくは他の神経機能および経路を監視するのに使用されるデバイスを、視線位置、場所、持続時間、および本開示で提供される他の資源データ配分を含む、視線マーカーデータの入手と併せて使用し得る。
路外視線
視線が路外領域に向けられると、アルゴリズムは、路上視線について以下で詳細に述べる理由で、情報抽出レイテンシカウンターをリセットする(ステップ302)。次に、プログラムは、現在の視線領域が「路外SA関連」領域となるかどうかをステップ303で判断する。SA関連領域は、右または左のサイドミラー290’、バックミラー258’、右または左の死角、車両性能、車両の自動化状態、道路およびその状態、環境データ、周辺データ、およびユーザデータのうちの少なくとも1つに関する情報が表示される車両内ディスプレイの一部(例えば、計器群246’および/もしくはIVIシステム278’)、または道路およびその状態、環境データ、周辺データのうちの少なくとも1つに関する情報が表示される車両外部の場所(例えば、速度制限標識292’、もしくはドライバーの視界に位置する他の運転関連標識)への視線を含み得る。死角が、通常の運転条件下でドライバーの視界から遮られる車両の周りのエリアを指すことを、当業者は認識するであろう。SA関連としてみなす空間領域は、車両ごとおよび/またはユーザごとに較正され得るので、車両のさまざまな動力および/またはディスプレイがどのように組織化されるか、またユーザに表示される情報のタイプに関する、ユーザの好みが考慮に入れられる。さらに、当業者は、車両がより自動化されてくるので、SA関連としてみなす領域が変化し得ることを理解するであろう。例えば、自動化された車両の一部の場合には、ダイナミックに更新する車両内ディスプレイへの視線は、フロントガラスから外れた視線が引き起こし得るより多くのSA関連情報を提供し得る。本開示の教示は、修正されたオンターゲット、オフターゲット、SA関連、およびSA無関係視線を考慮に入れるために、当業者によって改変され得る。
路外視線がSA関連領域に向けられておらず、視線が状況認識無関係視線であることを示す場合、アルゴリズムはステップ304へと移り、注意力バッファが最小注意力バッファ値であるかどうか問い合わせる。注意力バッファは、ある範囲の値を含み得、最大の注意力バッファ値および最小の注意力バッファ値によって制限され得る。許容される注意力バッファ範囲は、注意力バッファ深さとして概念化され得、瞬時の注意力バッファ値は、注意力バッファが現在どの程度「満たされている」か「空である」かを区別する。当業者は、最大および最小バッファが、いくつかの方法で、例えば、手動制御下にある車両が車線をそれる前の路外視線時間の長さを路上試験することを通じて、決定され得ることを認識するであろう。最小バッファ値は、一定の数字であってよく、あるいは、システムによる適応学習を通じて調節され得る。一例として、最小の注意力バッファ値はゼロであってよい。いくつかの実施形態では、最小バッファは、車両の位置の認識が欠けているために車両が道路または車線を離れると予測される時点を表し得る。注意力バッファ値が最小バッファ値以下である場合、一時的バッファは、ステップ305に示すように、最小バッファ値のままであるよう設定され得る。一時的バッファは、最新の注意力バッファとして記憶され得(ステップ325)、一時的バッファおよび注意力バッファ統計がエクスポートされ得(ステップ326)、プログラムは、アルゴリズムに入力される次の1組のデータを受信し得る(ステップ327)。前述したように、得られた一時的バッファの記憶および/またはエクスポートは、局所的に(例えば、資源配分管理システムと関連付けられた1つ以上のメモリにおいて)、および/または遠隔的に(例えばクラウド)行われ得、当業者は、所望のデータを記憶するのに使用され得る多くの技術を認識するであろう。
ステップ304では、最小バッファに到達せず、注意力バッファが最小バッファより大きいことを意味する場合、プロセッサは、ステップ306で示すように、リアルタイムステップにSA減少率を掛け合わせたものより未満の注意力バッファであるとして、一時的バッファ値を算出し得る。一時的バッファは次に、先に述べたように、記憶され(ステップ325)、エクスポートされ(ステップ326)得、次の1組のデータが受信される(ステップ327)。
ステップ303において、路外視線がSA関連領域に向けられている場合、プロセッサは、ステップ307に示すように、SA関連レイテンシカウンターを更新することができ、これは、タイムステップを現在のSA関連レイテンシカウンターに加えることによって更新され得る。SA関連レイテンシカウンターは、前述したように、状況関連路外視線による、レイテンシ遅延を表す。遅延は、路外視線がSA関連視線または一連のSA関連視線である場合に起こり得る。
ステップ308では、プロセッサは、SA関連レイテンシが、所望のSA関連レイテンシ遅延に設定され得る、SA関連レイテンシ閾値以下であるかどうかを問い合わせ得る。SA関連レイテンシ閾値は、注意力バッファ値の許容可能な範囲内の任意の値であってよい。一例として、SA関連レイテンシ閾値は、およそ約0.0秒〜約1.0秒の範囲内であってよい。SA関連レイテンシ閾値の最適値は、いくつかの方法で、例えば、手動制御下でSA運転を維持する間の、運転に関連する場所への路外視線時間の長さを路上試験することを通じて、決定され得る。SA関連レイテンシがSA関連レイテンシ閾値以下である場合、一時的バッファ値は、ステップ309に示すように、現在の注意力バッファ値に設定され得る。一時的バッファは次に、先に述べたように、記憶され(ステップ325)、エクスポートされ(ステップ326)得、次の1組のデータが受信される(ステップ327)。
SA関連レイテンシカウンターが、ステップ308で示すように、SA関連レイテンシ閾値より大きい場合、アルゴリズムはステップ304へと移り、最小の注意力バッファ値に到達しているかどうかを問い合わせる。注意力バッファ値が既に最小バッファ値である場合、一時的バッファは、ステップ305に示すように最小バッファ値のままであるよう設定される。注意力バッファがまだ最小バッファ値でない場合、プロセッサは、ステップ306で示すように、一時的バッファ値を、注意力バッファから、リアルタイムステップにSA減衰比率を掛け合わせたものを減算したものとして算出する。いずれの場合も、決定が行われた後、先に論じたステップ325、326、327を行うことができる。
路上視線
入力視線が路上視線として分類されされると(ステップ301)、SA関連レイテンシカウンターはステップ310で示すように、ゼロにリセットされ得る。次に、システムは、ステップ311に示すように、先の視線領域が路外であったかどうかを決定し得る。先の視線領域全体が、SA関連または非SA関連に関わらず路外領域へのものであった場合、システムは、路上へ戻る推移があったと認識し、それにより、知覚遅延を考慮に入れる。注意力バッファアルゴリズムは、路外視線に続く路上シーンから、情報を抽出し、かつ/またはその路上シーンの表示を形成するのにドライバーが必要とする時間の長さを反映するため、視線を路外から路上に戻すように、情報抽出レイテンシ遅延とも呼ばれる、知覚遅延を考慮に入れる。路上シーンからの情報抽出は、安全な移動を維持し、潜在的な危険を予知するのに意味を有する要素の存在および相対的な場所を認識することを含み得る。この意味で、情報抽出レイテンシ遅延の値は、人間またはシステムの処理能力の関数である。
推移視線が起こると、プログラムは、ステップ312で示すように、路上中心領域カウンターをゼロにリセットし得る。路上中心領域カウンターについては、以下でさらに詳細に説明する。ステップ313で、プロセッサは、情報抽出レイテンシカウンターが予め決められた情報抽出レイテンシ閾値未満であるかどうかを決定し得る。情報抽出レイテンシ閾値は、およそ約0.0秒〜約1.0秒の範囲であってよい。閾値範囲は、安全な移動を維持し、潜在的な危険を予知するのに意味を有する要素の存在および相対的な場所に関する、シーンの変化を知覚するために、路外視線からの推移後のシーンから情報を抽出するのに必要な最小時間を表す。情報抽出レイテンシ閾値は、非限定的な例として、静的および動的なシーン知覚に対する基本的な視覚科学実験を含む、さまざまな方法で決定され得る。情報抽出レイテンシカウンターが閾値未満である場合、プロセッサは、ステップ314で示すように、リアルタイムステップをカウンターに加えることによって情報抽出レイテンシカウンターを更新し得る。一時的バッファ値は次に、ステップ309で示すように、注意力バッファ値が変化しないように、注意力バッファ値に設定され得る。先に論じたステップ325、326、327を次に行うことができる。
情報抽出レイテンシカウンターが閾値超であると、プロセッサがステップ313で決定したら、プログラムはステップ315へ移ることができる。ステップ315では、プロセッサは、入力視線の領域マーカーを使用して、視線が道路の中心領域へのものであるかどうかを識別し得る。視線領域マーカーが中心領域への視線を示さず、視線が道路の周辺領域へのものであることを示す場合、路上中心持続時間カウンターは、ステップ316で示すように、ゼロにリセットされ得、プロセッサは、ステップ317で示すように、注意力バッファ値が最大バッファ値であるかどうかをチェックし得る。前述したように、注意力バッファは、ある範囲の値を含み得、最大の注意力バッファ値および最小の注意力バッファ値によって制限され得る。最大バッファ値は、車両の位置を車線内に維持するための公差であってよい。最大の注意力バッファ値は、一定の値であってよく、あるいは、適応学習プロセスによって設定されてもよい。いくつかの実施形態では、最大バッファは、手動制御について2.0であってよい。レーンセンタリングなどの高度な自動化では、バッファのいくつかの適用により、人のドライバーと車両(または2つの知的エージェント)とからなるチームについて「状況認識」の処理が可能となり得、「組み合わせられた」チームのバッファ値は、単一のシステムのレベルを超える(例えば2.0の値を超える)。注意力バッファ値が最大バッファ値である場合、一時的バッファは、ステップ318で示すように、変化しないままであってよく、最大バッファ値に設定され得る。ここでも、先に論じたステップ325、326、327を次に行うことができる。
注意力バッファ値がステップ317で示すように最大バッファ値未満であった場合、プロセッサは、ステップ319で示すように、ドライバーが道路を見ていることを表す、道路の周辺部分への操作者の路上視線により、操作者SAが増大したことを反映するように、注意力バッファ値を増大させることにより、一時的バッファ値を更新し得る。一時的バッファは、注意力バッファ値、すなわち、先の視線算出サイクルの最初に決定された瞬間的な値に、路上視線からの操作者のSAの増加を表す変数を加えたものに設定され得、これは、SAゲイン指標である、SA増加にリアルタイムステップを掛け合わせることにより、算出され得る。先に図示および説明したように、次に、ステップ325、326、327を行うことができる。注意力バッファアルゴリズムによって例示されるように、周辺視線は、ドライバーの状況認識に対して好影響を与え得る。さらに、周辺に位置する視線は、他のモデリング情況における周辺視野の役割のモデリングを提供することができる。
路上視線が道路の中心領域へのものである場合(ステップ315)、プロセッサは、ステップ320で示すように、路上中心持続時間カウンターを更新し得る。路上中心持続時間カウンターは、より一般的には同じ場所の視線または凝視と呼ばれる、ドライバーが道路の中心を継続して見つめたままであった合計時間を表す累積値である。ステップ320で、路上中心持続時間カウンターは、リアルタイムステップだけ増加され得る。路上中心持続時間カウンターは、路外から路上へドライバーの視線が推移したとき(ステップ312)、またはドライバーが道路の周辺領域を見るとき(ステップ316)に、リセットされ得る。路上中心持続時間値は次に、ステップ321で示すように、路上中心持続時間閾値と比較され、注意力値を調節する適切な手段を決定し得る。路上中心持続時間閾値は、前方では道路の中心領域を注視して連続的に見つめながら、ドライバーの注意力が失われるか、またはぼんやりすることを示し得る、時間の長さであってよい。例えば、路上中心持続時間閾値は、およそ約6.0秒〜約30.0秒の範囲であってよい。路上中心持続時間閾値が、例えば、認知的負荷条件下での道路への視線の長さおよび側方偏心、ならびにそれらがドライバーの潜在的な危険の知覚、理解、および予測に与える影響を評価する、シミュレータおよび/または路上研究に選択の基礎を置くことを含む、さまざまな方法で決定され得ることを、当業者は認識するであろう。路上中心持続時間が路上中心持続時間閾値未満である場合、プロセッサはステップ317へと移り、注意力バッファが最大バッファに到達しているかどうかをチェックし得る。フローのロジックは、ステップ317および後続のステップでの問い合わせに関して前述したものと同じである。
ステップ321で、路上中心持続時間カウンターが路上中心持続時間閾値以上である場合、注意力バッファの値は、ステップ322で示すように、路上減少下限(decrement floor)と比較され得る。路上減少下限は、潜在的な危険に反応するために道路の十分な認識を保つための最適な注意力バッファ値を反映する。非限定的な例として、路上減少下限は、およそ約0.0秒〜約2.0秒の範囲であってよい。路上減少下限値は、認知的負荷条件下での道路への視線の長さおよび側方偏心、ならびにそれらがドライバーの潜在的な危険の知覚、理解、および予測に与える影響を評価する、シミュレータおよび/または路上研究に選択の基礎を置くことを含む、本開示を鑑みれば当業者には既知であるいくつかの方法で、選択され得る。注意力バッファが路上減少下限より大きい場合、プロセッサは、現在の注意力バッファ値を減少させて、一時的バッファを算出し得る。具体的には、一時的バッファ値は、ステップ323で示すように、路上中心減少にタイムステップを掛け合わせたものより小さい注意力バッファに等しくてよい。注意力バッファ値におけるこの減少は、道路中心への視線が長い結果としてのSAの減少を表し得る。路上中心減少は、周辺に位置し危険の検出に関連する情報の認識への減少が起こると予測される前に視線が道路中心に束縛される時間の量を反映する。この比率の決定は、認知的負荷および運転状態を考慮に入れる。非限定的な例として、路上中心減少率は、およそ約0.1単位/秒〜約0.3単位/秒の範囲であってよい。注意力バッファの他の変数と同じように、認知的負荷条件下での道路への視線の長さおよび側方偏心、ならびにそれらがドライバーの潜在的な危険の知覚、理解、および予測に与える影響を評価する、シミュレータおよび/または路上研究は、路上中心減少率または許容可能な比率範囲を算出するのに使用され得る。一時的バッファの算出後、先に論じたステップ325、326、327を行うことができる。
注意力バッファが路上減少下限以下である場合(ステップ322)、ステップ324で示すように、一時的バッファは、路上減少下限に設定され得る。ここでも、ステップ325、326、327をこの後行うことができる。
注意力バッファの利点は多い。注意力バッファは、ある程度の状況情報の認識における瞬時の変化を決定する上で、幅広い状況要求(例えば、運転環境を考慮する)、即時タスク要求(例えば、路上中心持続時間などの閾値を確立する際のユーザの認知的負荷を考慮する)、ユーザの情報処理状態(例えば、視線持続時間および空間領域)を連続的に評価する。ドライバーを監視し、ほぼ、存在し得る注意散漫(例えば、受信されているテキストメッセージ)だけに重点を置いた既存のシステムおよび方法とは異なり、注意力バッファは、ドライバーが認知的負荷を与えられている状況を考慮に入れる。例えば、ドライバーが実際にぼんやりしているときには長時間にわたって道路の中心から視線が動かないので、ドライバーは、道路に集中しすぎている場合があり、あるいは、道路に集中しすぎていると思われる場合がある。注意力バッファは、これらの可能性を考慮に入れ、測定された認識レベルをそれに応じて調節する。さらに、注意力バッファはまた、別の情況では「オフターゲット」とみなされ得る何らかの視線が、ドライバーの状況を気づかせる上で実際には役立つ視線であることを認識して、視線場所のさらに微妙な評価を提供する。これは、死角をチェックするため、道路の中および周辺の他のエリアを見るため、および/または車両自体に関する情報を提供する(例えば、計器群、IVIシステムを見る)視線などを含み得る。なお、さらに、注意力バッファは、視線が1つの場所から別の場所へと動くときに起こる犠牲を認識して、知覚遅延も考慮に入れる。さらに、注意力バッファは、視線以外の他のデータおよび情報が、操作者の全体的な注意力または認識レベル評価に組み込まれることを可能にする。本発明の注意力バッファは、路外から路上への視線シフトに関する知覚遅延に備えるが、本開示を鑑みれば、当業者は、視線を異なるタスク関連領域に(例えば路上からIVIシステムに)切り替えるときの他の知覚遅延も、注意力バッファ、または本開示から導き出され得る他のバッファとの関連で、提供され得ることを理解するであろう。
一時的バッファ値への応答
本開示の資源配分管理システム(例えばシステム103)は、運転または別様に車両を動作させるタスクに関連して使用されると、注意散漫な運転状態の識別時に特定の機能性を単に制限する以外に、安全な動作の役に立ちそれを促進する、有意義な管理システムである。車両システムは、注意力バッファアルゴリズム出力に応答して、ドライバーの知識および/または状況の認識を高めることを意図された措置を取り得る。例えば、ハンドルの振動またはシートの振動を通じて伝えられる、触覚型の警報は、一時的バッファが閾値未満に下がるか、または注意力バッファが所定の期間にわたりある範囲内にとどまることに応答して、送信され得る。注意力バッファが路上減少下限値で、またはその付近で安定していることを、バッファデータ出力が示すと、ハンドルの側方部分が振動して、ドライバーに周辺を見るよう合図を出すように、指示が送られ得る。
代わりに、またはさらに、車両は、ドライバーの注意を運転タスクに戻そうとして、潜在的に気を散らす情報を制限し得る。特定のタイプの通知、例えば、接続された電話からのテキストメッセージ警報またはプッシュ通知は、ドライバーの一時的バッファまたは注意力バッファが所定の値または範囲を下回った場合に、抑制され得る。SAの増加を促すために、一時的バッファが低いかまたは交通もしくは道路状態などの代替情報を表示している場合に必須ではない情報を取り除くことによって、表示を改善するよう、指示が器具パネルに送られ得る。一方、ドライバーが非常に注意深いときは、車両システムは、ドライバーの現在の資源配分の価値をほとんど高めない、車線逸脱または死角の警報などの、不快なアラームを抑制することができる。
車両内部の自動化または「スマート」システムは、バッファデータに応答して特定の方法で、改善され、調節され、かつ/または制御され得る。これらは、適応インターフェース、および情況認識機能を持った車両制御システムを含み得るが、これらに制限されない。当業者は、本開示を鑑みれば、適応インターフェースが、以下のうちの少なくとも1つを変更するように応答するよう構成され得ることを認識するであろう:車両の操作者に提供される1つ以上の機能およびコンテンツ;コンテンツが操作者に提供される1つ以上の方式;および1つ以上の制御入力の性質。このような変更は、ドライバーが状況認識を促すように環境に注目するのを助けるのに有効となり得る。同様に、当業者は、本開示を鑑みれば、情況認識機能を持った車両制御システムが、車両の周辺環境、知識、およびドライバーの認識レベルのうちの少なくとも1つに応答して、車両のパラメータを調節するように構成され得ることを認識するであろう。
一般的には、自動化システムは、1つ以上のアクションを自動化し、車両とドライバーとの間で選択的に制御を推移させ得る。車両の自動化状態は、車両システムおよび制御が自動的に実行される程度を反映し、(例えば、車両内ディスプレイを介して)ドライバーに提示され得る多くのパラメータのうちの別の1つである。例えば、自動化システムは、ドライバーが取り扱うのに十分認識しているとこれまで考えられていなかった特定の制御を引き継ぐよう、ドライバーが十分認識していることを、バッファデータがいったん示したら、車両からドライバーに、その特定の制御を移すことができる。同様に、自動化システムは、ドライバーが特定のタスクを取り扱うのに適切な認識を欠いているとバッファデータが示したら、ドライバーの許可なしに、ドライバーから車両に特定の制御を移すことができる。場合によっては、ドライバーの注意力レベルが上昇するまで、完全な運転の自動化が行われ得る。制御をドライバーに戻す、自動化システムの決定は、注意力バッファの機能であり得る。例えば、バッファが特定の閾値未満である場合、自動化システムは、別の状況では通常起こるであろう推移を制限し得る。当技術分野で既知であるように、自動化状態では、車両は、運転タスクを安全に遂行するため、センサに基づくコンピュータ制御に依存している。特定の状況では、ジオフェンスの周辺部が、バッファデータに応答して確立され得、注意力レベルが上昇するまで、ドライバーを特定の動作エリアに閉じ込める。車両システムは、シートベルトに予め張力を加える、ブレーキを予め充填する(pre-filling brakes)、および/または衝突回避システム(Crash Avoidance Systems)を準備するなど、低いかまたは不適切なバッファ値に応答して、追加の対抗手段をとることができる。
場合によっては、バッファアルゴリズムが一時的バッファ値および関連情報を1つ以上のデータベースにエクスポートすると、このデータは、操作者に特化したプロフィールを作成するのに使用され得る。このようなプロフィールは次に、特定の操作者が車両を使用しているときに、システムで使用されるようアップロードまたはダウンロードされ得る。よって、資源配分プロフィールは、人間ごとに(同じ車両を運転する異なる人々は異なるプロフィールを有するであろう)、車両ごとに(異なる車両を運転する同じ人は、異なる車両に存在する差異により、異なるプロフィールを有し得る)、および/または場所ごとに(ドライバーのプロフィールは、ドライバーが場所に精通すると、および/または幹線道路と都市の運転など、道路のタイプに基づいて、変化し得る)、変化し得る。
さらに、操作者に特化したまたは車両に特化したプロフィールは、運転行為以外の多くの情況で有利に有用となり得る。本開示を鑑みれば、車隊運用管理者(例えば、配送車両、バスもしくは列車のような輸送システムなど)は、車隊の各操作者または車両について注意力バッファデータにアクセスし得る。注意力バッファの寿命傾向を用いて、車隊管理者は、性能に基づいた補償を与え、かつ/または動的性能データに基づいて特定の操作者に合わせて調整されたワークスケジュールもしくはワークエリアを調節することができる。代わりに、またはさらに、車隊管理者は、操作者の注意力レベルが特定の時間にわたって所与の閾値を下回った場合に、寿命の注意力バッファデータ(lifetime attention buffer data)を使用し、かつ/またはリアルタイムの一時的バッファもしくは注意力バッファデータを監視し、ジオフェンスのある場所を設定もしくは調節することができる。
保険会社は、操作者に特化したプロフィールにアクセスして、特定の消費者に合わせて自動の保険料控除を調整し得る。操作者に特化したプロフィールにより、操作者に保険を付けることに伴うリスクを、より厳正にまた正確に見積もることができる。当業者は、注意力バッファデータの適応性が、ユーザの注意力のレベルを瞬時にまたは経時的に、個人としてまたは大きい集団の一部として、監視することから利益を得る、多くの状況に広がることを理解するであろう。
注意力バッファに関連した非視線データの使用
図5Aおよび図5Bにまとめて示す注意力バッファは、主に視線に関する入力を含む。しかしながら、図2〜図4に示され、これらについて説明されるように、また当業者に既知であるように、多くの資源は、資源配分管理システム(例えば、資源配分管理システム103)により使用されるように提供され、かつ/または別様に利用可能である。これらの資源は、上記でさらに詳細に説明したように、さまざまなセンサ、カメラなどの形態で提供される。このような資源、および資源配分管理システムに利用可能な任意の他の資源により提供されるデータおよび他の情報(例えば、外部データベースなどにより提供されるデータまたは情報)は、さまざまな方法で資源配分管理システムによって使用され得る。
場合によっては、センサ、カメラ、車両と車両の通信システム(例えば、システム209)を介して相互接続された周囲の車両、データベースなどから生成されたデータおよび情報は、非限定的な例として最大バッファ値、最小バッファ値、および/または路上減少下限などの注意力バッファと共に、視線データと関連付けられた閾値を改変するのに使用され得る。このような閾値は、環境要因、情況データなど、多くの異なるタイプのデータおよび情報、ならびに本明細書で提供されるか、または別様に当業者に既知の他のタイプのデータおよび情報の関数であってよい。閾値が環境要因に応答して調節される場合の一例は、通常の道路状況が凍った道路状況へと変化した場合に視線閾値に対して行われる調節に関して前述した。より具体的には、バッファは、凍った道路状況が存在する場合に閾値が上昇し、よって、道路状況がさらに危険である場合にさらなる認識が典型的には必要であるという認識を考慮に入れるように、調節され得る。
ドライバーのバイオメトリクスは、情報保持または取り消しのベースラインレベルを確立するのに使用され得、これは、増加または減少率、および情報抽出レイテンシ閾値などのバッファ変数に影響し得る。これは、ドライバーが車両の場所で動作して周辺環境および潜在的な危険に対する潜在的な精通を高める頻度を含み得る。車両速度は、ドライバーが安全に道路から目を離すことができる時間の量に影響を与えるので、SA減少率を調節するのに使用され得る。さらに非限定的な例として、交通の混雑データ、ドライバー資源配分データ、および/または自動化のレベルなどのデータは、さまざまな閾値を設定する上で注意力バッファアルゴリズムによって組み込まれ得る。例えば、周囲の車が高度に自動化された状態で動いている場合、注意力バッファアルゴリズムは、SA増加率を増大させ得る。周囲の車が高い自動化レベルで運転されている場合、それらは、ユーザの車両のアクションを考慮に入れ、よって、ユーザが、他のドライバーにより生じる危険の存在を十分に知覚し理解するために路上視線を維持するのに必要な時間が減り、その結果、SA増加率が増大する。さらに、道路状況、天候状態、場所データ、および/または周囲の車両の情報は、さまざまな増加または減少率および閾値の算出を考慮し得る。当業者は、資源配分管理システムに提供されるデータおよび情報が、視線データに対して使用される閾値および値を改変するのに使用され得る多くの他の方法を認識するであろう。
他の場合には、センサ、カメラ、車両と車両の通信システム(例えば、システム209)を介して相互接続された周囲の車両、データベースなどから生成されたデータおよび情報は、注意力バッファアルゴリズムに追加のステップを提供するのに使用され得る。さまざまな閾値が、この追加のデータおよび情報に関して確立され得、それらの閾値は、視線データについて説明したのと同じように作用する追加のステップを提供し得る。例えば、一時的バッファ値を算出することに加え、次の一時的バッファ値を算出する前に、追加のデータまたは情報(例えば、操作者の心拍数)が、加えられ、確立された閾値心拍数に対して分析され、一時的バッファ値と同じように記憶およびエクスポートされ得る。応答または他の出力(例えば、本明細書で提供されるような、システムの増強、情報など)が、一時的バッファ値と心拍数との組み合わせに基づいてトリガされ得る。
さらに他の場合、センサ、カメラ、データベースなどから生成されたデータおよび情報は、注意力バッファアルゴリズムにおいて視線データの代わりに使用され得る。心拍数に関する上記論議を踏みつけて(Treading on)、資源配分管理システムは、心拍数に関する閾値および値を視線に基づくステップと置き換えて、図5Aおよび図5Bの注意力バッファを実行し得る。非限定的な例として、「路上視線」に関連するバッファの部分および「路外視線」に関連する部分を有する代わりに、バッファは、心拍数が特定の閾値(例えば1分当たり120回の心拍数)を超える状況に分けられ、その後、その情報に基づいて、本明細書で提供された性質の出力が得られる(例えば、データを提供する、情報または応答を強化するなど)。別の非限定的な例は、車両が受動的アルコールセンサを含み、ドライバーが酔っぱらっていることが検出される、状況を含む。このような情報は、注意力バッファの機能を調節し(例えば、注意力バッファの閾値および/もしくはパラメータを調節し)かつ/または、酔っ払い運転の問題に適した対抗手段のためのインターフェースを適応させるのに使用され得る。さらなる非限定的な例として、車両が、眠気もしくは傾眠の状態に関するデータ(例えば、瞬きデータ、頭部が下を向くこと、他の生物測定関連データ)を収集する能力を有する場合、システムは、眠気および/または傾眠を示す情報に対して反応し、注意力バッファの機能を調節し(例えば、注意力バッファの閾値および/もしくはパラメータを調節し)、かつ/または、眠そうな運転の問題に適した対抗手段のためのインターフェースを適応させることができる。さらなる非限定的な一例として、心拍数または電気皮膚反応などのバイオメトリックデータがシステムに入力されて、ドライバーの不安レベルを検出し得る状況では、システムは、他の反応の中でも特に、ドライバーがたどるルートについてさらに支援を望むかどうか尋ねること、交通量が少ないルートに変更したいかどうかドライバーに尋ねること、ならびに/または、静かな音楽および/もしくはより冷たい空気が役立つかどうかドライバーに尋ねることなど、その情報に対してアクションを起こすことができ、これには、ドライバーに最初に要求することなく行われる、自動的な変更が含まれる。
本明細書に提供される注意力バッファの開示と共に使用するために入手され得るデータおよび情報のタイプは、車両の運動学(例えば、アライメント、ブレーキタイプ、重量分布など)、操作者の運動学(例えば、眼球運動、頭部の動き、ドライバーの状態、本明細書で提供されるか、もしくは別様に当業者に既知である他のタイプの動きなど)、車両の操作者が実行している活動のタイプの決定(例えば、加速、制動、車線変更など)、1つ以上の環境要因(例えば、天候、道路状況など)、車両の操作者の1つ以上のバイオメトリクスパラメータ(例えば、心拍数、眠気など)、ならびに車両の操作者の1つ以上の性能パラメータ(例えば、防御的ドライバー、攻撃的ドライバー、特定のタイプの道路および/もしくは特定の車線などでの運転に、より精通しているなど)を含む。当業者は、これに関連して使用され得る多くの異なるタイプのデータおよび情報、また、図2〜図4に提供されるセンサ、カメラなどのうちのいくつかを用いること、ならびに遠隔データベースなどを用いることを含むがこれらに制限されない、このデータおよび情報の入手方法、を認識するであろう。
コンピュータによる実現
図6は、資源配分管理システム103を含み、かつ/または本明細書に記載する注意力バッファ(例えば図5Aおよび図5B)を実行し得る、コントローラまたはコンピュータ800の例示的な実施形態の物理的コンポーネントのブロック図を示す。本明細書では例示的なコンピュータ800が描かれ説明されているが、これは普遍性のため、便宜上のことであると認識されるであろう。他の実施形態では、コンピュータ800は、本明細書で図示および説明するものと、構造および動作が異なり得る。コンピュータ800は、タブレット型コンピュータ、モバイルデバイス、スマートデバイス、ウェアラブルデバイス、スマートフォン、ラップトップコンピュータ、デスクトップコンピュータ、クラウドベースのコンピュータ、サーバーコンピュータ、前述したもののうち複数、などであってよい。
例示されたコンピュータ800は、例えば組み込みソフトウェア、オペレーティングシステム、デバイスドライバー、アプリケーションプログラムなどを実行することによって、コンピュータの動作を制御する、プロセッサ922を含み得る。プロセッサ922は、プログラム可能な汎用もしくは特殊用途プロセッサおよび/またはさまざまな独占的もしくは市販のシングルもしくはマルチプロセッサシステムのうちのいずれかを含む、任意のタイプのマイクロプロセッサまたは中央処理装置(CPU)を含み得る。本明細書で使用されるプロセッサという用語は、マイクロプロセッサ、マイクロコントローラ、ASIC、FPGA、PIC、内部もしくは外部メモリもしくはレジスタからのプログラム指示を読み取り解釈するプロセッサ、などを指すことができる。コンピュータ800は、メモリ924を含み得、これは、プロセッサ922によって実行されるコードのため、または、プロセッサによって処理されるデータのための、一時的または永続的な記憶を提供し得る。メモリ924は、読み取り専用メモリ(ROM)、フラッシュメモリ、1つ以上のさまざまなランダムアクセスメモリ(RAM)、および/またはメモリテクノロジーの組み合わせを含み得る。コンピュータ800のさまざまなコンポーネントは、任意の1つ以上の別々のトレース、物理的バス、通信回線などを介して、相互接続され得る。
コンピュータ800は、通信インターフェースまたはI/Oインターフェースなどのインターフェース926を含み得る。通信インターフェースは、コンピュータ800がネットワークまたは通信バス(例えば、ユニバーサルシリアルバス)を通じてリモートデバイス(例えば、他のコントローラもしくはコンピュータシステム)と通信することを可能にし得る。I/Oインターフェースは、1つ以上の入力デバイス、1つ以上の出力デバイス、およびコンピュータ800のさまざまな他のコンポーネント間の通信を容易にし得る。例えば、インターフェース926は、第2のコンピュータのコンピュータコンポーネント(例えば、第2のコンピュータの統合された無線装置)と通信し得る。例示的な入力デバイスは、タッチスクリーン、メカニカルボタン、キーボード、およびポインティングデバイスを含む。追加の例示的な出力デバイスは、プロジェクタ、電子表示画面、およびスピーカーを含む。コンピュータ800は、記憶デバイス928を含み得、これは、非揮発的および/または非一時的にデータを記憶するための任意の従来の媒体を含み得る。よって、記憶デバイス928は、データおよび/または指示を持続状態で保持し得る(すなわち、値は、コンピュータ800への電力が途切れても保持される)。記憶デバイス928は、1つ以上のハードディスクドライブ、フラッシュドライブ、USBドライブ、光学式ドライブ、さまざまなメディアディスクもしくはカード、および/またはそれらの任意の組み合わせを含み得、コンピュータ800のその他のコンポーネントに直接接続されるか、または、これに、通信インターフェースなどを通じて遠隔的に接続され得る。コンピュータ800は、ディスプレイ930を含み得、そこに表示される画像を生成し得る。いくつかの実施形態では、ディスプレイ930は、真空蛍光ディスプレイ(VFD)、有機発光ダイオード(OLED)ディスプレイ、または液晶ディスプレイ(LCD)であってよい。コンピュータ800は、電源932と、適切な調整回路(regulating and conditioning circuitry)と、を含み得る。例示的な電源は、ポリマーリチウムイオンバッテリーなどのバッテリー、または、コンピュータ800をDCもしくはAC電源に連結するためのアダプタ(例えば、USBアダプタもしくは電源アダプタ)を含む。
当業者は、前述した実施形態に基づいて本開示のさらなる特徴および利点を認識するであろう。したがって、本開示は、特許請求の範囲で示すものを除き、具体的に図示および説明したものによって制限されるものではない。本明細書で引用したすべての刊行物および参考文献は、参照により全体として明白に本明細書に組み込まれる。
〔実施の態様〕
(1) 車両のための資源配分管理システムにおいて、
車両と関連付けられた1つ以上の視線測定装置と通信している少なくとも1つのプロセッサを含み、前記少なくとも1つのプロセッサは、
前記少なくとも1つのプロセッサと通信している1つ以上の視線測定装置と関連付けられた前記車両の操作者の複数の視線に関する情報をリアルタイムでで受信することであって、前記複数の視線が、ある期間にわたって発生する、こと、
前記複数の視線のそれぞれを路上視線または路外視線として分類すること、
前記複数の視線からの分類された前記視線に基づいて注意力バッファの瞬間ごとのバッファ値を連続的に算出することであって、前記注意力バッファは、前記車両の前記操作者の認識レベルに対応する、ある範囲の値である、こと、
前記少なくとも1つのプロセッサが前記瞬間ごとのバッファ値を算出するために動作している任意の時点で、算出された前記瞬間ごとのバッファ値が分かるように、前記算出された瞬間ごとのバッファ値を連続的に出力すること、
前記車両、前記車両の前記操作者、および前記少なくとも1つのプロセッサからの指示を受信するように構成された受信機のうちの少なくとも1つに、前記指示を提供することであって、前記指示は、連続的に出力された前記算出された瞬間ごとのバッファ値に基づく、こと、
を行うように動作可能である、システム。
(2) 実施態様1に記載のシステムにおいて、
前記少なくとも1つのプロセッサは、前記車両の1つ以上のコンポーネントと通信して、前記算出された瞬間ごとのバッファ値を連続的に出力すること、および前記車両、前記車両の前記操作者、および前記少なくとも1つのプロセッサからの前記指示を受信するように構成された受信機のうちの少なくとも1つに前記指示を提供すること、のうちの少なくとも1つを行うように構成され、
前記車両の前記1つ以上のコンポーネントは、
前記車両と関連付けられた1つ以上のアクションを自動化するように構成された自動化システムと、
前記車両の前記操作者が状況認識を促進するように環境に注意を払うのを効果的に助けるために、前記車両の前記操作者に提供される1つ以上の機能およびコンテンツ;コンテンツが前記操作者に提供される1つ以上の方式;ならびに1つ以上の制御入力の性質のうちの少なくとも1つを変更するように応答するよう構成された、適応インターフェースと、
前記車両の周辺環境、知識、および前記車両の前記操作者の前記認識レベルのうちの少なくとも1つに応答して、前記車両のパラメータを調節するように構成された、情況認識機能を持った車両制御システムと、
前記車両の前記操作者に、前記車両および前記車両の向きの制御に関する情報のうちの少なくとも1つを提供するように構成された、車両内ディスプレイと、
を含む、システム。
(3) 実施態様1に記載のシステムにおいて、
前記少なくとも1つのプロセッサが指示を提供するように動作可能である前記受信機は、
(1)前記少なくとも1つのプロセッサが通信している1つ以上の視線測定装置と関連付けられた前記車両の近くにある第2の車両、
(2)スマートデバイス、および、
(3)データベース、
のうちの少なくとも1つに関する情報を受信するように構成された、受信機である、システム。
(4) 実施態様1に記載のシステムにおいて、
前記車両、前記車両の前記操作者、および前記少なくとも1つのプロセッサからの前記指示を受信するように構成された受信機のうちの少なくとも1つへの前記指示は、
(1)前記車両の前記操作者の前記認識レベルを変えるように構成された指示、
(2)前記連続的に出力された、算出された瞬間ごとのバッファ値に応答して前記車両の1つ以上のパラメータを調節するための、車両の自動化システムへの指示、および、
(3)前記車両および前記車両の前記操作者のうちの少なくとも一方との情報交換を増やす指示、
のうちの少なくとも1つを含む、システム。
(5) 実施態様4に記載のシステムにおいて、
前記車両および前記車両の前記操作者のうちの少なくとも一方との情報交換を増やす前記指示は、情報交換を抑制する指示を含む、システム。
(6) 実施態様1に記載のシステムにおいて、
複数の視線に関してリアルタイムで受信される前記情報は、頻度、持続時間、および場所をさらに含む、システム。
(7) 実施態様1に記載のシステムにおいて、
前記少なくとも1つのプロセッサが、前記複数の視線からの前記分類された視線に基づいて注意力バッファの瞬間ごとのバッファ値を連続的に算出するように動作可能であることは、前記少なくとも1つのプロセッサが、ある期間にわたる、分類された前記路上視線および分類された前記路外視線を互いにつなげるように動作可能であることをさらに含み、前記分類された路上視線および前記分類された路外視線は、前記分類された路上視線および路外視線それぞれの持続時間を含む、システム。
(8) 実施態様1に記載のシステムにおいて、
前記少なくとも1つのプロセッサが前記複数の視線のそれぞれを路上視線または路外視線として分類するように動作可能であることは、
前記路上視線それぞれを、中心に位置する視線または周辺に位置する視線として分類することと、
前記路外視線それぞれを、状況認識関連視線または状況認識無関係視線として分類することと、
をさらに含む、システム。
(9) 実施態様8に記載のシステムにおいて、
前記状況認識関連視線は、以下の場所:バックミラー、サイドミラー、死角、車両性能、前記車両の自動化状態、道路およびその状態、環境データ、周辺データ、およびユーザデータのうちの少なくとも1つに関する情報が表示される車両内ディスプレイの一部、ならびに、道路およびその状態、環境データ、および周辺データのうちの少なくとも1つに関する情報が表示される前記車両の外側の場所、のうちの1つにおける視線を含む、システム。
(10) 実施態様8に記載のシステムにおいて、
前記注意力バッファは、前記瞬間ごとのバッファ値の前記算出中に前記注意力バッファの減少率の適用を遅延させることによって、前記状況認識関連視線または一連の状況認識関連視線を考慮に入れ、前記減少率は、遅延期間が終了し、前記状況認識関連視線が依然として現在の分類された視線となった後で前記注意力バッファによって適用される、システム。
(11) 実施態様8に記載のシステムにおいて、
前記注意力バッファは、前記中心に位置する視線が生じる時間が閾値を超えたときに、前記瞬間ごとのバッファ値の前記算出中に減少率を適用することによって、前記中心に位置する視線が長すぎることを考慮に入れる、システム。
(12) 実施態様1に記載のシステムにおいて、
前記少なくとも1つのプロセッサは、前記連続的に出力された、算出された瞬間ごとのバッファ値を、閾値と比較するようにさらに動作可能であり、
前記少なくとも1つのプロセッサが、前記車両、前記車両の前記操作者、および前記少なくとも1つのプロセッサからの前記指示を受信するように構成された受信機のうちの少なくとも1つに指示を提供するように動作可能であることは、提供される前記指示が、前記算出された瞬間ごとのバッファ値と前記閾値との比較に基づいて選択されることをさらに含む、システム。
(13) 実施態様12に記載のシステムにおいて、
前記少なくとも1つのプロセッサは、車両性能、前記車両の自動化状態、道路およびその状態、環境データ、周辺データ、ならびにユーザデータのうちの少なくとも1つを考慮して前記閾値を調節するようにさらに動作可能である、システム。
(14) 実施態様1に記載のシステムにおいて、
注意力バッファは、前記瞬間バッファ値に影響を与える複数の変数を有する等式を含み、前記複数の変数は、瞬間ごとのバッファ値間の比率を、可変レートで増減させるように構成されている、システム。
(15) 実施態様1に記載のシステムにおいて、
前記注意力バッファは、前記瞬間バッファ値に影響を与える複数の変数を有する等式を含み、前記複数の変数は、
(1)増加率;
(2)減少率;
(3)初期値開始;
(4)切替コスト;
(5)バッファ値範囲;および、
(6)場所に基づくレイテンシ、
のうちの少なくとも1つを含み、
前記少なくとも1つのプロセッサは、前記車両および前記車両の前記操作者のうちの少なくとも一方に関連する以下の要因:
(1)状況に応じた広範な要求;
(2)即時タスク要求;および、
(3)情報処理状態、
のうちの少なくとも1つに基づいて、前記瞬間ごとのバッファ値を算出するために依存する前記複数の変数のうちの1つ以上の変数を選択するようにさらに動作可能である、システム。
(16) 実施態様15に記載のシステムにおいて、
前記注意力バッファの前記等式は、前記路上視線の持続時間、および前記路外視線の持続時間を考慮に入れる、システム。
(17) 実施態様15に記載のシステムにおいて、
前記注意力バッファの前記等式は、視線推移を考慮に入れる、システム。
(18) 実施態様1に記載のシステムにおいて、
前記少なくとも1つのプロセッサは、前記車両の運転中に前記車両の前記操作者が行う変更および前記車両の周辺の環境に対する変化の両方に基づいて、前記車両、前記車両の前記操作者、および前記少なくとも1つのプロセッサからの前記指示を受信するように構成された受信機のうちの少なくとも1つに提供される前記指示を適応させるように構成されている、システム。
(19) 実施態様1に記載のシステムにおいて、
前記少なくとも1つのプロセッサが、前記車両、前記車両の前記操作者、および前記少なくとも1つのプロセッサからの前記指示を受信するように構成された受信機のうちの少なくとも1つに指示を提供するように動作可能であることは、前記少なくとも1つのプロセッサが、ある期間にわたる、前記瞬間ごとのバッファ値を含む指示を前記受信機に提供するように動作可能であることをさらに含み、
前記受信機は、少なくとも1つのプロフィール決定プロセッサに通信連結され、前記少なくとも1つのプロフィール決定プロセッサは、前記受信機が受信する前記瞬間ごとのバッファ値に基づいて、操作者プロフィールを定めるように構成されている、システム。
(20) 実施態様1に記載のシステムにおいて、
前記少なくとも1つのプロセッサが、前記車両、前記車両の前記操作者、および前記少なくとも1つのプロセッサからの前記指示を受信するように構成された受信機のうちの少なくとも1つに指示を提供するように動作可能であることは、前記少なくとも1つのプロセッサが、ある期間にわたる、前記瞬間ごとのバッファデータを含む指示を前記受信機に提供するように動作可能であることをさらに含み、
前記受信機は、少なくとも1つのプロフィール決定プロセッサに通信連結され、前記少なくとも1つのプロフィール決定プロセッサは、前記受信機が受信する前記瞬間ごとのバッファ値の少なくともいくつかの部分から算出された、平均、モード、可変性、移動平均窓、標準偏差、分布サマリー、瞬間ごとの集合プロット、スペクトル幅およびパワーのフーリエ解析を含む高度な指標、ならびに記号集約近似のうちの少なくとも1つに基づいて、グローバルプロフィールを定めるように構成されている、システム。
(21) 実施態様1に記載のシステムにおいて、
前記少なくとも1つのプロセッサは、前記車両、前記車両の前記操作者、および前記車両の周辺の環境のうちの少なくとも1つに関する、前記少なくとも1つのプロセッサが学習した情報に基づいて、前記注意力バッファを調節するように構成された、人工知能コンポーネントをさらに含む、システム。
(22) 実施態様1に記載のシステムにおいて、
前記少なくとも1つのプロセッサが、前記車両、前記車両の前記操作者、および前記少なくとも1つのプロセッサからの前記指示を受信するように構成された受信機のうちの少なくとも1つに指示を提供するように動作可能であることは、前記少なくとも1つのプロセッサが、保険料控除および保険料率のうちの少なくとも一方を決定することに関連する情報を含む前記指示を前記受信機に提供するように動作可能であることをさらに含む、システム。
(23) 資源配分をリアルタイムで評価する方法において、
ある期間にわたって生じたユーザの複数の視線に関する情報を、リアルタイムで受信することと、
前記複数の視線のそれぞれを、オンターゲット視線またはオフターゲット視線として分類することと、
前記複数の視線のうちの分類された前記視線に基づいて注意力バッファの瞬間ごとのバッファ値を連続的に算出することであって、前記注意力バッファは、前記ユーザの認識レベルに対応する、ある範囲の値である、ことと、
算出された前記瞬間ごとのバッファ値が前記方法の実行中の任意の時点において分かるように、前記算出された瞬間ごとのバッファ値を連続的に出力することと、
以下:
連続的に出力された、前記算出された瞬間ごとのバッファ値に基づいて、指示を提供すること、および、
ある期間にわたる、前記連続的に出力された、算出された瞬間ごとのバッファ値のうちの、少なくともいくつかの連続的に出力された、算出された瞬間ごとのバッファ値を含むデータを、1つ以上のデータベースに提供すること、
のうちの少なくとも1つを行うことと、
を含む、方法。
(24) 実施態様23に記載の方法において、
前記ユーザは、車両の操作者であり、
前記方法は、前記連続的に出力された、算出された瞬間ごとのバッファ値に基づいて、指示を提供することを含み、
前記連続的に出力された、算出された瞬間ごとのバッファ値に基づいて、指示を提供することは、前記連続的に出力された、算出された瞬間ごとのバッファ値に基づく指示を、前記車両、前記車両の前記操作者、および前記指示を受信するように構成された受信機のうちの少なくとも1つに提供することをさらに含む、方法。
(25) 実施態様24に記載の方法において、
前記算出された瞬間ごとのバッファ値を連続的に出力すること、ならびに、前記連続的に出力された、算出された瞬間ごとのバッファ値に基づいて、前記車両、前記車両の前記操作者、および前記指示を受信するように構成された受信機のうちの少なくとも1つに指示を提供することのうちの少なくとも一方を行うために、前記車両の1つ以上のコンポーネントと通信することをさらに含み、前記車両の前記1つ以上のコンポーネントは、
前記車両と関連付けられた1つ以上のアクションを自動化するように構成された自動化システムと、
前記車両の前記操作者が状況認識を促進するように環境に注意を払うのを効果的に助けるために、前記車両の前記操作者に提供される1つ以上の機能およびコンテンツ;コンテンツが前記操作者に提供される1つ以上の方式;ならびに1つ以上の制御入力の性質のうちの少なくとも1つを変更するように応答するよう構成された、適応インターフェースと、
前記車両の周辺環境、知識、および前記車両の前記操作者の前記認識レベルのうちの少なくとも1つに応答して、前記車両のパラメータを調節するように構成された、情況認識機能を持った車両制御システムと、
前記車両の前記操作者に、前記車両および前記車両の向きの制御に関する情報のうちの少なくとも1つを提供するように構成された、車両内ディスプレイと、を含む、方法。
(26) 実施態様24に記載の方法において、
前記車両の運転中に前記車両の前記操作者が行う変更および前記車両の周辺の環境に対する変化のうちの少なくとも1つに基づいて、前記車両、前記車両の前記操作者、および前記指示を受信するように構成された前記受信機のうちの少なくとも1つに提供される前記指示を適応させることをさらに含む、方法。
(27) 実施態様23に記載の方法において、
前記方法は、前記連続的に出力された、算出された瞬間ごとのバッファ値に基づいて、指示を提供することを含み、
前記連続的に出力された、算出された瞬間ごとのバッファ値に基づいて、指示を提供することは、
(1)前記ユーザの前記認識レベルを変化させるように構成された指示を提供すること、
(2)連続的に出力された、算出された瞬間ごとのバッファ値に応答して自動化システムの1つ以上のパラメータを調節するように、前記自動化システムに指示を提供すること、
(3)前記ユーザとの情報交換を増やすように指示を提供すること、
のうちの少なくとも1つをさらに含む、方法。
(28) 実施態様27に記載の方法において、
前記ユーザとの情報交換を増やすように指示を提供することは、前記ユーザとの情報交換を抑制するように指示を提供することをさらに含む、方法。
(29) 実施態様23に記載の方法において、
複数の視線に関するリアルタイムで受信された前記情報は、頻度、持続時間、および場所をさらに含む、方法。
(30) 実施態様23に記載の方法において、
前記複数の視線からの分類された前記視線に基づいて注意力バッファの瞬間ごとのバッファ値を連続的に算出することは、ある期間にわたる、分類された前記オンターゲット視線および分類された前記オフターゲット視線を互いにつなげることをさらに含み、前記分類されたオンターゲット視線および前記分類されたオフターゲット視線は、前記分類されたオンターゲット視線およびオフターゲット視線それぞれの持続時間を含む、方法。
(31) 実施態様23に記載の方法において、
前記複数の視線のそれぞれを、オンターゲット視線またはオフターゲット視線として分類することは、
前記オンターゲット視線のそれぞれを、中心に位置する視線または周辺に位置する視線として分類することと、
前記オフターゲット視線のそれぞれを、状況認識関連視線または状況認識無関係視線として分類することと、をさらに含む、方法。
(32) 実施態様31に記載の方法において、
前記ユーザは、車両の操作者であり、
前記状況認識関連視線は、以下の場所:バックミラー、サイドミラー、死角、車両性能、前記車両の自動化状態、道路およびその状態、環境データ、周辺データ、およびユーザデータのうちの少なくとも1つに関する情報が表示される、車両内ディスプレイの一部、ならびに、道路およびその状態、環境データ、および周辺データのうちの少なくとも1つに関する情報が表示される、前記車両の外側の場所、のうちの1つにおける視線を含む、方法。
(33) 実施態様31に記載の方法において、
前記オフターゲット視線が状況認識関連視線または一連の状況認識関連視線である場合、注意力バッファの瞬間ごとのバッファ値を連続的に算出することは、遅延期間が終了し、前記状況認識関連視線が依然として現在の分類された視線となるまで、前記注意力バッファの減少率の適用を遅延させることをさらに含む、方法。
(34) 実施態様31に記載の方法において、
前記オンターゲット視線が中心に位置する視線である場合、注意力バッファの瞬間ごとのバッファ値を連続的に算出することは、前記中心に位置する視線が生じる時間が閾値を超えたときに、前記注意力バッファの減少率を適用することをさらに含む、方法。
(35) 実施態様23に記載の方法において、
前記連続的に出力された、算出された瞬間ごとのバッファ値を閾値と比較することをさらに含み、
前記方法は、前記連続的に出力された、算出された瞬間ごとのバッファ値に基づいて、指示を提供することを含み、
提供される前記指示は、前記算出された瞬間ごとのバッファ値と前記閾値との比較に基づいて選択される、方法。
(36) 実施態様35に記載の方法において、
車両性能、前記車両の自動化状態、道路およびその状態、環境データ、周辺データ、ならびにユーザデータのうちの少なくとも1つを考慮して前記閾値を調節することをさらに含む、方法。
(37) 実施態様23に記載の方法において、
前記注意力バッファは、前記瞬間ごとのバッファ値に影響を与える複数の変数を有する等式を含み、前記複数の変数は、瞬間ごとのバッファ値間の比率を、可変レートで増減させるように構成される、方法。
(38) 実施態様23に記載の方法において、
前記注意力バッファは、前記瞬間ごとのバッファ値に影響を与える複数の変数を有する等式を含み、前記複数の変数は、
(1)増加率;
(2)減少率;
(3)初期値開始;
(4)切替コスト;
(5)視線速度減少の存在;および
(6)場所に基づくレイテンシ、
のうちの少なくとも1つを含み、
前記方法は、以下の要因:
(1)状況に応じた広範な要求;
(2)即時タスク要求;および、
(3)情報処理状態
のうちの少なくとも1つに基づいて、前記瞬間ごとのバッファ値の算出を実行するために依存する前記複数の変数のうちの1つ以上の変数を選択することをさらに含む、方法。
(39) 実施態様38に記載の方法において、
前記注意力バッファの前記等式は、前記オンターゲット視線の持続時間、および前記オフターゲット視線の持続時間を考慮に入れる、方法。
(40) 実施態様38に記載の方法において、
前記注意力バッファの前記等式は、視線推移を考慮に入れる、方法。
(41) 実施態様23に記載の方法において、
前記ユーザは、車両の操作者であり、
前記方法は、ある期間にわたる、前記連続的に出力された、算出された瞬間ごとのバッファ値のうちの、少なくともいくつかの連続的に出力された、算出された瞬間ごとのバッファ値を含むデータを、1つ以上のデータベースに提供することを含み、
提供される前記データは、受信された前記瞬間ごとのバッファ値に基づいて、操作者プロフィールを定めるのに使用されるように構成される、方法。
(42) 実施態様23に記載の方法において、
前記ユーザは、車両の操作者であり、
前記方法は、ある期間にわたる、前記連続的に出力された、算出された瞬間ごとのバッファ値のうちの、少なくともいくつかの連続的に出力された、算出された瞬間ごとのバッファ値を含むデータを、1つ以上のデータベースに提供することを含み、
提供される前記データは、受信された前記瞬間ごとのバッファ値の少なくともいくつかの部分から算出された、平均、モード、可変性、移動平均窓、標準偏差、分布サマリー、瞬間ごとの集合プロット、スペクトル幅およびパワーのフーリエ解析を含む高度な指標、ならびに記号集約近似のうちの少なくとも1つに基づいて、グローバルプロフィールを定めるのに使用されるように構成される、方法。
(43) 実施態様23に記載の方法において、
前記ユーザおよび前記ユーザに影響を与える環境のうちの少なくとも1つに関する、学習情報に基づいて、前記注意力バッファを調節するように、人工知能コンポーネントを動作させることをさらに含む、方法。
(44) 実施態様23に記載の方法において、
前記ユーザは、車両の操作者であり、
前記方法は、ある期間にわたる、前記連続的に出力された、算出された瞬間ごとのバッファ値のうちの、少なくともいくつかの連続的に出力された、算出された瞬間ごとのバッファ値を含むデータを、1つ以上のデータベースに提供することを含み、
提供される前記データは、保険料控除および保険料率のうちの少なくとも一方を決定することに関連する情報を含む、方法。
(45) 資源を配分する方法において、
一時的バッファ値を定量化するのに使用される、オンターゲット視線またはオフターゲット視線として視線を分類することを含み、
前記視線がオンターゲット視線として分類された場合、前記方法は、
直前の視線がオンターゲット視線であったかまたはオフターゲット視線であったかを決定することと、
前記視線について一時的バッファ値を決定することと、
前記直前の視線がオフターゲット視線であった場合、前記オフターゲット視線から前記オンターゲット視線への移動と関連付けられた推移を考慮に入れることと、をさらに含み、
前記視線がオフターゲット視線として分類された場合、前記方法は、
前記オフターゲット視線を状況認識関連視線または状況認識無関係視線であるとして分類することと、
前記視線について一時的バッファ値を決定することと、をさらに含み、
前記オフターゲット視線が状況認識関連視線であった場合、前記視線について一時的バッファ値を決定することは、レイテンシを考慮に入れることをさらに含む、方法。
(46) 実施態様45に記載の方法において、
前記視線がオンターゲット視線である場合、前記方法は、前記オンターゲット視線を、中心に位置する視線または周辺に位置する視線として分類することをさらに含み、
前記オンターゲット視線が中心に位置する視線である場合、前記視線について一時的バッファ値を決定することは、連続的な中心に位置する視線の持続時間が閾値時間を超える場合を考慮に入れることをさらに含み、
前記オンターゲット視線が周辺に位置する視線である場合、前記視線について一時的バッファ値を決定することは、最初に決定された一時的バッファ値、最大バッファ値、および前記オンターゲット視線と関連付けられた増加値のうちの少なくとも1つに基づいて、前記視線について前記一時的バッファ値を決定することをさらに含む、方法。
(47) 実施態様46に記載の方法において、
前記オンターゲット視線が中心に位置する視線である場合、前記視線について一時的バッファ値を決定することは、
(1)前記連続的な中心に位置する視線の前記持続時間を決定することと、
(2)前記連続的な中心に位置する視線の前記持続時間を、前記閾値時間と比較することと、
(3)前記連続的な中心に位置する視線の前記持続時間が、前記閾値時間以上である場合に:
(a)最初に決定された一時的バッファ値を、オンターゲットバッファ減少下限値と比較し、
(b)前記最初に決定された一時的バッファ値が前記オンターゲットバッファ減少下限値より大きい場合、前記視線について一時的バッファ値を決定することは、前記一時的バッファ値を、前記オンターゲット視線と関連付けられた減少値未満の前記最初に決定された一時的バッファ値として設定することをさらに含み、
(c)前記最初に決定された一時的バッファ値が前記オンターゲットバッファ減少下限値以下である場合、前記視線について一時的バッファ値を決定することは、前記一時的バッファ値を前記オンターゲットバッファ減少下限値として設定することをさらに含む、ことと、
(4) 前記連続的な中心に位置する視線の前記持続時間が前記閾値時間未満である場合、前記視線について前記一時的バッファ値を決定することは、前記最初に決定された一時的バッファ値、前記最大バッファ値、および前記オンターゲット視線と関連付けられた増加値のうちの少なくとも1つに基づいて、前記視線について前記一時的バッファ値を決定することをさらに含むことと、
をさらに含む、方法。
(48) 実施態様45に記載の方法において、
前記視線がオフターゲット視線である場合、前記視線について一時的バッファ値を決定することは、最初に決定された一時的バッファ値、最小バッファ値、および前記オフターゲット視線と関連付けられた減少値のうちの少なくとも1つに基づく、方法。
(49) 実施態様48に記載の方法において、
前記オフターゲット視線が状況認識関連視線として分類された場合、前記視線について一時的バッファ値を決定することは、
(1)前記一時的バッファ値と関連付けられたレイテンシ値を決定することと、
(2)決定された前記レイテンシ値を閾値レイテンシ値と比較することと、をさらに含み、
(3)前記決定されたレイテンシ値が前記閾値レイテンシ値以下である場合、前記視線について一時的バッファ値を決定することは、前記一時的バッファ値を前記最初に決定された一時的バッファ値として設定することをさらに含み、
(4)前記決定されたレイテンシ値が前記閾値レイテンシ値超である場合、
(a)前記最初に決定された一時的バッファ値を前記最小バッファ値と比較し、
(b)前記最初に決定された一時的バッファ値が前記最小バッファ値以下である場合、前記視線について一時的バッファ値を決定することは、前記一時的バッファ値を前記最小バッファ値として設定することをさらに含み
(c)前記最初に決定された一時的バッファ値が前記最小バッファ値超である場合、前記視線について一時的バッファ値を決定することは、前記一時的バッファ値を、前記オフターゲット視線と関連付けられた減少値未満の、前記最初に決定された一時的バッファ値として設定することをさらに含む、方法。
(50) 実施態様48に記載の方法において、
前記オフターゲット視線が状況認識無関係視線として分類された場合、前記視線について一時的バッファ値を決定することは、
前記最初に決定された一時的バッファ値を前記最小バッファ値と比較することをさらに含み、
前記最初に決定された一時的バッファ値が前記最小バッファ値以下である場合、前記視線について一時的バッファ値を決定することは、前記一時的バッファ値を前記最小バッファ値として設定することをさらに含み、
前記最初に決定された一時的バッファ値が前記最小バッファ値超である場合、前記視線について一時的バッファ値を決定することは、前記一時的バッファ値を、前記オフターゲット視線と関連付けられた減少値未満の、前記最初に決定された一時的バッファ値として設定することをさらに含む、方法。
(51) 実施態様45に記載の方法において、
前記オフターゲット視線から前記オンターゲット視線への移動と関連付けられた推移を考慮に入れることは、
前記オンターゲット視線の情報抽出レイテンシ値を決定することと、
前記情報抽出レイテンシ値を閾値情報抽出レイテンシ値と比較することと、をさらに含み、
前記情報抽出レイテンシ値が前記閾値情報抽出レイテンシ値未満である場合、前記視線について一時的バッファ値を決定することとは、前記一時的バッファ値を前記最初に決定された一時的バッファ値として設定することをさらに含み、
前記情報抽出レイテンシ値が前記閾値情報抽出レイテンシ値以上である場合、前記方法は、前記オンターゲット視線を、中心に位置する視線または周辺に位置する視線であるとして分類することをさらに含み、
前記オンターゲット視線が中心に位置する視線である場合、前記視線について一時的バッファ値を決定することは、連続的な中心に位置する視線の持続時間が閾値時間を超える場合を考慮に入れることをさらに含み、
前記オンターゲット視線が周辺に位置する視線である場合、前記視線について一時的バッファ値を決定することは、最初に決定された一時的バッファ値、最大バッファ値、および前記オンターゲット視線と関連付けられた増加値のうちの少なくとも1つに基づいて、前記視線について前記一時的バッファ値を決定することをさらに含む、方法。
(52) 実施態様45に記載の方法において、
決定された前記一時的バッファ値を記憶することと、
前記決定された一時的バッファ値をエクスポートすることと、
1つ以上の後続の一時的バッファ値を決定するために実施態様45に記載のステップを繰り返すことと、をさらに含む、方法。
(53) 実施態様45に記載の方法において、
前記視線について一時的バッファ値を決定することと共に使用される、1つ以上の閾値を調節することをさらに含む、方法。
(54) 実施態様53に記載の方法において、
前記1つ以上の閾値は、連続的な同じ場所の視線の持続時間と関連付けられた閾値時間、1つ以上の一時的バッファ値と関連付けられた閾値レイテンシ値、および前記視線と関連付けられた閾値情報抽出レイテンシ値のうちの少なくとも1つを含む、方法。
(55) 実施態様45に記載の方法において、
分類される前記視線は、車両を運転する間になす視線である、方法。
(56) 実施態様55に記載の方法において、
決定された前記一時的バッファ値を、操作者プロフィールを定めるように構成された1つ以上のデータベースに提供することと、
1つ以上の後続の一時的バッファ値を決定するために実施態様45に記載のステップを繰り返すことと、
決定された前記1つ以上の後続の一時的バッファ値を、操作者プロフィールを定めるように構成された前記1つ以上のデータベースに提供することであって、前記操作者プロフィールは、提供される前記決定された一時的バッファ値および前記決定された1つ以上の後続の一時的バッファ値に基づいて定められる、ことと、をさらに含む、方法。
(57) 実施態様55に記載の方法において、
決定された前記一時的バッファ値を、グローバルプロフィールを定めるように構成された1つ以上のデータベースに提供することと、
1つ以上の後続の一時的バッファ値を決定するために実施態様45に記載のステップを繰り返すことと、
決定された前記1つ以上の後続の一時的バッファ値を、グローバルプロフィールを定めるように構成された前記1つ以上のデータベースに提供することであって、前記グローバルプロフィールは、前記決定された一時的バッファ値および前記1つ以上の後続の一時的バッファ値の少なくともいくつかの部分から算出された、平均、モード、可変性、移動平均窓、標準偏差、分布サマリー、瞬間ごとの集合プロット、スペクトル幅およびパワーのフーリエ解析を含む高度な指標、ならびに記号集約近似のうちの少なくとも1つに基づいて、定められる、ことと、をさらに含む、方法。
(58) 実施態様55に記載の方法において、
決定された前記一時的バッファ値を、保険料控除および保険料率のうちの少なくとも1つを決定するのに使用されるように構成された1つ以上のデータベースに提供することをさらに含む、方法。
(59) 実施態様45に記載の方法において、
前記視線について一時的バッファ値を決定することと共に使用される1つ以上の閾値を調節するために人工知能コンポーネントを動作させることをさらに含む、方法。
(60) 実施態様59に記載の方法において、
前記1つ以上の閾値の調節は、ユーザおよび前記ユーザに影響を与える環境のうちの少なくとも1つに関する、学習情報に基づく、方法。
資源配分システムを含むコンピューティングデバイスエコシステムの例示的な一実施形態の概略図である。 センサが車両に対して配され得る非限定的な複数の場所を示すことを目的とした、車両の例示的な一実施形態の概略斜視図である。 車両通信ネットワークの例示的な一実施形態の概略図である。 車両の内部運転台の一部と、車両の外側の環境の一部とを、内部運転台から見た場合の概略図であり、車両は、本明細書で提供されるような資源配分管理システムおよび方法が組み込まれ得るものである。 本明細書で提供されるような注意力バッファアルゴリズムの2つの部分のうちの第1の部分の例示的な一実施形態のフローチャート表示を描く。 図5Aに部分的に表された注意力バッファアルゴリズムの、図5Aに表す第1の部分に対応し、これに関連する、2つの部分のうちの第2の部分の例示的な一実施形態のフローチャート表示を描く。 本明細書で提供される他の開示および特徴の中でも特に、図5Aおよび図5Bの注意力バッファアルゴリズムを実行するためのコンピュータシステムの例示的な一実施形態の概略ブロック図である。

Claims (60)

  1. 車両のための資源配分管理システムにおいて、
    車両と関連付けられた1つ以上の視線測定装置と通信している少なくとも1つのプロセッサを含み、前記少なくとも1つのプロセッサは、
    前記少なくとも1つのプロセッサと通信している1つ以上の視線測定装置と関連付けられた前記車両の操作者の複数の視線に関する情報をリアルタイムで受信することであって、前記複数の視線が、ある期間にわたって発生する、こと、
    前記複数の視線のそれぞれを路上視線または路外視線として分類すること、
    前記複数の視線からの分類された前記視線に基づいて注意力バッファの瞬間ごとのバッファ値を連続的に算出することであって、前記注意力バッファは、前記車両の前記操作者の認識レベルに対応する、ある範囲の値である、こと、
    前記少なくとも1つのプロセッサが前記瞬間ごとのバッファ値を算出するために動作している任意の時点で、算出された前記瞬間ごとのバッファ値が分かるように、前記算出された瞬間ごとのバッファ値を連続的に出力すること、
    前記車両、前記車両の前記操作者、および前記少なくとも1つのプロセッサからの指示を受信するように構成された受信機のうちの少なくとも1つに、前記指示を提供することであって、前記指示は、連続的に出力された前記算出された瞬間ごとのバッファ値に基づく、こと、
    を行うように動作可能である、システム。
  2. 請求項1に記載のシステムにおいて、
    前記少なくとも1つのプロセッサは、前記車両の1つ以上のコンポーネントと通信して、前記算出された瞬間ごとのバッファ値を連続的に出力すること、および前記車両、前記車両の前記操作者、および前記少なくとも1つのプロセッサからの前記指示を受信するように構成された受信機のうちの少なくとも1つに前記指示を提供すること、のうちの少なくとも1つを行うように構成され、
    前記車両の前記1つ以上のコンポーネントは、
    前記車両と関連付けられた1つ以上のアクションを自動化するように構成された自動化システムと、
    前記車両の前記操作者が状況認識を促進するように環境に注意を払うのを効果的に助けるために、前記車両の前記操作者に提供される1つ以上の機能およびコンテンツ;コンテンツが前記操作者に提供される1つ以上の方式;ならびに1つ以上の制御入力の性質のうちの少なくとも1つを変更するように応答するよう構成された、適応インターフェースと、
    前記車両の周辺環境、知識、および前記車両の前記操作者の前記認識レベルのうちの少なくとも1つに応答して、前記車両のパラメータを調節するように構成された、情況認識機能を持った車両制御システムと、
    前記車両の前記操作者に、前記車両および前記車両の向きの制御に関する情報のうちの少なくとも1つを提供するように構成された、車両内ディスプレイと、
    を含む、システム。
  3. 請求項1に記載のシステムにおいて、
    前記少なくとも1つのプロセッサが指示を提供するように動作可能である前記受信機は、
    (1)前記少なくとも1つのプロセッサが通信している1つ以上の視線測定装置と関連付けられた前記車両の近くにある第2の車両、
    (2)スマートデバイス、および、
    (3)データベース、
    のうちの少なくとも1つに関する情報を受信するように構成された、受信機である、システム。
  4. 請求項1に記載のシステムにおいて、
    前記車両、前記車両の前記操作者、および前記少なくとも1つのプロセッサからの前記指示を受信するように構成された受信機のうちの少なくとも1つへの前記指示は、
    (1)前記車両の前記操作者の前記認識レベルを変えるように構成された指示、
    (2)前記連続的に出力された、算出された瞬間ごとのバッファ値に応答して前記車両の1つ以上のパラメータを調節するための、車両の自動化システムへの指示、および、
    (3)前記車両および前記車両の前記操作者のうちの少なくとも一方との情報交換を増やす指示、
    のうちの少なくとも1つを含む、システム。
  5. 請求項4に記載のシステムにおいて、
    前記車両および前記車両の前記操作者のうちの少なくとも一方との情報交換を増やす前記指示は、情報交換を抑制する指示を含む、システム。
  6. 請求項1に記載のシステムにおいて、
    複数の視線に関してリアルタイムで受信される前記情報は、頻度、持続時間、および場所をさらに含む、システム。
  7. 請求項1に記載のシステムにおいて、
    前記少なくとも1つのプロセッサが、前記複数の視線からの前記分類された視線に基づいて注意力バッファの瞬間ごとのバッファ値を連続的に算出するように動作可能であることは、前記少なくとも1つのプロセッサが、ある期間にわたる、分類された前記路上視線および分類された前記路外視線を互いにつなげるように動作可能であることをさらに含み、前記分類された路上視線および前記分類された路外視線は、前記分類された路上視線および路外視線それぞれの持続時間を含む、システム。
  8. 請求項1に記載のシステムにおいて、
    前記少なくとも1つのプロセッサが前記複数の視線のそれぞれを路上視線または路外視線として分類するように動作可能であることは、
    前記路上視線それぞれを、中心に位置する視線または周辺に位置する視線として分類することと、
    前記路外視線それぞれを、状況認識関連視線または状況認識無関係視線として分類することと、
    をさらに含む、システム。
  9. 請求項8に記載のシステムにおいて、
    前記状況認識関連視線は、以下の場所:バックミラー、サイドミラー、死角、車両性能、前記車両の自動化状態、道路およびその状態、環境データ、周辺データ、およびユーザデータのうちの少なくとも1つに関する情報が表示される車両内ディスプレイの一部、ならびに、道路およびその状態、環境データ、および周辺データのうちの少なくとも1つに関する情報が表示される前記車両の外側の場所、のうちの1つにおける視線を含む、システム。
  10. 請求項8に記載のシステムにおいて、
    前記注意力バッファは、前記瞬間ごとのバッファ値の前記算出中に前記注意力バッファの減少率の適用を遅延させることによって、前記状況認識関連視線または一連の状況認識関連視線を考慮に入れ、前記減少率は、遅延期間が終了し、前記状況認識関連視線が依然として現在の分類された視線となった後で前記注意力バッファによって適用される、システム。
  11. 請求項8に記載のシステムにおいて、
    前記注意力バッファは、前記中心に位置する視線が生じる時間が閾値を超えたときに、前記瞬間ごとのバッファ値の前記算出中に減少率を適用することによって、前記中心に位置する視線が長すぎることを考慮に入れる、システム。
  12. 請求項1に記載のシステムにおいて、
    前記少なくとも1つのプロセッサは、前記連続的に出力された、算出された瞬間ごとのバッファ値を、閾値と比較するようにさらに動作可能であり、
    前記少なくとも1つのプロセッサが、前記車両、前記車両の前記操作者、および前記少なくとも1つのプロセッサからの前記指示を受信するように構成された受信機のうちの少なくとも1つに指示を提供するように動作可能であることは、提供される前記指示が、前記算出された瞬間ごとのバッファ値と前記閾値との比較に基づいて選択されることをさらに含む、システム。
  13. 請求項12に記載のシステムにおいて、
    前記少なくとも1つのプロセッサは、車両性能、前記車両の自動化状態、道路およびその状態、環境データ、周辺データ、ならびにユーザデータのうちの少なくとも1つを考慮して前記閾値を調節するようにさらに動作可能である、システム。
  14. 請求項1に記載のシステムにおいて、
    注意力バッファは、前記瞬間バッファ値に影響を与える複数の変数を有する等式を含み、前記複数の変数は、瞬間ごとのバッファ値間の比率を、可変レートで増減させるように構成されている、システム。
  15. 請求項1に記載のシステムにおいて、
    前記注意力バッファは、前記瞬間バッファ値に影響を与える複数の変数を有する等式を含み、前記複数の変数は、
    (1)増加率;
    (2)減少率;
    (3)初期値開始;
    (4)切替コスト;
    (5)バッファ値範囲;および、
    (6)場所に基づくレイテンシ、
    のうちの少なくとも1つを含み、
    前記少なくとも1つのプロセッサは、前記車両および前記車両の前記操作者のうちの少なくとも一方に関連する以下の要因:
    (1)状況に応じた広範な要求;
    (2)即時タスク要求;および、
    (3)情報処理状態、
    のうちの少なくとも1つに基づいて、前記瞬間ごとのバッファ値を算出するために依存する前記複数の変数のうちの1つ以上の変数を選択するようにさらに動作可能である、システム。
  16. 請求項15に記載のシステムにおいて、
    前記注意力バッファの前記等式は、前記路上視線の持続時間、および前記路外視線の持続時間を考慮に入れる、システム。
  17. 請求項15に記載のシステムにおいて、
    前記注意力バッファの前記等式は、視線推移を考慮に入れる、システム。
  18. 請求項1に記載のシステムにおいて、
    前記少なくとも1つのプロセッサは、前記車両の運転中に前記車両の前記操作者が行う変更および前記車両の周辺の環境に対する変化の両方に基づいて、前記車両、前記車両の前記操作者、および前記少なくとも1つのプロセッサからの前記指示を受信するように構成された受信機のうちの少なくとも1つに提供される前記指示を適応させるように構成されている、システム。
  19. 請求項1に記載のシステムにおいて、
    前記少なくとも1つのプロセッサが、前記車両、前記車両の前記操作者、および前記少なくとも1つのプロセッサからの前記指示を受信するように構成された受信機のうちの少なくとも1つに指示を提供するように動作可能であることは、前記少なくとも1つのプロセッサが、ある期間にわたる、前記瞬間ごとのバッファ値を含む指示を前記受信機に提供するように動作可能であることをさらに含み、
    前記受信機は、少なくとも1つのプロフィール決定プロセッサに通信連結され、前記少なくとも1つのプロフィール決定プロセッサは、前記受信機が受信する前記瞬間ごとのバッファ値に基づいて、操作者プロフィールを定めるように構成されている、システム。
  20. 請求項1に記載のシステムにおいて、
    前記少なくとも1つのプロセッサが、前記車両、前記車両の前記操作者、および前記少なくとも1つのプロセッサからの前記指示を受信するように構成された受信機のうちの少なくとも1つに指示を提供するように動作可能であることは、前記少なくとも1つのプロセッサが、ある期間にわたる、前記瞬間ごとのバッファデータを含む指示を前記受信機に提供するように動作可能であることをさらに含み、
    前記受信機は、少なくとも1つのプロフィール決定プロセッサに通信連結され、前記少なくとも1つのプロフィール決定プロセッサは、前記受信機が受信する前記瞬間ごとのバッファ値の少なくともいくつかの部分から算出された、平均、モード、可変性、移動平均窓、標準偏差、分布サマリー、瞬間ごとの集合プロット、スペクトル幅およびパワーのフーリエ解析を含む高度な指標、ならびに記号集約近似のうちの少なくとも1つに基づいて、グローバルプロフィールを定めるように構成されている、システム。
  21. 請求項1に記載のシステムにおいて、
    前記少なくとも1つのプロセッサは、前記車両、前記車両の前記操作者、および前記車両の周辺の環境のうちの少なくとも1つに関する、前記少なくとも1つのプロセッサが学習した情報に基づいて、前記注意力バッファを調節するように構成された、人工知能コンポーネントをさらに含む、システム。
  22. 請求項1に記載のシステムにおいて、
    前記少なくとも1つのプロセッサが、前記車両、前記車両の前記操作者、および前記少なくとも1つのプロセッサからの前記指示を受信するように構成された受信機のうちの少なくとも1つに指示を提供するように動作可能であることは、前記少なくとも1つのプロセッサが、保険料控除および保険料率のうちの少なくとも一方を決定することに関連する情報を含む前記指示を前記受信機に提供するように動作可能であることをさらに含む、システム。
  23. 資源配分をリアルタイムで評価する方法において、
    ある期間にわたって生じたユーザの複数の視線に関する情報を、リアルタイムで受信することと、
    前記複数の視線のそれぞれを、オンターゲット視線またはオフターゲット視線として分類することと、
    前記複数の視線のうちの分類された前記視線に基づいて注意力バッファの瞬間ごとのバッファ値を連続的に算出することであって、前記注意力バッファは、前記ユーザの認識レベルに対応する、ある範囲の値である、ことと、
    算出された前記瞬間ごとのバッファ値が前記方法の実行中の任意の時点において分かるように、前記算出された瞬間ごとのバッファ値を連続的に出力することと、
    以下:
    連続的に出力された、前記算出された瞬間ごとのバッファ値に基づいて、指示を提供すること、および、
    ある期間にわたる、前記連続的に出力された、算出された瞬間ごとのバッファ値のうちの、少なくともいくつかの連続的に出力された、算出された瞬間ごとのバッファ値を含むデータを、1つ以上のデータベースに提供すること、
    のうちの少なくとも1つを行うことと、
    を含む、方法。
  24. 請求項23に記載の方法において、
    前記ユーザは、車両の操作者であり、
    前記方法は、前記連続的に出力された、算出された瞬間ごとのバッファ値に基づいて、指示を提供することを含み、
    前記連続的に出力された、算出された瞬間ごとのバッファ値に基づいて、指示を提供することは、前記連続的に出力された、算出された瞬間ごとのバッファ値に基づく指示を、前記車両、前記車両の前記操作者、および前記指示を受信するように構成された受信機のうちの少なくとも1つに提供することをさらに含む、方法。
  25. 請求項24に記載の方法において、
    前記算出された瞬間ごとのバッファ値を連続的に出力すること、ならびに、前記連続的に出力された、算出された瞬間ごとのバッファ値に基づいて、前記車両、前記車両の前記操作者、および前記指示を受信するように構成された受信機のうちの少なくとも1つに指示を提供することのうちの少なくとも一方を行うために、前記車両の1つ以上のコンポーネントと通信することをさらに含み、前記車両の前記1つ以上のコンポーネントは、
    前記車両と関連付けられた1つ以上のアクションを自動化するように構成された自動化システムと、
    前記車両の前記操作者が状況認識を促進するように環境に注意を払うのを効果的に助けるために、前記車両の前記操作者に提供される1つ以上の機能およびコンテンツ;コンテンツが前記操作者に提供される1つ以上の方式;ならびに1つ以上の制御入力の性質のうちの少なくとも1つを変更するように応答するよう構成された、適応インターフェースと、
    前記車両の周辺環境、知識、および前記車両の前記操作者の前記認識レベルのうちの少なくとも1つに応答して、前記車両のパラメータを調節するように構成された、情況認識機能を持った車両制御システムと、
    前記車両の前記操作者に、前記車両および前記車両の向きの制御に関する情報のうちの少なくとも1つを提供するように構成された、車両内ディスプレイと、を含む、方法。
  26. 請求項24に記載の方法において、
    前記車両の運転中に前記車両の前記操作者が行う変更および前記車両の周辺の環境に対する変化のうちの少なくとも1つに基づいて、前記車両、前記車両の前記操作者、および前記指示を受信するように構成された前記受信機のうちの少なくとも1つに提供される前記指示を適応させることをさらに含む、方法。
  27. 請求項23に記載の方法において、
    前記方法は、前記連続的に出力された、算出された瞬間ごとのバッファ値に基づいて、指示を提供することを含み、
    前記連続的に出力された、算出された瞬間ごとのバッファ値に基づいて、指示を提供することは、
    (1)前記ユーザの前記認識レベルを変化させるように構成された指示を提供すること、
    (2)連続的に出力された、算出された瞬間ごとのバッファ値に応答して自動化システムの1つ以上のパラメータを調節するように、前記自動化システムに指示を提供すること、
    (3)前記ユーザとの情報交換を増やすように指示を提供すること、
    のうちの少なくとも1つをさらに含む、方法。
  28. 請求項27に記載の方法において、
    前記ユーザとの情報交換を増やすように指示を提供することは、前記ユーザとの情報交換を抑制するように指示を提供することをさらに含む、方法。
  29. 請求項23に記載の方法において、
    複数の視線に関するリアルタイムで受信された前記情報は、頻度、持続時間、および場所をさらに含む、方法。
  30. 請求項23に記載の方法において、
    前記複数の視線からの分類された前記視線に基づいて注意力バッファの瞬間ごとのバッファ値を連続的に算出することは、ある期間にわたる、分類された前記オンターゲット視線および分類された前記オフターゲット視線を互いにつなげることをさらに含み、前記分類されたオンターゲット視線および前記分類されたオフターゲット視線は、前記分類されたオンターゲット視線およびオフターゲット視線それぞれの持続時間を含む、方法。
  31. 請求項23に記載の方法において、
    前記複数の視線のそれぞれを、オンターゲット視線またはオフターゲット視線として分類することは、
    前記オンターゲット視線のそれぞれを、中心に位置する視線または周辺に位置する視線として分類することと、
    前記オフターゲット視線のそれぞれを、状況認識関連視線または状況認識無関係視線として分類することと、をさらに含む、方法。
  32. 請求項31に記載の方法において、
    前記ユーザは、車両の操作者であり、
    前記状況認識関連視線は、以下の場所:バックミラー、サイドミラー、死角、車両性能、前記車両の自動化状態、道路およびその状態、環境データ、周辺データ、およびユーザデータのうちの少なくとも1つに関する情報が表示される、車両内ディスプレイの一部、ならびに、道路およびその状態、環境データ、および周辺データのうちの少なくとも1つに関する情報が表示される、前記車両の外側の場所、のうちの1つにおける視線を含む、方法。
  33. 請求項31に記載の方法において、
    前記オフターゲット視線が状況認識関連視線または一連の状況認識関連視線である場合、注意力バッファの瞬間ごとのバッファ値を連続的に算出することは、遅延期間が終了し、前記状況認識関連視線が依然として現在の分類された視線となるまで、前記注意力バッファの減少率の適用を遅延させることをさらに含む、方法。
  34. 請求項31に記載の方法において、
    前記オンターゲット視線が中心に位置する視線である場合、注意力バッファの瞬間ごとのバッファ値を連続的に算出することは、前記中心に位置する視線が生じる時間が閾値を超えたときに、前記注意力バッファの減少率を適用することをさらに含む、方法。
  35. 請求項23に記載の方法において、
    前記連続的に出力された、算出された瞬間ごとのバッファ値を閾値と比較することをさらに含み、
    前記方法は、前記連続的に出力された、算出された瞬間ごとのバッファ値に基づいて、指示を提供することを含み、
    提供される前記指示は、前記算出された瞬間ごとのバッファ値と前記閾値との比較に基づいて選択される、方法。
  36. 請求項35に記載の方法において、
    車両性能、前記車両の自動化状態、道路およびその状態、環境データ、周辺データ、ならびにユーザデータのうちの少なくとも1つを考慮して前記閾値を調節することをさらに含む、方法。
  37. 請求項23に記載の方法において、
    前記注意力バッファは、前記瞬間ごとのバッファ値に影響を与える複数の変数を有する等式を含み、前記複数の変数は、瞬間ごとのバッファ値間の比率を、可変レートで増減させるように構成される、方法。
  38. 請求項23に記載の方法において、
    前記注意力バッファは、前記瞬間ごとのバッファ値に影響を与える複数の変数を有する等式を含み、前記複数の変数は、
    (1)増加率;
    (2)減少率;
    (3)初期値開始;
    (4)切替コスト;
    (5)視線速度減少の存在;および
    (6)場所に基づくレイテンシ、
    のうちの少なくとも1つを含み、
    前記方法は、以下の要因:
    (1)状況に応じた広範な要求;
    (2)即時タスク要求;および、
    (3)情報処理状態
    のうちの少なくとも1つに基づいて、前記瞬間ごとのバッファ値の算出を実行するために依存する前記複数の変数のうちの1つ以上の変数を選択することをさらに含む、方法。
  39. 請求項38に記載の方法において、
    前記注意力バッファの前記等式は、前記オンターゲット視線の持続時間、および前記オフターゲット視線の持続時間を考慮に入れる、方法。
  40. 請求項38に記載の方法において、
    前記注意力バッファの前記等式は、視線推移を考慮に入れる、方法。
  41. 請求項23に記載の方法において、
    前記ユーザは、車両の操作者であり、
    前記方法は、ある期間にわたる、前記連続的に出力された、算出された瞬間ごとのバッファ値のうちの、少なくともいくつかの連続的に出力された、算出された瞬間ごとのバッファ値を含むデータを、1つ以上のデータベースに提供することを含み、
    提供される前記データは、受信された前記瞬間ごとのバッファ値に基づいて、操作者プロフィールを定めるのに使用されるように構成される、方法。
  42. 請求項23に記載の方法において、
    前記ユーザは、車両の操作者であり、
    前記方法は、ある期間にわたる、前記連続的に出力された、算出された瞬間ごとのバッファ値のうちの、少なくともいくつかの連続的に出力された、算出された瞬間ごとのバッファ値を含むデータを、1つ以上のデータベースに提供することを含み、
    提供される前記データは、受信された前記瞬間ごとのバッファ値の少なくともいくつかの部分から算出された、平均、モード、可変性、移動平均窓、標準偏差、分布サマリー、瞬間ごとの集合プロット、スペクトル幅およびパワーのフーリエ解析を含む高度な指標、ならびに記号集約近似のうちの少なくとも1つに基づいて、グローバルプロフィールを定めるのに使用されるように構成される、方法。
  43. 請求項23に記載の方法において、
    前記ユーザおよび前記ユーザに影響を与える環境のうちの少なくとも1つに関する、学習情報に基づいて、前記注意力バッファを調節するように、人工知能コンポーネントを動作させることをさらに含む、方法。
  44. 請求項23に記載の方法において、
    前記ユーザは、車両の操作者であり、
    前記方法は、ある期間にわたる、前記連続的に出力された、算出された瞬間ごとのバッファ値のうちの、少なくともいくつかの連続的に出力された、算出された瞬間ごとのバッファ値を含むデータを、1つ以上のデータベースに提供することを含み、
    提供される前記データは、保険料控除および保険料率のうちの少なくとも一方を決定することに関連する情報を含む、方法。
  45. 資源を配分する方法において、
    一時的バッファ値を定量化するのに使用される、オンターゲット視線またはオフターゲット視線として視線を分類することを含み、
    前記視線がオンターゲット視線として分類された場合、前記方法は、
    直前の視線がオンターゲット視線であったかまたはオフターゲット視線であったかを決定することと、
    前記視線について一時的バッファ値を決定することと、
    前記直前の視線がオフターゲット視線であった場合、前記オフターゲット視線から前記オンターゲット視線への移動と関連付けられた推移を考慮に入れることと、をさらに含み、
    前記視線がオフターゲット視線として分類された場合、前記方法は、
    前記オフターゲット視線を状況認識関連視線または状況認識無関係視線であるとして分類することと、
    前記視線について一時的バッファ値を決定することと、をさらに含み、
    前記オフターゲット視線が状況認識関連視線であった場合、前記視線について一時的バッファ値を決定することは、レイテンシを考慮に入れることをさらに含む、方法。
  46. 請求項45に記載の方法において、
    前記視線がオンターゲット視線である場合、前記方法は、前記オンターゲット視線を、中心に位置する視線または周辺に位置する視線として分類することをさらに含み、
    前記オンターゲット視線が中心に位置する視線である場合、前記視線について一時的バッファ値を決定することは、連続的な中心に位置する視線の持続時間が閾値時間を超える場合を考慮に入れることをさらに含み、
    前記オンターゲット視線が周辺に位置する視線である場合、前記視線について一時的バッファ値を決定することは、最初に決定された一時的バッファ値、最大バッファ値、および前記オンターゲット視線と関連付けられた増加値のうちの少なくとも1つに基づいて、前記視線について前記一時的バッファ値を決定することをさらに含む、方法。
  47. 請求項46に記載の方法において、
    前記オンターゲット視線が中心に位置する視線である場合、前記視線について一時的バッファ値を決定することは、
    (1)前記連続的な中心に位置する視線の前記持続時間を決定することと、
    (2)前記連続的な中心に位置する視線の前記持続時間を、前記閾値時間と比較することと、
    (3)前記連続的な中心に位置する視線の前記持続時間が、前記閾値時間以上である場合に:
    (a)最初に決定された一時的バッファ値を、オンターゲットバッファ減少下限値と比較し、
    (b)前記最初に決定された一時的バッファ値が前記オンターゲットバッファ減少下限値より大きい場合、前記視線について一時的バッファ値を決定することは、前記一時的バッファ値を、前記オンターゲット視線と関連付けられた減少値未満の前記最初に決定された一時的バッファ値として設定することをさらに含み、
    (c)前記最初に決定された一時的バッファ値が前記オンターゲットバッファ減少下限値以下である場合、前記視線について一時的バッファ値を決定することは、前記一時的バッファ値を前記オンターゲットバッファ減少下限値として設定することをさらに含む、ことと、
    (4) 前記連続的な中心に位置する視線の前記持続時間が前記閾値時間未満である場合、前記視線について前記一時的バッファ値を決定することは、前記最初に決定された一時的バッファ値、前記最大バッファ値、および前記オンターゲット視線と関連付けられた増加値のうちの少なくとも1つに基づいて、前記視線について前記一時的バッファ値を決定することをさらに含むことと、
    をさらに含む、方法。
  48. 請求項45に記載の方法において、
    前記視線がオフターゲット視線である場合、前記視線について一時的バッファ値を決定することは、最初に決定された一時的バッファ値、最小バッファ値、および前記オフターゲット視線と関連付けられた減少値のうちの少なくとも1つに基づく、方法。
  49. 請求項48に記載の方法において、
    前記オフターゲット視線が状況認識関連視線として分類された場合、前記視線について一時的バッファ値を決定することは、
    (1)前記一時的バッファ値と関連付けられたレイテンシ値を決定することと、
    (2)決定された前記レイテンシ値を閾値レイテンシ値と比較することと、をさらに含み、
    (3)前記決定されたレイテンシ値が前記閾値レイテンシ値以下である場合、前記視線について一時的バッファ値を決定することは、前記一時的バッファ値を前記最初に決定された一時的バッファ値として設定することをさらに含み、
    (4)前記決定されたレイテンシ値が前記閾値レイテンシ値超である場合、
    (a)前記最初に決定された一時的バッファ値を前記最小バッファ値と比較し、
    (b)前記最初に決定された一時的バッファ値が前記最小バッファ値以下である場合、前記視線について一時的バッファ値を決定することは、前記一時的バッファ値を前記最小バッファ値として設定することをさらに含み
    (c)前記最初に決定された一時的バッファ値が前記最小バッファ値超である場合、前記視線について一時的バッファ値を決定することは、前記一時的バッファ値を、前記オフターゲット視線と関連付けられた減少値未満の、前記最初に決定された一時的バッファ値として設定することをさらに含む、方法。
  50. 請求項48に記載の方法において、
    前記オフターゲット視線が状況認識無関係視線として分類された場合、前記視線について一時的バッファ値を決定することは、
    前記最初に決定された一時的バッファ値を前記最小バッファ値と比較することをさらに含み、
    前記最初に決定された一時的バッファ値が前記最小バッファ値以下である場合、前記視線について一時的バッファ値を決定することは、前記一時的バッファ値を前記最小バッファ値として設定することをさらに含み、
    前記最初に決定された一時的バッファ値が前記最小バッファ値超である場合、前記視線について一時的バッファ値を決定することは、前記一時的バッファ値を、前記オフターゲット視線と関連付けられた減少値未満の、前記最初に決定された一時的バッファ値として設定することをさらに含む、方法。
  51. 請求項45に記載の方法において、
    前記オフターゲット視線から前記オンターゲット視線への移動と関連付けられた推移を考慮に入れることは、
    前記オンターゲット視線の情報抽出レイテンシ値を決定することと、
    前記情報抽出レイテンシ値を閾値情報抽出レイテンシ値と比較することと、をさらに含み、
    前記情報抽出レイテンシ値が前記閾値情報抽出レイテンシ値未満である場合、前記視線について一時的バッファ値を決定することとは、前記一時的バッファ値を前記最初に決定された一時的バッファ値として設定することをさらに含み、
    前記情報抽出レイテンシ値が前記閾値情報抽出レイテンシ値以上である場合、前記方法は、前記オンターゲット視線を、中心に位置する視線または周辺に位置する視線であるとして分類することをさらに含み、
    前記オンターゲット視線が中心に位置する視線である場合、前記視線について一時的バッファ値を決定することは、連続的な中心に位置する視線の持続時間が閾値時間を超える場合を考慮に入れることをさらに含み、
    前記オンターゲット視線が周辺に位置する視線である場合、前記視線について一時的バッファ値を決定することは、最初に決定された一時的バッファ値、最大バッファ値、および前記オンターゲット視線と関連付けられた増加値のうちの少なくとも1つに基づいて、前記視線について前記一時的バッファ値を決定することをさらに含む、方法。
  52. 請求項45に記載の方法において、
    決定された前記一時的バッファ値を記憶することと、
    前記決定された一時的バッファ値をエクスポートすることと、
    1つ以上の後続の一時的バッファ値を決定するために請求項45に記載のステップを繰り返すことと、をさらに含む、方法。
  53. 請求項45に記載の方法において、
    前記視線について一時的バッファ値を決定することと共に使用される、1つ以上の閾値を調節することをさらに含む、方法。
  54. 請求項53に記載の方法において、
    前記1つ以上の閾値は、連続的な同じ場所の視線の持続時間と関連付けられた閾値時間、1つ以上の一時的バッファ値と関連付けられた閾値レイテンシ値、および前記視線と関連付けられた閾値情報抽出レイテンシ値のうちの少なくとも1つを含む、方法。
  55. 請求項45に記載の方法において、
    分類される前記視線は、車両を運転する間になす視線である、方法。
  56. 請求項55に記載の方法において、
    決定された前記一時的バッファ値を、操作者プロフィールを定めるように構成された1つ以上のデータベースに提供することと、
    1つ以上の後続の一時的バッファ値を決定するために請求項45に記載のステップを繰り返すことと、
    決定された前記1つ以上の後続の一時的バッファ値を、操作者プロフィールを定めるように構成された前記1つ以上のデータベースに提供することであって、前記操作者プロフィールは、提供される前記決定された一時的バッファ値および前記決定された1つ以上の後続の一時的バッファ値に基づいて定められる、ことと、をさらに含む、方法。
  57. 請求項55に記載の方法において、
    決定された前記一時的バッファ値を、グローバルプロフィールを定めるように構成された1つ以上のデータベースに提供することと、
    1つ以上の後続の一時的バッファ値を決定するために請求項45に記載のステップを繰り返すことと、
    決定された前記1つ以上の後続の一時的バッファ値を、グローバルプロフィールを定めるように構成された前記1つ以上のデータベースに提供することであって、前記グローバルプロフィールは、前記決定された一時的バッファ値および前記1つ以上の後続の一時的バッファ値の少なくともいくつかの部分から算出された、平均、モード、可変性、移動平均窓、標準偏差、分布サマリー、瞬間ごとの集合プロット、スペクトル幅およびパワーのフーリエ解析を含む高度な指標、ならびに記号集約近似のうちの少なくとも1つに基づいて、定められる、ことと、をさらに含む、方法。
  58. 請求項55に記載の方法において、
    決定された前記一時的バッファ値を、保険料控除および保険料率のうちの少なくとも1つを決定するのに使用されるように構成された1つ以上のデータベースに提供することをさらに含む、方法。
  59. 請求項45に記載の方法において、
    前記視線について一時的バッファ値を決定することと共に使用される1つ以上の閾値を調節するために人工知能コンポーネントを動作させることをさらに含む、方法。
  60. 請求項59に記載の方法において、
    前記1つ以上の閾値の調節は、ユーザおよび前記ユーザに影響を与える環境のうちの少なくとも1つに関する、学習情報に基づく、方法。
JP2019530379A 2016-08-19 2017-08-21 資源配分管理を改善するために注意力バッファを使用するシステムおよび方法 Active JP7139331B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662377016P 2016-08-19 2016-08-19
US62/377,016 2016-08-19
PCT/US2017/047841 WO2018035533A2 (en) 2016-08-19 2017-08-21 Systems and methods for using an attention buffer to improve resource allocation management

Publications (3)

Publication Number Publication Date
JP2019528217A true JP2019528217A (ja) 2019-10-10
JP2019528217A5 JP2019528217A5 (ja) 2020-10-01
JP7139331B2 JP7139331B2 (ja) 2022-09-20

Family

ID=59966816

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019530379A Active JP7139331B2 (ja) 2016-08-19 2017-08-21 資源配分管理を改善するために注意力バッファを使用するシステムおよび方法

Country Status (4)

Country Link
US (1) US10525984B2 (ja)
EP (1) EP3500466A2 (ja)
JP (1) JP7139331B2 (ja)
WO (1) WO2018035533A2 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3500975A1 (en) 2016-08-19 2019-06-26 Massachusetts Institute of Technology Systems and methods for providing visual allocation management
DE202017105761U1 (de) 2016-10-20 2018-03-19 Google LLC (n.d.Ges.d. Staates Delaware) Automatische Schrittsteuerung der Interaktion eines Fahrers mit Inhalten
WO2018158941A1 (ja) * 2017-03-03 2018-09-07 三菱電機株式会社 情報技術活用評価装置および情報技術活用評価方法
US10384602B1 (en) * 2017-06-14 2019-08-20 United Services Automobile Association Systems and methods for detecting and reducing distracted driving
US10438074B2 (en) * 2017-06-14 2019-10-08 Baidu Usa Llc Method and system for controlling door locks of autonomous driving vehicles based on lane information
JP7006326B2 (ja) * 2018-02-01 2022-01-24 トヨタ自動車株式会社 自動運転システム
JP7099037B2 (ja) * 2018-05-07 2022-07-12 オムロン株式会社 データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
US10744652B2 (en) * 2018-05-22 2020-08-18 Hiwin Technologies Corp. Adaptive method for controlling an electric gripper, and the electric gripper
US10655978B2 (en) * 2018-06-27 2020-05-19 Harman International Industries, Incorporated Controlling an autonomous vehicle based on passenger behavior
JP2020038434A (ja) * 2018-09-03 2020-03-12 日本電信電話株式会社 リソース割当装置、リソース割当方法およびリソース割当プログラム
US11365975B2 (en) * 2018-09-27 2022-06-21 Honda Motor Co., Ltd. Visual confirmation system for driver assist system
US11498591B2 (en) * 2019-09-13 2022-11-15 Honda Motor Co., Ltd. System and method for providing adaptive trust calibration in driving automation
US11826146B2 (en) 2019-10-10 2023-11-28 Waymo Llc Psychomotor vigilance testing for persons tasked with monitoring autonomous vehicles
US11110940B2 (en) 2019-12-06 2021-09-07 Wipro Limited Method and system for generating touch-based alerts to a driver in a vehicle
DE102020113712A1 (de) 2020-05-20 2021-11-25 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Bestimmen eines Interessensortes eines Fahrzeuginsassen
CN114380007B (zh) * 2021-12-27 2024-02-20 烟台杰瑞石油服务集团股份有限公司 一种输砂系统的控制方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002331850A (ja) * 2001-05-07 2002-11-19 Nissan Motor Co Ltd 運転行動意図検出装置
JP2005180196A (ja) * 2003-12-16 2005-07-07 Nissan Motor Co Ltd 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP2016048550A (ja) * 2014-08-27 2016-04-07 トヨタ自動車株式会社 ドライバの注意評価に基づく空間情報の提示

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5465079A (en) 1992-08-14 1995-11-07 Vorad Safety Systems, Inc. Method and apparatus for determining driver fitness in real time
EP1214677A2 (en) 1999-09-09 2002-06-19 Accenture LLP Attention management
JP2002073990A (ja) * 2000-06-15 2002-03-12 Matsushita Electric Ind Co Ltd 保険内容調整システム
US6950027B2 (en) 2000-08-23 2005-09-27 Siemens Vdo Automotive Corporation Method to alert drowsy driver
US6879969B2 (en) 2001-01-21 2005-04-12 Volvo Technological Development Corporation System and method for real-time recognition of driving patterns
US6496117B2 (en) 2001-03-30 2002-12-17 Koninklijke Philips Electronics N.V. System for monitoring a driver's attention to driving
AU2003211065A1 (en) 2002-02-19 2003-09-09 Volvo Technology Corporation System and method for monitoring and managing driver attention loads
KR20040017465A (ko) * 2002-08-21 2004-02-27 주식회사 텔사인 스마트카드를 이용한 자동차 보험료 산정 방법 및 시스템
WO2004034905A1 (en) * 2002-10-15 2004-04-29 Volvo Technology Corporation Method and arrangement for interpreting a subjects head and eye activity
US6882906B2 (en) 2002-10-31 2005-04-19 General Motors Corporation Vehicle information and interaction management
US6998972B2 (en) 2002-10-31 2006-02-14 General Motors Corporation Driving workload estimation
US7639148B2 (en) 2003-06-06 2009-12-29 Volvo Technology Corporation Method and arrangement for controlling vehicular subsystems based on interpreted driver activity
EP1914106A3 (en) 2003-06-06 2008-09-24 Volvo Technology Corporation An attention management system and method
DE60317668T2 (de) 2003-09-03 2008-12-04 Ford Global Technologies, LLC, Dearborn Verfahren und Vorrichtung zur Schätzung der Belastung eines Fahrers
CN1879135B (zh) 2003-11-30 2010-07-14 沃尔沃技术公司 用于识别驾驶员机能障碍的方法和系统
AU2003300514A1 (en) 2003-12-01 2005-06-24 Volvo Technology Corporation Perceptual enhancement displays based on knowledge of head and/or eye and/or gaze position
WO2005098777A1 (en) 2004-03-22 2005-10-20 Volvo Technology Corporation Method and system for perceptual suitability test of a driver
US20080143504A1 (en) 2004-12-16 2008-06-19 Angel Ricardo Martin Alvarez Device to Prevent Accidents in Case of Drowsiness or Distraction of the Driver of a Vehicle
US7532958B2 (en) 2005-06-24 2009-05-12 General Motors Corporation Method for real-time assessment of driver workload by a navigation or telematics device
US7463961B2 (en) 2005-06-30 2008-12-09 General Motors Corporation Method for adapting lockout of navigation and audio system functions while driving
US7394393B2 (en) 2005-08-02 2008-07-01 Gm Global Technology Operations, Inc. Adaptive driver workload estimator
US7423540B2 (en) 2005-12-23 2008-09-09 Delphi Technologies, Inc. Method of detecting vehicle-operator state
US7428449B2 (en) 2006-03-14 2008-09-23 Temic Automotive Of North America, Inc. System and method for determining a workload level of a driver
US7751960B2 (en) 2006-04-13 2010-07-06 Gm Global Technology Operations, Inc. Driver workload-based vehicle stability enhancement control
CN101466305B (zh) * 2006-06-11 2012-05-30 沃尔沃技术公司 用于确定和分析视觉兴趣位置的方法
US7468673B2 (en) 2006-06-23 2008-12-23 Delphi Technologies, Inc. System and method for determining whether a vehicle operator has an impaired cognitive state
US7639699B2 (en) 2006-08-04 2009-12-29 Cisco Technology, Inc. Technique for sharing a physical port among a plurality of virtual bridges on a switch in a computer network
US7880621B2 (en) 2006-12-22 2011-02-01 Toyota Motor Engineering & Manufacturing North America, Inc. Distraction estimator
US7777619B2 (en) 2007-04-11 2010-08-17 Ford Global Technologies, Llc System and method for implementing active safety counter measures for an impaired driver
US7894953B2 (en) 2007-04-13 2011-02-22 Gm Global Technology Operations, Llc Interior component management of a vehicle via occupant monitoring
US8786675B2 (en) * 2008-01-23 2014-07-22 Michael F. Deering Systems using eye mounted displays
US8160811B2 (en) * 2008-06-26 2012-04-17 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system to estimate driving risk based on a hierarchical index of driving
CN101722852A (zh) 2008-10-28 2010-06-09 深圳富泰宏精密工业有限公司 行车安全监控装置及方法
US9376018B2 (en) 2009-05-13 2016-06-28 GM Global Technology Operations LLC System and method for determining when a task may be performed on a vehicle
US9135825B2 (en) * 2010-02-22 2015-09-15 Toyota Jidosha Kabushiki Kaisha Risk degree calculation device
US20110276628A1 (en) 2010-05-05 2011-11-10 Microsoft Corporation Social attention management
US9213522B2 (en) 2010-07-29 2015-12-15 Ford Global Technologies, Llc Systems and methods for scheduling driver interface tasks based on driver workload
US8749350B2 (en) 2010-12-10 2014-06-10 General Motors Llc Method of processing vehicle crash data
WO2012135384A2 (en) 2011-03-28 2012-10-04 Net Power And Light, Inc. Information mixer and system control for attention management
US8994522B2 (en) 2011-05-26 2015-03-31 General Motors Llc Human-machine interface (HMI) auto-steer based upon-likelihood to exceed eye glance guidelines
EP2564765B1 (en) 2011-09-02 2017-12-13 Volvo Car Corporation System and method for improving a performance estimation of an operator of a vehicle
US9251704B2 (en) 2012-05-29 2016-02-02 GM Global Technology Operations LLC Reducing driver distraction in spoken dialogue
US10692045B2 (en) 2012-05-31 2020-06-23 International Business Machines Corporation Intelligent attention management for unified messaging
CA2877453A1 (en) * 2012-06-21 2013-12-27 Cellepathy Ltd. Device context determination
US20150177010A1 (en) * 2013-08-23 2015-06-25 Cellepathy Ltd. Suppressed navigation instructions
CN104641406B (zh) 2012-09-17 2017-07-14 沃尔沃卡车集团 用于向车辆驾驶员提供指导消息的方法和系统
CN104756173B (zh) 2012-09-17 2018-02-06 沃尔沃拉斯特瓦格纳公司 用于将基于背景的指导消息提供给汽车驾驶员的方法
US9405982B2 (en) 2013-01-18 2016-08-02 GM Global Technology Operations LLC Driver gaze detection system
KR101736306B1 (ko) * 2013-02-27 2017-05-29 한국전자통신연구원 차량과 운전자간 협력형 자율 주행 장치 및 방법
US20140347458A1 (en) 2013-05-23 2014-11-27 Ford Global Technologies, Llc Cellular phone camera for driver state estimation
US9481373B2 (en) * 2013-10-14 2016-11-01 Ims Solutions, Inc. Behavior based driving record management and rehabilitation
US9832787B2 (en) 2015-07-31 2017-11-28 International Business Machines Corporation Attention management
US20170088165A1 (en) 2015-09-29 2017-03-30 GM Global Technology Operations LLC Driver monitoring
US10467824B2 (en) * 2016-04-26 2019-11-05 Walter Steven Rosenbaum Method for determining driving characteristics of a vehicle and vehicle analyzing system
EP3500975A1 (en) 2016-08-19 2019-06-26 Massachusetts Institute of Technology Systems and methods for providing visual allocation management

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002331850A (ja) * 2001-05-07 2002-11-19 Nissan Motor Co Ltd 運転行動意図検出装置
JP2005180196A (ja) * 2003-12-16 2005-07-07 Nissan Motor Co Ltd 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP2016048550A (ja) * 2014-08-27 2016-04-07 トヨタ自動車株式会社 ドライバの注意評価に基づく空間情報の提示

Also Published As

Publication number Publication date
WO2018035533A2 (en) 2018-02-22
US10525984B2 (en) 2020-01-07
JP7139331B2 (ja) 2022-09-20
EP3500466A2 (en) 2019-06-26
US20180072327A1 (en) 2018-03-15

Similar Documents

Publication Publication Date Title
JP7139331B2 (ja) 資源配分管理を改善するために注意力バッファを使用するシステムおよび方法
US11688203B2 (en) Systems and methods for providing visual allocation management
US11507086B2 (en) Manual control re-engagement in an autonomous vehicle
US11787417B2 (en) Assessing driver ability to operate an autonomous vehicle
US11249544B2 (en) Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness
CN112041910B (zh) 信息处理装置、移动设备、方法和程序
US9956963B2 (en) Apparatus for assessing, predicting, and responding to driver fatigue and drowsiness levels
WO2019151266A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
JP7431223B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
WO2021145131A1 (ja) 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
US10764536B2 (en) System and method for a dynamic human machine interface for video conferencing in a vehicle
US10981575B2 (en) System and method for adaptive advanced driver assistance system with a stress driver status monitor with machine learning
CN116034408A (zh) 信息处理设备、信息处理方法和信息处理程序
EP4042322A1 (en) Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness
RU2703341C1 (ru) Способ определения опасных состояний на дорогах общего пользования на основе мониторинга ситуации в кабине транспортного средства
US20240051585A1 (en) Information processing apparatus, information processing method, and information processing program
Alomari Human-centric detection and mitigation approach for various levels of cell phone-based driver distractions

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200820

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211026

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220907

R150 Certificate of patent or registration of utility model

Ref document number: 7139331

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150