JP2023057058A - 関連度依存の刺激変調を用いた支援システム - Google Patents

関連度依存の刺激変調を用いた支援システム Download PDF

Info

Publication number
JP2023057058A
JP2023057058A JP2022161865A JP2022161865A JP2023057058A JP 2023057058 A JP2023057058 A JP 2023057058A JP 2022161865 A JP2022161865 A JP 2022161865A JP 2022161865 A JP2022161865 A JP 2022161865A JP 2023057058 A JP2023057058 A JP 2023057058A
Authority
JP
Japan
Prior art keywords
signal
relevance
risk
vehicle
recipient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022161865A
Other languages
English (en)
Inventor
クリューガー,マッティ
Krueger Matti
正行 佐藤
Masayuki Sato
雄大 松岡
Takahiro Matsuoka
剛史 野尻
Takeshi Nojiri
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Research Institute Europe GmbH
Honda Motor Co Ltd
Original Assignee
Honda Research Institute Europe GmbH
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Research Institute Europe GmbH, Honda Motor Co Ltd filed Critical Honda Research Institute Europe GmbH
Publication of JP2023057058A publication Critical patent/JP2023057058A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/161Decentralised systems, e.g. inter-vehicle communication
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G3/00Traffic control systems for marine craft
    • G08G3/02Anti-collision systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/229Attention level, e.g. attentive to driving, reading or sleeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4046Behavior, e.g. aggressive or erratic

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Ocean & Marine Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】関連度依存の刺激変調を用いた支援システムを提供すること。【解決手段】動的環境において人がタスクを実行するのを支援するための方法が、動的環境に関するデータを取得するステップと、取得されたデータに基づいて、動的環境における物体または事象の少なくとも1つの挙動を予測するステップとを含む。方法は、予測に基づいて、物体または事象の少なくとも1つの挙動の関連度測定値を決定することによって進行する。次に、変調信号が生成され、変調信号は、少なくとも1つの信号パラメータを、決定された関連度の関数として変更する。次に、変調信号を用いて少なくとも1つの方向刺激信号を変調する。少なくとも1つの変調された方向刺激信号は、被支援者に対する物体または事象の予測される少なくとも1つの挙動の方向にさらに依存する。次に、少なくとも1つの変調された刺激信号が、被支援者に出力される。【選択図】図2

Description

本発明は、移動性関連タスクにおいて人を支援するための支援システム、例えば、車両のための支援システムに関する。本発明は、支援システム、支援方法、ならびに支援システムおよび方法のためのヒューマン-マシンインタフェースに関する。
自動車、航空または航海領域においての交通ナビゲーションにおけるオペレータの支援等の、移動性関連タスクのための支援システムは十分確立されている。支援システムは、オペレータの状況評価に、オペレータのナビゲーションスキルに、したがって、被支援者が動作する移動性環境における安全性にプラスに寄与することができる。
タスク関連情報および安全性関連情報の適時の知覚は、人の注意の的となるかまたはこれに影響を与える場合がある複数の要素を含む環境における移動性タスク中に常に保証されるわけではない。例えば、人が自身の車両(「自車両」)のインフォテイメントシステムにおいて再生される音楽を同時に聞きながら自車両を運転している場合、音楽が、運転タスクを行うための関連情報を含む環境からの音と干渉する場合がある。したがって、この音を関連情報と共に知覚することは、人にとってより難しい。
特に、現在の道路交通環境等の高度に動的な環境において、自車両を運転している人によって行われる次のアクションに関する複数の選択肢を有する複雑な状況が生じる。人は、利用可能な全ての関連情報が選択プロセス中に検討されない場合、複数の可能なアクションから効用を最大にする1つの特定のアクションを選択するのが困難である場合がある。例えば、1つの方向において複数の車線を有する道路上の自車両に先行する車両が減速するとき、自車両を運転している人は、場合によってはエネルギー効率を犠牲にして自車両を減速すること、または更なる車線のうちの別の利用可能な車線に変えることの間で選択しなくてはならない場合がある。人による選択は、近い未来における近傍の車線の現在のおよび予測される占有に関する情報に依存する。しかしながら、人が、動的環境における動的に変化する交通シナリオに起因して、現在利用可能な車線に関する情報を十分高速に取得しない場合、自車両の近傍車線への車線変更を可能にする現在存在している間隙が、判定時点においてもはや利用可能でない場合がある。
自動車交通環境に関して、ウェアラブルデバイスの追加によって既存の車両を向上させる手法が現在存在する。ウェアラブルデバイスを用いることによって、さらには車両の安全性も増大させることができる。
米国特許出願公開第2017/0156000号は、自車両と無線で接続するように構成されたウェアラブルイヤホンを開示している。車両に接続されると、イヤホンは運転モードに入る。運転モードにおいて、イヤホンは、イヤホンに関連付けられたマイクロフォンを用いて周囲音を感知し、そのスピーカを用いて感知した周囲音を再現する。イヤホンは、車室内および車室外からの周囲音を含むオーディオストリームを、エンターテイメントシステムまたはインフォテイメントシステムからの更なるオーディオストリーム、および車両状態情報または車両アラート条件に関連付けられたオーディオメッセージと組み合わせることができる。インテリジェント制御システムは、再現されたオーディオストリームのオーディオ特性を変更し、特に、周囲音またはその一部の振幅を低減または増幅することができる。再現されたオーディオストリームのオーディオ特性を変更することは、車両の運転者の特定のアクションを検出すること、または自車両の環境内の他の車両の有無に関するオーディオキューを提供することに依存することができる。
米国特許出願公開第2017/0156000号は、交通シナリオのリスク評価に関して言及していない。米国特許出願公開第2017/0156000号の焦点を表すイヤホンは、被支援者を特定の方向に誘導するための方向刺激を提供する能力を提供しない。被支援者の注意の集中、被支援者の覚醒度、履歴注意パターンまたは他の交通参加者の想定されるターゲットは全て無視される。要するに、米国特許出願公開第2017/0156000号は、動的シーンの予測展開に関する、および可聴情報のみに限定された、の両方の、状況認識の限られた向上を提供する。本質的に、米国特許出願公開第2017/0156000号は、自車両においてイヤホンを装着することの不利点および危険性を克服することを試みたものである。
米国特許第9,650,041号は、運転者の視線ベクトルの検出、ならびに車両の環境における近傍物体の位置およびそれらの速度の検出に基づいて、車両の事故を防ぐための予測ヒューマン-マシンインタフェースを実施する方法を開示する。方法は、検出された周囲環境の下での車両事故リスク、および検出された周囲環境の運転者の状況認識を決定する。方法は、決定された車両事故リスクおよび運転者の状況認識に基づいて車両アラートを起動することができる。方法は、自車両の運転者の運転者経験の決定されたレベル、ならびにさらには天候および交通条件に基づいて、決定された車両事故リスク、運転者の状況認識に基づき車両アラートのタイプを調整することができる。車両アラートのタイプを調整することは、所定のアラートタイプを選択すること、または被支援運転者に最小数のヘルプメッセージのみを提供するか、もしくは全てのヘルプメッセージを提供するかを判定することを含む。アラートタイプは、運転者側のアラートと乗員側のアラートとを区別することができる。方法は、車両アラートおよび運転者経験レベルの調整に関連して自車両のインフォテイメントシステムを少なくとも或る程度ロックアウトすることができる。米国特許第9,650,041号は、車線維持支援システム、衝突軽減ブレーキシステム、ならびに車線変更およびブラインドスポットインジケーションシステム等の事故防止システム(運転支援システム)と組み合わせたヒューマン-マシンインタフェースを開示している。事故防止システムは、決定された車両事故リスクが迅速なアクションを必要とする場合に車両のアクティブな制御を行使することができる。
米国特許第9,650,041号の方法は、アラートを表示するか否か、特定のアラートタイプを選択するか否か、インフォテイメントシステムをロックアウトするか否か、アラートゾーン内の車両を検出するか否か等の二分決定が可能であるという不利点を有する。そのような二分決定およびアラートに基づいた被支援者のサポートは、被支援者の状況認識の低減(「支援システムへの過剰依存」)または被支援者による支援システムの受容度の低減(「不快なアラート」)につながる場合がある。
被支援者がタスクに関連するシーンに自身の注意を集中させるのをサポートすることによって、およびタスクに関するそれらのリスクポテンシャルに応じて支援を提供する、動的環境においてタスクを実行する人を支援するタスクが残されている。この支援により、人の観点から支援の高い受容度が得られる。
第1の態様による人を支援するための方法、第2の態様による支援システム、および第3の態様によるコンピュータプログラムが問題を解決する。
従属請求項は、本発明のさらに有利な実施形態を定義する。
第1の態様において、動的環境において人がタスクを実行するのを支援するための方法が、動的環境に関するデータを取得することと、取得されたデータに基づいて、動的環境における物体または事象の少なくとも1つの挙動を予測することとを含む。方法は、予測に基づいて、物体または事象の少なくとも1つの挙動の関連度測定値を決定するステップに進む。変調信号が生成され、変調信号は、少なくとも1つの信号パラメータを、決定された関連度の関数、好ましくは連続関数として変更する。次に、少なくとも1つの方向刺激信号が、生成された変調信号を用いて変調され、少なくとも1つの変調された方向刺激信号は、被支援者に対する物体または事象の予測される少なくとも1つの挙動の方向にさらに依存する。次に、少なくとも1つの変調された刺激信号は、被支援者に出力される。
第2の態様において、動的環境において人がタスクを実行するのを支援するための支援システムが、動的環境に関するデータを取得するように構成された取得インタフェースを備える。プロセッサが、取得されたデータに基づいて、動的環境における物体または事象の少なくとも1つの挙動を予測し、予測に基づいて、物体または事象の少なくとも1つの挙動の関連度測定値を決定するように構成される。プロセッサは、変調信号を生成し、変調信号は、少なくとも1つの信号パラメータを、決定された関連度の連続関数として変更する。次に、プロセッサは、少なくとも1つの方向刺激信号を、変調信号を用いて変調するように構成され、少なくとも1つの変調された方向刺激信号は、被支援者に対する物体または事象の予測される少なくとも1つの挙動の方向にさらに依存する。システムは、少なくとも1つの変調された刺激信号を、被支援者に出力するように構成された少なくとも1つのアクチュエータをさらに備える。
第3の態様において、本発明は、コンピュータまたはデジタル信号プロセッサにおいて実行されているとき、人を支援するための方法の実施形態のうちの1つによるステップを実行するためのプログラムコード手段を備えた、コンピュータプログラムに関する。
第3の態様は、プログラムがコンピュータまたはデジタル信号プロセッサにおいて実行されているとき、人を支援するための方法の実施形態のうちの1つによるステップを実行するための、機械可読媒体に記憶されたプログラムコード手段を備えたコンピュータプログラム製品に関する場合がある。
第3の態様は、デジタル処理装置に、人を支援するための方法の実施形態による動作を実行させるための、デジタル処理装置によって実行可能な機械可読命令のプログラムを具現化する非一時的コンピュータ可読ストレージ媒体に関する場合がある。
本発明の実施形態の論考は、添付の図面を参照する。
方法の実施形態の支援方法のためのフローチャートを示す図である。 道路交通シナリオにおける本発明の適用を示す図である。 実施形態による、リスク依存の刺激変調曲線と、リスク依存の刺激変調反転曲線とを示す図である。 実施形態による、様々な初期リスクの場合のリスク依存の刺激変調反転曲線を示す図である。 実施形態によるシステムの構造要素の概観を示す図である。
図面は、可能と考えられる場合はいつでも、理解を容易にするために同じ参照符号を用いて同一のまたは対応する要素を指定する。簡潔にするために、異なる図面の同じ参照符号の論考について説明を省く。
本開示は、既知の手法に関していくつかの有利な効果を組み合わせる。タスクに無関係の、または潜在的にタスクから逸れた要因の影響を低減することができる。
環境におけるタスク関連要因のサリエンスを増大させることができる。
被支援者に対するタスクに適した支援を最適化するために、被支援者の注意および注意履歴に関する情報を考慮に入れることができる。
全体的な安全性または効率性ターゲットに従って人に対する支援を最適化するために、動的環境における他のエージェントの想定されるターゲットに関する情報を考慮に入れることが可能である。
可能性のある危険性のソースに対し人の注意を引く手段は当該技術において既知であるが、本方法は、潜在的に(主な)タスクから気を逸らしている被支援者に対する刺激のサリエンスを低下させることによって、既知の手段を上回る改善を行う。被支援者は、標的を絞った信号変調、関連する信号の増幅および方向の対応関係に起因して、動的環境における周囲物体、それらの挙動および予測される事象への参照の自身の理解を改善することができる。さらには、タスクに対する撹乱要因の持続時間を超えてサポートを維持することで、被支援者の長期の需要に対応する。提供される支援を最適化するために、被支援者の注意に関する情報が考慮に入れられる。
性能測定に対し方法が有する最も直接的な影響は、被支援者による動的環境における情報知覚速度の増大をサポートすること、ならびに理解を向上させ、対応する反応を促進することである。これは動的環境における関連情報への容易なアクセスを提供することによって達成可能である。
さらに、支援を駆動する機能は、直接の個人の効用を超える多岐にわたるタスク目標をサポートすることができ、交通規制のプラスの二次的効果をトリガすることができる。
実施形態による方法は、被支援者の状態を決定することと、決定された状態に基づいて、リスク依存の刺激変調を適合させることとを含む。
被支援者の決定された状態は、被支援者の注意状態、被支援者の注意履歴、および被支援者の覚醒度のうちの少なくとも1つを含むことができる。
少なくとも1つの刺激信号は、オーディオ信号、視覚信号および触覚信号のうちの少なくとも1つを含むことができる。
少なくとも1つの刺激信号は、人工刺激信号、特に記録された音信号を含むことができる。
少なくとも1つの信号パラメータは、刺激振幅、刺激周波数、刺激繰返し率、および知覚される信号方向のうちの1つとすることができる。
方向刺激信号の知覚される信号方向は、被支援者によって知覚される方向刺激信号の空間的発生源、または被支援者に関する環境内の予測される挙動または事象に向かう角度方向を含む。
刺激振幅、刺激周波数、刺激繰返し率および知覚される信号方向という用語は、それぞれのパラメータの別個の値のみでなく、それぞれのパラメータ値の範囲も包含する。
1つの実施形態において、少なくとも1つの刺激信号は、オーディオ信号ストリームのうちの少なくとも1つを含み、少なくとも1つの信号パラメータは、オーディオボリュームおよびオーディオ信号周波数帯域のうちの1つである。
実施形態による方法は、被支援者によって知覚可能な更なる刺激を検出することと、少なくとも1つの方向刺激信号を変調する前に、検出された更なる刺激を少なくとも1つの方向刺激信号に含めることとを含む。
被支援者によって知覚可能な更なる刺激を検出することは、事前に、例えば支援システムの設計段階中に予め決定され、例えば動的環境における現在のシナリオにおいて被支援者によって知覚可能であると想定される刺激を含むことができる。一例において、方法は、被支援者、例えば車両の運転者が、車両無線によるオーディオ出力を聞くことができることを想定することができ、方法は、被支援者が実際にオーディオ信号を知覚することができるか否かを実際にチェックすることなく、車両無線によるオーディオ出力を含む刺激信号を変調することができる。代替的にまたはそれに加えて、被支援者によって知覚可能な更なる刺激は、例えば、無線のオーディオ信号出力、実際の状況において、例えば支援方法の実行時間中に被支援者の環境内で運転している別の車両から記録された音を含む刺激を含む。
被支援者によって知覚可能な更なる刺激を検出することは、被支援者に対する潜在的にタスクに無関係な、または注意を逸らす刺激の影響を減少させる基礎をなす。少なくとも1つの方向刺激信号を変調する前に、検出された更なる刺激を少なくとも1つの方向刺激信号に含め、次に、物体または事象の予測される挙動に関して関連する刺激のサリエンスを増大させることにより、被支援者の注意をタスク関連要素に集中することをサポートする。
実施形態による方法において、連続関数は、決定された関連度の増大の場合、被支援者によって知覚される少なくとも1つの刺激信号のサリエンスを連続的に増大させる。代替的にまたはそれに加えて、連続関数は、決定された関連度の増大の場合、被支援者によって知覚される少なくとも1つの方向刺激信号における、物体または事象の予測される挙動に対する知覚される距離を連続的に減少させる。
さらに、連続関数は、決定された関連度の減少の場合、被支援者によって知覚される少なくとも1つの刺激信号のサリエンスを連続的に減少させることができる。
これにより、減少する関連度に応じて、被支援者の注意散漫が低減し、被支援者が環境内の他の要素に自身の注意を集中することを可能にする。他の関連要素はより顕著になる。
決定されたリスクに起因して、インフォテイメント音のレベルを変調前に戻すことは、例えば、特定の時間遅延だけオフセットさせることができるか、または関連度に関して変調強度の低い勾配(平坦な傾斜)を有する、変調信号の回復曲線を辿ることができる。
通常レベル、特に、決定されたリスクの通信の前の特定のレベルへの戻りを遅延させることにより、被支援者に、関連度についての特定の例としてリスクを含む解消された状況に再調整するためのいくらかの時間を提供する。
実施形態によれば、経時的な少なくとも1つの刺激信号のサリエンスの減少の場合の連続関数の勾配の値は、経時的な少なくとも1つの刺激信号のサリエンスの増大のための連続関数の勾配の値よりも小さい。
一方でサリエンシーの増大、他方でサリエンスの減少の場合に異なる勾配のこの特定の例は、被支援者が、高い関連度を示す環境内のこれらの態様に早期に自身の注意を向けることができることを確実にする。さらに、方法は、関連度が再び減少し始めるときであっても、これらの態様に対する十分な度合いの注意を維持するように、被支援者に指示する。このため、方法は、物体の予測される挙動または予測される事象の関連度について自身で判断するように、被支援者に指示する。
関連度の減少の場合の少なくとも1つの方向刺激信号の変調は、関連度の減少に伴って変調信号の勾配の値を増大させる。
方法の更なる実施形態において、関連度の減少の場合の少なくとも1つの方向刺激信号の変調は、関連度の初期値が高いほど、変調信号の勾配のより小さな値を含む。
方法の更なる有利な実施形態によれば、決定された関連度は少なくとも1つのタスク目標の関数であり、少なくとも1つのタスク目標は、交通安全、被支援者の快適性、被支援者の状態、および別の人のタスク目標のうちの少なくとも1つを含む。
決定された関連度は、物体または予測される事象の予測される少なくとも1つの挙動に関連するリスク計測基準とすることができる。
本明細書は、顕著な状態または条件を表すためにサリエンスという用語を用いる。サリエンスは、特に、符号の一部の相対的重要性または顕著性を指す。他の文脈において検討するとき、特定の符号のサリエンスは、個人が大量の情報を重要度で迅速にランク付けし、これにより、最も重要なものに注意するのに役立つ。このプロセスにより、個人が情報過負荷に圧倒されないようにする。
したがって、サリエンス(またはサリエンシー)は、或るアイテムがその周囲のものと比べて知覚的にどの程度目立っているかを記述する。サリエンスに一般的に影響を与える要因は、暗い環境における輝点、または低速の物体間で高速に移動する物体等のコントラストであるが、個人的関連度等の高レベルの要因もサリエンスに影響を与える場合がある。
イアコンとは、特定の事象を表すか情報を伝達する短い特徴的な音を指す。特に、イアコンは、アイコンの聴覚的等価物である。エラーをシグナリングするコンピュータビープ音等の、特定の情報を表す特徴的な音。本文脈において、イアコンは、そのような人工音、および特有な音の実際のレコーディングに基づいた聴覚アイコンを指す。
環境内の要素または関連要素は、環境および現在のシナリオにおける、タスクを行っている被支援者の判定およびアクションに影響を及ぼす物体、構造を示す。要素は、例えば、道路交通用途の場合、静止していてもよく(車線マーカ、交通信号)、または動いていてもよい(車両、歩行者)。要素は、環境において予測される事象(例えば、予測される衝突)とすることができる。
知覚可能性という用語は、被支援者によってエンティティを知覚することができる度合いを示す。通常、知覚可能性は、知覚するエンティティのセンサをトリガすることができる程度によって決まる。
本文脈において、関連度とは、リスクを指す。関連度は、リスクに比例するか、またはリスクおよび運転者状態の両方の関数とみなされる。
図1は、実施形態の支援方法のためのフローチャートを示す。図1の論考は、支援方法のサポートから利益を受ける被支援者(運転者)によって操作される自車両1によって動的環境(道路交通環境)において適用される支援方法を示す。
動的環境において自車両1を操作している人がタスクを実行するのを支援するための方法は、センサデータを取得するステップS1を含む。
方法は、被支援者が道路交通環境において操作する自車両1上に配置されたセンサを用いて動的環境においてデータを取得する。センサという用語は、レーダの原理、ライダの原理、またはカメラの原理で動作する内蔵センサを含むだけでなく、動的環境においてデータを取得するためのx対車両通信もカバーする。
取得されたデータに基づいて、方法は、ステップS2において、動的環境における物体または事象の少なくとも1つの挙動を予測することによって進む。
ステップS3において、方法は、予測に基づいて、物体または事象の少なくとも1つの挙動の関連度測定値を決定することによって進む。
ステップS3に続くステップS4において、方法は、決定された関連度測定値が少なくとも1つの所定の閾値レベルを超えているか否かを判断する。少なくとも1つの決定された閾値レベルを超えていると判断する場合、方法はステップS5に進み、変調信号を決定することに進む。ステップS9において、決定された関連度測定値が少なくとも1つの所定の閾値レベルを超えていない場合、方法は、動的環境における現在のシーンの予測されるシーン要素が、被支援者に支援を提供することを必要としていないと結論付ける。
ステップS5において、方法は少なくとも1つの方向刺激信号を取得する。
さらに、ステップS6において、方法は変調信号を生成する。変調信号は、少なくとも1つの信号パラメータを、決定された関連度の連続関数として変更する。ステップS6は、少なくとも1つの方向刺激信号を変調信号で変調し、少なくとも1つの変調された方向刺激信号を生成することによって進む。結果として得られる少なくとも1つの変調された方向刺激信号は、被支援者に対する物体または事象の予測される少なくとも1つの挙動の方向に依存する。
ステップS7において、支援方法は、生成された変調された方向刺激を少なくとも1つのアクチュエータに提供する。ステップS8において、少なくとも1つのアクチュエータが、少なくとも1つの変調された刺激信号を被支援者に出力し、支援方法の現在の処理サイクルの終了に進む。
支援方法は、タスクに無関係の要因、または被支援者によって行われるタスクから潜在的に逸れた要因の影響を低減することを可能にする。
このため、方法は、被支援者が主要なタスクを実行すること、例えば交通環境における自車両1の操作することを支援し、二次的作業、例えば内蔵インフォテイメントシステムによって提供される情報に従うことの結果として生じる注意散漫を低減する。支援方法は、要因の相対的知覚可能性またはサリエンスを、他の干渉要因、特に、支援システム20が無関係なものまたは注意を逸らすものであると判断するもの、の知覚可能性またはサリエンスを低減することにより増大させることによってこれを達成する。
例えば、エンジンおよび道路/空気の摩擦を通じて別の車両によって生成される音は、自身の車両内の無線が、特に高いボリュームでオンにされているときよりも、オフにされているときの方が、気が付き、識別することが容易である。
したがって、本発明の1つの部分は、ユーザが異なる要因に注意を払う必要性に比例して、タスクに無関係の、注意を逸らすまたは干渉する要因の知覚可能性に影響を及ぼす態様またはサリエンスに影響を及ぼす態様を低減することからなる。
交通環境における運転者支援の応用分野に関して、被支援者(運転者)は、自車両のエンターテイメントシステム、無線電話を介して受信した電話呼、または自車両1内の別の乗員との会話からの音等の多岐にわたる潜在的に注意を逸らす音にさらされる場合がある。支援システム20が接近する衝突リスクまたはナビゲーション選択を予測する場合、被支援者の注意は交通環境、例えば道路および他の交通参加者に可能な限り多くかつ早く集中するべきである。この場合、支援方法は、予測される事象の重要度を伝達する音の知覚可能性またはサリエンスに比例して音の特定の特性を変更することによって、被支援者に影響を及ぼす、注意を逸らす音の知覚可能性またはサリエンスを低減する。変調信号によって変更される少なくとも1つの方向刺激信号のそのような特定の特性は、少なくとも1つの方向刺激信号の音量または周波数スペクトルとすることができる。
例えば、決定された関連度測定値、または換言すれば、潜在的危険性のリスクが増大するにつれ、インフォテイメントシステムの音量が減少する。
代替的に、被支援者が、インフォテイメントシステムの音量を手動で変更することによってそのような減少に逆らおうと試みることを防ぐために、音量は一定のまたは少なくとも可聴レベルに留まることができるが、インフォテイメント音信号の周波数スペクトルにおける特定の周波数成分を低減することによって、インフォテイメント音の知覚される存在が減少する。実施形態は、インフォテイメント音信号をローパスフィルタリングすることによってこれを実施することができ、ローパスフィルタのカットオフ周波数は、決定された関連度測定値に依存する。方向刺激信号の変調の特定の例であるインフォテイメント音信号のローパスフィルタリングは、決定された関連度測定値に関係する被支援者の距離の知覚を生成する。
リスクに関連付けられた予測される事象がもはや存在しないかまたは支援システムの所定の制限内になると、潜在的に注意を逸らすインフォテイメント音信号は、支援システム20が変調を開始する前に存在したレベルに戻ることができる。
被支援者に、リスクを伴う解消された状況に再調整するためのいくらかの時間を与えるために、決定されたリスクに起因して、インフォテイメント音のレベルを変調前に戻すことは、例えば、特定の時間遅延だけオフセットさせることができるか、または変調強度対リスクの低い勾配(平坦な傾斜)を有する変調信号の回復曲線を辿ることができる。
それに加えてまたは代替的に、支援システム20は、インフォテイメントシステム23の各スピーカについて個々に変調信号の曲線を変動させることができる。例えば、それぞれのスピーカが、予測される要素、例えばリスクソースの方向とどの程度良好に空間的に位置合わせされているかに応じて、変調は、高速な増大を辿る、例えば、同じ方向に近いときに高い勾配(険しい傾斜)を有するか、または被支援者の観点からの環境におけるリスク要素へのより大きな方向の差を有するときに小さな勾配を辿ることができる。支援システム20は、それに応じて、少なくとも1つの変調されていない方向刺激信号からの少なくとも1つの変調された方向刺激信号の刺激特性の比較的高速な局所的変化によって、環境における予測されるリスク要素に向かう関連方向の早期のインジケーションを提供する。
それに加えてまたは代替的に、支援方法は、サリエンスを増大させることを可能にし、したがって、タスク関連要因、または環境内の被支援者によって実行されるタスクに対し注意を集中させる要因の影響を増大させることを可能にする。
注意を逸らすまたは無関係の要因の影響の低減と組み合わせて、支援システム20は、例えば、それぞれの関連要素を示す少なくとも1つの方向刺激信号の信号成分を直接増幅することによって、現在のシナリオにおける潜在的リスクを伴う関連要素の相対的知覚可能性またはサリエンスを増大させることができる。音を、少なくとも1つの方向刺激信号のための媒体として用いる場合、支援方法は、マイクロフォンセンサを用いて環境内の関連要素から生じる音を記録することによってこれを達成することができる。次に、支援方法は、変調信号に基づいて記録された音を増幅し、道路交通環境における運転者支援の特定の応用分野における自車両1の内部に配置されたインフォテイメントシステムのスピーカを介して増幅された音を出力することができる。
それに加えてまたは代替的に、支援方法は、少なくとも1つの方向刺激信号を、リスクを呈する環境におけるタスクおよび予測される要素からの望ましくない注意散漫(ノイズ)を表すことに起因して低減される方向刺激信号の周波数スペクトルの部分に対応する、少なくとも1つの特定の方向刺激信号の周波数スペクトルの部分において増幅することができる。
特に、音信号を少なくとも1つの方向刺激信号とみなすとき、支援方法は、ピッチ、音質、タイミングおよび知覚される空間的位置等の少なくとも1つの方向刺激信号の変調信号特性パラメータに基づいて変調し、被支援者が環境内の無関係の要素から関連要素を分離するのをサポートすることができる。
それに加えてまたは代替的に、支援方法は、リスクを表すそれぞれの要素を示す少なくとも1つの記録された人工刺激信号を用いることができる。音信号の応用分野における少なくとも1つの人工刺激信号は、決定された要素が属するように分類される関連要素のクラスの特性であるイアコンを用いることによって実現することができる。予測される要素が車両等の物体を含む場合、イアコンは、車両のためのエンジンノイズの記録された音ファイルとすることができる。予測される要素が歩行者等の物体を含む場合、イアコンは、歩行者の足音の音ファイルとすることができる。
それに加えてまたは代替的に、支援方法は、ステレオ設定またはサラウンド設定で配置された自車両1のインフォテイメントシステム23の異なるスピーカ間の出力バランスを変動させることによって、音源の見かけの位置が環境内のリスクを表す関連要素の、被支援者に対する方向に対応するように、少なくとも1つの方向刺激信号を生成し、出力することができる。
結果として別個のイアコンとして分類されることになる環境内の複数の関連要素を予測する場合、被支援者の感覚過負荷を回避するために、代替的な戦略も適用することができる。
別個のイアコンとして分類されるリスクソースとしての複数の関連要素の方向が概ね同じ方向にある(「近接して並んでいる」)場合、支援方法は、複数の関連要素に関連付けられたそれぞれの複数の音の混合の代わりに単一の代表的な音を用いることができる。
複数の関連要素が複数の同時のリスクソースを表す方向が広い角度にわたって異なる(「整列していない」)場合、イアコンのセットのうちの最も関連するサブセットのみを、少なくとも1つの方向刺激信号の方向性なしで代表的な音によって表すことができる。代替的に、支援方法は、複数の関連要素の単一の最も関連する方向について代表的な音を出力することができる。
それに加えてまたは代替的に、支援方法は、少なくとも1つの方向刺激信号を変調して、被支援者を、自車両1の速度vの低減等の所定のアクションに向けて推進することができる。このターゲットを達成する方向刺激信号の例は、加速している車両を示唆する人工エンジン音、一般的なアラーム音、車両のタイヤのきしみ音に似た音、およびクラッシュ音の性質を有する刺激を含む。
それに加えてまたは代替的に、手法は、自車両1に既に存在する音、例えば、インフォテイメントシステム23によって提供される音楽を利用して、被支援者の注意を、環境内の潜在的リスクを表す関連要素の方向に向けることを含む。少なくとも1つの方向刺激信号のサリエンスに影響を与える特性(パラメータまたは性質)を変調する代わりにまたはこれに加えて、自車両1内に既に存在する仮想空間音源が、変調信号を用いた変調によって、リスクを表す関連要素の方向と整列するように適合される。この結果、被支援者が既に注意を払っている可能性が高い空間的可聴要素がシフトされることになる。特に、支援方法は、少なくとも1つの方向刺激信号の周波数スペクトルの一部分についてそのような空間的シフトを行ってもよい。それによって、支援方法は、例えば、インフォテイメントシステム23によって出力される音楽のいくつかの機器のシミュレートされた位置変化の効果を生成する。
それに加えてまたは代替的に、自車両1内からの音を記録するマイクロフォンセンサによって取得された音データを組み合わせて、乗員の位置でさえ、リスクを表す関連要素に向かう方向として、少なくとも1つの変調された方向刺激信号の対応するスピーカ出力によって、被支援者の位置から同じ方向にある仮想位置にシフトすることができる。
代替的に、支援方法は、自車両1内のシミュレートされた音源を利用して、それらの見かけの位置を、リスクを表す関連要素の反対方向に、このため、関連要素を表す方向刺激から離れる方にシフトすることができる。これにより、被支援者の観点からの、関連する刺激と、無関係のまたは少なくともより関連度の低い刺激との間の注意の分離を促進する利点がもたらされる。支援方法は、状況が解消されるまで、環境内の無関係の要素を変位させる関連事象の直感的効果を生成する。前の状況に戻るためには、被支援者は、関連付けられた関連度測定値を低減するために、リスクを表す関連要素に十分に注意を払っていることを確実にすることを必要とされる。
代替的に、被支援者の観点からの仮想刺激位置または方向を、リスクを表すそれぞれの関連要素の現在の位置または方向と位置合わせする代わりに、予測(予期)される未来の位置または方向を、少なくとも1つの変調される方向刺激信号の代わりに用いることができる。未来の展開の予測は、例えば、所定の時間、例えば0.5秒~2秒先の未来の位置を提供することができる。この機能は、高度に動的な環境において特に有利である。さらに、一方で信号生成と出力との間の遅延、および被支援者による知覚と理解との間の遅延を伴う状況により、伝達される位置情報が、結果として、ユーザによる自身の知覚の時点において期限切れの情報となる場合がある。
代替的にまたはそれに加えて、少なくとも1つの方向刺激信号を変調することは、マルチモードシグナリングを用いた増幅を含むことができる。例えば、方法は、情報を強調し、被支援者による聴覚知覚を潜在的に向上させる追加のキューとしての役割を果たす触覚アクチュエータに依拠することができる。
代替的にまたはそれに加えて、触覚刺激は、リスクに応じてシートベルトを引き締めるアクチュエータを伴う。
代替的にまたはそれに加えて、自車両1内に配置されたメータディスプレイにおけるLEDアレイ、HUDアイコンまたは特徴を用いる視覚キューは、少なくとも1つの方向刺激信号に基づいて支援者の状況認識を改善するために少なくとも1つの変調された方向刺激信号を補うことができる。
マルチモードキューは、タスクに無関係の刺激の低減のために、被支援者を複数の理由間で区別することをサポートすることができる。例えば、音の特性、例えばインフォテイメントシステム23の音量または周波数スペクトルにおける変化が、タスクに無関係の事象、例えば交通ニュース、ナビゲーション命令、音設定を行う乗員によっても生じ得る場合、異なるモダリティからの追加の入力により、主要なタスク、例えばリスク回避が信号変更の原因であることをユーザに明らかにすることができる。この理解の向上により、被支援者が、環境内の現在のシーンに集中するのではなく、インフォテイメントシステム23の音設定を変更しようとすること等の、誤ったタスク優先付けを防ぐことをサポートする。被支援者が、音量が下がるかまたは別の音の性質が変化するときに、正面のシーンではなく音設定に集中する場合、この人は、より注意を払うのではなく、リスクを増大させることになる。シートベルトをさらに引き締めることを制御する刺激信号により、インフォテイメントシステム23によって出力される音信号の音量降下の理由の解釈がより容易になり、それによって、被支援者が、それに応答して正しいアクションに向けて推進されることになる。
音設定に集中することを防ぐ別の手法は、被支援者が行うアクションを用いて、変調信号による変調の加速のトリガとして、音設定、例えば音量ノブ回転、音声コマンドを操作することである。これにより、自車両の内部において、変更された音信号のサポートの理解をサポートする追加のフィードバックがもたらされる。
支援方法は、無関係の「ノイズ」サリエンスと、タスクに関連する「信号」サリエンスとの間の時間的分離によって、関連要素を指し示す刺激のサリエンスの増大に関する被支援者の感受性の改善を達成することができる。「ノイズ」サリエンスの低減は、同時に行われるのではなく、「信号」サリエンスの増大に時間的に先行する。これにより、少なくとも1つの方向刺激信号の変調された特性の短い無音期間が生成される。この無音期間により、少なくとも1つの変調されていない刺激信号に対する少なくとも1つの変調された刺激信号のコントラストが高まる。これは、被支援者を支援するか否かの判断のための所定の閾値が、低いコストで、被支援者の反応に必要な時間を依然として有する直後の時間に実施されるとき、特に有利である。時間制約および関連付けられたリスクが増大すると、少なくとも1つの方向刺激信号の変調が、より高速のレートで、および少なくとも1つの方向刺激信号と少なくとも1つの変調された方向刺激信号との間の更なる時間的重複を有して、の少なくとも一方で生じることができる。
さらに、少なくとも1つの方向刺激信号についていずれのレベルの変調が必要とされているかを評価して、支援方法は、被支援者の耳の近くの実際のサウンドスケープを検討することができる。
マイクロフォンセンサ、好ましくはヘッドレストおよび運転者の頭部の上の天井の少なくとも一方におけるステレオマイクロフォンを統合することによって、被支援者にいずれの音が実際に届くかの推定が可能である。次に、変調信号は、少なくとも1つの方向刺激信号のパラメータを単に変更するのではなく、推定される知覚音を最適化するように適合させることができる。これにより、支援方法が、支援システムによって直接制御されない音源を考慮に入れることが可能になる。さらに、自車両の独自のノイズおよび交通依存のノイズの変動が考慮に入れられる。処理へのフィードバックループを加えることにより、アクティブノイズキャンセル技法を支援方法の処理に含めることがさらに可能になる。
支援方法は、少なくとも1つの変調された方向刺激信号によって提供される支援を最適化するために、被支援者の注意、被支援者の注意の履歴、および被支援者の覚醒度に関する情報をさらに考慮に入れることができる。
変調信号は、被支援者の注意状態に関する情報、および被支援者の注意履歴のうちの少なくとも1つに基づいて生成することができる。支援システム20のセンサは、被支援者の注意のモデルを生成するために、視線追跡および頭部追跡、皮膚コンダクタンスおよび心拍数の測定のプロセスを用いて、被支援者のモニタリングを可能にする。
予測中に判断されるように、環境内の対象の関連方向から視線方向が実質的に逸れている被支援者は、決定された実際の視線方向の望ましくない方向から、注意を、対象の関連方向に向けて徐々に引き付ける、少なくとも1つの変調された方向刺激信号における刺激から利益を受けることができる。
代替的に、変調信号を用いた変調は、直接的に、対象の関連方向からの明らかな注意の逸れ、および環境内の関連要素の重要度等の複数の変数の関数とすることができる。
被支援者の注意状態および被支援者の注意履歴に関する情報は、いずれの要素が、被支援者が現在のシナリオに十分に対処するために観察するのに最も関連し、したがって被支援者にとって有用なものを表すかを判断するのに用いることができる。
注意履歴は、時間的統合が特定のシナリオ特性次第となり得る、例えば、低速に変化している環境の場合は長く、シナリオにおいて高速な変化を伴う高度に動的な環境においてはより短くなる場合、少なくとも1つの変調された方向刺激信号の生成を考慮に入れることができる。
注意および注意履歴に基づいて判断された被支援者の状況認識に関する確信度は、アクチュエータによって、被支援者に直接通信することができる。そのような特徴は、信号の変化に寄与する場合がある様々な要素の理解を確実にするのに有益とすることができる。
変調信号に最も適した変調レベルを判断するために、被支援者をモニタリングすることに加えて、他の人、例えば自車両1内の乗員もモニタリングすることができる。例えば、乗員の挙動が、自車両1の運転者としての被支援者にとって注意散漫となる可能性があることを明らかに示す場合、高サリエンスのシーン拡張刺激を含む変調信号を生成することが適切である場合がある。乗員がより受け身であるかまたはさらには眠っているはずである場合、基本的なノイズ低減を通じたより微細なガイドが変調信号において十分であり得る。
さらに、挙動が、動的環境における潜在的リスクに関する懸念を示す乗員は、この懸念を、少なくとも1つの変調された方向刺激信号における関連要素のまたは推測されるリスクの方向の増幅信号によって含めることをサポートされ得る。
注意ベースの変調信号についても、適切な勾配による非対称な回復が有利である。被支援者の視線パターンまたは心拍数をモニタリングすることにより、覚醒度の増大または状況に関する不確実性が示される場合、支援方法によって被支援者が自身の確信を取り戻したと判断されるまで、少なくとも1つの変調された方向刺激信号に含まれる環境内の他の車両2に向かう方向について増大されたサリエンスを維持することができる。
動的環境内の他のエージェントの想定されるまたは通信されたターゲットに関する情報を取得することにより、大域的安全性またはタスクとしての効率性ターゲットに従って被支援者の支援を最適化することがさらに可能になる。
変調信号を、被支援者に直接関連する要因にのみ排他的に基づかせることに加えて、動的環境において作用する他のエージェントの既知のまたは想定される目標を考慮に入れることができる。これにより、支援システムの唯一の受益者としての被支援者を超えるエージェントのより大きなグループに間接的に利益をもたらすプラスの二次的効果を有するアクションをトリガし得る。
運転支援の分野の例は、取得されるコンテキスト情報、運転者の個々のアクション、および記録された履歴情報から導出された経験に基づいて、別の車両2の運転者の推測される意図を用いる。例えば、高速道路進入車線上に位置する車両2の運転者は、近い未来に車線を変更することを意図している場合があり、別の例では、高速道路出口の前で顕著に減速する車両2の運転者は、高速道路を出ることを意図している場合がある。
自車両1の支援システムは、環境をモニタリングすることによって、現在の交通状態が別の交通参加者のそのような想定された意図を遂行する能力を妨げていることを認識するとき、自車両1を操作している被支援者に変調された方向支援信号を提供し、他の車両2が被支援者の或る特定の挙動から利益を受け得るという情報を伝達する。このとき、被支援者は、それに応じて、例えば、自車両1を減速させることによって他の交通参加者の自身のターゲットの遂行を可能にするように動作することが可能である。
図2は、道路交通環境における本発明の応用を示す。特に、図2は、被支援者によって操作される自車両1内の空間音特性のリスク依存の変調を示す役割を果たす。
自車両1は、道路のセグメントに沿って走行しており、3つの異なる時点t、tおよびtについて示される。自車両1は速度vを有する。
自車両1の内部に示される音符は、自車両1のインフォテイメントシステムのスピーカによって出力されるインフォテイメント音3を表す。インフォテイメントシステムは、自車両1の内部に指示された方式で配置されたスピーカを介して音を出力するように適合され、それによって、運転席から自車両1を運転している被支援者が、特定の方向から発せられる音を知覚するようにする。この効果は、複数のスピーカを自車両1の内部の周りに配置し、それに応じてプロセッサにおける複数の特定のスピーカの音ストリームを適合させることによって達成することができる。
時点tにおいて、支援システム20によって取得される自車両1の環境におけるデータの処理は、大きな関連度に関連付けられた、特に、順調に走行している自車両1に対するリスクを表す他の物体または事象が決定されないことを明らかにする。
時点tに進むと、自車両1は、道路セグメントに沿って速度vで走行している。自車両1の前で運転しているのは、速度vの別の車両2である。時点tにおいて、車両2は、運転方向において自車両1の正面の距離d1にある。速度vは、速度vよりも小さい。支援システム20、例えば、衝突軽減およびブレーキシステムの機能を実施している運転支援システムは、それに応じて、自車両1の未来の潜在的な関連事象を予測する。図2に示す周囲環境下で、支援システム20は、運転方向における自車両1の目の前の車両2との自車両1の起こり得る衝突を予測する。支援システムは、関連度測定値、特に、決定された起こり得る衝突に関連付けられたリスクを決定する。
時点tにおいて、車両2は、運転方向において自車両1の正面の距離d2にある。速度vは、依然として速度vよりも小さい。自車両1と車両2との間の距離d2は、tにおける距離d1からtにおける距離d1まで減少した。これに応じて、支援システム20は、自車両1の未来の関連事象として潜在的な衝突事象を予測する。tにおいて、予測される衝突事象に関連付けられたリスクは、tにおける予測される衝突事象のリスクと比較して増大される。
図2は、定型化された音周波数スペクトルバー4を用いたリスクに関連する音を示す。
予測される正面衝突に関連付けられたリスクは、時点tから、時点tを超えて時点tまで増大する。予測される衝突に関連付けられたリスクがtからtまで増大すると、被支援者によって知覚されるインフォテイメント音3の見かけの位置が、t、tおよびtからのインフォテイメント音3と比較したとき、図2に示すように、自車両1の後方に向けてシフトされる。
それに加えてまたは代替的に、支援システム20は、自車両1の正面方向から発せられるように見えるように、予測される衝突事象に関連付けられたリスクを表す音を生成し、出力する。時点tにおいて、音4は、音4を表す音周波数スペクトルバー4の範囲5.1を有する自車両1の正面の円弧にわたって空間的に広がる。tからtまで、音周波数スペクトルバー4によって表される音は、徐々に方向の狭められた範囲5.2に集中し、したがって、自車両1から前方の潜在的な衝突事象に向かう集束方向を示す。それに加えてまたは代替的に、音周波数スペクトルバー4によって表される音は、決定されるリスクも時点tからtまで増大するにつれ、音周波数スペクトルバー4の高さを時点2から時点3まで増大させることによって示されるようにさらに増幅される。
したがって、自車両1の運転席に位置する被支援者は、tからtを超えてtまで自車両1の正面に向かう方向に低減されたサリエンスまたは存在を有するインフォテイメントシステムによって出力されるインフォテイメント音を知覚することになる。同時に、インフォテイメントシステムによって出力される音周波数スペクトルバー4によって表されるリスク関連音は、tからtまで自車両1の正面に向かう方向に増大するサリエンス(または存在および焦点)を有して出力される。tからtを超えてtまでの自車両1における修正された音分布は、自車両1の正面に向かって増大するサリエンスにより被支援者の注意を引き付け、それによって、被支援者が、適切なアクションによって予測される衝突を軽減するように適切にふるまうことを可能にする。例えば、被支援者は、車線変更を開始するか、自車両1の速度vを減少させることができる。
図3は、一実施形態による、リスク依存の刺激変調曲線を示す。図3は、支援システム20が、一方でリスクの増大、および他方で変調信号によるリスクの減少に応答して、刺激が変調される方式の観点で非対称的に挙動することができることを示す。この文脈において、関連度測定値は、物体または動的環境における事象の特定の予測される挙動についてのリスクを記述し、以後の論考のためにそのように示される。
図3の図において、x軸(横座標)は、物体または事象の予測される挙動の関連度測定値を示す。図3のx軸は、特に、リスクの決定された値を示す。図3のy軸において、変調強度の値が示される。変調強度は、支援システム20によって生成および出力される刺激の値の測定値として解釈することができる。
図3において、曲線7は、経時的に増大するリスクについて、リスクの関数として刺激変調の強度を記述する。曲線7による刺激変調の示される強度は、リスクの増大の場合、一定の勾配を有して増大する。
図3は、曲線7が、経時的に減少するリスクについて、リスクの関数として刺激変調の強度を記述することをさらに示す。曲線7による刺激変調の示される強度は、リスクの減少の場合、一定の勾配を有して減少する。好ましくは、リスクの減少の勾配は、リスクの増加の曲線の勾配よりも小さい絶対値を有する。このため、支援システム20は、それぞれリスクの増大および減少に応じて少なくとも1つの方向刺激信号が変調される方式の観点から非対称的に挙動する。
図4を用いて論じられるように、変調強度とリスクとの間の関係は、比例依存性に限定されないことに留意されたい。
変調強度の非対称曲線7、8は、リスクの増大に応じた変調信号が、結果として、被支援者の知覚を可能な限り早期にサポートするために少なくとも1つの方向刺激信号によって被支援者の刺激の強度の迅速な増大をもたらすという効果を有する。他方で、リスクの減少に応じて変調信号を用いて生成される少なくとも1つの変調された方向刺激信号の強度の減少が、より低い勾配を有するリスクの減少に続く。
リスクの増大およびリスクの減少に対する支援システム20の非対称挙動のこの手法の効果は、被支援者が、環境内のシーンの現在の展開を知覚し続け、環境内のリスクが適切に解消されたことを被支援者自身で確かめられるようにすることを可能にする。被支援運転者は、1つの課題を解消することに集中する間、他の目前の潜在的リスクの展開を放置する場合がある。第1のリスクが解消されるまでに、そのような二次的リスクがより深刻になり、迅速な注意を要する場合がある。運転者等の被支援者は、そのような想定で動作することができ、したがって、初期リスクを解消した後、環境に向けてより高いレベルの覚醒度を維持することができる。支援システム20のリスクの増大および減少を扱うことに関する非対称性により、被支援者が、増大するリスクを可能な限り早期に自身で評価し、展開したシーン状況が再び安全となったことを確かめるために或る時間、自身の注意を払うことが可能になる。
代替的にまたはそれに加えて、曲線8の勾配、このため少なくとも1つの方向刺激信号の変調されていない値への回復速度は、リスクレベルが減少し始める、前のまたは最初のリスクレベルに依存することができる。リスクレベルが減少し始める前のリスクの決定された初期値がより高いほど、少なくとも1つの変調されていない方向刺激信号、例えば、自車両1のインフォテイメントシステム23によって出力される変調されていないインフォテイメントシステム音への戻りがより低速になる。この文脈において、図4は、変調強度と、前のリスクレベル(初期リスクレベル)に応じた、リスク低減に応答した刺激変調の反転のリスクとの間の関係を示す。
図4は、一実施形態による、リスク依存の刺激変調反転を示す。
図4において、x軸は時間を示す。左に配置されたy軸において、変調信号による変調強度の値が示される。図4の右側に配置されたy軸は、リスクの値の読み出しを可能にする。
図4は、リスク反転について実線9.1、10.1、11.1、12.1において変調強度の曲線9、10、11、12を示し、経時的に4つの異なる初期リスクレベル9.3、10.3、11.3および12.3について破線9.2、10.2、11.2、12.2において徐々に降下するリスクを示す。リスク低減(リスクの減少)の前の初期リスクレベル9.3、10.3、11.3、12.3がより大きいほど、最初の刺激変調における反転の勾配の絶対値がより低くなる。より小さな初期リスクの場合、変調強度の反転はより高速のレートにおいて生じ、リスクにおける対応する低減のレートに近づく。
それに応じて、リスクの減少に起因して徐々に減少する変調強度が、リスクが要求する実際の減少よりも低速に減少し得る。リスクが減少を終了し、さらには再び増大し始める場合、支援システムは、例えば、以下の戦略のうちの1つを実施することができる。
第1のシナリオにおいて、変調強度の減少は、決定されたリスクの増大が、変調強度の減少が終了したレベルにおける対応する変調強度と整列し始めるまで、リスクの増大が決定されると変調強度の減少を終了させることができる。リスクの増大に対応する変調強度が、変調強度の減少が終了した変調強度のレベルに達し、およびこれを上回るとき、変調強度は、決定されたリスクの増大に続いて再び増大を開始する(「リスクが変調強度に追いつくまで待機する」)。
第2の代替的なシナリオにおいて、実際のリスクはその増大を止める。第2のシナリオは、実際のリスクが、以前に減少を終了した後、再び減少し始めることも含むことができる。このシナリオにおいて、変調強度の減少は、一定の実際のリスクの対応する変調強度と整列するまで、または決定された実際のリスクが完全に消える場合、0(ゼロ)の変調強度の値に達するまで継続することに進むことができる。
図5は一実施形態による支援システム20の構造要素の概観を提供する。図5の文脈において、被支援者は自車両1の運転者である。
特に、図5は、運転者支援システム20を備えた自車両1の内部にインフォテイメントシステム23によって出力される音のサリエンスを変調する運転者支援システムの主要ユニット(モジュール、手段)を表示する。インフォテイメントシステム23によって出力される音は、インフォテイメント音3、例えば、無線オーディオストリーム、音楽ストリーム、および図5に示されていないナビゲーションシステムによって提供されるオーディオストリームのうちの少なくとも1つを含む。インフォテイメントシステム23によって出力される音は、自車両1の外部の環境における交通要素に関するマルチモード刺激をさらに含む。
運転者支援システム20は、取得ユニット22を備える。運転者支援システム20は、取得ユニット22を介して自車両1の環境におけるデータを取得する。この環境は、自車両1および被支援者に対応する自車両1の運転者がナビゲートしなくてはならない交通シナリオを変更することによって特徴付けられる動的環境である。
取得されたデータは、自車両1に搭載され、自車両1の環境を感知する、少なくとも1つのセンサ(センサデバイス)によって取得されるセンサデータを含むことができる。センサは、アクティブおよびパッシブセンサ、例えば、カメラセンサ21.1、レーダセンサ21.2、ライダセンサ21.2、音響センサ(マイクロフォン)、超音波センサ、温度センサのうちの少なくとも1つを任意の組合せで含むことができる。
取得ユニット22は、自車両1に搭載され、自車両1の内部を感知する、少なくとも1つのセンサ(センサデバイス)によって取得されるセンサデータを含むデータをさらに取得することができる。自車両1の内部からセンサデータを取得するセンサは、アクティブおよびパッシブセンサ、例えばカメラセンサ21.4、音響センサ21.5(マイクロフォン)、温度センサのうちの少なくとも1つを任意の組合せで含むことができる。
取得ユニット22は、マップデータプロバイダ21.6からのマップデータを含むデータをさらに取得することができる。
それに加えてまたは代替的に、取得ユニット22は、交通データプロバイダ21.7からの交通データを含むデータを取得する。
それに加えてまたは代替的に、取得ユニット22は、車両通信モジュール21.8を介して、x対車両データを含むデータを取得する。車両通信モジュール21.8は、例えば、自車両1の環境内の他の車両2からの取得を可能にすることができる(車両対車両通信であるが、さらにインフラストラクチャ対車両通信が可能な交通インフラストラクチャデバイスからの通信)。車両通信モジュール21.8は、例えば、LTE、LTEアドバンスト、および5G等の特定のセルラ通信規格に従って動作する少なくとも1つの無線通信モジュールを含むことができる。
それに加えてまたは代替的に、取得ユニット22は、インフォテイメントシステム23から少なくとも1つの音データストリームを含む音データを取得する。
図5の支援システム20は、プロセッサ25(電子制御ユニット、電子データ処理ユニット)を備える。プロセッサ25は、自車両1に配置された、または自車両1から空間的に離され配置され、および例えば通信ユニット21.8を介して自車両1と通信する、複数の処理ユニットを備え、分散処理アーキテクチャを実施することができる。
プロセッサ25は、メモリユニット24にデータを記憶し、メモリユニット24からデータを読み出す。図5におけるメモリ24は、アプリケーションデータ、例えば、オーディオファイルの形態のオーディオデータストリーム、または運転者支援システム20のプログラムコード、またはプログラムコードの実行中に生成および記憶されるデータ、を記録するデータストレージ機能を表す。このため、メモリ24は、RAMまたはROMメモリとしても機能する。
支援システム20は、ユーザインタフェース27をさらに含むことができる。ユーザインタフェース27は、被支援者が、データ支援システム20への入力データを提供し、支援システム20からのデータ出力を受信することを可能にする。ユーザインタフェース27は、データ入力手段、例えばタッチスクリーンとして同時に働く少なくとも1つのディスプレイを含むことができる。自動のみの支援方法に対する代替として、ユーザインタフェース27を介して、被支援者は、動的環境における現在のシナリオに対処する自身の能力における確信度を手動で示すことができる。代替的に、被支援者は、支援システム20による支援を明示的に要求することができる。
図1を参照して論じられるように、特に、プロセッサ25は、支援方法のステップを実行するように構成される。
プロセッサ25は、出力データを出力ドライバ28に提供する。出力ドライバに提供される出力データは、少なくとも1つの変調された方向刺激信号を含む。
出力ドライバ28は、少なくとも1つの変調された方向刺激信号を被支援者に出力するために、少なくとも1つの変調された方向刺激信号を複数のアクチュエータ26.1、26.2、26.3に出力する。
それに加えてまたは代替的に、出力ドライバ28は、少なくとも1つの変調された方向刺激信号をインフォテイメントシステム23に提供する。インフォテイメントシステム23は、自車両1の内部、特に車室内に配置された、図5には明示的に示されていない複数のラウドスピーカを含むことができる。インフォテイメントシステム23のラウドスピーカを用いることは、被支援者が空間的発生源に関して区別することができ、このため音響刺激が被支援者の位置に到着する方向を区別することができる音響刺激信号を被支援者に提供することが可能なラウドスピーカのセットを必要とする。したがって、本発明は、支援システムの機能を満たすかまたは補うように車両インフォテイメントシステムの機能を拡張することができる。
アクチュエータ26.1、26.2、26.3は、アクチュエータ26.1、26.2、26.3の可能な実装をいくつか挙げると、音、気流、被支援者の触覚等の1つまたはさらには複数の感覚モダリティを用いて、被支援者に方向刺激を提供するように配置および適合されたアクチュエータの配置を含むことができる。
自車両1の前の別の車両2の急な減速によって生じる、正面衝突のリスクが増大する場合、モニタリング距離d1、d2のデータを提供し、周囲物体、特に車両2の速度vを推測する車載センサ21.1、21.2、21.3から取得されたデータが、プロセッサ25によって、自車両を操作するタスクを行う被支援者に関連していると判断(分類)される(1)。
プロセッサ25は、車頭時間等の距離依存および相対速度依存のリスク測定値を閾値と比較することを含む、取得されたデータに基づいた分類を行うことができる。
プロセッサ25は、他のソースからの情報、例えば、マップデータ、交通密度データ、局所的運転プロファイル統計、およびx対車両通信を介して取得された更なるデータによって、分類から決定されたリスクを補うことができる。
局所的運転プロファイル統計を含むデータは、例えば、「車両がここで通常どの程度高速に運転するか」等の情報を伝達することができる。
分類に基づいて、プロセッサ25は、例えばインフォテイメント音のサリエンス関連特徴を表す少なくとも1つの方向刺激信号のパラメータを変調し、それによって変調は決定されたリスク測定値の値(大きさ)と共に連続して増大する。
プロセッサ25によって行われる変調は、少なくとも1つの方向刺激信号に対するローパス/ハイカットフィルタ等のスペクトルフィルタを適用することを含むことができる。少なくとも1つの方向刺激信号の可変フィルタカットオフ周波数またはフィルタリングされた音成分およびフィルタリングされていない音成分の混合は、決定されたリスク測定値の関数として設定することができる。このため、ローパスフィルタの場合、正面方向から被支援者へのインフォテイメント音成分の高周波数成分は、正面衝突に関連付けられたリスク測定値が増大するにつれ、徐々に取り除かれる。
それに加えてまたは代替的に、少なくとも1つの方向刺激信号を変調することは、インフォテイメント信号のインフォテイメント音スペクトルの増幅範囲を制限および等化することのうちの少なくとも一方を含む。この変調は、音の大きさの急増も音のサリエンスに影響を及ぼすことを考慮に入れる。注意を引く音、例えば携帯電話の鳴る音の、被支援者の注意に対する望ましくない影響が効果的に低減される。
それに加えてまたは代替的に、変調は、関連付けられたリスク測定値の値が増大するにつれ、環境内の物体または事象の決定された少なくとも1つの挙動の方向と反対の方向に向けてインフォテイメント音の見かけの発生源が徐々にシフトするように、その見かけの発生源を適合させることを含む。予測される事象が正面衝突である場合、インフォテイメント音は、自車両1の後方に向けてシフトすることができる。
それに加えてまたは代替的に、インフォテイメント音の見かけの発生源のシフトは、自車両1が移動している移動平面に直交することができ、例えば、関連付けられたリスク測定値の変化に応じて、移動平面に対し下方の方向に、または上方の方向に移動することができる。
さらに、プロセッサ25は、被支援者が自身の注意を環境内の関連方向に向けて集中することを誘導する刺激を生成または拡張することができる。プロセッサ25は、アクチュエータ26.1、26.2、26.3および/またはインフォテイメントシステム23を介して、同時にまたは密接に連続してこれらの刺激を生成し、それらを出力することができる。
センサ21.1、21.2、21.3は、外部環境からの環境音、特に、物体の予測される挙動または予測される事象の方向から発生する、このため自車両の観点からリスクの空間方向から発生する音を捕捉するために、自車両1の外側に配置されたマイクロフォンを含むことができる。プロセッサ25は、自車両1の内部のインフォテイメントシステム23のスピーカを用いてこの音の再生を制御することができる。特に、プロセッサ25は、少なくとも1つの方向刺激信号を変調するときにインフォテイメント音についてフィルタリング除去される、少なくとも1つの変調された方向刺激信号の周波数成分を利用する音の再生を制御することができる。プロセッサ25は、自車両1内部のインフォテイメントシステム23の個々のスピーカの相対的音量を調整して、それぞれのリスクの方向に対応する、被支援者によって知覚される仮想音源を生成することができる。
さらに、プロセッサ25は、被支援者によって知覚される音の変動する精度を用いて、決定されたリスクレベルに応じて少なくとも1つの変調された方向刺激信号を制御することができる。被支援者によって知覚される音の精度を変動させることにより、出力音の見かけ位置が、予測されるリスクの方向とより詳細に整列することを確実にすることができる。変調信号は、より大きなリスクが測定または分類されるほど、出力音が予測されるリスクの方向においてより小さな角度領域に集中するように、少なくとも1つの方向刺激信号を変調することができる。代替的に、測定または分類されるリスクがより小さい場合、出力音は、予測されるリスクの方向においてより広い角度領域に集中する。出力音の方向のこの精度が、例えば、常に可能な限り最も高いレベルではなく、決定されたリスクの関連度測定値における値に依存するようにすることによって、被支援者に対するマイナスの満足感または注意トンネリングの影響が回避される。そのようなマイナスの満足感または注意トンネリングの影響の結果として、被支援者の注意を早期に、既に関連度測定値またはリスクレベルの低値の場合の狭い領域に制限することになる。
それに加えてまたは代替的に、プロセッサ25は、少なくとも1つの方向刺激信号の変調を、変調された方向刺激信号の少なくとも1つの出力の出力ボリュームが、所定の最大値に達するまで関連度測定値またはリスクレベルの増大と共に連続して増大するように制御することができる。
支援システム20のプロセッサ25は、人工音を生成するように適合された周囲音拡張モジュールを含むことができる。人工音を、メモリ24に人工音ファイルとして記憶することができる。生成された人工音ファイルは、物体または事象の所定の挙動と、したがってリスクの特定のソースまたはソースカテゴリと意味的に関連付けられる。人工音ファイルを生成および記憶することにより、特に、潜在的にノイズのある環境における大きな距離にわたって、他の交通参加者が必ずしもセンサ21.1、21.2、21.3が捕捉することができる音を生成しない場合があるという問題を克服することが可能になる。
人工音ファイルを生成することは、第1のステップにおいて、センサ21.1、21.2、21.3によって取得されるか、または分類モジュールへのx対車両通信を用いて入手された特定のリスクソースに関するデータを転送することを含むことができる。これにより、特定のリスクソースを特定のリスクカテゴリ、または双方に関連付ける。リスクカテゴリごとに、支援システム20は、車両2のエンジン音、または歩行者の足音等の整合する人工音を再生することができる。人工音ファイルは、リスクの増大と共にサリエンスが増大する注意捕捉要素を含むように最適化された人工音ファイルのセットの一部を形成することができる。人工捕捉要素は、例えば大きな音の開始を含むことができる。注意捕捉要素の別の例は、より関連度の低い音の音特性とコントラストをなす音特性、例えば、インフォテイメントシステム23によって出力されるインフォテイメント音に対する強調である。音の特性は、例えば、ピッチ、音質または空間的位置のような音パラメータを含むことができる。プロセッサ25によって選択される人工音ファイルは、リスクが存在すると判断される間、周期的にリプレイすることができる。人工音ファイルの大音量での開始は、関連度測定値またはリスクの値が増大するか(音の大きさ増大)、減少するか(開始増幅なし)、または一定であるか(増幅なし、または反復的に低減される開始増幅)に応じて、反復ごとに変動させることができる。
記録された周囲音に関して、人工音が生成され、少なくとも1つの変調された方向刺激信号において出力され、それぞれのリスク源の方向に向けて、リスク測定値に基づいて、例えばリスク決定されたリスクレベルに比例して決定された音量レベルで、被支援者の錯覚を生成する。
支援システム20は、1つまたは複数のアクチュエータ26.1、26.2、26.3を含むことができる。アクチュエータ26.1、26.2、26.3は、被支援者に対する視覚、触覚、前庭または嗅覚刺激を提供するように適合させることができる。このため、被支援者が、リスクに関連した音と、他の、例えばインフォテイメント関連の音とを区別するのを支援するために。アクチュエータ26.1、26.2、26.3によって出力される刺激、特に方向刺激を用いることによって、支援システムは、人間のマルチモード感覚処理能力を利用することもできる。したがって、プロセッサ25は、変調信号に基づく視覚、触覚、前庭または嗅覚刺激を用いることによって、物体の予測される挙動または予測される事象に関する情報を、インフォテイメントシステム23を介して伝達する少なくとも1つの変調された方向刺激信号の出力を拡張することができる。
アクチュエータ26.1、26.2、26.3は、自車両1のハンドル、座席およびシートベルトのうちの少なくとも1つに統合され、アクチュエータ26.1、26.2、26.3によって出力されるそれぞれの刺激信号による聴覚知覚を向上させることが可能な出力ドライバ28を介してプロセッサ25によって制御される、触覚アクチュエータを含むことができる。プロセッサ25は、可聴周波数スペクトルのサブセットの、振動への変換を行うことができる。この種の触覚アクチュエータの例は、Fujitsu OntennaまたはNeosensory Buzzである。さらに、刺激の強度等の触覚アクチュエータ26.1、26.2、26.3による触覚刺激の特性は、関連度測定値またはリスクレベルのそれぞれの値に従って変調することができる。
代替的にまたはそれに加えて、アクチュエータ26.1、26.2、26.3は、自車両1の換気システムを含むことができる。プロセッサ25は、物体の予測される挙動または予測される事象に向かう方向から発生する被支援者に向かう気流を、気流の関連付けられる関連度測定値またはリスクレベルで出力するように換気システムを制御することができる。気流の強度は、関連度測定値のそれぞれの値に基づいて変調される特性パラメータを表すことができる。
代替的にまたはそれに加えて、アクチュエータ26.1、26.2、26.3は、高リスクの状況において注意を増大させる特性を有する臭気分子を自車両1内に分散させるように適合されたデバイスを含むことができる。
代替的にまたはそれに加えて、アクチュエータ26.1、26.2、26.3は、ダッシュボードにおける視覚要素、ヘッドアップディスプレイを含むことができ、自車両1の中央コンソール上のライトストリップは、さらに、自車両の環境における予測されるリスク要素に向かう方向を指し示すかまたは強調することができる。
代替的にまたはそれに加えて、アクチュエータ26.1、26.2、26.3は、被支援者の注意を増大させるために、被支援者の氏名、または他の意味的に関連する音信号等の一連の言葉を出力することによって、少なくとも1つの変調された方向刺激信号を拡張することができる。
自車両1の内部からセンサデータを取得するセンサは、アクティブおよびパッシブセンサ、例えばカメラセンサ21.4、音響センサ21.5(マイクロフォン)のうちの少なくとも1つを含むことができる。これにより、プロセッサ25において、変調信号の傾斜が、関連度測定値の決定された値に依存するのみでなく、任意選択で被支援者に関する情報にも依存するようにする処理を実施することが可能になる。特に、支援システム20は、被支援者の注意状態、被支援者の覚醒度、および被支援者の注意履歴を決定することができる。
カメラセンサ21.4は、被支援者の頭部の動きおよび眼の動きのうちの少なくとも1つをモニタリングすることを可能にする画像データを提供することができる。プロセッサ25は、被支援者が環境内の現在のシーンのいずれの態様を知覚するかを推定するように構成することができる。プロセッサ25は、画像データに基づいて被支援者の視線パターンおよび固視持続時間を決定し、環境内の異なる要素の知覚の、特に、物体の予測される挙動およびこれらの物体を伴う予測される事象に関する確率推定値を精緻化する。
自車両1の内部からセンサデータを取得するセンサは、被支援者の覚醒度を推定することが可能な瞳孔拡大、心拍数および皮膚コンダクタンス等の他の生理学的測定値を決定するためのセンサを含むことができる。
プロセッサ25は、被支援者の注意および被支援者の覚醒度に関する決定された情報を用いて、決定されたシーンコンテキストおよび人間の挙動パターンに関する記憶されたデータに従って、被支援者に提供される支援を、推定される実際の需要に対し調整することができる。支援システム20は、支援システム20が被支援者の覚醒度を決定するとき、またはタスクに対する被支援者の決定された注意が、必要とされる所定の最小注意または覚醒度レベルに対応する閾値未満であるときはいつでも、変調信号によって刺激変調をさらに増大させることができる。
被支援者の決定された注意レベルまたは覚醒度を、支援システム20によって、関連度測定値またはリスクレベルが大幅に減少した後に変調信号の勾配を適合させるためにさらに用いることができる。例えば、リスクが解消された後、被支援者の決定された覚醒度が変調信号の低減のかなり前の通常レベルに達した場合、変調信号の勾配、したがって回復の傾斜を増大させることができる。
代替的に、支援システム20は、被支援者が十分高いレベルの覚醒度を示さない限り、変調信号の高い変調レベルを維持することを必要とするためのサポートについて、被支援者の個々の需要を決定することができる。この処理は、結果として、被支援者に対する支援における安全性マージンを強化することになる。
支援システム20は、ユーザインタフェース27を含むことができる。ユーザインタフェース27は、例えば、ユーザインタフェース27を用いたボタン押下または音声コマンドを用いることによって、被支援者による手動変調を可能にすることができる。
実施形態の説明は、自動支援システムの分野における適用シナリオに依存した。運転者支援システムは、本発明の1つの特に有用な応用分野を提示する。本発明は、環境内のシナリオの複数の要素が、被支援者の主要なターゲットの関連付けられた関連度において異なるが、被支援者の注意に匹敵する、他の移動性関連のシナリオに適用可能である。添付の特許請求の範囲による支援方法を適用することにより、被支援者の自律性を妨害することも損なうこともなく、必要と考えられる場合に被支援者が環境を知覚する能力を向上させることによって安全性が増大する。このため、被支援者の支援方法の受容度が増大する。
このため、応用分野は、道路交通における運転者支援のみでなく、海運における航海士支援、または空運のシナリオにおけるパイロット支援も含む。
本発明のさらに有利な応用シナリオは、地上ベース、空中ベース、または海上ベースのシナリオにおける移動車両の遠隔制御における支援に関する。

Claims (17)

  1. 動的環境において人がタスクを実行するのを支援するための方法であって、
    前記動的環境に関するデータを取得することと、
    前記取得されたデータに基づいて、前記動的環境における物体または事象の少なくとも1つの挙動を予測することと、
    前記予測に基づいて、前記物体または事象の前記少なくとも1つの挙動の関連度測定値を決定することと、
    変調信号を生成することであって、前記変調信号は、少なくとも1つの信号パラメータを、前記決定された関連度の関数として変更することと、
    少なくとも1つの方向刺激信号を、前記変調信号を用いて変調することであって、前記少なくとも1つの変調された方向刺激信号は、前記被支援者に対する前記物体または事象の前記予測される少なくとも1つの挙動の方向にさらに依存することと、
    前記少なくとも1つの変調された刺激信号を、前記被支援者に出力することと、
    を含む、方法。
  2. 前記被支援者の状態を決定することであって、前記決定された状態に基づいて、リスク依存の刺激変調を適合させることを含む、請求項1に記載の方法。
  3. 前記被支援者の前記決定された状態は、前記被支援者の注意状態、前記被支援者の注意履歴、および前記被支援者の覚醒度のうちの少なくとも1つを含む、請求項2に記載の方法。
  4. 前記少なくとも1つの方向刺激信号は、オーディオ信号、視覚信号および触覚信号のうちの少なくとも1つを含む、請求項1に記載の方法。
  5. 前記少なくとも1つの方向刺激信号は、人工刺激信号、特に記録された音信号を含む、請求項1に記載の方法。
  6. 前記少なくとも1つの信号パラメータは、刺激振幅、刺激周波数、刺激繰返し率、および知覚される信号方向のうちの1つである、請求項1に記載の方法。
  7. 前記少なくとも1つの方向刺激信号は、オーディオ信号ストリームのうちの少なくとも1つを含み、前記少なくとも1つの信号パラメータは、オーディオボリュームおよびオーディオ信号周波数帯域のうちの1つである、請求項1に記載の方法。
  8. 前記被支援者によって知覚可能な更なる刺激を検出し、前記少なくとも1つの方向刺激信号を変調する前に、前記検出された更なる刺激を前記少なくとも1つの方向刺激信号に含めることを含む、請求項1に記載の方法。
  9. 連続関数は、前記決定された関連度の増大の場合、前記被支援者によって知覚される前記少なくとも1つの方向刺激信号のサリエンスを連続的に増大させるか、または、
    前記連続関数は、前記決定された関連度の増大の場合、前記被支援者によって知覚される前記少なくとも1つの方向刺激信号における、前記物体または前記事象の前記少なくとも1つの予測される挙動に対する知覚される距離を連続的に減少させる、請求項1に記載の方法。
  10. 連続関数は、前記決定された関連度の減少の場合、前記被支援者によって知覚される前記少なくとも1つの方向刺激信号のサリエンスを連続的に減少させる、請求項1に記載の方法。
  11. 経時的な前記少なくとも1つの方向刺激信号のサリエンスの減少の場合の前記連続関数の勾配の値は、経時的な前記少なくとも1つの方向刺激信号のサリエンスの増大の場合の前記連続関数の前記勾配の前記値よりも小さい、請求項10に記載の方法。
  12. 関連度の減少の場合の前記少なくとも1つの方向刺激信号の前記変調は、前記関連度の減少に伴って前記変調信号の前記勾配の値を増大させる、請求項1に記載の方法。
  13. 前記関連度の減少の場合の前記少なくとも1つの方向刺激信号の前記変調は、前記関連度の初期値が高いほど、前記変調信号の前記勾配のより小さな値を含む、請求項1に記載の方法。
  14. 前記決定された関連度は、少なくとも1つのタスク目標の関数であり、
    前記少なくとも1つのタスク目標は、交通安全、前記被支援者の快適性、前記被支援者の状態、および別の人のタスク目標のうちの少なくとも1つを含む、請求項1に記載の方法。
  15. 前記決定された関連度は、前記物体または前記予測される事象の前記予測される少なくとも1つの挙動に関連するリスク計測基準である、請求項1に記載の方法。
  16. 動的環境において人がタスクを実行するのを支援するための支援システムであって、
    前記動的環境に関するデータを取得するように構成された取得インタフェースと、
    プロセッサとを備え、前記プロセッサは、前記取得されたデータに基づいて、前記動的環境における物体または事象の少なくとも1つの挙動を予測し、
    前記予測に基づいて、前記物体または事象の前記少なくとも1つの挙動の関連度測定値を決定し、
    変調信号を生成し、前記変調信号は、少なくとも1つの信号パラメータを、前記決定された関連度の連続関数として変更し、
    少なくとも1つの方向刺激信号を、前記変調信号を用いて変調し、前記少なくとも1つの変調された方向刺激信号は、前記被支援者に対する前記物体または事象の前記予測される少なくとも1つの挙動の方向にさらに依存する、
    ように構成され、前記システムは、
    前記少なくとも1つの変調された刺激信号を、前記被支援者に出力するように構成された少なくとも1つのアクチュエータをさらに備える、支援システム。
  17. コンピュータプログラムであって、請求項16に記載の支援システムによって前記プログラムが実行されると、請求項1から15のいずれか1項に記載のステップを実行するためのプログラムコード手段を備えた、コンピュータプログラム。
JP2022161865A 2021-10-08 2022-10-06 関連度依存の刺激変調を用いた支援システム Pending JP2023057058A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP21201585.3 2021-10-08
EP21201585.3A EP4163896A1 (en) 2021-10-08 2021-10-08 Assistance system with relevance-dependent stimulus modulation

Publications (1)

Publication Number Publication Date
JP2023057058A true JP2023057058A (ja) 2023-04-20

Family

ID=78621626

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022161865A Pending JP2023057058A (ja) 2021-10-08 2022-10-06 関連度依存の刺激変調を用いた支援システム

Country Status (3)

Country Link
US (1) US12005921B2 (ja)
EP (1) EP4163896A1 (ja)
JP (1) JP2023057058A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11912311B2 (en) * 2021-08-10 2024-02-27 GM Global Technology Operations LLC System and method of detecting and mitigating erratic on-road vehicles

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2513882B1 (en) 2009-12-18 2014-04-02 Honda Motor Co., Ltd. A predictive human-machine interface using eye gaze technology, blind spot indicators and driver experience
US9701239B2 (en) * 2015-11-04 2017-07-11 Zoox, Inc. System of configuring active lighting to indicate directionality of an autonomous vehicle
US20170156000A1 (en) 2015-11-27 2017-06-01 Bragi GmbH Vehicle with ear piece to provide audio safety
JP6608793B2 (ja) * 2016-10-07 2019-11-20 株式会社Soken 物体検出装置
US9896031B1 (en) * 2017-01-03 2018-02-20 Ford Global Technologies, Llc Spatial auditory alerts for a vehicle
EP3413288A1 (en) * 2017-06-09 2018-12-12 Honda Research Institute Europe GmbH Method for assisting a person in acting in a dynamic environment and corresponding system
EP3474253B1 (en) * 2017-10-20 2024-04-10 Honda Research Institute Europe GmbH Gaze-guided communication for assistance in mobility
EP3531337B1 (en) * 2018-02-21 2022-03-16 Honda Research Institute Europe GmbH Optical flow based assistance for operation and coordination in dynamic environments
CN112135762A (zh) * 2018-03-28 2020-12-25 阿达姆齿轮科技有限公司 基于认知状态的无缝激励
EP3723066A1 (en) * 2019-04-10 2020-10-14 Honda Research Institute Europe GmbH Method for assisting a person in acting in a dynamic environment and corresponding system

Also Published As

Publication number Publication date
US20230116198A1 (en) 2023-04-13
EP4163896A1 (en) 2023-04-12
US12005921B2 (en) 2024-06-11

Similar Documents

Publication Publication Date Title
US10343602B2 (en) Spatial auditory alerts for a vehicle
US10399575B2 (en) Cognitive load driving assistant
KR102388989B1 (ko) 가속 중인 물체의 공간적 음향화
US11062598B2 (en) Method, mobile user device, and computer program for producing visual information for at least one occupant of a vehicle
US7274287B2 (en) Warning and information system for a vehicle
JP2020091790A (ja) 自動運転システム
JP2007528815A (ja) 運転者の行動解釈に基づいて自動車のサブシステムを制御する方法および機構
JP7031472B2 (ja) 運転支援装置、及び運転支援方法
WO2018163470A1 (ja) 運転モード切替制御装置、システム、および方法
JP2009157736A (ja) 脇見検出装置および方法、並びに、プログラム
WO2021210316A1 (ja) 制御装置及び制御プログラム
JP2016181260A (ja) 適応型運転者支援
JP2023057058A (ja) 関連度依存の刺激変調を用いた支援システム
US9789815B2 (en) Navigation device, navigation method, and computer program product
Zarife Integrative warning concept for multiple driver assistance systems
US20180022357A1 (en) Driving recorder system
CN114531637A (zh) 向用户提供提醒的听力系统、听力设备和方法
WO2020039678A1 (ja) ヘッドアップディスプレイ装置
CN113939858A (zh) 自动驾驶辅助装置、自动驾驶辅助系统和自动驾驶辅助方法
JP2020154795A (ja) 出力制御装置、出力制御方法、および出力制御プログラム
KR102366874B1 (ko) 고령 운전자를 위한 후방 경보 장치 및 방법
WO2022258150A1 (en) Computer-implemented method of assisting a driver, computer program product, driving assistance system, and vehicle
JP7456490B2 (ja) 音データ処理装置および音データ処理方法
KR20220054504A (ko) 차량 및 그 제어방법
JP2021051604A (ja) ドライブレコーダ、データ記録方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240312

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240607