JP2021107608A - 車両のライダの認知状態を監視するためのシステム及び方法 - Google Patents

Abstract

【課題】サドル乗車型車両上のインテリジェントヘルメットに関する。【解決手段】本ヘルメットは、ヘルメット内に配置され、かつ、車両のライダの認知負荷を示す認知負荷データを取得するように構成された１つ又は複数のセンサと、車両と通信する無線送受信機と、１つ又は複数のセンサ及び無線送受信機と通信するコントローラとを含み、コントローラは、少なくとも認知負荷データを利用して乗員の認知負荷を特定し、認知負荷が閾値を超えた場合に、運転者支援機能を調整するためのコマンドを実行するために無線送受信機を利用して車両に無線コマンドを送信するように構成されている。【選択図】図２

Description

本開示は、サドル乗車型車両上のインテリジェントヘルメットに関する。

疲労は、睡眠不足、長時間の精神的又は肉体的作業、交代勤務、長時間のストレスや不安など、日常の種々の条件の結果からライダに倦怠感、体力の衰退、眠気を感じさせることがある。疲労は、ライダの集中力やパフォーマンスレベルに影響を与えかねない。さらに、疲労は、車両の運転中に事故を引き起こす可能性すらあり、これらの事故には、運転者の十分な注意力が常に決定的となり得る二輪車のライダの事故も含まれる。

頭部に装着したり手首に装着したりする形態で自動車運転者の疲労を監視するための、市場で入手可能なデバイスは、複数存在する。これらのデバイスは、運転者、主に自動車運転者又は産業労働者の運転者の警告状態を検出するために、モーションセンサ、ＥＥＧ、瞼動作等のセンサを使用している。ただし、特に、二輪車のライダを標的とするデバイスは、存在していない。

概要
一実施形態によれば、本ヘルメットは、ヘルメット内に配置され、かつ、車両のライダの認知負荷を示す認知負荷データを取得するように構成された１つ又は複数のセンサと、車両と通信する無線送受信機と、１つ又は複数のセンサ及び無線送受信機と通信するコントローラとを備え、コントローラは、少なくとも認知負荷データを利用して乗員の認知負荷を特定し、認知負荷が閾値を超えた場合に、運転者支援機能を調整するためのコマンドを実行するために無線送受信機を利用して車両に無線コマンドを送信するように構成されている。

一実施形態によれば、本ヘルメットは、ヘルメット内に配置され、かつ、サドル乗車型車両のライダの認知負荷を示す認知負荷データを取得するように構成された１つ又は複数のセンサと、車両と通信する無線送受信機と、１つ又は複数のセンサ及び無線送受信機と通信するコントローラとを備え、コントローラは、少なくとも認知負荷データを利用して乗員の認知負荷を特定し、認知負荷が第１の閾値を超えた場合に、運転者支援機能を調整するためのコマンドを実行するために車両にコマンドを送信するように構成されている。

一実施形態によれば、サドル乗車型車両上でヘルメットを着用しているライダを監視する本方法は、サドル乗車型車両のライダの認知負荷を示す認知負荷データを取得することと、リモートサーバ及びサドル乗車型車両と情報を通信することと、少なくとも認知負荷データを利用してライダの認知負荷を特定することと、認知負荷が閾値を超えた場合に、サドル乗車型車両の運転者支援機能を調整するためにサドル乗車型車両に送信されるコマンドを実行することとを含む。

スマートヘルメット１０１及びモータサイクル１０３を含むシステム設計１００の例を示した図である。 認知負荷を識別し得るスマートヘルメットを含むシステムの例を示した図である。 サドル乗車型車両のライダの認知負荷を識別する例示的なフローチャート３００である。

詳細な説明
本開示の実施形態は、本明細書に記載されている。しかしながら、開示された実施形態は単なる例示に過ぎず、他の実施形態においては、種々の代替形態を取ることができる点を理解されたい。図面は、必ずしも縮尺どおりではない。一部の特徴は、特定のコンポーネントの詳細を表示するために誇張又は最小化されている場合がある。従って、本明細書に開示される特定の構造的及び機能的詳細は、限定として解釈されるのではなく、むしろ、種々の実施形態の使用を当業者に教示するための単なる代表的な基礎例として解釈されるべきである。当業者には理解されるように、図面のいずれか１つを参照して示され説明された種々の特徴は、１つ又は複数の他の図面に示された特徴と組み合わせることによって、明示的に図示又は記載されていない実施形態を生成することが可能である。図示の特徴の組合せは、典型的な用途のための代表的な実施形態を提供する。ただし、本開示の教示と一致する特徴の種々の組合せ及び変更が、特定の用途又は実装のために要求される場合がある。

本開示は、ヘルメット及びサドル乗車型車両に言及している。この「サドル乗車型車両」とは、典型的にはモータサイクルを指すが、典型的には運転者がサドルに着座し、典型的にはライダ保護用のキャビンが存在しないことからヘルメットが着用される任意のタイプの自動車も含み得ることを理解されたい。これには、モータサイクル以外に、ダートバイク又はスクータなどの他の動力付き二輪車（ＰＴＷ）も含まれる。また、これには、動力付き三輪車、又は、全地形対応車（ＡＴＶ）などの動力付き四輪車も含まれる。特に、モータサイクル、車両、又は、バイクに対する任意の言及は、特段の明記がない限り、任意の他のサドル乗車型車両にも適用可能である。

ヘルメット又はＰＴＷは、電気制御ユニット（ＥＣＵ）を含み得る。このＥＣＵは、より一般的にはコントローラと称されることがあり、例えば、種々のセンサから情報を受信し、情報を処理し、運転支援機能を調整するための命令を出力することができる任意のコントローラであるものとしてもよい。本開示においては、「コントローラ」及び「システム」という用語は、コードを実行するプロセッサハードウェア（共有、専用又はグループ）及びプロセッサハードウェアによって実行されるコードを格納するメモリハードウェア（共有、専用又はグループ）を指し、又は、その一部であるもの若しくは含むものとすることができる。コードは、本明細書において説明されるコントローラ及びシステムの機能を提供するように構成されている。一例においては、コントローラは、プロセッサ、メモリ及び不揮発性ストレージを含み得る。プロセッサは、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、マイクロコンピュータ、中央処理ユニット、フィールドプログラマブルゲートアレイ、プログラマブルロジックデバイス、ステートマシン、ロジック回路、アナログ回路、デジタル回路、又は、メモリ内に常駐するコンピュータ実行可能命令に基づいて（アナログ若しくはデジタル）信号を操作する任意の他のデバイスから選択される１つ若しくは複数のデバイスを含み得る。メモリは、ランダムアクセスメモリ（「ＲＡＭ」）、揮発性メモリ、不揮発性メモリ、スタティックランダムアクセスメモリ（「ＳＲＡＭ」）、ダイナミックランダムアクセスメモリ（「ＤＲＡＭ」）、フラッシュメモリ、キャッシュメモリ、又は、情報を格納し得る任意の他のデバイスを含むがこれらには限定されない単一のメモリデバイス若しくは複数のメモリデバイスを含み得る。不揮発性ストレージは、ハードドライブ、光学ドライブ、テープドライブ、不揮発性ソリッドステートデバイス、又は、情報を恒久的に保存し得る任意の他のデバイスなどの１つ若しくは複数の恒久的データストレージデバイスを含み得る。プロセッサは、メモリに読み込まれ、不揮発性ストレージ内に常駐する１つ又は複数のソフトウェアプログラムを実施するコンピュータ実行可能命令を実行するように構成されるものとしてもよい。不揮発性ストレージ内に常駐するプログラムは、オペレーティングシステム若しくはアプリケーションを含み又はその一部であるものとしてもよく、さらに、Ｊａｖａ、Ｃ、Ｃ＋＋、Ｃ＃、Ｏｂｊｅｃｔｉｖｅ Ｃ、Ｆｏｒｔｒａｎ、Ｐａｓｃａｌ、Ｊａｖａ Ｓｃｒｉｐｔ、Ｐｙｔｈｏｎ、Ｐｅｒｌ及びＰＬ／ＳＱＬの単独又はそれらの組合せを含むがこれらには限定されない種々のプログラミング言語及び／又はテクノロジを使用して作成されたコンピュータプログラムからコンパイル又は解釈されるものとしてもよい。コンピュータ実行可能プログラムの命令は、プロセッサによる実行時に、例えば、認知閾値を超えた場合に、運転者支援機能の起動を実行させるように構成されるものとしてもよい。

本明細書に記載されている本対象の実装及び操作は、デジタル電子回路において、又は、本明細書に開示されている構造及びそれらの構造的等価物を含む有形媒体、ファームウェア若しくはハードウェア上で実施されるコンピュータソフトウェアにおいて、又は、それらの１つ若しくは複数の組合せにおいて、実行することができる。本明細書に記載されている本対象の実装は、有形媒体上で、即ち、データ処理装置による実行のために、又は、データ処理装置の操作を制御するために、１つ若しくは複数のコンピュータ記憶媒体上で符号化されたコンピュータプログラム命令の１つ若しくは複数のモジュール上で実施される１つ若しくは複数のコンピュータプログラムとして実行することができる。コンピュータ記憶媒体は、コンピュータ可読記憶デバイス、コンピュータ可読記憶基板、ランダム若しくはシリアルアクセスメモリアレイ又はデバイス、又は、それらの１つ若しくは複数の組合せであるもの又はそれらに含まれるものとすることができる。また、コンピュータ記憶媒体は、１つ若しくは複数の別個のコンポーネント又は媒体（例えば、複数のＣＤ、ディスク、若しくは、他の記憶デバイス）であるもの又はそれらに含まれるものとすることができる。コンピュータ記憶媒体は、有形かつ非一時的であるものとしてもよい。

（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト又はコードとしても既知である）コンピュータプログラムは、コンパイルされた言語、解釈された言語、宣言言語及び手続き型言語を含む任意の形式のプログラミング言語で記述することができ、さらに、コンピュータプログラムは、スタンドアロンプログラムとして、又は、モジュール、コンポーネント、サブルーチン、オブジェクト若しくはコンピューティング環境における使用に適した他のユニットとしてなどを含む任意の形式において、展開することができる。コンピュータプログラムは、ファイルシステム内のファイルに対応することができるが、必ずしも対応する必要はない。プログラムは、他のプログラム若しくはデータを保持するファイルの一部（例えば、マークアップ言語ドキュメントに保存された１つ若しくは複数のスクリプト）、問合せプログラム専用の単一のファイル、又は、複数の調整されたファイル（例えば、１つ若しくは複数のモジュール、ライブラリ、サブプログラム、又は、コードの一部を格納するファイル）に格納することができる。コンピュータプログラムは、１つのコンピュータ上において、又は、１つのサイトに配置されている若しくは複数のサイトにわたって分散されて通信ネットワークにより相互接続されている複数のコンピュータ上において、実行されるように展開することができる。

本明細書に記載されているプロセス及び論理フローは、１つ又は複数のコンピュータプログラムを実行して、入力データの操作及び出力の生成によりアクションを実行する１つ又は複数のプログラミング可能なプロセッサによって実行することができる。このプロセス及び論理フローは、特殊目的の論理回路、例えば、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）又は特定用途向け集積回路（「ＡＳＩＣ」）によって実行することもでき、さらに、そのような装置として実装することもできる。そのような特殊目的の回路は、汎用目的のプロセッサでなくてもコンピュータプロセッサと称されるものとしてもよい。

スマートヘルメットは、疲労を含む認知状態を識別して特定するための機能を含み得る。付加的に、スマートヘルメットは、アルコール消費に関する識別子を含み得る。以下において説明する実施形態は、脳波及び他の生理学的信号、運転パターン、時刻、移動の目的、環境条件などを測定することができる。センサは、ライダの頭蓋骨に直接接続し、脳波及び他の測定値を容易に追跡するためにヘルメット上において利用するものとしてもよい。そのような入力は、ライダの認知状態を識別し、車両（例えばモータサイクル）の所定の安全機能を起動するために融合されるものとしてもよい。

図１は、スマートヘルメット１０１及びモータサイクル１０３を含むシステム設計１００の例である。スマートヘルメット１０１及びモータサイクル１０３は、互いに対話する種々のコンポーネント及びセンサを含み得る。スマートヘルメット１０１は、運転者の身体及び頭部の運動に関するデータの収集に焦点を合わせることができる。一例においては、スマートヘルメット１０１は、カメラ１０２を含み得る。ヘルメット１０１のカメラ１０２は、移動する車両における位置及び方向性の認識に利用される一次センサを含み得る。従って、このカメラ１０２は、ライダを取り巻く他の車両及び対象物を追跡するためにヘルメット１０１の外側に向けることができる。カメラ１０２は、そのような対象物及び車両の動特性をキャプチャすることが困難である場合がある。他の例においては、ヘルメット１０１は、カメラ１０２に加えて又はカメラ１０２の代わりに、レーダ若しくはＬＩＤＡＲセンサを含む場合もある。

ヘルメット１０１は、ヘルメット慣性計測ユニット（ＩＭＵ）１０４も含み得る。このヘルメットＩＭＵ１０４は、ライダの頭部の高い動的運動を追跡するために利用されるものとしてもよい。従って、ヘルメットＩＭＵ１０４は、ライダが向いている方向又はライダが見ている方向を追跡するために利用することができる。付加的に、ヘルメットＩＭＵ１０４は、突発的な運動及び起こり得る他の運動を追跡するために利用することができる。ＩＭＵは、１つ又は複数のモーションセンサを含み得る。

慣性計測ユニット（ＩＭＵ）は、加速度計とジャイロスコープとの組合せを使用し、時には磁力計も使用して、身体の特定の力、角速度、及び、時には地球の磁場も測定して報告することができる。ＩＭＵは、典型的には、他の多くのなかで無人航空機（ＵＡＶ）を含めた航空機や、衛星や着陸船を含めた宇宙船の操縦のために使用されている。ＩＭＵは、種々の車両システムにおいて使用される慣性航法システムのコンポーネントとして利用することができる。ＩＭＵのセンサから収集されたデータは、コンピュータにモータ位置の追跡を可能にさせることができる。

ＩＭＵは、１つ又は複数の軸を使用して現在の加速度を検出することによって動作し、１つ又は複数の軸を使用してピッチ、ロール及びヨーなどの回転属性の変化を検出することができる。典型的なＩＭＵは、磁力計も含み、この磁力計は、地球の磁場測定値を使用することによって方向性ドリフトに対する較正を支援するために使用されるものとしてもよい。慣性航法システムは、（位置変更用に）角度及び線形加速度計を有するＩＭＵを含む。一部のＩＭＵは、（絶対角度基準の維持のために）ジャイロスコープ要素を含む。角速度計は、車両が空間内においてどのように回転しているかを測定している。ピッチ（鼻の上下）、ヨー（鼻の左右）、及び、ロール（コックピットからの時計回り又は反時計回り）の３つの軸の各々には少なくとも１つのセンサが存在し得る。線形加速度計は、車両の非重力加速度を測定することができる。車両は、３つの軸（上下、左右、前後）において運動する可能性があるため、各軸に対して線形加速度計が存在する場合がある。３つのジャイロスコープは、一般に類似の直交パターンにおいて配置され、任意に選択された座標系を参照して回転位置を測定する。コンピュータは、車両の現在位置を継続的に計算することができる。コンピュータは、６つの自由度（ｘ，ｙ，ｚ、及び、Ｏｘ，Ｏｙ，Ｏｚ）の各々について、現在の速度を計算するため、感知された加速度を重力の推定値と共に時間にわたって積分することができる。コンピュータは、現在の位置を計算するために速度を積分することもできる。ＩＭＵによって提供される測定値の一部は、以下のとおりである。

は、ＩＭＵからＩＭＵの本体フレームへの生の測定値である。αＷ，ωＢは、推定される適正な加速度とジャイロスコープの速度測定値である。ｂａ，ｂｇは、加速度計及びジャイロスコープのバイアスオフセットである。ηａ，ηｇは、加速度計及びジャイロスコープのノイズである。

ヘルメット１０１は、アイトラッカ１０６も含み得る。このアイトラッカ１０６は、モータサイクル１０３のライダが見ている位置の方向を特定するために利用されるものとしてもよい。アイトラッカ１０６は、眠気及び倦怠感又はＰＴＷのライダを識別するために利用されるものとしてもよい。アイトラッカ１０６は、ユーザがどこを見ているかを特定するために、目の種々の部分（例えば、網膜、角膜など）を識別することができる。アイトラッカ１０６は、ライダの眼球運動の追跡を支援するためにカメラ又は他のセンサを含み得る。

ヘルメット１０１は、ヘルメットプロセッサ１０８も含み得る。このヘルメットプロセッサ１０８は、モータサイクル１０３及びヘルメット１０１の両方の種々のカメラ及びセンサによって収集されたデータのセンサ融合のために利用されるものとしてよい。他の実施形態においては、ヘルメットは、短距離通信及び長距離通信のために利用される１つ又は複数の送受信機を含み得る。ヘルメットの短距離通信は、モータサイクル１０３又は近傍の他の車両及び対象物との通信を含み得る。他の実施形態においては、長距離通信は、オフボードサーバ、インタネット、「クラウド」、セルラ通信などとの通信を含み得る。ヘルメット１０１及びモータサイクル１０３は、ヘルメット１０１及びモータサイクル１０３の両方に配置された送受信機によって実装される無線プロトコルを利用して相互に通信することができる。そのようなプロトコルは、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉなどを含み得る。ヘルメット１０１は、ヘルメット１０１のバイザにグラフィック画像を出力するために利用されるヘッドアップディスプレイ（ＨＵＤ）も含み得る。

モータサイクル１０３は、前向きカメラ１０５を含み得る。この前向きカメラ１０５は、モータサイクル１０３のヘッドランプ又は他の類似の領域に配置されるものとしてよい。前向きカメラ１０５は、ＰＴＷがどこに向かっているかを識別することの支援のために利用されるものとしてよい。さらに、前向きカメラ１０５は、モータサイクル１０３の前方の種々の対象物又は車両を識別することができる。従って、前向きカメラ１０５は、インテリジェントクルーズコントロール又は衝突検出システムなどの種々の安全システムを支援することができる。

モータサイクル１０３は、バイクＩＭＵ１０７を含み得る。このバイクＩＭＵ１０７は、ＰＴＷのヘッドライト又は他の類似の領域に装着されるものとしてもよい。バイクＩＭＵ１０７は、バイクの運動の理解のために利用され得る慣性データを収集することができる。バイクＩＭＵ１０７は、典型的には３つの直交軸にある多軸加速度計を有している。同様に、バイクＩＭＵ１０７は、多軸ジャイロスコープも含み得る。

モータサイクル１０３は、ライダカメラ１０９を含み得る。このライダカメラ１０９は、モータサイクル１０３のライダの追跡を維持するために利用されるものとしてもよい。ライダカメラ１０９は、モータサイクルのハンドルバーに沿った種々の位置に又はライダに面する他の位置に取り付けられるものとしてよい。ライダカメラ１０９は、ライダの画像又はビデオをキャプチャするために利用されるものとしてもよく、これらは、順次、ライダの種々の身体部分又は運動の識別などの種々の計算のために利用される。ライダカメラ１０９は、ライダの目に焦点を合わせるために利用されるものとしてもよい。このように、視線の動きは、ライダがどこを見ているかを見出すために特定されるものとしてもよい。

モータサイクル１０３は、電子制御ユニット１１１を含み得る。ＥＣＵ１１１は、モータサイクルのセンサによって収集されたデータ、及び、ヘルメットのセンサによって収集されたデータを処理するために利用されるものとしてよい。ＥＣＵ１１１は、種々の位置を処理及び計算し又は対象物認識を行うために、種々のＩＭＵ及びカメラから受信したデータを利用することができる。ＥＣＵ１１１は、ライダカメラ１０９及び前向きカメラ１０５と通信するものとしてよい。例えば、ＩＭＵからのデータは、基準点に対して相対的な位置及び方向性を識別するために、ＥＵＣ１１１に供給されるものとしてもよい。画像データをそのような計算と組み合わせる場合には、バイクの運動を、ライダが向いている方向や焦点を合わせている方向を識別するために利用することができる。バイクの前向きカメラとヘルメットのカメラの両方からの画像データは、バイクとライダの頭部との間の相対的な方向性を特定するために比較される。画像比較は、両方のカメラ（例えば、ライダカメラ１０９と前向きカメラ１０５）から抽出されたまばらな特徴に基づいて実行することができる。モータサイクル１０３は、ＥＣＵを支援するためのバイク中央処理ユニット１１３を含み得る。従って、システムは、ライダの注意、姿勢、位置、方向性、接触（例えば、ハンドルバーのグリップ）、ライダスリップ（例えば、ライダとシートとの間の接触）、ライダと車両との関係、及び、ライダと世界との関係を継続的に監視することができる。

図２は、ライダの認知負荷の識別を支援するためのセンサを含むスマートヘルメットの例を開示している。このスマートヘルメット２００は、脳波（ＥＥＧ）センサ２０１を含み得る。スマートヘルメット２００は、バイザ、硬い外殻、及び、ライダの頭部全体をカバーする柔らかい内殻を含む、ライダに安全性を提供するために利用されるヘルメットの典型的な特徴を含み得る。ＥＥＧセンサ２０１は、ユーザの頭部からＥＥＧ信号を取得するように配置された１つ又は複数のＥＥＧセンサから脳波（ＥＥＧ）信号を取得することができる。システムは、ユーザによって示され、センサユニットによって取得されたＥＥＧ活動信号を監視するために信号を利用することができる。統合化されたシステムは、複数のＥＥＧ信号を処理し、スマートヘルメットのデータ処理ユニットと通信するためのデータ処理ユニットをさらに含み得る。取得されたＥＥＧ信号を分析するためのプロセスは、データ処理ユニット上で実行されるものとしてもよいし、又は、携帯型電子デバイスの処理ユニットを利用するものとしてもよい。

スマートヘルメット２００は、乗車パターンセンサ２０３も含み得る。この乗車パターンセンサ２０３は、ライダの運転行動を識別するために利用することができる。例えば、ライダが他の車線上への逸脱をし続ける場合、そのような情報は利用可能である。ライダパフォーマンス評価器は、埋め込まれたデータソース（ＣＡＮバスなど）又はインストールされたデータソース（ジャイロスコープなど）によって収集されたＰＴＷの動的データに基づいてライダのパフォーマンスを評価することができる。ライダパフォーマンス評価器は、運転者が運転タスクに十分に集中しているかどうか、又は、ライダが現在の運転環境に対処し得るかどうかを判断するために使用することができる。ライダのパフォーマンスデータから収集されたデータは、ライダの認知負荷を識別するために使用することもできる。

スマートヘルメット２００は、移動目的識別子２０５も含み得る。この移動目的識別子２０５は、ユーザの認知負荷を考慮に入れるために移動目的を特定することができる。例えば、移動目的識別子２０５は、通勤が、ライダにとってこれまでに走ったことのない密集した都市部を運転するときのような新しい経験の場合と同程度の認知負荷を要するものではない馴染みのある道路における馴染みの通勤であることを認識する場合、ライダの認知負荷が軽減されることを想定することができる。移動目的識別子２０５は、識別された目的地を特定するためにナビゲーションシステムを使って作業することができる。

スマートヘルメット２００は、ライダ環境に関する周囲条件を理解するための環境影響センサ２０７（例えば、カメラ、レーダ、ＬｉＤａｒ、車載カメラ、速度センサ、フロントガラスワイパセンサ、生体認証センサなど）及びオフボードサーバも含み得る。ＰＴＷは、フォグライト、フロントガラスワイパ、雨滴センサ、水分センサなどの他のセンサを利用することができる。これらは、認知負荷を特定するための入力値として利用されるものとしてもよい。例えば、フォグライトが動作したり、フロントワイパが高速で動作したり、雨滴センサが多くの降水量を識別したりすると、ライダの認知負荷は高くなる可能性がある。オフボードデータは、ユーザが操車に手一杯となり、認知負荷が増加する可能性のある要因を識別するために利用されるものとしてもよい。例えば、オフボードサーバからの気象データは、気象条件を識別することができる。気象データは、厳しい気象条件の更新、悪い運転条件（凍結道路など）、及び、運転者の認知負荷に影響を与える可能性のある他の項目を識別することができる。

スマートヘルメット２００は、認知負荷を考慮に入れるため時刻２０９を識別するためにセンサを利用することもできる。そのようなセンサは、時計、又は、フォトセルセンサ、フォトレジスタ、光検出抵抗器、又は、光若しくは光の欠如を検出し得る他のセンサを含み得る。従って、センサは、モータサイクル外部の時間又は光強度に基づいて、それが昼間であるのか又は夜間であるのかを理解することができる。センサは、ヘルメットの外面に配置されるものとしてもよい。他の実施形態においては、ＰＴＷにとっての夕暮れ時刻と夜明け時刻とを識別するためにＧＰＳ受信機が利用されるものとしてもよい。

スマートヘルメット２００は、生理学的センサ２１１を含み得る。この生理学的センサは、聴力、呼吸数又は血圧を識別することができるセンサを含み得る。生理学的センサ２１１は、血液量圧力、頭血量パルス、心電図検査、皮膚電気活動（Ｑセンサを使用）、筋電図検査（ＥＭＧ）、感情センサ（ＥＣＧ）なども含み得る。そのような生理学的センサは、ユーザの体温又はオンチップ画像及びカラーセンサを含めた種々のセンサの温度を測定するための熱流束センサを含み得る。さらに、ｐＨ、温度及び圧力を測定するセンサは、胃腸の異常を検出するための迅速で正確な診断ツールを提供することができる。ここでは、精度の向上のために、フィルタリング、ノイズキャンセル、増幅などのデータ処理ステップが適用されるものとしてもよい。

スマートヘルメット２００は、ＰＴＷを取り巻く交通条件を監視するために種々のセンサを利用することができる。オフボードデータは、ユーザが操車に手一杯となり、認知負荷が増大する可能性のある交通要因を識別するために利用されるものとしてもよい。例えば、オフボードサーバからの交通データは、重大な交通条件や事故を識別することができる。交通データは、交通流の更新、事故及び交通流に影響を及ぼし、ひいては、運転者の認知負荷に影響を与える可能性のある他の事象を識別することができる。

ＯＭＳは、ヘルメット内に、又は、ユーザとＰＴＷとの対話若しくは他の気をそらすものとの対話を観察することができる適当な位置に取り付けられるものとしてもよい。このＯＭＳは、ＰＴＷとの対話から実際の認知要求又は潜在的認知要求を評価する。例えば、ユーザがハンズフリーシステムで電話の通話をしながら高速で活動的に運転していることをＯＭＳが検出した場合、ユーザの認知負荷は高いと評価される可能性がある。他の例においては、ＯＭＳが、ライダ以外のＰＴＷ上の他の乗員を検出した場合、ＯＭＳは、ユーザの認知要求が間もなく増加することを予測することができる。

スマートヘルメット２００又はリモートサーバは、特徴抽出２１５の利用により認知負荷又は精神状態を識別するため種々のセンサデータを収集するために利用されるものとしてもよい。この特徴抽出２１５は、生（ｒａｗ）の入力信号又は信号の一部の統計を取ることができ、さらに、ライダの精神状態２２１又はアルコール消費量２１９を予測するための機械学習モデル２１７をトレーニングするためにそれらを利用することができる。この機械学習モデル２１７においては、意思決定ツリーやサポートベクトルマシンなどの従来技術の１つから深層学習などのより高度な方法まで種々の機械学習分類器を使用することができる。マルチタスク分類器は、ライダのアルコール消費量２１９やライダの精神状態２２１を予測するために、抽出された特徴に基づいてトレーニングされている。ライダの精神状態の予測は、バイクハンドル上の音響及び振動を考慮に入れることによるライダへの警告に使用されるものとしてもよい。アルコールによる影響結果は、ライダによる車両運転の防止に使用することができる。例えば、スマートヘルメットは、ヘルメットに組み込まれている飲酒検知器を使用してライダが影響を受けていることを識別することができ、直ちにヘルメットは、機能を起動し又はＰＴＷの操作を無効にするコマンドをＰＴＷに送信する。

図３は、ＰＴＷのライダの認知負荷を識別する例示的なフローチャート３００である。このフローチャート３００は、車両コントローラ内のＰＴＷ側アプリケーションに実装されるものとしてもよいし、又は、リモートサーバにおけるオフボードに実装されるものとしてもよい。システムは、ステップ３０１において、ライダの認知負荷を識別するために利用されるセンサデータ及び任意の他のデータを収集することができる。システムは、ヘルメット又はＰＴＷ内のセンサ、及び、オフボードサーバと通信することができる。そのようなセンサ及びデータは、上記図１及び図２において説明されたものを含み得る。

システムは、ステップ３０３において、ユーザの認知負荷の有無を特定することもできる。システムは、ＰＴＷを制御するライダの認知負荷の識別を支援するためにヘルメット内の種々のセンサを利用することができる。ヘルメットは、認知負荷を識別するための他の情報を収集するためにＰＴＷと通信することもできる。例えば、システムは、車両がどの程度速く移動しているかを識別するために車速センサを利用することができる。ハイレベルにおいては、車両の移動速度が速いほど、運転者の認知負荷は大きくなることを想定することができる（例えば、運転者は、タスクよりも運転に集中している）。従って、認知負荷が高いほど、ユーザは、ビデオ会議セッションが行われているときに、ユーザがインタフェース上の追加情報に集中することを妨げるような追加のタスクに注意を散らす可能性がある。上記において説明した実施形態は、ユーザの認知ワークロードに基づくマルチレベルプレゼンテーションＨＭＩに適用されるものとしてもよい。例えば、最高レベルのＨＭＩには、電話会議の総ての特徴を含めることができる。残余のレベルには、電話会議の特徴の低減されたセットのみが含まれる。

他のレベルにおいては、運転者の認知負荷は、顔面の動き、眼球運動などを含む乗員の行動を監視するＰＴＷ上に配置されたＤＳＭ（例えば運転者向きカメラ）によって特定されるものとしてよい。運転者の認知負荷は、交通条件、他の車両への近さ、道路構造の複雑さのレベル、ＰＴＷを取り巻く対象物の数など、車両を取り巻く環境を監視するＤＳＭによって特定されるものとしてよい。例えば、多くの車両又は対象物が車両を取り巻いている場合、運転者の認知負荷は高くなる可能性がある。ＤＳＭが複数の対象物又は限定された量の対象物しか識別しない場合、ライダの認知負荷は、低くなる可能性がある。

さらに、情報は、車両のライダを識別し、運転者の認知負荷に関する閾値を調整するために利用するものとしてよい。例えば、ライダの年齢や運転経験は、ライダの認知負荷の閾値が低くなっていることを考慮に入れることができる。ライダの識別は、ユーザプロファイルデータによって、又は、携帯電話、カメラ（顔面認識など）若しくは車両設定から取得した情報によって特定されるものとしてよい。システムは、ライダがＰＴＷに乗っていた期間はどの程度か（例えば経験）、及び、年齢、事故履歴、交通違反切符などを特定することができる。システムは、ＰＴＷを運転させるかどうか、運転者に警告するかどうか、又は、一部のライダ支援機能を起動するかどうかを決定するために設定される閾値認知負荷を有することができる。例えば、ライダの認知負荷が高まると特定された場合には、アダプティブクルーズコントロール機能を起動させるものとしてよい。システムは、ライダの認知負荷を識別又は推定するために認知負荷データを利用することができる。

ステップ３０５においては、システムは、ライダの認知負荷が閾値を超えているかどうかを特定することができる。システムは、ＰＴＷのライダなど、ＰＴＷ内の種々の要因に基づいて閾値を調整することができる。インタフェース又は運転者を支援する機能は、ライダによって又はインタフェースを介して設定され得る閾値の自動調整を可能にすることもできる。このように、認知負荷データは、ライダに警告する（例えば、モータサイクルのハンドル上において音又は振動を再生する）、又は、運転支援機能を起動する、又は、状況によってはモータサイクルの運転を中止させるなど、どのような調整をＰＴＷにさせることができるかを特定するための測定と、閾値との比較のために、収集及び分析されるものとしてよい。システムは、２つ以上の閾値を有することができる。従って、複数の閾値が使用される場合、システムは、各閾値に対して異なるレベルのコンテンツを有する複数のインタフェースを利用することができる。従って、認知負荷に対して２つの異なる反作用を有するだけではなく、システムは、閾値又はレベルの変更によって調整される３つ、４つ、５つ、６つなどの異なる反作用を有することができる。

ステップ３０７においては、車両システムは、認知負荷が閾値量を超えた場合に、運転支援機能を調整するためのコマンドを実行することができる。従って、ライダが過労であると特定された場合（例えば、ライダの動きがない、クリアパス運転、自律／半自律運転システムが支援している）、システムは、ライダがＰＴＷを運転するための支援を必要としている可能性を推定して通知をライダに提供し、又は、運転者支援機能を起動することができる。通知は、ＰＴＷのサドル若しくはハンドルバーの振動、及び、ヘルメットのＨＵＤのディスプレイ上に表示される通知、又は、ヘルメット内のスピーカ上の音声出力を含み得る。運転支援機能は、アダプティブクルーズシステム、半自律運転、車線維持支援機能などを（ヘルメットからＰＴＷに送信される無線コマンドを介して）起動することを含み得る。一例においては、認知負荷が高い場合、ヘルメットは、ＰＴＷの運転を安全に中止するために、無線コマンドをＰＴＷに送信することができる。システムは、種々の機能を操作するための種々の閾値を含み得る。従って、システムは、第１の閾値において起動させる種々の機能と、より高い閾値において起動させる他の機能とを含み得る。データに基づいて、認知負荷が高いと考えられる場合、又は、運転者がその影響を受けていると推定される場合には、車両の運転を停止することができる。システムは、運転者支援機能を起動する前に通知を送信することができ、これは、ライダに、機能の起動の中止や機能の起動の確認をさせることができる。

ステップ３０９においては、車両システムは、通知又は運転者支援機能の起動後であっても、認知負荷の監視を継続することができる。通知は、ＰＴＷのサドル若しくはハンドルバーの振動、及び、ヘルメットのＨＵＤのディスプレイ上に表示される通知、又は、ヘルメット内のスピーカ上の音声出力を含み得る。システムは、認知負荷が最終的に閾値を下回った場合、機能を不活性化させ、又は、所定の車両機能の操作を可能にすることができる。従って、運転者が過労ではないと特定された場合には（例えば、ＰＴＷが動いていない、クリアパス運転、自律／半自律運転システムが支援しているなど）、システムは、ライダがＰＴＷを運転することができて支援が必要ないことを推定することができる。従って、システムは、単にデータを継続的に監視するだけでよい。

本明細書に開示されるプロセス、方法又はアルゴリズムは、任意の既存のプログラミング可能な電子制御ユニット若しくは専用の電子制御ユニットを含み得る処理デバイス、コントローラ又はコンピュータに配信可能／実装可能である。同様に、これらのプロセス、方法又はアルゴリズムは、ＲＯＭデバイスなどの書込み不可能な記憶媒体に恒久的に記憶された情報、並びに、フレキシブルディスク、磁気テープ、ＣＤ、ＲＡＭデバイス、その他の磁気的及び光学的媒体などの書込み可能な記憶媒体に変更可能に記憶された情報を含むがこれらには限定されない多くの形式において、コントローラ又はコンピュータによって実行可能なデータ及び命令として記憶することができる。これらのプロセス、方法又はアルゴリズムは、ソフトウェアにより実行可能なオブジェクトに実装することも可能である。代替的に、これらのプロセス、方法又はアルゴリズムは、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ステートマシン、コントローラ又はその他のハードウェアコンポーネント若しくはデバイスなどの適当なハードウェアコンポーネント、又は、ハードウェア、ソフトウェア及びファームウェアコンポーネントの組合せを使用して、全体的に又は部分的に実施することができる。

上記においては、例示的な実施形態が説明されているが、これは、特許請求の範囲によって包含される総ての可能な形態を、これらの実施形態において説明することを意図したものではない。本明細書において使用されている用語は、限定ではなく説明の用語であり、本開示の精神及び範囲から逸脱することなく、種々の変更を行うことが可能な点を理解されたい。前述のように、種々の実施形態の特徴は、明示的に記載又は図示されていない可能性のある本発明のさらなる実施形態の形成のために組み合わせることができる。種々の実施形態は、１つ又は複数の所望の特性に関して、他の実施形態又は従来技術の態様よりも利点を提供するもの又は好ましいものとして説明され得るものであるが、当業者には、特定の用途及び実装に依存する望ましい全体的なシステム属性の達成のために、１つ若しくは複数の特徴又は特性を妥協して処理し得ることは、認識される。これらの属性には、コスト、強度、耐久性、ライフサイクルコスト、市場性、外観、パッケージング、サイズ、保守性、重量、製造可能性、組立ての容易さなどを含めることができるが、これらに限定されるものではない。このように、任意の実施形態が、１つ又は複数の特性に関しては他の実施形態又は従来の実施形態よりも望ましくないと説明される程度においては、これらの実施形態が本開示の範囲を外れることはなく、特定の用途にとっては望ましい可能性も残されている。

Claims (20)

1. ヘルメットであって、
   前記ヘルメット内に配置され、かつ、サドル乗車型車両のライダの認知負荷を示す認知負荷データを取得するように構成された１つ又は複数のセンサと、
   前記車両と通信する無線送受信機と、
   前記１つ又は複数のセンサ及び前記無線送受信機と通信するコントローラと、
   を備え、
   前記コントローラは、
   少なくとも前記認知負荷データを利用して前記ライダの認知負荷を特定し、
   前記認知負荷が閾値を超えた場合に、運転者支援機能を調整するためのコマンドを実行するために前記無線送受信機を利用して前記車両に無線コマンドを送信する
   ように構成されている、
   ヘルメット。
2. 前記コントローラは、前記認知負荷が前記閾値を超えた場合に、前記車両の動作を停止するようにさらに構成されている、
   請求項１に記載のヘルメット。
3. 前記閾値は、ユーザプロファイルに基づいて調整可能である、
   請求項１に記載のヘルメット。
4. 前記コントローラは、前記ライダに対応付けられた携帯電話からユーザプロファイル情報を、前記無線送受信機を介して取得し、前記ユーザプロファイル情報に応じて前記閾値を調整するようにさらに構成されている、
   請求項１に記載のヘルメット。
5. 前記無線送受信機は、前記ライダの運動を監視するように構成された車載カメラと通信するように構成されており、前記コントローラは、前記認知負荷を特定するために、乗員の運動に対応付けられた情報を利用するようにさらに構成されている、
   請求項１に記載のヘルメット。
6. 前記コントローラは、前記車両の前記ライダに対応付けられたキーフォブからユーザプロファイル情報を取得し、前記ユーザプロファイル情報に応じて前記閾値を調整するようにさらに構成されている、
   請求項１に記載のヘルメット。
7. 前記ヘルメットは、運転者支援機能の起動に関する通知を表示するように構成されたヘッドアップディスプレイ（ＨＵＤ）を含むヘルメットディスプレイを含む、
   請求項１に記載のヘルメット。
8. 前記ヘルメットに配置された前記１つ又は複数のセンサは、ＥＥＧセンサを含む、
   請求項１に記載のヘルメット。
9. ヘルメットであって、
   前記ヘルメット内に配置され、かつ、サドル乗車型車両のライダの認知負荷を示す認知負荷データを取得するように構成された１つ又は複数のセンサと、
   前記車両と通信する無線送受信機と、
   前記１つ又は複数のセンサ及び前記無線送受信機と通信するコントローラと、
   を備え、
   前記コントローラは、
   少なくとも前記認知負荷データを利用して前記ライダの認知負荷を特定し、
   前記認知負荷が第１の閾値を超えた場合に、運転者支援機能を調整するためのコマンドを実行するために前記車両にコマンドを送信する
   ように構成されている、
   ヘルメット。
10. 前記コントローラは、前記認知負荷が第２の閾値を超えた場合に、前記車両の動作を停止するために前記車両にコマンドを送信するようにさらに構成されている、
    請求項９に記載のヘルメット。
11. 前記第２の閾値は、前記第１の閾値よりも高い認知負荷を示す、
    請求項１０に記載のヘルメット。
12. 前記認知負荷データは、前記ヘルメット内の飲酒検知器から取得したアルコール消費データを含む、
    請求項９に記載のヘルメット。
13. 前記ヘルメットは、運転者支援機能の起動に関する通知を表示するように構成されたヘッドアップディスプレイ（ＨＵＤ）を含むヘルメットディスプレイを含む、
    請求項９に記載のヘルメット。
14. 前記無線送受信機は、認知負荷を特定し、前記無線送受信機を介して前記認知負荷を前記ヘルメットに送信するように構成されたリモートサーバと通信する、
    請求項９に記載のヘルメット。
15. 前記コントローラは、前記ライダに対応付けられ、前記車両と通信するモバイルデバイスから受信したユーザプロファイルに応じて前記第１の閾値を調整するようにさらに構成されている、
    請求項９に記載のヘルメット。
16. サドル乗車型車両上でヘルメットを着用しているライダを監視する方法であって、
    前記サドル乗車型車両のライダの認知負荷を示す認知負荷データを取得することと、
    リモートサーバ及び前記サドル乗車型車両と情報を通信することと、
    少なくとも前記認知負荷データを利用して前記ライダの認知負荷を特定することと、
    前記認知負荷が閾値を超えた場合に、前記サドル乗車型車両の運転者支援機能を調整するために前記サドル乗車型車両に送信されるコマンドを実行することと、
    を含む方法。
17. 前記方法は、前記運転者支援機能の調整を前記ライダに通知するステップを含む、
    請求項１６に記載の方法。
18. 前記方法は、ユーザプロファイルに基づいて前記閾値を調整するステップを含む、
    請求項１６に記載の方法。
19. 前記方法は、ユーザプロファイルに基づいて前記閾値を調整するステップを含む、
    請求項１６に記載の方法。
20. 前記方法は、前記ヘルメットのディスプレイ上の通知を介して前記運転者支援機能の調整を前記ライダに通知するステップを含み、前記通知は、前記調整を確認するための確認選択肢と、前記運転者支援機能の調整を中止するためのキャンセル選択肢とを含む、
    請求項１６に記載の方法。

Images