JP2021098923A - スマートヘルメットによる車両における車両感知ジェスチャ認識のシステム及び方法 - Google Patents

Abstract

【課題】ヘルメットは、車両に配置された１つ又は複数のセンサから車両データを受信するように構成された送受信機と、車両のライダに対応付けられたヘルメットの運動データを収集するように構成された慣性計測ユニット（ＩＭＵ）と、送受信機及びＩＭＵと通信するプロセッサとを備える。【解決手段】プロセッサは、送受信機を介して、車両に配置された１つ又は複数のセンサからの車両データを受信し、車両に配置された１つ又は複数のセンサからの車両データと、ＩＭＵからのヘルメット運動データとに応じてジェスチャを特定し、ジェスチャに応じて、車両に関するステータスインタフェースをヘルメットのディスプレイに出力するようにプログラミングされている。【選択図】図２

Description

本開示は、モータサイクル、又は、ダートバイク、三輪車、若しくは、全地形対応車などの四輪車を含む他の車両において利用されるようなインテリジェントヘルメットに関する。

スマートヘルメットは、ヘッドマウントシースルーディスプレイに関する情報を提供するために二輪車のライダによって利用されることがある。ヘルメットは、ユーザ又はライダのために、アラート、通知及びステータス情報を重畳させながら、遮るもののない視界を提供することができる。そのような情報との対話は、没入型ユーザ体験に不可欠であり得る。現行のヘルメットは、表示要素の操作及び選択に使用される音声対話を考慮に入れている。ただし、ライダが高速で移動している間の音声対話は、比較的遅く、制限される可能性がある。多くの場合において、音声対話は、機能性に制限を課すライダインタコムによって多重化され得る。さらに、音声対話は、他の対話様式に比較して、ライダに高い認知的負荷を負わせ得る。ゆえに、音声対話を付加的な対話様式により補完することは、利点になる可能性がある。

概要
一実施形態によれば、本ヘルメットは、車両に配置された１つ又は複数のセンサから車両データを受信するように構成された送受信機と、車両のライダによって着用されたヘルメットの運動データを収集するように構成された慣性計測ユニット（ＩＭＵ）と、送受信機及びＩＭＵと通信するプロセッサとを備え、当該プロセッサは、送受信機を介して、車両に配置された１つ又は複数のセンサからの車両データを受信し、車両に配置された１つ又は複数のセンサからの車両データと、ＩＭＵからのヘルメット運動データとに応じてジェスチャを特定し、当該ジェスチャに応じて、車両に関するステータスインタフェースをヘルメットのディスプレイに出力するようにプログラミングされている。

第２の実施形態によれば、ヘルメットと、少なくとも２つの車輪を備えた車両とを含む本システムは、車両に配置された１つ又は複数のセンサから車両データを受信するように構成されたヘルメット送受信機と、ヘルメットに対応付けられたヘルメット運動データを収集するように構成されたヘルメット慣性計測ユニット（ＩＭＵ）と、車両に配置され、車両のライダを監視してライダ画像データを収集するように構成されたライダ向きカメラと、ヘルメット送受信機及びヘルメットＩＭＵと通信するヘルメット内のプロセッサとを備える。このプロセッサは、さらに、送受信機を介して、ヘルメット送受信機からのジェスチャデータと、車両ＩＭＵからの車両運動データとを受信し、ジェスチャデータに応じてジェスチャを特定し、それを車両運動データにより補償し、ジェスチャに応じてアクションをヘルメットのディスプレイに出力するようにプログラミングされている。

第３の実施形態によれば、本ヘルメットは、車両に配置された１つ又は複数のセンサから車両データを受信するように構成された送受信機と、車両のライダに対応付けられたヘルメットのヘルメット運動データを収集するように構成された慣性計測ユニット（ＩＭＵ）と、送受信機及びＩＭＵと通信するプロセッサとを備え、当該プロセッサは、送受信機を介して、車両に配置された１つ又は複数のセンサからの車両データを受信し、車両に配置された１つ又は複数のセンサからの車両データと、ＩＭＵからのヘルメット運動データとに応じてジェスチャを特定し、ジェスチャに応じてコマンドを実行するようにプログラミングされている。

スマートヘルメット１０１及びモータサイクル１０３を含むシステム設計１００の例を示した図。 ジェスチャ認識を可能にするスマートヘルメット及びモータサイクルのためのシステム設計の例を示した図。 ジェスチャ認識を可能にするスマートヘルメットの例示的なフローチャート。

詳細な説明
本開示の実施形態は、本明細書に記載されている。しかしながら、開示された実施形態は単なる例示に過ぎず、他の実施形態においては、種々の代替形態を取ることができる点を理解されたい。図面は、必ずしも縮尺どおりではない。一部の特徴は、特定のコンポーネントの詳細を表示するために誇張又は最小化されている場合がある。従って、本明細書に開示される特定の構造的及び機能的詳細は、限定として解釈されるのではなく、むしろ、種々の実施形態の使用を当業者に教示するための単なる代表的な基礎例として解釈されるべきである。当業者には理解されるように、図面のいずれか１つを参照して示され説明された種々の特徴は、１つ又は複数の他の図面に示された特徴と組み合わせることによって、明示的に図示又は記載されていない実施形態を生成することが可能である。図示の特徴の組合せは、典型的な用途のための代表的な実施形態を提供する。ただし、本開示の教示と一致する特徴の種々の組合せ及び変更が、特定の用途又は実装のために要求される場合がある。

本開示は、ヘルメット及びサドル乗車型車両に言及している。この「サドル乗車型車両」とは、典型的にはモータサイクルを指すが、典型的には運転者がサドルに着座し、典型的にはライダ保護用のキャビンがないことからヘルメットが着用される任意のタイプの自動車も含み得ることを理解されたい。これには、モータサイクル以外に、ダートバイク又はスクータなどの動力付き二輪車（ＰＴＷ）も含まれる。また、これには、動力付き三輪車又は全地形対応車（ＡＴＶ）などの動力付き四輪車も含まれる。特に、モータサイクル又はバイクに対する任意の言及は、特段の明記がない限り、任意の他のサドル乗車型車両にも適用可能である。

システムは、スマートヘルメットディスプレイとの対話のための、移動する二輪車（又は三輪以上の車両）上における頭部ジェスチャを認識するために利用されるものとしてよい。検出されたジェスチャは、スマートヘルメットにおける表示レイアウトの制御のために使用されるものとしてもよい。うなずき、ピッチ、ルックアップ、ヨー、及び、頭部の傾きなどの一般的な頭部ジェスチャは、スマートヘルメットとの対話に利用されるものとしてよい。従って、ライダは、このシステムの操作のために、ハンドルバーを握っている可能性のある自身の両手を利用する必要がない。モータサイクルからの運動測定値は、ライダの頭部からの運動測定値の補償のために使用するものとしてよく、従って、既存のジェスチャ認識モジュールが使用可能である。

以下の開示は、ライダに対し、頭部ジェスチャに基づくスマートヘルメットとの対話を可能にさせるシステムを説明する。このシステムは、確実なジェスチャ検出のために、スマートヘルメットのセンサをモータサイクルのセンサと共に使用する。検出されたジェスチャは、スマートヘルメットの表示レイアウトの制御のために使用される。うなずき、ピッチ、ルックアップ、ヨー、頭部の傾きなどの一般的な頭部ジェスチャが、スマートヘルメットとの対話に使用される。これらのジェスチャは、ライダが道路への注意を維持している間に実行することができる。これらの対話は、自然なものであるため、インタコムの使用中に実行することができる。

ジェスチャ認識は、視覚カメラ又はヘルメットに装着された慣性計測ユニット（ＩＭＵ）のいずれかからの測定値を使用して実行されるものとしてよい。ＩＭＵは、線形加速度及び回転速度の時系列測定値を生成する。エンドツーエンド手法においては、ＩＭＵからの生の測定値に基づいてジェスチャ認識を学習することができる。ただし、車両の運動によって引き起こされる動的な状態においてジェスチャを確実に認識するために、システムは、ライダが車両の運動を体験している間にジェスチャをサンプリングする必要があることもあり得る。確実な頭部のジェスチャ認識を実行するために、システムは、車両がホイールジャーク、車両の傾きなどの運動を経験している間にジェスチャを収集する必要があることもあり得る。

以下に開示されるように、システムは、確実なジェスチャ認識を実行するためにヘルメットからのＩＭＵ測定値に加えて、モータサイクルのＩＭＵを利用することができる。このシステムは、視覚カメラ測定によって支援されるものとしてもよい。ＩＭＵ観測に基づいて推定されたモータサイクルの運動は、ヘルメットからのＩＭＵ運動を安定化させるために使用される。これにより、静止状態の間にライダにトレーニングされたジェスチャ認識は、運動条件において使用される可能性がある。一実施形態においては、カメラからの視覚的測定値を利用しない場合であっても、同様の取り組みは、カメラなどの付加的センサを使用することによって拡張することができる。

図１は、スマートヘルメット１０１及びモータサイクル１０３を含むシステム設計１００の例である。スマートヘルメット１０１及びモータサイクル１０３は、互いに対話する種々のコンポーネント及びセンサを含み得る。スマートヘルメット１０１は、運転者の身体及び頭部の運動に関するデータの収集に焦点を合わせることができる。一例においては、スマートヘルメット１０１は、カメラ１０２を含み得る。ヘルメット１０１のカメラ１０２は、移動する車両における位置及び方向性の認識に利用される一次センサを含み得る。従って、このカメラ１０２は、ライダを取り巻く他の車両及び対象物を追跡するためにヘルメット１０１の外側に向けることができる。カメラ１０２は、そのような対象物及び車両の動特性をキャプチャすることが困難である場合がある。他の例においては、ヘルメット１０１は、カメラ１０２に加えて、又は、カメラ１０２の代わりに、レーダ又はＬＩＤＡＲセンサを含むこともあり得る。

ヘルメット１０１は、ヘルメット慣性計測ユニット（ＩＭＵ）１０４も含み得る。このヘルメットＩＭＵ１０４は、ライダの頭部の高い動的運動を追跡するために利用されるものとしてよい。従って、ヘルメットＩＭＵ１０４は、ライダが向いている方向又はライダが見ている方向を追跡するために利用することができる。付加的に、ヘルメットＩＭＵ１０４は、突発的な運動及び起こり得る他の運動を追跡するために利用することができる。ＩＭＵは、１つ又は複数のモーションセンサを含み得る。

慣性計測ユニット（ＩＭＵ）は、加速度計及びジャイロスコープの組合せを使用し、時には磁力計も使用して、身体の特定の力、角速度、及び、時には地球の磁場も測定して報告することができる。ＩＭＵは、典型的には、数あるなかで、無人航空機（ＵＡＶ）を含めた航空機や、衛星及び着陸船を含む宇宙船の操縦のために使用される。ＩＭＵは、種々の車両システムにおいて使用される慣性航法システムのコンポーネントとして利用されるものとしてもよい。ＩＭＵのセンサから収集されたデータは、コンピュータにモータ位置の追跡を可能にさせることができる。

ＩＭＵは、１つ又は複数の軸を使用して現在の加速度を検出することによって動作し、１つ又は複数の軸を使用してピッチ、ロール及びヨーなどの回転属性の変化を検出することができる。典型的なＩＭＵは、磁力計も含み、この磁力計は、地球の磁場測定を使用することによって方向性ドリフトに対する較正を支援するために使用されるものとしてもよい。慣性航法システムは、（位置変更用に）角度及び線形加速度計を有するＩＭＵを含む。一部のＩＭＵは、（絶対角度基準の維持のために）ジャイロスコープ要素を含む。角速度計は、車両が空間内においてどのように回転しているかを測定している。ピッチ（鼻の上下）、ヨー（鼻の左右）及びロール（コックピットからの時計回り又は反時計回り）の３つの軸の各々には、少なくとも１つのセンサが存在し得る。線形加速度計は、車両の非重力加速度を測定することができる。車両は３つの軸（上下、左右、前後）における運動の可能性があるため、各軸に対して線形加速度計が存在する場合がある。３つのジャイロスコープは、一般に同様の直交パターンにより共通に配置され、任意に選択された座標系を参照して回転位置を測定する。コンピュータは、車両の現在位置を継続的に計算することができる。コンピュータは、６つの自由度（ｘ，ｙ，ｚ、及び、Ｏｘ，Ｏｙ，Ｏｚ）の各々について、現在の速度を計算するために、感知された加速度を重力の推定値と共に時間にわたって積分することができる。コンピュータは、現在の位置を計算するために速度を積分することもできる。ＩＭＵによって提供される測定値の一部は、以下のとおりである。

は、ＩＭＵからＩＭＵの本体フレームへの生の測定値である。α_Ｗ，ω_Ｂは、推定される適正な加速度とジャイロスコープの速度測定値である。ｂａ，ｂｇは、加速度計とジャイロスコープのバイアスオフセットである。ηａ，ηｇは、加速度計とジャイロスコープのノイズである。

ヘルメット１０１は、アイトラッカ１０６も含み得る。このアイトラッカ１０６は、モータサイクル１０３のライダが見ている位置の方向を特定するために利用されるものとしてよい。アイトラッカ１０６は、眠気及び倦怠感又はＰＴＷのライダを識別するために利用されるものとしてもよい。アイトラッカ１０６は、ユーザがどこを見ているかを特定するために、目の種々の部分（例えば、網膜、角膜など）を識別することができる。アイトラッカ１０６は、ライダの眼球運動の追跡を支援するためにカメラ又は他のセンサを含み得る。

ヘルメット１０１は、ヘルメットプロセッサ１０８も含み得る。このヘルメットプロセッサ１０８は、モータサイクル１０３及びヘルメット１０１の両方の種々のカメラ及びセンサによって収集されたデータのセンサ融合のために利用されるものとしてよい。他の実施形態においては、ヘルメットは、短距離通信及び長距離通信のために利用される１つ又は複数の送受信機を含み得る。ヘルメットの短距離通信は、モータサイクル１０３又は近傍の他の車両及び対象物との通信を含み得る。他の実施形態においては、長距離通信は、オフボードサーバ、インタネット、「クラウド」、セルラ通信などとの通信を含み得る。ヘルメット１０１及びモータサイクル１０３は、ヘルメット１０１及びモータサイクル１０３の両方に配置された送受信機によって実装される無線プロトコルを利用して相互に通信することができる。そのようなプロトコルは、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉなどを含み得る。ヘルメット１０１は、ヘルメット１０１のバイザにグラフィック画像を出力するために利用されるヘッドアップディスプレイ（ＨＵＤ）も含み得る。

モータサイクル１０３は、前方向きカメラ１０５を含み得る。この前方向きカメラ１０５は、モータサイクル１０３のヘッドランプ又は他の類似の領域に配置されるものとしてよい。前方向きカメラ１０５は、ＰＴＷがどこに向かっているかを識別することの支援のために利用されるものとしてよい。さらに、前方向きカメラ１０５は、モータサイクル１０３の前方の種々の対象物又は車両を識別することができる。従って、前方向きカメラ１０５は、インテリジェントクルーズコントロール又は衝突検出システムなどの種々の安全システムを支援することができる。

モータサイクル１０３は、バイクＩＭＵ１０７を含み得る。このバイクＩＭＵ１０７は、ＰＴＷのヘッドライト又は他の類似の領域に装着されるものとしてよい。バイクＩＭＵ１０７は、バイクの運動の理解のために利用することができる慣性データを収集することができる。バイクＩＭＵ１０７は、典型的には３つの直交軸にある多軸加速度計を有している。同様に、バイクＩＭＵ１０７は、多軸ジャイロスコープも含み得る。

モータサイクル１０３は、ライダカメラ１０９を含み得る。このライダカメラ１０９は、モータサイクル１０３のライダの追跡を維持するために利用されるものとしてよい。ライダカメラ１０９は、モータサイクルのハンドルバーに沿った種々の位置に又はライダに面する他の位置に取り付けられるものとしてよい。ライダカメラ１０９は、ライダの画像又はビデオをキャプチャするために利用されるものとしてもよく、これらは、順次、ライダの種々の身体部分又は運動の識別などの種々の計算のために利用される。ライダカメラ１０９は、ライダの目に焦点を合わせるために利用されるものとしてもよい。このように、視線の動きは、ライダがどこを見ているかを見出すために特定されるものとしてもよい。

モータサイクル１０３は、電子制御ユニット１１１を含み得る。ＥＣＵ１１１は、モータサイクルのセンサによって収集されたデータ、及び、ヘルメットのセンサによって収集されたデータを処理するために利用されるものとしてよい。ＥＣＵ１１１は、種々の位置を処理及び計算し又は対象物認識を行うために、種々のＩＭＵ及びカメラから受信したデータを利用することができる。ＥＣＵ１１１は、ライダカメラ１０９及び前方向きカメラ１０５と通信するものとしてよい。例えば、ＩＭＵからのデータは、基準点に対して相対的な位置及び方向性を識別するために、ＥＵＣ１１１に供給されるものとしてもよい。画像データをそのような計算と組み合わせる場合には、バイクの運動を、ライダが向いている方向や焦点を合わせている方向を識別するために利用することができる。バイクの前方向きカメラとヘルメットのカメラの両方からの画像データは、バイクとライダの頭部との間の相対的な方向性を特定するために比較される。画像比較は、両方のカメラ（例えば、ライダカメラ１０９及び前方向きカメラ１０５）から抽出されたまばらな特徴に基づいて実行することができる。モータサイクル１０３は、ＥＣＵを支援するためのバイク中央処理ユニット１１３を含み得る。従って、システムは、ライダの注意、姿勢、位置、方向性、接触（例えば、ハンドルバーのグリップ）、ライダスリップ（例えば、ライダとシートとの間の接触）、ライダと車両との関係、及び、ライダと世界との関係を継続的に監視することができる。

図２は、スマートヘルメット上におけるジェスチャ対話のためのシステムのブロック図を示している。ジェスチャ認識システムの確実性を改善し、車両の運動を補償するために、このシステムは、バイクＩＭＵ２０３からの測定値を使用することができる。ただし、モータサイクルに装着されたモータサイクルＩＭＵ２０３からの測定値（ｚ¬Ｂ（ｔＢ））（例えば、ある時点におけるバイクの乗車運動）、及び、ヘルメットに装着されたＩＭＵからの測定値（ｚＨ（ｔＨ））（例えば、ある時点におけるヘルメットの乗車運動）は、異なるクロックドメインを有するデバイス上の異なるタイムインスタンスにおいてキャプチャされている。従って、同期ブロックにおいては、クロックドメイン同期の実行のために、ヘルメット及びモータサイクルから受信したタイムスタンプデータが比較される。同期の結果を利用して、モータサイクル（例えば、バイクＩＭＵ）からのＩＭＵ測定値は、ヘルメットクロックドメインにタイムシフトさせるものとしてもよい。同期ブロックの出力は、ヘルメット及びモータサイクルからの時系列同期運動データ（ＩＭＵ測定値）であるものとしてもよい。

同期ブロック２０５は、画像データ及び他のセンサデータを含めて、ジェスチャの識別を支援するために収集されている総てのデータを同期するために利用されるソフトウェアを含み得る。この同期ブロック２０５は、ヘルメットＩＭＵ２０１及びバイクＩＭＵ２０３から運動データを収集することができるだけでなく、モータサイクル又はヘルメットに配置されたカメラから収集された画像データを利用することもできる。従って、カメラデータ（例えば、画像データ）は、ジェスチャが行われているかどうかの識別を支援するために利用されるものとしてもよい。例えば、カメラは、通常の乗車期間中にライダの定常状態位置を監視することができるが、ライダのヘルメットが或る仕方により上下したときを理解するための検出メカニズムを含み得る。

ヘルメットのＩＭＵ（例えば、ヘルメットＩＭＵ２０１）からの測定された加速度及び回転速度は、車両運動の影響を除去することによって補償される必要もあり得る。例えば、システムは、ユーザがジェスチャを提供しているときを理解するために、そしてジェスチャと、道路の凹凸や乗車中に自然発生するその他のものに応じて発生した頭部運動とを区別するために、乗車環境を理解する必要があり得る。システムは、モータサイクル（例えば、バイクＩＭＵ、バイクカメラなど２０３）からの時間同期された測定値を使用することによって、車両運動の影響を除去することができる。時間同期ブロックは、ジェスチャに対して車両環境によって引き起こされた相関関係があるかどうかを見るために、特定の時点においてヘルメット及びモータサイクルからのデータを比較することができる。車両とヘルメットＩＭＵとの間の相対的な形状保存変換（ＴＨＢ（ｔ））は、モータサイクルＩＭＵからの測定値をヘルメットＩＭＵの座標フレームに変換するために使用される。変換された値は、補償されたヘルメット測定値（ｚｃ（ｔ））を推定するために減算されるものとしてよい。形状保存変換は、時間に依存し、継続的に推定される必要がある。非線形フィルタが、ヘルメットの予測ポーズと、統合されたヘルメットＩＭＵ測定値によって観察されたポーズとの間の誤差を最小化するために利用されるものとしてよい。ヘルメット予測ポーズは、人間の骨格に基づくモデルを使用して導出される。非線形フィルタの結果は、相対変換ＴＨＢ（ｔ）である。

ジェスチャ認識器２０９は、ジェスチャ認識のためのソフトウェアを含み得る。このジェスチャ認識は、ウィンドウｗ，ｚ¬¬ｃ（ｔＨ−ｗ：ｔＨ＋ｗ）にわたって現行の補償されたヘルメットＩＭＵ測定シーケンスを、各ジェスチャのヘルメットＩＭＵ運動シーケンスのデータベースと比較することによって実行することができる。このウィンドウは、設定された期間枠にわたる種々の時点からのデータポイントを比較するための期間であるものとしてもよい。うなずき、ヨー、ルックアップ、チルト、ピッチ、静止ジェスチャなどの種々のジェスチャは、静的環境において事前にトレーニングすることができる。従って、システムは、モータサイクルが静的環境にあるときの指標（ｂａｓｅｌｉｎｅ）として記録されたＩＭＵデータに対するそのようなジェスチャ（うなずき、ヨー、ルックアップ、傾き、ピッチ、静止ジェスチャ）を模倣するようにユーザに問い合わせる学習モードを起動させる選択肢を含み得る。各ジェスチャは、異なる内部表現を使用して符号化されるものとしてもよい。従って、ジェスチャの各々は、各ジェスチャに対応付けられた期間にわたって対応付けられたＩＭＵ測定値を有することができる。ジェスチャ認識器は、実行時にジェスチャの各クラスに関する蓋然性を提供することができる。ベイジアン学習、ディープラーニング又はその他の学習アプローチを、学習済みのジェスチャ認識器モデルの作成のために使用することができる。対応付けられた蓋然性としてジェスチャを検出及び識別するこのモデルにより推論を行うことができる。蓋然性が最も高いクラスが出力として選択される。出力は、各ジェスチャに対応付けられているアクションを命令することができる。例えば、左に傾けること又は右に傾けることが、ターンシグナル（方向指示器）の起動に対応付けられるものとしてもよい。ヘルメットは、そのようなデータを無線でモータサイクルに送信して、コマンドの開始をモータサイクルに要求することができる。ノイズの低減と外れ値の検出を実行するために、検出器出力の履歴に基づくフィルタが使用される。

イベントマネージャ２１１は、ライダのジェスチャ認識ブロックからの出力をバイクＥＣＵ２１３からの情報と同期させることができる。バイクＥＣＵ２１３は、モータサイクルの異なる部分からのメッセージを集約するために、並びに、バイクの他のセンサからのデータ及びその他の情報を収集するために利用されるものとしてよい。イベントマネージャは、ライダに表示される又は音声出力を使用して提供される通知、アラート及び車両情報のためのトリガメッセージを含み得る。イベントマネージャ２１１は、遷移がＥＣＵからのトリガメッセージ及び認識されたジェスチャによって特定される有限状態機械を使用することができる。従って、異なるジェスチャは、バイク、ヘルメット又はオフボードサーバからのイベントマネージャから取り出されたメッセージに基づいてタイミングを計るものとしてもよい。従って、ヘルメットからのうなずきのジェスチャには、低燃料警告が存在する場合と、モータサイクルがクルーズコントロールを利用している場合とでは、異なる出力コマンドが含まれる場合がある。同様に、ライダがインタコムを使用している場合には、他の条件ではオーディオ／音楽の再生に使用される可能性があるジェスチャ操作を、インタコムの制御に使用することができる。

イベントマネージャ２１１は、ディスプレイコントローラ２１５を駆動又は操作することができる。このディスプレイコントローラ２１５は、異なる情報のレイアウトに関する情報を含み得る。例えば、ディスプレイコントローラ２１５は、いかなるステータス情報がヘルメットディスプレイに表示されるかを決定することができ、さらに、いかなる方法によって、それが提供されなければならないかを決定することもできる。さらに、ディスプレイコントローラ２１５は、スマートヘルメットディスプレイに表示されるグラフィカルユーザインタフェース（ＧＵＩ）要素及びアニメーションを記憶することもできる。コントロール及びナビゲーションＧＵＩ要素は、ジェスチャ認識器からの入力に基づいて変更されるものとしてよい。例えば、スマートヘルメットを利用した左右のうなずきは、例えば、スマートヘルメットに表示されているナビゲーション表示画面を変更したり、オーディオモードからナビゲーションモードへモードを変更したりすることができる。ディスプレイコントローラ２１５は、ジェスチャを利用して変更することができる異なる乗車シナリオのためのレイアウトのプロファイルも含み得る。例えば、レイアウトは、オーディオ画面、ハンズフリー通信、車両情報（例えば、速度、エンジン回転数、タイヤ空気圧、温度、燃費、燃料走行距離、燃料レベルなど）、ナビゲーション情報などのためのインタフェースを含み得る。

スマートヘルメットディスプレイ２１７は、ＨＵＤ上にオブジェクトを出力するために利用されるものとしてよい。ヘルメットは、前面向きカメラ、背面向きカメラ、加速度計、揮発性メモリ、不揮発性メモリ、電源、データコネクタ、ＨＵＤ、グローバルポジショニングシステム（ＧＰＳ）、プロセッサ、ネットワーク送受信機、Ｂｌｕｅｔｏｏｔｈ（登録商標）送受信機などを含み得るが、これらに限定されるものではない。一実施形態においては、電子コンポーネントは、車両計器情報の表示、緊急手順の自動実行（例えば、ＥＭＳの呼び出し）、衝突事前警告の提示、センサ情報（例えば、ＩＭＵデータ）の記録などを含むがこれらに限定されない種々のタスクの実行のために協働する。スマートディスプレイ２１７は、ライダが選択された視点から目をそらす必要なしにデータを提示することができる透明ディスプレイであり得るＨＵＤを含み得る。スマートディスプレイ２１７は、バイザ（例えば、埋め込みディスプレイ）内に提示することができ、ヘルメット近傍のディスプレイ内などに提示することができる。ディスプレイ２１７技術は、液晶ディスプレイ（ＬＣＤ）、エルコス（Ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｏｎ ｓｉｌｉｃｏｎ；ＬＣｏＳ、登録商標）、デジタルマイクロミラー（ＤＭＤ）、有機発光ダイオード（ＯＬＥＤ）、光導波路、走査レーザなどを含み得る。ディスプレイ２１７は、関連情報をリアルタイム又はほぼリアルタイムで提示することができる。

図３は、ジェスチャ認識を可能にするスマートヘルメットの例示的なフローチャートである。ステップ３０１においては、システムは、ヘルメットデータとバイクデータの両方を収集することができる。そのようなデータは、ヘルメットからのＩＭＵ及び画像データ、並びに、モータサイクル又は動力付き二輪車からのＩＭＵ及び画像データを含み得る。システムは、後でデータを利用してジェスチャがユーザによって命令されたものかどうかを特定したり、又は、ジェスチャを識別するためにどのようにモータサイクルの運動を補償するかを特定したりするために、データを集約することができる。従って、システムにとっては、道路状況又はモータサイクルの運動がヘルメットのジャーク振動や他の突発的な運動を引き起こす場合における偶発的な状況の間のジェスチャの識別は、回避することが望ましい。説明したように、モータサイクルのＩＭＵによって収集されたモータサイクルの運動データ及び／又は画像データは、バイクの運動を補償するために利用されるものとしてよい。

ステップ３０３においては、システムは、種々のセンサ、カメラ及び他のコンポーネントから収集されたヘルメットデータ及びモータサイクルデータを分析することができる。このシステムは、リモートサーバ（例えば、クラウドなど）においてオフラインにより、ヘルメットにおいてヘルメットのプロセッサを介して、又は、モータサイクルにおいてモータサイクルのプロセッサを介して、データを分析することができる。そこから、システムは、ユーザがコマンド又はアクションを活性化するジェスチャの形成を意図的に試みたかどうかを特定するために、ヘルメットとモータサイクルの両方の運動データを収集することができる。この分析は、図２に関して上記で論じたように、車両の運動のための補償を含み得る。

ステップ３０５においては、システムは、ジェスチャが認識されたかどうかを特定することができる。従って、運動は、指標（ｂａｓｅｌｉｎｅ）ジェスチャ測定値と一致し若しくは一致に近づき、又は、ジェスチャとして識別される運動閾値を超えることがある。システムは、ヘルメットＩＭＵに基づく各ジェスチャの指標測定値を含み得る。システムは、ジェスチャと比較することができる画像を利用してジェスチャの識別を支援するために、モータサイクル又はヘルメットからのカメラデータも利用することができる。システムは、さらに、ＩＭＵによって示されるような、モータサイクルからのあらゆる運動を補償することができる。

ステップ３０７においては、システムは、ジェスチャ及びジェスチャに関連して対応付けられたコマンドを識別することができる。システムは、各ジェスチャに関連して対応付けられた各コマンドを記憶するルックアップテーブルを有することができる。例えば、頭部を右に傾けると右ターンシグナル（方向指示器）を起動させることができ、頭部を左に傾けると左ターンシグナルを起動させることができる。ルックアップテーブルは、どのコマンドをどのコントローラに送信する必要があるかに関する情報を含み得る。さらに、ルックアップテーブルは、スマートディスプレイの表示インタフェースに基づいて、異なるジェスチャに対して異なるコマンドをマッピングすることもできる。例えば、オーディオモード中の頭部のうなずきは、トラックを変更させることができるが、ハンズフリー会話中の頭部のうなずきは、呼び出し音量を変更させることができる。

次いで、ステップ３０９においては、システムは、ジェスチャに対応付けられたコマンドを出力することができる。このコマンドには、プロセッサがジェスチャに関連するコマンドを実行した後に追従して表示される、スマートヘルメットのディスプレイの任意の関連情報が含まれる。コマンドは、車両のヘルメット又はモータサイクル自体の機能に関連し得る。さらに、コマンドは、ヘルメット、バイク、オフボードサーバ、他のバイクなどの間において交換される無線データ又はその他の情報を要求することができる。情報は、コマンドの実行を識別するために、又は、ステータスを更新するために、モータサイクルのメータパネルに表示されるものとしてもよい。

本明細書に開示されるプロセス、方法又はアルゴリズムは、任意の既存のプログラミング可能な電子制御ユニット又は専用の電子制御ユニットを含み得る処理デバイス、コントローラ又はコンピュータに配信可能／実装可能である。同様に、これらのプロセス、方法又はアルゴリズムは、ＲＯＭデバイスなどの書込み不可能な記憶媒体に永続的に記憶された情報、並びに、フレキシブルディスク、磁気テープ、ＣＤ、ＲＡＭデバイス、その他の磁気的及び光学的媒体などの書込み可能な記憶媒体に変更可能に記憶された情報を含むがこれらには限定されない多くの形式において、コントローラ又はコンピュータによって実行可能なデータ及び命令として記憶することができる。これらのプロセス、方法又はアルゴリズムは、ソフトウェアにより実行可能なオブジェクトに実装することも可能である。代替的に、これらのプロセス、方法又はアルゴリズムは、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ステートマシン、コントローラ又はその他のハードウェアコンポーネント若しくはデバイスなどの適当なハードウェアコンポーネント、又は、ハードウェア、ソフトウェア及びファームウェアコンポーネントの組合せを使用して、全体的又は部分的に実施することができる。

上記においては、例示的な実施形態が説明されているが、これは、特許請求の範囲によって包含される総ての可能な形態をこれらの実施形態によって説明することを意図したものではない。本明細書において使用されている用語は、限定ではなく説明の用語であり、本開示の精神及び範囲から逸脱することなく、種々の変更を行うことが可能である点を理解されたい。前述のように、種々の実施形態の特徴は、明示的に記載又は図示されていない可能性のある本発明のさらなる実施形態の形成のために組み合わせることができる。種々の実施形態は、１つ又は複数の所望の特性に関して、他の実施形態又は従来技術の態様よりも利点を提供するもの又は好ましいものとして説明され得るものであるが、当業者には、特定の用途及び実装に依存する望ましい全体的なシステム属性の達成のために、１つ若しくは複数の特徴又は特性を妥協して処理し得ることは、認識される。これらの属性には、コスト、強度、耐久性、ライフサイクルコスト、市場性、外観、パッケージング、サイズ、保守性、重量、製造可能性、組立ての容易さなどを含めることができるが、これらに限定されるものではない。このように、任意の実施形態が、１つ又は複数の特性に関しては、他の実施形態又は従来の実施形態よりも望ましくないと説明される程度においては、これらの実施形態は、本開示の範囲を外れることはなく、特定の用途にとっては望ましい可能性も残されている。

Claims (20)

1. ヘルメットであって、
   車両に配置された１つ又は複数のセンサから車両データを受信するように構成された送受信機と、
   前記車両のライダに対応付けられた前記ヘルメットの運動データを収集するように構成された慣性計測ユニット（ＩＭＵ）と、
   前記送受信機及び前記ＩＭＵと通信するプロセッサと、
   を備え、
   前記プロセッサは、
   前記送受信機を介して、前記車両に配置された前記１つ又は複数のセンサからの前記車両データを受信し、
   前記車両に配置された前記１つ又は複数のセンサからの前記車両データと、前記ＩＭＵからの前記ヘルメット運動データとに応じてジェスチャを特定し、
   前記ジェスチャに応じて前記車両に関するステータスインタフェースを前記ヘルメットのディスプレイに出力する
   ようにプログラミングされている、
   ヘルメット。
2. 前記車両データ及び前記ヘルメット運動データは、前記車両データ又は前記ヘルメット運動データがいつ収集されたかを識別するタイムスタンプをそれぞれ含む、
   請求項１に記載のヘルメット。
3. 前記ヘルメットは、前記車両のライダの視標追跡データを収集するように構成された視標追跡ユニットをさらに含む、
   請求項１に記載のヘルメット。
4. 前記プロセッサは、少なくとも前記車両データを利用して前記ヘルメット運動データを補償するようにさらにプログラミングされている、
   請求項１に記載のヘルメット。
5. 前記プロセッサは、前記車両データ及び前記ヘルメット運動データからのタイムスタンプを利用して補償するようにさらにプログラミングされている、
   請求項５に記載のヘルメット。
6. 前記プロセッサは、うなずき、ヨー、ルックアップ、傾き、又は、ピッチに応じて、前記ジェスチャを特定するようにさらに構成されている、
   請求項１に記載のヘルメット。
7. 前記ヘルメットは、前記ヘルメットのバイザにグラフィック画像を出力するように構成されたヘッドアップディスプレイを含む、
   請求項１に記載のヘルメット。
8. 前記車両は、モータサイクル又は動力付き二輪ユニットである、
   請求項１に記載のヘルメット。
9. ヘルメットと、少なくとも２つの車輪を備えた車両とを含むシステムであって、
   前記車両に配置された１つ又は複数のセンサから車両データを受信するように構成されたヘルメット送受信機と、
   前記ヘルメットに対応付けられたヘルメット運動データを収集するように構成されたヘルメット慣性計測ユニット（ＩＭＵ）と、
   前記車両に配置され、前記車両のライダを監視してライダ画像データを収集するように構成されたライダ向きカメラと、
   前記ヘルメット送受信機及び前記ヘルメットＩＭＵと通信する前記ヘルメット内のプロセッサと、
   を備え、
   前記プロセッサは、
   前記送受信機を介して、前記ヘルメット送受信機からのジェスチャデータと、車両ＩＭＵからの車両運動データとを受信し、
   前記ジェスチャデータに応じてジェスチャを特定し、前記ヘルメット運動データを前記車両データにより補償し、
   前記ジェスチャに応じてアクションを前記ヘルメットのディスプレイに出力する
   ようにプログラミングされている、
   システム。
10. 前記ヘルメット内の前記プロセッサは、前記車両が動作していないときに静的な車両環境内において１つ又は複数のジェスチャを識別するための学習モードを起動させるようにさらにプログラミングされている、
    請求項９に記載のシステム。
11. 前記ヘルメットの前記ディスプレイは、前記ヘルメットのバイザにグラフィック画像を出力するように構成されたヘッドアップディスプレイを含む、
    請求項１１に記載のシステム。
12. 前記車両は、モータサイクル又は動力付き二輪ユニットである、
    請求項１１に記載のシステム。
13. 前記プロセッサは、少なくともライダ画像データを利用して前記ジェスチャを特定するようにさらに構成されている、
    請求項１１に記載のシステム。
14. 前記車両データは、車両慣性計測ユニットから収集された車両運動データを含む、
    請求項１１に記載のシステム。
15. ヘルメットであって、
    車両に配置された１つ又は複数のセンサから車両データを受信するように構成された送受信機と、
    前記車両のライダに対応付けられた前記ヘルメットのヘルメット運動データを収集するように構成された慣性計測ユニット（ＩＭＵ）と、
    前記送受信機及び前記ＩＭＵと通信するプロセッサと、
    を備え、
    前記プロセッサは、
    前記送受信機を介して、前記車両に配置された前記１つ又は複数のセンサからの前記車両データを受信し、
    前記車両に配置された前記１つ又は複数のセンサからの前記車両データと、前記ＩＭＵからの前記ヘルメット運動データとに応じてジェスチャを特定し、
    前記ジェスチャに応じてコマンドを実行する
    ようにプログラミングされている、
    ヘルメット。
16. 前記プロセッサは、前記ジェスチャに応じて前記車両のステータスを前記ヘルメットのディスプレイに出力するようにさらにプログラミングされている、
    請求項１６に記載のヘルメット。
17. 前記モータサイクルは、前記ライダ近傍の画像データを収集するように構成されたライダ向きカメラを含む、
    請求項１６に記載のヘルメット。
18. 前記プロセッサは、前記車両における機能を活性化するコマンドを実行するようにさらにプログラミングされている、
    請求項１６に記載のヘルメット。
19. 前記プロセッサは、前記送受信機を介して前記車両にコマンドを送信するようにさらにプログラミングされている、
    請求項１７に記載のヘルメット。
20. 前記プロセッサは、前記車両が動作していないときに静的な車両環境内において１つ又は複数のジェスチャを識別するための学習モードを起動させるようにさらにプログラミングされている、
    請求項１７に記載のヘルメット。

Images