JP2019535089A - 視覚配分管理を提供するシステムおよび方法 - Google Patents

Abstract

モデルを使用して、視覚的データに基づいて状態を決定し、それに基づいて、決定された状態に基づくフィードバックを出力する、視覚配分を管理するシステムおよび方法が本明細書で提供される。視覚的データは、最初に視覚配分管理システムによって入手される。視覚的データは、タスクまたは活動に関与するなど、特定の状態にある人の眼球画像シーケンスを含む。視覚的特徴は、視覚的データから識別され得、方向および持続時間を含む視線情報が算出され得る。視覚的データ、そこから導き出された情報、および／または他の情況データが、状態に対応するモデルに入力されて、人が関与している特定の状態がモデル化された状態のうちの１つである確率を算出する。最も高い確率を有すると識別された状態に基づいて、警告または指示など、最適なフィードバックが、接続されたデバイス、システム、または物体に出力され得る。

Description

開示の内容

〔関連出願の相互参照〕
本出願は、「Attention Maps」のタイトルで２０１６年８月１９日に出願された米国仮特許出願第６２／３７７，２１３号の優先権および利益を主張し、この内容は、参照により全体として本明細書に組み込まれる。

〔分野〕
本出願は、ダイナミックに変化する環境において活動に関わっている間の個人の視覚分布（visual distribution）の評価に基づく視覚配分管理（visual allocation management）を提供し、その評価を使用して、状態、行動、活動などが個人の視覚配分から容易に観察できないか、明らかでないか、または検出可能でないにもかかわらず、個人によってそれらの状態、行動、活動などが行われていることを予測または推測する、システムおよび方法に関する。このような評価に関連するシステムおよび方法は、多くの活動に関して使用され得るが、本開示が適用可能である１つの非限定的な活動は、リアルタイムフィードバックを与える運転活動である。

〔背景〕
技術的進歩により、センサは、より安価かつ小型になり続けており、それによって、それらの大規模な普及および使用が可能となり、ほぼあらゆる物理的物体または存在が「スマート」または「インテリジェント」になっている。これらのセンサは、データを収集および送信することができる電子デバイスを指す。センサは、例えば２〜３例を挙げると、器具、機械、車両、家、幹線道路、都市に関連して近年使用されているが、これらのセンサの縮小するサイズおよびコストは、より多くのセンサの適用を、より可能性の低い環境で、例えば静脈内、皮膚上、衣類の中、歯の表面その他において有し、かつ可能にし続けている。センサの数の増大は、より多くのデータが収集、共有、および分析され、よりインテリジェントな発見、予測、決定などを行うことが可能になることを意味する。実際、センサおよびセンサを備えた物体を含む、相互接続された「モノ」（例えば、物体、デバイス、人々）の巨大なネットワークである、モノのインターネット（ＩｏＴ）は、このデータの収集、共有、および分析をさらに促進する。

このようなタイプのデータの一例は、個人の視覚的行動に関し、これは、カメラなどのセンサによって取り込まれ、そこからの情報を推測するために、分配および／または分析され得る。例えば、車両の運転と関連して、個人の視覚的注意を測定するためのさまざまな技術が研究されてきた。これらの研究は、車両の運転中に安全を最重視すべき事象が発生する可能性に対する、視覚的−手動タスクを実行する影響を識別するなどの概念に重点を置いてきた。さらに、これらの研究では、視覚的注意が前方の道路から離れるか、または、車両内インターフェースの要素に向けられた合計時間に基づいて、このような注意要求をしばしば測定する。したがって、このような既存の研究は、ある期間にわたる、広範な運転環境におけるドライバーの視覚的行動を、ポジティブであるかネガティブであるかにかかわらず、考慮していない。

したがって、車両を動作させているドライバーの視覚的行動もしくは配分を含む、個人の視覚的行動または配分を、より幅広く考慮することによって、視覚配分管理を提供するシステムおよび方法が必要とされている。また、そのような視覚的行動が、視方向、持続時間、およびパターン、または視線の推移に基づいて測定され得ることも必要とされている。さらに、人間の行動、認識、注意力、ストラテジー、感情、ならびに他の精神および身体的状態（例えば、活動、タスク）（まとめて「状態」）をモデル化して、測定された視覚的行動の実行中に個人のそのような観察できないかもしくは検出できない状態の存在もしくは発生を予測または決定するために、測定された視覚配分が比較され得るようにする必要がある。モデル化され、測定された視覚配分と比較するこれらの状態には、ポジティブ、中立、およびネガティブなタイプが含まれる。さらに、フィードバックが、検出もしくは推測された状態に基づいて決定され得、当業者が理解する自然な遅れが「リアルタイム」とみなされたシステムでも起こることを考慮に入れて、リアルタイムまたはほぼリアルタイムでフィードバックを提供することができる必要がある。最後に、視覚配分管理は、運転のシナリオ、ならびに視覚的行動または配分が、他の状況では容易に利用可能または獲得可能ではない状態の存在を意味する他の活動、に適用可能となる必要がある。

〔概要〕
視覚配分を管理するシステムおよび方法が本明細書で提供される。さらに具体的には、活動に関与している人の、取り込まれた視覚的データを使用し、その視覚的データおよび／または他の情況情報に基づいて、その活動に関与している間の人の状態を識別または推測し、その結果、１つ以上の応答アクションがトリガされ得るような、視覚配分管理システムおよび方法が、本明細書に記載される。状態は、人の注意力、認識、感情（例えば、恐れ、怒り）、または他の精神もしくは身体的状態（例えば、眠気）を指すために本明細書において使用され、これは、場合によっては視覚的データから容易に観察可能もしくは測定可能でない。本明細書に記載するように、人の視覚的データは、運転など、１つ以上の活動に関与している間に、入手される。視覚的データは、１つ以上のカメラを含む、さまざまなセンサを用いて、取り込まれ得る。瞳孔位置などの視覚的特徴が、視覚的データから導き出されるか、または抽出され得、視線情報が算出され得る。視線情報は、視線方向、視線持続時間、および視線推移を含み得る。

視覚的データ、視覚的データから導き出されたデータ（例えば視線情報）、および入手された他の情況情報は、人間の状態に対応する１つ以上のモデルに入力されるか、またはこれと共に使用され得る。モデルは、さまざまな数学的および／または統計モデルであってよく、事前に決定され、かつ／または事前に記憶され得る。モデルは、人が関与している活動の期間中の、その人に関与または関連するタスク、行動、認識、注意力などを含み得る、状態のモデル化されたデータ表示であるか、またはそれに対応するものである。入力データは、各モデルのそれぞれの確率を算出するために、モデルのデータ表示と比較され得る。モデルによって算出および／または出力された確率のそれぞれは、人が、１つ以上の活動に関与している間に、モデルによって表示される状態にも関与したか、またはその状態も経験していた可能性を示す。しばしば、最も高い確率を生じた１つまたは複数のモデルは、その人に対応する、最も可能性の高い状態であるとみなされる。識別された状態に基づいて、最適なまたは必要とされるフィードバックが、例えば、ルール、閾値などを用いて、決定される。算出または決定された最適なまたは必要とされるフィードバックは、接続されたシステム、物体、デバイス、人などに出力される。フィードバックおよび出力は、特定の行動、注意力もしくは認識のレベル、タスク、その他を識別および／または促進するのに使用され得る。

視覚配分を管理するシステムの例示的な一実施形態では、少なくとも１つのメモリ、および少なくとも１つのメモリに通信可能に連結された少なくとも１つのプロセッサが提供される。メモリは、（１）複数の候補状態に対応するモデル；および（２）各モデルが複数の候補状態のうちの１つに対応する、複数のモデル、のうちの少なくとも１つを含む、１つ以上のモデルを記憶する。連続した期間中に活動に関与している人に対応する視覚的データが、受信される。視覚的データから、一連の視線が識別される。さらに、一連の視線における各視線について、視線方向を含む対応する視線情報が識別される。一連の視線における視線はそれぞれ、それぞれの視線情報に基づいて、１組の所定の空間領域のうちの１つの空間領域に分類される。１つ以上のモデルに基づいて、連続した期間中に活動に関与している間の人の１つ以上の状態の存在は、記憶された１つ以上のモデルのそれぞれに、（１）一連の視線における視線の分類、および（２）一連の視線における視線の視線情報、のうちの１つ以上を含むモデル入力データを入力することによって識別される。フィードバックは、識別された１つ以上の状態に基づいて出力される。

いくつかの実施形態では、１つ以上の眼球画像シーケンスが、視覚的データにおいて識別される。１つ以上の眼球画像シーケンスは、連続した期間中に活動に関与している人の眼球領域の画像を含む。視覚的特徴は、１つ以上の眼球画像シーケンスの画像それぞれから抽出される。一連の視線および対応する視線情報は、抽出された視覚的特徴に基づいて１つ以上の眼球画像シーケンスから識別される。

いくつかの実施形態では、連続した期間中の所与の段階における１つ以上の状態の存在は、以下のとおり識別される。複数の候補状態それぞれが存在するそれぞれの確率が、１つ以上のモデルによって、モデル入力データに基づいて算出される。連続した期間中の所与の段階における存在の最も高いそれぞれの算出された確率を有する複数の候補状態のうちの１つ以上が、識別された１つ以上の状態として選択される。

いくつかの実施形態では、出力されたフィードバックは、以下のうちの１つ以上を含む：（１）連続した期間中における複数の候補状態それぞれの存在の確率；（２）連続した期間中における存在の最も高いそれぞれの算出された確率を有する識別された１つ以上の状態；および（３）連続した期間中に活動に関与している間の、人の識別された１つ以上の状態に基づく指示。

いくつかの実施形態では、視線持続時間および視線推移のうちの１つ以上は、一連の視線それぞれについて識別される。視線推移は、一連の視線のうちの次の視線の視線方向を示す。一連の視線それぞれの視線情報は、それぞれの視線持続時間および視線推移のうちの１つ以上をさらに含む。１つ以上の状態を識別することは、一連の視線それぞれの視線持続時間および視線推移のうちの１つ以上にさらに基づく。さらに、１つ以上の視線パターンが、一連の視線それぞれの分類および／または一連の視線それぞれの視線推移に基づいて、一連の視線の中から識別される。さらに、１つ以上の状態の存在を識別することは、１つ以上のモデルのそれぞれに入力された視線推移パターンにさらに基づく。

いくつかの実施形態では、１つ以上のモデルは、隠れマルコフモデルである。さらに、１つ以上の眼球画像シーケンスのそれぞれは、一人の個人に対応し、１つ以上のカメラを用いて取り込まれる。

いくつかの実施形態では、視覚的データを受信し、結果を出力することは、リアルタイムで実行される。

いくつかの実施形態では、情況データが、１つ以上の通信可能に連結されたシステムから受信される。１つ以上の状態の存在を識別することは、情況データにさらに基づく。情況データは、環境データ、周辺データ、およびユーザデータのうちの少なくとも１つを含み得る。

いくつかの実施形態では、１つ以上のモデルは、（１）連続した期間中に活動に関与している複数の人々に対応する視覚的データ、および（２）活動に関与している間に複数の人々に存在する１つ以上の状態を含む状態データ、を用いてトレーニングされる。

いくつかの実施形態では、車両は、本明細書に記載する視覚配分を管理するシステムを含む。活動に関与する人は、車両を動作させることに関与するドライバーである。出力されたフィードバックは、識別された１つ以上の状態に基づいた指示を含む。指示は、以下のうちの１つ以上を含む：（１）車両のドライバーの空間的注意力または認識を管理する指示、（２）車両の制御に影響をもたらす指示、ならびに（３）車両および車両のドライバーのうちの少なくとも１つとの情報交換を増やす指示。車両および車両のドライバーのうちの少なくとも１つとの情報交換を増やす指示は、車両への、および車両からの情報交換を抑制する指示を含み得る。

視覚配分を管理する方法の例示的な一実施形態では、１つ以上のモデルが記憶され、これは以下のうちの少なくとも１つを含む：（１）複数の候補状態に対応するモデル；および（２）各モデルが複数の候補状態のうちの１つに対応する、複数のモデル。連続した期間中に活動に関与している人に対応する視覚的データが、受信される。一連の視線が視覚的データから識別される。一連の視線における各視線について、視線方向を含む対応する視線情報が識別される。一連の視線における視線はそれぞれ、それぞれの視線情報に基づいて、１組の所定の空間領域から選択される１つの空間領域に分類される。さらに、１つ以上のモデルに基づいて、連続した期間中に活動に関与している間の人の１つ以上の状態の存在は、記憶された１つ以上のモデルのそれぞれに、（１）一連の視線における視線の分類、および（２）一連の視線における視線の視線情報、のうちの１つ以上を含むモデル入力データを入力することによって識別される。識別された１つ以上の状態に基づいたフィードバックが、出力される。

いくつかの実施形態では、１つ以上の眼球画像シーケンスが、視覚的データにおいて識別される。１つ以上の眼球画像シーケンスは、連続した期間中に活動に関与している人の眼球領域の画像を含む。視覚的特徴は、１つ以上の眼球画像シーケンスの画像それぞれから抽出される。一連の視線および対応する視線情報は、抽出された視覚的特徴に基づいて１つ以上の眼球画像シーケンスから識別される。

いくつかの実施形態では、連続した期間中の所与の段階における１つ以上の状態の存在は、以下のとおり識別される。複数の候補状態それぞれが存在するそれぞれの確率が、１つ以上のモデルによって、モデル入力データに基づいて算出される。連続した期間中の所与の段階における存在の最も高いそれぞれの算出された確率を有する複数の候補状態のうちの１つ以上が、識別された１つ以上の状態として選択される。

いくつかの実施形態では、フィードバックを出力することは、（１）連続した期間中における複数の候補状態それぞれの存在の確率を決定すること；（２）連続した期間中における存在の最も高いそれぞれの算出された確率を有する識別された１つ以上の状態を決定すること；および（３）連続した期間中に活動に関与している間の人の識別された１つ以上の状態に基づいて指示を提供すること、を含む。

いくつかの実施形態では、視線持続時間および視線推移のうちの１つ以上は、一連の視線それぞれについて識別される。視線推移は、一連の視線のうちの次の視線の視線方向を示す。一連の視線それぞれの視線情報は、それぞれの視線持続時間および視線推移のうちの１つ以上をさらに含む。さらに、１つ以上の状態を識別することは、一連の視線それぞれの視線持続時間および視線推移のうちの１つ以上にさらに基づく。

いくつかの実施形態では、一連の視線の中からの１つ以上の視線パターンが、一連の視線それぞれの分類および／または一連の視線それぞれの視線推移に基づいて、識別される。１つ以上の状態の存在を識別することは、１つ以上のモデルのそれぞれに入力された視線推移パターンにさらに基づく。

いくつかの実施形態では、１つ以上のモデルは、隠れマルコフモデルである。さらに、いくつかの実施形態では、１つ以上の眼球画像シーケンスのそれぞれは、一人の個人に対応し、１つ以上のカメラを用いて取り込まれる。

いくつかの実施形態では、視覚的データを受信し、結果を出力することは、リアルタイムで実行される。

いくつかの実施形態では、情況データが、１つ以上の通信可能に連結されたシステムから受信される。さらに、１つ以上の存在を識別することは、情況データにさらに基づく。さらに、情況データは、環境データ、周辺データ、およびユーザデータのうちの少なくとも１つを含む。

いくつかの実施形態では、１つ以上のモデルは、（１）連続した期間中に活動に関与している複数の人々に対応する視覚的データ、および（２）活動に関与している間に複数の人々に存在する１つ以上の状態を含む状態データ、を用いてトレーニングされる。

視覚配分を管理する１つの例示的なシステムでは、少なくとも１つのメモリ、および少なくとも１つのメモリに通信可能に連結された少なくとも１つのプロセッサが提供される。連続した期間中に活動に関与している複数の人々に対応する視覚的データ、および、連続した期間中に活動に関与している間に複数の人々に存在する１つ以上の状態を含む状態データが、受信される。１つ以上の数学的構造が、視覚的データを用いて算出される。１つ以上の状態のそれぞれに対応する１つ以上のモデルは、算出された数学的構造のうちの１つ以上に基づいてトレーニングされる。トレーニングされた１つ以上のモデルは、１つ以上のメモリに記憶される。トレーニングされた１つ以上のモデルを用いて、１つ以上の状態のうちの少なくとも１つの存在が、異なる連続した期間中に活動に関与している人の視覚的データを用いて識別される。

いくつかの実施形態では、数学的構造は、視線推移および視線持続時間のうちの少なくとも１つとの関連で、視覚的データにおける視線を表す構造を含む。さらに、数学的構造は、（ｉ）推移カウントマトリクス；（ｉｉ）推移確率マトリクス；（ｉｉｉ）推移重要性マスクマトリクス；（ｉｖ）推移有意性マトリクス；（ｖ）持続時間カウントマトリクス；（ｖｉ）場所当たりの時間分布パーセンテージマトリクス（time distribution per location percentage matrix）；（ｖｉｉ）推移当たりの時間分布パーセンテージマトリクス（time distribution per transition percentage matrix）；および（ｖｉｉｉ）持続時間重要性マスクマトリクスからなる群から選択された、１つ以上のマトリクスを含み得る。

いくつかの実施形態では、推移カウントマトリクスは、視覚的データにおける視線が、１組の所定の候補視線場所のうちの１つの視線場所から別の視線場所に推移する回数を表すデータを含み；推移確率マトリクスは、推移カウント値マトリクスの値を、それぞれの列のすべての値の合計で割ることによって算出される、視線のそれぞれが別の候補視線場所に推移する相対頻度を表すデータを含み；推移重要性マスクマトリクスは、推移カウントマトリクスの値を、それぞれの列の値のうちの最大値で割ることによって算出された、データを含み；推移有意性マトリクスは、推移確率マトリクスに推移有意性マトリクスを掛け合わせることによって算出されたデータを含み；持続時間カウントマトリクスは、視線それぞれの持続時間を表すデータを含み；場所当たりの時間分布パーセンテージマトリクスは、候補視線場所によって持続時間カウントマトリクスを正規化することによって得られる、候補視線場所それぞれについての視線の持続時間の集合を表すデータを含み；推移当たりの時間分布パーセンテージマトリクスは、候補視線場所すべてによって持続時間カウントマトリクスを正規化することによって得られる、候補視線場所のすべてに対する候補視線場所それぞれの視線の持続時間の集合を表すデータを含み；持続時間重要性マスクマトリクスは、持続時間カウントマトリクスを１に正規化することによって算出されたデータを表す。

いくつかの実施形態では、その他の連続した期間中に活動に関与する人の１つ以上の状態は、その人の視覚的データにおいて識別されない。

本開示は、添付図面と併せて理解される以下の詳細な説明から、さらに十分に理解されるであろう。

〔詳細な説明〕
特定の例示的な実施形態は、本明細書に開示する装置および方法の構造、機能、製造、および使用の原理の全体的な理解をもたらすために説明される。これらの実施形態の１つ以上の例を添付図面に示す。当業者は、本明細書に具体的に説明され添付図面に示される装置および方法が、非限定的な例示的実施形態であること、また、本開示の範囲が特許請求の範囲によってのみ定められることを理解するであろう。例示的な一実施形態に関連して示されるか、または説明される特徴は、他の実施形態の特徴と組み合わせることができる。このような修正および変形体は、本開示の範囲に含まれることが意図されている。本開示では、さまざまな実施形態の同様の符号のコンポーネントは概して、それらのコンポーネントが同様の性質のものであり、かつ／または同様の目的に役立つものである場合に、同様の特徴を有する。当業者は、本開示を鑑みれば、さまざまな図面にわたる同様の符号のコンポーネントが類似しているさまざまな実例を理解するであろう。さらに、いくつかの場合、当業者が理解するかもしくは別様に当業者に既知であり、かつ／または本開示において提供される、さまざまな用語は、互換的に使用される。非限定的な例として、認識および注意力、ならびに操作者およびユーザなどの用語は、互換的に使用され得る。

本明細書に記載するシステムおよび方法は、モデルを用いる視覚配分管理が、人間の視覚的データから人間の状態を識別し、識別された人間の状態に基づいて適切なフィードバックを算出することを可能にする。記載されるシステムおよび方法は、多くの方法で使用され得、そのうちのいくつかを本明細書に記載するが、１つの適用は、「リアルタイム」とみなされるシステムにおいても、当業者が理解する自然な遅延が発生することを考慮に入れて、ほぼリアルタイムを含む、リアルタイムの視覚配分管理を提供するためのものである。このために、視覚配分管理システムは、活動に関与する人の視覚的データを入手する。視覚的データは、視覚配分管理システムのセンサを用いて活動に関与している間の人の動画または画像を取り込むことによって入手することができ、センサのうちのいくつかは、ビデオカメラまたは写真用カメラを含み得る。視覚的データは、活動に関与している間の人の少なくとも眼球画像シーケンスを含み得る。瞳孔位置などの視覚的特徴は、視覚的データから抽出され、活動への人の関与全体にわたって視線情報を算出するのに使用され得る。視線情報は、視線方向（例えば、所与の時間に、人が見ているもの、または人が見ている方向もしくは領域）、視線持続時間（例えば、人が所与の時間に視線方向を見ている長さ）、および／または（例えば、人が一方向の注視から別の方向の注視へと動くときの）視線推移を含み得る。視覚的データにおける各視線は、少なくともその方向または空間領域に従って分類される。

さらに、本明細書に記載する視覚配分管理に関連して、情況情報が、さまざまな相互接続されたデバイス、システムなどから入手され得る。情況情報は、活動に関与する間の人の状態を決定するため、または、識別された状態に基づいて最適なフィードバックを決定するために使用され得る、実質的にあらゆるタイプのデータを含み得る。視覚的データ、そこから導き出される情報、例えば視線情報、および／または情況データは、人が活動中に関与し得る各潜在的または候補状態に対応する、事前に記憶されたモデルに入力され得る。モデルは、数学的モデル、例えば隠れマルコフモデル、および他の統計モデルであってよく、または、学習アルゴリズム（例えば人工知能）に基づくモデルであってよい。モデルはそれぞれ、ある人、またはその人が活動に関与する間に所与の状態でどのように行動するかの、データ表示および／または１組の仮定を含み得る。したがって、モデルはそれぞれ、入力データを、そのデータ表示もしくは仮定と比較し、人が活動に関与する間にそれぞれのモデル化された状態にあったかもしくはその状態を実行していたかの確率を出力することができる。

活動を実行している間の人の１つまたは複数の状態を識別する、モデルからのこれらの出力された確率に基づいて、最適な、必要とされる、または推奨されるフィードバックが決定され得る。フィードバックの決定は、識別された１つもしくは複数の状態、情況情報、ならびに／またはモデルからの出力結果がどのように取り扱われるべき、もしくは取り扱われ得るかを示すルールおよび閾値に基づき得る。フィードバックは、警告、指示、通知、メッセージ、応答、リクエストなどを含み得、これは、例えば、適応性のある機能性もしくは制御および／または適応性のあるディスプレイもしくはユーザーインターフェースを提供することを含む、以下でさらに詳細に説明するような、救済目的のために構成され、またはそれを対象とされ得る。次に、決定されたフィードバックは、視覚配分管理システムおよび／またはこれに連結された他のシステム、デバイス、物体などによって実行され得る。

本明細書に記載するいくつかの例示的な実施形態では、視覚配分管理プロセスおよびシステムは、ドライバーによる車両の操作（例えば運転）に関連して記載される。このような実施形態では、視覚配分管理は、車両に埋め込まれるか、またはこれに通信可能に連結される。車両を運転している間のドライバーの記録された動画の形態である視覚的データは、カメラを用いて取り込まれ得る。記録された動画は、車両の運転中のドライバーの一連の画像を含み得る。記録された動画の各画像シーケンス中のドライバーの瞳孔位置などの視覚的特徴が、識別され得、その瞳孔位置に基づいて、ドライバーが見ている空間領域または方向が決定され得る。

視線に対応する眼球画像シーケンスまたは眼球画像シーケンスのサブセット中の画像はそれぞれ、所定の１組の空間領域に分類され、かつ／または割り当てられる。これらの空間領域は、フロントガラス、サイドミラー、ハンドル、計器、インフォテインメントシステムなどにおけるエリアであってよい。この情報、ならびに、例えば他の車両、クラウドストレージ、および／もしくは他のシステムから入手した情況データは、状態のモデルに入力される。これらのモデルは、取り込まれた視覚的データから容易に観察できないかまたは検出できない、人間の状態を表す。例えば、状態は、ドライバーの注意力、認識、感情（例えば、恐れ、怒り）、または他の精神もしくは身体的状態（例えば眠気）に関連し得る。モデルはそれぞれ、ドライバーがそれぞれのモデル化された状態にあったか、またはその状態に関与していた確率を出力する。

出力された確率に基づいて、視覚配分管理システムは、適切なフィードバックを決定し得る。フィードバックの目的はさまざまであってよく、他の行動もしくは状態を促進する、注意力、認識、もしくは感情の状態を変える、潜在的な問題を救済する、動機づけすること、その他を含む。フィードバックは、指示、警告などの形態であってよく、視覚配分管理システムが提供されている車両に、または、他の車両、クラウドシステムなどといった相互接続されたシステムもしくは物体に、送信され得る。当然、視覚配分管理システムの使用は、単に例示目的で一例として提供されたものであることを理解されたく、当業者は、本明細書に記載する視覚配分管理の多くの適用を理解し、そのいくつかの非限定的な例は、本明細書に提供されている。

視覚配分管理エコシステム
図１は、視覚配分の管理に関連する本開示が使用され得る、コンピューティングデバイスエコシステム１００の例示的な実施形態を示す。いくつかの実施形態では、用語「視覚配分」は、人の視力、注目、視線などの分布または割り当てを指すために本明細書で使用され得、これには、所与の時間に眼球運動を空間領域、場所、方向などに割り当てることを含む。視覚配分を管理することは、いくつかの実施形態では、視覚的データ（例えば、視線方向、視線持続時間、視線推移）、ならびに／または、対応する人間の状態（例えば、行動、活動、タスクなど）を決定または予測するための情況データを入手および分析し、それに基づいて情報を出力することを指すことを理解されたい。視覚的データは、視覚的注意力および／または認識のプロキシとして役立ち得、これは、入手した視覚的データが、注意力または認識情報を表すか、または暗示し得ることを意味することを理解されたい。同様に、本明細書に記載する出力は、人間の視覚的注意または認識を管理するか、変化させるか、促進するか、または別様にそれに対する影響を有するように使用され得る。

エコシステム１００は、人の視覚配分を管理するためにデータを収集し、記憶し、操作し、算出するように構成された、さまざまなシステム、デバイス、物体、ネットワーク、インフラストラクチャーなどを含む。コンピューティングデバイスエコシステム１００が、任意の数および種類の相互接続されたシステム、デバイス、物体、インフラストラクチャーなどを含み得ることを理解されたい。例えば、エコシステム１００は、モノのインターネット（ＩｏＴ）、ホームネットワーク、オフィスネットワーク、または同様の相互接続されたデバイスのセットを指すことができる。示された例示的なコンピューティングデバイスエコシステム１００では、データは、有線または無線通信を介して伝送され得ることも理解されたい。

図１に示すように、エコシステム１００は、とりわけ、視覚配分を管理するように構成された、視覚配分管理システム１０３を含む。このために、視覚配分管理システム１０３は、人１０３ｐの、または人１０３ｐに関連する、視覚配分データまたは単に「視覚的データ」を収集または決定する。以下でさらに詳細に説明するように、視覚的データは、未処理形態の、人１０３ｐの画像化、および処理形態の、そこから引き出されたデータ、例えば眼球画像シーケンス；視覚的特徴、および瞳孔位置、眼球状態（例えば、開いている、閉じている）、顔面の特徴、および当業者に既知の他の特徴を含む、視覚的特徴を識別するのに使用される特性；視線方向；視線持続時間；視線推移などを含み得る。用語「個人」、「人間」、「人々」、「人」、「ユーザ」、および他の類似用語は、視覚配分、およびそれに関連するデータが視覚配分管理システム１０３によって取り込まれ、かつ／または処理される、一人または複数の人間を指すように本明細書で互換的に使用されることを理解されたい。コンピューティングデバイスエコシステム１００の視覚配分管理システム１０３、およびその他のコンポーネントおよび／またはシステムは、任意の数の個人の視覚配分を、連続して、または同時に管理するように構成されることも理解されたい。にもかかわらず、単純化のため、単一の人１０３ｐのみが図１に示され、本明細書に記載する実施形態は、単に単純化のために一人の人に関連して視覚配分管理システム１０３を使用することを指し得る。

視覚配分管理システム１０３によって収集または決定された視覚的データに基づいて、システム１０３は、取り込まれた視覚的データに関連する期間中に人１０３ｐが経験するか、人１０３ｐにさらされるか、人１０３ｐによって実行されるか、または別様に人１０３ｐに影響を与える状態、ならびに／または人１０３ｐの視覚的データを目標ストラテジーと比較する方法を算出するか、見積もるか、または別様に識別する。本明細書でさらに詳細に説明するように、いくつかの実施形態では、視覚配分管理システム１０３は、監視システム１０１に組み込まれるか、または埋め込まれ、かつ／または通信可能に連結され得、監視システム１０１は、視覚配分管理システム１０３により生じる処理および結果に基づいて、管理し、かつ／または管理され得る。視覚配分管理システム１０３および／または監視システム１０１は、ネットワーク１０５を介して、クラウド１０９およびシステム１０７−１、１０７−２、…、１０７−ｎ（集合的に「システム１０７」と呼ぶ）を含むさまざまなシステムに、通信可能に連結される。本明細書でさらに詳細に説明するように、視覚配分管理システム１０３および／または監視システム１０１は、システム１０７およびクラウド１０９と協力して、例えば、中央の接続性を高め、データおよび他の資源を共有し、最終的には、より効果的で有効な視覚配分管理を提供することができる。視覚配分管理システム１０３に通信可能に連結され（またはその中に埋め込まれ）得るシステム１０７の１つの非限定的な例は、内容が参照により全体として本明細書に組み込まれる、本出願と同日出願された、Seppelt他の「Systems and Methods for Using an Attention Buffer to Improve Resource Management」のタイトルの米国特許出願に詳細に記載されるような、視覚配分、人および／もしくは車両の算出された状態を含むさまざまな要因、ならびに／または周囲のおよび／または別様にそれに関連する他の要因に基づいて、活動に関与する間の人の注意力レベルを動的に測定および評価することができる、資源配分管理システムである。

より具体的には、依然として図１を参照すると、図１には示されていないが、視覚配分管理システム１０３は、通信可能に連結され、視覚配分管理を提供するように構成された、１つ以上のプロセッサ、１つ以上のメモリ、および／または１つ以上のセンサを含む。いくつかの実施形態では、視覚配分管理システム１０３の１つ以上のメモリは、本明細書に記載する配分管理を行うために１つ以上のプロセッサによって実行され得るコードまたはロジックを記憶し得る。あるいは、またはさらに、視覚配分管理を提供するためのコードまたはロジックのすべてまたは一部は、以下でさらに詳細に説明する、（１）クラウド１０９および／もしくは（２）監視システム１０１（例えば車両）のメモリ、プロセッサおよび／または他のコンポーネント、（１）クラウド１０９および／もしくは（２）監視システム１０１内のメモリ、プロセッサおよび／または他のコンポーネント、または（１）クラウド１０９および／もしくは（２）監視システム１０１と関連付けられたメモリ、プロセッサおよび／または他のコンポーネントの中で、またはこれらによって、記憶および実行され得る。なお、さらに、１つ以上のメモリは、ユーザに関して受信され、その後システム１０３によって分析されるデータなどの、システム１０３によって検出されるか、決定されるか、または別様に受信されたデータを、その中に記憶させるように動作可能であってよく、この分析については、以下でさらに詳細に述べる。

視覚配分管理システム１０３のセンサは、当業者が理解するさまざまな技術を用いて、人の視覚配分データを取り込むように構成された、１つ以上のカメラを含み得る。用語「視覚配分データ」または「視覚的データ」は、（１）期間Ｔの間、人１０３ｐの眼球領域およびユーザ１０３ｐの頭部のうちの１つ以上と関連付けられた処理されていない（例えば未処理の）データ；または（２）未処理のデータもしくは処理されていないデータから引き出された情報を意味する、処理されたデータを指し得ることを理解されたい。例えば、視覚配分データは、人１０３ｐの連続した動画または周期的静止画像を指すことができ、これは、場合によっては、視覚配分管理システム１０３の一部であるかまたはこれと通信しているカメラによって取り込まれる。人１０３ｐはさまざまな角度および距離から撮像され得るが、動画および／または画像は、少なくとも人１０３ｐの眼球または眼球領域の画像化を含み、眼球画像または画像シーケンスは、そこから、および／または人１０３ｐの頭部の画像化から引き出され得、人１０３ｐが見ている方向を確認することができる。いくつかの実施形態では、視覚配分データは、別のデバイスによって事前に取り込まれ、相互接続されたメモリ、または視覚配分管理システム１０３のメモリに記憶され得る。さらに、当業者に既知であるように、視覚配分データは、例えば眼瞼の動き、眼球または顔の筋肉の動き、脳波、赤外線または音響画像（thermal or acoustic imaging）（または他の形態のエネルギーを使用するもの）などを測定するセンサから収集されたデータから入手されるか、または引き出され得る。

視覚配分管理システム１０３の、またはこれと別様に通信しているカメラは、以下でさらに詳細に説明するように、連続的に、または特定の事象もしくはアクションによってトリガされて、視覚的配分データ（例えば動画、静止画像）を取り込むように構成され得る。取り込まれた視覚的データは、１つ以上のメモリ（例えば揮発性もしくは不揮発性）、例えば視覚配分管理システム１０３のメモリに記憶され、以下に記載するように処理されて、人１０３ｐの視覚配分に関するフィードバック、指示、および／または他の出力を提供することができる。

依然として図１を参照すると、監視システム１０１は、システム、１組のシステム、インフラストラクチャー、物体などであり、視覚配分管理システム１０３を含むか、視覚配分管理システム１０３が埋め込まれているか、または視覚配分管理システム１０３と共に動作する。図１では、監視システム１０１および視覚配分管理システム１０３が独立した要素として図示されているが、いくつかの実施形態では、視覚配分管理システム１０３および監視システム１０１が単一の結合力のあるシステム、または１組のシステムを指し得ることを理解されたい。監視システム１０１は、多くの種類のうちの１つであってよいが、本明細書に記載する例示的な一実施形態では、監視システム１０１は、視覚配分管理システム１０３を含む車両である。このようなシナリオでは、例えば、視覚配分管理システム１０３は、期間Ｔの間のドライバー１０３ｐの眼球領域および／または頭部の視覚的データ（例えば動画、画像）を取り込み、取り込まれた視覚的データに基づいて期間Ｔの間の個人１０３ｐの行動を決定し、データ（例えば指示、警告、通知など）を車両１０１、人１０３ｐ、またはシステムの他のコンポーネント（例えば、この種のエコシステムで提供され得る可能なコンポーネントまたはシステムとして例示されるか、または別様に知られているかに関わらず、ポータブルデバイス技術（portable technologies）およびエコシステム１００における他のシステム）に出力することができる。例えば、出力データは、車両１０１の制御または部分制御を想定せよという指示であってよい。いくつかの実施形態では、出力データの種類または詳細は、事前に決定されかつ／または事前に記憶されたルール、閾値、目標（例えば、目標ストラテジー）などに基づいていてよい。この点について、ルール、閾値、目標などは、視覚配分管理システム１０３の１つもしくは複数のメモリ、または（例えば、クラウド１０９の中、他の接続されたデバイスおよびシステムの中のなどの）任意の相互接続されたメモリに記憶され得る。

例示したように、監視システム１０１は、１つ以上のメモリ１０１ｍと、１つ以上のコンポーネント１０１ｃと、を含む。メモリ１０１ｍは、監視システム１０１によって使用され、システム１０１の動作前に提供されたデータ、ルール、コード、ロジックなど、ならびにシステム１０１を動作させる結果として受信されかつ／もしくは引き出されたデータ、ルール、コード、ロジックなど、例えば、受信データ、受信データを考慮して調節されたルールおよびロジックなどを含む、それ自体のデータ、ルール、コード、ロジックなどを記憶することができる。例えば、監視システム１０１が車両である、前述し本明細書に記載する実施例では、メモリ１０１ｍに記憶されるデータは、車両に関する情報（例えば、燃料油面、油面、タイヤ圧力、残りの電池容量）、車両によって感知されるかまたは取り込まれた情報（例えば、異なる部分の温度、外部の温度、速度、場所）、周辺環境に関する情報（例えば、物体、障害物、他の車両）、および車両のドライバーまたは乗客、時間、旅行、予報などに関する他のデータ、を含み得る。これらの非限定的な例は、例示のために提示されたものであり、当業者は、監視システム１０１によって記憶され得る他の種類のデータ、および本明細書に記載する車両の例示的な実施形態以外の種類の監視システム１０１を認識するであろうことを理解されたい。

いくつかの実施形態では、システム１０１のメモリ１０１ｍに記憶されたデータは、コンポーネント１０１ｃによって取り込まれるか、もしくは入手され、あるいはコンポーネント１０１ｃと関連付けられる。監視システム１０１のコンポーネント１０１ｃは、監視システム１０１のものであるか、監視システム１０１に埋め込まれるか、取り付けられるか、もしくはつながれ、かつ／またはデータを収集および／もしくは伝送するように動作可能である、任意の物体、デバイス、部分、コンポーネントなどであってよい。１つの非限定的な例として、コンポーネント１０１ｃはセンサを含み得る。監視システム１０１が車両である、前述したシナリオでは、コンポーネント１０１ｃは、道路状況センサ、距離センサ、空気圧センサ、全地球測位システム（ＧＰＳ）センサ、および当業者に既知である他のものなどのセンサであってよい。さらに、監視システム１０１が車両である、例示的なシナリオに関連して、コンポーネント１０１は、車両内ディスプレイ（例えば、車両内のインフォテインメント（ＩＶＩ）センター／システム、エンターテインメントセンター／システム、器具パネル／ダッシュボードなど）、および／または（例えば、ブルートゥース、Ｗｉ−Ｆｉなどを使用して）車両と関連付けられるか、もしくは車両につながれたデバイス、例えばモバイルデバイス、オーディオプレイヤー、ビデオプレイヤー、スクリーン、タブレット、コンピュータなどを含み得る。コンポーネント１０１ｃが１つ以上のプロセッサであってよいか、またはこれを含み得ることを理解されたい。

メモリ１０１ｍに記憶され、かつ／またはコンポーネント１０１ｃで取り込まれるか、生成されるか、もしくはこれと関連付けられたデータは、視覚配分管理システム１０３と共有されるか、またはこれに伝送されて、本明細書に記載する視覚配分の管理中に情況の改善を提供することができる。例示的な例として、システム１０１のコンポーネント１０１ｃ（例えばセンサ）によって入手または感知された凍結温度および滑らかな表面のデータは、視覚配分管理システム１０３に伝送され、かつ／またはこれによって使用され得、例えば、人（例えば、ドライバー）１０３ｐの取り込まれた視覚的データが比較される目標ストラテジーは、道路および環境条件によって提示される危険の増加を考慮に入れるように調節または強調され得る。

さらに図１を参照すると、例示されるように、（例えば、以下の図２および図３で詳述するような）この図で提供されるサブシステムまたはコンポーネントを含む視覚配分管理システム１０３および監視システム１０１は、さまざまなシステム１０７およびクラウド１０９内の、またはそれらのデータおよびコンポーネントに接続され、それによって動作され、かつ／またはそれらと関連付けられているか、もしくは関連付けられることができる。視覚配分管理システム１０３と、監視システム１０１と、システム１０７と、クラウド１０９との間のこのような通信は、ネットワーク１０５を介して実行され得る。ネットワーク１０５は１つ以上のネットワークを含み得る。ネットワーク１０５の非限定的な例は、インターネット、プライベートエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、企業のプライベートネットワーク（ＥＰＮ）、仮想プライベートネットワーク（ＶＰＮ）などを含む。ネットワーク１０５を介したこのような通信は、Ｗｉ−Ｆｉ、ブルートゥース、および携帯電話もしくは衛星通信サービスを含む、当業者に既知であるさまざまな有線および無線技術、基準、およびプロトコルを用いて実行され得る。さらに、いくつかの実施形態では、システム１０１、１０３、１０７、および１０９、ならびに／またはそれらのそれぞれのデバイス、コンポーネント、部分、センサ、サブシステムなど（例えばコンポーネント１０１ｃ）は、例えば、近距離通信テクノロジーおよびブルートゥースなどの基準を介して、ならびに／またはコントローラー・エリア・ネットワーク（ＣＡＮ）バスおよび当業者に既知の他のものなどの構成を用いて、直接通信し得る。このために、図１には例示していないが、システム１０１、１０３、１０７、１０９および／またはそれらのそれぞれのデバイス、コンポーネント、部分、センサ、サブシステムは、前述した通信を可能にするためにハードウェア（例えば、ラジオ、アンテナ）およびロジックを含む。

単一のクラウド１０９が図１に例示されているが、エコシステム１００は、公的および私設クラウドを含む複数のクラウド、ならびに、データ伝送、記憶および／または検索のための他の技術を含み得、これらは、当業者に既知であることを理解されたい。本明細書においてクラウド１０９での記憶に言及することによって、他の場所に記憶する能力を決して制限するわけではない。同様に、３つのシステム１０７−１、１０７−２、および１０７−ｎのみが例示されているが、任意の数のシステムが、監視システム１０１および／または視覚配分管理システム１０３に通信可能に連結され得る。

クラウド１０９は、共有されるコンピューティング資源、ならびに視覚配分管理システム１０１、監視システム１０３、および／またはシステム１０７などのデバイスがアクセス可能なデータで構成された、インフラストラクチャーを指す。共有されるコンピューティング資源は、ネットワーク、サーバー、記憶装置、アプリケーションおよびサービスを含み得る。当業者は、任意の種類のデータおよびデバイスをクラウド１０９に含め得ることを理解するであろう。にもかかわらず、クラウド１０９のコンテンツの例示的な一例は、接続されたシステム１０７から収集されクラウド１０９に記憶された視覚配分データを含む。クラウド１０９におけるアプリケーションおよびサービスは、視覚配分データを処理し、例えばそこから情報を引き出すのに使用され得る。システム１０１が車両である、前述した例示的なシナリオでは、クラウド１０９は、そこから、例えば、車両１０１の近くにおける、潜在的な危険および／または他の車両（例えばシステム１０７）のドライバーの視覚配分パターンを引き出すか、または識別し得る。いくつかの実施形態では、視覚配分管理システム１０３により使用されるデータまたはロジックは、クラウド１０９に記憶される。例えば、フィードバック、指示などを出力するために視覚配分管理システム１０３によって使用されるモデルおよびルールは、クラウド１０９に中心的に記憶され得る。さらなる例として、システム１０３によって記憶されるかまたは別様に受信されるデータ、ならびに、受信データを分析するかまたは別様に使用するためにシステム１０３によって行われた任意のステップにより実行される任意の出力もまた、クラウド１０９に中心的に記憶され得る。いくつかの実施形態では、これらのモデルは、数学的モデル、統計モデル、論理モデル、ならびに当業者に既知であるような、ベイジアン・ネットワーク、カルマンフィルタ、ニューラルネットワーク、カーネル法などを含む、人工知能ツールおよび技術を含み得る。

システム１０７は、事実上、データを収集し、かつ／またはそれを、例えば視覚配分管理システム１０３と通信することができる任意のシステム、デバイス、物体、人、インフラストラクチャーなどを含み得る。例えば、システム１０７は、いくつかの相互接続されたデバイス（例えば、冷蔵庫、テレビ、冷暖房システム）、およびセンサを備えた物体（例えば、ドア、窓、セキュリティシステム）を有する家；センサを備えた機械類で作られた工場；モバイルデバイス、植え込み可能なデバイス、ウェアラブルデバイスなどを身に着けた人、を含み得る。当業者は、他の種類のシステム１０７を認識するであろう。にもかかわらず、システム１０７は、視覚配分管理システム１０３に、またはそのためのデータを提供して、より情況に沿った視覚配分管理を実行することができ、視覚配分管理システムは、例えばシステム１０３によって実行された視覚配分管理処理に基づいて、データまたは指示をシステム１０７に出力し得る。

前述の一例で説明したように、システム１０７は、システム／車両１０１と相互接続された周囲の車両を含み得る。周囲の車両１０７は、それら自体が感知または収集した情報を車両１０１と共有することができ、逆もまた同じである。いくつかの実施形態では、車両１０１は、視覚配分管理システム１０３によって算出または決定された視覚配分管理結果を鑑みて、視覚配分管理システム１０３から出力された指示および／または他のデータを周囲の車両１０７に送信し、例えば周囲の車両１０７のドライバーに警告し、かつ／または周囲の車両１０７に指示して、特定の様式で動かすかもしくは機能させる（例えば、ヘッドライトをつける、減速する、停止する、車線中央に戻る、特定された車両からの分離距離を増やす）ことができる。

エコシステム１００がドライバーの視覚配分を識別するために車両１０１で使用される視覚配分管理システム１０３を含む、例としての実施形態は、ドライバーが車両を動作させると状況認識のレベルを連続的に算出および出力し、図２〜図９に関連して以下で詳細に説明する、ドライバーの安全性を支援する車両システムと協調する。しかしながら、エコシステム１００およびその中のシステムが、さまざまな情況のために構成され、かつ／またはさまざまな情況で使用され得ることを、理解されたい。視覚配分管理システム１０３の非限定的な例示的な適用は以下を含む：
・保険会社：保険料控除を決定する上でリスクの尺度として特定の操作者の視覚配分を評価する；
・車隊管理：個人として、また車隊にわたって車両操作者の能力を監視し、車隊の安全性を最適化するか、または安全性に関連するボーナスを支給する；
・小売業：買い物中の消費者の視覚配分パターンを識別し、消費者の視覚または視覚的注意をオンターゲットに引き戻すよう対話式のインターフェースディスプレイを改善または強化する；
・車同士のネットワーク：１つの車からクラウドネットワークに視覚配分データをアップロードし、他の車がその情報にアクセスでき、車またはドライバーが自分たちの周りの車両への認識を考慮できるようにする；
・保険数理：リスクおよび不確実性評価の精度および詳細を改善する；
・事故再現：本開示を鑑みて決定され得る要因の中でも特に、事故に巻き込まれた人の認識のレベルを評価する；
・法の執行：ドライバーにわたる共通の視覚配分パターンを識別し、速度制限、標識、またはパトロールカバー（patrol cover）の調節など、懸念に対処する積極的な措置をとるか、または、特定の時間に特定の操作者の配分を評価する。

当業者は、視覚配分管理システム１０３の多くの他の適用を理解するであろう。追加の非限定的な例としては、航空機の操縦、航空管制、組立ライン、および、例えば欠陥のスキャン、（例えば手荷物の）ｘ線スキャンのための品質管理活動が含まれる。

視覚配分管理システムを備えた車両
前述のように、視覚配分管理システム１０３は、監視システム１０１として役立ち得る多くの物体に組み込まれ得る。このような物体は、異なるレベルの行動、注意力、および／または認識を分類することから利益を得ることができ、監視システム１０１がそれ自体の調節を行うか、または、視覚配分管理システム１０３によって記録されかつ／もしくは別様に決定された結果を鑑みて望ましい調節を行うために実行され得るアクションについて、他のコンポーネントおよび／もしくは人々に通知することを可能にする。車両は、本開示で提供される視覚配分管理システムおよび方法から利益を得る物体の、非限定的な一例である。以下でさらに詳細に説明するように、車両に組み込まれた視覚配分管理システムによって、システムは、車両自体、車両のドライバーもしくは操作者、ならびに／または、車両および／もしくは視覚配分管理システムと相互接続されるかもしくは別様に通信する他のデバイスもしくは他のコンポーネントに指示を与えて、それらの能力を改善することができる。

図２は、車両２０１に含まれ得るセンサおよび他の監視コンポーネントの種類の非限定的な例示を与えるものである。これらのセンサおよび他のコンポーネントの認識、またこれらにより与えられる認識は、車両２０１、その操作者、およびエコシステム（例えばエコシステム１００）に接続された他のデバイスもしくはコンポーネントの全体的な認識を改善するのに役立つ。エコシステムに接続された他のコンポーネントは、車両１００と関連付けられた他の監視システム、他の車両（例えば、周辺エリアにある車両、同型の車両、特定のデータベースにある車両）、およびグローバルデータベースを含み得、グローバルとは、世界中を意味するが、必ずしも世界中を意味しておらず、より特定の領域、例えば車両の周辺環境、車両が動作する領域（例えば、都市、州、領土、国、保険業者が担保範囲を提供する領域など）を含み得る。

いくつかのセンサおよび他の監視コンポーネントは、外部環境、およびそれに対する車両２０１の反応の仕方を検出するように動作され得る。それらは以下を含む：道路状況センサ２０２、磁気センサ２０３、車両距離センサ２０４、前方障害物センサ２０５、死角監視カメラ２０６、側面障害物センサ２０７、後方障害物センサ２０８、道路−車両／車両−車両の通信システム２０９、後方確認カメラ２１０。他のセンサおよび監視コンポーネントは、車両の上および／または内部で何が起こるのかを監視または制御するように動作され得る。それらは以下を含む：ドライブレコーダー２１１、空気圧センサ２１２、内側ドアロック／ロック解除２１３、エアバッグ２１４、撥水性フロントガラス２１５、シートベルトプリテンショナー２１６、ドライバー監視センサ２１７、ドライバーを監視する１つ以上のカメラ（one or cameras）２１８、ヘッドアップディスプレイ２１９、ステアリング角センサ２２０、電子制御スロットル２２１、電子制御ブレーキ２２２、火災検知センサ２２３、車両速度および加速度センサ２２４、衝突検出センサ２２５、歩行者衝突傷害低減構造体２２６、ならびに電子制御ステアリング２２７。

なお、さらに、他のセンサおよび監視コンポーネントは、情報を通信するように動作され得、これにより、車両２０１がそれに対して反応し、かつ／または他の車両およびコンポーネントが、通信された情報に対して反応することができる。それらは以下を含む：全地球測位システム（ＧＰＳ）センサ２２８、メッセージ表示システム２２９、およびハンズフリーシステム２３０。標識付きのセンサおよび他の監視コンポーネントは、決して限定的なものでなく、外部環境、車両２０１を感知および監視し、かつ／または車両２０１とエコシステム（例えばエコシステム１００）の他のコンポーネントとの間で情報を通信するために車両２０１と組み合わせられ得る多量の他のセンサおよび他の監視コンポーネントを、当業者は理解するであろう。さらに、特定されたセンサおよび監視コンポーネントのうちの少なくともいくつかが、データの感知、および、車両２０１の他のコンポーネントへ、またはエコシステムの任意の他のコンポーネントへのその情報の通信を含む、これらの機能のうちの複数を実行し得ることを、当業者は認識するであろう。なお、さらに、例示された実施形態が単一のセンサまたは他の監視コンポーネントを標識付けした範囲で、そのタイプの複数のセンサまたは監視コンポーネントがあってよく、同様に、例示された実施形態が複数のセンサまたは他の監視コンポーネントを標識付けした範囲で、ただ１つのセンサまたは他の監視コンポーネントが提供される場合があってもよい。

車両２０１のセンサおよび他の監視コンポーネントによって感知されるか、記録されるか、または別様に受信されるデータまたは情報が、互いとの間で、および／または他の場所（例えば、クラウド、他のデータベース、他の車両など）に、通信され得る多くの方法がある。データ伝送の任意の手段を使用し得る。図３は、車両２０１（不図示）内部のさまざまなシステムが互いと、また外部環境（例えばエコシステム１００）と通信することを可能にする電子制御ユニット（ＥＣＵ）２４２を車両２０１が含む、車両ネットワーク２４０の例示的な非限定的一実施形態を提供する。電子制御ユニットは、コア（例えば、マイクロコントローラなど）、１つ以上のメモリ（例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラム可能読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュなど）、１つ以上の入力（例えば、供給電圧、デジタル入力、アナログ入力）、１つ以上の出力（例えば、リレードライバー、Ｈブリッジドライバー、インジェクタドライバー、ロジック出力など）、および通信リンクなどのコンポーネントを含み得る。

いくつかの例示的な入力が図３に例示される。図示のとおり、第１のミニスイッチまたはハブ２４４は、計器群２４６、パワートレインモジュール２４８、本体制御モジュール２５０、シャシーおよび／または安全性モジュール２５２、１つ以上のドライバー対面ビデオカメラ２５４、および、それ自体がバックミラー２５８および遠隔測定モジュール２６０などのコンポーネントから情報を受信し得る第２のミニスイッチまたはハブ２５６など、のコンポーネントから情報を受信し得る。例示された実施形態では、本体制御モジュール２５０と、シャシーおよび／または安全性モジュール２５２とは組み合わせられて単一のモジュールになる。遠隔測定モジュール２６０は、本明細書で提供される他のコンポーネントと同じように、任意の既知の通信手段、例えばＷｉ−Ｆｉ、ブルートゥース、セルラーネットワーク、ＧＰＳ、専用狭域通信（ＤＳＲＣ）などにより、車両の内部および外部と通信し得る。ドライバーを監視するドライバー対面ビデオカメラ２５４に関して、このような監視は、眼球運動、眼球の微小移動、頭部の動きの追跡、ならびに本明細書で提供されるか、または別様に当業者に既知である他の測定手段を含むがこれらに限定されない、眼球および頭部の動きを測定する任意の既知の技術によって行われ得る。

第１のハブ２４４は、それが受信した情報を、任意の既知の通信手段によってＥＣＵ２４２に伝送することもでき、例示された実施形態では、イーサネット２４３によって行う。例示された実施形態では、第２のハブ２５６は、それが受信した情報を、イーサネット２４５を介して伝送することもできるが、他の通信手段を使用することができ、さらに、代替的な実施形態では、第２のハブ２５６は、第１のハブ２４４ではなくＥＣＵ２４２に直接通信するように構成され得る。

第３のミニスイッチまたはハブ２６２および第４のミニスイッチまたはハブ２６４はそれぞれ、同様に、車両の他のコンポーネントから情報を受信し得る。図示のとおり、第３のハブ２６２は、第２のパワートレインモジュール２６６、第２の本体制御モジュール２６８、第２のシャシーおよび／または安全性モジュール２７０、ならびに１つ以上の前方ビデオカメラ２７２から受信し、第４のハブ２６４は、第３の本体制御モジュール２７４および１つ以上の後方ビデオカメラ２７６から情報を受信する。例示された実施形態では、第２のパワートレインモジュール２６６、第２の本体制御モジュール２６８、ならびに第２のシャシーおよび／または安全性モジュール２７０は、組み合わせられて単一のモジュールになる。第３のハブ２６２および第４のハブ２６４は同様に、それらが受信した情報を、任意の既知の通信手段によって、ＥＣＵ２４２に伝送することができ、例示された実施形態では、イーサネット２４７および２４９によってそれぞれ行う。

さらに、当業者に既知の名称の中でも特に、インフォテインメントセンター／システム、もしくはエンターテインメントセンター／システム、またはセンタースタックとも呼ばれる、ＩＶＩセンター／システム２７８は、ＥＣＵ２４２と通信することもできる。ＩＶＩセンター／システム２７８、ならびに本開示の他のコンポーネント、例えば計器群２４６は、より一般的には車両内ディスプレイとも呼ばれ、これは、ユーザによる車両の動作に関連する情報をユーザに表示する任意のコンポーネントを含む。したがって、場合によっては、車両内ディスプレイは、スマートフォンなどといった外部の物体によって提供され得る。例示された実施形態では、ＩＶＩセンター／システム２７８は、イーサネット２５１を介して直接ＥＣＵ２４２と通信するが、他の実施形態では、例えば、ミニスイッチまたはハブを通じて、および／または当業者に既知の他の通信手段によって、実行することができる。図示のとおり、ＩＶＩシステム２７８は、ＧＰＳ２８０、衛星２８２、アンテナ（不図示）、または他の通信手段などのコンポーネントを用いて、車両２０１の外部で、例えばエコシステムの別の部分に、通信することもできる。いくつかの例示的なＩＶＩシステムは、Ford SYNC、Ford MyFordTouch、Audi Multi-Media Interface、BMW iDrive、Lexus Remote Touch、Mercedes-Benz Command APS、Toyota Entune、Kia Motors UVO、Cadillac CUE、Chevrolet MyLink、Hyundai Blue Link、Fiat Chrysler Uconnect、Fiat Chrysler Blue&Meを含むがこれらに制限されない。いくつかの実施形態では、ＩＶＩセンター２７８は、遠隔測定モジュール２６０を使用して、車両２０１の環境の外部に通信することができ、かつ／または他の車両内ディスプレイ（例えば、計器群２４６、スピーカー、マイクなど）を通じて通信することができる。

なお、さらに、追加情報は、１つ以上の追加デバイスによって、ＥＣＵ２４２に、かつ／またはＥＣＵ２４２によって提供され得る。例示された実施形態では、追加デバイスは、スマートフォン２８４およびコンピュータ２８６として図示されており、これは、車両２０１、および図３に例示するか、または別様に本明細書で提供されるかもしくは当業者に既知であるコンポーネントと通信するためにリンク２５３によってＥＣＵ２４２に通信可能に連結され（例えばつながれ）得る。リンク２５３は、ユニバーサルシリアルバス（ＵＳＢ）、Ｗｉ−Ｆｉ、およびブルートゥースを含むがこれらに限定されない、多くの異なる通信手段を用いて達成され得る。追加デバイスは、しばしば、車両２０１の操作者によって提供されるデバイスであってよいが、場合によっては、デバイスは、車両２０１の乗客、車両２０１の近くの別の人、車両もしくはそのコンポーネントの製造業者もしくは他の供給業者、および／またはエコシステムもしくは車両２０１の別のコンポーネントなどの第三者によって提供され得る。

図示のとおり、ＥＣＵ２４２は、一般的に、関連する配線２５５を含むデータリンクコネクタ２８８（例えばＯＢＤ ＤＬＣコネクタ）によって車両２０１と関連付けられ得る。データリンクコネクタ２８８は、ＥＣＵが車両２０１により電力供給されることを可能にする、マルチピン診断コネクタポートであってよい。これは、ＥＣＵ２４２に結び付けられた、識別されたコンポーネントまたは制御モジュールと連動する車両スキャンツールを含み得、他の情報の中でも特に、内蔵の診断および実データストリームにアクセスし得る。データリンクコネクタ２８８と関連付けられたスキャンツールを使用して、例えば、ＥＣＵ２４２と関連付けられたさまざまなモジュールを診断および／または再プログラミングし得る。

当業者は、車両ネットワーク２４０と関連付けられたさまざまなモジュールおよびコンポーネントがどのように動作するかを理解するであろうから、特定のモジュールおよびコンポーネントの詳細な説明は不要である。一例として、当業者は、速度計、走行距離計、燃料計器、およびそれらの関連コンポーネント、センサなどがどのように動作するかを詳述しなくても、計器群２４６によって提供および／または監視され得るさまざまな情報を理解するであろう。

図４は、車両２０１’と共に提供される、視覚配分管理システム、例えば、視覚配分管理システム１０３のいくつかの態様を示す。図示のとおり、車両２０１’は、車両内ディスプレイ、例えば計器群２４６’およびＩＶＩセンター２７８’、ならびにバックミラー２５８’、サイドミラー２９０’、および２つのドライバー対面カメラ２５４’を含み、これらはそれぞれ、車両２０１’の動作中に車両２０１’およびその操作者を監視するのを助けるために使用され得る。当業者は、これらのさまざまなコンポーネントおよびモジュール、ならびに図４では具体的に標識付けまたは例示されていないが、車両２０１’を含む車両ネットワーク２４０’に追加情報を提供し得るコンポーネントおよびモジュールとして当業者に既知である、他のコンポーネントおよびモジュールが、どのようにして動作され得るのかを理解するであろう。これらのコンポーネントおよびモジュールは、図３に関して説明したタイプを含むが、これらに制限されない。非限定的な例として、２つのドライバー対面カメラ２５４’は、ドライバーの視線の頻度、場所、および持続時間を検出するように動作され得、これらと関連付けられたプロセッサは、本明細書で提供される開示に従ってこのような場所を分析するように動作可能であってよい。さらに、例示された実施形態では、２つのドライバー対面カメラ２５４’があるが、バックミラー２５８’と関連付けられた単一のカメラなどの多くの他のカメラ構成が使用されて、ドライバーを監視することができ、任意の数のカメラを使用し得ることを、当業者は認識するであろう。なお、さらに、いくつかの実施形態では、カメラが含まれるかどうかに関わらず、他のツール、デバイス、コンポーネントなどを使用してドライバーを監視することができる。非限定的な例として、ドライバーに関する情報、例えば、ドライバーが自分の見ているものに注意を払っている場合、ドライバーがどこを見ているか、どれほどの長さか、どのようにしてドライバーが外側の物体を認識するかなどを判断するために、身体（例えば、眼球の近くもしくは眼球上）に埋め込まれるか、もしくは別様に身体と関連付けられたセンサ、および／または、脳波および／もしくは他の神経機能および経路を監視するのに使用されるデバイス。

図４には、視線が位置し得るさまざまな場所も示されており、そのうちのいくつかは、車両操作者による車両の動作に有益であり、かつ／または役立ち、他のものは役立たない。例えば、速度制限標識２９２’は、ドライバーの状況認識に有益と考えられ得る路外視線（以下でさらに詳細に説明する）を必要とし得、広告板２９４’は、ドライバーの状況認識に有益と考えられないであろう、路外視線を必要とし得る。本明細書に提供されるように、路外視線のタイプは、視覚配分管理システム１０３がどのように視線を処理し、提供されるアルゴリズムを動作させるかに影響を与え得る。同様に、路上視線の持続時間は、視覚配分管理システム１０３がどのように視線を処理し、提供されるアルゴリズムを動作させるかに影響を与え得る。図４は、路上視線および路外視線として本明細書に記載されるものに背景（context）を提供するのに役立つ。

視覚配分の管理
図５は、視覚配分管理システム１０３を用いて視覚配分を管理するための１つの例示的なプロセス３００を示す、シーケンス線図である。プロセス３００では、視覚配分管理システム１０３は、ドライバー３０３ｐが動作させる車両３０１に埋め込まれるか、または組み込まれている。視覚配分管理システム１０３は、とりわけ、クラウド３０９、システム３０７−１、およびシステム３０７−２（本明細書では、まとめて「システム３０８」または「３０８」と呼ぶ）と通信可能に連結され、これらと通信して、（１）さらに情況に応じて認識する視覚配分管理を行うために視覚配分管理システム１０３によって使用される情況情報を交換し、かつ（２）視覚配分管理に基づいて出力（例えば、フィードバック、指示）を提供する。プロセス３００では、システム３０７−１および３０７−２は、車両３０１に近接して位置する車両であり、クラウド３０９は、交通データ、交通ストラテジーなどを収集および管理し得る交通管理システムによって管理される、スマートな交通クラウドである。当業者は、システム３０８が任意の数およびタイプのシステム、物体、およびデバイスを含み得ることを理解するであろう。

プロセス３００では、システム１０３は、視覚配分のリアルタイム管理を提供し、これは、システム１０３が、フィードバックまたは指示などの出力を、その出力が効果的に適用され得るように十分短い期間以内に提供し得ることを意味する。いくつかの実施形態では、リアルタイムとは、データ（例えば、ドライバーの視覚的データ、情況データ）が収集される時間から、フィードバック、指示、または他のデータが出力される時間までが、およそミリ秒またはマイクロ秒であることを意味し、「ほぼリアルタイム」であってよいことも理解されるであろう。入力から出力（または要求から応答）までのこのような時間の保証または要件が、入力または出力のタイプに基づいて変化し得ることを理解されたい。例えば、車両へのブレーキ制御指示の出力を生じるリアルタイムの視覚配分管理は、潜在的に注意散漫である運転に関する警告の出力を生じるリアルタイムの視覚配分管理よりも、速くてよいか、または寛大な即時性要件を必要とし得る。いくつかの実施形態では、視覚配分管理は、リアルタイム以外で、例えば、広告、品質保証、トレーニングなどといった、本明細書に提示される例を含む、あまり緊急を要しない適用において、提供され得る。

これからさらに詳細に説明する、ステップ３５０ａおよび３５０ｂは、第１の期間Ｔ１中に行われ、ステップ３５２〜３６６ａおよび３６６ｂは、第２の期間Ｔ２中に行われる。前述したように、視覚配分管理プロセス３００は、リアルタイムで行われ、これは、期間Ｔ１の開始から期間Ｔ２の終了までの時間の長さが、ほぼ即時、例えば１マイクロ秒未満、１ミリ秒未満、または１秒未満ほどであり得ることを意味する。

ステップ３５０ａで、ドライバー３０３ｐは、車両３０１の運転に関与し、ステップ３５０ｂで、視覚配分管理システム１０３は、車両３０１の運転に関与するドライバー３０３ｐの視覚的データを入手する。当業者には既知であるように、ドライバー３０３ｐが車両３０１の運転に関与する間の時間Ｔ１の長さは、任意の長さであってよいが、少なくとも、ドライバー３０３ｐが１回視線を送るより長い時間に対応するよう十分長い。当然、ステップ３５０ａでの車両の運転中、ドライバー３０３ｐは、異なる視覚配分を必要とするさまざまな活動に関与し得る。視覚配分が車両３０１の運転中の所与の時間におけるドライバー３０３ｐの視覚的行動または視線の方向を指すことを理解されたい。例えば、ドライバーの視覚配分は、歌を変えるときには、ＩＶＩセンターの方向であってよく、または、車線変更の際は、サイドミラーの方向であってよい。

プロセス３００では、ドライバー３０３ｐが車両３０１を運転するとき、視覚配分管理システム１０３は、ステップ３５０ｂで、ドライバーの視覚的データ、すなわち、ドライバー３０３ｐの視覚配分を取り込む。ドライバー３０３ｐの未処理の視覚的データまたは視覚配分を取り込むのは、管理システム１０３（例えば、図４に示すカメラ２５４’）に対応する１つ以上のカメラ（例えば、ビデオカメラ、静止画像カメラ）を用いて実行する。当業者には既知であるように、視覚配分管理システム１０３のカメラは、車両の異なるエリア（例えば、ダッシュボード、コンソール、バックミラー、サイドミラーなど）に位置づけられ得、ドライバーの眼球領域（例えば、一方または両方の眼球、開くかまたは閉じた眼球、ドライバーがサングラスをつけているときの眼球エリア）が、見えるようになり、さまざまな角度から取り込まれ得る。例えば、カメラは、ドライバーが通常または予期されるタイプの動きを行っている間に頭部または顔面が見えたままになるように、十分な余裕をもってドライバーの頭部全体および上部胴体を取り込むように位置づけられ得る。

いくつかの実施形態では、視覚配分管理システム１０３は、車両３０１のカメラを使用することができ、これは、ステップ３５０ｂでドライバー３０３ｐの視覚的データまたは視覚配分を取り込むために、（例えばブルートゥースなどの近距離通信プロトコルを用いて）視覚配分管理システムに通信可能に連結されている。取り込まれた視覚的データは、本明細書に記載するような視覚配分の管理を提供するために、視覚配分管理システム１０３によるさらなる処理のために記憶され得る。取り込まれた視覚的データは、内蔵メモリ、車両３０１のメモリ、もしくはシステム３０８のいずれかのメモリ（例えばクラウド３０９）などの、視覚配分管理システム１０３のメモリ、または視覚配分管理システム１０３に通信可能に連結されたメモリに、記憶され得る。

プロセス３００では、ドライバー３０３ｐの視覚的データは、カメラを用いて取り込まれるが、他の実施形態では、視覚的データは、相互接続されたデバイスから／相互接続されたデバイスへの応答−要求；例えば、瞼の動き、眼球もしくは顔面の筋肉の動き、脳波などを測定するセンサから入手したデータ；赤外線または音響画像（thermal or acoustic imaging）（または他の形態のエネルギーを使用するもの）など、他の技術を用いて入手され得ることを理解されたい。

次に、ステップ３５２では、視覚的特徴が、車両３０１を動作させるドライバー３０３ｐの、ステップ３５０ｂで取り込まれた視覚的データから視覚配分管理システム１０３によって検出および／または抽出される。いくつかの実施形態では、視覚的データは、ドライバー３０３ｐの視覚的行動または配分を正確に表すと共に不要なデータを除去するのに十分とみなされる、最適または好適なフレーム毎秒（ｆｐｓ）速度（例えば、１０ｆｐｓ〜５０ｆｐｓ）にダウンサンプリングされ得る。ダウンサンプリングにより、視覚配分管理システムは、視覚的データを標準的にまたは均一に処理することもでき、視覚配分管理結果は、より正確となり得る。

さらにステップ３５２の視覚的特徴抽出を参照すると、いくつかの実施形態では、視覚的データは、ある長さまたはサイズの部分にセグメント化することができる。すなわち、取り込まれた動画または画像は、例えば、０．１秒、０〜１秒、１秒、５〜１０秒の長さの時期（epochs）に分けることができる。動画をセグメント化すると、システム１０８により、より均一で一貫した視覚配分管理も可能になる。したがって、結果として得られるダウンサンプリングおよび／またはセグメント化された視覚的データは、車両３０１の運転中のドライバー３０３ｐの眼球領域の画像またはフレームで構成された眼球画像シーケンスである。画像のそれぞれまたは眼球画像シーケンスは、視覚的特徴を識別および／または抽出するように、図６に関連して以下のように処理され得る。

図６は、視覚的特徴検出プロセス４００の例示的な実施形態を示す図である。図６で示すように、ステップ４５０では、顔検出が、眼球画像シーケンスの各画像において実行される。当業者には既知であるように、顔検出は、さまざまな画像化および顔検出アルゴリズムおよび技術（例えば、ＯｐｅｎＣＶで利用可能なＨａａｒ特徴に基づく顔検出）を用いて実行され得る。いくつかの実施形態では、顔検出は、線形ＳＶＭ分類器、画像ピラミッド、およびスライディングウィンドウ検出スキーム（sliding window detection scheme）と組み合わせて、配向勾配のヒストグラム（histogram of oriented gradients）（ＨＯＧ）を使用する。図６に示すこれらのアプローチの根底には、顔の注釈つきデータセットにおいてトレーニングされた機械学習メカニズムがある。トレーニングプロセスは、「顔」と「顔ではない」との分類間の相違点を定める特徴の表示を形成する。当業者には既知であるように、異なる機械学習アルゴリズムおよび／または特徴を用いてもよく、また、特定の適用に基づいて変えてもよい。

次に、いったん顔がステップ４５０で検出されたら、ドライバー３０３ｐの検出された顔は、ステップ４５２で位置合わせされる。同様に、当業者は、画像上での顔の位置合わせが、さまざまな位置合わせアルゴリズムおよび技術を用いて実行され得ることを理解するであろう。いくつかの実施形態では、ステップ４５２で、顔の位置合わせは、ドライバー３０３ｐの眼球、眉、鼻、および口の部分を含む、３点顔標識点（three-point facial landmark）を識別することによって行われる。コンピュータービジョンアルゴリズム、例えば、アクティブ・アピアランス・モデル（active appearance model）（ＡＡＭ）最適化アルゴリズムは、一連のリグレッサー（cascade of regressors）を使用して、４３点形状を画像データに位置合わせすることができる。当業者には既知であるように、対象形状（例えば、顔、瞼、瞳孔）のモデルを、新しい画像（例えば、ドライバーの画像シーケンスからの画像）に適合させ得る、他のコンピュータービジョンアルゴリズムを使用し得ることを理解されたい。両方の眼球領域が識別され、画像から抽出され得るが、いくつかの実施形態では、片目に対応する眼球領域のみが、本明細書に記載する視覚配分管理プロセスの入力として選択される。片目の眼球領域を選択する場合、いくつかの実施形態では、当業者に既知である技術を用いて画像から推定された現実世界の座標に基づいて決定されるような、カメラに最も近い眼球に対応する眼球領域が、視覚配分管理のために選択される。このために、顔の位置合わせされた特徴は、人間の頭部および顔の一般的または標準的な（事前に記憶され、かつ／または事前に決定された）三次元モデルにマッピングされる。結果として得られる点対応（例えば三次元および／または二次元）は、ドライバー３０３ｐの頭部および／または顔面の向きを計算するのに使用される。

識別された４３の基準点および選択された眼球領域は、ステップ４５４で顔の正面化（face frontalization）を行うために使用され得る。顔の正面化は、ドライバー３０３ｐの顔の正面図を合成して、それによって、眼球領域も正面化するために実行される。いくつかの実施形態では、ステップ４５６で、ＡＡＭ最適化アルゴリズムなどが、眼球画像シーケンスの画像の選択された眼球領域の眼球の瞼に対して実行される。ステップ４５８で、位置合わせされた点および未処理画像は、ニューラルネットワーク（例えば、３つの畳み込み層（convolutional layers）および２つの全結合層（fully connected layers）を有する二次元畳み込みニューラルネットワーク（ＣＮＮ））にロードまたは入力されて、瞳孔の可視性状態を予測する。これは、それが、ドライバー３０３ｐの瞬きアクションにより引き起こされる閉鎖に関連するためである。言い換えれば、ニューラルネットワークは、眼球画像シーケンスの眼球画像における眼球が、瞳孔が見えるように十分開いているとみなされるかどうかを判断するのに使用され得る。瞳孔が視覚配分管理プロセスを続けるのに十分見えているとみなされれば、ＡＡＭ最適化アルゴリズムなどは、虹彩および瞳孔を識別するか、または突き止める１４の点を含む、３９の像点を用いて、ステップ４６０で実行される。図６に関連して最適化アルゴリズムで使用される点の数は、少なくとも部分的には、当業者に既知であるように、最適または必要とみなされる点の数に応じて、変化し得ることを理解されたい。

ステップ３５２で実行された視覚的特徴抽出の結果は、車両３０１を動作させているドライバー３０３ｐの画像シーケンスの各画像における瞳孔位置の概算である。いくつかの実施形態では、瞳孔位置は、「眼内線分」とも呼ばれる、眼球の２つの隅の間の線分の大きさを用いて、正規化され得る。このような場合、眼内線分の中間点は、起点として使用される。瞳孔位置は、眼内線分に等しいかまたは平行であるｘ軸と、これに垂直なｙ軸とに基づいて、ｘｙ座標で構成される。瞳孔位置が画像中に見えない場合、時間的に最後の、または先の瞳孔位置が、その画像に割り当てられるか、または、ベースラインの（０，０）位置が割り当てられる。

眼内線に対して測定される瞳孔位置が、視線方向および／または目標視認エリア（例えば、フロントガラス、サイドミラー、車両内ディスプレイの領域）もしくは物体を示すか、またはこれを算出または決定するのに使用され得ることを理解されたい。視線は、画像シーケンス中の１つの画像、または画像シーケンス中の複数の画像に対応し得る。よって、ステップ３５４では、画像シーケンスの各画像の瞳孔位置または視線方向は、所定の空間領域に分類またはマッピングされ得る。いくつかの実施形態では、空間領域は、予め決定され、対応する瞳孔位置と関連付けられる。空間領域の非限定的な例は、左のミラー、計器群、前方道路、バックミラー、センタースタック、右のミラー、左の死角、助手席、右の死角、不明のものなどを含む。視線または瞳孔位置が、任意の数の空間領域にマッピングされ得、空間領域は、任意のサイズおよび場所のものであってよく、また、任意の物体、コンポーネント、デバイス、要素、またはこれらの組み合わせと関連付けられ得ることを理解されたい。

いくつかの実施形態では、ステップ３５６で、視覚配分管理システム１０３は、各視線の持続時間を識別する。前述のとおり、視線の長さに応じて、視線は、眼球画像シーケンスの１つまたは複数の画像に対応し得る。いくつかの実施形態では、各視線の持続時間は、視線における第１の画像のタイムスタンプを、次の視線における第１の画像と比較することによって、算出される。それらの差は、視線の持続時間に等しい。以下でさらに詳細に説明するように、視覚配分管理は、例えば、視線の方向ならびに視線の持続時間を用いて、実行され得る。

ステップ３５８ａおよび３５８ｂで、視覚配分管理システムは、（１）車両３０１、および（２）システム３０８（例えば、クラウド３０９、車両３０７−１、３０７−２）それぞれと通信して、視覚配分管理およびそこからの結果の作成中に使用される、情況情報もしくは補足情報を得る。いくつかの実施形態では、情況情報は、より効果的かつ正確な計算を提供するのに使用され得、それによって、より効果的な出力（例えば、フィードバック、指示）も可能になる。当業者には既知であるように、情況情報は、時間Ｔ１に車両３０１を動作させる間のドライバー３０３ｂの行動を、より正確に予測または推定するのに使用され得る、実質的にあらゆるタイプのデータであってよい。非限定的なタイプの情況データは、車両３０１が位置する環境に関する環境データ（例えば、天候、道路状況）、所与の半径以内の車両３０１の周辺環境に関する周辺データ（例えば、近くの車両、障害物、構造物、道路などに関する情報）、および車両３０１のドライバーに関するユーザデータ（例えば、年齢、性別、心拍数、体温）を含む。情況情報の他の非限定的な例は、車両３０によって収集および／または受信される、車両速度、車両重量、燃料油面、運転パターン、ヘッドライト状態、（例えば、周囲の車両もしくは障害物に対する）位置、ドライバーデータ、ラジオのボリュームなど；車両３０７−１および３０７−２から収集および／または受信される、車両速度、車両重量、燃料油面、運転パターン、ヘッドライト状態、（例えば車両３０１に対する）位置など；市役所または州政府、交通管理事業体、天候データ供給業者などによって管理されるか、またはこれらに対応するクラウドなどの、さまざまなタイプのクラウド３０９から受信される、交通データ、天候データ、イベントデータ、道路データなどを含む。情況データの他の例は、皮膚温度、心拍数、動き、音などといった、ドライバー３０３ｐに対応するデータを含む。図１を参照して詳細に説明したように、情況データは、各システムによって、例えば、これに取り付けられるか、もしくは連結された対応するセンサを用いて、入手され、定期的に、または情況データの要求に応答して、視覚配分管理システム１０３に伝送され得る。

次に、ステップ３６０で、視覚配分管理システム１０３は、視覚的データおよび情況データを使用して、時間Ｔ１に車両３０１を動作させる間のドライバー３０３ｂの１つまたは複数の状態（または、ドライバー３０３ｐが関与する、行動、活動もしくはタスク、もしくはその集合）を予測、推測、または算出する。前述したように、視覚的データは、眼球画像シーケンスの画像から視覚配分管理システムによって識別された、視線方向（例えば、利用可能な場合は瞳孔位置に基づく；および／または、顔の特徴、赤外線もしくは音響画像などに基づく）、視線持続時間、および視線の推移を含み得る。ドライバー３０３ｐの状態を予測するため、視覚配分管理システム１０３は、視覚的データおよび／または情況データを、目標または候補状態（例えば、行動、タスク、活動、ストラテジー）の統計モデル（例えば隠れマルコフモデル（ＨＭＭ））と比較する。統計モデルおよびＨＭＭがプロセス３００に関連して説明されるが、当業者は、本明細書で述べる例、ならびに本開示を鑑みれば当業者に既知であるものを含む、他のモデルおよび人工知能ツールを使用し得ることを理解するであろう。視覚的データを統計モデルと比較することによって、視覚配分管理システム１０３は、Ｔ１中のドライバー３０３ｐの行動または状態が、統計モルの状態と一致する確率を算出し得る。ステップ３６０で行われるドライバー３０３ｐの状態を予想するための統計モデルの使用を、これからさらに詳細に説明する。

前述のとおり、ドライバー３０３ｐ視覚的データおよび／または情況データは、人間の状態（または、行動、活動、タスクなど）の、ＨＭＭなどの事前に記憶された統計モデルと比較される。統計モデルに対応する状態が、少なくとも部分的には、視覚配分管理システム１０３の使用および適用に応じて、変化し得ることを理解されたい。例えば、プロセス３００では、モデル化された状態は、車両内の従来の運転活動であるが、従来の活動に似たものも、あまり一般的でない行動のためにモデル化され得る。モデル化された状態の非限定的な例は、車両３０１の車両内ディスプレイとの相互作用（例えば、ナビゲーション、電話での呼び出し（phone contact calling）、ラジオのチューニング、代わりの音楽選択）、ポータブルデバイス技術（例えば、ＧＰＳデバイス、スマートフォン）の使用、部分的に自動化された運転（例えば、ソサエティ・オブ・オートモーティブ・エンジニアズ（Society of Automotive Engineers）（ＳＡＥ）の運転自動化レベル１、２、３）への関与、眠そうな運転、注意深い運転などを含む。当業者には理解されるように、状態の粒度は、視覚配分管理システム１０３によって最適または必要とみなされると、変化してよく、「幹線道路の運転」などの幅広い状態から、「従荷重（例えば、ラジオのチューニング）の存在なしの、注意深い幹線道路の運転」など、より狭い状態までの範囲である。さらに、モデル化された状態は、特定のタスク、行動、もしくは活動、例えば「ラジオのチューニング」、または複数の行動もしくは活動、例えば「ラジオのチューニングをしながら注意深い幹線道路の運転」で構成され得るストラテジー、に対応し得ることを理解されたい。いくつかの実施形態では、状態またはストラテジーは、「目標状態」または「目標ストラテジー」と呼ばれ、これは、視覚配分管理システム１０３によって促進される状態またはストラテジーを指す。

状態は、視線方向などの１つの特徴、もしくは視線持続時間および視線推移などの複数の特徴を考慮に入れるために、かつ／または情況データから導き出された特徴もしくは属性を用いて、統計学的にモデル化され得る。

統計モデルは、視覚配分管理システム１０３のメモリによって、構築され、トレーニングされ、記憶され得る。いくつかの実施形態では、統計モデルは、視覚配分統計モデル管理会社によって管理されるクラウドであってよい、クラウド３０９において中心および遠隔で記憶され得る。記憶された統計モデルは、具体的には、ドライバー３０３ｐに対応してよく、これは、特にドライバー３０３ｐの行動をモデル化することを意味する。すなわち、ドライバー３０３ｐは、別の人とは異なる視覚配分または注意力をもたらすように活動または行動を実行し得るので、ドライバー３０３ｐの統計モデルは、その特定の活動または行動では、別の人の統計モデルとは異なるであろう。そのようなモデルは、場合によっては、より一意的に調整されるとみなされ、したがって、より正確であるとみなされ得る。にもかかわらず、いくつかの実施形態では、各状態の統計モデルは、各状態の活動または行動に関与する複数の個人の集合データおよび正規化データに基づき得る。このようなアプローチは、あまり個別化されていないが、所与の状態の存在のより多くのバリエーションを識別し得るように、より柔軟性を持つことができる。

前述したように、記憶されたモデルが、最初に生成され、トレーニングされる。いくつかの実施形態では、モデルは、プロセス３００を実行する前、および／またはプロセス３００の前およびプロセス３００中に、構築されトレーニングされる。言い換えれば、モデルは、事前にトレーニングされ得、かつ／または、プロセス３００で取得された視覚的データおよび／または情況データを含む、新たに取得したデータに基づいて、連続的に再トレーニングされ得る。当業者は、モデルがトレーニングされ得る多くの方法を理解するであろう。にもかかわらず、プロセス３００では、統計モデルは、ステップ３５０ａ〜３５８ｂに関連して説明したプロセスを用いてトレーニングされ得る。いくつかの実施形態では、トレーニングデータは、単に統計モデルのトレーニングのために取り込まれ、かつ／または使用される。トレーニングデータは、車両のドライバーの１つまたは複数の状態（例えば、活動、行動）を表す状態データが既知であるか、または正確に決定され得る、トレーニングシナリオから入手される。例えば、個人がさまざまな活動および行動に関与し、そのうちに、それらの視覚的データが取り込まれ、活動または行動の実行中に個人が呈する属性（例えば視覚的行動）がトレーニングされた統計モデルにおいて考慮に入れられ得る、いくつかのトレーニングシナリオが実行される。取り込まれた視覚的データ、および／または他の情況データは、統計モデルを構築しトレーニングするのに使用され得る。

当業者に既知であるように、記憶されたモデルは、未処理の視覚的データおよび／もしくは情況データを用いて、または、データの変換を使用して、構築されトレーニングされ得る。図７は、各状態に対応するモデルを構築しトレーニングするのに使用され得る、データ変換および／または表示の例を示す図５００である。図７では、各ノードは、数学的構造（例えば、マトリクス、頂点、アレイ、表）の形態のデータ（例えば視覚的データ）表示に対応し、ノード間の矢印は、データ操作に対応する。図７では、視線推移および視線持続時間に関するマトリクスが提供されるが、本明細書に記載する統計モデルが、視線推移もしくは持続時間など、１種類の属性に基づき得ることを理解されたい。図７のノードは以下を含む：
・推移カウント（５８０）：推移カウントマトリクスは、眼球画像シーケンスもしくは視覚的データにおいて、すべての場所の対について、場所もしくは空間領域Ｊでの配分から、場所もしくは空間領域Ｋへ視線が何回進むかを表す。
・推移確率（５８２）：推移確率マトリクスは、各場所または空間領域について正規化された値を表す。場所または空間領域による推移カウントの正規化は、例えば式：Ｐ（現在の視線＝Ｋ|先の線＝Ｊ）を用いて、算出され得る。推移確率マトリクスは、任意の所与の視線領域について、視線が別の定められた領域へと推移する相対頻度を示す。マトリクスの各セルについて、マトリクスの値は、そのセルの（例えば、推移カウントマトリクス（５８０）からの）推移カウント値を、１つの場所からすべての他の場所への推移の総数を表す、列の合計で割ることによって得ることができる。言い換えれば、状態、活動、タスク、または行動に対応する時系列として組織化された、１組の視線を考慮すると、場所Ｊから場所Ｋへの推移（ノード５８０）の数を、場所Ｊからの推移の総数で割る。よって、推移確率マトリクスは、所与の場所または空間領域から別の場所または空間領域へ推移する確率を示す。
・推移重要性マスク（５８４）：推移重要性マスクマトリクスは、セルの（例えば推移カウントマトリクス（５８０）からの）推移カウント値を、それぞれの列のセル（例えば、（推移カウントマトリクスにおいて）領域から離れる推移の数が最も大きいセル）の最大値で割ることによって得られる。このマトリクスは、場合によっては、あまり訪れない目的領域と関連付けられた１つの視線推移が高い推移確率を生じ得るが、頻繁に訪れる領域は、より安定した確率予測を表すであろうという事実を考慮に入れる。
・推移有意性（５８６）：推移有意性マトリクスは、推移確率マトリクス（５８２）と推移重要性マスクマトリクス（５８４）との要素ごとの乗算を用いて算出される。推移有意性マトリクスでは、高強度の入力が、おそらく、さらにはしばしば、基礎となる視覚的データに表れる、推移をマークする。
・持続時間カウント（５８８）：持続時間カウントマトリクスは、視線方向または場所Ｋから視線場所または方向Ｊへの推移の持続時間を表し、これは、視線場所Ｊに切り替える前の場所Ｋにおける視線の持続時間と定義され得る。持続時間カウントマトリクスは、すべての場所Ｊ、Ｋについてこの結果を含むか、または表す。このように、各推移は、その持続時間の大きさで重みづけされ得る。
・場所当たりの時間分布（％）（５９０）：場所当たりの時間分布マトリクスは、各視線場所について持続時間カウントマトリクスを正規化することによって得られ、これは、視線対象の関数としてすべての場所にわたって消費された時間の分布を得る。
・推移当たりの時間分布（％）（５９２）：すべての入力の合計により持続時間カウントマトリクスを正規化することで、推移当たりの時間分布マトリクスが得られ、これは、各タイプの視線で消費された、すべての状態またはタスクおよび対象にわたる合計時間のパーセンテージを示す。
・持続時間重要性マスク（５９４）：持続時間重要性マスクは、特定の動きのタイプに割り当てられた大量の時間が、わずかな、長い持続時間の視線の、または多くの短い持続時間の視線の結果であるかどうかを強調する。持続時間重要性マトリクスは、すべての持続時間カウント値をグローバルに正規化することによって、これを達成する。持続時間重要性マスクは、推移重要性マスクと同様に、しかし、推移カウントではなく持続時間カウントを用いて、機能する。
・持続時間有意性（５９６）：持続時間重要性マスクマトリクス５９４は、要素ごとの乗算を用いて、推移重要性マスクマトリクス５８４と組み合わせられて、高強度の値が、やはりしばしばデータに表れる長い持続時間の視線に対応する、持続時間有意性マップを得る。いくつかの実施形態では、持続時間重要性マスクマトリクス５９４は、高強度から低強度への切り替えが、まれな長い持続時間の視線を示す；および低強度から高強度への切り替えが、頻繁な短い持続時間の視線を示唆する、パターンなど、追加パターンを識別し得る。

図７に関連して前述したマトリクス表示は、図８Ａ、図８Ｂ、および図８Ｃに示すように、視覚的に表示され得る。図８Ａ〜図８Ｃは、前述したマトリクス５８２の線に沿った推移確率マトリクスの例を示し、複数の状態または活動中の推移確率、すなわちベースラインの運転（６００Ａ）、視覚的な手動のラジオ操作（６００Ｂ）、および聴覚−音声ラジオ操作（６００Ｃ）それぞれを表す。ｙ軸は、視線が生じる車両（例えば、車両３０１）の所定の空間領域または場所を表し、ｘ軸は、視線が生じた場所から推移する車両内の空間領域または場所を表す。図８Ａ、図８Ｂ、および図８Ｃでは、高強度の入力は、ありうる推移を表す。前述したように、当業者は、図７のデータ表示マトリクスのいずれか（および本明細書に例示または記載されていない他のもの）を使用して、本明細書に記載するモデルを構築およびトレーニングし得ることを理解するであろう。

さらにステップ３６０を参照すると、それぞれの状態（例えば、行動、目標ストラテジーなど）に対応する、トレーニングされたモデルは、時間Ｔ１における車両３０１の動作中のドライバー３０３ｐの行動、注意力、または認識を、入力された視覚的データ（例えば、視線持続時間、視線方向、視線推移）および／または情況情報に基づいて、予測または推測するのに使用される。最も高いスコアを出力するモデルは、時間Ｔ１における車両３０１の運転中のドライバー３０３ｐの状態に対応するとみなす。場合によっては、モデルに対する、ドライバー３０３ｐの視覚的データの比較の結果の採点は、視覚的データがモデル化された状態に対応する確率に基づく。最も高い確率を生じるモデルは、時間Ｔ１におけるドライバーの状態である可能性が高いとみなされる。言い換えれば、いくつかの実施形態では、記憶されたモデルのすべてのうち、入力された眼球画像シーケンスまたは視覚的データについて最も高い対数確率を生じるモデルが、ドライバー３０３ｐの最も可能性の高い状態として選択される。

いくつかの実施形態では、視覚的データおよび／または眼球画像シーケンスは、個別にかつ独立してモデル化される複数の状態に対応することを理解されたい。このような場合、視覚配分管理システムは、同じように最も高い確率をもたらすモデルに基づいて、各状態に対応する視覚的データの部分を識別し得る。

ステップ３６２で、視覚配分管理システムは、時間Ｔ１に関連してステップ３５０ｂで入手した視覚的データに対応する、識別された１つ以上の状態に基づいて、最適または適切なフィードバックを決定する。以下で詳細に説明するように、フィードバックが決定され、今度は、それを、接続されたシステム、デバイス、コンポーネントなどに、またはそれらを通じて、出力する。いくつかの実施形態では、識別されたフィードバックは、ドライバー３０３ｐの視覚的認識もしくは注意力を改善するか、もしくは別様に影響するか、または、ドライバー３０３ｐの視覚的認識もしくは注意力のプロキシとして取って代わるか、もしくは役立つアクションを、取るか、引き起こすか、もしくは指示することが、意図されている。

いくつかの実施形態では、適切なフィードバックは、視覚配分管理システム１０３によって、および／または車両３０１、クラウド３０９、もしくは車両３０７−１および３０７−２などの相互接続されたシステムによって、記憶され得る事前に定義されたルール、閾値などに基づいて決定される。識別されたフィードバックは、例えば、指示、警告、通知、警報、リクエスト、応答などの形態であってよい。フィードバックの一例は、指示型フィードバックであり、これは、例えば、（１）モデルに、ドライバーの最も起こり得る状態を、「眠そうな幹線道路の運転」として識別させる、視覚的データ、および、（２）車両の速度が最大許容速度の１０％超であることを示す、車両３０１からの情況情報から、生じ得る。このような場合、視覚配分管理システム１０３は、視覚的データおよび情況データの入力されたパラメータに基づいて適用可能なルール、すなわち、例えば、識別された状態が修正されるか、阻害されるか（dis-incentivized）、妨げられるか、または別様に影響を受けることができるように、車両３０１のブレーキを起動させ、かつ／または別様に車両３０１を減速さる車両制御指示の作成（および伝送）および／または実行をトリガする、適用可能なルール、を識別し得る。当業者は、指示型フィードバックがトリガされ得る多くの方法、および／または、そのようなフィードバックをトリガするのに記憶され得るルールを理解するであろう。

フィードバックの別の非制限的な例は、警告型フィードバックであり、これは、例えば、モデルに、ドライバーの最も起こり得る状態を、「視覚的な手動のラジオ操作」であると識別させる、視覚的データから生じ得る。いくつかの実施形態では、視覚配分管理システム１０３は、ドライバー３０３ｐの最も起こり得る状態を識別する際の情況データ、適用可能なルール、または最適なフィードバックを考慮することを必要としない。このような場合、視覚配分管理システム１０３は、車両３０１内部でまたはそれに関連して起動される光、音、振動などで構成され得る、車両警告の作成（および伝送）および／または実行をトリガする、適用可能なルールを識別することができ、ドライバー３０３ｐの識別された状態は、変更されるか、または少なくともドライバー３０３ｐに対して警告され得る。当然、当業者には既知であるように、光および音の種類および仕様は、最適または望ましいものとして、変化し得る。

フィードバックの別の非制限的な例は、目標ストラテジー型フィードバックであり、これは、例えば、モデルに、ドライバーの最も起こり得る状態を、望ましくないか、または基準以下の状態（例えば、「注意散漫な運転」、「交通量が多い中でのラジオの視覚操作」など）であると識別させる、視覚的データから生じ得る。このような場合、視覚配分管理システム１０３は、目標ストラテジーの視覚配分または目的に従って、またはこれらと同様に、ドライバー３０３ｐの視覚配分を導くよう促進するか、助長するか、奨励するか、または別様に試みることができる、車両制御指示、車両警告などの作成（および伝送）および／または実行をトリガする、適用可能なルールを識別することができる。例えば、いくつかの実施形態では、目標ストラテジーの目的は、サイドミラーに対応する空間領域へのドライバーの視覚配分を増やすことであってよい。このために、目標ストラテジーフィードバックは、例えば、ライトなどを、サイドミラー、フロントガラス領域、バックミラーなどにおいて、またはその近くで、最適とみなす間隔で点灯させることができる。このような目標ストラテジーの一例は、ドライバーが：フロントガラスの中心（１〜２秒）、左のサイドミラー（０．１〜０．２５秒）、フロントガラスの中心（１〜２秒）、フロントガラスの左側（０．５〜１秒）、フロントガラスの中心（１〜２秒）、フロントガラスの右側（０．５〜１秒）などの視覚配分パターンを実行するのを助長するためのトリガのために作られるであろう。当然、目標ストラテジーのこのような例示的なパターンは、例示目的で提示するものである。いくつかの実施形態では、目標ストラテジーのパターンは、ドライバーが環境を注意深く調べていると見えるように、１組の視線が広範な空間領域を横切ることを促進するよう生成され得る。

目標ストラテジーは、（１）モデル化され、取り込まれた視覚的データと比較され得る状態、または状態群（例えば、タスク、活動、行動）、および（２）特定の視覚配分を助長する方針の両方を指すことができることを理解されたい。さらに、本明細書に記載する状態の例は、望ましくない状態（例えば、眠そうな運転、注意散漫な運転）を指すが、視覚配分管理システム１０３および視覚配分管理３００は、視覚配分または行動の取り込まれた視覚的データを、ポジティブおよび／または中立なものとして特徴づけるのに使用されてもよいことを理解されたい。言い換えれば、記憶されたモデルは、ポジティブまたは中立状態のモデルを含み得る。本明細書に記載する車両内視覚配分管理の場合、視覚的データは、ドライバー３０３ｐの状態を、例えば、注意深い運転、用心した運転（aware driving）、および／または、適切な長さの時間にわたって望ましい空間領域を横切る、適切な注視配分として特徴付けるのに使用され得る。このようなポジティブまたは中立なフィードバックは、例えば、車両３０１が他の機能性（例えば、インフォテインメントシステム）を有効にすることができ、かつ／または、職業的ドライバー環境では昇給、賞品、昇進などを与えることができるか、またはそれを引き起こすために、使用され得る。

当然、当業者は、本明細書に記載する例示的なルールおよびフィードバックが、非限定的であり、例示のために提供されたこと、また、ルールおよびフィードバックが、（例えば、車両３０１および／または視覚配分管理システム１０３の）管理者または監督事業体の好みによって、大きく変わり得ることを理解するであろう。

次に、ステップ３６４ａおよび３６４ｂで、視覚配分管理システム１０３は、フィードバック（例えば、制御指示、警告など）を、ステップ３６４ａにおける車両３０１（それによって、ドライバー３０３ｐ）、およびステップ３６４ｂにおけるシステム３０８、のうちの１つ以上に出力し得る。フィードバックは、本明細書に記載する通信プロトコルおよび技術（例えば、ブルートゥース、Ｗｉ−Ｆｉ）、ならびに当業者に既知の他のものを用いて、伝送され、かつ／または実行させられ得る。ステップ３６２に関連して前述したとおり、フィードバックは、制御指示、視聴覚および感覚的な警告および通知などの形態であってよい。例えば、取り込まれた視覚的データが、注意散漫な運転状態に対応するとして、視覚配分管理システム１０３によって認識された場合、視覚配分管理システム１０３は、車両３０１に、制御指示（または単に、車両３０１に制御指示を生成および実行させる情報）を伝送して、車両３０１のブレーキを起動して、その速度を望ましいかまたは最適な速度まで低減させることができる。当然、フィードバックは、図３には示していない、他の相互接続されたシステムに伝送されることもできる。そのような非限定的な一例は、例えば、識別された望ましくない状態（例えば、眠そうな運転）についてドライバー３０３ｐに警告するための、ドライバー３０３ｐが身に着けるウェアラブルデバイス（例えば、スマートウォッチ）への警告の出力である。

前述したとおり、いくつかの実施形態では、車両３０１を動作させ、ドライバー３０３ｐの視覚的データを入手する（例えば取り込む）ステップ３５０ａおよび３５０ｂで始まり、車両３０１または相互接続されたシステム３０８へのフィードバックの出力を通じて進む、プロセスは、リアルタイムで実行され得る。リアルタイム処理の即時性は、例えば、識別された状態のタイプおよび／または識別された最適なフィードバックによって決まるか、または変化し得る。例えば、過度に注意散漫な運転の認識された状態は、制御指示がフィードバックとして出力されることをトリガすることができ、これは、認識された状態があまり重大でないとみなされるシナリオと比較して、より速い「リアルタイム」処理を必要とする。当然、当業者には既知であるように、いくつかの実施形態では、視覚配分管理は、トレーニング、シミュレーション、テスト、品質保証など、重大でないシナリオでは、リアルタイム以外で実行され得る。

図５には示していないが、プロセス３００の間および後、視覚配分管理システム１０３は、ドライバー３０３ｐの視覚的データおよび情況情報を（例えば、連続して）入手するかまたは取り込むことができる。同様に、システムは、例示された視覚管理３００の間または後で、他の状態およびフィードバックを識別し、フィードバックを出力し得る。例えば、いくつかの実施形態では、視覚配分管理システム１０３は、車両３０１を介してドライバー３０３ｐに伝送されるフィードバック警告を識別すると同時に、システム３０１に出力される別のフィードバックを（例えば、同じかまたは異なる視覚的データおよび／もしくは情況データに基づいて）識別し得る。同様に、図５には示していないが、当業者は、本明細書に記載するモデルが、プロセス３００の前、間、または後でトレーニングされ得ることを理解するであろう。例えば、モデルは、とりわけ、ステップ３６０で実行される運転状態識別の正確性に基づいて、連続してトレーニングされ得る。

プロセス３００は、視覚配分管理を提供するために視覚的データが入手され得る任意の数（例えば、数百、数千）の期間を含み得る運転シーケンス中の、１つの期間に関することを、理解されたい。よって、プロセス３００は、（例えば、連続した）フィードバックを提供するために、運転シーケンスの全体または一部にわたって繰り返され得ることを理解されたい。

コンピュータによる実現
図９は、視覚配分管理システム１０３を含み、かつ／または本明細書に記載する視覚配分管理（例えば図５の３００）を実行し得る、コントローラまたはコンピュータ９００の例示的な実施形態の物理的コンポーネントのブロック図を示す。本明細書では例示的なコンピュータ９００が描かれ説明されているが、これは普遍性のため、便宜上のことであると認識されるであろう。他の実施形態では、コンピュータ９００は、本明細書で図示および説明するものと、構造および動作が異なり得る。コンピュータ９００は、タブレット型コンピュータ、モバイルデバイス、スマートデバイス、ウェアラブルデバイス、スマートフォン、ラップトップコンピュータ、デスクトップコンピュータ、クラウドベースのコンピュータ、サーバーコンピュータ、前述したもののうち複数、などであってよい。

例示されたコンピュータ９００は、例えば組み込みソフトウェア、オペレーティングシステム、デバイスドライバー、アプリケーションプログラムなどを実行することによって、コンピュータの動作を制御する、プロセッサ９２２を含み得る。プロセッサ９２２は、プログラム可能な汎用もしくは特殊用途プロセッサおよび／またはさまざまな独占的もしくは市販のシングルもしくはマルチプロセッサシステムのうちのいずれかを含む、任意のタイプのマイクロプロセッサまたは中央処理装置（ＣＰＵ）を含み得る。本明細書で使用されるプロセッサという用語は、マイクロプロセッサ、マイクロコントローラ、ＡＳＩＣ、ＦＰＧＡ、ＰＩＣ、内部もしくは外部メモリもしくはレジスタからのプログラム指示を読み取り解釈するプロセッサ、などを指すことができる。コンピュータ９００は、メモリ９２４を含み得、これは、プロセッサ９２２によって実行されるコードのため、または、プロセッサによって処理されるデータのための、一時的または永続的な記憶を提供し得る。メモリ９２４は、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、１つ以上のさまざまなランダムアクセスメモリ（ＲＡＭ）、および／またはメモリテクノロジーの組み合わせを含み得る。コンピュータ９００のさまざまなコンポーネントは、任意の１つ以上の別々のトレース、物理的バス、通信回線などを介して、相互接続され得る。

コンピュータ９００は、通信インターフェースまたはＩ／Ｏインターフェースなどのインターフェース９２６を含み得る。通信インターフェースは、コンピュータ９００がネットワークまたは通信バス（例えば、ユニバーサルシリアルバス）を通じてリモートデバイス（例えば、他のコントローラもしくはコンピュータシステム）と通信することを可能にし得る。Ｉ／Ｏインターフェースは、１つ以上の入力デバイス、１つ以上の出力デバイス、およびコンピュータ９００のさまざまな他のコンポーネント間の通信を容易にし得る。例えば、インターフェース９２６は、第２のコンピュータのコンピュータコンポーネント（例えば、第２のコンピュータの統合された無線装置）と通信し得る。例示的な入力デバイスは、タッチスクリーン、メカニカルボタン、キーボード、およびポインティングデバイスを含む。追加の例示的な出力デバイスは、プロジェクタ、電子表示画面、およびスピーカーを含む。コンピュータ９００は、記憶デバイス９２８を含み得、これは、非揮発的および／または非一時的にデータを記憶するための任意の従来の媒体を含み得る。よって、記憶デバイス９２８は、データおよび／または指示を持続状態で保持し得る（すなわち、値は、コンピュータ９００への電力が途切れても保持される）。記憶デバイス９２８は、１つ以上のハードディスクドライブ、フラッシュドライブ、ＵＳＢドライブ、光学式ドライブ、さまざまなメディアディスクもしくはカード、および／またはそれらの任意の組み合わせを含み得、コンピュータ９００のその他のコンポーネントに直接接続されるか、または、これに、通信インターフェースなどを通じて遠隔的に接続され得る。コンピュータ９００は、ディスプレイ９３０を含み得、そこに表示される画像を生成し得る。いくつかの実施形態では、ディスプレイ９３０は、真空蛍光ディスプレイ（ＶＦＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または液晶ディスプレイ（ＬＣＤ）であってよい。コンピュータ９００は、電源９３２と、適切な調整回路（regulating and conditioning circuitry）と、を含み得る。例示的な電源は、ポリマーリチウムイオンバッテリーなどのバッテリー、または、コンピュータ９００をＤＣもしくはＡＣ電源に連結するためのアダプタ（例えば、ＵＳＢアダプタもしくは電源アダプタ）を含む。

当業者は、前述した実施形態に基づいて本開示のさらなる特徴および利点を認識するであろう。したがって、本開示は、特許請求の範囲で示すものを除き、具体的に図示および説明したものによって制限されるものではない。本明細書で引用したすべての刊行物および参考文献は、参照により全体として明白に本明細書に組み込まれる。

〔実施の態様〕
（１） 視覚配分を管理するシステムにおいて、
１つ以上のモデルを記憶するように動作可能な少なくとも１つのメモリであって、前記１つ以上のモデルは、
（１）複数の候補状態に対応するモデル、および、
（２）各モデルが前記複数の候補状態のうちの１つに対応する、複数のモデル、
のうちの少なくとも１つを含む、少なくとも１つのメモリと、
前記少なくとも１つのメモリに通信可能に連結された少なくとも１つのプロセッサと、を含み、前記少なくとも１つのプロセッサは、
連続した期間中に活動に関与している人に対応する視覚的データを受信すること、
前記視覚的データから一連の視線を識別し、前記一連の視線の各視線について、対応する視線情報を識別することであって、前記視線情報は視線方向を含む、こと、
前記一連の視線における前記視線のそれぞれを、それぞれの視線情報に基づいて、１組の所定の空間領域のうちの１つの空間領域に分類すること、
前記１つ以上のモデルに基づいて、前記連続した期間中に前記活動に関与している間の前記人の１つ以上の状態の存在を、記憶された前記１つ以上のモデルのそれぞれに、（１）前記一連の視線における前記視線の分類、および（２）前記一連の視線における前記視線の前記視線情報、のうちの１つ以上を含むモデル入力データを入力することによって識別すること、ならびに
フィードバックを、識別された前記１つ以上の状態に基づいて出力すること、
を行うように動作可能である、システム。
（２） 実施態様１に記載のシステムにおいて、
前記プロセッサは、
前記視覚的データにおいて１つ以上の眼球画像シーケンスを識別することであって、前記１つ以上の眼球画像シーケンスは、前記連続した期間中に前記活動に関与している前記人の眼球領域の画像を含む、こと、および、
前記１つ以上の眼球画像シーケンスの前記画像それぞれから視覚的特徴を抽出すること、
を行うようにさらに動作可能であり、
前記一連の視線および対応する視線情報は、抽出された前記視覚的特徴に基づいて前記１つ以上の眼球画像シーケンスから識別される、システム。
（３） 実施態様１に記載のシステムにおいて、
前記連続した期間中の所与の段階における１つ以上の状態の存在を識別するために、前記少なくとも１つのプロセッサは、
前記１つ以上のモデルによって、モデル入力データに基づいて、前記複数の候補状態それぞれが存在するそれぞれの確率を算出すること、および、
前記連続した期間中の前記所与の段階における存在の最も高いそれぞれの算出された確率を有する前記複数の候補状態のうちの１つ以上を、識別された前記１つ以上の状態として、選択すること、
を行うようにさらに動作可能である、システム。
（４） 実施態様３に記載のシステムにおいて、
出力された前記フィードバックは、
（１）前記連続した期間中における前記複数の候補状態それぞれの存在の確率、
（２）前記連続した期間中における存在の最も高いそれぞれの算出された確率を有する識別された前記１つ以上の状態、および、
（３）前記連続した期間中に前記活動に関与している間の前記人の前記識別された１つ以上の状態に基づく指示、
のうちの１つ以上を含む、システム。
（５） 実施態様２に記載のシステムにおいて、
前記少なくとも１つのプロセッサは、前記一連の視線それぞれについて、視線持続時間および視線推移のうちの１つ以上を識別するようにさらに動作可能であり、前記視線推移は、前記一連の視線のうちの次の視線の視線方向を示し、
前記一連の視線それぞれの前記視線情報は、それぞれの前記視線持続時間および視線推移のうちの前記１つ以上をさらに含み、
前記１つ以上の状態を識別することは、前記一連の視線それぞれの前記視線持続時間および前記視線推移のうちの前記１つ以上にさらに基づく、システム。

（６） 実施態様５に記載のシステムにおいて、
前記少なくとも１つのプロセッサは、前記一連の視線それぞれの分類および／または前記一連の視線それぞれの前記視線推移に基づいて、前記一連の視線の中から１つ以上の視線パターンを識別するようにさらに動作可能であり、
前記１つ以上の状態の存在を識別することは、前記１つ以上のモデルのそれぞれに入力された視線推移パターンにさらに基づく、システム。
（７） 実施態様１に記載のシステムにおいて、
前記１つ以上のモデルは、隠れマルコフモデルである、システム。
（８） 実施態様１に記載のシステムにおいて、
前記１つ以上の眼球画像シーケンスのそれぞれは、一人の個人に対応する、システム。
（９） 実施態様８に記載のシステムにおいて、
前記視覚的データにおける前記１つ以上の眼球画像シーケンスは、１つ以上のカメラを用いて取り込まれる、システム。
（１０） 実施態様１に記載のシステムにおいて、
前記視覚的データを受信し、結果を出力することは、リアルタイムで実行される、システム。

（１１） 実施態様１に記載のシステムにおいて、
前記プロセッサは、情況データを、１つ以上の通信可能に連結されたシステムから受信するようにさらに動作可能であり、
前記１つ以上の状態の存在を識別することは、前記情況データにさらに基づく、システム。
（１２） 実施態様１１に記載のシステムにおいて、
前記情況データは、環境データ、周辺データ、およびユーザデータのうちの少なくとも１つを含む、システム。
（１３） 実施態様１に記載のシステムにおいて、
前記少なくとも１つのプロセッサは、（１）連続した期間中に前記活動に関与している複数の人々に対応する視覚的データ、および（２）前記活動に関与している間に前記複数の人々に存在する１つ以上の状態を含む状態データ、を用いて、前記１つ以上のモデルをトレーニングするようにさらに動作可能である、システム。
（１４） 実施態様４に記載のシステムを含む車両において、
前記活動に関与している前記人は、前記車両を動作させることに関与するドライバーであり、
出力された前記フィードバックは、識別された前記１つ以上の状態に基づいた前記指示を含み、
前記指示は、
（１）前記車両の前記ドライバーの空間的注意力または認識を管理する指示、
（２）前記車両の制御に影響をもたらす指示、ならびに、
（３）前記車両および前記車両の前記ドライバーのうちの少なくとも１つとの情報交換を増やす指示、
のうちの１つ以上を含む、車両。
（１５） 実施態様１４に記載の車両において、
前記車両および前記車両の前記ドライバーのうちの少なくとも１つとの情報交換を増やす前記指示は、前記車両への、および前記車両からの情報交換を抑制する指示を含む、車両。

（１６） 視覚配分を管理する方法において、
１つ以上のモデルを記憶することであって、前記１つ以上のモデルは、
（１）複数の候補状態に対応するモデル、および、
（２）各モデルが前記複数の候補状態のうちの１つに対応する、複数のモデル、
のうちの少なくとも１つを含む、ことと、
連続した期間中に活動に関与している人に対応する視覚的データを受信することと、
前記視覚的データから一連の視線を識別し、前記一連の視線の各視線について、対応する視線情報を識別することであって、前記視線情報は視線方向を含む、ことと、
前記一連の視線における前記視線のそれぞれを、それぞれの視線情報に基づいて、１組の所定の空間領域から選択される１つの空間領域に分類することと、
前記１つ以上のモデルに基づいて、前記連続した期間中に前記活動に関与している間の前記人の１つ以上の状態の存在を、記憶された前記１つ以上のモデルのそれぞれに、（１）前記一連の視線における前記視線の分類、および（２）前記一連の視線における前記視線の前記視線情報、のうちの１つ以上を含むモデル入力データを入力することによって識別することと、
フィードバックを、識別された前記１つ以上の状態に基づいて出力することと、
を含む、方法。
（１７） 実施態様１６に記載の方法において、
前記視覚的データにおいて１つ以上の眼球画像シーケンスを識別することであって、前記１つ以上の眼球画像シーケンスは、前記連続した期間中に前記活動に関与している前記人の眼球領域の画像を含む、ことと、
前記１つ以上の眼球画像シーケンスの前記画像それぞれから視覚的特徴を抽出することと、
をさらに含み、
前記一連の視線および対応する視線情報は、抽出された前記視覚的特徴に基づいて前記１つ以上の眼球画像シーケンスから識別される、方法。
（１８） 実施態様１６に記載の方法において、
前記連続した期間中の所与の段階における１つ以上の状態の存在を識別するために、前記方法は、
前記１つ以上のモデルによって、モデル入力データに基づいて、前記複数の候補状態それぞれが存在するそれぞれの確率を算出することと、
前記連続した期間中の前記所与の段階における存在の最も高いそれぞれの算出された確率を有する前記複数の候補状態のうちの１つ以上を、識別された前記１つ以上の状態として、選択することと、
をさらに含む、方法。
（１９） 実施態様１８に記載の方法において、
前記フィードバックを出力することは、
（１）前記連続した期間中における前記複数の候補状態それぞれの存在の確率を決定すること、
（２）前記連続した期間中における存在の最も高いそれぞれの算出された確率を有する識別された前記１つ以上の状態を決定すること、および、
（３）前記連続した期間中に前記活動に関与している間の前記人の前記識別された１つ以上の状態に基づく指示を提供すること、
のうちの１つ以上を含む、方法。
（２０） 実施態様１７に記載の方法において、
前記一連の視線それぞれについて、視線持続時間および視線推移のうちの１つ以上を識別することをさらに含み、前記視線推移は、前記一連の視線のうちの次の視線の視線方向を示し、
前記一連の視線それぞれの前記視線情報は、それぞれの前記視線持続時間および視線推移のうちの前記１つ以上をさらに含み、
前記１つ以上の状態を識別することは、前記一連の視線それぞれの前記視線持続時間および前記視線推移のうちの前記１つ以上にさらに基づく、方法。

（２１） 実施態様２０に記載の方法において、
前記一連の視線それぞれの分類および／または前記一連の視線それぞれの前記視線推移に基づいて、前記一連の視線の中から１つ以上の視線パターンを識別することをさらに含み、
前記１つ以上の状態の存在を識別することは、前記１つ以上のモデルのそれぞれに入力された視線推移パターンにさらに基づく、方法。
（２２） 実施態様１６に記載の方法において、
前記１つ以上のモデルは、隠れマルコフモデルである、方法。
（２３） 実施態様１６に記載の方法において、
前記１つ以上の眼球画像シーケンスのそれぞれは、一人の個人に対応する、方法。
（２４） 実施態様２３に記載の方法において、
前記視覚的データにおける前記１つ以上の眼球画像シーケンスは、１つ以上のカメラを用いて取り込まれる、方法。
（２５） 実施態様１６に記載の方法において、
前記視覚的データを受信し、結果を出力することは、リアルタイムで実行される、方法。

（２６） 実施態様１６に記載の方法において、
情況データを、１つ以上の通信可能に連結されたシステムから受信することをさらに含み、
前記１つ以上の状態の存在を識別することは、前記情況データにさらに基づく、方法。
（２７） 実施態様２６に記載の方法において、
前記情況データは、環境データ、周辺データ、およびユーザデータのうちの少なくとも１つを含む、方法。
（２８） 実施態様１６に記載の方法において、
（１）連続した期間中に前記活動に関与している複数の人々に対応する視覚的データ、および（２）前記活動に関与している間に前記複数の人々に存在する１つ以上の状態を含む状態データ、を用いて、前記１つ以上のモデルをトレーニングすることをさらに含む、方法。

視覚配分管理システムを含むコンピューティングデバイスエコシステムの例示的な一実施形態の概略図である。 センサが車両に対して配され得る非限定的な複数の場所を示すことを目的とした、車両の例示的な一実施形態の概略斜視図である。 車両通信ネットワークの例示的な一実施形態の概略図である。 車両の内部運転台の一部と、車両の外側の環境の一部とを、内部運転台から見た場合の概略図であり、車両は、本明細書で提供されるような視覚配分管理システムおよび方法が組み込まれ得るものである。 図１の視覚配分管理システムを用いた視覚配分管理プロセスの例示的な一実施形態を示すシーケンス図である。 図５の視覚配分管理プロセスにおける視覚的特徴検出の例示的な一実施形態を示す図である。 図５の視覚配分管理プロセスにおいて状態を予測するためのモデルを構築するための視覚的データ表示の例示的な実施形態を示す図である。 ベースラインの運転状態に対応する推移確率マトリクスの例示的な一実施形態を示すマトリクスである。 視覚的で手動のラジオ操作状態に対応する推移確率マトリクスの例示的な一実施形態を示すマトリクスである。 聴覚−音声ラジオ操作状態に対応する推移確率マトリクスの例示的な一実施形態を示すマトリクスである。 本明細書に提供される他の開示および特徴の中でも特に、図５の視覚配分管理を実行するためのコンピュータシステムの例示的な一実施形態の概略ブロック図である。

Claims (28)

1. 視覚配分を管理するシステムにおいて、
   １つ以上のモデルを記憶するように動作可能な少なくとも１つのメモリであって、前記１つ以上のモデルは、
   （１）複数の候補状態に対応するモデル、および、
   （２）各モデルが前記複数の候補状態のうちの１つに対応する、複数のモデル、
   のうちの少なくとも１つを含む、少なくとも１つのメモリと、
   前記少なくとも１つのメモリに通信可能に連結された少なくとも１つのプロセッサと、を含み、前記少なくとも１つのプロセッサは、
   連続した期間中に活動に関与している人に対応する視覚的データを受信すること、
   前記視覚的データから一連の視線を識別し、前記一連の視線の各視線について、対応する視線情報を識別することであって、前記視線情報は視線方向を含む、こと、
   前記一連の視線における前記視線のそれぞれを、それぞれの視線情報に基づいて、１組の所定の空間領域のうちの１つの空間領域に分類すること、
   前記１つ以上のモデルに基づいて、前記連続した期間中に前記活動に関与している間の前記人の１つ以上の状態の存在を、記憶された前記１つ以上のモデルのそれぞれに、（１）前記一連の視線における前記視線の分類、および（２）前記一連の視線における前記視線の前記視線情報、のうちの１つ以上を含むモデル入力データを入力することによって識別すること、ならびに
   フィードバックを、識別された前記１つ以上の状態に基づいて出力すること、
   を行うように動作可能である、システム。
2. 請求項１に記載のシステムにおいて、
   前記プロセッサは、
   前記視覚的データにおいて１つ以上の眼球画像シーケンスを識別することであって、前記１つ以上の眼球画像シーケンスは、前記連続した期間中に前記活動に関与している前記人の眼球領域の画像を含む、こと、および、
   前記１つ以上の眼球画像シーケンスの前記画像それぞれから視覚的特徴を抽出すること、
   を行うようにさらに動作可能であり、
   前記一連の視線および対応する視線情報は、抽出された前記視覚的特徴に基づいて前記１つ以上の眼球画像シーケンスから識別される、システム。
3. 請求項１に記載のシステムにおいて、
   前記連続した期間中の所与の段階における１つ以上の状態の存在を識別するために、前記少なくとも１つのプロセッサは、
   前記１つ以上のモデルによって、モデル入力データに基づいて、前記複数の候補状態それぞれが存在するそれぞれの確率を算出すること、および、
   前記連続した期間中の前記所与の段階における存在の最も高いそれぞれの算出された確率を有する前記複数の候補状態のうちの１つ以上を、識別された前記１つ以上の状態として、選択すること、
   を行うようにさらに動作可能である、システム。
4. 請求項３に記載のシステムにおいて、
   出力された前記フィードバックは、
   （１）前記連続した期間中における前記複数の候補状態それぞれの存在の確率、
   （２）前記連続した期間中における存在の最も高いそれぞれの算出された確率を有する識別された前記１つ以上の状態、および、
   （３）前記連続した期間中に前記活動に関与している間の前記人の前記識別された１つ以上の状態に基づく指示、
   のうちの１つ以上を含む、システム。
5. 請求項２に記載のシステムにおいて、
   前記少なくとも１つのプロセッサは、前記一連の視線それぞれについて、視線持続時間および視線推移のうちの１つ以上を識別するようにさらに動作可能であり、前記視線推移は、前記一連の視線のうちの次の視線の視線方向を示し、
   前記一連の視線それぞれの前記視線情報は、それぞれの前記視線持続時間および視線推移のうちの前記１つ以上をさらに含み、
   前記１つ以上の状態を識別することは、前記一連の視線それぞれの前記視線持続時間および前記視線推移のうちの前記１つ以上にさらに基づく、システム。
6. 請求項５に記載のシステムにおいて、
   前記少なくとも１つのプロセッサは、前記一連の視線それぞれの分類および／または前記一連の視線それぞれの前記視線推移に基づいて、前記一連の視線の中から１つ以上の視線パターンを識別するようにさらに動作可能であり、
   前記１つ以上の状態の存在を識別することは、前記１つ以上のモデルのそれぞれに入力された視線推移パターンにさらに基づく、システム。
7. 請求項１に記載のシステムにおいて、
   前記１つ以上のモデルは、隠れマルコフモデルである、システム。
8. 請求項１に記載のシステムにおいて、
   前記１つ以上の眼球画像シーケンスのそれぞれは、一人の個人に対応する、システム。
9. 請求項８に記載のシステムにおいて、
   前記視覚的データにおける前記１つ以上の眼球画像シーケンスは、１つ以上のカメラを用いて取り込まれる、システム。
10. 請求項１に記載のシステムにおいて、
    前記視覚的データを受信し、結果を出力することは、リアルタイムで実行される、システム。
11. 請求項１に記載のシステムにおいて、
    前記プロセッサは、情況データを、１つ以上の通信可能に連結されたシステムから受信するようにさらに動作可能であり、
    前記１つ以上の状態の存在を識別することは、前記情況データにさらに基づく、システム。
12. 請求項１１に記載のシステムにおいて、
    前記情況データは、環境データ、周辺データ、およびユーザデータのうちの少なくとも１つを含む、システム。
13. 請求項１に記載のシステムにおいて、
    前記少なくとも１つのプロセッサは、（１）連続した期間中に前記活動に関与している複数の人々に対応する視覚的データ、および（２）前記活動に関与している間に前記複数の人々に存在する１つ以上の状態を含む状態データ、を用いて、前記１つ以上のモデルをトレーニングするようにさらに動作可能である、システム。
14. 請求項４に記載のシステムを含む車両において、
    前記活動に関与している前記人は、前記車両を動作させることに関与するドライバーであり、
    出力された前記フィードバックは、識別された前記１つ以上の状態に基づいた前記指示を含み、
    前記指示は、
    （１）前記車両の前記ドライバーの空間的注意力または認識を管理する指示、
    （２）前記車両の制御に影響をもたらす指示、ならびに、
    （３）前記車両および前記車両の前記ドライバーのうちの少なくとも１つとの情報交換を増やす指示、
    のうちの１つ以上を含む、車両。
15. 請求項１４に記載の車両において、
    前記車両および前記車両の前記ドライバーのうちの少なくとも１つとの情報交換を増やす前記指示は、前記車両への、および前記車両からの情報交換を抑制する指示を含む、車両。
16. 視覚配分を管理する方法において、
    １つ以上のモデルを記憶することであって、前記１つ以上のモデルは、
    （１）複数の候補状態に対応するモデル、および、
    （２）各モデルが前記複数の候補状態のうちの１つに対応する、複数のモデル、
    のうちの少なくとも１つを含む、ことと、
    連続した期間中に活動に関与している人に対応する視覚的データを受信することと、
    前記視覚的データから一連の視線を識別し、前記一連の視線の各視線について、対応する視線情報を識別することであって、前記視線情報は視線方向を含む、ことと、
    前記一連の視線における前記視線のそれぞれを、それぞれの視線情報に基づいて、１組の所定の空間領域から選択される１つの空間領域に分類することと、
    前記１つ以上のモデルに基づいて、前記連続した期間中に前記活動に関与している間の前記人の１つ以上の状態の存在を、記憶された前記１つ以上のモデルのそれぞれに、（１）前記一連の視線における前記視線の分類、および（２）前記一連の視線における前記視線の前記視線情報、のうちの１つ以上を含むモデル入力データを入力することによって識別することと、
    フィードバックを、識別された前記１つ以上の状態に基づいて出力することと、
    を含む、方法。
17. 請求項１６に記載の方法において、
    前記視覚的データにおいて１つ以上の眼球画像シーケンスを識別することであって、前記１つ以上の眼球画像シーケンスは、前記連続した期間中に前記活動に関与している前記人の眼球領域の画像を含む、ことと、
    前記１つ以上の眼球画像シーケンスの前記画像それぞれから視覚的特徴を抽出することと、
    をさらに含み、
    前記一連の視線および対応する視線情報は、抽出された前記視覚的特徴に基づいて前記１つ以上の眼球画像シーケンスから識別される、方法。
18. 請求項１６に記載の方法において、
    前記連続した期間中の所与の段階における１つ以上の状態の存在を識別するために、前記方法は、
    前記１つ以上のモデルによって、モデル入力データに基づいて、前記複数の候補状態それぞれが存在するそれぞれの確率を算出することと、
    前記連続した期間中の前記所与の段階における存在の最も高いそれぞれの算出された確率を有する前記複数の候補状態のうちの１つ以上を、識別された前記１つ以上の状態として、選択することと、
    をさらに含む、方法。
19. 請求項１８に記載の方法において、
    前記フィードバックを出力することは、
    （１）前記連続した期間中における前記複数の候補状態それぞれの存在の確率を決定すること、
    （２）前記連続した期間中における存在の最も高いそれぞれの算出された確率を有する識別された前記１つ以上の状態を決定すること、および、
    （３）前記連続した期間中に前記活動に関与している間の前記人の前記識別された１つ以上の状態に基づく指示を提供すること、
    のうちの１つ以上を含む、方法。
20. 請求項１７に記載の方法において、
    前記一連の視線それぞれについて、視線持続時間および視線推移のうちの１つ以上を識別することをさらに含み、前記視線推移は、前記一連の視線のうちの次の視線の視線方向を示し、
    前記一連の視線それぞれの前記視線情報は、それぞれの前記視線持続時間および視線推移のうちの前記１つ以上をさらに含み、
    前記１つ以上の状態を識別することは、前記一連の視線それぞれの前記視線持続時間および前記視線推移のうちの前記１つ以上にさらに基づく、方法。
21. 請求項２０に記載の方法において、
    前記一連の視線それぞれの分類および／または前記一連の視線それぞれの前記視線推移に基づいて、前記一連の視線の中から１つ以上の視線パターンを識別することをさらに含み、
    前記１つ以上の状態の存在を識別することは、前記１つ以上のモデルのそれぞれに入力された視線推移パターンにさらに基づく、方法。
22. 請求項１６に記載の方法において、
    前記１つ以上のモデルは、隠れマルコフモデルである、方法。
23. 請求項１６に記載の方法において、
    前記１つ以上の眼球画像シーケンスのそれぞれは、一人の個人に対応する、方法。
24. 請求項２３に記載の方法において、
    前記視覚的データにおける前記１つ以上の眼球画像シーケンスは、１つ以上のカメラを用いて取り込まれる、方法。
25. 請求項１６に記載の方法において、
    前記視覚的データを受信し、結果を出力することは、リアルタイムで実行される、方法。
26. 請求項１６に記載の方法において、
    情況データを、１つ以上の通信可能に連結されたシステムから受信することをさらに含み、
    前記１つ以上の状態の存在を識別することは、前記情況データにさらに基づく、方法。
27. 請求項２６に記載の方法において、
    前記情況データは、環境データ、周辺データ、およびユーザデータのうちの少なくとも１つを含む、方法。
28. 請求項１６に記載の方法において、
    （１）連続した期間中に前記活動に関与している複数の人々に対応する視覚的データ、および（２）前記活動に関与している間に前記複数の人々に存在する１つ以上の状態を含む状態データ、を用いて、前記１つ以上のモデルをトレーニングすることをさらに含む、方法。

Images