JP2020514861A - ドライバ監視及び応答システム - Google Patents

Abstract

評価エンジンは、車両のドライバを監視する二以上のモジュールを有する。ドライバ眠気モジュールは、車両のドライバの眠気の二以上のレベルを認識するように、ドライバの監視された特性を分析する。ドライバ眠気モジュールは、ドライバの観測されたボディランゲージと顔分析に基づいてドライバの眠気を評価する。ドライバ眠気モジュールは、ドライバが車両を運転してドライバ眠気レベル見積を含む出力を生成している間に、ｉ）訓練された人工知能モデル及びｉｉ）ルールベースモデルのうちの少なくとも一方に対して、センサからのライブマルチモーダルセンサ入力を分析するように構成される。ドライバ支援モジュールは、ドライバを、眠気の指定レベル以上に戻すために、一以上の積極的支援メカニズムをドライバに提供する。【選択図】図１

Description

（関連出願）
本出願は、参照によりすべてが本明細書に援用される、２０１６年１２月２２日に出願された「車両のドライバの眠気レベルの自動見積（Automated estimation of drowsiness level of a driver of a vehicle）」と題する米国仮特許出願シリアル番号第６２／４３８，４２２号と、及び２０１６年１２月２２日に出願された「車両のドライバの覚醒支援（Alertness assistance for a driver of a vehicle）」と題する米国仮特許出願シリアル番号第６２／４３８，４１９号との利益、及びこれらの米国仮特許出願に基づく優先権を、米国特許法第１１９条の下で主張する。

（著作権の表示）
本特許出願の開示の一部は、著作権保護の対象になる資料を含む。著作権者は、米国特許商標庁の特許書類又は記録に見られるように、ソフトウェアエンジン及びそのモジュールのいずれかによる複製に異議はないが、それ以外では全ての著作権・版権を所有する。

（分野）
本明細書に提供される設計の実施形態は、一般に、ドライバ監視及び応答システムに関する。

道路上のドライバが働き過ぎである、及び／又は疲れている場合には、道路上で問題が多く起こる。眠気ありレベルのドライバを検出及び応答するセンサやインテリジェンスを備えて構成された車両を有すると、道路上の安全性の改善に役立つであろう。

本明細書では、ドライバ監視及び応答システムに対する様々な方法、装置、及びシステムを提供する。

一の実施形態では、評価エンジンは、車両のドライバを支援する二以上のモジュールを有する。ドライバ眠気モジュールは、車両のドライバの眠気の二以上のレベルを認識するために、ドライバの監視された特性を分析する。顔分析モジュールは、車両のドライバの眠気のレベルの検出を支援するために、車両のドライバに対して、ｉ）顔追跡及びｉｉ）瞬目追跡のうちの少なくとも一つを実行する。顔分析モジュールの出力解析は、ドライバ眠気モジュールに供給される。センサインタフェースは、（顔分析モジュール及びドライバ眠気モジュールを含む）二以上のモジュールと、車両に配置された一以上のセンサと、の間に配置される。車両に配置された一以上のセンサは、車両のドライバを監視するために、ｉ）一以上のカメラ、及びｉｉ）動き感知装置、を含む。ドライバ眠気モジュールは、車両のドライバの眠気の二以上のレベルを検出及び分類するために、顔分析モジュールの出力を用いて、ドライバの観測されたボディランゲージと顔分析とに基づいてドライバの眠気を評価するように構成される。ドライバ眠気モジュールは、車両を始動してドライバ眠気レベル見積を含む出力を生成している間に、ｉ）訓練された人工知能モデル、ｉｉ）ルールベースモデル、又はｉｉｉ）両モデルのうちの少なくとも一つに対して、センサからのマルチモーダルセンサ入力を分析するように構成される。訓練された人工知能モデル及び／又はルールベースモデルを用いるドライバ眠気モジュールは、訓練された人工知能モデル及び／又はルールベースモデルを用いないドライバ眠気モジュールよりも少ない演算サイクルを用いて、車両のドライバの眠気の現在のレベルを分類するように構成される。ドライバ支援モジュールは、ドライバ眠気モジュールからの出力に基づいて、ドライバの眠気の指定レベル以上に維持しようと試みる。ドライバが、該ドライバの眠気の指定レベル以上でない場合には、ドライバ支援モジュールは、ドライバを、眠気の指定レベル以上に戻すために、一以上の積極的支援メカニズムをドライバに提供する。

本明細書に提供される設計におけるこれらの特性及びその他の特性は、本特許出願の開示を形成する図面、明細書、及び特許請求の範囲を参照して、より良く理解できる。

図面は、本明細書に提供される設計を参照する。
車両のドライバを支援する二以上のモジュールを有する評価エンジンの一の実施形態を示すブロック図である。 車両のドライバを監視し、且つドライバに警告する評価エンジンの一の実施形態を示すブロック図である。 車両のドライバの眠気レベルを見積できるドライバ眠気モジュールを示すブロック図である。 ドライバ支援モジュールを示すブロック図である。 ドライバの顔追跡、ドライバの瞬目追跡、ドライバの表情分析、ドライバ注視追跡、ドライバの閉眼パターン分析等のタスクに、顔モデルを用いた顔分析を実行する顔分析モジュールを示す図である。 ドライバの骨格モデルを用いたドライバ活動モジュールを示すブロック図である。 ドライバ眠気モジュールを示すブロック図である。 図８Ａ及び図８Ｂは、評価エンジンの実施形態を示すフロー図である。 評価エンジンの一部となりうる一以上の演算装置の実施形態を示す図である。

本明細書に提供される設計は、各種の変形例、同等例、及び代替例が可能であるが、これらの特定の実施形態は、図面の例によって示されており、本明細書に詳述される。本設計は、開示される特定の実施形態に限定されないが、逆に、これが意図するところは、特定の実施形態を用いた変形例、同等例、及び代替例の全てを包含することが理解されるべきである。

以下に、本発明の設計を完全に理解してもらうために、特定データ信号、指定成分、撮像画像のフレーム数等の例等の詳細を多数示す。しかしながら、これらの詳細が無くても本発明の設計を実施できることは、当業者には明白であろう。その他の例では、本発明の設計を不必要に不明瞭にしないように、周知の成分又は方法については詳述せず、むしろブロック図で説明した。更に、第１演算装置等の特定の参照符号を付すことができるが、この特定の参照符号は、文字通りの順番として解釈されるべきではなく、むしろ、第１演算装置は第２演算装置とは異なるというように解釈されるべきである。よって、本明細書に示した詳細はほんの一例に過ぎない。この詳細は変更可能であるが、依然として、本発明の設計の趣旨及び範囲内とすることができる。「接続／連結／結合された（coupled）」という文言は、成分に直接的に接続された（connected）、又は他の成分を介してその成分に間接的に接続されたという意味として規定される。

一般に、評価エンジンシステムの一以上の実施形態について議論する。一の実施形態では、評価エンジンは、車両のドライバを支援する二以上のモジュールを有する。ドライバ眠気モジュールは、車両のドライバの眠気の二以上のレベルを認識するために、ドライバの監視された特性を分析する。ドライバ眠気モジュールは、ドライバの観測されたボディランゲージと顔分析とに基づいてドライバの眠気を評価する。ドライバ眠気モジュールは、ドライバが車両を運転してドライバ眠気レベル見積を含む出力を生成している間に、ｉ）訓練された人工知能モデル及びｉｉ）ルールベースモデルのうちの少なくとも一方に対して、センサからのライブマルチモーダルセンサ入力を分析するように構成される。ドライバ支援モジュールは、ドライバを、眠気の指定レベル以上に戻すために、一以上の積極的支援メカニズムをドライバに提供する。

図１は、車両のドライバを支援する二以上のモジュールを有する評価エンジンの一の実施形態を示すブロック図である。評価エンジン１００は、顔分析モジュール、生体信号見積モジュール、ドライバ眠気モジュール、及びドライバ支援モジュールを含む、各種モジュールを含んでよい。評価エンジン１００は、ドライバ顔追跡モジュール、ドライバ注視モジュール、ドライバ瞬目追跡モジュール、ドライバ表情監視モジュール、ボディランゲージベースダウンインモーション認識モジュール、表情ベース感情認識モジュール、スピーチベース感情認識モジュール、及びマルチモーダルフュージョン感情見積モジュールを含む、更なるモジュール及びサブモジュールを有してよい。評価エンジン１００は、広角カメラを備えた動き感知装置、ドライバの顔に狭く焦点を合わせた赤外線カメラ、マイク、Ｂｌｕｅｔｏｏｔｈ信号を車両の情報システムに送信するスマートウォッチ等のドライバに装着された各種バイオセンサ、及びドライバに取り付けられた又は車両に設けられたその他類似のセンサ等の、異なる複数のセンサからの入力を受信してよい。

評価エンジン１００は、車両のドライバを支援するためのルールを有する、又は訓練された人工知能及び／又はルールベースエンジンであってよい。評価エンジン１００は、ｉ）複数の眠気見積又はｉｉ）一の眠気見積の一方又は両方を実行することにより、ドライバの安全性を高め、安全且つリラックスした運転を容易にするように、二以上のモジュールを用いる。

ドライバ眠気モジュールは、車両のドライバの眠気の二以上のレベルを認識するために、ドライバの監視された特性を分析するように構成される。ドライバ眠気モジュールは、車両のドライバの眠気レベルの自動見積を行うように監視する。ドライバ眠気モジュールは、表情分析、注視挙動分析、眼活性分析、瞬目プロファイル、閉眼パターン、動き／姿勢／活性の円滑性及び迅速性を含むボディランゲージ分析、及び潜在的にはスピーチ感情分析を含む二以上の特性を含む、マルチモーダル解析を統合する。

顔分析モジュールは、車両のドライバの眠気のレベルの検出を支援するために、車両のドライバに対して、追跡を行い、且つ少なくとも、ｉ）顔追跡、ｉｉ）瞬目追跡、ｉｉｉ）まぶた開閉比、ｉｖ）閉眼又は強制開眼事象の期間、ｖ）表情分析、及びｖｉ）ドライバ注視追跡を実行するように構成される。顔分析モジュールの出力解析は、ドライバ眠気モジュールに供給される。顔分析モジュールは、一の赤外光線と連携して、車両のハンドルに対するドライバの頭の方向と、車両のドライバの目の注視角度と、を追跡するように構成された眼活性分析モジュールを有してよい。眼活性分析モジュールは、一の赤外光線からの角膜グリントを追跡するグリントベース追跡機構を実施できる。

センサインタフェースは、顔分析モジュール、ドライバ眠気モジュール等を含む二以上のモジュールと、車両に配置された一以上のセンサと、の間をインタフェースで連結する。車両に配置された一以上のセンサは、車両のドライバを監視するために、ｉ）一以上のカメラ、及びｉｉ）スピーチユーザインタフェース（例えば、Ｋｉｎｅｃｔセンサ）に接続された動き感知装置、を含む。一の実施形態では、センサインタフェースは、ｉ）説話型マイクを含むスピーチユーザインタフェースに接続された動き感知装置、ｉｉ）ドライバの顔に狭く焦点を合わせるように配置された車両内の一以上の赤外光源に接続された、少なくとも３００ｄｐｉ（１インチ当りのドット数）の画像を生成する高解像度赤外線カメラ、及びｉｉｉ）ドライバの頭及び上半身を撮像するように配置された広角レンズ三次元カメラの少なくとも三つのセンサから、マルチモーダルセンサ入力を受信する。尚、広角レンズ三次元カメラは、任意には動き感知装置と別体である。

ドライバ活動分析モジュールは、ドライバの体に対する頭部ポーズ追跡を実行するために、センサインタフェースと連携して、車両内の広角カメラからの入力を受信する。ドライバ活動分析モジュールは、アルゴリズムを用いて、広角カメラによって提供された画像入力に対するドライバの頭部位置を三次元的に判定する。

ドライバ眠気モジュールは、車両のドライバの眠気の二以上のレベルを検出且つ分類するために、ドライバの観測されたボディランゲージ、顔分析、ボイスコンテンツ及び／又はトーン、並びにドライバのその他の形態の表現に基づいて、ｉ）ドライバ活動モジュールからのディープラーニングと、ｉｉ）顔分析モジュールの出力とを用いて、ドライバの注意力／眠気を評価する。ドライバ支援モジュールは、ドライバ眠気モジュールからの出力に基づいて、ドライバの眠気の指定レベル以上に維持しようと試みるように構成される。ドライバが、該ドライバの眠気の指定レベル以上でない場合には、ドライバ支援モジュールは、ドライバを、眠気の指定レベル以上に戻すために、一以上の積極的支援メカニズム機構をドライバに提供する。ドライバ支援モジュールは、リアルタイムでドライバのニーズを予想しようと試み、且つドライバを眠気なし状態又は少なくとも僅かに眠いレベル以上に維持しようと試みるように構成される。

図２は、車両のドライバを監視し、且つドライバに警告する評価エンジンの他の実施形態を示すブロック図である。評価エンジン２００は、ドライバ監視システムグラフィカルユーザインタフェース、ドライバ監視システムカスタマイズプラットフォーム、ドライバ監視プラットフォーム、及びドライバ支援モジュールを有してよい。

人工知能及び／又はルールベースエンジン等の評価エンジン２００は、車両のドライバを支援する二以上のモジュールを有する。ドライバ眠気モジュール等のモジュールは、ｉ）眠気指標の検出について訓練されたドライバ眠気機械学習モデル及びｉｉ）類似のルールがコード化されたルールベースモデル、及びｉｉｉ）両モデルの組み合わせを使用してよい。

ドライバ眠気モジュールは、ｉ）センサと、ｉｉ）ドライバの眠気指標の検出について訓練された一以上のドライバ眠気機械学習モデル、又はドライバの眠気を示す類似のルールがコード化されたルールベースモデルと、からのマルチモーダル解析を統合するように構成される。ドライバ眠気モジュールは、ｉ）顔追跡に対する表情分析、ｉｉ）目の動きに対するドライバの注視挙動分析、ｉｉｉ）瞬目追跡に対する瞬目プロファイル及び分析、ｉｖ）閉眼パターン分析、及びｖ）動き／姿勢／活性の円滑性及び迅速性を含むボディランゲージ分析、及びｖｉ）潜在的にはスピーチトーンや言葉を含むスピーチ感情分析を含む二以上の特性について、マルチモーダル解析を統合する。一の実施形態では、評価エンジンは、これらの特性の全てを分析に用いてよい。

一の実施形態では、ドライバ眠気モジュールは、車両のドライバの眠気の二以上のレベルを認識するためにドライバの監視された特性の分析について訓練された共通眠気ありレベル機械学習モデルと、訓練されたユーザパーソナル化眠気ありレベル機械学習モデルと、を含む。これを実施するために、システムは、先ず、機械学習サブシステムを用いたドライバ特有眠気モデルを構築する。システムは、この特定のドライバに特有のドライバ眠気レベルの見積を受信する。ドライバの二以上の特性の分析について訓練された共通眠気ありレベル機械学習モデルと、このドライバの任意の詳細について訓練されたユーザパーソナル化眠気ありレベル機械学習モデルと、の組み合わせにより、評価エンジンは、共通眠気ありレベル機械学習モデルだけを用いるよりも、ドライバの眠気のレベルをより迅速に認識する。システムは、マルチモーダルセンサ入力（訓練データ）、グランドトルース相関性、及びドライバの眠気の少なくとも二以上の異なるレベルを有する眠気レベル分類スキームを用いて、機械学習アルゴリズムを用いたモデルを訓練する。一の実施形態では、ディープニューラルネットワークを用いた各種の機械学習人工知能モデルが、追跡、分析、及び認識用の異なるモジュールで用いられる。そして、ドライバ眠気モジュールは、リアルタイムで適切な機構を生成するために、モデルに対してセンサからのライブマルチモーダルセンサ入力を分析してよい。

システムは、ドライバが眠気の特定レベルである視覚感知システム及びその他の感知システムから検出されたマルチモーダル挙動キューを用いてよい。訓練データからドライバ挙動キューを抽出するために、コンピュータビジョンアルゴリズムを用いる。訓練データは、コンピュータビジョンアルゴリズムによって検出された挙動キューを伴って注釈される。ドライバ挙動キューの例は、瞬き（及び瞬目速度）等の目の動き、あくびをする、顔を触る、目をこする、前かがみになる、後ろにのけぞる、腕や手を動かす等を含む。

眠気レベル分類スキームの例を以下の表１に示す。ここに示すように、各眠気レベルは、複数の異なるドライバ挙動キューの組み合わせにより規定される。

尚、ドライバ支援モジュールは、ドライバが該ドライバの眠気のセットポイントレベル以上でない場合には、ドライバ支援モジュールがドライバのレベルを、ｉ）ドライバがこれらの眠気のレベルのうちの一つではない(例えば、眠気なし)場合、ｉｉ）ドライバの眠気のレベルが、より低い眠気のレベルに下げられる場合、及びｉｉｉ）これらの任意の組み合わせ、のレベルに変化させようと試みるために、一以上の積極的支援メカニズムをドライバに提供するように構成される。例えば、積極的支援メカニズムがドライバの眠気のレベルを「眠っているレベル５」から「僅かに眠いレベル１」に下げる場合に、ドライバの眠気のレベルは、より低い眠気のレベルに下げられる。この例では、「僅かに眠いレベル１」は、ドライバの眠気のセットポイントレベル以上である。

次に、ドライバ活動分析モジュールは、センサインタフェースと連携して、複数のセンサからの入力を受信するように構成される。例えば、ドライバ活動分析モジュールは、センサインタフェースと連携して、動き感知装置の飛行時間型カメラ（ＴｏＦカメラ）を用いてドライバの上半身を追跡するように構成される。カメラは、ＲＧＢカメラであってもよい。ドライバ活動分析モジュールは、動き感知装置のデータストリームを用いて、ドライバの上半身の姿勢及び動きを追跡するように構成される。

図３は、車両のドライバの眠気レベルを見積できるドライバ眠気モジュールを示すブロック図である。ドライバ眠気モジュール３１０は、マルチモーダルセンサ入力を受信及び分析できる。ドライバ眠気モデルは、コンピュータビジョンアルゴリズムを用いて、各種カメラからのビデオ及び静止画入力を分析できる。ドライバ眠気モデルは、ドライバ挙動の課題について訓練され、且つドライバの眠気のレベルに関するこれらのキューを分析するモジュールを含んでよい。ドライバ眠気モジュール３１０は、データベース及び／又は相関性ライブラリからのグランドトルース相関性と、データベース及び／又はライブラリからの眠気レベル分類スキームとを用いる機械学習サブシステムを含んでよい。ドライバ眠気モジュール３１０は、ドライバ特有となるように訓練されてよく、その特定ドライバの挙動に対して特に訓練されたデータベース挙動を有してよい。そしてドライバ眠気モジュール３１０は、ドライバ特有眠気レベル分類器を生成し、ドライバ特有眠気レベル見積を行う。

一の実施形態では、ドライバの眠気指標の検出について訓練された一以上のドライバ眠気機械学習モデルは、ｉ）車両のドライバの眠気の二以上のレベルを認識するためにドライバの二以上の特性の分析について訓練された共通眠気ありレベル機械学習モデルと、ｉｉ）ドライバの眠気の二以上のレベルを認識するためにこのドライバの任意の詳細について訓練されたユーザパーソナル化眠気ありレベル機械学習モデルと、を含む。

一の実施形態では、一以上のドライバ眠気機械学習モデルは、該モデルを訓練するためにグランドトルース相関性及びディープラーニング機械学習アルゴリズムを使用する。一以上のドライバ眠気機械学習モデルは、ドライバの眠気の少なくとも三以上の異なるレベルを有する眠気レベル分類スキームを使用する。また、一以上のドライバ眠気機械学習モデルが一旦訓練されると、ドライバが車両を運転してドライバに特有の眠気見積のレベルを含む出力を生成している間に、センサからのライブマルチモーダルセンサ入力を分析するために、一以上のドライバ眠気機械学習モデルが使用される。グランドトルース相関性は、ドライバ挙動キュー又は異なるドライバ挙動キューの組み合わせを、眠気レベル分類スキームの異なるレベルに関連付ける。よって、当該モデルは、特定ユーザに対して、上述した眠気レベルに対する異なる挙動キューの相対的重要性を示す。尚、異なる挙動キューは、異なるドライバに対して、多かれ少なかれ重要な眠気の指標であってよい。

一旦モデルが訓練されると、該モデルを分類器により用いて、ドライバが車両を運転している間に、ライブマルチモーダルセンサ入力を分析できる。分類器は、ドライバ特有眠気レベル見積を含む出力を生成する。システムは、入力データの少なくともいくつかに対する注釈として、眠気レベル見積を出力してよい。この出力は、ドライバの眠気レベルにおける経時変化の指標を更に含んでよい。ドライバの眠気レベルの予測評価は、例えば、パーソナルアシスタントシステム又はドライバ安全システムに入力できる。

図４は、ドライバ支援モジュールを示すブロック図である。ドライバ支援モジュール４２０は、ドライバ特有眠気及びレベル見積向けモジュールと、コンテンツ探索検索モジュールとを含んでよい。ドライバ支援モジュール４２０は、これを用いて、コンテンツを選択し、且つ文書要約を実行してよい。ドライバ支援モジュール４２０は、文書要約モジュールによって頻繁に作成及び更新される既存の文書要約のデータベースを参照でき、例えば、ブログ、インターネット記事、又はツイッター（登録商標）ストリームについて、リアルタイムで文書要約を生成してよい。文書要約のデータベースは、ドライバ特有参照モデルを参照してよい。視覚分析モジュールは、車両を運転している人の身元を自動的に識別するために、顔認識を実行してよい。その後、文書要約モジュールは、ドライバ特有文書を生成し、それを音声変換モジュールに送信する。その後、音声変換モジュールは、車両のスピーカシステムを介して再生する。ドライバ支援モジュール４２０は、ドライバを眠気なし状態又は少なくとも僅かに眠いレベルに戻そうとの試みで、ドライバとの一以上の文書要約に関するスピーカ及びマイクを用いた双方向会話を実行しようと試みる。

ドライバ支援モジュール４２０は、ドライバ眠気モジュールによって判定されるようなドライバの現在の眠気のレベルに基づいて、例えばパーソナル化音声（オーディオ）要約にドライバを関与させる一以上の支援メカニズムを提供してよい。パーソナル化音声（オーディオ）要約は、ｉ）デシベルレベルが可変であり、ｉｉ）どのようなコンテンツの文書がドライバの関心を引くものであるかドライバ支援モジュール４２０が判断する選択物であり、又はｉｉｉ）デシベルレベルが可変であって、且つどのようなコンテンツの文書がドライバの関心を引くものであるかシステムが判断してよい。ドライバ支援モジュールは、パーソナル化音声要約が作成される際にドライバの眠気のレベルを監視及び評価し、どのようなコンテンツの文書が提示されているかに関する資料は、ドライバの眠気のレベルが変化するにつれて変化する。

ドライバ支援モジュール４２０は、文書のコンテンツの抜粋要約を作成するために文書要約エンジンを使用する。ドライバ特有嗜好性モデルは、テキスト、閲覧習慣、及びユーザから求められた入力から、ドライバの好みを抽出する。例えば、フリートークを達成するために、ウィキペディアのようなウェブ文書からのウェブデータの要約を抽出でき、そのコンテンツの要約を有することができる。ドライバ支援モジュール４２０の音声変換サブシステムを用いて、車両のスピーカを介してドライバに報告する文書の要約されたコンテンツを作成し、その後、音声変換モジュールに係るマイクでドライバ応答を集音して対話を行う。

ドライバ支援モジュール４２０は、コンテンツ探索検索サブシステムを用いて、興味の可能性があるコンテンツの探索を開始する。一旦選択コンテンツが検索されると、ドライバ支援モジュール４２０は、文書要約サブシステム及びドライバ特有嗜好モデルを用いて、選択コンテンツのパーソナル化要約を作成する。

文書要約サブシステムは、コンテンツの抜粋要約を作成するために文書要約エンジンを使用する。ドライバ特有嗜好性モデルは、自然言語処理技術を用いて、テキスト（ウェブページ、ツイッターフィード、及びその他のソーシャルメディアコンテンツ等）からドライバの好みを抽出する、パーソナルユーザモデリングプラットフォームを用いて開発されてよい。音声変換サブシステムは、自動車のスピーカを介してドライバに提示する要約されたコンテンツを作成するために使用される。音声変換サブシステムは、ドライバとの対話を行う会話型パーソナルアシスタントを含んでよい。

ドライバ特有嗜好性モデルは、特定ドライバに対する選択肢により車両のドライバの覚醒支援を試みる。加えて、評価エンジンは、特定ドライバに特有であるドライバ眠気レベルの見積を受信する。

会話型パーソナルアシスタントは、ドライバ活動追跡モジュールからの出力に示されるような、ユーザからのフィードバック及びドライバの眠気の現在のレベルに基づいて、会話型パーソナルアシスタント自体とドライバとのリアルタイムでの相互対話を採用するように構成される。ドライバ支援モジュールは、コンテンツを要約する、対話を行う、ファンやエアコンディショナを運転する、自動車の温度を変化させる、座席を揺する、車両の匂いを変える等の、ドライバの眠気のレベルを変化させる試みを行うために、一以上の積極的支援メカニズムを前記ドライバに提供する。

ドライバ支援モジュール４２０は、検索されたコンテンツをドライバの興味に更に合わせる、又はマルチモーダル視覚感知システムによって検出されたドライバの反応に基づいて、要約されたコンテンツの提示を調整するように、対話にドライバを関与させるパーソナルアシスタントシステムをインタフェースで連結する。

ドライバ支援モジュール４２０は、提示されたコンテンツ要約にドライバが前向きに反応する視覚感知システムによって検出されたマルチモーダル挙動キューに基づいて、結論を下してよく、その結果、要約文書からの更なる詳細を読み続けてよい。一方、ドライバ支援モジュール４２０が、要約コンテンツへのドライバの興味がなくなっていると仮定する場合、又は、ドライバのレベルが、眠気レベルの増加に伴い検出される場合には、ドライバ支援モジュールは、トピックを変更、又は要約コンテンツの提示を停止してよい。

ドライバ支援モジュール４２０によるリアルタイムドライバ監視により、ドライバへ提示される支援が示され、ドライバ支援モジュール４２０は、ドライバの眠気のレベルに関してその支援がどのような効果を有していたかについてのリアルタイム査定を実行できる。よって、ドライバを、少なくとも、眠気なし又は僅かに眠い等の眠気の所望レベルに戻すために、更なる支援か又は異なるタイプの支援の組み合わせを、ドライバに更に提示するべきである。

ドライバは、評価エンジンとの対話を行ってよく、ドライバは、支援開始を試みる評価エンジンを終了できる。しかしながら、ドライバの眠気のレベルが更に深刻になり続ける場合には、ドライバ支援モジュール４２０は、ドライバの支援開始の終了能力を除去できる。

図５は、ドライバの顔追跡、ドライバの瞬目追跡、ドライバの表情分析、ドライバ注視追跡、ドライバの閉眼パターン分析等のタスクに、顔モデルを用いた顔分析を実行する顔分析モジュールを示す図である。これらの特性は、ドライバの眠気レベルを判定するために顔モデル５３０で分析される。顔分析モジュールは、ランドマーク追跡でドライバの顔検出を実行するためにコード化される。

顔分析モジュールは、カメラ及びアルゴリズムを用いて、ロバスト顔ランドマーク追跡（中心から±５０度）を実行する。顔分析モジュールは、例えば典型的な人の顔に配置された５１個の離れた顔ランドマークである、複数の顔ランドマークを用いる。カメラ及びアルゴリズムが撮像して顔モデル５３０に追加投入する顔ランドマークの数が増えるほど、分析はより正確になる。顔分析モジュールは、精度を向上させるために、特定ドライバの特性及び活動パターンにカスタマイズされてよい。

顔分析モジュールは、ドライバの目の注視方向及び角度を追跡するために一の協同赤外光線を有する眼活性分析モジュールを有してよい。よって、眼活性分析モジュールは、グリントベースドライバ注視追跡機構を実施してよい。眼活性分析モジュールは、赤外発光ダイオード及び瞳孔中心（暗瞳孔）からの角膜グリント対を追跡する。眼活性分析モジュールは、人種（race）をその分析に組み込む閉眼パターンを検出できる。眼活性分析モジュールは、ＦＯＶ（視野）（グリントが角膜から外れる場合）を広げるために、より大きなセット（larger set）から赤外イルミネータ発光ダイオードを選択でき、ガラス上の大きく破壊的なグレアに対してロバストになりうる。

眼活性分析モジュールは、ドライバがどこに注視しているかの判定の基礎を置くために、頭部ポーズ及び虹彩追跡を用いることができる。眼活性分析モジュールは、頭部ポーズ及び虹彩追跡を用いて、注視ベクトルを判定し、ちらり見対象（glance targets）を判定する。眼活性分析モジュールは、車両の車室座標及び／又は既知のランドマークに対する、カメラによって撮像されたフレーム内の画像を知っていてよく、又は判定してよい。

顔分析モジュールは、表情監視を実行してもよい。顔分析モジュールは、ドライバのまぶた監視を実行してもよい。顔分析モジュールは、頭部ポーズをまぶた追跡に正規化（normalize）してよい。顔分析モジュールは、閉眼検出に二値化される。顔分析モジュールは、ｉ）瞬目速度、ｉｉ）まぶた開閉比、ｉｉｉ）マイクロスリープ事象を含む閉眼期間事象又は強制開眼等の事柄を追跡及び実行する。尚、瞬目速度及びまぶた開閉比等の瞬目パターンや、閉眼期間事象は、追跡目的でメモリに格納されてよい。

図６は、ドライバの骨格モデルを用いたドライバ活動モジュールを示すブロック図である。骨格モデル６４０は、車両において追跡されているドライバの上半身及び胴体を表す。ドライバ活動モジュールは、例えば、どれくらい早く、または幾つの体の部位が動いているか、或いはその動きがどれくらい円滑か又はぎくしゃくしているか、を含むドライバの活動を追跡及び分析する。ドライバ活動モジュールは、ドライバの活動を格納する。ドライバ活動モジュールは、訓練された骨格モデル６４０の基準と比較して動き及び活動と、経時変化とを分析する。ドライバ活動モジュールは、ドライバの眠気レベルを判定するために、これらの特性を分析して、その分析結果を出力する。

ドライバの活動及び姿勢監視について、一のモデルが訓練された。上半身及び胴体について訓練された。眠気を示す活動及び姿勢の幾つかは、以下の通りである。即ち、座位を変える、頭を手の上で休める、あくびをする、目をこする、顔を触る、後ろにのけぞる、腕を伸ばす、前かがみになる、である。

ドライバ眠気モジュールは、ボディランゲージ信号及び目の監視の両方を、そのマルチモーダル眠気レベル見積及び分類に組み込む。

図７は、ドライバ眠気モジュールを示すブロック図である。ドライバ眠気モジュール７１０の一例は、例えば、ドライバの体姿勢監視ブロック、ドライバの活動監視ブロック、ドライバの目の監視ブロック、及びドライバの顔監視ブロックを含む、複数のサブブロックを有してよい。これらの異なるブロックの全ては、眠気レベル分類モジュールにデータ供給する。ドライバの体姿勢監視ブロックは、例えば、ドライバの体がどのように前かがみになっているか及び／又は座位を変えているか、どれくらい頻繁か、その座位の姿勢等の事柄を監視してよい。ドライバの活動監視モジュールは、例えば、ドライバが顔を触っている及び／又は体の各種部位を触っている、またはどれくらい頻繁にドライバが体の各種部位において顔に触っているか等の事柄を追跡してよい。ドライバの目の監視モジュールは、どれくらい頻繁にドライバが瞬きしているか、瞬きの速度はどれくらいか、目が閉じられる期間、及び／又はどのくらい長く目を強制的に開けているか等の目の動きを追跡する。ドライバの顔監視モジュールは、例えば、ドライバのあくびや口の動き等の事柄を追跡及び分析する。再び、眠気レベル分類器は、ドライバの眠気レベルに関するこのマルチモーダルインポートを受信し、その後、各種重みアルゴリズムを適用してドライバの眠気のレベルを判定する。ドライバの眠気のレベルに基づいて、ドライバ支援モジュールは、次に、眠気なしという適切なレベルに戻るために、どのレベルの支援をドライバが必要としているかについて判定する。眠気レベル分類モジュールは、ドライバが現在眠くないレベルであることも判定してよい。

図８Ａ及び図８Ｂは、評価エンジンの実施形態を示すフロー図である。尚、以下のステップは、論理的に可能な任意の順序で実行されてよい。評価エンジンが車両のドライバを支援する方法について説明するが、当該方法は以下の動作を実行する。

ステップ８０２において、ドライバ眠気モジュールを用いて、車両のドライバの眠気の二以上のレベルを認識するために、ドライバの監視された特性を分析する。

ステップ８０４において、車両のドライバの眠気のレベルの検出を支援するために、ドライバの顔を追跡し、車両のドライバに対して、ｉ）顔追跡、ｉｉ）目の動き、及びｉｉｉ）瞬目追跡のうちの少なくとも一つを実行し、この出力をドライバ眠気モジュールに供給する。

ステップ８０６において、ｉ）一以上のカメラ、及びｉｉ）動き感知装置を含む車両に配置された一以上のセンサを用いて、車両のドライバを監視する。

ステップ８０８において、車両のドライバの眠気の二以上のレベルを検出及び分類するために、ドライバの観測されたボディランゲージと顔分析に基づいてドライバの眠気を評価する。

ステップ８１０において、一の実施形態では、ｉ）センサと、ドライバの眠気を示すモデルと、からのマルチモーダル解析を統合し、ドライバ眠気モジュールは、ｉ）表情分析、ｉｉ）ドライバの注視挙動分析、ｉｉｉ）瞬目プロファイル及び分析、ｉｖ）閉眼パターン分析を含む二以上の特性について、マルチモーダル解析を統合し、一の実施形態では、当該解析は、４つの特性全てを含む。

ステップ８１２において、ドライバが車両を運転してドライバ眠気レベル見積を含む出力を生成している間に、ｉ）訓練された機械学習モデル及びｉｉ）ルールベースモデルのうちの少なくとも一方、又はｉｉｉ）両モデルに対して、ライブマルチモーダルセンサ入力を分析し、訓練された機械学習モデル及び／又はルールベースモデルを用いるドライバ眠気モジュールは、訓練された機械学習モデル及び／又はルールベースモデルを用いないドライバ眠気モジュールよりも少ない演算サイクルを用いて、車両の前記ドライバの眠気の現在のレベルを分類する。

ステップ８１４において、ｉ）車両のドライバの眠気の二以上のレベルを認識するためにドライバの二以上の特性の分析について訓練された共通眠気ありレベル機械学習モデルと、ｉｉ）ドライバの眠気の二以上のレベルを認識するために特定ドライバの任意の詳細について訓練されたユーザパーソナル化眠気ありレベル機械学習モデルと、の両モデルを使用し、ドライバの二以上の特性の分析について訓練された共通眠気ありレベル機械学習モデルと、このドライバの任意の詳細について訓練されたユーザパーソナル化眠気ありレベル機械学習モデルとの組み合わせにより、評価エンジンは、共通眠気ありレベル機械学習モデルだけを用いるよりも、ドライバの眠気のレベルをより迅速に認識する。

ステップ８１６において、ドライバ眠気モジュールからの出力に基づいて、ｉ）眠気なしレベル、ｉｉ）ドライバの眠気の第１レベル以下、及びｉｉｉ）これらの任意の組み合わせに、ドライバを維持しようと試みるドライバ支援モジュールを使用し、ドライバが少なくとも該ドライバの眠気の第１レベル以下ではない場合には、ドライバ支援モジュールは、ドライバのレベルを、ｉ）ドライバが眠気なしレベルである場合、ｉｉ）ドライバの眠気のレベルが、より低い眠気のレベルに下げられる場合、及びｉｉｉ）これらの任意の組み合わせ、のレベルに変化させようと試みるために、一以上の積極的支援メカニズムをドライバに提供する。

ステップ８１８において、ドライバ眠気モジュールによって判定されるようなドライバの現在の眠気のレベルに基づいて、ｉ）デシベルレベルが可変であり、ｉｉ）どのようなコンテンツの文書がドライバの関心を引くものであるかドライバ支援モジュールが判断する選択物であり、又はｉｉｉ）デシベルレベルが可変であって、且つどのようなコンテンツの文書がドライバの関心を引くものであるかシステムが判断するパーソナル化音声要約に、ドライバを関与させる、積極的支援メカニズムを提供するドライバ支援モジュールを使用する。

図９は、評価エンジンの一部となりうる一以上の演算装置９００の実施形態を示す図である。演算装置は、命令を実施する一以上のプロセッサ又は処理部９２０と、情報を格納する一以上のメモリ９３０から９３２と、演算装置９００のユーザからデータ入力を受信する一以上のデータ入力構成部分９６０から９６３と、管理モジュールを含む一以上のモジュールと、演算装置の外部にあるその他の演算装置と通信するその他の通信リンクを構築するネットワークインタフェース通信回路９７０と、その出力を用いて特定トリガ条件を感知し、且つ相応して一以上の事前プログラム化行為を生成するためにその出力が用いられる一以上のセンサと、一以上のメモリ９３０から９３２に格納された情報の少なくとも幾つかを表示するディスプレイスクリーン９９１と、その他の構成部分と、を含んでよい。尚、ソフトウェア９４４、９４５、９４６で実施される評価エンジンシステムの一部が、一以上のメモリ９３０から９３２に格納され、一以上のプロセッサ９２０によって実施される。

演算システム９００の構成部分は、一以上の処理コアを有する処理部９２０と、システムメモリ９３０と、システムメモリ９３０を含む各種のシステム構成部分を処理部９２０に接続するシステムバス９２１と、を含んでよいが、これらに限定されない。システムバス９２１は、様々なバスアーキテクチャを用いたメモリバス、相互接続ファブリック、周辺バス、及び局所バスから選択される複数種類のバス構造のいくつかであってよい。

演算システム９００は、典型的には、様々な演算機械可読媒体を含む。演算機械可読媒体は、演算システム９００によりアクセス可能な任意の利用可能媒体であってよく、揮発性及び不揮発性媒体と、リムーバブル及び固定型媒体とを含む。一例として、これに限定されないが、演算機械可読媒体の使用は、コンピュータ読取可能命令、データ構造、その他の実行可能ソフトウェア、又はその他のデータ等の情報の格納を含む。コンピュータ格納媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又はその他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）又はその他の光ディスクメモリ、磁気カセット、磁気テープ、磁気ディスクメモリ又はその他の磁気記憶装置、或いは、所望の情報を格納するために使用可能であり、且つ演算装置９００によってアクセス可能であるその他の有形的表現媒体を含むが、これらに限定されない。無線チャネル等の一時的媒体は、機械可読媒体に含まれない。通信媒体は、典型的には、コンピュータ読取可能命令、データ構造、その他の実行可能ソフトウェア、又はその他の輸送機構をし、任意の情報配送媒体を含む。

システムメモリ９３０は、読み出し専用メモリ（ＲＯＭ）９３１及びランダムアクセスメモリ（ＲＡＭ）９３２等の揮発性及び／又は不揮発性メモリの形態でコンピュータ記憶媒体を含む。起動中等に演算システム９００内の要素間で情報の転送を促進するベーシックルーチンを含む基本入出力システム９３３（ＢＩＯＳ）は、典型的にはＲＯＭ９３１に格納される。ＲＡＭ９３２は、典型的には、処理部９２０に直ちにアクセス可能及び／又は処理部９２０によって現在操作されている、データ及び／又はソフトウェアを含む。一例として、これに限定されないが、ＲＡＭ９３２は、オペレーティングシステム９３４、アプリケーションプログラム９３５、その他の実行可能ソフトウェア９３６及びプログラムデータ９３７の一部を含むことができる。

演算システム９００は、その他のリムーバブル／固定型、揮発性／不揮発性コンピュータ記憶媒体も含むことができる。単なる例として、図９は、固体メモリ９４１を示す。動作環境の一例で使用できるその他のリムーバブル／固定型、揮発性／不揮発性コンピュータ記憶媒体は、ＵＳＢドライブ及び装置、フラッシュメモリカード、固体ＲＡＭ、固体ＲＯＭ等を含むが、これらに限定されない。固体メモリ９４１は、典型的には、インタフェース９４０等の固定型メモリインタフェースを介してシステムバス９２１に接続され、ＵＳＢドライブ９５１は、典型的には、インタフェース９５０等のリムーバブルメモリインタフェースによってシステムバス９２１に接続される。

図９に示した上述のドライブ及び関連コンピュータ記憶媒体は、コンピュータ読取可能命令、データ構造、その他の実行可能ソフトウェア、及び演算システム９００のその他のデータを提供する。図９において、例えば、固定メモリ９４１は、オペレーティングシステム９４４、アプリケーションプログラム９４５、その他の実行可能ソフトウェア９４６、及びプログラムデータ９４７を格納するために例示される。尚、これらの構成部品は、オペレーティングシステム９３４、アプリケーションプログラム９３５、その他の実行可能ソフトウェア９３６、及びプログラムデータ９３７と同じか、又は異なってよい。オペレーティングシステム９４４、アプリケーションプログラム９４５、その他の実行可能ソフトウェア９４６、及びプログラムデータ９４７は、最低限、それらが異なる構成部品であることを示すために、ここで異なる符号を付与されている。

ユーザは、キーボード、タッチスクリーン、若しくはソフトウェア又はハードウェア入力ボタン９６２、マイク９６３、またはマウス、トラックボール又はタッチパッド等のポインティングデバイス及び／又はスクロール入力構成部品等の、入力装置を介して演算システム９００にコマンド及び情報を入力してよい。マイク９６３は、音声認識ソフトウェアと連携できる。これら及びその他の入力装置は、システムバス９２１に接続されたユーザ入力インタフェース９６０を介して処理部９２０にしばしば接続されるが、パラレルポート、ゲームポート、又はユニバーサルシリアルバス（ＵＳＢ）等のその他のインタフェース及びバス構造によって接続できる。表示モニタ９９１又はその他の種類の表示スクリーン装置も、表示インタフェース９９０等のインタフェースを介してシステムバス９２１に接続される。モニタ９９１に加えて、演算装置は、出力周辺インタフェース９９５を介して接続される、スピーカ９９７、バイブレータ９９９、及びその他の出力装置等の、その他の周辺出力装置も含んでよい。

演算システム９００は、リモート演算システム９８０等の一以上のリモートコンピュータ／クライアント装置への論理接続を用いて、ネットワーク環境で動作できる。リモート演算システム９８０は、パーソナルコンピュータ、モバイル演算装置、サーバ、ルータ、ネットワークＰＣ、ピア装置、又はその他の共通ネットワークノードであってよく、典型的には、演算システム９００に関する上述した要素の多く又は全てを含む。図９に示された論理接続は、パーソナルエリアネットワーク（ＰＡＮ）９７２（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標））、ローカルエリアネットワーク（ＬＡＮ）９７１（例えばＷｉ−Ｆｉ）、及びワイドエリアネットワーク（ＷＡＮ）９７３（例えば、Ｃｅｌｌｕｌａｒネットワーク）を含むことができるが、パーソナルエリアネットワーク（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標））等のその他のネットワークも含んでよい。このようなネットワーク環境は、オフィス、企業全体のコンピュータネットワーク、イントラネット及びインターネットでは普通である。ブラウザアプリケーションは、演算装置に常駐してよく、メモリに格納されてよい。

ＬＡＮネットワーク環境で用いる際には、演算システム９００は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）又はＷｉ−Ｆｉアダプダであるネットワークインタフェース９７０を介して、ＬＡＮ９７１に接続される。ＷＡＮネットワーク環境（例えば、インターネット）で用いる際には、演算システム９００は、典型的には、ＷＡＮ９７３で通信を確立する手段を含む。移動通信技術に関して、例えば、内部又は外部の無線インタフェースは、ネットワークインタフェース９７０、又はその他の適切な機構を介してシステムバス９２１に接続できる。ネットワーク環境では、演算システム９００に関して表現されたその他のソフトウェア、又はその一部は、リモートメモリ記憶装置に格納されてよい。一例として、これに限定されないが、図９は、リモート演算装置９８０に常駐するリモートアプリケーションプログラム９８５を示す。尚、図示のネットワーク接続は例であり、演算装置間の通信リンクを構築するその他の手段が用いられてよいことが理解されよう。

議論したように、演算システム９００は、処理部９２０、メモリ（例えば、ＲＯＭ９３１、ＲＡＭ９３２等）、演算装置を動かす内臓バッテリ、バッテリを充電するＡＣパワー入力、表示スクリーン、ネットワークに接続されたリモート演算装置と無線通信する内臓Ｗｉ−Ｆｉ回路、を含むことができる。

留意すべきは、本設計は、図９を参照して記載したような演算システムで実行できることである。しかしながら、本設計は、サーバ、メッセージ通信処理専用の演算装置、又は、本設計の異なる部分が分散演算システムの異なる部分で実行される分散システム、で実行できる。

バス９２１に接続されてよい他の装置は、ＤＣ電源（例えば、バッテリ）又はＡＣアダプタ回路等の電源である。上述のように、ＤＣ電源は、バッテリ、燃料電池、又は定期的に再充電が必要な類似のＤＣ電源であってよい。無線通信モジュールは、無線通信チャネルを構築するために、ワイヤレスアプリケーションプロトコルを採用できる。無線通信モジュールは、無線ネットワーク規格を実施できる。

いくつかの実施形態では、本明細書で議論したアルゴリズムを容易にするために用いるソフトウェアを、固定機械可読媒体上で具体化できる。機械可読媒体は、機械（例えば、コンピュータ）によって読取可能な形態で情報を格納する任意の機構を含む。例えば、固定機械可読媒体は、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記録媒体、光記録媒体、フラッシュメモリ装置、デジタル多用途ディスク（ＤＶＤ）、ＥＰＲＯＭｓ、ＥＥＦＰＯＭｓ、ＦＬＡＳＨメモリ、磁気又は光カード、若しくは電子命令を格納するのに適切な任意の種類の媒体を含むことができる。

尚、本明細書におけるアルゴリズムは、ソフトウェア自体、ハードウェアブール論理自体、又はこれらの組み合わせで実施されてよい。ソフトウェアで実施されるアルゴリズムのいずれの部分も、メモリの一部に実行可能フォーマットで格納でき、また一以上のプロセッサによって実行される。

尚、本明細書に記載したアプリケーションは、ソフトウェアアプリケーション、モバイルアプリケーション、及びオペレーティングシステムアプリケーションの一部であるプログラムを含むが、これらに限定されない。本明細書の幾つかの部分は、コンピュータメモリ内のデータビットへの動作の象徴的表象及びアルゴリズムの点で提示される。これらのアルゴリズム的記述及び表象は、データ処理分野の当業者によって、彼らの作業の要旨を、その他の当業者に最も効率的に伝達するために用いられる手段である。ここでアルゴリズムは、一般に、所望の結果に導くセルフコンシステントなシークエンスのステップであると考えられる。これらのステップは、物理量の物理的操作を必要とするものである。通常、必ずしもそうではないが、これらの物理量は、格納、転送、結合、比較、その他操作することが可能である電気又は磁気信号の形態を取る。これは、これらの信号を、ビット、値、要素、記号、文字、項又は文言（terms）、数字等として称する際に、主に慣用されているために都合がよいと証明されている。これらのアルゴリズムは、Ｃ、Ｃ＋、ＨＴＴＰ、Ｊａｖａ（登録商標）、又はその他の類似言語等の、複数の異なるソフトウェアプログラム言語で書くことができる。またアルゴリズムは、ソフトウェアのコード行で実施でき、ソフトウェアの論理ゲートとして構成でき、又はこれらの組み合わせであってよい。一の実施形態では、当該論理回路は、ブール論理の規則に従う電子回路、命令パターンを含むソフトウェア、又はこれらの任意の組み合わせ、からなる。

しかしながら、留意すべきは、これらの及び類似の文言の全ては、適切な物理量に関連付けられるべきであり、これらの物理量に付与された単に都合のよいラベルであることである。特に明記しない限り、上記より明らかなように、本明細書に渡って、「処理」又は「演算」又は「算出」又は「判定」又は「表示」等の文言を用いた議論は、コンピュータシステムメモリ又はレジスタ内の物理（電子）量として表されるデータを、コンピュータシステムメモリ又はレジスタ内の物理量として同様に表されるその他のデータに操作及び変換する、コンピュータシステム又は類似の電子演算装置、若しくはその他のこのような情報記憶、伝送又は表示装置、における作用及び処理を参照していることは理解されよう。

電子ハードウェア構成部品によって実行される多くの機能は、ソフトウェアエミュレーションによって複製できる。よって、これらの同じ機能を果たすために書かれたソフトウェアプログラムは、入出力回路のハードウェア構成部品の機能性にエミュレートできる。よって、上記システムの演算装置上の一以上のプロセッサによって実行される際に、演算装置に、本明細書の記述のように概説された動作を実行させる命令及びデータを格納するように構成された一以上の不揮発性機械可読媒体が、本明細書において提供される。

上述の設計及びその実施形態に関してかなり詳細に記述したが、本明細書に記述した設計及び実施形態を限定する出願人の意図ではない。更なる適応例及び／又は変形例が可能であり、より広い局面では、これらの適応例及び／又は変形例もまた包含される。従って、以下の特許請求の範囲によって付与される範囲から逸脱することなく、上述の設計及び実施形態から変更されてよく、その範囲は、適切に解釈される際に特許請求の範囲によってのみ限定される

Claims (20)

1. 車両のドライバを監視する二以上のモジュールを有する評価エンジンであって、該評価エンジンは、
   前記車両の前記ドライバの眠気の二以上のレベルを認識可能とするために、前記ドライバの監視された特性を分析するように構成されたドライバ眠気モジュールと、
   前記車両の前記ドライバの眠気の前記レベルの検出を支援するために、前記車両の前記ドライバに対して、ｉ）顔追跡、ｉｉ）目の動き、及びｉｉｉ）瞬目追跡のうちの少なくとも二つを実行可能とするように構成された顔分析モジュールであって、出力解析が前記ドライバ眠気モジュールに供給される顔分析モジュールと、
   前記顔分析モジュール及び前記ドライバ眠気モジュールを含む前記二以上のモジュールと、一以上のセンサと、の間に配置されるセンサインタフェースであって、前記車両の前記ドライバを監視するために、ｉ）一以上のカメラ、及びｉｉ）スピーチユーザインタフェースに接続された動き感知装置、を含む前記車両に配置された前記一以上のセンサからの入力を受信するように構成されたセンサインタフェースと、
   を備えており、
   前記ドライバ眠気モジュールは、前記車両の前記ドライバの眠気の二以上のレベルを、これらの状態が前記ドライバに生じた際に検出及び分類するために、前記顔分析モジュールの出力を用いて、前記ドライバの観測されたボディランゲージと顔分析とのうちの少なくとも一方に基づいて前記ドライバの眠気を評価するように構成されており、
   前記ドライバ眠気モジュールからの出力に基づいて、ｉ）眠気なしレベル、ｉｉ）前記ドライバの眠気の第１レベル以下、及びｉｉｉ）これらの任意の組み合わせ、からなる群から選択されたレベルに前記ドライバを維持しようと試みるように構成されたドライバ支援モジュールであって、前記ドライバが、少なくとも該ドライバの眠気の第１レベル以下ではない場合には、前記ドライバのレベルを、ｉ）前記ドライバが眠気なしレベルである場合、ｉｉ）前記ドライバの眠気のレベルが、より低い眠気のレベルに下げられる場合、及びｉｉｉ）これらの任意の組み合わせ、のレベルに変化させようと試みるために、一以上の積極的支援メカニズムを前記ドライバに提供するように構成されるドライバ支援モジュールと、
   を備えることを特徴とする評価エンジン。
2. 前記ドライバ眠気モジュールは、ｉ）前記センサと、ｉｉ）前記ドライバの眠気指標を検出するように訓練された一以上のドライバ眠気機械学習モデル、又は前記ドライバの眠気を示すルールがコード化されたルールベースモデルと、からのマルチモーダル解析を統合するように構成されており、前記ドライバ眠気モジュールは、ｉ）前記顔追跡に対する表情分析、ｉｉ）前記目の動きに対するドライバの注視挙動分析、ｉｉｉ）前記瞬目追跡に対する瞬目プロファイル及び分析、ｉｖ）閉眼パターン分析のうちの少なくとも一つについて、前記マルチモーダル解析を統合することを特徴とする請求項１に記載の評価エンジン。
3. 前記ドライバの眠気指標を検出するように訓練された前記一以上のドライバ眠気機械学習モデルは、ｉ）前記車両の前記ドライバの眠気の前記二以上のレベルを認識するために前記ドライバの前記マルチモーダル解析を分析する共通眠気ありレベル機械学習モデルと、ｉｉ）前記ドライバの眠気の前記二以上のレベルを認識するために特定ドライバの任意の詳細について訓練されたユーザパーソナル化眠気ありレベル機械学習モデルと、を含むことを特徴とする請求項２に記載の評価エンジン。
4. 前記一以上のドライバ眠気機械学習モデルは、該モデルを訓練するためにグランドトルース相関性及びディープラーニング機械学習アルゴリズムを使用し、前記一以上のドライバ眠気機械学習モデルは、前記ドライバの眠気の少なくとも三以上の異なるレベルを有する眠気レベル分類スキームを使用し、
   前記一以上のドライバ眠気機械学習モデルが一旦訓練されると、前記ドライバが前記車両を運転して前記ドライバに特有の眠気見積の現在のレベルを含む出力を生成している間に、前記センサからのライブマルチモーダルセンサ入力を分析するために、前記一以上のドライバ眠気機械学習モデルが使用されることを特徴とする請求項２に記載の評価エンジン。
5. 前記センサインタフェースは、ｉ）マイクを含む前記スピーチユーザインタフェースに接続された前記動き感知装置、ｉｉ）前記ドライバの顔に焦点を合わせるように配置された前記車両内の一以上の赤外光源に接続された高解像度赤外線カメラ、及びｉｉｉ）前記ドライバの頭及び上半身を撮像するように配置された広角レンズカメラを含む少なくとも三つのセンサから、マルチモーダルセンサ入力を受信するように構成されることを特徴とする請求項１に記載の評価エンジン。
6. 前記顔分析モジュールは、一の赤外光線と連携して、前記車両のハンドルに対する前記ドライバの頭の方向と、前記車両の前記ドライバの目の注視角度と、を追跡するように構成された眼活性分析モジュールを有しており、該眼活性分析モジュールは、前記一の赤外光線からの角膜グリントを追跡するグリントベース追跡機構を実施することを特徴とする請求項１に記載の評価エンジン。
7. 前記顔分析モジュールは、ｉ）瞬目パターン及びｉｉ）目の動きパターンを、判定及び追跡するように構成されることを特徴とする請求項１に記載の評価エンジン。
8. 前記ドライバ支援モジュールは、前記ドライバ眠気モジュールによって判定される前記ドライバの現在の眠気のレベルに基づいて、ｉ）デシベルレベルが可変、ｉｉ）どのようなコンテンツの文書が前記ドライバの関心を引くものであるか前記ドライバ支援モジュールが判断する選択物、又はｉｉｉ）デシベルレベルが可変、且つどのようなコンテンツの文書が前記ドライバの関心を引くものであるか前記システムが判断するパーソナル化音声要約に、前記ドライバを関与させる、第１の積極的支援メカニズムを提供するように構成されることを特徴とする請求項１に記載の評価エンジン。
9. 前記ドライバ支援モジュールは、前記文書の前記コンテンツの抜粋要約を作成するために文書要約エンジンを使用し、ドライバ特有嗜好性モデルは、テキスト、閲覧習慣、及びユーザから求められた入力から、ドライバの好みを抽出し、前記ドライバ支援モジュールと共に作動する音声変換サブシステムは、前記車両のスピーカを介して前記ドライバに報告する前記文書の前記要約されたコンテンツを作成するために使用されることを特徴とする請求項８に記載の評価エンジン。
10. 前記ドライバ支援モジュールは、前記パーソナル化音声要約が作成される際に前記ドライバの眠気の前記レベルを監視及び評価するように更に構成されており、前記どのようなコンテンツの文書が提示されているかに関する資料は、前記ドライバの眠気の前記レベルが変化するにつれて変化することを特徴とする請求項８に記載の評価エンジン。
11. ドライバ活動分析モジュールは、前記センサインタフェースと連携して、前記動き感知装置のカメラを用いてドライバの上半身を追跡するように構成されており、前記ドライバ活動分析モジュールは、前記動き感知装置のデータストリームを用いて、前記ドライバの上半身の姿勢及び動きを追跡するように構成されることを特徴とする請求項１に記載の評価エンジン。
12. 車両のドライバを監視する評価エンジンに対する方法であって、該方法は、
    ドライバ眠気モジュールを用いて、前記車両の前記ドライバの眠気の二以上のレベルを認識するために、前記ドライバの監視された特性を分析する特性分析工程と、
    ｉ）一以上のカメラ、及びｉｉ）動き感知装置を含む前記車両に配置された一以上のセンサを用いて、前記車両の前記ドライバを監視するセンサ使用・監視工程と、
    前記車両の前記ドライバの眠気の前記レベルの検出を支援するために、前記ドライバの顔を追跡し、前記車両の前記ドライバに対して、ｉ）顔追跡、ｉｉ）目の動き、及びｉｉｉ）瞬目追跡のうちの少なくとも一つを実行し、この出力をドライバ眠気モジュールに供給する追跡・実行・供給工程と、
    前記車両の前記ドライバの眠気の二以上のレベルを検出及び分類するために、前記ドライバの観測されたボディランゲージと顔分析に基づいて前記ドライバの眠気を評価する評価工程と、
    前記車両を始動してドライバ眠気レベル見積を含む出力を生成している間に、ｉ）訓練された機械学習モデル及びｉｉ）ルールベースモデルのうちの少なくとも一方、又はｉｉｉ）両モデルに対して、ライブマルチモーダルセンサ入力を分析する入力分析工程と、を備えており、
    前記訓練された機械学習モデル及び／又はルールベースモデルを用いる前記ドライバ眠気モジュールは、前記訓練された機械学習モデル及び／又はルールベースモデルを用いない前記ドライバ眠気モジュールよりも少ない演算サイクルを用いて、前記車両の前記ドライバの眠気の現在のレベルを分類するように構成された、方法。
13. 前記方法は、前記ドライバ眠気モジュールからの出力に基づいて、ｉ）眠気なしレベル、ｉｉ）前記ドライバの眠気の第１レベル以下、及びｉｉｉ）これらの任意の組み合わせ、からなる群から選択されたレベルに前記ドライバを維持しようと試みるドライバ支援モジュールを使用するドライバ支援モジュール使用工程を更に備えており、
    前記ドライバが少なくとも該ドライバの眠気の第１レベル以下ではない場合には、前記ドライバ支援モジュールは、前記ドライバのレベルを、ｉ）前記ドライバが前記眠気なしレベルである場合、ｉｉ）前記ドライバの眠気のレベルが、より低い眠気のレベルに下げられる場合、及びｉｉｉ）これらの任意の組み合わせ、のレベルに変化させようと試みるために、一以上の積極的支援メカニズムを前記ドライバに提供するように構成される、
    ことを特徴とする請求項１２に記載の方法。
14. 前記方法は、ｉ）前記車両の前記ドライバの眠気の前記二以上のレベルを認識するために前記ドライバの前記顔の前記追跡された特性の分析について訓練された共通眠気ありレベル機械学習モデルと、ｉｉ）前記ドライバの眠気の前記二以上のレベルを認識するために特定ドライバの任意の詳細について訓練されたユーザパーソナル化眠気ありレベル機械学習モデルと、の両モデルを使用するモデル使用工程を更に備えており、
    前記ドライバの前記二以上の特性の分析について訓練された前記共通眠気ありレベル機械学習モデルと、このドライバの任意の詳細について訓練された前記ユーザパーソナル化眠気ありレベル機械学習モデルとの組み合わせにより、前記評価エンジンは、前記共通眠気ありレベル機械学習モデルだけを用いるよりも、前記ドライバの眠気の前記レベルをより迅速に認識する、
    ことを特徴とする請求項１２に記載の方法。
15. 前記ドライバ眠気モジュールによって判定される前記ドライバの現在の眠気のレベルに基づいて、ｉ）デシベルレベルが可変、ｉｉ）どのようなコンテンツの文書が前記ドライバの関心を引くものであるか前記ドライバ支援モジュールが判断する選択物、又はｉｉｉ）デシベルレベルが可変、且つどのうなコンテンツの文書が前記ドライバの関心を引くものであるか前記システムが判断するパーソナル化音声要約に、前記ドライバを関与させる、第１の積極的支援メカニズムを提供するドライバ支援モジュールを使用するドライバ支援モジュール使用工程を更に備えることを特徴とする請求項１２に記載の方法。
16. 前記方法は、ｉ）前記センサと、前記ドライバの眠気レベルを示す前記モデルと、からのマルチモーダル解析を統合する統合工程を更に備えており、
    前記ドライバ眠気モジュールは、ｉ）前記顔追跡に対する表情分析、ｉｉ）前記目の動きに対するドライバの注視挙動分析、ｉｉｉ）前記瞬目追跡に対する瞬目プロファイル及び分析、ｉｖ）閉眼パターン分析を含む二以上の特性について、前記マルチモーダル解析を統合することを特徴とする請求項１２に記載の方法。
17. 車両のドライバを監視する二以上のモジュールを有する評価エンジンであって、該評価エンジンは、
    前記車両の前記ドライバの眠気の二以上のレベルを認識するために、前記ドライバの監視された特性を分析するように構成されたドライバ眠気モジュールと、
    前記車両の前記ドライバの眠気の前記レベルの検出を支援するために、前記車両の前記ドライバに対して、ｉ）顔追跡、ｉｉ）目の動き、及びｉｉｉ）瞬目追跡のうちの少なくとも一つを実行するように構成された顔分析モジュールであって、出力解析が前記ドライバ眠気モジュールに供給される顔分析モジュールと、
    前記顔分析モジュール及び前記ドライバ眠気モジュールを含む前記二以上のモジュールと、前記車両の前記ドライバを監視するために、ｉ）一以上のカメラ、及びｉｉ）動き感知装置、を含む前記車両に配置された一以上のセンサと、の間に配置されるセンサインタフェースと、
    を備えており、
    前記ドライバ眠気モジュールは、前記車両の前記ドライバの眠気の二以上のレベルを検出及び分類するために、前記顔分析モジュールの出力を用いて、前記ドライバの観測されたボディランゲージと顔分析とに基づいて前記ドライバの眠気を評価するように構成されており、前記ドライバ眠気モジュールは、前記ドライバが前記車両を運転してドライバ眠気レベル見積を含む出力を生成している間に、ｉ）訓練された機械学習モデル、ｉｉ）ルールベースモデル、又はｉｉｉ）両ベースモデルのうちの少なくとも一つに対して、前記センサからのマルチモーダルセンサ入力を分析するように構成されており、前記訓練された機械学習モデル及び／又はルールベースモデルを用いる前記ドライバ眠気モジュールは、前記訓練された機械学習モデル及び／又はルールベースモデルを用いない前記ドライバ眠気モジュールよりも少ない演算サイクルを用いて、前記車両の前記ドライバの眠気の現在のレベルを分類するように構成される、
    ことを特徴とする評価エンジン。
18. 前記ドライバ眠気モジュールからの出力に基づいて、ｉ）眠気なしレベル、ｉｉ）前記ドライバの眠気の第１レベル以下、及びｉｉｉ）これらの任意の組み合わせ、からなる群から選択されたレベルに前記ドライバを維持しようと試みるように構成されたドライバ支援モジュールであって、前記ドライバが、少なくとも該ドライバの眠気の第１レベル以下ではない場合には、前記ドライバのレベルを、ｉ）前記ドライバが眠気なしレベルである場合、ｉｉ）前記ドライバの眠気のレベルが、より低い眠気のレベルに下げられる場合、及びｉｉｉ）これらの任意の組み合わせ、のレベルに変化させようと試みるために、一以上の積極的支援メカニズムを前記ドライバに提供するように構成されるドライバ支援モジュールを更に備える
    ことを特徴とする請求項１７に記載の評価エンジン。
19. 前記ドライバの眠気指標の検出について訓練された前記機械学習モデルは、ｉ）前記車両の前記ドライバの眠気の前記二以上のレベルを認識するために前記ドライバの前記二以上の特性の分析について訓練された共通眠気ありレベル機械学習モデルと、ｉｉ）前記ドライバの眠気の前記二以上のレベルを認識するためにこのドライバの任意の詳細について訓練されたユーザパーソナル化眠気ありレベル機械学習モデルと、を含むことを特徴とする請求項１７に記載の評価エンジン。
20. 前記ドライバ支援モジュールは、前記ドライバ眠気モジュールによって判定される前記ドライバの現在の眠気のレベルに基づいて、ｉ）デシベルレベルが可変、ｉｉ）どのようなコンテンツの文書が前記ドライバの関心を引くものであるか前記ドライバ支援モジュールが判断する選択物、又はｉｉｉ）デシベルレベルが可変、且つどのようなコンテンツの文書が前記ドライバの関心を引くものであるか前記システムが判断するパーソナル化音声要約に、前記車両のスピーカを介して、前記ドライバを関与させる、第１の積極的支援メカニズムを提供するように構成されることを特徴とする請求項１８に記載の評価エンジン。