JP2018507130A - 認知ミラー装置、ならびにそれを制御するための方法およびコンピュータ・プログラム - Google Patents

Abstract

【課題】認知ミラー装置、ならびにそれを制御するための方法およびコンピュータ・プログラム製品を提供する。【解決手段】認知ミラー装置が、複数の画像を取り込むように構成された撮像デバイスと、ユーザの認知状態を判定するように構成されたコントローラと、複数の画像のうちの１つまたは複数を備える仮想鏡映像を表示するように構成された認知ミラーとを含み、認知ミラーの仮想鏡映像が、ユーザの認知状態を使用して決定される。【選択図】図３

Description

本開示は、ディスプレイ技術に関し、より詳細には、変更可能なコンテンツおよび特徴を有するディスプレイに関する。

車両では、運転者補助がますます一般的になっている。これは、運転者の安全性を向上させるための情報ディスプレイおよび通知を含む。こうした運転者補助は典型的に、ユーザによる応答を必要とし、したがって受動型デバイスである。

認知ミラー装置、ならびにそれを制御するための方法およびコンピュータ・プログラムを提供する。

本発明の一例示的実施形態によれば、認知（cognitive）ミラー装置が、複数の画像を取り込むように構成された撮像デバイスと、ユーザの認知状態を判定するように構成されたコントローラと、複数の画像のうちの１つまたは複数を備える仮想鏡映像（virtual reflection）を表示するように構成された認知ミラーとを含み、仮想鏡映像が、ユーザの認知状態を使用して決定される。

本発明の好ましい実施形態については下で、添付の図面を参照してより詳細に記載される。

本発明の一例示的実施形態による認知ミラー装置のブロック図である。 本発明の一例示的実施形態による認知ミラー装置を含むトラックの図である。 本発明の一例示的実施形態によるスイッチ／コントローラを含む認知ミラー装置のブロック図である。 本発明の一例示的実施形態による例示的なマッピング関数を例示する図である。 本発明の一例示的実施形態による認知ミラーおよび仮想鏡映像の例示的な図である。 本発明の一例示的実施形態による方法のフロー・ダイアグラムである。 本発明の一例示的実施形態による認知ミラー装置の動作を実施するように構成されたコンピュータ・システムのダイアグラムである。

本発明の一例示的実施形態によれば、認知ディスプレイまたは認知ミラー（本明細書では交換可能に使用される）装置は、１つまたは複数のビュー（view）特性または画像特性あるいはその両方を調整するように構成される。調整は、ユーザ（例えば運転者、警備員、病院従事者）を、ユーザの認知状態に応じて異なる様式で補助するように選択される。認知ミラーは、スタンドアロン・ソリューションとして、または別のミラー（例えば、トラック上で使用される従来のサイド・ミラー（side-view mirror））を補うように、実装することができる。

１つまたは複数の実施形態では、認知ミラー装置１００が、認知ミラー１０１、およびビデオ撮像デバイス１０２を含む。認知ミラーは、ビデオ撮像デバイス（例えばビデオ・カメラ）によって取り込まれたビューを表示する。このビューは、ユーザが従来のミラーを使用して見ることができない可能性がある（例えば車両の後方）。

本発明の一例示的実施形態によれば、装置が、車両の周囲（例えば側方および後方）の１つまたは複数の領域の画像を生成する。図２および図３を参照すると、認知ミラー装置３００が、車両の外側に（例えばサイド・ミラー（side mirror）の下部上に）位置付けられた耐候性の認知ミラー２０１を含む。この例では、車両の全ての側のビューを認知ミラー２０１内に生成することができるように、第１のカメラ２０２が、トレーラの後方の中央取付け位置内に位置付けられて第１のビュー２０３を写し、一方（暗示されるが明示的に図示されない）第２のカメラ２０４が、助手席側の車両の前部付近に位置付けられて第２のビュー２０５を写す。１つまたは複数の実施形態では、カメラに固定広角レンズを装備することができる。

各カメラ（２０２／２０４）からのビデオ信号が、スイッチ／コントローラ３０１に伝送される。スイッチ／コントローラ３０１は、認知ミラー２０１によって表示される画像を、例えば、各信号に対応する画像を所定の時間にわたって表示するように、またはカメラのうちのいずれか１つの手動選択を可能にするように、制御する。スイッチ／コントローラ３０１は、ユーザの認知状態を判定することができる。認知状態は、目の動き、顔の表情、姿勢、脈拍等を含む異なるパラメータを評価するためのセンサを使用して判定することができる。認知状態の例としては、例えば、所定の正常範囲内にある１つまたは複数のパラメータ（例えば正常な脈拍および目の動き）に関連付けられる正常状態、車線変更等の準備をする際のような、特定の方向へ移動する目線に関連付けられる準備状態がある。そのようにして、運転者は、自身の認知状態に応じて、車両の１つまたは複数の追加の外側のビューを確かめるために認知ミラー２０１を見て、それにより安全性を高めるとともに、後退または車線変更する間に障害物がないかどうかを確認するためにさまざまな方向を見る必要性を低減させることができる。例えば、認知ミラー２０１によって表示される画像は、準備状態に関連する目線方向に対応することができる。

本発明の一例示的実施形態によれば、スイッチ／コントローラ３０１は、ユーザに関係するパラメータを決定する。運転者の例では、これらのパラメータは、運転能力の尺度、注意力低下（distraction）の平均レベル等のような一般的なパラメータ、および現在の走行の距離、天候等を含む特定のパラメータを含むことができる。スイッチ／コントローラ３０１は、運転者のパラメータを使用して、表示パラメータを調整することができる。

ユーザのパラメータは、第１のカメラ２０２／第２のカメラ２０４および他のセンサ３０４から決定することができる（例えば車両の速度計、ユーザの心拍数モニタから取り込まれたユーザの心拍数等）。

加えて、ユーザのパラメータは、リモート・リポジトリ（remoterepository）３０２、または認知モデリング・ファシリティ（facility）３０３、例えば運転者のスマート・フォンもしくは活動モニタ、またはクラウド・ベースの認知インターフェース管理ファシリティに記憶させ、そこから取り出してよい。本発明の１つまたは複数の実施形態では、運転者のパラメータは、構成可能マッピングを使用して１つまたは複数の表示パラメータに変換される。構成可能マッピングは、車両製造業者、規制機関、認知モデリングおよび管理サービス、ユーザ等によって提供することができる。一例では、マッピングは、運転者のパラメータ（例えば運転者の注意力低下のレベル）を、仮想的または物理的な実施の形で、認知ミラーの形状（例えば凸／凹）に関係付ける。別の例では、運転者のパラメータは、認知ミラー内の物体の背面照明／強調表示に対する運転者の反応のレベル、または運転者の年齢を含むことができ、これは、スイッチ／コントローラ３０１によって、認知ミラーの角度を制御するために使用することができる。さらに別の例では、運転者の運転経験が、認知ミラーが確認されるべき時の点滅アラートなどの認知ミラー注意信号にマッピングされる。

表示パラメータの調整は、ユーザの認知状態をサンプリングして（例えば信頼しきい値（thresholdfor confidence）上で）収束に至るまで、繰り返し行うことができる。例えば、認知ミラーは、運転者が周辺の車両または交通に適切に応答していると判断されるまで、表示パラメータの調整を繰り返し行うことによって、運転者の視点（point of view）に適応することができる（これは、例えば、認知ミラーが運転者のビュー内の任意の死角を低減させたことを示す）。運転者に周辺の車両が見えているという判定は、運転挙動、振返り挙動、および目の動きの分析によって確定することが可能である。一例では、認知ミラーによって表示される仮想鏡映像を、ユーザの認知状態のアセスメント（すなわち、光によって目が眩んでいる認知状態の指標（indication）として、弱光が支配的な環境でユーザが目を細めているかどうかを判定すること）に基づく眩惑抑制のために、調整することができる。この場合、弱光が支配的な環境は、時刻および日付（すなわち夕暮れ後かどうか）に基づいて判定することができる。

図４は、Ｘ軸、Ｙ軸上の認知パラメータをＺ軸内のミラー・パラメータに関係付ける多次元パラメータ・マッピングとしての、例示的な構成可能マッピング４００を示す。例えば、Ｘ軸およびＹ軸は、運転者の注意力低下のレベル、および現在の走行の距離に対応することができ、一方Ｚ軸は、注意信号を表示するためのしきい値に対応し、したがって、ＸおよびＹのレベルが上がるにつれて、注意信号を表示するためのしきい値が（例えば点４０１まで）下がる。

一例示的実装形態では、駐車車両の場合、認知ミラーは、例えば運転者のミラーとの近さに応じて、運転者の拡大画像を表示することができる。一例では、認知ミラー装置は、運転者が認知ミラーに近づきつつあると判定し、その結果として、運転者の拡大画像を表示することができる。この場合、認知ミラー装置は、運転者の要求（例えばクローズ・アップ・ビュー）を知覚し、拡大ビューを表示する。別の例示的実装形態では、認知ミラーは、カレンダーを表示することができ、ユーザが認知ミラーに近づく時、ディスプレイが、例えば目の動きに基づいて、カレンダーのユーザにとって関心のあるものと判定された領域上を拡大することができる。

認知ミラー装置は、特性間の相関関係、取り込まれた事象、活動の頻度等に関する多くのユーザの経験の集計に基づいて、学習することができる。

別の実施形態では、認知ミラーのコンテンツおよび特徴が、ユーザの近くの個体の知覚された認知状態に応じて、例えば交通混雑のレベルに基づいて、変化する。これらの個体としては、ユーザの車両の周囲に位置する、例えばサイクリスト、歩行者、単車、車の運転者等があり得る。本実施形態では、認知ミラーのコンテンツおよび特徴は、例えば認知ミラーのディスプレイ内の車両の周囲の輪郭による、半径Ｒ内の車両の境界、認知ミラーの明るさの変更、認知ミラーのディスプレイ内の車両を指し示す矢印、認知ミラーのディスプレイ内で車両をよりはっきりと見えるようにする、ビューまたは視点（perspective）の変更等を含むことができる。認知ミラーの特定の領域内の車両の境界は、運転者の目の動き、認知ミラーの角度、および撮像された物体（例えばマークされている車両）の位置に基づく推定値を含む。例えば、図５は、本発明の一例示的実施形態による認知ミラーおよび仮想鏡映像５００の図を示し、その中には、注意信号５０１（例えば点滅アラート）が、ビデオ撮像デバイスによって取り込まれるとともに仮想鏡映像５００と同様に表示された車両５０３の境界５０２と一緒に、表示されている。

ユーザの近くの個体の認知状態は、信頼値（confidence）Ｃを用いて推定することができ、この信頼値Ｃは、例えば、知覚された運転パターン、車種、知覚された注意力低下レベル、生体測定入力（例えば、他の運転者の目をアイ・トラッカを使用して追従することに基づくそれらの運転者の運転の注意深さの状態、ステアリング・ホイールの握り締め、車内の雑音のボリューム、道路から逸れる傾向と元に戻ろうとする試み、疲れまたは怒りの他の指標（indicator）等のような、他の運転者から得られた情報）、興奮（arousal）状態（例えば近くの車両内のさらなる乗員によって引き起こされる注意力低下）、別の運転者の顔および目のリアルタイム・ビデオ等によるものである。このビデオは、ビデオが非公開のままであるように匿名化することができる。

本発明の一例示的実施形態によれば、認知ミラー装置３００の通信デバイス３０５（図３参照）が、運転者認知状態を、ユーザの車両の近くにある（例えば、ユーザの車両の約１５０フィート（４５．７２ｍ）以内、またはベクトル・データが与えられればユーザの車両の約５秒以内の）、道路上の車両内に実装された認知ミラー装置間で共有する。通信デバイス（例えば３０５）を通じて認知状態を共有すると、特定の認知状態にある運転者によって運転されている車両を、認知ミラー内で識別することが容易になる。その場合、境界は、認知ミラー内に画像形成された車両の操縦者の認知状態についての情報を含むことができる。１つまたは複数の実施形態では、認知ミラーは、ビデオ情報を道路上の他の車両と共有することができる。例えば、ＰＩＰ（ピクチャ・イン・ピクチャ）ディスプレイが、ユーザの車両の真後ろの車両から得られたビューを示すことができる。このようにして、（例えば他の車両によって妨げられている）より遠方の交通状況についての情報が、運転者に利用可能となり得る。ＰＩＰは、さらにいっそう遠方の道路状況のさらなるビューを可能にするように、再帰的とすることができる。

本発明の１つまたは複数の実施形態によれば、通信デバイス３０５は、ユーザの車両の近くにある複数の認知ミラー装置を接続するネットワークの一構成要素である。一例では、ネットワークは、通信デバイス３０５がハブとして機能する中心またはスター型データ・フロー・トポロジ（central or star data flow topology）のように構成される。別の例では、ネットワークは、通信デバイス３０５がピアとして機能するピア・ツー・ピア・ネットワークとして構成される。

本発明の一例示的実施形態によれば、ビデオ・コンテンツが記憶される。記憶されたビデオ・コンテンツは、後に、例えば教育目的で再生することができる。

１つまたは複数の例示的実施形態では、認知ミラー装置が、航空機、単車、または自転車を含む車両上、病院や安全な環境（secure environment）など屋内用途に実装され、この場合、ドーム認知ミラーまたは差込み式（drop-in）認知ミラーが、角を曲がったところの近づきつつある物体に、衝突を回避するように、おそらくは物体の知覚された速度に基づいてユーザの注意を（例えば視覚的な注意信号またはアラート通知によって）引くことができる。別の実施形態例では、仮想認知ミラーを、拡張現実（ＡＲ）環境に実装することができる。仮想認知ミラーは、デンタル・ミラー、スペキュラを含むミラーを現在使用している医療デバイス、およびある特定の認知テストに有用となり得る。

１つまたは複数の例示的実施形態では、認知ミラー装置が、ビデオ・ゲーム、チュートリアル、訓練シミュレータ等のような仮想環境に実装される。例えば、仮想車両内の認知ミラーは、ユーザの認知状態に応じて、コンテンツおよび特徴を変更することができる。

要約として、本発明の一例示的実施形態によれば、図６は、１つまたは複数の入力デバイス（例えばカメラ、センサ等）からのビデオ信号を含む、入力データを取り込むこと６０１、取り込まれた入力データに基づいて（例えばユーザの認知状態を使用して）、認知ミラーのパラメータを決定すること６０２、認知ミラーのコンテンツまたは特徴あるいはその両方を調整すること６０３（例えば位置合せを変更すること、注意情報を追加すること、拡大すること等）、および調整されたコンテンツまたは特徴あるいはその両方に対応する画像を備える仮想鏡映像を認知ミラー上に表示すること６０４を含む、認知ミラー装置を動作させるための方法６００を示す。調整は、凸／凹、位置合せ、明るさ、コントラスト、ヘッドライト眩惑抑制、表示されたビデオ・カメラからの入力等を含む、認知ミラーのコンテンツおよび特徴の変更を含むことができる。認知／コンテキスト・パラメータは、車両の周囲の領域のコンテキスト、ユーザの視線、車両の速度、車両の特徴、ユーザの特徴（例えば運転者がサングラスをかけているかどうか、瞳孔拡張、疲労、および注意力低下）等を含むことができる。

本開示の実施形態の方法は、電子デバイスまたは代替システムで使用するのに特によく適していることがある。したがって、本発明の実施形態は、完全にハードウェアの実施形態、またはソフトウェアの態様とハードウェアの態様とを組み合わせた実施形態の形をとってよく、それらは全て、本明細書では一般に「プロセッサ」、「回路」、「モジュール」、または「システム」と呼ばれることがある。

さらに、本明細書に記載された方法のいずれかは、認知ミラー（例えば２０１）と、スイッチ／コントローラ３０１と、入力デバイス（例えば第１のカメラ２０２およびセンサ３０４）とを含む認知ミラー装置を提供する追加ステップを含むことができることに、留意されたい。さらに、コンピュータ・プログラム製品は、実行されると、別個のソフトウェア・モジュールを備えたシステムの提供を含む、本明細書に記載された１つまたは複数の方法ステップを遂行するように適合されたコードを備える、有形のコンピュータ可読記録可能記憶媒体を含むことができる。

図７を参照すると、図７は、本発明の一実施形態による認知ミラー装置３００（図３参照）を具現化する、一例示的コンピュータ・システムを描いたブロック図である。図７に示されるコンピュータ・システムは、プロセッサ７０１と、メモリ７０２と、ディスプレイ７０３と、入力デバイス７０４（例えばキーボード）と、ネットワークＩ／Ｆ７０５と、媒体Ｉ／Ｆ７０６と、信号源、例えばカメラ、ハード・ドライブ（Hard Drive）（ＨＤ）、外部メモリ・デバイス等のような媒体７０７とを含む。

さまざまな用途では、図７に示される構成要素のうちのいくつかを省略することができる。図７に示されるシステム全体は、コンピュータ可読命令によって制御され、コンピュータ可読命令は一般に、媒体７０７内に記憶される。このソフトウェアは、ネットワーク（図中に図示せず）からダウンロードし、媒体７０７内に記憶させることができる。あるいは、ネットワークからダウンロードされたソフトウェアを、メモリ７０２内にロードし、ソフトウェアによって定められる機能を果たすように、プロセッサ７０１によって実行することができる。

プロセッサ７０１は、その例証となる実施形態が上記の図に示されているとともに本明細書に記載されている、本開示において記載された１つまたは複数の方法を実施するように構成してよい。本発明の実施形態は、メモリ７０２内に記憶されるとともにプロセッサ７０１によって実行される、媒体７０７からの信号を処理するルーチンとして実装することができる。したがって、このコンピュータ・システムは、本開示のルーチンを実行するときに専用コンピュータ・システムになる、汎用コンピュータ・システムである。

図７に記載されたコンピュータ・システムは、本開示による方法をサポートすることができるが、このシステムは、コンピュータ・システムの一例にすぎない。当業者なら、本発明の実施形態を実装するために他のコンピュータ・システム設計が使用できることを理解するはずである。

本発明は、システム、方法、またはコンピュータ・プログラム製品、あるいはそれらの組合せであってよい。コンピュータ・プログラム製品は、本発明の態様をプロセッサに遂行させるためのコンピュータ可読プログラム命令を有する１つまたは複数のコンピュータ可読記憶媒体を含んでよい。

コンピュータ可読記憶媒体は、命令実行デバイスによって使用するための命令を保持および記憶することのできる、有形のデバイスとすることができる。コンピュータ可読記憶媒体は、例えば、以下のものに限定されないが、電子記憶デバイス、磁気記憶デバイス、光記憶デバイス（optical storage device）、電磁気記憶デバイス、半導体記憶デバイス、または前述のものの任意の適切な組合せであってよい。コンピュータ可読記憶媒体のより具体的な例の非網羅的リストは、次の、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリー・メモリ（ＲＯＭ）、消去可能プログラマブル・リード・オンリー・メモリ（ＥＰＲＯＭまたはフラッシュ・メモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク・リード・オンリー・メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリ・スティック、フロッピー（Ｒ）ディスク、命令が記録されたパンチ・カードや溝内の隆起した構造体などの機械的符号化デバイス、および前述のものの任意の適切な組合せを含む。コンピュータ可読記憶媒体は、本明細書では、電波もしくは他の自由に伝播する電磁波、導波路もしくは他の伝送媒体を通って伝播する電磁波（例えば光ファイバ・ケーブルを通過する光パルス）、またはワイヤを通って伝送される電気信号など、一時的な信号そのものであると解釈されるべきではない。

本明細書に記載されたコンピュータ可読プログラム命令は、それぞれのコンピューティング／処理デバイスにコンピュータ可読記憶媒体から、または外部コンピュータもしくは外部記憶デバイスにネットワーク、例えばインターネット、ローカル・エリア・ネットワーク、広域ネットワーク、またはワイヤレス・ネットワーク、あるいはそれらの組合せを介して、ダウンロードすることができる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、ワイヤレス伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、またはエッジ・サーバ、あるいはそれらの組合せを備えてよい。各コンピューティング／処理デバイス内のネットワーク・アダプタ・カードまたはネットワーク・インターフェースが、ネットワークからコンピュータ可読プログラム命令を受信し、そのコンピュータ可読プログラム命令を、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体内に記憶させるために転送する。

本発明の動作を遂行するためのコンピュータ可読プログラム命令は、アセンブラ命令でもよく、命令セット・アーキテクチャ（ＩＳＡ）命令でもよく、マシン命令（machine instruction）でもよく、マシン依存命令でもよく、マイクロコードでもよく、ファームウェア命令でもよく、状態設定データ（state-setting data）でもよく、Ｓｍａｌｌｔａｌｋ（Ｒ）、Ｃ＋＋、または同様のものなどのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語や類似のプログラミング言語など旧来の手続き型プログラミング言語を含む、１つまたは複数のプログラミング言語の任意の組合せで記述されたソース・コードとオブジェクト・コードのどちらかでもよい。コンピュータ可読プログラム命令は、全体がユーザのコンピュータ上で実行されてもよく、一部がスタンド・アロンのソフトウェア・パッケージとしてユーザのコンピュータ上で実行されてもよく、一部がユーザのコンピュータ上でかつ一部がリモート・コンピュータ上で実行されてもよく、全体がリモート・コンピュータまたはサーバ上で実行されてもよい。後者のシナリオでは、リモート・コンピュータをユーザのコンピュータに、ローカル・エリア・ネットワーク（ＬＡＮ）もしくは広域ネットワーク（ＷＡＮ）を含む任意のタイプのネットワーク経由で接続してよく、または接続を（例えばインターネット・サービス・プロバイダを使用してインターネット経由で）外部コンピュータに対して行ってよい。いくつかの実施形態では、本発明の態様を実施するために、例えばプログラマブル・ロジック回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、またはプログラマブル・ロジック・アレイ（ＰＬＡ）を含む電子回路が、コンピュータ可読プログラム命令の状態情報を利用して電子回路を個別化（personalize）することによって、コンピュータ可読プログラム命令を実行してよい。

本発明の態様については、本発明の実施形態による方法、装置（システム）、およびコンピュータ・プログラム製品の、フローチャート図またはブロック図あるいはその両方を参照して、本明細書に記載されている。フローチャート図またはブロック図あるいはその両方の各ブロック、およびフローチャート図またはブロック図あるいはその両方内のブロックの組合せは、コンピュータ可読プログラム命令によって実装できることが理解されよう。

これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラマブル・データ処理装置のプロセッサを介して実行される命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロック内に指定された機能／動作を実装するための手段を形成するように、汎用コンピュータ、専用コンピュータ、または他のプログラマブル・データ処理装置のプロセッサに提供されて、マシンを作り出すものであってよい。これらのコンピュータ可読プログラム命令は、命令が記憶されたコンピュータ可読記憶媒体が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロック内に指定された機能／動作の態様を実装する命令を含んだ製品を備えるように、コンピュータ可読記憶媒体内に記憶され、コンピュータ、プログラマブル・データ処理装置、または他のデバイス、あるいはそれらの組合せに、特定の様式で機能するように指示することができるものであってもよい。

コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブル装置、または他のデバイス上で実行される命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロック内に指定された機能／動作を実装するように、コンピュータにより実施されるプロセスを生成すべく、コンピュータ、他のプログラマブル・データ処理装置、または他のデバイス上にロードされ、コンピュータ、他のプログラマブル装置、または他のデバイス上で一連の動作ステップを実行させるものであってもよい。

図中のフローチャートおよびブロック図は、本発明のさまざまな実施形態によるシステム、方法、およびコンピュータ・プログラム製品の、可能な実装形態のアーキテクチャ、機能性、および動作を例示する。この点に関して、フローチャートまたはブロック図内の各ブロックは、指定された論理機能を実装するための１つまたは複数の実行可能命令を備える、命令のモジュール、セグメント、または部分を表すことがある。いくつかの代替実装形態では、ブロック内に記された機能が、図中に記された順序から外れて行われることがある。例えば、連続して図示された２つのブロックが実際にはほぼ同時に実行されることがあり、または、必要とされる機能性に応じて、それらのブロックが時には逆順に実行されることもある。ブロック図またはフローチャート図あるいはその両方の各ブロック、およびブロック図またはフローチャート図あるいはその両方内のブロックの組合せを、指定された機能もしくは動作を実施し、または専用ハードウェアとコンピュータ命令との組合せを遂行する、専用ハードウェア・ベースのシステムによって実装できることにも留意されよう。

本明細書で使用される用語は、特定の実施形態について記載するためのものにすぎず、本発明を限定することは意図されていない。本明細書では、単数形「１つの（a）」、「１つの（an）」、および「その（the）」は、文脈上明らかに示す場合を除き、複数形も含むことが意図される。用語「備える（comprises）」または「備える（comprising）」あるいはその両方は、本明細書で使用されるとき、述べられた特色、整数、ステップ、動作、要素、または構成要素、あるいはそれらの組合せの存在を指定するが、１つまたは複数の他の特色、整数、ステップ、動作、要素、構成要素、またはそれらのグループ、あるいはそれらの組合せの存在または追加を妨げないことが、さらに理解されよう。

添付の特許請求の範囲における全てのミーンズまたはステップ・プラス・ファンクション要素の対応する構造体、材料、動作、および均等物は、具体的に特許請求された他の特許請求要素と組み合わせて機能を実施するための、任意の構造体、材料、または動作を含むことが意図される。本発明の記載は、例示および説明を目的として提示されてきたが、網羅的であること、または開示された形をとる本発明に限定されることは、意図されていない。当業者には、本発明の範囲および思想から逸脱しない多くの変更形態および変形形態が明らかとなるであろう。実施形態は、本発明の原理および実際的用途について最もよく説明するために、また他の当業者が、企図される特定の使用に適するようにさまざまな変更形態を伴うさまざまな実施形態について本発明を理解できるようにするために、選択され、記載されたものである。

Claims (20)

1. 車両で使用するための認知ミラー装置であって、
   複数の画像を取り込むように構成された撮像デバイスと、
   ユーザの認知状態を判定するように構成されたコントローラと、
   前記複数の画像のうちの１つまたは複数を備える仮想鏡映像を表示するように構成された認知ミラーと
   を備え、前記仮想鏡映像が、ユーザの前記認知状態を使用して決定される、
   認知ミラー装置。
2. 前記ユーザの前記認知状態を表すデータを取り込むセンサをさらに備え、前記センサが、前記ユーザの前記認知状態を表す前記データを前記コントローラに通信する、請求項１に記載の認知ミラー装置。
3. 前記コントローラが、前記ユーザの前記認知状態を表す前記データを前記認知ミラーの制御可能パラメータに関係付けるマッピングを含む、請求項２に記載の認知ミラー装置。
4. 前記コントローラが、前記ユーザの前記認知状態に関する信頼値Ｃを推定するように構成される、請求項３に記載の認知ミラー装置。
5. 前記認知ミラーの前記制御可能パラメータが、前記認知ミラーの形状、前記認知ミラーの前記ユーザに対する角度のうちの１つであり、前記コントローラが、前記マッピングおよび前記信頼値Ｃを使用して、前記制御可能パラメータの値を選択する、請求項４に記載の認知ミラー装置。
6. 前記認知ミラーの前記制御可能パラメータが、表示画像の変更および拡張のうちの１つであり、前記コントローラが、前記マッピングおよび前記信頼値Ｃを使用して、前記制御可能パラメータの値を選択する、請求項４に記載の認知ミラー装置。
7. 前記表示画像の前記拡張が、アラートを含む、請求項６に記載の認知ミラー装置。
8. 前記表示画像の前記変更が、前記表示画像の部分の拡大、前記表示画像の明るさ、前記表示画像のコントラスト、前記表示画像内に画像形成された車両に関するヘッドライト眩惑抑制を含む、請求項６に記載の認知ミラー装置。
9. 前記ユーザの近くにいる操縦者の認知状態を表すデータを受信する通信デバイスをさらに備える、請求項１に記載の認知ミラー装置。
10. 前記コントローラが、前記車両内に配設され、前記車両の状態を判定するように構成され、前記コントローラが、前記車両の前記状態を前記認知ミラーの制御可能パラメータに関係付けるマッピングを含む、請求項１に記載の認知ミラー装置。
11. 車両で使用するための認知ミラー装置を制御するための方法であって、
    前記認知ミラー装置の撮像デバイスによって、複数の画像を取り込むことと、
    前記認知ミラー装置のコントローラによって、ユーザの認知状態を判定することと、
    前記認知ミラー装置の認知ミラーによって、前記複数の画像のうちの１つまたは複数を備える仮想鏡映像を表示することと
    を含み、前記仮想鏡映像が、ユーザの前記認知状態を使用して決定される
    方法。
12. センサによって、前記ユーザの前記認知状態を表すデータを取り込むことをさらに含み、前記センサが、前記ユーザの前記認知状態を表す前記データを前記コントローラに通信する、請求項１１に記載の方法。
13. 前記コントローラによって、前記ユーザの前記認知状態を表す前記データを前記認知ミラーの制御可能パラメータにマッピングすることをさらに含む、請求項１２に記載の方法。
14. 前記ユーザの前記認知状態を推定することをさらに含み、推定値が信頼値Ｃを有する、請求項１３に記載の方法。
15. 前記認知ミラーの前記制御可能パラメータが、前記認知ミラーの形状、前記認知ミラーの前記ユーザに対する角度のうちの１つである、請求項１３に記載の方法。
16. 前記認知ミラーの前記制御可能パラメータが、表示画像の変更および拡張のうちの１つである、請求項１３に記載の方法。
17. 前記表示画像の前記拡張が、アラートを表示することを含む、請求項１６に記載の方法。
18. 前記表示画像の前記変更が、前記表示画像の部分を拡大すること、前記表示画像の明るさを制御すること、前記表示画像のコントラストを制御すること、前記表示画像内に画像形成された車両に関するヘッドライト眩惑を抑制することを含む、請求項１６に記載の方法。
19. 通信デバイスによって、前記ユーザの近くにいる操縦者の認知状態を表すデータを受信することをさらに含む、請求項１１に記載の方法。
20. 認知ミラー装置を制御するためのコンピュータ・プログラム製品であって、プログラム命令が具現化されたコンピュータ可読記憶媒体を備え、前記プログラム命令が、
    前記認知ミラー装置の撮像デバイスによって、複数の画像を取り込むことと、
    前記認知ミラー装置のコントローラによって、ユーザの認知状態を判定することと、
    前記認知ミラー装置の認知ミラーによって、前記複数の画像のうちの１つまたは複数を備える仮想鏡映像を表示することと
    を含み、前記認知ミラー装置の前記仮想鏡映像が、ユーザの前記認知状態を使用して決定される
    方法をプロセッサに実施させるように、前記プロセッサによって実行可能である、コンピュータ・プログラム製品。

Images