JP2013149257A - 適応インターフェースシステム - Google Patents

適応インターフェースシステム Download PDF

Info

Publication number
JP2013149257A
JP2013149257A JP2013007727A JP2013007727A JP2013149257A JP 2013149257 A JP2013149257 A JP 2013149257A JP 2013007727 A JP2013007727 A JP 2013007727A JP 2013007727 A JP2013007727 A JP 2013007727A JP 2013149257 A JP2013149257 A JP 2013149257A
Authority
JP
Japan
Prior art keywords
user
tracking area
interface system
displacement
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013007727A
Other languages
English (en)
Inventor
Petre Madau Dinu
ピーター マダウ ディヌ
Mark Mikolajczak Matthew
マーク ミコライチャク マシュー
Morris Paul
モリス ポール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Visteon Global Technologies Inc
Original Assignee
Visteon Global Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Visteon Global Technologies Inc filed Critical Visteon Global Technologies Inc
Publication of JP2013149257A publication Critical patent/JP2013149257A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/654Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/656Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being a passenger
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143Touch sensitive instrument input devices
    • B60K2360/1438Touch screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149Instrument input by detecting viewing direction not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/21Optical features of instruments using cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】ユーザの適応追跡に基づいてユーザインターフェースの視覚表示器を制御する適応インターフェースシステムの提供。
【解決手段】適応ディスプレイシステムは、ユーザへの視覚出力を生成するためのディスプレイ26、26’を有するユーザインターフェースと、ユーザの追跡領域の画像を取得し、かつ取得された画像を表すセンサー信号を生成するためのセンサー12,12’と、センサー及びディスプレイと通信するプロセッサとを含み、プロセッサは、センサー信号を受信し、命令セットに基づいてセンサー信号を分析してユーザの追跡領域の変位を判定し、ユーザの追跡領域の変位に基づいてディスプレイ上に提示された視覚表示器を制御する。
【選択図】図1

Description

本発明は、概してヒューマン・マシン・インターフェースに関する。具体的には、本発明は、ユーザの適応追跡に基づいたユーザインターフェースとの相互作用を行うための適応インターフェースシステム及び方法に関する。
現在の車両システムは、以下のコンポーネント、すなわち、ディスプレイ、タッチスクリーン、タッチセンサー、コントロールノブ、ユーザと係合可能なボタン、及び他のコントローラのうち1つ以上を含むユーザインターフェースを有する。一般的に、ユーザは、直接的接触又は物理的操作により、制御を作動させる。最近では、車両は、車両システム(例えば、空調制御システム、エンターテイメント制御システム、ナビゲーションシステムなど)のハンズフリー制御を可能にするように視線追跡も使用する。しかし、車両の乗員の眼の位置及び移動の検出は、特定の状況(例えば、物体又は物質(例えば、乗員の手、眼鏡、サングラス、帽子、メイクアップなど)による遮断、乗員の眼の大きさ又は瞼の開きが比較的小さい場合、車両の振動など)において、妨害されるか又は更には不可能とさえなる可能性がある。
一般的には、視線追跡デバイス及びシステムは、乗員の眼上に閃光を発生しかつ検出するためのフィルターを備えた複数の高分解能撮像装置及び狭帯域赤外線照明器を用いる。眼上の閃光を分析して乗員の注視方向を判定するためには、複雑な数学及び高度な計算が必要となる。そのため、乗員の注視方向を正確に判定することが可能な視線追跡デバイス及びシステムは限られており、また高価でもある。
ユーザの適応追跡に基づいてユーザインターフェースの視覚表示器を制御する適応インターフェースシステムを開発することが望ましいことになる。
本発明により、驚くべきことに、ユーザの適応追跡に基づいてユーザインターフェースの視覚表示器を制御する適応インターフェースシステムが発見された。
一実施形態において、適応インターフェースシステムは、車両システムを制御するためのユーザインターフェースと、ユーザの追跡領域を検出し、ユーザの追跡領域を表すセンサー信号を生成するセンサーと、センサー及びユーザインターフェースと通信するプロセッサとを備え、プロセッサは、センサー信号を受信し、命令セットに基づいてセンサー信号を分析して追跡領域の変位を判定し、追跡領域の変位に基づいて、ユーザインターフェース上に提示された視覚表示器を制御する。
別の実施形態において、車両のための適応インターフェースシステムは、ディスプレイを含む少なくとも1つのユーザインターフェースであって、ディスプレイは、車両システムのための制御を有する、ユーザインターフェースと、ユーザの追跡領域の画像を取得することによりユーザの追跡領域を検出するセンサーであって、ユーザの追跡領域の取得された画像を表すセンサー信号を生成する、センサーと、センサー、車両システム及び1つのユーザインターフェースと通信するプロセッサであって、センサー信号を受信し、ユーザの追跡領域の変位を判定するための命令セットに基づいてセンサー信号を分析し、追跡領域の変位に基づいてディスプレイ上に提示された視覚表示器を制御し、視覚表示器は、車両システムのための制御を選択する、プロセッサと、を備える。
さらに別の実施形態において、本発明は、ディスプレイを構成する方法に関する。
方法は、車両システムを制御するユーザインターフェースを提供するステップと、ユーザの追跡領域を検出するセンサーを提供するステップと、ユーザの追跡領域の変位を判定するステップと、ユーザの追跡領域の変位に基づいて、ユーザインターフェース上に提示された視覚表示器を制御するステップを含む。
本発明のインターフェースシステムは、現行のタッチレスシステム(すなわち、視線追跡インターフェースシステム)と比較して、少なくとも1つの車両システムにおいて、タッチレス制御を、比較的より低コストでかつより少数のより高度でないコンポーネント(すなわち、より低い処理能力のプロセッサ、より小型の撮像装置、より低出力の照明器、フィルターの不要化など)により提供する。インターフェースシステムの照明要求は、一般的に、現行のタッチレスシステムよりも緩やかである。なぜならば、このインターフェースシステムは、乗員の眼上の閃光の発生及び検出は不要であるからである。そのため、インターフェースシステムは、現行のタッチレスシステムの照明器よりも比較的弱い照明を提供する照明器を利用することが可能である。また、このインターフェースシステムは、バイオメトリック関連の懸念も解消し、更に視線追跡インターフェースシステムと関連付けられた物体又は物質による遮断などの問題も最小限とする。
当業者であれば、以下の好適な実施形態の詳細な記載から、添付図面の視点で考慮する場合、本発明の上記及び他の利点は直ちに明白となる。
本発明の実施形態による適応インターフェースシステムを含む車両の部分模式斜視図である。 図1のインターフェースシステムの模式ブロック図であって、インターフェースシステムは、複数のユーザインターフェースを含む。 車両の運転者のポインティングベクトルが車両のヘッドアップディスプレイに向かって方向付けられている様子を示す、図1〜図2のインターフェースシステムを含む車両の部分的模式上面平面図である。 車両の運転者のポインティングベクトルが車両の中央スタックディスプレイに向かって方向付けられている様子を示す、図1〜図3のインターフェースシステムを含む車両の部分模式上面平面図である。 車両の乗員のポインティングベクトルが車両の中央スタックディスプレイに向かって方向付けられている様子を示す、図1〜図4のインターフェースシステムを含む車両の部分模式上面平面図である。
以下の詳細な説明及び添付図面は、本発明の多様な実施形態について記載及び例示する。記載及び図面は、当業者が本発明を作製及び利用できるように作用し、これらは本発明の範囲をいかなる様式においても限定することを意図しない。方法の開示について、示されたステップは本質的に例示的なものであり、よってステップの順序は不要であるか又は重要ではない。
図1〜図5は、本発明の実施形態による車両8のための適応インターフェースシステム6を示す。特定の実施形態において、インターフェースシステム6は、ユーザ入力10(図2に図示)によって活性化(起動)及び非活性化(停止)される。ユーザ入力10は、任意のユーザ入力(例えば、空間的なコマンド(例えば、眼、頭部、又は手の動き)、可聴コマンド(例えば、声による命令)、及び触覚コマンド(例えば、押しボタン、スイッチ、スライドなど))とすることができることが理解される。インターフェースシステム6は、第1のセンサー12と、プロセッサ14と、ディスプレイ26を備えた第1のユーザインターフェース16とを含む。インターフェースシステムは、所望により、更なるセンサー及びユーザインターフェースを含んでもよいことが理解される。例えば、図示のインターフェースシステム6は、第2のセンサー12′と、ディスプレイ26′を備えた第2のユーザインターフェース16′とを更に含む。インターフェースシステム6は、所望により、任意の数のコンポーネントを含むことができる。インターフェースシステム6は、任意のユーザ環境に統合することができる。
センサー12及び12′はそれぞれ、ユーザの追跡領域(例えば、車両8の運転者又は乗員)を検出することが可能な追跡デバイスである。特定の実施形態において、追跡領域は、例えば、少なくともユーザの頭部の一部又は頭部と関連付けられた対象物(例えば、顔、鼻、口、顎、片方の眼又は両眼、片方の眉毛又は両方の眉毛、片方の耳又は両耳、眼鏡又はサングラス、帽子、ヘッドバンド、及びこれらの任意の組み合わせ)とすることができる。他の特定の実施形態において、追跡領域は、例えば、最大のコントラスト又はデマケーションを提供する、少なくともユーザの頭部の一部又は頭部と関連付けられた対象物とすることができる。
センサー12及び12′は、追跡領域を検出するための比較的簡単なアルゴリズムを用いる、比較的低コストの追跡デバイスとすることができる。特定の実施形態において、センサー12及び12′はそれぞれ、追跡領域の複数の時系列的な画像を取得し、取得された画像を表すセンサー信号を生成するカメラである。非限定的例として、センサー12及び12′はそれぞれ、追跡領域の時系列的な画像を取得し、取得された画像を表すセンサー信号を生成する相補型金属酸化膜半導体(complementary metal-oxide-semiconductor:CMOS)カメラである。
特定の実施形態において、取得された画像はそれぞれ、方向通知のために使用することができる所定の画素の領域から生成される。例えば、所定の画素の領域は、追跡領域(例えば、少なくともユーザの頭部の部分又は頭部と関連付けられた対象物、最大のコントラスト又はデマケーションを提供する少なくともユーザの頭部の部分又は頭部と関連付けられた対象物)又は追跡領域によって形成される仮想点と関連付けることができる。例えば能動画素デジタル画像カメラ、光学画像カメラ又は熱画像カメラなどのような任意の適切なカメラ及び画像取得デバイスを用いることが可能であることが理解される。他のセンサー(すなわち、独立型センサー又はカメラセンサーと対にされたセンサー)(例えば、赤外線センサー)も利用可能であることが更に理解される。
図示のセンサー12及び12′は、透視図において車両8のダッシュボード又は中央スタック内に、ユーザは通常の車両操作時にいると想定されるところの視界を遮るものが無い状態で、取り付けられる。センサー12及び12′がユーザの追跡領域に集中することが可能であれば、センサー12及び12′を他の位置に取り付けることも可能である。例えば、センサー12及び12′をステアリングアセンブリ又は計器群内に取り付けてもよい。
特定の実施形態において、ユーザの追跡領域を照射するための少なくとも1つの放射エネルギー源18が配置される。非限定的な例として、放射エネルギー源18は、赤外線発光ダイオードであってもよい。しかし、他の放射エネルギー源も利用可能である。
プロセッサ14は、入力信号(例えば、センサー信号)を受信し、入力信号を分析し、ユーザインターフェース16及び16′を構成し、入力信号の分析に応答して視覚表示器19を制御するように適合された任意のデバイス又はシステムであってもよい。視覚表示器19は、所望に応じた任意の視覚表示器19とすることができる(例えば、カーソル、強調表示、又はユーザインターフェース16及び16′の対象物の色、位置及びサイズのうち少なくとも1つの変化)。特定の実施形態において、プロセッサ14はマイクロコンピュータである。図示の実施形態において、プロセッサ14は、センサー12及び12′のうち少なくとも1つからの入力信号を受信する。
図示のように、プロセッサ14は、入力信号を命令セット20に基づいて分析する。任意のコンピュータによって読み出し可能な媒体内において具現化可能な命令セット20は、プロセッサ14が多様なタスクを行うように構成するための、プロセッサによって実行可能な命令を含む。プロセッサ14は、例えば、センサー12及び12′、ユーザインターフェース16及び16′、並びに他の車両コンポーネント及びシステム(例えば、空調制御システム、ナビゲーションシステム、燃料システム、エンターテイメントシステム、ステアリングシステムの動作)の制御などのような多様な機能を実行してもよい。
特定の実施形態において、入力信号を分析して、追跡領域のX方向(デルタ(XTR))及びY方向(デルタ(YTR))における、その初期位置(XTR-0、YTR-0)に対する、変位又は相対的変化を判定するために、多様なアルゴリズム及びソフトウェアを用いることができる。追跡領域の初期位置(XTR-0、YTR-0)は、インターフェースシステム6の起動時において判定される。初期位置(XTR-0、YTR-0)に対する追跡領域のデルタ(XTR)及びデルタ(YTR)を分析して、視覚表示器19のX方向(デルタ(XVI))及びY方向(デルタ(YVI))における、その初期位置(XVI-0、YVI-0)に対する変位又は相対的変化を判定するためにもまた、多様なアルゴリズム及びソフトウェアを用いることができることが理解される。視覚表示器19の初期位置(XVI-0、YVI-0)は、プロセッサ14及び命令セット20の事前規定された設定によって制御することが可能である。例えば、視覚表示器19の初期位置(XVI-0、YVI-0)は、ユーザインターフェース16及び16′のそれぞれの少なくとも1つのディスプレイ26及び26′上の所定の位置(例えば、中心位置、左上隅、右上隅、左下隅、右下隅、又はこれらの間の任意の位置)とすることができる。
所望であれば、その初期位置(XTR-0、YTR-0)に対する追跡領域のデルタ(XTR)及びデルタ(YTR)を分析して、ポインティングベクトル21及び/又はポインティングフィールド22を判定するために、多様なアルゴリズム及びソフトウェアもまた用いてもよい。ポインティングベクトル21は、少なくとも追跡領域のポインティング方向を示し、ポインティングフィールド22は、ポインティングベクトル21からそれる所定範囲の度数(例えば、+/−5度)によって規定される。ポインティングフィールド22を規定するために、計算されたポインティングベクトル21に対する任意の範囲の度数を用いることができることが理解される。
非限定的例として、命令セット20は、プロセッサ14によって受信された情報(例えば、センサー信号を介して受信された情報)に基づいて、その初期位置(XTR-0、YTR-0)に対する追跡領域デルタ(XTR)及びデルタ(YTR)を判定するように適合された学習アルゴリズムである。別の非限定的例として、命令セット20は、その初期位置(XTR-0、YTR-0)に対する追跡領域のデルタ(XTR)及びデルタ(YTR)に基づいて、その初期位置(XVI-0、YVI-0)に対する視覚表示器19のデルタ(XVI)及びデルタ(YVI)を判定するように適合された学習アルゴリズムである。視覚表示器19の初期位置(XVI-0、YVI-0)は、プロセッサ14及び命令セット20の事前規定された設定によって制御することができる。
命令セット20は、属性(すなわち、カーソルの移動速度及びユーザの追跡領域の移動に対するカーソルの感度)及び視覚表示器19のパラメータ(例えば、増幅定数(「ゲイン」とも呼ばれる))を制御するように更に適合される。視覚表示器19の属性及びパラメータは、プロセッサ14及び命令セット20の事前規定された設定によって制御することが可能であることが理解される。例えば、視覚表示器19のゲインパラメータ設定が4である場合、その初期位置(XTR-0、YTR-0)に対する追跡領域のデルタ(XTR)及びデルタ(YTR)の各々をを4という因数によって乗算することにより、その初期位置(XVI-0、YVI-0)に対する視覚表示器19のデルタ(XVI)及びデルタ(YVI)を決定する。
特定の実施形態において、プロセッサ14は、記憶装置23を含む。記憶装置23は、単一の記憶装置であってもよいし、あるいは複数の記憶装置であってもよい。更に、記憶装置23は、固体記憶システム、磁気記憶システム、光学記憶システム、又は他の任意の適切な記憶システム又はデバイスであってもよい。記憶装置23は、命令セット20を記憶するように適合されてもよいことが理解される。他のデータ及び情報(例えば、センサー12及び12′並びにユーザインターフェース16及び16′によって収集されたデータ、計算されたポインティングベクトル21、ポインティングフィールド22)は、記憶装置23中に記憶及び分類されてもよい。特定の実施形態において、後での取り出しのためにユーザの追跡領域の初期位置(XTR-0、YTR-0)を計算して記憶装置23上に記憶させておくことができる。
プロセッサ14は、プログラム可能なコンポーネント25を更に含んでもよい。プログラム可能なコンポーネント25は、インターフェースシステム6の他の任意のコンポーネント(例えば、センサー12及び12′並びにユーザインターフェース16及び16′)と通信してもよい。特定の実施形態において、プログラム可能なコンポーネント25は、プロセッサ14の処理機能の管理及び制御を行うように適合される。具体的には、プログラム可能なコンポーネント25は、命令セット20を変更し、かつプロセッサ14によって受信された信号及び情報の分析の制御するように適合される。プログラム可能なコンポーネント25は、センサー12及び12′、ユーザインターフェース16及び16′、並びに視覚表示器19の制御属性及びパラメータを管理及び制御するように適合されてもよいことが理解される。プログラム可能なコンポーネント25は、記憶装置23上へのデータ及び情報を記憶し、かつ記憶装置23からのデータ及び情報を取り出すように適合されてもよいことが更に理解される。
ユーザインターフェース16及び16′は、車両8と関連付けられた機能を制御するための任意のデバイス又はコンポーネント(例えば、ボタン、タッチスクリーン、ノブなど)を含むことができる。ユーザインターフェース16及び16′は、単一のデバイス(例えば、ボタン又は制御装置)として規定することができることが理解される。ユーザインターフェース16及び16′は、車両8全体を通して多様な位置において利用可能であることが更に理解される。
図示のように、各ユーザインターフェース16及び16′はそれぞれ、可視出力をユーザに生成するためのディスプレイ26及び26′を含む。任意の種類のディスプレイ(例えば、2次元ディスプレイ、3次元ディスプレイ、タッチスクリーンなど)が利用可能であることが理解される。図1及び図3〜図5に示す実施形態において、ディスプレイ26はヘッドアップディスプレイであり、ディスプレイ26′は中央スタックディスプレイである。しかし、ディスプレイ26及び26′は、車両8全体を通して多様な位置に配置することが可能である(例えば、ヘッドレスト、オーバーヘッドモジュールなど)ことが理解される。非限定的例として、ディスプレイ26及び26′から生成された視覚出力は、複数の制御28及び28′をそれぞれ含むメニューシステムである。制御28及び28′の各々は、車両システム30の実行可能な機能と関連付けられる(例えば、空調制御システム、ナビゲーションシステム、エンターテイメントシステム、インターネットへ接続するように適合された通信デバイスなど)。しかし、任意の車両システムを制御28及び28′と関連付けることが可能である。任意の数の他の制御32をディスプレイ26及び26′と統合することができ、又は車両8全体を通して多様な位置(例えば、ステアリングホイール、ダッシュボード、コンソール又は中央スタック)に配置することができることが更に理解される。
使用時において、先ずユーザ入力10によってインターフェースシステム6を活性化させる。非限定的例として、プロセッサ14は、ユーザ入力10によるインターフェースシステム6の活性化を命令セット20に基づいて判定する。インターフェースシステム6の活性化の後、センサー12及び12′のうち少なくとも1つにより、ユーザの追跡領域の画像を取得する。プロセッサ14は、取得された画像に関連する入力信号(すなわち、センサー信号)及び情報をセンサー12及び12′のうち少なくとも1つから受信する。プロセッサ14は、命令セット20に基づいて入力信号及び情報を分析して、追跡領域の初期位置(XTR-0、YTR-0)を判定する。次いで、追跡領域の初期位置(XTR-0、YTR-0)を記憶装置中に保存する。
その後、センサー12及び12′は、追跡領域の時系列的な画像の取得と、取得された画像を表す入力信号(すなわち、センサー信号)の生成とを継続する。プロセッサ14は、取得された画像に関連する入力信号及び情報をセンサー12及び12′から継続的に受信する。プロセッサ14は、命令セット20に基づいて入力信号及び情報を分析して、その初期位置(XTR-0、YTR-0)に対する追跡領域のデルタ(XTR)及びデルタ(YTR)を判定する。次いで、プロセッサ14は、その初期位置(XTR-0、YTR-0)に対する追跡領域のデルタ(XTR)及びデルタ(YTR)を分析して、その初期位置(XVI-0、YVI-0)に対する視覚表示器19のデルタ(XVI)及びデルタ(YVI)を判定する。
次いで、プロセッサ14は、少なくとも1つの制御信号をそれぞれのディスプレイ26及び26′へ送信して、その初期位置(XVI-0、YVI-0)に対する視覚表示器19のデルタ(XVI)及びデルタ(YVI)に基づいて、各ディスプレイ26及び26′上に提示された視覚表示器19を制御する(例えば、カーソルの位置、強調表示の位置、又は色、位置及び/又は制御28及び28′のサイズ)。よって、ユーザの追跡領域が所望の方向(すなわち、左、右、上、下など)に移動すると、各ディスプレイ26及び26′上に提示された視覚表示器19が実質的に同時に所望の方向に移動する。
特定の実施形態において、プロセッサ14は、視覚表示器19の位置を継続的に分析し、視覚表示器19が制御28及び28′のうち1つの所定の領域内にあるか否かを判定する。非限定的例として、プロセッサ14は、視覚表示器19が制御28及び28′のうちの1つの所定の領域内にあるか否かを命令セット20に基づいて判定する。特定の実施形態において、視覚表示器19が制御28及び28′のうちの1つの所定の領域内にある場合、プロセッサ14は、各ディスプレイ26及び26′を制御して、ユーザに制御28及び28′のうち1つが選択された旨のユーザへの通知を提供する。通知は任意の所望の手段によって行うことが可能である(例えば、視覚通知(例えば、より高強度での照射、照明並びに選択されていない制御28及び28′のサイズに相対して、選択された制御28及び28′を拡大表示する手段)、可聴通知(例えば、警報音)、又は触覚通知(例えば、振動))ことが理解される。
次いで、プロセッサ14は、制御28及び28′のうちの1つが選択された状態でトリガ機構34(図2に図示)がユーザによって活性化されたか否かを判定する。非限定的例において、プロセッサ14は、トリガ機構34の活性化を命令セット20に基づいて判定する。トリガ機構34は、任意の手段(例えば、空間的なコマンド(例えば、眼、頭部、又は手の動き)、可聴コマンド(例えば、声による命令)、及び触覚コマンド(例えば、プッシュボタン、スイッチ、スライドなど)によって活性化される任意のトリガ機構とすることができることが理解される。特定の実施形態において、選択された制御28及び28′が「作動状態」となるように、トリガ機構34はユーザ入力10によって活性化され、かつインターフェースシステム6は、ユーザによるユーザ入力10の単一の活性化によって、実質的に同時に非活性化することができる。他の特定の実施形態において、トリガ機構34は、ディスプレイ26及び26′と統合されているか又は車両8全体をとおして多様な位置に配置された制御32のうち1つにより、活性化される。トリガ機構34が活性化されると、選択された制御28及び28′が「作動状態」となり、車両システム30の実行可能な機能が実行される。
図3〜図5に示すように、プロセッサ14は、ポインティングベクトル21及び/又はポインティングフィールド22を判定するために、その初期位置(XTR-0、YTR-0)に対する追跡領域のデルタ(XTR)及びデルタ(YTR)を命令セット20に基づいて分析してもよい。次いで、ユーザの追跡部の相対位置をベクトルノード24として保存することができる。入力信号の分析に従って複数のベクトルノード24をプロセッサ14によって生成することが可能であることも理解される。ポインティングベクトル21の生成後、プロセッサ14は、ポインティングベクトル21のユーザインターフェース16に向かった延長をシミュレートする。ユーザインターフェース16のうちポインティングベクトル21と交差している部分は、ポインティングフィールド22の中心を示す。ポインティングフィールド22の中心点周囲の公差範囲は、プロセッサ14及び命令セット20の事前規定された設定によって制御することができる。
当業者であれば、本発明の本質的特徴を上記の記載から容易に確認することができ、多様な用途及び条件に適合するように、本発明の多様な変更及び改変を、本発明の意図及び範囲から逸脱することなく行うことができる。
6 インターフェースシステム
8 車両
10 ユーザ入力
12、12’ センサー
14 プロセッサ
16’ ユーザインターフェース
19 視覚表示器
20 命令セット
21 ポインティングベクトル
22 ポインティングフィールド
23 記憶装置
24 ベクトルノード
25 プログラム可能なコンポーネント
26、26’ ディスプレイ
28、28’ 制御
30 車両システム
32 制御
34 トリガ機構

Claims (20)

  1. 適応インターフェースシステムであって、
    車両システムを制御するユーザインターフェースと、
    ユーザの追跡領域を検出し、前記ユーザの前記追跡領域を表すセンサー信号を生成するセンサーと、
    前記センサー及び前記ユーザインターフェースと通信するプロセッサであって、前記センサー信号を受信し、命令セットに基づいて前記センサー信号を分析して、前記追跡領域の変位を判定し、前記追跡領域の前記変位に基づいて、前記ユーザインターフェース上に提示された視覚表示器を制御する、プロセッサと、
    を備える、インターフェースシステム。
  2. 前記追跡領域は、前記ユーザの頭部の少なくとも一部と、前記ユーザの前記頭部に関連付けられた物体の少なくとも一部とのうちの少なくとも一方である、請求項1に記載のインターフェースシステム。
  3. 前記命令セットは、前記ユーザの前記追跡領域の前記変位を判定するためのアルゴリズムである、請求項1に記載のインターフェースシステム。
  4. 前記追跡領域の前記変位は、前記追跡領域のX位置及びY位置のその初期位置に対する相対的変化から判定される、請求項1に記載のインターフェースシステム。
  5. 前記追跡領域の前記初期位置は、前記インターフェースシステムの活性化時に決定される、請求項4に記載のインターフェースシステム。
  6. 前記命令セットは、前記ユーザの前記追跡領域の前記変位に基づいて前記視覚表示器の変位を判定するためのアルゴリズムである、請求項1に記載のインターフェースシステム。
  7. 前記視覚表示器の前記変位は、前記視覚表示器のX位置及びY位置のその初期位置に対する相対的変化となるように決定される、請求項6に記載のインターフェースシステム。
  8. 前記視覚表示器の前記初期位置は、前記プロセッサ及び前記命令セットの予め定義された設定によって制御される、請求項7に記載のインターフェースシステム。
  9. 前記センサーは、前記ユーザの前記追跡領域の画像を取得するための追跡デバイスである、請求項1に記載のインターフェースシステム。
  10. 前記ユーザの追跡部を照明して前記ユーザの前記追跡部の検出を容易にする電磁放射源を更に備える、請求項1に記載のインターフェースシステム。
  11. 車両用の適応インターフェースシステムであって、
    ディスプレイを含む少なくとも1つのユーザインターフェースであって、前記ディスプレイは、車両システムのための制御を有する、ユーザインターフェースと、
    ユーザの追跡領域の画像を取得することにより前記ユーザの前記追跡領域を検出するセンサーであって、前記ユーザの前記追跡領域の前記取得された画像を表すセンサー信号を生成する、センサーと、
    前記センサー、前記車両システム及び前記1つのユーザインターフェースと通信するプロセッサであって、前記センサー信号を受信し、命令セットに基づいて前記センサー信号を分析して前記ユーザの前記追跡領域の変位を判定し、前記追跡領域の前記変位に基づいて、前記ディスプレイ上に提示された視覚表示器を制御し、前記視覚表示器は、前記車両システムのための前記制御を選択する、プロセッサと、
    を備える、インターフェースシステム。
  12. 前記命令セットは、前記取得された画像に基づいて前記追跡領域の前記変位を判定するためのアルゴリズムである、請求項11に記載のインターフェースシステム。
  13. 前記追跡領域の前記変位は、前記追跡領域のX位置及びY位置のその初期位置に対する相対的変化から判定される、請求項11に記載のインターフェースシステム。
  14. 前記命令セットは、前記ユーザの前記追跡領域の前記変位に基づいて前記視覚表示器の変位を判定するためのアルゴリズムである、請求項11に記載のインターフェースシステム。
  15. 前記視覚表示器の前記変位は、前記視覚表示器のX位置及びY位置のその初期位置に対する相対的変化となるように決定される、請求項14に記載のインターフェースシステム。
  16. 前記視覚表示器によって選択された前記制御は、トリガ機構によって作動される、請求項11に記載のインターフェースシステム。
  17. 前記トリガ機構は、前記インターフェースシステムを活性化及び非活性化させるためのユーザ入力である、請求項16に記載のインターフェースシステム。
  18. ディスプレイを構成する方法であって、
    車両システムを制御するためのユーザインターフェースを提供するステップと、
    ユーザの追跡領域を検出するためのセンサーを提供するステップと、
    前記ユーザの前記追跡領域の変位を判定するステップと、
    前記ユーザの前記追跡領域の前記変位に基づいて、前記ユーザインターフェース上に提示された視覚表示器を制御するステップと、
    を含む、方法。
  19. 前記センサーは、前記ユーザの前記追跡領域の画像を取得し、前記追跡領域の前記変位は、前記取得された画像に基づく、請求項18に記載の方法。
  20. 前記視覚表示器は、少なくとも1つの車両システムの制御を選択し、前記選択された制御はトリガ機構によって作動可能である、請求項18に記載の方法。
JP2013007727A 2012-01-20 2013-01-18 適応インターフェースシステム Pending JP2013149257A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/354,951 2012-01-20
US13/354,951 US20130187845A1 (en) 2012-01-20 2012-01-20 Adaptive interface system

Publications (1)

Publication Number Publication Date
JP2013149257A true JP2013149257A (ja) 2013-08-01

Family

ID=48742492

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013007727A Pending JP2013149257A (ja) 2012-01-20 2013-01-18 適応インターフェースシステム

Country Status (3)

Country Link
US (1) US20130187845A1 (ja)
JP (1) JP2013149257A (ja)
DE (1) DE102013100328A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015037268A1 (ja) * 2013-09-11 2015-03-19 クラリオン株式会社 情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラム
JP2020059325A (ja) * 2018-10-05 2020-04-16 現代自動車株式会社Hyundai Motor Company 注視検出装置及びその輻輳制御方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5278461B2 (ja) * 2011-02-03 2013-09-04 株式会社デンソー 視線検出装置および視線検出方法
US9230180B2 (en) * 2013-01-18 2016-01-05 GM Global Technology Operations LLC Eyes-off-the-road classification with glasses classifier
US9833697B2 (en) * 2013-03-11 2017-12-05 Immersion Corporation Haptic sensations as a function of eye gaze
KR101567194B1 (ko) * 2014-03-04 2015-11-06 현대자동차주식회사 착탈식 차량 정보 인디케이터 및 이를 이용한 차량 정보 인디케이팅 방법
US20170132016A1 (en) * 2015-03-13 2017-05-11 Project Ray Ltd. System and method for adapting the user-interface to the user attention and driving conditions

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07141098A (ja) * 1993-11-17 1995-06-02 Nippon Telegr & Teleph Corp <Ntt> 座標入力装置
JPH09251539A (ja) * 1996-03-18 1997-09-22 Nissan Motor Co Ltd 視線計測装置
JP2004106596A (ja) * 2002-09-13 2004-04-08 Canon Inc 画像表示装置、及び画像表示方法、計測装置、及び計測方法
JP2005182247A (ja) * 2003-12-17 2005-07-07 National Univ Corp Shizuoka Univ 瞳孔位置検出によるポインティング装置及び方法
JP2006143159A (ja) * 2004-11-25 2006-06-08 Alpine Electronics Inc 車両用動き認識装置
JP2007179338A (ja) * 2005-12-28 2007-07-12 Oki Electric Ind Co Ltd 情報処理装置
JP2007263931A (ja) * 2006-03-30 2007-10-11 Denso It Laboratory Inc ドライバ思考推定装置、ドライバ思考推定方法及びドライバ思考推定プログラム
JP2010020619A (ja) * 2008-07-11 2010-01-28 National Univ Corp Shizuoka Univ カーソル移動制御方法及びカーソル移動制御装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6204828B1 (en) * 1998-03-31 2001-03-20 International Business Machines Corporation Integrated gaze/manual cursor positioning system
US7893920B2 (en) * 2004-05-06 2011-02-22 Alpine Electronics, Inc. Operation input device and method of operation input
US20090146953A1 (en) * 2006-10-30 2009-06-11 Imu Solutions, Inc. Methods for processing data from accelerometer in anticipating real-time cursor control movements
JP4411387B2 (ja) * 2007-08-07 2010-02-10 学校法人 大阪電気通信大学 動体検出装置、動体検出方法、ポインティングデバイス、コンピュータプログラム及び記憶媒体
US8593375B2 (en) * 2010-07-23 2013-11-26 Gregory A Maltz Eye gaze user interface and method
US20120215403A1 (en) * 2011-02-20 2012-08-23 General Motors Llc Method of monitoring a vehicle driver

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07141098A (ja) * 1993-11-17 1995-06-02 Nippon Telegr & Teleph Corp <Ntt> 座標入力装置
JPH09251539A (ja) * 1996-03-18 1997-09-22 Nissan Motor Co Ltd 視線計測装置
JP2004106596A (ja) * 2002-09-13 2004-04-08 Canon Inc 画像表示装置、及び画像表示方法、計測装置、及び計測方法
JP2005182247A (ja) * 2003-12-17 2005-07-07 National Univ Corp Shizuoka Univ 瞳孔位置検出によるポインティング装置及び方法
JP2006143159A (ja) * 2004-11-25 2006-06-08 Alpine Electronics Inc 車両用動き認識装置
JP2007179338A (ja) * 2005-12-28 2007-07-12 Oki Electric Ind Co Ltd 情報処理装置
JP2007263931A (ja) * 2006-03-30 2007-10-11 Denso It Laboratory Inc ドライバ思考推定装置、ドライバ思考推定方法及びドライバ思考推定プログラム
JP2010020619A (ja) * 2008-07-11 2010-01-28 National Univ Corp Shizuoka Univ カーソル移動制御方法及びカーソル移動制御装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015037268A1 (ja) * 2013-09-11 2015-03-19 クラリオン株式会社 情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラム
JP2015055999A (ja) * 2013-09-11 2015-03-23 クラリオン株式会社 情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラム
US9696814B2 (en) 2013-09-11 2017-07-04 Clarion Co., Ltd. Information processing device, gesture detection method, and gesture detection program
JP2020059325A (ja) * 2018-10-05 2020-04-16 現代自動車株式会社Hyundai Motor Company 注視検出装置及びその輻輳制御方法
JP7219041B2 (ja) 2018-10-05 2023-02-07 現代自動車株式会社 注視検出装置及びその輻輳制御方法

Also Published As

Publication number Publication date
US20130187845A1 (en) 2013-07-25
DE102013100328A1 (de) 2013-07-25

Similar Documents

Publication Publication Date Title
US10481757B2 (en) Eye gaze control system
JP5547258B2 (ja) 適応表示システムの表示コンポーネントの制御方法
JP2013149257A (ja) 適応インターフェースシステム
JP5261554B2 (ja) 指先ポインティング、ジェスチャに基づく車両用ヒューマンマシンインタフェース
US10539788B2 (en) System, method and computer program for hands-free configuration of a luminous distribution
JP5406328B2 (ja) 車両用表示装置、その制御方法及びプログラム
US9030465B2 (en) Vehicle user interface unit for a vehicle electronic device
US20110310001A1 (en) Display reconfiguration based on face/eye tracking
US20120093358A1 (en) Control of rear-view and side-view mirrors and camera-coordinated displays via eye gaze
JP2012141988A (ja) 視標追跡人間機械相互作用制御システムのためのシステム準備スイッチ
US11301678B2 (en) Vehicle safety system with no-control operation
JP6331567B2 (ja) 車両用表示入力装置
JP2017185994A (ja) 自動車の室内照明を制御するためのデバイス
CN107010077B (zh) 用于将信息传输给机动车的驾驶员的方法和适应性的驾驶员协助系统
JP2016206617A (ja) 表示システム
US20180297471A1 (en) Support to handle an object within a passenger interior of a vehicle
JP2006327526A (ja) 車載機器の操作装置
KR20130076215A (ko) 차량의 영상 변화 알림 장치
JP2016035654A (ja) 視線検出装置および視線入力システム
JP2017210198A (ja) 車両用動き検出システム
JP2018205982A (ja) 制御装置、および制御システム
JP2018120377A (ja) ドライバ監視装置、車両、ドライバ監視方法およびプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140122

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140422

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140520

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20141203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150403

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150413

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20150529