JP2002149304A - コンピュータのユーザ・インターフェース用システム及びユーザ・インターフェース提供方法 - Google Patents

コンピュータのユーザ・インターフェース用システム及びユーザ・インターフェース提供方法

Info

Publication number
JP2002149304A
JP2002149304A JP2000363686A JP2000363686A JP2002149304A JP 2002149304 A JP2002149304 A JP 2002149304A JP 2000363686 A JP2000363686 A JP 2000363686A JP 2000363686 A JP2000363686 A JP 2000363686A JP 2002149304 A JP2002149304 A JP 2002149304A
Authority
JP
Japan
Prior art keywords
user
computer
area
steering wheel
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000363686A
Other languages
English (en)
Other versions
JP3979002B2 (ja
Inventor
Hiroyuki Iwanami
イワナミ ヒロユキ
Shia Riva
シア リバ
Shue Fon
シュエ フォン
Wein Chan Sun-Wan
ウェイン チャン スン−ワン
Rin Han
リン ハン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of JP2002149304A publication Critical patent/JP2002149304A/ja
Application granted granted Critical
Publication of JP3979002B2 publication Critical patent/JP3979002B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/25Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using haptic output
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60Instruments characterised by their location or relative disposition in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • B60K35/81Arrangements for controlling instruments for controlling displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143Touch sensitive instrument input devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/77Instrument locations other than the dashboard
    • B60K2360/782Instrument locations other than the dashboard on the steering wheel
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/014Force feedback applied to GUI

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Position Input By Displaying (AREA)

Abstract

(57)【要約】 【課題】 ドライバーと自動車のシステム間の改善され
たインターフェースを提供する。 【解決手段】 車両用インターフェース・システムは、
ステアリングホイール12のクロスバー14周辺からス
テアリングホイールのリム16に延伸する、コンピュー
タへのユーザ入力用の仮想キーボードとしての検知フィ
ールド24を含む。フィールド24は制御要素が定義付
けられる。ユーザは、フィールド24内の適切なセクシ
ョンで動作することにより入力を指示する。システム
は、フィールド24内のセクションの位置、及び特定の
セクション内でのユーザの動作により入力されることが
可能な情報を示すマップを表示するコンピュータ制御デ
ィスプレイ20を含む。ディスプレイ20は、車両のド
ライバーが容易に観察可能な配向及び位置で、ダッシュ
ボード25上、又はウインドシールドガラス21上に配
置される。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、入力装置にかか
り、特に、コンピュータのユーザ・インターフェース用
システム及びユーザ・インターフェース提供方法に関
し、より詳細には、自動車等の移動体環境内に用いて好
適なコンピュータのユーザ・インターフェース用システ
ム及びユーザ・インターフェース提供方法に適用が可能
な入力装置に関する。
【0002】
【従来の技術】情報技術が発展を続けるのに伴って、新
たな情報技術が自動車等の移動体(以下、車両という)
にも組み込まれることが検討されている。CD装置やD
VD装置、電話装置、GPS(グローバル・ポジショニ
ング・システム)に基づくナビゲーション装置、テレビ
装置、及びインターネット・アクセスに必要とする装置
などの電子装置は、既に車両に導入済みのものもある。
【0003】車両の内部において、このような電子装置
を操作するには、ユーザが操作を希望する装置専用の扱
いが要求されることが多く、ユーザが運転に集中するた
めの時間の一部を費やす必要を要求する場合がある。従
って、ドライバーが安全かつ効率的な方法で扱うことが
可能な電子装置を開発することの重要性が増加してい
る。
【0004】例えば、GPSによるナビゲーション装置
は、経路案内装置として有効であり、安全にかつ効率的
に利用されるべく車両に搭載する必要があった。一般
に、ナビゲーション装置は、その機能を利用するために
比較的多くの情報が入力されることを必要とし、ドライ
バー・インターフェースの問題がより重要になる。例え
ば、ユーザは、目的地を指示する場合、数文字長の目的
地の住所入力が要求されることがある。この場合、ユー
ザには、その入力のために時間及び注意力が要求され
る。GPSによるナビゲーション装置は、一般に入手可
能になってきており、走行時の操作という観点から、車
両内におけるナビゲーション装置などのマルチメディア
装置の使用についての検討も開始されている。
【0005】一般的なナビゲーション装置の多くは、所
望の項目をメニューから選択するために複数のキーを有
する指向性キーパッド等の入力装置を備えている。この
入力装置は、手動による入力機能に代えて、入力作業を
簡便化させることが可能な音声認識システムによる入力
機能に拡張される場合もある。ところが、車両における
環境的な周辺騒音は、一般に静寂性が高い室内やオフィ
スよりも大きかったり種類が多かったりするので、実際
に音声認識(メカニズム)を備えたナビゲーション装置
を車両内で使用する場合には、オフィス環境等で使用す
るのに比べて、音声認識システムでエラーが発生する傾
向がより強い。
【0006】ナビゲーション装置は、入力、フィードバ
ック、及び出力の基本的な必要性を伴う代表的な電子装
置であるが、ラジオやCDプレーヤ等の電子装置もま
た、同様の問題がある。車両内において、電子装置に対
してより多くの要求が生じる状況が発生することを考慮
すると、ユーザと車両に搭載された電子装置との間のイ
ンターフェースには改善が必要である。
【0007】このため、安全でかつ効率的に操作するこ
とが可能な入力装置として、ユーザの行為(ジェスチ
ャ)を認識して対応する信号を出力する入力装置が提案
されている(特開平9−81309号公報参照)。この
技術では、操作者のなす行為を検出する共に、第1行為
で機器を特定し、第2行為でその機器に対するユーザの
意図する指示信号を出力する。
【0008】
【発明が解決しようとする課題】しかしながら、従来の
入力装置では、操作者の行為を特定するため、予め定め
た注目状態を検出しなければならない。すなわち、操作
者の行為を広く検出するので、誤検出を回避するため、
複数段階の選別が必要である。また、操作者の行為を広
く検出することは、車両内の空間について有効利用する
ことが困難であり、いずれの位置で行為を行っても検出
されることがある。
【0009】本発明は、上記事実を考慮して、簡単な操
作で所定の指示を確実に入力することができる入力装置
を得ることが目的である。
【0010】
【課題を解決するための手段】上記目的を達成するため
に本発明は、操作者の動作によって該動作に対応する出
力信号を電子装置に供給する入力装置において、前記動
作に対応して動作指示点が発生するように光波を出射す
る発生手段と、前記動作指示点を監視する監視手段と、
前記監視手段により監視した動作指示点に基づいて、操
作者の動作を解析する解析手段と、前記解析手段の解析
結果により定まる動作に対応する出力信号を前記電子装
置へ供給する供給手段と、を備えたことを特徴とする。
【0011】本発明では、操作者の動作によって該動作
に対応する出力信号を電子装置に供給する入力装置に適
用される。発生手段は、動作に対応して動作指示点が発
生するように光波を出射する。例えば光波の出射により
操作者の動作において、その動作に対して光波が反射す
ることで、動作指示点が発生する。すなわち、発生手段
は、空間上に動作指示点を発生させるためのものであ
り、動作指示点は、操作者の動作に対応して発生するこ
とになる。この発生した動作指示点は、監視手段によっ
て監視される。操作者の動作を監視するということか
ら、監視手段は、撮像した画像をモニターすることによ
って監視することが好ましい。この監視手段により監視
した動作指示点に基づいて、解析手段は、操作者の動作
を解析する。例えば、操作者の動作に対応して発生する
動作点の動きや位置、また時系列的な動きや位置を関し
結果として得られたとき、それに該当する動作を求め
る。この操作者の動作は、電子装置への指示に対応する
ので、供給手段は、解析手段の解析結果により定まる動
作に対応する出力信号を電子装置へ供給する。これによ
って、操作者の簡単な動作で所定の指示を確実に入力す
ることができる。
【0012】前記入力装置は、前記出力信号による前記
電子装置の機能を表す機能情報を、動作に対応して表示
する表示手段をさらに含むことができる。
【0013】電子装置は、電源のオンオフや各種作動に
ついてスイッチやキーボード入力などによる機能入力が
なされることが一般的である。このため、それら、機能
入力をどのようにしたらよいのかを操作者にアドバイス
することが好ましい。そこで、表示手段によって、出力
信号による電子装置の機能を表す機能情報を、動作に対
応して表示する。これによって、電子装置に対応した動
作指示位置を操作者に視覚させることが可能となる。
【0014】前記入力装置は、所定動作によって電子装
置に出力信号を供給したことを報知する報知手段をさら
にを含むことができる。
【0015】操作者は、動作によって、電子装置に対す
る指示を行った場合、その指示の確実性を得るために指
示が確かに行われたことを把握することが好ましい。そ
こで、報知手段は、所定動作によって電子装置に出力信
号を供給したことを報知する。この報知手段には、視覚
や聴覚に作用するものや振動などで触覚に作用するもの
が一例としてあげられ、この他、五感に作用するものを
用いることができる。これによって、所定動作により出
力信号を電子装置に供給したことを操作者にフィードバ
ックさせることができる。
【0016】前記発生手段は、出射方向を含む面状に光
を出射する発光手段から構成することができる。
【0017】発生手段は、空間上に動作指示点を発生さ
せるためのものである。この動作点は、予め定めた空間
上に一定の条件で発生させることが、操作者の動作にと
っても、これを監視することにとっても好ましい。そこ
で、発生手段が、発光手段によって出射方向を含む面状
に光を出射するようにする。例えば、発光素子からの光
をレンズによりカーテン状に配した面から構成する。こ
のように、面状に光波を出射することで、その面状に形
成された領域において操作者の動作が可能となり、この
監視も容易となる。
【0018】また、前記発生手段は、移動体を操舵する
ためのステアリングホイールに設けることができる。
【0019】発生手段による動作指示点の発生はいずれ
の空間でもよいが、移動体の内部にあっては、空間内を
有効に利用するという観点から、自ずと制限される。そ
こで、発生手段を、移動体を操舵するためのステアリン
グホイールに設けることによって、操作者の大きな動き
を要求することなく、また、他の装置との干渉を最小限
に抑制して達成することができる。また、位置検出をカ
メラで行うため、ステアリングから信号を電線による送
る必要がなく、従来のステアリングスイッチの信号伝達
経路に起因する断線などの問題が解決される。
【0020】次に、本発明の態様を説明する。本発明
は、コンピュータのユーザ・インターフェースを提供す
るシステム及び方法に用いることが好ましい。
【0021】詳細には、第1の態様は、コンピュータの
ユーザ・インターフェースのためのシステムであって、
(a)エネルギー源の作動時に開放空間にほぼ沿って検
知領域を生成するために配置されるエネルギー源と、
(b)前記開放空間を監視(モニター)すると共に、前
記検知領域内での操作者(ユーザ)の動作に応じて電子
情報を生成するために配置されたセンサと、(c)前記
センサに電子接続されたコンピュータであって、前記セ
ンサによって生成された電子情報を受信し、前記センサ
から受信した電子情報を分析するロジックでありかつ前
記検知領域内でのユーザの動作に応じて出力信号を生成
するロジックを含むコンピュータと、を含むことを特徴
とする、コンピュータのユーザ・インターフェース用シ
ステム。
【0022】第2の態様は、第1の態様に記載のシステ
ムにおいて、前記コンピュータに電子接続され、かつユ
ーザにフィードバックするためのコンピュータ出力信号
により動作可能な作動手段(バイブレータ)を更に含む
ことを特徴とする。
【0023】第3の態様は、第1の態様に記載のシステ
ムにおいて、前記エネルギー源は、前記検知領域を含む
赤外線のスクリーンを上方に照射するように配向される
光源を含むことを特徴とする。
【0024】第4の態様は、第1の態様に記載のシステ
ムにおいて、前記コンピュータに電子接続されたディス
プレイを更に含み、前記コンピュータは、前記開放空間
内の定義済みのセクションの位置と、該定義済みのセク
ションにおいて操作者による動作が発生した際に実行さ
れる機能に応じた情報と、を示すマップを前記ディスプ
レイ上に表示させるロジックを含むことを特徴とする。
【0025】第5の態様は、第1の態様に記載のシステ
ムにおいて、前記エネルギー源が直線状に配置された複
数の発光ダイオードを含むことを特徴とする。
【0026】第6の態様は、第1の態様に記載のシステ
ムにおいて、上半分に開放領域を有するステアリングホ
イールを有する移動体で用いられ、前記開放空間が該ス
テアリングホイールの上半分の開放領域とほぼ一致する
ことを特徴とする。
【0027】第7に態様は、第1の態様に記載のシステ
ムにおいて、前記センサは、デジタル・カメラ型のセン
サを含むことを特徴とする。
【0028】第8の態様は、コンピュータのユーザ・イ
ンターフェースのためのシステムであって、(a)空間
領域に沿ってエネルギーを照射するために配置されるエ
ネルギー源であって、前記エネルギーはほぼ赤外域の光
波から構成されることを特徴とするエネルギー源と、
(b)前記空間領域を監視すると共に、前記空間領域内
でのユーザの動作に応じて電子情報を生成するために配
置されたセンサと、(c)該センサに電子接続されたコ
ンピュータであって、前記センサによって生成された電
子情報を受信し、前記センサから受信した電子情報を分
析するロジックでありかつ前記空間領域内での操作者の
動作に応じて適切な出力を生成するロジックを含むコン
ピュータと、を含むことを特徴とする、コンピュータの
ユーザ・インターフェース用システム。
【0029】第9の態様は、第8の態様に記載のシステ
ムにおいて、前記コンピュータに電子接続され、かつユ
ーザへのフィードバックのために少なくともユーザの動
作に応じて前記コンピュータにより作動される作動手段
(バイブレータ)を更に含むことを特徴とする。
【0030】第10の態様は、第8の態様に記載のシス
テムにおいて、前記エネルギー源は、光波を上方に照射
するために配置された複数の発光ダイオードを含むこと
を特徴とする。
【0031】第11の態様は、第8の態様に記載のシス
テムにおいて上半分に開放空間を有するステアリングホ
イールを有する移動体に用いられ、前記空間領域が該ス
テアリングホイールの上半分の開放空間とほぼ一致する
ことを特徴とする。
【0032】第12の態様は、第8の態様に記載のシス
テムにおいて、前記センサは、デジタル・カメラ型のセ
ンサを含むことを特徴とする。
【0033】第13に態様は、第8の態様に記載のシス
テムにおいて、前記エネルギー源は、前記光波を平行に
するための屈折手段(レンズ)を含み、該屈折手段(レ
ンズ)は対向する面を有し、少なくとも一方の面は実質
的に半円筒型であることを特徴とする。
【0034】第14の態様は、ステアリングホイールを
有する移動体にコンピュータのユーザ・インターフェー
スを提供するための方法であって、(a)ステアリング
ホイールに近接する領域を、操作者が該領域内でのユー
ザの動作により入力を発信するための仮想制御パネルと
して定義するステップと、(b)前記領域内での操作者
の動作に応じて電子情報を生成するセンサにより前記領
域を監視するステップと、(c)前記電子情報を分析
し、前記領域内でのユーザの動作に適した出力を生成す
るロジックを用いて、前記電子情報をコンピュータ処理
するステップと、を含む、コンピュータのユーザ・イン
ターフェースを提供する方法。
【0035】第15の態様は、第14の態様に記載の方
法であって、前記センサにより定義済みの領域をモニタ
ーするステップが、デジタル・カメラ型のセンサの使用
を含むことを特徴とする。
【0036】第16の態様は、第14の態様に記載の方
法であって、(a)操作者が前記移動体の運転位置につ
いた際に移動体内のユーザの近接位置に作動手段(バイ
ブレータ)を取り付けるステップと、(b)操作者へ触
覚的なフィードバックを提供するために前記コンピュー
タを介して前記作動手段(バイブレータ)を選択的に作
動するステップと、を更に含むことを特徴とする。
【0037】第17の態様は、第14の態様に記載の方
法であって、前記センサによる前記領域内でのユーザの
動作の検知を助けるために、前記領域に実質上沿って延
伸する検知領域を生成するためにエネルギー源を使用す
るステップを更に含むことを特徴とする。
【0038】第18の態様は、第17の態様に記載の方
法であって、前記エネルギー源を使用するステップが、
前記検知領域を形成するために前記領域全体に光波を放
射するように配向された一連の発光ダイオードを作動す
るステップを含むことを特徴とする。
【0039】第19の態様は、第17の態様に記載の方
法であって、前記エネルギー源を使用するステップが、
不可視波長帯域の光波から成る検知領域を生成するエネ
ルギー源の使用を含むことを特徴とする。
【0040】第20の態様は、第19の態様に記載の方
法であって、前記エネルギー源を使用するステップが、
車両に対して上方に放射される光波により前記検知領域
を生成するように前記エネルギー源を配向するステップ
を含むことを特徴とする。
【0041】ステアリングホイールを有する車両にコン
ピュータのユーザ・インターフェースを提供する好まし
い方法又はシステムは、操作者であるユーザが運転及び
入力(の発信)を同時に行うための改善された安全性及
び効率をもたらす。この点について、本態様のシステム
は、車両のステアリングホイールに近接する開放空間
を、ユーザの動作又は入力のための仮想制御パネルとし
て定義するステップを含む。ユーザは、この領域の選択
されたセクションに指先又は親指を挿入すること等で、
この領域に接触することにより、入力を発信する。この
領域がステアリングホイールに近接しているので、ユー
ザは車両を運転し、かつステアリングホイールから手を
離すことなく入力を発信する能力を有する。
【0042】本システムは、領域内でのユーザの動作に
応じて電子情報を生成するセンサを用いて、この領域を
監視(モニタ)するステップを含む。その後、コンピュ
ータロジックが、センサからの電子情報を処理するか、
又は分析する。このロジックは、電子情報、領域内での
ユーザの動作の位置、及び動作の種類から決定されるこ
とが好ましく、ユーザの動作をその位置及び動作に応じ
て特定の入力として指定する。この指定に基づいて、コ
ンピュータは適切な出力信号を生成する。
【0043】センサによる領域内でのユーザの動作の検
知を助けるために、このシステムは、エネルギー源の作
動時に開放空間にほぼ沿って検知領域を生成するために
配置されるエネルギー源を更に含む。好ましい態様にお
いて、エネルギー源は、開放空間に沿って赤外線のスク
リーンを放射するために配向された一連の発光ダイオー
ドである。赤外線のスクリーンは、センサのための照度
を提供し、ユーザの動作の検知のための領域を画定す
る。
【0044】ほぼ赤外波長域の光は本質的に不可視であ
るので、赤外線が光のスクリーンに用いられる。ユーザ
に不可視の光から成るスクリーンから形成される検知領
域は、より優れたインターフェースの透明性をもたら
し、ユーザの注意散漫さを減じる。
【0045】赤外線のスクリーンの提供処理には、車両
に対して上方に放射されるスクリーンを形成する光によ
りスクリーンを配向するステップが含まれる。上方への
配向は、日光の赤外線に起因するノイズを減少させるこ
とにより、領域内でのユーザの動作の検知における信頼
性を向上させる。より詳細には、運転中にステアリング
ホイールの周辺に放射される日光の大部分は、ウインド
シールドガラスを介してほぼ下向きの方向で車両に入射
する。赤外線のスクリーンの上方への配向は、検知領域
が、車両内に下向きに放射される日光とは方向によって
区別されることを、少なくともある程度まで可能にす
る。
【0046】このシステムは、ステアリングホイール上
及び/又はドライバー側のシート内等の、ユーザが車両
の運転位置についた際のユーザの近接位置にバイブレー
タを取り付けるステップを更に含む。バイブレータはそ
の後、ユーザにコンピュータのフィードバックを提供す
るためにコンピュータを介して選択的に作動される。バ
イブレータは、ユーザへの視覚的な負担を軽減するため
に、触覚的なフィードバック(感触に関わる又は基づく
フィードバック)を提供する。安全な運転は、かなりの
視覚的な警戒を必要とするので、ドライバーの視覚的な
負担を軽減することは、安全性を向上させる。更に、ド
ライバーが両手をステアリングホイールにかけている間
に、ドライバーによる入力の発信を可能にすることもま
た、ドライバーの視覚的な負担を軽減する。
【0047】このシステムは、コンピュータに電子接続
されたディスプレイの提供を更に含む。このコンピュー
タは、コンピュータにより実行された場合に、領域内の
定義済みのセクションの位置と、その定義済みのセクシ
ョンにおいてユーザがある動作を実行した際にユーザか
らの入力として指定される各定義済みのセクションに対
応する情報と、を示すマップをディスプレイ上に表示さ
せるロジックを含む。
【0048】ディスプレイは、ヘッドアップディスプレ
イ等のように、ユーザが運転中に車両の前方走行路から
目を離すことを必要としない位置に提供されることが好
ましい。或いは、ディスプレイは、車両のダッシュボー
ド又はインストルメントパネル上等の、運転時に車両の
ドライバーにより容易に観察可能な位置及び向きに配置
される。従って、ユーザは、運転中に車両の前方走行方
向から実質的に目を逸らすことなく、運転及びディスプ
レイの観察を同時に行うことができる。
【0049】本発明の前述の態様及び本発明に伴う多数
の利点は、以下の詳細な説明を添付図面と併せて参照す
ることによって、より容易に理解されるであろう。
【0050】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態の一例を詳細に説明する。本実施の形態は、移
動体としての自動車等の車両に搭載したナビゲーション
装置等の電子装置の機能指示のための入力装置に本発明
を適用したものである。本実施の形態の入力装置は、移
動体などの車両に搭載可能なコンピュータのユーザ・イ
ンターフェース・システムとして好適な一例である。
【0051】図1は、車両10用の本発明の実施の形態
にかかるコンピュータのユーザ・インターフェース・シ
ステムの好ましい実施の形態の一部を概略的に示してい
る。車両10に搭載されたコンピュータ46は、ユーザ
の動作又は入力に応じて、ラジオ、ウィンドウワイパ、
CDプレーヤ、及びGPSに基づくナビゲーション装置
等の車両内の様々なシステム(電子装置)を作動する機
能を有している。
【0052】インターフェース・システムは、コンピュ
ータ46へのユーザ入力用の仮想キーボード又は制御パ
ネルとして定義される、車両のステアリングホイール1
2に近接する開放空間(体積)又は空間領域を含むもの
である。この領域は、ユーザが指をこの領域に挿入する
ことが可能なように開放されている。この領域は、複数
のセクションから構成可能であり、これにより仮想制御
パネル領域として機能する。各々のセクションには、キ
ー、ボタン、英数字入力域、コンピュータへのユーザの
動作又は入力のための他の制御要素が定義される。ユー
ザは、この仮想制御パネル領域の適切なセクションで動
作することにより入力を指示する。
【0053】仮想制御パネル領域は、ステアリングホイ
ールのクロスバー14周辺からステアリングホイールの
リム16まで、即ち、ステアリングホイール12の上部
の開放部分に延伸することが好ましい。これは、ユーザ
が両手をステアリングホイール12にかけながら、入力
指示することを可能にするためである。
【0054】このインターフェース・システムは、ユー
ザに対してマップを表示するコンピュータ制御ディスプ
レイ20を含む。マップは、仮想制御パネル領域内のセ
クションの位置、及び特定のセクション内でのユーザの
動作により入力されることが可能な情報、例えば電子装
置の操作コマンドを示す。
【0055】このコンピュータ制御ディスプレイ20
は、軍事用車両で用いられるヘッドアップディスプレイ
(「HUD」)を用いることが可能である。HUDで
は、ドライバーがディスプレイを見るために車両の前方
走行路から目を逸らすことを必要としない位置に、ディ
スプレイが提供され、特別に改造された眼鏡又はヘルメ
ットを用いている。
【0056】本実施の形態では、図1に示すように、コ
ンピュータ制御ディスプレイ20がウインドシールドガ
ラス21上に現われるように構成している。ウインドシ
ールドガラス21の一部の上に現われる液晶型等の透過
型ディスプレイは、HUDの一種である。
【0057】なお、本発明はウインドシールドガラスに
現れるディスプレイに限定されるものではない。例え
ば、コスト、技術的な制限(特殊な眼鏡の必要性等)、
や他の要素のため、コンピュータ制御ディスプレイ20
は、車両のドライバーが容易に観察可能な配向及び位置
とするために、インストルメントパネル26(図2参
照)又はダッシュボード25上に配置される従来のコン
ピュータパネルでもよい。
【0058】図2に示すように、インターフェース・シ
ステムは、仮想制御パネル領域との又はこの領域でのユ
ーザの動作を検知又は記録するためにこの領域を監視
(モニタ)するセンサ22を含む。本実施の形態では、
センサ22は、デジタル写真装置で用いられる種類等の
イメージ検知タイプのイメージセンサを用いている。特
に、イメージセンサ22は、電荷結合素子(「CC
D」)タイプのカメラ及び、CMOSタイプのカメラ等
が好ましい。
【0059】イメージセンサ22は、相補型金属酸化膜
半導体(「CMOS」)タイプのカメラセンサを用いる
ことができる。一般に、CCDカメラは入手が容易であ
るが、CMOSカメラには、主に3つの利点がある。第
1の利点は、より小さいサイズ及び軽い重量を有し、よ
り低コストで製造することが可能なことである。第2の
利点は、より少ないエネルギ消費で良いことである。第
3の利点は、最も期待できる利点であり、極力低コスト
で利用するために、単一基板にセンサと他の機能とを併
せ持たせることを可能にすることにある。従って、複数
の信号処理機能が、同一基板(シリコンの単一片)上に
配置することができる。
【0060】本実施の形態のインターフェース・システ
ムは、検知領域24を生成する仮想制御パネル領域にほ
ぼ沿ってエネルギーを照射するためのエネルギー源23
を含んでいる。このエネルギー源23は、検知領域(検
知フィールド)24を形成する赤外線(「IR」)のス
クリーンを照射する光源であることが好ましい。なお、
赤外線が微光状態であるとき、一般的なイメージセンサ
は、この仮想制御パネル領域内でのユーザによる入力又
は動作を確実に判断するためには不十分、すなわち十分
な反射を得ることができない。このため、スクリーン以
外の部分と判別可能な十分な照度が必要である。
【0061】図1に示されるように、赤外線の検知領域
24は、センサ22用の照度を提供するためにステアリ
ングホイール12の近接位置に延伸する。また、赤外線
を用いたのは、ユーザに煩わしさを感じさせないためで
あり、赤外線は視認困難であるが、イメージセンサ22
によっては検知可能であることによるものである。
【0062】検知領域24は、仮想制御パネルとして定
義される領域全体に広がる。即ち、ステアリングホイー
ルのクロスバー14の上部端辺りからステアリングホイ
ールのリム16の上方の内周部に延伸する。
【0063】システムの精度及び信頼性を向上させるた
めに、検知領域24は、ステアリングホイールのクロス
バー14からステアリングホイールのリム16に向かっ
て上方に放射することが好ましい。図2に概略的に示さ
れるように、センサ22は、ステアリングホイール12
の上部を介してドライバーに面するインストルメントパ
ネル26に取り付けられることが好ましい。
【0064】この配置は、日光に含まれる赤外線からの
誤ったセンサ情報を抑制するのに効果的である。すなわ
ち、センサ22をドライバーに面するインストルメント
パネル上に配置することは、ウインドシールドガラス2
1を介して車両に入射する日光の赤外線からセンサを保
護することに相当する。また、ドライバーのシートの背
及びドライバーの体が、リヤウィンドウを介して車両に
入射する日光からセンサ22を保護することもできる。
センサ22は、仮想制御パネル領域内でのユーザの動作
の識別における精度を更に高めるために、検知領域24
を形成する光放射の中心波長(すなわち、エネルギー源
23の主要波長)を透過する少なくとも1つの光学フィ
ルタ29を含むことが好ましい。
【0065】また、センサ22は、仮想制御パネルとし
て定義される領域内でのユーザの動作を観察するために
十分に照明された良好な視界を有する。検知領域24を
形成する光は、上方に放射する。従って、ユーザの指が
仮想制御パネル領域に進入すると、検知領域24からの
光はユーザの指で反射し、センサ22へ到達する。更
に、ステアリングホイールのリム18は、後述されるセ
ンサ22の情報の画像処理のための基準として使用され
ることが可能である。
【0066】図3に示すように、エネルギー源23は、
直線状に配置された一連の発光ダイオード(「LE
D」)32から構成される。このLED32は、検知領
域24が実質的に赤外光から構成されるように、赤外L
EDを用いることが好ましい。
【0067】LED32は、ステアリングホイール12
の裏側のステアリングホイールの支持体31に沿って延
伸する。このLED32は、数行から成る複数のLED
を連続させ、ステアリングホイールの支持体31の幅方
向に沿って互いに隣接して延伸し、配列を形成すること
が好ましい。
【0068】図4に示すように、エネルギー源23の射
出側にはレンズ36が設けられている。このレンズ36
は、実質的に透明なロッド状又は円筒型の形状をしてお
り、好ましくはエネルギー源23のLEDの配列の上
に、ステアリングホイールの支持体31の幅方向に沿っ
て延伸する。円筒型のレンズ36は、LED32からの
赤外線の放射を収束する。これは、仮想制御パネル領域
に沿って延伸する赤外線のスクリーンから成る検知領域
24に向けて、赤外線をほぼ平行光束にするように作用
する。LEDの配列は、ステアリングホイールの支持体
31に埋設され、円筒型のレンズ36はこの配列の上に
埋設されることが好ましい。別の好ましい実施の形態で
は、半円筒型のレンズが用いられ、赤外線が半円筒型の
レンズの湾曲した外側表面から外方向に放射されるよう
に配置する。
【0069】LED32の個数は、特定の車両のサイ
ズ、LEDの仕様、及びイメージセンサ22の制限等の
要素に依存する。円筒型レンズ36のサイズもまた、こ
れらの要素に依存する。
【0070】本発明者は、上記LED32を含むエネル
ギー源23周辺を試作し、実車に搭載し、実験し、各行
が10個から成る8行のLED32が、多くの適用に適
しているという結果を得た。具体的には、各行のLED
32は、約100オームの抵抗34と共に、互いに直列
に電気接続し、各行は、約17ボルトの直流電圧源35
に並列に接続した。円筒型レンズ36には、約1/2イ
ンチ(12.7mm)の直径を有する実質的に透明なプ
ラスチックロッドを用い、LEDの配列32の約3mm
上に配置された。LED32及び円筒型レンズ36は両
方とも、ステアリングホイール12の裏側のステアリン
グホイールの支持体31に埋設した。
【0071】LED32の具体例は、各LEDは電力消
費が100mW、中心波長が940nmの赤外線放射、
LED全体で1.5Vの電圧降下で100mAの電流を
消費するものであり、各LEDの形状としては、3mm
の直径を有したものを用いている。
【0072】また、センサ22は、8ビット階調のCC
Dボードカメラを、車両のインストルメントパネル26
に取り付けた。なお、コンパクトなサイズ、低コスト、
及び比較的高い解像度のために、CCDボードカメラを
イメージセンサ22として選択した。また、CCDカメ
ラは、その中心光軸がステアリングホイール面に略垂直
であり、かつステアリングホイール12の上半分に中心
を合わせられる位置で、インストルメントパネル26に
埋設されることが好ましい。これらの設定は、赤外放射
による検知領域24内でオブジェクトが動かされる際
に、照明される領域を可能な限り一定に保つように、照
明されるオブジェクトの歪み領域が最小に維持すること
ができるという効果を奏する。
【0073】なお、カメラとしては、米国カリフォルニ
ア州のカルバーシティのマーシャル・エレクトロニクス
(株)(Marshall Electronics Inc.)により製造され
たモデル番号V1205を用いた。このカメラの仕様
は、以下の通りである。 イメージサイズ: 537(水平)×505(垂直)
約270,000画素 信号対雑音比: >48デシベル 最小照度: 0.005FC(0.05ルクス) 解像度: 380TV線(最小値) 絞り制御: 電子制御 レンズの取付け: 止めねじにより調整可能 コネクタ: 三線プラグインコネクタ、ビデオ、出力、
アース レンズ: 3.6mm f2.0(74°(水平)×56
°(垂直)) 自動絞り範囲: f1.4で0.5乃至80ルクス 出力: 12VDC、100mA、1.2W サイズ: 1.73インチ幅×1.73インチ高さ×
1.22インチ奥行き(4.39cm幅)×(4.39
cm高)×(3.10cm奥行) 重量: 1.2オンス(35グラム) 超微光 0.005FC感度 1100nmまで感度のある赤外線
【0074】カメラの画角は、イメージサイズ及びカメ
ラのレンズの焦点距離と共に変化する。本実施の形態で
は、カメラは、インストルメントパネル26のタコメー
タ及びスピードメータの間の位置に埋設した。カメラレ
ンズからステアリングホイール面までの距離Dは、約1
2インチ(30.48cm)であった。
【0075】仮想制御パネル領域を見るのに適した焦点
距離は、次の式(1)及び(2)で表すことができる。 f=v×D/V ・・・(1) f=h×D/H ・・・(2) これらの式(1)及び(2)で用いられる記号は、次の
ように定義される。 f=レンズの焦点距離 V=オブジェクトの垂直方向サイズ H=オブジェクトの水平方向サイズ D=レンズからオブジェクトまでの距離 v=イメージの垂直方向サイズ(表1を参照) h=イメージの水平方向サイズ(表1を参照)
【0076】
【表1】
【0077】一般的に、仮想制御パネルの最大水平方向
寸法がその最大垂直方向寸法よりも大きいので、焦点距
離を算出するために式(2)を用いる。本実施の形態で
は、仮想制御パネル領域として、約15インチ(38.
10cm)の最大水平方向寸法を有したものを用いた。
従って、 f=h×D/H=4.8mm×(12/15)=3.8
4mm である。
【0078】また、本実施の形態では、3.84mm近
傍で入手可能な3.6mmの焦点距離を有するレンズを
選択した。実験機では、レンズの後ろで2個の光学フィ
ルタ29を用いた。光学フィルタは、第1のフィルタ
が、950nm±25nmの帯域幅を有し、第2のフィ
ルタが、940nm±5nmの帯域幅を有したものであ
る。
【0079】図5は、コンピュータのインターフェース
・システムの概略ブロック図を示している。ブロック3
8は、仮想制御パネル領域内でのある形式の動作である
ユーザの入力を示す。ブロック40は、イメージの収集
を示す。より詳細には、センサ22が、仮想制御パネル
領域内でのユーザの動作を示すデータを生成する。ブロ
ック42及び44は共に、コンピュータ46による分析
を示す。
【0080】図7には、このコンピュータ46の処理を
含み、コンピュータのインターフェース・システムの処
理の流れの概略を示した。この図7に示した処理ルーチ
ンは、繰り返し実行される。まずステップ100におい
て、センサ22からの信号をコンピュータが読みとるこ
とによって、仮想制御パネル領域内の画像を読み取る。
次のステップ102では、ユーザの指先等が仮想制御パ
ネル領域に進入したときに現れる小塊(ブロブ)を検出
する。この検出はセンサ22からの信号すなわち画像を
探索することによって実行される。
【0081】次のステップ104では、ブロブが検出さ
れたか否かを判断し、否定された場合には、ステップ1
00へ戻り、肯定された場合には、次のステップ104
において上記で検出されたブロブの中心位置を求める。
次のステップ108では、仮想制御パネル領域でユーザ
の動作や入力によって作用する機能が、ボタンモードに
設定されているか否かを判断する。本実施の形態では、
ボタンモードとトラッキングモードの2種類の設定が可
能になっている。なお、2種類のモードに限定されるも
のではなく、1種類または3種類以上であってもよい。
【0082】ステップ108で肯定された場合には、ボ
タンモードであり、ステップ110へ進み、予め記憶さ
れているセクション配列(マップ)を読み取り、次のス
テップ112において該当するセクションを決定すると
共に、そのセクションに対応する出力信号を対応する電
子装置へ供給する。次のステップ114では、出力信号
を対応する電子装置へ供給したことを振動装置などでユ
ーザに報知することによってユーザにフィードバックす
る。
【0083】一方、ステップ108で否定された場合に
は、トラッキングモードであり、ステップ116におい
て、各ブロブの中心の相対位置を得るためにイメージを
比較する。ブロブの位置が複数あり時系列的に推移する
とき、次のステップ118において動作が発生したと判
断しステップ120へ進む。一方、ステップ118で否
定されたときは、ステップ100へ戻る。
【0084】ステップ120では、予め記憶された動作
テーブルを読み取り、次のステップ122において。対
応する動作を判定する。次のステップ124及び126
では、上記と同様にして画像を読み取ってブロブを検出
し、ブロブが検出されなくなると、ステップ128で否
定されてステップ112へ進む。一方、ブロブが検出さ
れなくなると、ステップ128で肯定されステップ10
0へ戻り、上記処理を繰り返す。
【0085】なお、トラッキングモードのときは連続動
作も考えられるので、動作判定の後に対応出力信号を供
給してもよい。この場合、動作判定の履歴を消去して使
いの判定を行うことが好ましい。
【0086】上記構成によるコンピュータのインターフ
ェース・システムの処理の流れを機能的に説明する。こ
のシステムでは、センサ22が仮想制御パネル領域(検
知領域)をモニターし、進行中の一連のイメージとして
データをメモリに格納する。コンピュータ46内のソフ
トウェアは、イメージが入手可能になると(ステップ1
00)、仮想制御パネル領域内で動作が生じたか否かを
判断するために、これらのイメージを分析する。この処
理は、ブロック42,44の機能である。
【0087】なお、本実施の形態では、センサ22は、
米国マサチューセッツ州ビレリカのムテックコーポレー
ション(MuTech Corporation)により製造された市販さ
れているモデル番号M−Vision500のビデオフ
レームグラバーボードを介してコンピュータに適切にイ
ンターフェース接続している。ビデオフレームグラバー
ボードは、センサ22からの情報を、分析のためのイメ
ージデータとしてコンピュータ用に適切にフォーマット
するためのものである。特に、イメージデータは、一連
のイメージとしてコンピュータのイメージフォーマット
でメモリに格納される。
【0088】上記処理のためのソフトウェアは、例え
ば、米国モンタナ州ボーズマンのビジョン1(Vision
1)により開発されVISIONBLOX(商標)として販売され
ている市販のソフトウェアパッケージを用いて開発する
ことができる。このソフトウェアパッケージには、機能
検出、較正、及び小塊「ブロブ(blob)」分析等の多数
の組込まれた標準の視覚ツールが含まれている。更に、
このソフトウェアパッケージは、米国ワシントン州レッ
ドモンドのマイクロソフト(株)により開発されたソフ
トウェアであるActiveXコントロールをサポートしてい
る。従って、アプリケーション開発は、マイクロソフト
のVisual Basic環境下で行われることが可能である。マ
イクロソフトのVisual Basicは、マイクロソフト(株)
から販売されている別のソフトウェアであり、このソフ
トウェアはグラフィック・ユーザ・インターフェース
(「GUI」)を有する。また、このソフトウェアパッ
ケージは、デジタルI/O(入出力)カードの使用もサ
ポートしているので、アプリケーションは容易に実際の
自動車等の車両(移動体)のデバイスとインターフェー
ス接続することが可能である。
【0089】上記分析時のロジック(ソフトウェア)
は、各イメージから、仮想制御パネル領域内でのユーザ
の動作の指示を探索する。ユーザの指先又は親指は、そ
の表面で赤外反射され、仮想制御パネル領域のセンサ2
2からのイメージにおいては多少なりとも「ブロブ(小
塊)」として現われる。この処理のロジックは、特定の
範囲のブロブ領域及びしきい値の設定に基づいてブロブ
を検出するものである。このブロブ領域は、ユーザが仮
想制御パネル領域に指先を挿入した時にカメラ画像に現
われる部分に基づいて設定したものである。すなわち、
ブロブ領域は、カメラ画像に現れる部分を少なくとも含
む大きさの領域である。しきい値は、イメージの最も明
るい部分に焦点を合わせるように設定した。
【0090】なお、しきい値は、0乃至255のグレー
スケール範囲の内の、254及び255に設定した。こ
れは、少なくともセンサが、晴天の日に車両のガラス2
1を介して直射日光にさらされた条件下で、外部ノイズ
の影響を受けずにブロブを識別することを可能にするた
めである。このようにして、イメージの明るい白色部分
のみが分析のために含められた。
【0091】なお、日光がウインドシールドガラスから
直接照射しない場合は、より低いしきい値が可能であ
る。本発明者は、このような条件下では、しきい値は2
00まで下げられることを確認した。
【0092】ところで、日光の強さによりイメージセン
サ22のコントラストが変化するので、イメージセンサ
22に対するボタンのトリガ位置の深さも変化する。従
って、ほぼ一定の深さのボタンのトリガ位置を得るため
には、エネルギー源23として、より多数の赤外LED
32又はより明るい赤外LED、又はこれらの組合せに
よる、より強い赤外線が好ましい。別の形態では、カメ
ラがイメージを収集する瞬間のみ高光度をもたらす、同
期ストロービングを用いることができる。
【0093】また、車両の窓は外部からの赤外線を除去
するために赤外線フィルタガラスを用いることが好まし
く、また赤外線フィルタフィルムを車両の窓の表面上に
配置することが好ましい。本実施の形態では、コンバー
チブル又はルーフのない車両でに用いた場合を想定し
た。
【0094】上記のブロブ領域は、実験的に2000乃
至10000画素の範囲内になるように決定された。よ
り詳細には、検知されたブロブはほぼ常に、30×60
画素(約2000画素)乃至100×100画素(10
000画素)のサイズに及ぶ一般的に矩形の領域を占め
ることを確認した。
【0095】実際の処理では、イメージ内にブロブが存
在すると判断すると(ステップ104で肯定)、これは
ユーザの動作又は入力として解釈してブロブ内の全ての
点のX及びY座標の値を平均することにより、ブロブの
ほぼ中心の座標を求め(ステップ106)、ブロブの中
心の位置に基づいて、これを特定のユーザ動作又は入力
として指定する(ステップ110,112)。
【0096】ところで、電子装置には多くの様々なモー
ドがあり、キー、ボタン、英数字入力域、他の制御要素
等の仮想制御パネルを介してのユーザの動作または入力
が電子装置に対しての指示入力に適している。本実施の
形態では、「ボタンモード」及び「トラッキングモー
ド」の2つの異なる基本機能モードを有している。
【0097】ボタンモードでは、仮想制御パネルが最大
6個のセクションに分割され、各セクションはボタンと
して定義される。例えば、6個のセクションを有する場
合、仮想制御パネル領域は、2列に分割しかつ、各列は
3行に分割する。この方法によるボタン配置の利点は、
全てのボタンがユーザの親指によりアクセス可能な点で
ある。この方法により、システムは、ユーザの両手がス
テアリングホイール12にかけられている間に操作され
ることが可能である。
【0098】図1の例では、最下行のみ列分割をせずに
5つのセクションを有した場合である。なお、分割する
セクションの数は、上記に限定されるものではなく、1
または複数のいずれであっても良い。
【0099】ユーザが仮想制御パネル領域内で動作を実
行すると、システムは、どのセクションで動作が生じた
か、及びボタン、即ち、そのセクションに関連付けられ
た機能を決定する(ステップ110,112)。この動
作が、そのセクション又はボタンとの、少なくとも予め
定められた一定時間(実験機では1秒)にわたる進入や
存在または接触の持続である場合、システムは、このセ
クションまたはボタンに関連付けられた機能を実行する
(ステップ112)。すなわち、ブロック42,44の
機能によるコンピュータ46が電子装置に対応する信号
を出力すべく指示する。
【0100】ここでは、ブロブのほぼ中心の位置に応じ
て、該当するセクションを決定する。一連のイメージに
基づいて、ブロブの中心が予め設定された時間の間、あ
るセクションに位置していると判断すると、ロジックは
これを、そのセクションに対応するボタンに関連付けら
れた機能を作動するためのユーザ動作または入力として
指定する。なお、このブロブの中心が予め設定された時
間にわたって存続しない場合、新たなユーザ動作/入力
のために(データを)リセットすることが好ましい。
【0101】一方、トラッキング(追跡)モードでは、
一連のイメージから配列内のブロブの中心位置を格納す
る。ブロブがもはや検知されない(即ち、その配列に何
も要素が存在しない)と、ユーザの動作を解析した結果
に基づいて機能を実行する。
【0102】本実施の形態では、トラッキングモードを
実行する機能である動作トラッキングモジュールは、各
ブロブの中心の相対位置を得るためにイメージを比較す
る。次に、仮想制御パネル領域内で、例えば下から上、
上から下、左から右、又は右から左への動作が発生した
か否かを判断する(ステップ116)。その後、この動
作を、例えばラジオのチャンネル探し、CDのトラック
の選択、又は音量調節等のための適切なユーザ入力とし
て指定する(ステップ120,122)。
【0103】上記マイクロソフトのVisual Basic以外の
他の言語としてC又はC++のプログラミング言語を用
いることができる。また、その他のコンピュータ言語を
用いることも可能である。
【0104】なお、上記ユーザの動作または入力を処理
するときには、他の機能として、手書き文字認識を含む
ように拡張されることが好ましい。即ち、仮想制御パネ
ル領域内でのユーザの指による手書きのストロークが、
英数字入力として解釈される。英数字入力は、目的地情
報の入力等の動作のために、車両用GPSナビゲーショ
ン装置との対話には特に有効である。
【0105】一例として、米国カリフォルニア州レッド
ウッドショアーズのコミュニケーション・インテリジェ
ンス・コーポレーション(CIC:Communication Inte
lligence Corporation)により開発された手書き文字認
識用ソフトウェアを用いることができる。
【0106】上記のようにソフトウェアのロジックが、
車両の機能を実行するためのユーザ動作または入力が発
生したと判断すると、このソフトウェアは、図5のボッ
クス48に示されるように、コンピュータ46が適切な
出力信号を生成する。ボタンモードの最中にユーザ動作
が発生した場合は、ボタンモードではトラッキング分析
は必要ないので、システムのロジックは、分析ブロック
42から出力ブロック48(もしこのような出力がユー
ザ動作に適している場合)へ進む。トラッキングモード
の場合は、ロジックは、分析ブロック42の後、適切な
出力を生成する前にトラッキング計算のためにブロック
44へ進む。すなわち、ブロック42がボタンモード、
ブロック44がトラッキングモードの主要な機能を担当
することになる。
【0107】図6には、ワイパ、ラジオ、及びCDプレ
ーヤ等の車両の機能を作動するために用いられる、デジ
タルI/Oカード50を概略的に示した。デジタルI/
Oカード50には、米国カリフォルニア州アーバインの
アドバンテック(株)(Advantech Co., Ltd.)から販
売されているモデル番号PCL−725が用いることが
できる。このデバイスは、16個のデジタルI/Oポー
ト(8個の入力及び出力)を、単一のボード上の8個の
リレー・アクチュエータ及び8個の光学的に隔離された
デジタル入力により提供する。このカード用にカスタマ
イズされたActiveXコントロールは存在しないが、標準
のプログラミング環境でデジタルI/Oへのアクセスを
実現するために用いられることが可能なIOS32.D
LLと名付けられたダイナミック・リンク・ライブラリ
ファイル(「DLL」)が存在する。
【0108】デジタルI/Oカード50リレー出力は、
わずか1アンペアの最大電流が定格である。従って、1
00ボルトの直流電圧で最大15アンペアの仕様である
標準のソリッドステートリレー(半導体継電器)52
が、ワイパモータ54等のより多くの電流を必要とする
車両の機能のために、デジタルI/Oカード50に接続
された。図5のボックス56は、ソリッドステートリレ
ー52を介する出力を表わし、ボックス48は、デジタ
ルI/Oカード50を介する出力を表わす。
【0109】また、上述のように、コンピュータディス
プレイは、HUD(ヘッドアップディスプレイ)を模し
て、ドライバーのシートの前に配置された。コンピュー
タ出力またはフィードバックには、ユーザ入力への応答
に適するようにディスプレイ20を変化させるステップ
が含まれる。例えば、ウィンドシールドワイパ及びカー
ステレオの制御を実行することができる。
【0110】ウィンドシールドワイパは、単純なオン/
オフ制御が可能である。ステレオは、電源オン、電源オ
フ、音量を上げる、音量を下げる、ラジオとCDとの切
替え、及び右/左へのチューニングシークから成る一般
的な機能を含んだ制御が可能である。例えば、ユーザ
が、仮想制御パネル上の関連付けられたボタンを押すこ
とにより「ラジオへの切替え」を入力すると、ディスプ
レイ20は、ステレオ機能のみのメニュー、即ち、ステ
レオメニューを表示するように変化する。図1は、ステ
レオメニューが表示されたディスプレイ20を示す。
【0111】ディスプレイ20によるコンピュータのフ
ィードバックは、ユーザの視覚的な集中を必要とする。
ドライバーの視覚への負担を軽減するために、インター
フェースシステムは、視覚的ではないフィードバックを
含むことが好ましい。ウィンドシールドワイパ及びステ
レオ等のデバイスは、作動することによってのみフィー
ドバックを提供し、これはドライバーの視覚的な集中力
への負担をある程度軽減する。また、コンピュータ46
は、車両の音響システムのスピーカー、又はコンピュー
タの音声出力専用スピーカーを介して、音声によるフィ
ードバックを提供することが好ましい。
【0112】インターフェース・システムは、ドライバ
ーの視覚的な負担を更に軽減するために、触覚的なフィ
ードバック、即ち、感触に関わる又は基づくフィードバ
ックを更に含むことが好ましい。触覚的な振動によるフ
ィードバックは、ステアリングホイール12及びドライ
バー側のシート58等の、運転中に車両のドライバーと
常に接触している部分で実施されることが好ましい。
【0113】触覚的な振動によるフィードバックのため
の振動装置は、運転中に感じられる程度に十分強くなけ
ればならず、一般的な車の振動よりも大きな振動周波数
を生成しなければならない。本発明者は、従来のページ
ャ(ポケベル)及びマッサージ機用モータが適切である
ことが確認した。
【0114】ページャ用モータは、コンパクトであり、
コスト有効性であり、かつ一般的な路上での振動よりも
大きな周波数での局所的な振動(このモータでは900
0RPM(回転/分))を有する。マッサージ機用モー
タは、ページャ用モータよりも大きな振幅を有するの
で、この振動はページャ用モータによる振動ほど局所的
ではない。従って、これは2つの区別可能なタイプの振
動によるフィードバックを可能にする。
【0115】図1に示すように、ページャ用モータ60
は、ステアリングホイールのリム16の右側及び左側の
それぞれに埋設されることが好ましい。インターフェー
ス・システムは、ページャ用モータ60を振動させて、
仮想制御パネル作動領域との接触が成されていることを
ユーザに示す。インターフェース・システムにおいて、
仮想制御パネル上の作動領域との接触が成されているこ
とをユーザに示すために、両方のページャ用モータ60
が同時に振動することが好ましい。
【0116】本発明者は、ユーザが右と左のページャ用
モータ60の作動を識別することが可能であることを見
いだした。これは、触覚的なフィードバックモードの他
のセットを可能にする。それでもなお、ユーザは片手の
みで運転している時もあり得る。これは、ユーザが人差
し指を用いて入力することを選択する場合に、特に起こ
り得る。この場合、ユーザの手の位置によっては、ユー
ザが触覚的なフィードバックを受取り損ねる可能性があ
る。従って、ステアリングホイールの両方のページャ用
モータ60が同時に振動することが好ましい。
【0117】更なるページャ用モータ60が、ドライバ
ーのシートの両側に挿入されることが好ましい。更に、
より大きなマッサージ機用モータ62が、シート58の
左側と右側との中間位置に挿入される。シート58内の
モータ60及び62は、ロータをシート58の詰め物か
ら隔離するために、プラスチックの外皮により覆われる
ことが好ましい。シート58におけるモータの位置とし
ては、ユーザが運転中に常にそこに近接しているはずの
位置が選択される。従って、シートのページャ用モータ
60は、右と左とを区別するように選択的に作動される
ことが可能である。
【0118】ユーザがトラッキングモードでのコンピュ
ータ入力のために、右から左へ指を移動する場合、又は
巻き戻し、左方向へのチューニングシーク、及び前の曲
へのスキップ等の他の指向性のある出力機能が用いられ
る場合、インターフェース・システムは左側のページャ
用モータ60を作動させることが好ましい。同様に、イ
ンターフェース・システムは、右への指向性動作を意味
するために右側のページャ用モータ60を作動させる。
シート中央に位置する、より強い振動を伴うマッサージ
機用モータ62は、エラーインジケータ等の更に別のモ
ードのフィードバックのために残しておくことが好まし
い。
【0119】本実施の形態では、ページャ用モータ60
及びマッサージ機用モータ62は略円筒形の形状のもの
を用いている。ページャ用モータ60は、1.3VDC
及び85mAでの動作時に9000rpm、モータサイ
ズは、長さが0.55インチ(14.0mm)及び直径
が0.17インチ(4.31mm)、及び軸サイズは、
長さが0.21インチ(5.33mm)及び直径が0.
15インチ(3.81mm)である仕様を有した。マッ
サージ機用モータ62は、3VDC及び200mAでの
動作時に9000rpm、モータサイズは、長さが1.
20インチ(30.48mm)及び直径が1.00イン
チ(25.40mm)、及び及び軸サイズは、長さが
0.42インチ(10.67mm)及び直径が0.08
インチ(2.03mm)である仕様を有した。標準のC
型電池がページャ用モータ60及びマッサージ機用モー
タ62に動力を供給するために使用された。
【0120】コンピュータ46は、その構成要素が車両
の中央コンソールに、又はダッシュボード又はインスト
ルメントパネル26の背後に格納されている従来型のコ
ンピュータであることが好ましい。代替の実施の形態で
は、コンピュータ46は、車両用ナビゲーション装置又
はステレオ等の別のシステムと統合することができる。
この点について、車両のステレオシステムを介してイン
ターネットアクセスを提供するために、コンピュータを
車両のステレオシステムと統合する提案が成されてい
る。或いは、コンピュータ46は、車両のステレオシス
テムと統合される、より汎用のマルチメディアシステム
の一部であってもよい。
【0121】また別の好ましい代替の実施の形態では、
仮想制御パネル領域とのユーザ接触の位置を決定するた
めに、音響位置決めシステムを使用することが可能であ
る。音響システムは、日光の赤外線による干渉にとらわ
れないという利点を有する。音波が超低周波の(不可聴
な)範囲であれば、ユーザに対する透明性は維持され
る。しかしながら、音波は、適切な信号対雑音比を達成
するために、車両内で存在する一般的な振動を含まない
周波数でなければならない。
【0122】基準マーカは、ステアリングホイールのリ
ム16上等のステアリングホイール12の裏側に配置さ
れることが好ましい。基準マーカは、道路のカーブ等で
ドライバーがステアリングホイールを回転させる場合の
ためにあり、このマーカはインターフェース・システム
と相互作用する。上記分析時の処理(ソフトウェア)
は、基準マーカのその位置でのイメージを調査し、ステ
アリングホイールの回転角度に一致させるように座標変
換を適用する。このようにすることで、制御パネルとの
ユーザ接触を特定の入力として指定する際に、ステアリ
ングホイール12の回転角度を考慮することができる。
【0123】コンピュータのインターフェース・システ
ムは更に、ソフトウェアのロジックに組み入れられた回
転運動検知を含むことが好ましい。このロジックは、仮
想制御パネル上でのユーザの指先又は親指の回転運動及
び回転方向(時計回りか反時計回り)を検知する。従っ
て、インターフェースは、コンピュータディスプレイ2
0をスクロールするため等のある形式の入力を発信する
際に、ユーザに優れた利便性をもたらすための「仮想ジ
ョグ・シャトルデバイス」を含む。
【0124】更に、ソフトウェアは、ジェスチャ認識を
含むことが好ましい。前述されたように、代替の好まし
い実施の形態が存在するので、改造、代用、及び変更
は、何れの当業者によっても成されることが可能である
ことは理解されるであろう。
【発明の効果】以上説明したように本発明によれば、操
作者の動作に対応して発生する発生手段によって発生さ
れた動作指示点を、監視手段が監視し、これを解析手段
によって解析した結果の操作者の動作に対応する出力信
号を、供給手段により電子装置へ供給するので、操作者
の簡単な動作で所定の指示を確実に入力することができ
る、という効果がある。
【図面の簡単な説明】
【図1】車両の一部に連結された本発明のコンピュータ
のインターフェース・システムの好ましい実施の一形態
の一部を示す概略図である。
【図2】図1の車両のステアリングホイール及びインス
トルメントパネルの一部の概略側面図である。
【図3】図2のエネルギー源又は光源の回路図である。
【図4】図2の光源の概略端面図である。
【図5】インターフェース・システムの概略ブロック図
である。
【図6】図1のコンピュータのインターフェース・シス
テムのリレー回路の概略図である。
【図7】システム全体的に見た概略処理の流れを示すフ
ローチャートである。
【符号の説明】
10 車両 12 ステアリングホイール 20 ディスプレイ(表示手段) 21 ウインドシールドガラス 22 センサ(監視手段) 23 エネルギー源(発生手段、発光手段の一部) 24 検知領域 25 ダッシュボード 26 インストルメントパネル 36 レンズ(発光手段の一部) 46 コンピュータ(解析手段) 48 ボックス(供給手段) 60 ページャ用モータ(報知手段) 62 マッサージ機用モータ(報知手段)
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G06F 3/00 620 G06F 3/00 620G 680 680C 3/03 380 3/03 380C 380D 3/033 360 3/033 360E (72)発明者 フォン シュエ アメリカ合衆国 94305 カリフォルニア 州 スタンフォード ブラックウェルダー 126 11エフ (72)発明者 スン−ワン ウェイン チャン アメリカ合衆国 95131 カリフォルニア 州 サンノゼ ソーンリーフ ウェイ 1606 (72)発明者 ハン リン アメリカ合衆国 94086 カリフォルニア 州 サニーベール ポンデローサ アベニ ュー 987 ナンバーエー Fターム(参考) 5B020 AA12 CC12 GG16 5B068 AA05 AA11 AA32 BB20 BC04 BE06 BE15 CD01 5B087 AA06 AA10 AB02 AB09 AE00 CC02 CC26 CC34 DD02 DE02 DE03 DG02 DJ03 5E501 AA22 BA03 BA05 CA04 CC02 CC06 EA10 EB05 FA23 FA45 FB43

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 操作者の動作によって該動作に対応する
    出力信号を電子装置に供給する入力装置において、 前記動作に対応して動作指示点が発生するように光波を
    出射する発生手段と、前記動作指示点を監視する監視手
    段と、 前記監視手段により監視した動作指示点に基づいて、操
    作者の動作を解析する解析手段と、 前記解析手段の解析結果により定まる動作に対応する出
    力信号を前記電子装置へ供給する供給手段と、 を備えたことを特徴とする入力装置。
  2. 【請求項2】 前記出力信号による前記電子装置の機能
    を表す機能情報を、動作に対応して表示する表示手段を
    さらに含むことを特徴とする請求項1に記載の入力装
    置。
  3. 【請求項3】 所定動作によって電子装置に出力信号を
    供給したことを報知する報知手段をさらにを含むことを
    特徴とする請求項1または請求項2に記載の入力装置。
  4. 【請求項4】 前記発生手段は、出射方向を含む面状に
    光を出射する発光手段から構成したことを特徴とする請
    求項1乃至請求項3の何れか1項に記載の入力装置。
  5. 【請求項5】 前記発生手段は、移動体を操舵するため
    のステアリングホイールに設けたことを特徴とする請求
    項1乃至請求項4の何れか1項に記載の入力装置。
JP2000363686A 2000-11-13 2000-11-29 コンピュータのユーザ・インターフェース用システム及びユーザ・インターフェース提供方法 Expired - Fee Related JP3979002B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US709721 2000-11-13
US09/709,721 US6703999B1 (en) 2000-11-13 2000-11-13 System for computer user interface

Publications (2)

Publication Number Publication Date
JP2002149304A true JP2002149304A (ja) 2002-05-24
JP3979002B2 JP3979002B2 (ja) 2007-09-19

Family

ID=24851060

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000363686A Expired - Fee Related JP3979002B2 (ja) 2000-11-13 2000-11-29 コンピュータのユーザ・インターフェース用システム及びユーザ・インターフェース提供方法

Country Status (2)

Country Link
US (1) US6703999B1 (ja)
JP (1) JP3979002B2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005047329A (ja) * 2003-07-31 2005-02-24 Nissan Motor Co Ltd 車輌用入力装置
JP2005293103A (ja) * 2004-03-31 2005-10-20 Alpine Electronics Inc 空間入力システム
JP2005292976A (ja) * 2004-03-31 2005-10-20 Alpine Electronics Inc 仮想インタフェース制御装置
JP2005321948A (ja) * 2004-05-07 2005-11-17 Fujitsu Ten Ltd 操作入力装置
JP2006335112A (ja) * 2005-05-31 2006-12-14 Nissan Motor Co Ltd コマンド入力装置
JP2007524145A (ja) * 2003-06-12 2007-08-23 バイエリッシェ モートーレン ウエルケ アクチエンゲゼルシャフト 操作エレメント
WO2015019593A1 (ja) * 2013-08-09 2015-02-12 株式会社デンソー タッチパネル式入力装置、およびタッチパネル式入力方法
JP2015133109A (ja) * 2013-12-20 2015-07-23 イマージョン コーポレーションImmersion Corporation 車両の中で触覚フィードバックを用いるジェスチャー・ベースの入力システム
JP2015531719A (ja) * 2012-11-27 2015-11-05 ネオノード インコーポレイテッド ステアリングホイール及びダッシュボード上の光ベースのタッチコントロール
JP2017500241A (ja) * 2013-12-13 2017-01-05 ダヴ 自動車用のヒューマンマシンインターフェース
JP2017084136A (ja) * 2015-10-28 2017-05-18 アルパイン株式会社 ジェスチャ入力装置
JP2019197575A (ja) * 2013-12-31 2019-11-14 イマージョン コーポレーションImmersion Corporation 一つの制御装置及び触覚効果を利用可能なユーザインターフェースを使用して複数のディスプレイを制御するシステム並びに方法

Families Citing this family (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060284839A1 (en) * 1999-12-15 2006-12-21 Automotive Technologies International, Inc. Vehicular Steering Wheel with Input Device
US20060033724A1 (en) * 2004-07-30 2006-02-16 Apple Computer, Inc. Virtual input device placement on a touch screen user interface
US9292111B2 (en) 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
US7614008B2 (en) 2004-07-30 2009-11-03 Apple Inc. Operation of a computer with touch screen interface
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US9239673B2 (en) 1998-01-26 2016-01-19 Apple Inc. Gesturing with a multipoint sensing device
US7920102B2 (en) * 1999-12-15 2011-04-05 Automotive Technologies International, Inc. Vehicular heads-up display system
CA2350910A1 (en) * 2001-06-20 2002-12-20 Kevin Tuer Reconfigurable dashboard system
JP4425496B2 (ja) * 2001-07-03 2010-03-03 アルパイン株式会社 表示装置
CA2363396A1 (en) * 2001-11-21 2003-05-21 Handshake Interactive Technologies Inc Hard real time control center
CA2370580A1 (en) * 2002-02-05 2003-08-05 Handshake Interactive Technologies Inc Thin client based intelligent transportation system
US20030231208A1 (en) * 2002-06-13 2003-12-18 Kris Hanon Multimode interface
JP4200748B2 (ja) * 2002-11-29 2008-12-24 富士ゼロックス株式会社 触覚インターフェイス装置
US6961644B2 (en) * 2002-12-12 2005-11-01 Alps Automotive, Inc. Dual haptic vehicle control and display system
JP2004224127A (ja) * 2003-01-21 2004-08-12 Calsonic Kansei Corp パーソナルコンピュータ車内設置装置
ITTO20030662A1 (it) * 2003-08-29 2005-02-28 Fiat Ricerche Disposizione di visualizzazione virtuale per un quadro
JP4311190B2 (ja) 2003-12-17 2009-08-12 株式会社デンソー 車載機器用インターフェース
US20060209037A1 (en) * 2004-03-15 2006-09-21 David Wang Method and system for providing haptic effects
US8381135B2 (en) 2004-07-30 2013-02-19 Apple Inc. Proximity detector in handheld device
US7295904B2 (en) * 2004-08-31 2007-11-13 International Business Machines Corporation Touch gesture based interface for motor vehicle
US20060162485A1 (en) * 2005-01-07 2006-07-27 Jeremy Leng Automotive steering wheel
US7503658B2 (en) * 2005-01-20 2009-03-17 Hewlett-Packard Development Company, L.P. Projector
US7910356B2 (en) * 2005-02-01 2011-03-22 Purdue Research Foundation Multiplexed biological analyzer planar array apparatus and methods
EP1851750A4 (en) 2005-02-08 2010-08-25 Oblong Ind Inc SYSTEM AND METHOD FOR CONTROL SYSTEM BASED ON GESTURES
WO2006129307A1 (en) * 2005-05-30 2006-12-07 Elbit Systems Ltd. Combined head up display
US8370383B2 (en) 2006-02-08 2013-02-05 Oblong Industries, Inc. Multi-process interactive systems and methods
US9910497B2 (en) 2006-02-08 2018-03-06 Oblong Industries, Inc. Gestural control of autonomous and semi-autonomous systems
US20090278915A1 (en) * 2006-02-08 2009-11-12 Oblong Industries, Inc. Gesture-Based Control System For Vehicle Interfaces
US8531396B2 (en) 2006-02-08 2013-09-10 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US8537111B2 (en) 2006-02-08 2013-09-17 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US9823747B2 (en) 2006-02-08 2017-11-21 Oblong Industries, Inc. Spatial, multi-modal control device for use with spatial operating system
WO2007121977A2 (de) * 2006-04-22 2007-11-01 Ident Technology Ag Steuersystem für ein fahrzeugcockpit
DE102006037725B4 (de) 2006-06-22 2018-05-30 Volkswagen Ag Kraftfahrzeug mit einer Eingabevorrichtung
US20080210474A1 (en) * 2006-10-31 2008-09-04 Volkswagen Of America, Inc. Motor vehicle having a touch screen
EP2163987A3 (en) 2007-04-24 2013-01-23 Oblong Industries, Inc. Processing of events in data processing environments
US9285878B2 (en) * 2007-07-30 2016-03-15 University Of Utah Research Foundation Shear tactile display system for communicating direction and other tactile cues
US9268401B2 (en) 2007-07-30 2016-02-23 University Of Utah Research Foundation Multidirectional controller with shear feedback
US8645001B2 (en) * 2007-09-04 2014-02-04 International Business Machines Corporation Method and system for blind spot identification and warning utilizing visual indicators
US7944343B2 (en) * 2007-10-07 2011-05-17 Audi Ag System and method for providing information in a vehicle
US20090174682A1 (en) * 2008-01-05 2009-07-09 Visteon Global Technologies, Inc. Instrumentation Module For A Vehicle
US8326462B1 (en) 2008-03-12 2012-12-04 University Of Utah Research Foundation Tactile contact and impact displays and associated methods
US20110032090A1 (en) * 2008-04-15 2011-02-10 Provancher William R Active Handrest For Haptic Guidance and Ergonomic Support
US8723795B2 (en) 2008-04-24 2014-05-13 Oblong Industries, Inc. Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes
US9952673B2 (en) 2009-04-02 2018-04-24 Oblong Industries, Inc. Operating environment comprising multiple client devices, multiple displays, multiple users, and gestural control
US9740922B2 (en) 2008-04-24 2017-08-22 Oblong Industries, Inc. Adaptive tracking system for spatial input devices
US10642364B2 (en) 2009-04-02 2020-05-05 Oblong Industries, Inc. Processing tracking and recognition data in gestural recognition systems
US9495013B2 (en) 2008-04-24 2016-11-15 Oblong Industries, Inc. Multi-modal gestural interface
US9684380B2 (en) 2009-04-02 2017-06-20 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US9740293B2 (en) 2009-04-02 2017-08-22 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
JP5378519B2 (ja) 2008-08-07 2013-12-25 ドラム,オウエン 光学タッチセンサー式デバイスにおけるマルチタッチ事象を検出する方法および装置
JP5596914B2 (ja) * 2008-09-16 2014-09-24 富士通株式会社 端末装置、表示制御方法、及び表示機能を備えたプログラム
US8610548B1 (en) 2009-02-03 2013-12-17 University Of Utah Research Foundation Compact shear tactile feedback device and related methods
US8775023B2 (en) 2009-02-15 2014-07-08 Neanode Inc. Light-based touch controls on a steering wheel and dashboard
US9317128B2 (en) 2009-04-02 2016-04-19 Oblong Industries, Inc. Remote devices used in a markerless installation of a spatial operating environment incorporating gestural control
US10824238B2 (en) 2009-04-02 2020-11-03 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US20100315376A1 (en) * 2009-06-10 2010-12-16 Dave Jaeyeong Choi Control interface assemblies and vehicles including same
EP2273353A1 (en) 2009-07-07 2011-01-12 Ford Global Technologies Inc. Improved human machine interface
US9971807B2 (en) 2009-10-14 2018-05-15 Oblong Industries, Inc. Multi-process interactive systems and methods
US9933852B2 (en) 2009-10-14 2018-04-03 Oblong Industries, Inc. Multi-process interactive systems and methods
US8994665B1 (en) 2009-11-19 2015-03-31 University Of Utah Research Foundation Shear tactile display systems for use in vehicular directional applications
JP5005758B2 (ja) * 2009-12-25 2012-08-22 株式会社ホンダアクセス 自動車における車載機器の操作装置
US8700262B2 (en) * 2010-12-13 2014-04-15 Nokia Corporation Steering wheel controls
EP2518592B1 (en) * 2011-04-25 2017-07-26 Daesung Electric Co., Ltd Haptic steering wheel switch apparatus
EP2518591B1 (en) 2011-04-25 2018-05-30 LS Automotive Technologies Co., Ltd. Haptic steering wheel switch apparatus and haptic steering wheel switch system including the same
DE102011086826A1 (de) * 2011-11-22 2013-05-23 Robert Bosch Gmbh System mit einem Handwerkzeugakku und zumindest einer Handwerkzeugakkuladevorrichtung
US9336456B2 (en) 2012-01-25 2016-05-10 Bruno Delean Systems, methods and computer program products for identifying objects in video data
RU2518404C2 (ru) * 2012-09-11 2014-06-10 Открытое акционерное общество "АНГСТРЕМ" Устройство для управления транспортным средством
JP2016500606A (ja) 2012-10-23 2016-01-14 ティーケー ホールディングス インク.Tk Holdings Inc. ステアリングホイールライトバー
DE112013005126T5 (de) 2012-10-23 2015-07-16 Tk Holdings Inc. Lenkrad-Lichtbalken
WO2014066477A1 (en) 2012-10-23 2014-05-01 Tk Holdings Inc. Steering wheel light bar
US9092093B2 (en) 2012-11-27 2015-07-28 Neonode Inc. Steering wheel user interface
US12032817B2 (en) 2012-11-27 2024-07-09 Neonode Inc. Vehicle user interface
USD837232S1 (en) 2012-11-30 2019-01-01 Waymo Llc Display screen or a portion thereof with graphical user interface
USD746836S1 (en) 2012-11-30 2016-01-05 Google Inc. Display screen or portion thereof with transitional graphical user interface
USD708217S1 (en) * 2012-11-30 2014-07-01 Google Inc. Portion of a display screen with icon
JP6202810B2 (ja) * 2012-12-04 2017-09-27 アルパイン株式会社 ジェスチャ認識装置および方法ならびにプログラム
KR101490908B1 (ko) * 2012-12-05 2015-02-06 현대자동차 주식회사 차량 내 손모양 궤적 인식을 이용한 사용자 인터페이스 조작 시스템 및 방법
US9045074B2 (en) * 2012-12-12 2015-06-02 GM Global Technology Operations LLC Driver alerts
JP5784061B2 (ja) 2013-03-27 2015-09-24 本田技研工業株式会社 入力装置、入力方法及び入力プログラム
JP5750687B2 (ja) * 2013-06-07 2015-07-22 島根県 カーナビ用ジェスチャ入力装置
US9990046B2 (en) 2014-03-17 2018-06-05 Oblong Industries, Inc. Visual collaboration interface
US9873446B2 (en) 2014-07-23 2018-01-23 Tk Holdings, Inc. Steering grip light bar systems
FR3023513B1 (fr) * 2014-12-09 2018-05-04 Continental Automotive France Procede d'interaction pour piloter un combine d'instruments d'un vehicule automobile
US10532659B2 (en) 2014-12-30 2020-01-14 Joyson Safety Systems Acquisition Llc Occupant monitoring systems and methods
US10614328B2 (en) 2014-12-30 2020-04-07 Joyson Safety Acquisition LLC Occupant monitoring systems and methods
US9533687B2 (en) 2014-12-30 2017-01-03 Tk Holdings Inc. Occupant monitoring systems and methods
US9580012B2 (en) 2015-03-02 2017-02-28 Tk Holdings Inc. Vehicle object detection and notification system
USD806729S1 (en) 2015-04-24 2018-01-02 Tk Holdings, Inc. Display screen with graphical user interface
WO2016172709A1 (en) 2015-04-24 2016-10-27 Tk Holdings Inc. Steering wheel light bar
DE102016211209A1 (de) * 2016-06-23 2017-12-28 Zf Friedrichshafen Ag Steuerung eines Kraftfahrzeugs
US10529302B2 (en) 2016-07-07 2020-01-07 Oblong Industries, Inc. Spatially mediated augmentations of and interactions among distinct devices and applications via extended pixel manifold
JP7142638B2 (ja) 2017-01-04 2022-09-27 ジョイソン セイフティ システムズ アクイジション エルエルシー 車両照明システム及び方法
US10953791B2 (en) 2018-03-08 2021-03-23 Joyson Safety Systems Acquisition Llc Vehicle illumination systems and methods
CN109254652A (zh) * 2018-08-13 2019-01-22 瑞声科技(新加坡)有限公司 车辆触摸显示屏的触觉反馈方法、系统及控制装置
CN113165515B (zh) 2018-11-28 2021-11-02 内奥诺德公司 驾驶员用户界面传感器
WO2022020055A1 (en) * 2020-07-24 2022-01-27 Ta Instruments-Waters Llc Haptic feedback for configuring materials testing systems

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02199526A (ja) * 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
JPH0510151A (ja) 1991-07-02 1993-01-19 Ishikawajima Harima Heavy Ind Co Ltd ガスタービンの冷却装置
WO1994025915A1 (en) * 1993-04-28 1994-11-10 Mcpheters R Douglas Holographic operator interface
WO1995031791A1 (en) * 1994-05-12 1995-11-23 Apple Computer, Inc. Method and apparatus for noise filtering for an input device
US5414439A (en) * 1994-06-09 1995-05-09 Delco Electronics Corporation Head up display with night vision enhancement
JPH0981309A (ja) 1995-09-13 1997-03-28 Toshiba Corp 入力装置
US6373472B1 (en) * 1995-10-13 2002-04-16 Silviu Palalau Driver control interface system
JPH1029540A (ja) 1996-07-17 1998-02-03 Omron Corp ステアリングスイッチ装置
US5914709A (en) * 1997-03-14 1999-06-22 Poa Sana, Llc User input device for a computer system
DE19812842C2 (de) 1998-03-24 2000-06-29 Bosch Gmbh Robert Vorrichtung zum Erfassen von Lenkraddrehungen
US5977867A (en) * 1998-05-29 1999-11-02 Nortel Networks Corporation Touch pad panel with tactile feedback
JP2000168468A (ja) 1998-12-04 2000-06-20 Calsonic Corp 車両用の情報伝達装置
US6333735B1 (en) * 1999-03-16 2001-12-25 International Business Machines Corporation Method and apparatus for mouse positioning device based on infrared light sources and detectors
US6262848B1 (en) * 1999-04-29 2001-07-17 Raytheon Company Head-up display

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007524145A (ja) * 2003-06-12 2007-08-23 バイエリッシェ モートーレン ウエルケ アクチエンゲゼルシャフト 操作エレメント
JP2005047329A (ja) * 2003-07-31 2005-02-24 Nissan Motor Co Ltd 車輌用入力装置
JP2005293103A (ja) * 2004-03-31 2005-10-20 Alpine Electronics Inc 空間入力システム
JP2005292976A (ja) * 2004-03-31 2005-10-20 Alpine Electronics Inc 仮想インタフェース制御装置
JP2005321948A (ja) * 2004-05-07 2005-11-17 Fujitsu Ten Ltd 操作入力装置
JP2006335112A (ja) * 2005-05-31 2006-12-14 Nissan Motor Co Ltd コマンド入力装置
JP2015531719A (ja) * 2012-11-27 2015-11-05 ネオノード インコーポレイテッド ステアリングホイール及びダッシュボード上の光ベースのタッチコントロール
JP2015035141A (ja) * 2013-08-09 2015-02-19 株式会社デンソー タッチパネル式入力装置、およびタッチパネル式入力方法
WO2015019593A1 (ja) * 2013-08-09 2015-02-12 株式会社デンソー タッチパネル式入力装置、およびタッチパネル式入力方法
JP2017500241A (ja) * 2013-12-13 2017-01-05 ダヴ 自動車用のヒューマンマシンインターフェース
JP2015133109A (ja) * 2013-12-20 2015-07-23 イマージョン コーポレーションImmersion Corporation 車両の中で触覚フィードバックを用いるジェスチャー・ベースの入力システム
US10449972B2 (en) 2013-12-20 2019-10-22 Immersion Corporation Gesture based input system in a vehicle with haptic feedback
JP2021166058A (ja) * 2013-12-20 2021-10-14 イマージョン コーポレーションImmersion Corporation 車両の中で触覚フィードバックを用いるジェスチャー・ベースの入力システム
JP2019197575A (ja) * 2013-12-31 2019-11-14 イマージョン コーポレーションImmersion Corporation 一つの制御装置及び触覚効果を利用可能なユーザインターフェースを使用して複数のディスプレイを制御するシステム並びに方法
JP2017084136A (ja) * 2015-10-28 2017-05-18 アルパイン株式会社 ジェスチャ入力装置

Also Published As

Publication number Publication date
US6703999B1 (en) 2004-03-09
JP3979002B2 (ja) 2007-09-19

Similar Documents

Publication Publication Date Title
JP3979002B2 (ja) コンピュータのユーザ・インターフェース用システム及びユーザ・インターフェース提供方法
US11124118B2 (en) Vehicular display system with user input display
CN107351763B (zh) 用于车辆的控制装置
CN107107841B (zh) 信息处理装置
US9645640B2 (en) Device and method for navigating within a menu for controlling a vehicle, and selecting a menu entry from the menu
US10591723B2 (en) In-vehicle projection display system with dynamic display area
CN113994312B (zh) 通过手势识别和控制设备运行移动终端的方法、手势识别和控制设备、机动车及可佩戴在头上的输出装置
US20110310001A1 (en) Display reconfiguration based on face/eye tracking
CN110740896B (zh) 用于运输工具的用户界面以及具有用户界面的运输工具
JP2018150043A (ja) 自動車における情報伝送のためのシステム
US9701201B2 (en) Input apparatus for vehicle and vehicle including the same
CN107150643B (zh) 车辆及其控制方法
US20130204457A1 (en) Interacting with vehicle controls through gesture recognition
KR101351656B1 (ko) 차량용 글랜스 라이트 장치
US11595878B2 (en) Systems, devices, and methods for controlling operation of wearable displays during vehicle operation
JP2007069676A (ja) 車両用操作装置
US20180024695A1 (en) Detecting user interactions with a computing system of a vehicle
JP2015191310A (ja) 車両用表示入力装置
CN112384403B (zh) 用于运行显示操作设备的方法、显示操作设备以及机动车
JP5382313B2 (ja) 車両用操作入力装置
JP7032950B2 (ja) 車両遠隔操作装置、車両遠隔操作システム及び車両遠隔操作方法
US20130187845A1 (en) Adaptive interface system
JP2005135439A (ja) 操作入力装置
WO2018230526A1 (ja) 入力システム、および入力方法
JP2006327526A (ja) 車載機器の操作装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060807

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070315

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070605

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070618

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100706

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110706

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110706

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120706

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130706

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees