JP2017135742A - 推論された車両状態に基づいたユーザ・インタフェース体験の提供 - Google Patents

推論された車両状態に基づいたユーザ・インタフェース体験の提供 Download PDF

Info

Publication number
JP2017135742A
JP2017135742A JP2017070380A JP2017070380A JP2017135742A JP 2017135742 A JP2017135742 A JP 2017135742A JP 2017070380 A JP2017070380 A JP 2017070380A JP 2017070380 A JP2017070380 A JP 2017070380A JP 2017135742 A JP2017135742 A JP 2017135742A
Authority
JP
Japan
Prior art keywords
vehicle
mobile device
user
input information
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017070380A
Other languages
English (en)
Other versions
JP6785704B2 (ja
Inventor
エス. ペク,ティモシー
S Paek Timothy
エス. ペク,ティモシー
バフル,パラムヴィア
Bahl Paramvir
アッダガトラ,スリーニヴァス
Addagatla Sreenivas
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2017135742A publication Critical patent/JP2017135742A/ja
Application granted granted Critical
Publication of JP6785704B2 publication Critical patent/JP6785704B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W48/00Access restriction; Network selection; Access point selection
    • H04W48/02Access restriction performed under specific conditions
    • H04W48/04Access restriction performed under specific conditions based on user or terminal location or mobility data, e.g. moving direction, speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/26Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/50Instruments characterised by their means of attachment to or integration in the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/85Arrangements for transferring vehicle- or driver-related data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1632External expansion units, e.g. docking stations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/025Services making use of location information using location based information parameters
    • H04W4/027Services making use of location information using location based information parameters using movement velocity, acceleration information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/90Services for handling of emergency or hazardous situations, e.g. earthquake and tsunami warning systems [ETWS]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143Touch sensitive instrument input devices
    • B60K2360/1438Touch screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146Instrument input by gesture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146Instrument input by gesture
    • B60K2360/14643D-gesture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146Instrument input by gesture
    • B60K2360/1468Touch gesture
    • B60K2360/1472Multi-touch gesture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/148Instrument input by voice
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/151Instrument output devices for configurable output
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/166Navigation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • B60K2360/182Distributing information between displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/21Optical features of instruments using cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/55Remote control arrangements
    • B60K2360/56Remote control arrangements using mobile devices
    • B60K2360/566Mobile devices displaying vehicle information
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/55Remote control arrangements
    • B60K2360/56Remote control arrangements using mobile devices
    • B60K2360/573Mobile devices controlling vehicle functions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/586Wired data transfers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/589Wireless data transfers
    • B60K2360/5894SIM cards
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/589Wireless data transfers
    • B60K2360/5899Internet
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/592Data transfer involving external databases
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/828Mounting or fastening exchangeable modules
    • B60K2360/834Docking arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Public Health (AREA)
  • Emergency Management (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Emergency Alarm Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】車両内でモバイル装置を操作するユーザにユーザ・インタフェース体験を提供するモバイル・デバイスを提供する。
【解決手段】モバイル・デバイスは、モード機能を使用してユーザ・インタフェース体験を提供する。モード機能は、1つ又は複数の入力源から推論入力情報を受け取ることによって動作する。少なくとも1つの入力源は、モバイル・デバイスの移動を判定する、モバイル・デバイスによって備えられる少なくとも1つの移動検知デバイスに対応する。モード機能は次いで、推論入力情報に基づいて車両の状態を推論し、車両状態に適切なユーザ・インタフェース体験を提示する。一シナリオでは、モード機能は更に、車両が危険状態にあると推論することが可能である。これに応じて、モード機能はユーザに対する支援を求めることが可能である。
【選択図】図4

Description

車両を運転しているユーザが、自分のモバイル・デバイスと対話(interact)したい場合がある。
例えば、ユーザが、通話の実行及び受信、サーチの実施、電子メールの閲読等を行いたい場合がある。前述の活動は、車両を運転するという主タスクからユーザの注意をそらし、よって、ユーザの安全性(及び他者の安全性)に対して重大な危険を呈し得る。前述の課題に対応するために、多くの法律制定主体は、ユーザが自分の車両内でモバイル・デバイスと手動で対話することを阻止する法律を制定している。
上記課題に対する解決策の1つは、車両を運転している間にユーザが自分のモバイル・デバイスと対話することを完全に排除することである。別の解決策では、ユーザは、種々のハンズフリー対話デバイスを使用することが可能である。例えば、ユーザは、音声認識技術を使用して通話を開始することが可能である。ユーザは次いで、モバイル・デバイスを把持することなく、ヘッドセット等を使用して通話を行うことが可能である。前述の解決策は、特定の場合にユーザが自分のモバイル・デバイスを使用するリスクを削減することに寄与し得るが、運転中にユーザが直面し得る、注意をそらす無数のものに対する一般的に満足な解決策を提供するものでない。
車両内でモバイル・デバイスを操作しているユーザにユーザ・インタフェース体験を提供するモバイル・デバイスを本明細書及び特許請求の範囲において説明する。モバイル・デバイスは、モード機能を使用して前述のタスクを行う。モード機能は、1つ又は複数の入力源から推論入力情報を受け取ることによって作動する。少なくとも1つの入力源は、モバイル・デバイスによって提供された移動検知デバイスに対応する。モード機能デバイスは次いで、推論入力情報に基づいて車両の状態(すなわち、「車両状態」)を推論する。モード機能は次いで、車両状態に鑑みて適切なユーザ・インタフェース体験をユーザに提示する。より具体的には、モード機能は、特定の注意関連要求を課すユーザ・インタフェース体験をユーザに提示する。前述の注意関連要求は車両状態に鑑みて適切である。例えば、モード機能は、車両が高速で走行している旨を車両状態が示す場合にユーザの注意に対する最小源の要求を提供するユーザ・インタフェース体験を提示し得る。
一シナリオでは、モード機能は更に、例えば、事故又は他のトラブルの結果として、車両が危険状態にあると、推論入力情報に基づいて推論することが可能である。前述の評価に応じて、モード機能はユーザに対する支援を提供することが可能である。1つの場合では、モード機能は、(a)モバイル・デバイスが車両内にあり、(b)車両が、急停車したか、又は別の態様で急減速し、(c)モバイル・デバイスがそのマウントから取り外された(か、又は前述の事象の部分集合が生じた)ことの、推論入力情報から収集された証拠に基づいて車両が危険状態にあることを推論することが可能である。
上記手法は、種々のタイプのシステム、構成部分、方法、コンピュータ読み取り可能な媒体、データ構造、製品等において表され得る。
本概要は、単純化された形式で概念の選択肢を紹介するために提供する。前述の概念は。詳細な説明において以下に更に説明している。本概要は、特許請求の範囲に記載の主題の主要な構成又は必須の構成を識別することを意図するものでなく、特許請求の範囲に記載の主題の範囲を限定するために使用することを
意図するものでもない。
車両の推論状態(すなわち、車両状態)に基づいたユーザ・インタフェース体験をユーザが受ける例証的な環境を示す図である。 車両の内部領域を図示した図である。内部領域は、マウントを使用して車両の表面に取り付けられたモバイル・デバイスを含む。 車両内のモバイル・デバイスを取り付けるために使用することが可能な一タイプの代表的なマウントを示す図である。 図1の環境において使用するための、モバイル・デバイスの例証的な一実現形態を示す図である。 図4のモバイル・デバイスによって使用することが可能な例証的な移動検知デバイスを示す図である。 出力情報を提示するために図4のモバイル・デバイスによって使用することが可能な例証的な出力機能を示す図である。 図3のマウントに関連付けられた例証的な機能、及び前述の機能がモバイル・デバイスと対話することが可能な態様を示す図である。 図4のモバイル・デバイスによって提供されるそれぞれの2つの出力モードを図示した図である。 図4のモバイル・デバイスによって提供されるそれぞれの2つの出力モードを図示した図である。 図4のモバイル・デバイスによって提供されるそれぞれの3つの入力モードを図示した図である。 図4のモバイル・デバイスによって提供されるそれぞれの3つの入力モードを図示した図である。 図4のモバイル・デバイスによって提供されるそれぞれの3つの入力モードを図示した図である。 図4のモバイル・デバイスによって提供することが可能な代表的なアプリケーション及びモード機能に関する更なる詳細を示す図である。 図4のモバイル・デバイスが、車両の状態に応じてユーザ・インタフェース体験を制御することが可能な例証的なオプションを列挙した図である。 機能が、車両に影響を及ぼし得る危険状態を推論し、上記危険状態に応答し得る例証的な実施例を示す図である。例えば、車両が事故にあった際に、危険状態が車両に生じ得る。 図15の環境において使用することが可能な例証的な危険管理モジュールを示す図である。 ユーザの観点から、図1の環境の動作の一態様を説明する例証的な手順を示す図である。 モバイル・デバイスが車両の推論状態に基づいてユーザ・インタフェース体験を提供することが可能な例証的な手順を示す図である。 別々の3つの車両状態シナリオに対応する、図18の手順の別々の3つのインスタンシエイションを示す図である。 別々の3つの車両状態シナリオに対応する、図18の手順の別々の3つのインスタンシエイションを示す図である。 別々の3つの車両状態シナリオに対応する、図18の手順の別々の3つのインスタンシエイションを示す図である。 図16の危険管理モジュールが、車両に影響を及ぼし得る危険状態を推論し、上記危険状態に応答し得る例証的な手順を示す図である。 上記図面に示す構成の何れかの局面を実現するために使用することが可能な例証的なコンピューティング機能を示す図である。
同様な構成部分及び構成を参照するために、本開示を通して同じ数字を使用している。100台の数字は元々図1に存在した構成を表し、200台の数字は元々図2に存在した構成を表し、300台の数字は元々図3に存在して構成を表す等である。
本開示は以下の通りに編成される。セクションAは、推論された車両状態に応じてユーザ・インタフェース体験を提供する例証的な機能を記載する。セクションBは、セクションAの機能の動作を説明する例証的な方法を記載する。セクションCは、セクションA及びBにおいて記載された構成の何れかの局面を実現するために使用することが可能な例証的なコンピューティング機能を記載する。
前置き的事項として、図の一部は、機能、モジュール、構成、構成要素等として様々に表される1つ又は複数の構造的な構成部分の関係における概念を表す、図に示す種々の構成部分は、何れかの物理的及び有形機構により(、例えば、ソフトウェア、ハードウェア(例えば、チップによって実現されるロジック機能)、ファームウェア等、及び/又は、それらの何れかの組み合わせにより、)何れかの態様で実現することが可能である。一場合では、図中の種々の構成部分を別個の単位に例証的に分離していることは、実際の実現形態において対応する別個の物理的及び有形構成部分を使用していることを反映し得る。あるいは、又は、更に、図中に示す何れかの単一の構成部分は、複数の実際の物理的構成部分によって実現し得る。あるいは、又は、更に、図中の2つ以上の別個の構成部分を表していることは、単一の実際の物理的構成部分によって行われた別々の機能を反映し得る。次に説明する図23は、図中に示す機能の1つの例証的な物理的実現形態に関する更なる詳細を提供する。
他の図はフローチャート形式で概念を表す。前述の形式において、特定の処理を、特定の順序で行われる別個のブロックを構成するものとして表す。前述の実現形態は、例証的であり、かつ、限定するものでない。本明細書記載の特定のブロックを併せてグループ化し、単一の処理において行うことが可能であり、特定のブロックを複数の構成部分ブロックに分離することが可能であり、特定のブロックを、(ブロックを行う並列の態様を含む、)本明細書及び特許請求の範囲記載の順序と異なる順序で行うことが可能である。フローチャートにおいて示すブロックは、何れかの物理的及び有形機構により(、例えば、ソフトウェア、ハードウェア(例えば、チップによって実現可能なロジック機能)、ファームウェア等、及び/又は、それらの何れかの組み合わせにより、)何れかの態様で実現することが可能である。
用語については、「〜よう構成された」の句は、識別された処理を行うよう、何れかの種類の物理的及び有形機能を構成することが可能である何れかの態様を包含する。機能は、例えば、ソフトウェア、ハードウェア(例えば、チップによって実現されたロジック機能)、ファームウェア等、及び/又はそれらの何れかの組み合わせを使用して動作を行うよう構成することが可能である。
「ロジック」の語は、タスクを行うための何れかの物理的及び有形機能を包含する。例えば、フローチャートに示す処理はそれぞれ、その処理を行うためのロジック構成部分に対応する。処理は、例えば、ソフトウェア、ハードウェア(例えば、チップによって実現されたロジック機能)、ファームウェア等、及び/又はそれらの何れかの組み合わせを使用して行うことが可能である。コンピューティング・システムによって実現された場合、ロジック構成部分は、どのように実現されても、コンピューティング・システムの物理的部分の電気構成部分を表す。
本出願の特許請求の範囲の原文に記載の「means for」の句は、使用される場合、35U.S.C.§112第6段落の規定を援用することを意図している。前述の特定の句以外の他の文言は、上記法令の前述の部分の規定を援用することを意図するものでない。
以下の説明は1つ又は複数の構成を「任意的」として記し得る。前述のタイプの記載は、任意的であるとみなし得る構成の網羅的に示すものとして解釈されないものとする。すなわち、他の構成は、本文中に明記されていないが、任意的であるとみなし得る。最後に、「例示的」又は「例証的」の語は、潜在的に多くの実現形態のうちの一実現形態を表す。
A.例証的なモバイル・デバイス、及びその使用環境
図1は、ユーザが車両内でモバイル・デバイスを操作することが可能な例証的な環境100を示す。例えば、図1は、車両106内のモバイル・デバイス104を操作する例証的なユーザ102、及び車両112内のモバイル・デバイス110を操作するユーザ108を表す。しかし、環境100は、何れの数のユーザ、モバイル・デバイス、及び車両をも収容することが可能である。説明を単純にするために、このセクションでは、環境100内の何れかのモバイル・デバイスの動作を表すものとして、このモバイル・デバイス104を扱い、ユーザ102によって操作されるモバイル・デバイス104の動作の例証的な構成及び態様を記載する。更に、特定の場合では、前述の説明は、モバイル・デバイス104が特定の処理機能を行うことを示す。前述の記載は、大まかに解されるものとする。場合によっては、モバイル・デバイス104は、前述の機能を実行するロジックを提供することにより、機能を行うことが可能である。あるいは、又は、更に、モバイル・デバイス104は、モバイル・デバイス104に代わって機能を行う遠隔エンティティと対話することにより、機能を行うことが可能である。
より具体的には、モバイル・デバイス104は少なくとも2つのモードで動作する。ハンドヘルド動作モードでは、ユーザ102は、自分の手で把持しながら、モバイル・デバイス104と対話することが可能である。例えば、ユーザ102は、何れかのデバイス機能を行うために、モバイル・デバイス104のキーパッド及び/又はモバイル・デバイス104のタッチ入力デバイスと対話することが可能である。車両動作モードでは、ユーザ102は自分の車両106内のモバイル・デバイス104と対話することが可能である。前述のモードでは、モバイル・デバイス104は、推論入力情報に基づいて車両106の状態(すなわち、本明細書及び特許請求の範囲使用の用語による「車両状態」)を自動的に評価する。モバイル・デバイス104は次いで、以下に更に詳細に説明するように車両状態に基づいてユーザ・インタフェース体験を提示する。
概要として、車両状態は、車両106をユーザ102が現在動作させている態様を特徴付ける。車両状態の一部の局面は、車両の移動の動力学に直接関係し得る。前述の直接的な局面は、限定列挙でないが、車両106が走行する速度、車両106を加減速させる態様、車両106の向きを操作させる態様、車両106のブレーキをかける態様等を含み得る。車両状態の他の局面は、車両106が移動する態様に対して、より間接的な関係を有し得る。例えば、車両状態の前述の局面は、車両106の移動が行われる制限的な状況に関係し得る。前述の間接的な局面は、限定列挙でないが、車両106が走行する地域、車両106が走行する時刻、車両106が走行する日付、車両106が走行する天候、車両106が走行する道路の状況等を含み得る。
モバイル・デバイス104は、推論入力情報に基づいて車両状態を判定することが可能である。推論入力情報は、車両状態を推論するために使用することが可能な何れかの情報に関する。推論入力情報の一部は、モバイル・デバイス104の内部にある入力源から生じ得る。他の推論入力情報は、モバイル・デバイス104の外部にある入力源から生じ得る。
最終的には、車両状態は注意プロファイルと対応する。注意プロファイルは、車両状態内で運転している間にユーザ102が維持するのに適切な注意のタイプ及び注意のレベルを特徴付ける。例えば、車両状態が、混雑した都市地域内でユーザ102が高速で走行していると仮定する。前述の考慮点に基づけば、モバイル・デバイス104は、車両106を動作させるタスクにユーザ102が細心の注意を払うことが適切であるという結論に達し得る。対照的に、車両状態が、交通渋滞で停止した自分の車両106内にユーザ102が座っていることを示していると仮定する。前述の場合には、モバイル・デバイス104は、(最初のシナリオと比較して、)補足的な非運転関連タスクに対して、ユーザ102が、より大きな注意を向けることが許されるという結論に達し得る。
モバイル・デバイス104は次いで、車両状態に対応した、ユーザ102に対する、注意に関連した要求を行うユーザ・インタフェース体験を提示する。すなわち、(例えば、車両106を運転している間にユーザ102が提供する「ことができる」ことを超える注意のタイプ及びレベルを要求しないことにより、)車両状態の注意プロファイルに鑑みて適切な態様でユーザ102を関与させる。例えば、(ユーザ102が、渋滞した地域内で高速で走行している)上記第1のシナリオで、モバイル・デバイス104は、ユーザ102の注意に対して、あってもわずかな要求を課すに過ぎないユーザ・インタフェース体験を提示することが可能である。(ユーザ102が、移動しないで、自分の車両106内に座っている)上記第2のシナリオで、モバイル・デバイス104は、ユーザ102の注意に対して、更に大きな要求を課すことが可能である。
モバイル・デバイス104は、適切なユーザ・インタフェース体験を種々の態様で提供することが可能である。一般に、ユーザ・インタフェース体験は、モバイル・デバイス104にユーザ入力情報を提供する工程、又はモバイル・デバイス104から出力情報を受け取る工程により、ユーザ102がモバイル・デバイス104と対話する態様を表す。より具体的には、ユーザ102がユーザ入力情報をモバイル・デバイス104に提供する態様は、ユーザ入力情報をモバイル・デバイス104に提供するためにユーザ102が使用することが可能な種々の入力モードによって規定される。例証的な入力モードは、(以下に更に詳細に説明する)キーパッド入力モード、タッチ画面入力モード、音声認識入力モード、ジェスチャ認識入力モード等を含み得る。モバイル・デバイス104が出力情報をユーザに提供する態様は種々の出力モードによって規定される。例証的な出力モードは、(以下に更に詳細に説明する)表示出力モード、音声出力モード等を含み得る。モバイル・デバイス104は、特定の入力モード及び/又は出力モードを起動/又は解除することにより、ユーザ・インタフェース体験を変えることが可能である。あるいは、又は、更に、モバイル・デバイス104は、(やはり、以下に更に詳細に説明する)何れかの入力モード及び/又は何れかの出力モードの動作の態様を変更することにより、ユーザ・インタフェース体験を変えることが可能である。
上記概要を考慮するに、次に、図1に表す個々の構成の更に詳細な説明に進む。モバイル・デバイス104自体から始めるに、前述のデバイスは、何れかの態様で実現することが可能であり、何れかの機能、又は機能の組み合わせを行うことが可能である。例えば、モバイル・デバイス104は、(スマートフォン・デバイスなどの)何れかのタイプのモバイル電話デバイス、ブック・リーダ・デバイス、携帯情報端末デバイス、ラップトップ・コンピューティング・デバイス、タブレット型コンピューティング・デバイス、ネットブック型コンピューティング・デバイス、ポータブル・ゲーム・デバイス、ポータブル・メディア・システム・インタフェース・モバイル・デバイス等に対応し得る。
車両106は、ユーザを輸送するための何れかの機構に対応し得る。例えば、車両106は、何れかのタイプの自動車、トラック、バス、オートバイ、スクータ、自転車、飛行機、ボ―ト等に対応し得る。しかし、説明を容易にするために、車両106が、ユーザ102によって動作させる自家用車に対応するものとする。
環境100は更に、モバイル・デバイス104が何れかの遠隔エンティティ(「遠隔エンティティ」は、ユーザ102に対して遠隔にあるエンティティを意味する)と対話することを可能にするための通信管路114を含む。例えば、通信管路114は、(モバイル・デバイス110を使用しているユーザ108などの、)別のモバイル・デバイスを使用している別のユーザとユーザ102がモバイル・デバイス104を使用することを可能にし得る。更に、通信管路114は、ユーザ102が何れかの遠隔サービスと対話することを可能にし得る。一般的に言えば、通信管路114は、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク(例えば、インターネット)、又はそれらの何れかの組み合わせを表し得る。通信管路114は、何れかのプロトコル、又はプロトコルの組み合わせによって支配され得る。
より具体的には、通信管路114は、その一部として無線通信インフラストラクチャ116を含み得る。無線通信インフラストラクチャ116は、モバイル・デバイス104が無線通信を介して遠隔エンティティと通信することを可能にする機能を表す。無線通信インフラストラクチャ116は、セル・タワー、基地局、中央交換局、衛星機能等の何れかを包含し得る。通信管路114は、配線リンク、ルータ、ゲートウェイ機能、ネーム・サーバ等も含み得る。
環境100は更に、1つ又は複数の遠隔処理システム118を含む。遠隔処理システム118は、ユーザに向けて何れかのタイプのサービスを提供する。一場合には、遠隔処理システム118はそれぞれ、1つ又は複数のサーバ及び関連付けられたデータ・ストアを使用して実現することが可能である。例えば、図1は、遠隔処理システム118が、少なくとも1つのインスタンスの遠隔処理機能120及び関連付けられたシステム・ストア122を含み得る。後続する説明では、車両106内のモバイル・デバイス104の動作に適切な、遠隔処理機能120が行うことが可能な例証的な機能を記載する。
図2に進めば、この図は車両106の代表的な内部領域200の一部分を示す。マウント202は、内部領域200内にモバイル・デバイス104を固定する。より具体的には、マウント202は、車両制御パネル領域204のすぐ上の、ユーザ102の左側の車両のダッシュボードの最上部にモバイル・デバイス104を固定する。電源コード206は、(図7に関して説明するように直接又は間接に)モバイル・デバイス104に、車両106によって提供される何れかの電源から給電する。
モバイル・デバイス104は、ユーザ102に向けて、モバイル・デバイス104の表面から突き出る視野を有する(図2に図示しない)少なくとも1つの内部カメラ・デバイスを含み得る。より具体的には、ユーザ102は、ユーザ102の解剖学的構造の少なくとも一部をカメラ・デバイスの視野が包含するように内部領域200内にモバイル・デバイス104を配置し得る。一実現形態では、前述の配置は、内部カメラ・デバイスが対話空間を確立することを可能にする。内部カメラ・デバイスは、前述の対話空間内のユーザ102によって行われたジェスチャを捕捉することが可能である。例証的な一実現形態では、対話空間は一般に、(別々のエンドユーザ環境が、別々の「サイズ」及び形状を有する対話空間を採用することが可能であるが、)車両106を運転しているユーザ102に向けられた、モバイル・デバイス104の面から約60cm延在する円錐体積に対応し得る。
しかし、図2に示すモバイル・デバイス104の配置は、代表的であるに過ぎず、これは、ユーザ102がモバイル・デバイス104の他の位置及び向きを選ぶことが可能であるということを意味する。例えば、ユーザ102は、(図2に示すように)ハンドルに対して右の領域内の代わりに、ハンドルに対して左の領域内にモバイル・デバイス104を直接、配置し得る。これは、例えばハンドルが車両106の右側に設けられた国において適切であり得る。あるいは、ユーザ102は、ハンドルのすぐ後方に、又はハンドル上にモバイル・デバイス104を配置し得る。あるいは、ユーザ102は、車両106のフロントガラスにモバイル・デバイス104を固定し得る。前述のオプションについて、例証の目的で、かつ、限定でなく、言及している。モバイル・デバイス104のなお他の配置も考えられる。
図3は、車の内部領域200の特定の表面にモバイル・デバイス104を固定するために使用することが可能な代表的な一マウント302に過ぎないものを表す。(前述のマウント302は、図2に示すマウント202と別のタイプのマウントである。)限定なしで、図3のマウント302は、内部領域200内の表面にマウント302を固定するための何れかのタイプの結合機構304を含む。例えば、車両106の空気転送グリルに付いたクランプ又は突起部材(図示せず)を含み得る。別の場合には、カップリング機構304は、何れかのタイプの締結具(例えば、ねじ、クランプ、ベルクロ(登録商標)カップリング機構、スライディング・カップリング機構、スナッピング・カップリング機構、吸引カップ・カップリング機構等)を使用して車両106の何れかの表面に締結することが可能な板又は他のタイプの部材を含み得る。更に他の場合には、マウント302は、単に、ダッシュボードの最上部の上などのような、内部領域200の略水平表面上、その表面に締結されることなく、搭載し得る。車両106の移動中の表面上の前述のタイプのマウント摺動のリスクを削減するために、砂充填可鍛性ベース部材などの荷重部材を含み得る。
例証に過ぎない一実現形態では、図3に示す代表的なマウント302は、結合機構304から延びるフレキシブル・アーム306を含み、クレードル308において終端する。クレードル308は、モバイル・デバイス104をクレードル308に固定するための調節可能なクランプ機構310を含み得る。この特定のシナリオでは、ユーザ102は、ポートレート・モードで操作することが可能であるようにモバイル・デバイス104をクレードル308に取り付けている。しかし、ユーザ102は、(図2に示すように)代替的に、ランドスケープ・モードで操作することが可能であるようにモバイル・デバイス104を取り付けることが可能である。
上述のように、モバイル・デバイス104は、モバイル・デバイス104の前面314(又はモバイル・デバイス104の他の面)から突出する少なくとも1つの内部カメラ・デバイス312を含む。内部カメラ・デバイス312は、通常、モバイル・デバイス104の一体的な部分とみなされる限り、「内部」であると識別される。更に、モバイル・デバイス104は、1つ又は複数の外部カメラ・デバイス(図示せず)から画像情報を受け取ることが可能である。
更に、モバイル・デバイス104がマウント302のクレードル308に挿入された時点を判定するための何れかの取り付け感知機構316を内蔵し得る。例えば、ユーザ102がモバイル・デバイス104をクレードル308に挿入した際にOFF状態からON状態に切り換えられ、モバイル・デバイス104がクレードル308から取り外された際にユーザ102がON状態からOFF状態に切り換えられる機械式スイッチを備える。取り付け感知デバイスの他の実現形態は、感光スイッチ、感圧スイッチ等を含む。あるいは、又は、更に、モバイル・デバイス104は、取り付け感知機構(図示せず)を実現することが可能である。すなわち、補完的に、デバイスによって実現される取り付け感知機構は、ユーザ102がモバイル104をクレードル・デバイス308に入れると起動するよう構成される。あるいは、又は更に、モバイル・デバイス104は、間接証拠を基に、クレードル308から取り外されたということを推論することが可能である。何れかの実現形態では、以下に説明するように、取り付け感知機構316は、車両106が危険状態にあるか否かを判定するうえでの役割を果たす。
更に、マウント302は、(破線ボックスにより、図3に概括的に表す)1つ又は複数の補助センサ・デバイス320を含み得る。例えば、センサ・デバイス320は、(後述する)図5に示す1つ又は複数のタイプの移動検知デバイス430を包含し得る。更に、マウント302は、何れかのタイプの1つ又は複数の更なるカメラ・デバイス等などの更なる画像検知機構を包含し得る。
図4は、モバイル・デバイス104を実現するために使用することが可能な種々の構成部分を示す。この図は、概ね、上から下に説明する。まず、モバイル・デバイス104は、無線通信を介して遠隔エンティティとの間の情報を送受信するための通信機能402を含む。すなわち、通信機能402は、通信管路114の無線通信インフラストラクチャ116とモバイル・デバイス104が対話することを可能にするトランシーバを含み得る。
モバイル・デバイス104は更に、1つ又は複数のアプリケーション404の組を含み得る。アプリケーション404は、それぞれのタスク何れかを行うための何れかのタイプの機能を表す。一部の場合には、アプリケーション404は上位レベルのタスクを行う。代表的なタスクを挙げれば、第1のアプリケーションはマップ・ナビゲーション・タスクを行い得、第2のアプリケーションはメディア・プレゼンテーション・タスクを行い得、第3のアプリケーションは電子メール対話タスクを行い得る。他の場合には、アプリケーション404は、下位レベルの管理タスク又はサポート・タスクを行う。アプリケーション404は、何れかの態様で(、実行可能なコード、スクリプト・コンテンツ等、又はそれらの何れかの組み合わせなどによって)実現することが可能である。モバイル・デバイス104は更に、何れかのアプリケーション関連情報及び他の情報を記憶するための少なくとも1つのデバイス・ストア406を含み得る。
他の実現形態では、アプリケーション404の少なくとも一部は、遠隔処理システム118によって実現することが可能である。例えば、特定の実現形態では、アプリケーション404の一部は、ネットワークがアクセス可能なページ及び/又は他のタイプの機能を表し得る。
モバイル・デバイス104は更に、デバイス・オペレーティング・システム408を含み得る。デバイス・オペレーティング・システム408は、下位レベルのデバイス管理タスクを行うための機能を提供する。モバイル・デバイス104によって提供される種々のリソースを利用するために、何れのアプリケーションもデバイス・オペレーティング・システム408に依存し得る。
モバイル・デバイス104は更に、入力情報を受け取り、処理するための入力機能410を含み得る。一般に、入力機能410は、(モバイル・デバイス104自体の一部である構成部分を表す)内部入力デバイスからの入力情報を受け取るための特定の機能、及び外部入力デバイスからの入力情報を受け取るための特定の機能を含む。入力機能410は、配線接続、無線接続(例えば、ブルートゥース(登録商標)接続)等などの何れかの結合手法、又は結合手法の組み合わせを使用して、外部入力デバイスからの入力情報を受け取り得る。
前述の説明は、推論入力情報として車両106の状態を推論するために最終的に使用される入力情報を表す。前述の説明は、ユーザ入力情報としてユーザ102によって提供される入力情報を表す。前述の2つのクラスの入力情報は必ずしも、相互排他的でない。すなわち、ユーザ102によって入力される情報の一部は、推論入力情報を構成し得る。修飾語句「ユーザ」又は「推論」なしでの、「入力情報」への総称参照は、何れのタイプの入力情報を表す。
入力機能410は、少なくとも1つの内部カメラ・デバイス414からの画像情報及び少なくとも1つの外部カメラ・デバイス416からの画像情報を受け取るための任意的なジェスチャ認識モジュール412を含む。(例えば、内部カメラ・デバイス416は、マウント302と、又は、車両106内の特定の他のユニットによって結びつけ得る。)前述のカメラ・デバイスは何れも、何れかのタイプの画像情報を提供することが可能である。例えば、一場合には、カメラ・デバイスは、可視スペクトル放射、赤外スペクトル放射等、又はそれらの組み合わせを受け取ることによって生成されるビデオ画像情報を提供することが可能である。別の場合には、カメラ・デバイスは、深度情報を提供するよう更に処理することが可能な画像情報を提供することが可能である。深度情報は、(例えば、カメラ・デバイスの位置に対応する)参照点と、捕捉されたシーン内の別々の点との間の距離の表示を提供する。深度処理機能は、飛行時間法、構造化光法、立体視法等などの何れかの手法を使用して深度情報を生成することが可能である。画像情報を受け取った後、ジェスチャ認識モジュール412は、認識可能なジェスチャをユーザ102が行ったことを画像情報が明らかにするか否かを判定することが可能である。
入力機能410は更に、車両106の外部のシーンを捕捉する1つ又は複数のカメラ・デバイスからの画像情報を受け取ることが可能である。例えば、内部又は外部のカメラ・デバイスは、車両106の前方、車両106の後方、車両106の側方の何れか等のシーンを捕捉することが可能である。前述のカメラ・デバイスは更に、上述の何れかのタイプの深度処理機能とともに使用することが可能である。深度処理機能の使用は、モバイル・デバイス104が、車両106と、他の近傍の車両及び障害物との間の距離を評価することを可能にする。入力機能410は更に、光検出及び測距(LIDAR)センシング・デバイス等などの何れかの他のタイプの距離検出機構からの推論入力情報も受け取ることが可能である。
入力機能410は更に、補助システム・インタフェース・モジュール418を含み得る。補助システム・インタフェース・モジュール418は、何れかの車両システム420、及び/若しくはマウント302、並びに/又は何れかの他の外部システムからの推論入力情報を受け取る。例えば、補助システム・インタフェース・モジュール418は、車両の情報管理システムによって提供される何れかのタイプのOBDII情報を受け取ることが可能である。前述の情報は、車両の速度、ステアリング状態、ブレーキ状態、エンジン温度、エンジン性能、走行距離計示度、オイル・レベル、フュエル・レベル、車両106内の乗員の存在等に関する情報を提供することなどにより、特定の時点における車両106の動作状態を表し得る。前述の情報を提供するために、車両システム420は、車両106によって設けられた複数の検知デバイスからのセンサ情報を受け取り得る。あるいは、又は更に、補助システム・インタフェース・モジュール318は、(マウント302によって備えられる1つ又は複数の補助加速度計デバイスなどの)1つ又は複数のセンサ・デバイスによって収集された推論入力情報を受け取ることが可能である。
入力機能410は更に、ユーザ102がタッチ入力デバイス424に接触する際にユーザ入力情報を受け取るタッチ入力モジュール422を含み得る。図4に表していないが、入力機能410は更に、何れかのタイプの物理キーパッド入力機構、何れかのタイプのジョイスティック制御機構、何れかのタイプのマウス・デバイス機構等を含み得る。入力機能410は更に、1つ又は複数のマイクロフォン・デバイス428からの音声コマンドを受け取る音声認識モジュール426を含み得る。
入力機能410は更に、1つ又は複数の移動検知デバイス430を含み得る。一般に、移動検知デバイス430は、モバイル・デバイス104を何れかの特定の時点で移動させる態様を判定する。前述の情報は、今度は、何れかの特定の時点におけるモバイル・デバイス104の位置、及び/又は、モバイル・デバイス104の動的移動に関係し得る。手短に、図5に進めば、この図は、移動検知デバイス430が、加速度計デバイス502、ジャイロ・デバイス504、磁気計デバイス506、GPSデバイス508(又は他の衛星ベースの位置判定機構)、推測位置判定デバイス(図示せず)、セル・タワー、又はワイファイ(登録商標)三角測量デバイス(図示せず)等のうちの何れかを含み得るということを示す。更に、移動検知デバイス430は、(例えば、1つ又は複数のカメラ・デバイス及び関連した機能に対応する)上述の何れかのタイプの視察デバイスを含み得る。すなわち、視覚デバイスによって捕捉される画像は、車両106の移動に関する証拠を含む。したがって、視覚デバイスは、一タイプの移動検知デバイスとみなし得る。前述の考えられるデバイスの組は、網羅的でなく、代表的なものである。他の場合には、(モバイル・デバイス104の他に、又はモバイル・デバイス104に加えて、)特定の他のエンティティは、遠隔処理システム118によって提供される何れかの機能などの、モバイル・デバイス104の移動を評価することが可能である。
モバイル・デバイス104は更に、出力の提示においてユーザ102に向けて情報を伝えるための出力機能432を含む。手短に図6に進めば、この図は、出力機能432が、デバイス画面602、1つ又は複数のスピーカ・デバイス604、何れかの表面上に出力情報を投影するプロジェクタ・デバイス606等を含み得るということを示す。
出力機能432は更に、モバイル・デバイス104が、車両106に関連付けられた何れかの車両システム420に向けて出力情報を送出することを可能にする車両インタフェース・モジュール608を含む。これは、ユーザ102がモバイル・デバイス104と対話して、車両106自体に関連付けられた何れかの機能の動作を制御することを可能にする。例えば、ユーザ102は、モバイル・デバイス104と対話して、別個の車両メディア・システム上のメディア・コンテンツの再生を制御することが可能である。ユーザ102は、車両106のシステムでなく、モバイル・デバイス104と直接対話することを好み得る。ユーザ102が、モバイル・デバイス104が動作する態様に既に通じていることと推定されるからである。更に、モバイル・デバイス104は、ユーザ特有情報を提供することが可能な遠隔システム・ストア122へのアクセスを有する。モバイル・デバイス104は、特定のユーザ102にカスタマイズされた態様で何れかの車両システム420を制御するようこの情報を活用することが可能である。
最後に、モバイル・デバイス104は任意的には、モード機能434を含む。モード機能434は、特定の時点における車両106の状態の評価、及び車両状態を考慮に入れたユーザ・インタフェース体験の提供を含む、上記においてまとめられたコア機能を行う。あるいは、モード機能434の少なくとも一部は、遠隔処理システム118によって実現することが可能である。
図7は、(図3の)マウント302によって提供される機能がモバイル・デバイス104と対話することが可能な一態様を示す。マウント302は、モバイル・デバイス104の入力機能410に取り付け信号を供給する(上述の)取り付け感知機構316を含み得る。取り付け信号は、モバイル・デバイス104が現在、マウント302に結合されているか否かを示す。マウント302は更に、モバイル・デバイス104の入力機能410に推論入力情報を供給する何れかの他の任意的なデバイス702を含み得る。あるいは、又は、更に、デバイス702は種々の処理機能を行うことが可能であり、次いで、前述の処理の結果をモバイル・デバイス104に送出することが可能である。
マウント302は更に、(例えば、モバイル・デバイス104によって備えられる外部電源インタフェース・モジュール706を介して)モバイル・デバイス104に給電する電源704を含み得る。電源704は、今度は、車両106に関連付けられた電源(図示せず)などの外部源から電力を受け取り得る。前述の実現形態では、電源704は、モバイル・デバイス104,及びマウント302の構成部分を給電する。あるいは、マウント302及びモバイル・デバイス104にはそれぞれ、別個の電源を供給し得る。
最後に、図7は、マウント302の構成部分と通信するためにモバイル・デバイス104の入力機能410を可能にするインタフェース(708、710)を示す。
図8及び図9は、2つの出力モードを絵によってまとめている。すなわち、図8では、モバイル・デバイス104は、モバイル・デバイス104の表示画面602上に視覚コンテンツ802を提示する。図9では、モバイル・デバイス104は、視覚コンテンツ802を補足し、又は置き換えるオーディオ・コンテンツ902を提示する。
図10乃至図12は、3つの入力モードを絵でまとめている。すなわち、図10では、タッチ入力モジュール422は、ユーザ102が、手1002を用いて、モバイル・デバイス104のタッチ入力画面上に提示されたアイコン1004又は他のオブジェクトに接触する際にユーザ入力情報を受け入れる。図11では、ジェスチャ認識モジュール412は、ユーザ102が、モバイル・デバイス104に接触することなく、モバイル・デバイス104の内部カメラ・デバイス414によって捕捉されるジェスチャを行う際にユーザ入力情報を受け取る。ジェスチャ認識モジュール412は、考えられる候補ジェスチャの組それぞれに関連付けられた候補ジェスチャ情報と、捕捉された画像情報を比較することにより、前述のジェスチャを認識することが可能である。図12では、音声認識モジュール426は、ユーザ102が音声コマンドをアナウンスする際にユーザ入力情報を受け取る。
図13は、図4乃至図7のコンテキストで上述したモバイル・デバイス104の構成部分の部分集合に関する更なる情報を示す。構成部分は、代表的なアプリケーション1302及びモード機能434を含む。上記名称が示すように、「代表的なアプリケーション」1302は、モバイル・デバイス104上で実行され得る(かつ/又は、遠隔処理機能上で実行され得る)アプリケーション404の組の1つを表す。
より具体的には、図13は、それぞれの機能を行う別個のエンティティとして、代表的なアプリケーション1302及びモード機能434を表す。しかし、モード機能434の何れかの局面は、あるいは、又は更に、代表的なアプリケーション1302によって行うことが可能である。同様に、代表的なアプリケーション1302の何れかの局面は、あるいは、又は更に、モード機能434によって行うことが可能である。更に、図13に示す構成部分は、本明細書及び特許請求の範囲では、モバイル・デバイス104によって行われるものとして表している。しかし、あるいは、又は更に、代表的なアプリケーション1302及びモード機能434の機能の少なくとも一部は、遠隔処理システム118及び/又はマウント302の何れかの機能によって行うことが可能である。
代表的なアプリケーション1302は、リソース1304の組を含んでいるものとして概念化することが可能である。アプリケーション・リソース1304は、代表的なアプリケーション1302がそのサービスを提供するために使用し得る画像コンテンツ、テキスト・コンテンツ、オーディオ・コンテンツ、プログラム・コンテンツ、制御デバイスの設定値等を表す。更に、場合によっては、開発者は、別々の車両状態における起動のための複数のリソース収集物を提供することが可能である。例えば、2つの主車両状態(すなわち、移動状態、及び非移動状態)が存在していると仮定する。開発者は、モバイル・デバイス104が、移動状態において提示することが可能なインタフェース・アイコン及びプロンプト・メッセージの第1の収集物と、モバイル・デバイス104が、非移動状態において提示することが可能なインタフェース・アイコン及びプロンプト・メッセージの第2の収集物とを提供することが可能である。移動状態収集物は、非移動状態収集物と異なり得る。例えば、移動状態収集物は、非移動状態収集物と比較して、より大きなサイズのアイコン及びフォントを使用することが可能である。アプリケーションの実行中、モード機能434は特定の時点における車両状態を判定することが可能である。これに応じて、モード機能434は、移動収集物を起動させて、移動状態におけるユーザ・インタフェース体験を提供し、非移動収集物を起動させて、非移動状態におけるユーザ・インタフェース体験を提供することが可能である。(以下に説明するように、モード機能434は、適切なユーザ・インタフェース体験をもたらすために他の変更を行うことが可能である。)
2つの収集物の例は例証的なものに過ぎない。他のアプリケーションは、車両106を運転する別々のそれぞれの態様に対応する3つ以上のクラスのリソース収集物を提供することが可能である。例えば、開発者は、夜間運転車両状態の場合の使用のためのリソース収集物、及び昼間運転車両状態の場合のリソース収集物(、並びに非移動状態の場合のリソース収集物)を生成することが可能である。
上記タイプの開発環境では、開発者は、別々の組のリソースの生成において自分を支援するために、適切なソフトウェア開発キット(SDK)を参照することが可能である。SDKは、別々の車両状態において使用する対象のリソースの特性に関する種々の要求及び推奨を記載している。例えば、SDKは、特定の車両状態の場合の特定のサイズ以上のフォントを開発者が使用することを要求し、又は推奨し得る。
次に、モード機能434の説明に進めば、前述の構成部分は、3つのサブモジュール(すなわち、インタフェース・モジュール1306、状態検出モジュール1308、及び体験提示モジュール1310)を備えているものとして示す。説明を容易にするために、前述の3つの機能を実現するためのロジックは全て、実際に、モード機能434として表されるユニットにカプセル化されているものとする。しかし、上述のように、モード機能434の何れかの局面は、あるいは、又は更に、代表的なアプリケーション1302、及び/又は特定の他のエンティティ(遠隔処理システム118など)によって行うことが可能である。
インタフェース・モジュール1306は、推論入力情報の種々の形式を受け取る。推論入力情報のインスタンスの部分集合1312は、モバイル・デバイス104自体に関連付けられた入力源に端を発する。推論入力情報のインスタンスの別の部分集合1314は、モバイル・デバイス104の外部の入力源に(例えば、車両システム420、マウント302等に)端を発する。
例えば、推論入力情報の内部インスタンスの部分集合1312は、図5に列挙された移動検知デバイス430の何れかに端を発し得る。部分集合1312は、車両106の内部及び/又は車両106の外部の1つ又は複数のシーンを捕捉する1つ又は複数の内部カメラ・デバイスから受け取られた画像情報も含み得る。部分集合1312は、1つ又は複数のマイクロフォン・デバイスによって捕捉されたオーディオ情報も含み得る。
外部推論入力情報のインスタンスの部分集合1314は、(例えば、OBDII情報等によって表されるような)センサ情報を何れかの車両システム420に供給する何れかのセンサ・デバイスに端を発し得る。部分集合1314は更に、車両106内部及び/又は車両106外部の1つ又は複数のシーンを捕捉する1つ又は複数の外部カメラ・デバイスから受け取られた画像情報を含み得る。例えば、外側を指し示すカメラ・デバイスによって捕捉された画像情報は、歩行者及び近傍の車両の存在、交通信号の存在等を明らかにするために使用することが可能である。部分集合1314は更に、1つ又は複数のマイクロフォン・デバイスによって捕捉されたオーディオ情報を含み得る。
前述の部分集合1314は更に、遠隔源から(、例えば、遠隔処理システム118の何れかから)抽出された何れかの情報を包含し得る。前述の情報は、地図情報、交通情報、道路状況情報、ハザード情報、気象情報、地域人口情報、関心地点情報、特定の管轄区域と関係のある運転関連規則に関する法的情報等を含み得る。更に、地図情報は、何れかのレベルの細粒度における領域に関する情報を提供することが可能である。例えば、地図情報は、地域内の交通信号、複雑な交差点、スクール・ゾ―ン等の場所を識別することが可能である。
遠隔処理システム118によって維持される情報は種々のやり方で収集することが可能である。一手法では、遠隔処理システム118は、道路カメラ・デバイス、航空及び衛星カメラ・デバイス、温度検知デバイス、降水検知デバイス等などの場内検知デバイスに基づいて情報を収集することが可能である。更に、又はあるいは、遠隔処理システム118は、情報を手作業で通知する人間の観察者からの情報を収集することが可能である。更に、又はあるいは、遠隔処理システム118は、それぞれの車両において設けられた複数のモバイル・デバイスからのクラウドソーシングにより、情報を収集することが可能である。
推論入力情報の上記識別された形式は、例証の目的のために挙げており、限定でない。他の実現形態は、他の形式の推論入力情報を提供することが可能であり、かつ/又は、上記1つ又は複数の形式の推論入力情報を割愛することが可能である。
状態検出モジュール1308は、上記形式の推論入力情報(及び/又は他の形式の推論入力情報)の何れかの組み合わせに基づいて車両106の状態を推論する。状態検出モジュール1308は前述のタスクを種々のやり方で行うことが可能である。一実現形態では、状態検出モジュール1308は、(推論入力情報によって定義された)入力状態の別々の順列を対応する車両状態情報にマッピングするルックアップ・テーブルを維持することが可能である。すなわち、状態検出モジュール1308は、入力状態L、M、N、及びPが存在している場合、車両状態が状態Xにあるということを示し得る。別の場合には、状態検出モジュール1308は、統計モデルを使用して、入力状態の組に関連付けられた特徴ベクトルを、識別された車両状態にマッピングすることが可能である。前述の統計モデルは、機械学習プロセスにおいて生成することが可能である。別の場合には、状態検出モジュール1308は、何れかのタイプのルールベースのエンジン、又はニューラル・ネットワークを使用して、識別された車両状態等に入力状態をマッピングすることが可能である。前述の実現形態は、例として挙げており、限定でない。セクションBでは、代表的なシナリオの関係で、更に詳細に状態検出モジュール1308の例証的な挙動を説明する。
更に、状態検出モジュール1308は、経路予測モジュールを参照して、特定された、又は予測された目的地(destination)に達するためにユーザ102がとる可能性が高い経路を判定することが可能である。経路情報は、移動が進むにつれてユーザ102が直面する可能性が高い困難な運転状態を、上記状態に実際に遭遇する前に予測することにより、状態検出モジュール1308が、より予防的に動作することに寄与する。状態検出モジュール1308は、カレンダ情報、購買履歴情報、過去の移動経路情報等などの車両状態を生成するために、何れかの他のユーザ・リソースを調べることも可能である。
体験提示モジュール1310は、状態検出モジュール1308から、推論された車両状態に関する情報を受け取る。これに応じて、体験提示モジュール1310は車両状態をユーザ・インタフェース体験にマッピングする。一般に、上述のように、モード機能434は、車両状態に対応するやり方でユーザ102の注意を吸収するユーザ・インタフェース体験を提供しようとする。これは、ユーザ・インタフェース体験が、車両状態に鑑みてユーザ102が安全に与えることが可能でないレベル及びタイプの注意を要求しないようなものであるということを意味する。前述の挙動は、今度は、最終的に、車両106内のモバイル・デバイス104の使用に関連付けられたリスクを削減する。同時に、モード機能434は、例えば、ユーザ102に対して重大なリスクを呈しない特定の対話を不必要に除外することにより、不当に制限的でないユーザ体験を提供する。
体験提示モジュール1310は更に、遠隔処理システム118(及びその関連付けられたシステム・ストア122)において提供された機能を参照して、ユーザ102に提示するユーザ・インタフェース体験を選ぶことが可能である。例えば、体験提示モジュール1310は、ユーザ102の選好及び習慣を求め、次いで、この情報を使用してユーザ・インタフェース体験の選択に影響を及ぼすことが可能である。選好は、別々の運転状況においてユーザが受けることを好むユーザ・インタフェース体験の構成を示し得る。体験提示モジュール1310は、特定の運転状況に対するユーザの選好を満たすことを、前述の選択が他の考慮点と矛盾しない場合、試行し得る。習慣は、別々のユーザ・インタフェース体験に関して種々の運転状況に直面した際に、ユーザが(過去の機会に)車両106を運転した態様を示し得る。運転状況及びユーザ・インタフェース体験の特定の組み合わせについてユーザの動作が劣悪であった場合、体験提示モジュール1310は、この組み合わせに負の重みを加えて、将来の機会でのその使用を退け得る。
ユーザ・インタフェース体験の提供に加えて、体験提示モジュール1310は、ユーザに向けて警告を与え得る。例えば、警告は、スクール・ゾーンに近付いているということをユーザに知らせ得る。警告は、子ども達の存在に気をつけることを運転者に奨励し得る。更に、又は、あるいは、警告は、当該状況の場合に運転が速すぎるということをユーザに知らせ得る。
図14は、体験提示モジュール1310が所望のユーザ・インタフェース体験をもたらし得る別々のやり方の一部を列挙する。(セクションBは、体験提示モジュール1310の動作の更に多くの例を説明する。)1つの一般的な分類として、体験提示モジュール1310は出力機能432の一部局面を調節することが可能である。別の一般的な分類として、体験提示モジュール1310は入力機能410の特定の局面を調節することが可能である。体験提示モジュール1310は更に、図1に示す環境100の何れかの他の局面を修正することが可能である。
まず、出力機能432に対する変更を検討する。最初の変更として、体験提示モジュール1310は、車両状態に応じて特定の出力モードを起動若しくは解除(し、又は、少なくとも、特定の出力モードの1つ又は複数の部分を部分的に起動し、又は制限)することが可能である。一例を挙げれば、体験提示モジュール1310は、車両106が移動している際、表示出力モードを解除することが可能である。出力の前述の態様に代わり、体験提示モジュール1310は、移動状態になっている限り、出力情報を何ら生成しないか、又は音声出力モードを介して出力情報を供給することが可能である。
あるいは、又は、更に、体験提示モジュール1310は、車両状態に応じて提示するコンテンツを変更することが可能である。例えば、上述のように、アプリケーションは、出力提示の供給において使用するために2つ以上のリソース収集物を含み得る。体験提示モジュール1310は、車両状態に基づいた適切なリソース収集物を使用して出力提示を提示することが可能である。例えば、体験提示モジュール1310は、車両106の速度が所定の閾値を超えると、大型のアイコンを表示することが可能である。
あるいは、又は更に、体験提示モジュール1310は、車両状態に応じて出力提示自体の何れかの1つ又は複数の特性を変更することが可能である。前述のタイプの変更は、直前に説明したものと同様である。しかし、ここでは、全く新たなリソース収集物を選ぶ代わりに、体験提示モジュール1310は出力提示の1つ又は複数の変数属性を修正することが可能である。前述の分類は広い範囲のオプションを包含する。例えば、視覚的な出力提示の場合、体験提示モジュール1310は、表示されるコンテンツのサイズ、コントラスト、色、透明度等、コンテンツが表示される時間の長さ、表示されるコンテンツの別々の部分間の空間編成等を調節することが可能である。オーディオ出力提示の場合、体験提示モジュール1310は、提示されるオーディオ・コンテンツの音量、可聴コンテンツによってもたらされる発話速度等を調節することが可能である。
あるいは、又は更に、体験提示モジュール1310は、車両状態に基づいて別々の宛先に向けて出力情報を送出することが可能である。例えば、一部の車両状態の場合、モバイル・デバイス104は、モバイル・デバイス104自体に関連付けられた出力デバイスに出力情報をルーティングし得る。他の車両状態の場合、モバイル・デバイス104は、車両106に関連付けられたメディア・システムなどの何れかの車両システム420に出力情報をルーティングし得る。
体験提示モジュール1310は、車両状態に基づいて何れかの出力提示を修正するための更に他のストラテジを使用することが可能である。
次に、入力機能410を検討する。最初の変更として、体験提示モジュール1310は、特定の入力モードを起動又は解除(し、又は、少なくとも、特定の入力モードの1つ又は複数の部分を部分的に起動又は制限)することが可能である。一例を挙げれば、体験提示モジュール1310は、車両106が高速で移動している場合、タッチ画面入力モード、及びキーパッド入力モードを解除することが可能である。入力の前述の態様の代わりに、体験提示モジュール1310は、音声認識入力モード及び/又はジェスチャ認識入力モードを介して入力を供給することが可能である。
あるいは、又は更に、体験提示モジュール1310は、車両状態に基づいて得られたユーザ入力情報のタイプを変更することが可能である。例えば、体験提示モジュール1310は、車両106が低速で移動している場合と比較して、車両106が高速で移動している場合、受け入れる音声コマンドの数はより少なくなる。前述の変更は、より高い速度で音声認識入力モードの複雑度、及び、よって、前述のモードがユーザ102を注意散漫にさせることの削減に寄与し得る。
あるいは、又は更に、体験提示モジュール1310は、何れかの入力モ―ドがユーザ入力情報を収集する態様を変更することが可能である。例えば、特定の時点では、入力モードは、応答を要求するクエリをユーザ102に向けて提示し得る。回答を受け取らない特定時間量後、入力モードはクエリを解除することが可能である。より高い速度では、ユーザ102が、注意が散漫になり、すばやい回答を供給することができないことがあり得るので、ユーザ102からの応答を求める時間の長さを延長することが可能である。
体験提示モジュール1310は、車両状態に基づいて何れかの入力モードを修正するための更に他のストラテジを使用することが可能である。
図15は、ユーザ102が車両106内で自分のモバイル・デバイス104を操作することが可能な別の環境1500を示す。この意味合いで、環境150は、車両106が危険状態にあるとみられる時点を判定する。危険状態は、車両106、そして更には車両106を運転しているユーザ102に降りかかる何れかの不快な事象に対応する。例えば、危険状態は、車両106に関係する、起こった事故に対応し得る。危険状態が生じると、環境1500は運転者支援システム1502に支援を求める。運転者支援システム1502は、種々のやり方で(、(a)電話、テキスト・メッセージング、又は他の通信機構により、ユーザ102に連絡し、(b)(1つ又は複数の)緊急応答サービスに連絡し、(c)ユーザの家族又は他の指定連絡先に連絡し、(d)サービス・ステーション及び/又は他の支援センタに関する情報を提供することなどにより、)ユーザ102を支援することが可能である。運転者支援システム1502は、危険状態の発生を関係者に通知すると、車両106の場所、及び危険状態を取り巻く何れかの有効な状況を識別することが可能である。運転者支援システム1502には、危険状態の場合にユーザ102を支援する、人間のエージェントを配置し得る。更に、又は、あるいは、運転者支援システム1502は、ユーザ102を支援するための自動化された機能を含み得る。
図16は、図15の環境1500内の危険状態を検出し、上記危険状態に応答し得る危険管理モジュールに関する更なる情報を提供する。一場合には、モバイル・デバイス104は危険管理モジュール1602を実現する。あるいは、又は、更に、遠隔処理システム118及び/又はマウント302は危険管理モジュール1602の少なくとも一部を実現することが可能である。
危険管理モジュール1602は、1つ又は複数の内部入力源からの推論入力情報のインスタンスの部分集合1606、及び1つ又は複数の外部入力源からの推論入力情報のインスタンスの部分集合1608を受け取るインタフェース・モジュール1604を含む。すなわち、インタフェース・モジュール1604は、図13のインタフェース・モジュール1306と同様に機能する。
危険状態検出モジュール1610は、入力情報を解析して、危険状態が生じたか否かを判定する。別々の環境は、前述の判断を別々のやり方で行い得る。一般に、危険状態検出モジュール1610は、受け取られた推論入力情報の種々のインスタンスからシグネチャを形成し、前述のシグネチャが危険状態のテルテール・シグネチャに一致するか否かを判定する。一場合には、危険状態検出モジュール1610は、(1)モバイル・デバイス104が車両106内に存在し、(2)車両106が、急停止し、又は他の態様で急減速し(、若しくは急加速し)、かつ/又は、(3)モバイル・デバイス104が、急減速(若しくは急加速)の発生とほぼ同時にマウント302から取り外されている場合に、危険状態が生じたと判定する。非公式に、これは、衝撃を与えてモバイル・デバイス104をそのクレードル308から揺さぶり出す事故が発生した可能性があることを意味する。あるいは、モバイル・デバイス104は、さもなければ、必ずしもクレードル308から取り外されることなく、著しい(例えば、軋轢の)減速又は加速に遭遇し得る。衝撃を与える減速は、移動車両106が、その経路内の物体と衝突したことを示し得る。衝撃を与える加速は、車両が元々静止状態にある場合を含め、車両106が別の移動物体にぶつかったことを意味し得る。
急減速の直前に、取り付け感知機構316が、マウント302のクレードル308にモバイル・デバイス104が挿入されていることを示す場合、モバイル・デバイス104が車両106内に存在していると、危険状態検出モジュール1610は想定し得る。同様に、危険状態検出モジュール1610は、取り付け感知機構316の出力に基づいてモバイル・デバイス104のマウント302から解放されたと判定し得る。危険状態検出モジュール1610は、例えば、加速度計デバイス502の出力に基づいて、モバイル・デバイス104が急停止し、又は他の態様で急減速(又は急加速)していると判定し得る。
他の場合には、危険状態検出モジュール1610は、事象(2)及び/(3)の生起無しでの、危険状態の生起を示し得る。例えば、危険状態検出モジュール1610は、危険状態の生起の評価において、(a)ブレーキの強烈な印加、(b)軌道の定まらないステアリング、(c)(車両106が道路から外れる際のような)かなりの高低差のある表面の横断、及び(d)車両106の横転又は完全な転覆の事象の何れかを考慮に入れる。更に、又はあるいは、危険状態検出モジュール1610は、その解析を、1つ又は複数のカメラ・デバイスによって捕捉された画像情報及び/又は、1つ又は複数のマイクロフォン・デバイスによって捕捉されたオーディオ情報に基づかせることが可能である。前述の事象は、例として挙げており、限定でない。
動作モジュール1612は、危険状態が生じたことを危険状態検出モジュール1610が知らせると、運転者支援システム1502に通知することが可能である。支援センタ対話モジュール1614は、ユーザ102が、後に運転者支援システム1502と通信して、そのエンティティから手作業の、及び/又は自動化された支援を受けることを可能にする。
締めくくりとして、上記説明は、車両内のモード機能434の使用を記載している。しかし、ユーザ102は、モード機能434を使用して、何れかの環境においてモバイル・デバイス104と対話することが可能である。概して言えば、モード機能434は、ユーザ102が別々の使用シナリオにおいてモバイル・デバイス104と対話し、更に、ユーザ102が前述の別々のシナリオにおいてモバイル・デバイス104と対話する別々のそれぞれの機能を有する環境において特に有用なサービスを提供する。単に一例を挙げれば、モバイル・デバイス104は、ユーザ102が、歩いているか、又は走っている間にモバイル・デバイス104と対話しているか否かを判定することが可能である。肯定の場合、モバイル・デバイス104は、(単一の場所にいる間にモバイル・デバイス104と対話するのでなく)歩いているか、又は走っている間にユーザ102が課されることがあり得る種々の制約を考慮に入れたユーザ・インタフェース体験をユーザ102に向けて提示することが可能である。
B. 例証的な処理
図17乃至22は、図1の環境100の動作の一態様を説明する手順を示す。環境100の動作の下にある原理が既にセクションAで説明されているので、特定の動作を、このセクションで要約して扱う。
図17から始めるに、この図は、ユーザ102の観点から、図1の環境100の動作の一態様を記載する例証的な手順1700を示す。ブロック1702では、ユーザ102は、通常の動作モードで(、例えば、タッチ入力デバイス424を使用してモバイル・デバイス104と対話するために、自分の手を使用することにより)、自分のモバイル・デバイス104を使用し得る。ブロック1704では、ユーザ102は車両106に入り、モバイル・デバイス104を、マウント302などの何れかのタイプのマウントに入れる。ブロック1706では、ユーザ102は、車両モードにおいて動作する旨をモバイル・デバイス104に指示する。ブロック1708では、ユーザ102は、車両106を使用してナビゲーションを開始する。ブロック1710では、ユーザ102は、現在の車両状態に合ったユーザ・インタフェース体験を受ける。車両状態は、今度は、種々の入力源によって供給される入力情報に基づく。ブロック1712では、ユーザの移動の完了後、ユーザ102は、マウント302からモバイル・デバイス104を取り外し得る。ユーザ102は次いで、通常のハンドヘルド動作モードでモバイル・デバイス104の使用を再開し得る。
図18は、モード機能434の観点から、モード機能434の動作の一態様を説明する例証的な手順1800を示す。ブロック1802では、モード機能434は、(例えば、移動検知デバイス430に対応する)1つ又は複数の内部入力源、及び/又は、(例えば、車両システム420によって提供されるセンサ情報に対応する)1つ又は複数の外部入力源を含む1つ又は複数の入力源から推論入力情報を受け取る。ブロック1804では、モード機能434は、推論入力情報に基づいて車両状態を推論する。ブロック1806では、モード機能434は、推論された運転状態に基づいたユーザ・インタフェース体験を提示する。
図19乃至図21は図17の手順1700の3つのインスタンス化を示す。例えば、図19は、車両106が移動しているか否か次第であるシナリオを提示する。ブロック1902では、モード機能434は推論入力情報を受け取る。ブロック1904では、モード機能434は、車両106が移動しているか否かを判定する。ブロック1906では、モード機能434は、図8に要約した変更の何れかの組み合わせを行うことが可能である。
例えば、一シナリオでは、モード機能434は、移動検知デバイス430及び/又は外部センサ・デバイスの何れかによって提供される推論入力情報を使用して、車両106が移動中であることを判定することが可能である。これに応じて、モード機能434は、表示入力モードの使用を終結させ、又は、表示入力モードを使用して、(車両106が静止状態にある場合に提示するコンテンツに対して)単純化されたコンテンツを提示することが可能である。表示入力モードに代えて、モード機能434は任意的には、音声認識モード及び/又はジェスチャ認識入力モードを使用して、ユーザ102と対話することが可能である。あるいは、モード機能434は、車両106が移動中に、ビデオ・コンテンツなどの特定のタイプのコンテンツの提示を除外することが可能である。
図20は、ユーザ102が車両106を運転する態様に依存するシナリオを提示する。ブロック2002では、モード機能434は推論入力情報を受け取る。ブロック2004では、モード機能434は、モバイル・デバイス104が推論入力情報に基づいて移動する態様を分類する。ブロック2006では、モード機能434は、図8に要約した変更の何れかの組み合わせを行うことが可能である。
例えば、モード機能434は、何れかの組み合わせの推論入力情報を使用して、デバイスが移動する態様を特徴付ける移動シグネチャを編集することが可能である。モード機能434は次いで、前述の移動シグネチャを、別々の移動クラスに関連付けられたテルテール移動シグネチャと比較することが可能である。一致するテルテール・シグネチャは、車両106が現在、受けている移動のタイプを示す。前述の移動クラスは(、限定列挙でないが、)(a)所定の閾値を超える速度での走行、(b)大いに変動する速度での走行、(c)曲がりくねった道路の走行、(d)高低差が顕著な道路の走行、(e)高低のある表面の走行、(f)走行中の、頻繁な車線変更、(g)走行中の、車両106のブレーキの頻繁な印加、(h)走行中の頻繁なギア・シフト、(i)走行中の道路上での逸脱、又は、他の態様での迷走等を含み得る。モード機能434は次いで、一致するテルテール移動シグネチャと対応するユーザ・インタフェース体験を適用することが可能である。一般原則として、運転のタスクが、現時点で、骨の折れる、又は複雑なタスクである(又は、あるべきである)ということを、収集された証拠が示す場合、モード機能434は、ユーザ102に課す注意関連要求を削減しようと努める。あるいは、又は更に、(劣悪な運転によって分かるように)ユーザ102が常に注意散漫になっていることを、収集された証拠が示す場合、モード機能434は、ユーザ102に対する注意関連の負担を軽減しようと努める。
図21は、車両106の評価された位置に依存するシナリオを提示する。ブロック2102では、モード機能434は推論入力情報を受け取る。推論入力情報は車両106の場所に関する何れかの証拠を含み得る。前述の証拠は、GPS情報、ワイファイ(登録商標)又はセル・タワー三角測量情報、推測情報等などの位置情報を含み得る。更に、又は、あるいは、モード機能434は、1つ又は複数のカメラ・デバイスによって捕捉された画像情報、及び/又は、1つ又は複数のマイクロフォン・デバイスによって捕捉されたオーディオ情報に基づいてユーザ102が走行する環境を直接、監視することが可能である。
ブロック2104では、モード機能434は、車両106が推論入力情報に基づいて位置特定される地域を識別する。これは、何れかの位置判定デバイスによって受け取られた位置情報の位置関連解析を含み得る。例えば、この動作には、モバイル・デバイス104及び/又は遠隔処理システム118によって提供される地図情報を参照することにより、車両106の道路位置を求める動作が関係し得る。地域の判定には、カメラ・デバイスから受け取られた画像情報の解析、及び/又は、マイクロフォン・デバイスから受け取られたオーディオ情報の解析が関係し得る。例えば、モード機能434は、ユーザ102が走行する道路が、歩行者及び/又は他の車両で混雑していることを判定するために画像解析に依存し得る。
前述のブロック2104の別の部分として、モード機能434は、車両106が位置特定される地域の運転関連の示唆を確かめることが可能である。一実現形態では、モード機能434は、遠隔処理システム118(及び関連付けられたシステム・ストア122)を参照することにより、前述の評価を行うことが可能である。遠隔処理システム118は、ユーザ102が、識別された地域内にいる間に維持することが期待される注意の量及びタイプに対する関係を有する何れかの注意関連の考慮点が存在しているか否かを判定することが可能である。前述の情報に基づいて、ブロック2106では、モード機能434は、図8に要約した変更の何れかの組み合わせを行うことが可能である。
例えば、モード機能434は、ユーザ102が、特定の注意プロファイルが該当し得る、(a)スクール・ゾーン、(b)工事現場、(c)緊急サービスの近傍地域、及び、(d)危険区域等の代表的な地域の何れかにいるか否かを確かめることが可能である。より一般的には、モード機能は更に、何れかの位置関連証拠を使用して、特定の時点における車両106に適用可能な運転規則を判定することが可能である。モード機能434はその場合、識別された地域に適切なユーザ・インタフェース体験を適用することが可能である。
あるいは、モード機能434は、ユーザ102が、(シナリオCにおいて確かめられるように)車両106の現在の位置に関する洞察と組み合わせた、(シナリオA又はシナリオBにおいて確かめられるように)自分の車両106を運転する態様に基づいて、車両状態のその判定を行うことが可能である。例えば、モード機能434は、公園に隣接する道路上でユーザが20MPH超で運転している場合、表示入力モード出力提示を選択的に解除することが可能である。
図22は、図16に示す危険管理モジュール1602の動作の一態様を要約する手順2200を示す。ブロック2202では、危険管理モジュール1602は、推論入力情報を受け取る。ブロック2202では、危険管理モジュール1602は推論入力情報を受け取る。ブロック2204では、危険管理モジュール1602は、推論入力情報に基づいて、車両106が現時点で危険状態にあるか否かを判定する。ブロック2206では、危険管理モジュール1602は、(車両106が危険状態にあると仮定して)ユーザ102に支援を提示する。前述の支援は、遠隔運転者支援システム1502との通信を含み得る。
C. 代表的なコンピューティング機能
図23は、上記機能の何れかの局面を実現するために使用することが可能な例証的なコンピューティング機能2300を示す。例えば、コンピューティング機能2300はモバイル・デバイス104の何れかの局面を実現するために使用することが可能である。更に、図23に示すタイプのコンピューティング機能は、遠隔処理システム118の何れかの局面を実現するために使用することが可能である。一場合には、コンピューティング機能2300は、1つ又は複数の処理デバイスを含む何れかのタイプのコンピューティング・デバイスに対応し得る。全ての場合において、コンピューティング機能2300は、1つ又は複数の物理的及び有形の処理機構を表す。
コンピューティング機能2300は、1つ又は複数の処理デバイス2306(例えば、1つ若しくは複数のCPU、及び/又は、1つ若しくは複数のGPU等)と、RAM2302及びROM2304などの揮発性メモリ及び不揮発性メモリを含み得る。コンピューティング機能2300は更に、任意的には、ハード・ディスク・モジュール、光ディスク・モジュール等などの種々のメディア・デバイス2308を含む。コンピューティング機能2300は、処理デバイス2306が、メモリ(例えば、RAM2302、ROM2304、又はその他)によって維持される命令を実行する。
より一般的には、命令及び他の情報は、スタティック・メモリ記憶デバイス、磁気記憶デバイス、光記憶デバイス等を含む何れかのコンピュータ読み取り可能な媒体2310上に記憶することが可能である。コンピュータ読み取り可能な媒体の語は更に、複数の記憶デバイスを包含する。全ての場合において、コンピュータ読み取り可能な媒体2310は、特定の形態の物理的及び有形のエンティティを表す。
計算機能2300は更に、(入力モジュール2314を介して)種々の入力を受け取り、(出力モジュールを介して)種々の出力を受け取る入出力モジュール2312も含む。1つの特定の出力機構は提示モジュール2316及び関連付けられたグラフィカル・ユーザ・インタフェース(GUI)2318を含み得る。コンピューティング機能2300は更に、1つ又は複数の通信管路2322を介して他のデバイスとデータを交換するための1つ又は複数のネットワーク・インタフェース2320を含み得る。1つ又は複数の通信バス2324は、上記構成部分を併せて、通信可能に結合する。
通信管路2322は、何れかの態様で(例えば、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク(例えば、インターネット)等、又はそれらの何れかの組み合わせによって)実現することが可能である。通信管路2322は、何れかのプロトコル、又はプロトコルの組み合わせによって支配される、配線リンク、無線リンク、ルータ、ゲートウェイ機能、ネーム・サーバ等の組み合わせを含み得る。
あるいは、又は更に、セクションA及びBに記載された機能の何れかを少なくとも部分的に、1つ又は複数のハードウェア・ロジック構成部分によって行うことが可能である。例えば、限定なしで、使用することが可能な例証的なタイプのハードウェア・ロジック構成部分は、フィールドプログラマブル・ゲート・アレイ(FPGA)、特定用途向集積回路(ASIC)、特定用途向標準製品(ASSP)、システム・オン・チップ・システム(SOC)、複合プログラマブル・ロジック・デバイス(CPLD)等を含む。
締めくくりに、本明細書及び特許請求の範囲記載の機能は、機能によって維持されるユーザ・データの秘密性を確実にするために種々の機能を使用することが可能である。例えば、機能は、ユーザが機能の規定に明示的にオプトイン(し、次いで、明示的にオプトアウト)することを可能にし得る。機能は更に、(データ・サニタイズ機構、暗号化機構、パスワード保護機構等などの)ユーザ・データの秘密性を保証するために適切なセキュリティ機構を提供することが可能である。
更に、上記説明では、例証的な課題又は問題点の関係で種々の概念を説明している場合がある。前述の説明の態様は、本明細書及び特許請求の範囲に記載された態様で上記課題又は問題点を理解し、かつ/又は、明確に表現していると認めることでない。
更に、本願の主題は、構造的な構成及び/又は方法論的な動作に特有の文言で記載しているが、特許請求の範囲記載の本願の主題は、記載された特定の構成又は動作に必ずしも制限されない。むしろ、上記特定の特徴及び動作は、本特許請求の範囲記載の発明を実現する例示的な形態として開示している。

Claims (20)

  1. コンピュータ実装方法において:
    モバイルデバイスによって提供されるモバイルデバイス提供入力情報又は車両によって提供される車両提供入力情報のうちの少なくとも一方に基づいて、前記モバイルデバイスが前記車両内にあると決定するステップと;
    前記モバイルデバイス提供入力情報又は前記車両提供入力情報のうちの前記少なくとも一方に基づいて、前記モバイルデバイスをハンドヘルドモードから車両モードに自動的に切り替えるステップと;
    前記モバイルデバイス提供入力情報又は前記車両提供入力情報のうちの前記少なくとも一方を評価して、対応するレベルの運転の複雑度を有する前記車両の現在の車両状態を選択するステップであって、前記現在の車両状態は、異なるレベルの運転の複雑度に関連付けられる複数の所定の車両状態から選択される、ステップと;
    前記現在の車両状態の前記対応するレベルの運転の複雑度に少なくとも部分的に基づいて、前記車両を操作しているユーザのためにユーザ・インタフェース体験を生成するステップであって、前記ユーザ・インタフェース体験は、前記ユーザに注意関連要求を課し、前記ユーザ・インタフェース体験は、少なくとも幾つかの入力コマンドを、前記現在の車両状態の前記対応するレベルの運転の複雑度に関連付けられる他の入力コマンドで置き換える、ステップと;
    を具備する方法。
  2. 前記モバイルデバイス提供入力情報を、
    前記モバイルデバイスの加速度計デバイス、
    前記モバイルデバイスのジャイロデバイス、
    前記モバイルデバイスの視覚デバイス、
    前記モバイルデバイスの磁気計デバイス、又は、
    前記モバイルデバイスの位置決定デバイス、
    のうちの1つ以上から取得するステップ、
    を更に備え、前記モバイルデバイス提供入力情報を評価して前記現在の車両状態を選択する、
    請求項1に記載の方法。
  3. 前記モバイルデバイス提供入力情報は、前記位置決定デバイスから取得され、前記位置決定デバイスはGPSデバイスを備える、
    請求項2に記載の方法。
  4. 前記車両提供入力情報を取得するステップ、
    を更に備え、前記車両提供入力情報は、前記車両内に乗っている人が存在するかどうかを示し、前記車両提供入力情報を評価して前記現在の車両状態を選択する、
    請求項1に記載の方法。
  5. 前記車両提供入力情報と前記モバイルデバイス提供入力情報の双方を取得及び評価して前記現在の車両状態を選択する、
    請求項1に記載の方法。
  6. 前記評価するステップは、
    前記車両提供入力情報又は前記モバイルデバイス提供入力情報のうちの前記少なくとも一方から移動シグネチャを編集するステップを備える、
    請求項1に記載の方法。
  7. 前記評価するステップは、
    前記移動シグネチャを、異なる移動クラスに関連付けられる複数の異なる移動シグネチャと比較して、前記現在の車両状態を決定するステップを備える、
    請求項6に記載の方法。
  8. 前記異なる移動クラスは、前記車両の速度における異なるバリーションに対応し、前記現在の車両状態は、前記車両の速度が変化する範囲を特徴付ける、
    請求項7に記載の方法。
  9. 前記異なる移動クラスは、前記車両の異なるブレーキ量に対応し、前記現在の車両状態は、前記車両のブレーキが加えられる範囲を特徴付ける、
    請求項7に記載の方法。
  10. 前記車両モードにおいて、前記生成するステップは、前記車両による提示のために、前記生成したユーザ・インタフェース体験を前記車両に送るステップを備える、
    請求項1に記載の方法。
  11. 置き換えられる前記少なくとも幾つかの入力コマンドは、タッチ入力コマンドであり、前記他の入力コマンドは、音声ベース又はジェスチャベースのコマンドである、
    請求項1に記載の方法。
  12. 前記生成するステップは、前記モバイルデバイス上に前記ユーザ・インタフェース体験を提示するステップを備える、
    請求項1に記載の方法。
  13. モバイルデバイスであって:
    ディスプレイと、
    プロセッサと、
    前記プロセッサによって実行されると、前記プロセッサに、
    当該モバイルデバイスがハンドヘルドモード又は車両モードで動作することをユーザが指定することを可能にさせ;
    前記車両モードにおいて:
    1つ以上のセンサからのセンサ情報を取得させ;
    前記センサ情報を使用して、車両が、指定又は予測される目的地に到達するために取る可能性が高い経路を予測させ;
    少なくとも前記予測した経路に基づいて、前記車両について予測される将来の車両状態を決定させることであって、前記予測される将来の車両状態は、前記車両を操作している間に前記ユーザが維持すべき適切な注意のレベル及び注意のタイプを特徴付ける注意プロファイルを有し;
    前記予測される将来の車両状態についての前記注意プロファイルに整合するよう、前記モバイルデバイスのユーザ・インタフェースを構成させる;
    コンピュータ読取可能命令を記憶するコンピュータ読取可能媒体と、
    を具備する、モバイルデバイス。
  14. 当該モバイルデバイスが対話するアプリケーションは、複数のリソースを含み、前記複数のリソースは少なくとも、第1の車両状態のアプリケーション用に適合される第1のリソース群と、第2の車両状態のアプリケーション用に適合される第2のリソース群とを含み、
    前記コンピュータ読取可能命令は、前記プロセッサによって実行されると、前記プロセッサに、少なくとも前記予測される将来の車両状態に基づいて、前記第1のリソース群又は前記第2のリソース群のいずれかを使用させる、
    請求項13に記載のモバイルデバイス。
  15. 前記1つ以上のセンサを更に備える、
    請求項13に記載のモバイルデバイス。
  16. 前記1つ以上のセンサは、当該モバイルデバイスの位置を示し、
    前記コンピュータ読取可能命令は、前記プロセッサによって実行されると、当該モバイルデバイスによって移動した過去の経路を参照して前記経路を予測させる、
    請求項15に記載のモバイルデバイス。
  17. 前記コンピュータ読取可能命令は、前記プロセッサによって実行されると、
    前記予測した経路に関連付けられる予測運転状態を決定させ、
    少なくとも前記予測運転状態に基づいて、前記予測される将来の車両状態を決定させる、
    請求項13に記載のモバイルデバイス。
  18. 前記1つ以上のセンサは前記車両によって提供され、
    前記コンピュータ読取可能命令は、前記プロセッサによって実行されると、前記車両から前記センサ情報を取得させる、
    請求項13に記載のモバイルデバイス。
  19. ハンドヘルドモードと車両モードを有するモバイルデバイスを、前記車両モードで動作させるステップと;
    前記車両モードの間に:
    1つ以上のセンサからのセンサ情報を取得し、
    前記センサ情報を使用して、車両が、指定又は予測される目的地に到達するために取る可能性が高い経路を予測するステップと;
    少なくとも前記予測した経路に基づいて、前記車両について予測される将来の車両状態を決定するステップであって、前記予測される将来の車両状態は、前記車両を操作している間にユーザが維持すべき適切な注意のレベル及び注意のタイプを特徴付ける注意プロファイルを有するステップと;
    前記予測される将来の車両状態についての前記注意プロファイルに従って、前記モバイルデバイスのユーザ・インタフェースを構成するステップと;
    を具備する、方法。
  20. 全体として前記モバイルデバイスによって実行される、請求項19に記載の方法。
JP2017070380A 2011-12-16 2017-03-31 推論された車両状態に基づいたユーザ・インタフェース体験の提供 Active JP6785704B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/327,786 2011-12-16
US13/327,786 US8811938B2 (en) 2011-12-16 2011-12-16 Providing a user interface experience based on inferred vehicle state

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014547303A Division JP2015510619A (ja) 2011-12-16 2012-12-07 推論された車両状態に基づいたユーザ・インタフェース体験の提供

Publications (2)

Publication Number Publication Date
JP2017135742A true JP2017135742A (ja) 2017-08-03
JP6785704B2 JP6785704B2 (ja) 2020-11-18

Family

ID=48414800

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014547303A Pending JP2015510619A (ja) 2011-12-16 2012-12-07 推論された車両状態に基づいたユーザ・インタフェース体験の提供
JP2017070380A Active JP6785704B2 (ja) 2011-12-16 2017-03-31 推論された車両状態に基づいたユーザ・インタフェース体験の提供

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2014547303A Pending JP2015510619A (ja) 2011-12-16 2012-12-07 推論された車両状態に基づいたユーザ・インタフェース体験の提供

Country Status (6)

Country Link
US (2) US8811938B2 (ja)
EP (1) EP2790968A4 (ja)
JP (2) JP2015510619A (ja)
KR (1) KR101967944B1 (ja)
CN (1) CN103116399B (ja)
WO (1) WO2013090125A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11772672B2 (en) 2020-02-13 2023-10-03 Toyota Motor North America, Inc. Unsafe transport operation
US11945447B2 (en) 2020-02-13 2024-04-02 Toyota Motor North America, Inc. Transport boundary expansion

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US20120052907A1 (en) * 2010-08-30 2012-03-01 Sensory, Incorporated Hands-Free, Eyes-Free Mobile Device for In-Car Use
DE102011109932B4 (de) * 2011-08-10 2014-10-02 Audi Ag Verfahren zum Ansteuern funktioneller Einrichtungen in einem Fahrzeug bei Sprachbefehl-Bedienung
US20150138300A1 (en) 2011-09-02 2015-05-21 Microsoft Technology Licensing, Llc Mobile Video Calls
US8811938B2 (en) 2011-12-16 2014-08-19 Microsoft Corporation Providing a user interface experience based on inferred vehicle state
JP5876325B2 (ja) * 2012-02-29 2016-03-02 株式会社デンソー 制御装置及びプログラム
US20130275924A1 (en) * 2012-04-16 2013-10-17 Nuance Communications, Inc. Low-attention gestural user interface
US20130293454A1 (en) * 2012-05-04 2013-11-07 Samsung Electronics Co. Ltd. Terminal and method for controlling the same based on spatial interaction
US20130335567A1 (en) * 2012-06-18 2013-12-19 Wen Chuan Wang Vehicle event data recorder set capable of retaining a handset
US20140002357A1 (en) * 2012-06-28 2014-01-02 Kopin Corporation Enabling and Disabling Features of a Headset Computer Based on Real-Time Image Analysis
US9288387B1 (en) * 2012-09-11 2016-03-15 Amazon Technologies, Inc. Content display controls based on environmental factors
DE102012110460A1 (de) * 2012-10-31 2014-04-30 Audi Ag Verfahren zum Eingeben eines Steuerbefehls für eine Komponente eines Kraftwagens
ITTO20120972A1 (it) * 2012-11-07 2014-05-08 Fiat Group Automobiles Spa Limitazione della funzionalita' di dispositivi elettronici personali mobili intelligenti di conducenti di autoveicoli durante la guida basata sulla tecnologia nfc
EP2945052B1 (en) * 2013-01-08 2017-12-20 Clarion Co., Ltd. Voice recognition device, voice recognition program, and voice recognition method
ITMO20130012A1 (it) * 2013-01-21 2014-07-22 Fabio Lettieri Dispositivo per l'assistenza alla guida di autoveicoli
US9049564B2 (en) * 2013-02-04 2015-06-02 Zf Friedrichshafen Ag Vehicle broadcasting system
US9736669B2 (en) * 2013-03-11 2017-08-15 General Motors Llc Interface device for providing vehicle services using a vehicle and a mobile communications device
KR101484202B1 (ko) * 2013-03-29 2015-01-21 현대자동차 주식회사 제스쳐 인식 시스템을 갖는 차량
CN103200329A (zh) * 2013-04-10 2013-07-10 威盛电子股份有限公司 语音操控方法、移动终端装置及语音操控系统
DE102013015716B4 (de) 2013-09-20 2023-10-05 Audi Ag Bedienungseinrichtung für eine Anlage im Innenraum eines Kraftwagens
US9547173B2 (en) * 2013-10-03 2017-01-17 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9630631B2 (en) 2013-10-03 2017-04-25 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9536353B2 (en) * 2013-10-03 2017-01-03 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
KR101569020B1 (ko) * 2013-12-12 2015-11-13 엘지전자 주식회사 휴대 단말기 거치장치
US10479203B2 (en) * 2014-03-25 2019-11-19 Clarion Co., Ltd. Vehicle equipment
DE102014207637A1 (de) * 2014-04-23 2015-10-29 Bayerische Motoren Werke Aktiengesellschaft Gesteninteraktion mit einem Fahrerinformationssystem eines Fahrzeuges
US10099700B2 (en) * 2014-04-30 2018-10-16 Ford Global Technologies, Llc Method and system for driver tailored interaction time alert
GB2529997B (en) * 2014-05-01 2019-01-02 Jaguar Land Rover Ltd Vehicle communication system with occupant monitoring
US10032117B2 (en) * 2014-09-17 2018-07-24 Caterpillar Inc. Method for developing machine operation classifier using machine learning
US20160189679A1 (en) * 2014-10-14 2016-06-30 Logitech Europe S.A Apparatus and method for controlling interactions with a portable electronic device
US9892628B2 (en) 2014-10-14 2018-02-13 Logitech Europe S.A. Method of controlling an electronic device
US10757216B1 (en) 2015-02-20 2020-08-25 Amazon Technologies, Inc. Group profiles for group item recommendations
US11363460B1 (en) 2015-03-03 2022-06-14 Amazon Technologies, Inc. Device-based identification for automated user detection
WO2017002488A1 (ja) * 2015-06-30 2017-01-05 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10969748B1 (en) 2015-12-28 2021-04-06 Disney Enterprises, Inc. Systems and methods for using a vehicle as a motion base for a simulated experience
US11524242B2 (en) 2016-01-20 2022-12-13 Disney Enterprises, Inc. Systems and methods for providing customized instances of a game within a virtual space
FR3048210B1 (fr) * 2016-02-25 2018-03-30 Faurecia Interieur Industrie Element de garnissage comprenant une station d'accueil d'un appareil electronique nomade
US9674664B1 (en) * 2016-04-28 2017-06-06 T-Mobile Usa, Inc. Mobile device in-motion proximity guidance system
US9686644B1 (en) 2016-05-15 2017-06-20 Fmr Llc Geospatial-based detection of mobile computing device movement
US10469653B2 (en) * 2016-05-15 2019-11-05 Fmr Llc Proximity and movement detection of a mobile computing device during a user session
US9883403B2 (en) * 2016-05-15 2018-01-30 Fmr Llc Monitoring presence of authorized user during user session based upon mobile computing device motion
US9652748B1 (en) * 2016-06-13 2017-05-16 State Farm Mutual Automobile Insurance Company Technology for automatically identifying and scheduling provider appointments in response to accident events
US10246014B2 (en) * 2016-11-07 2019-04-02 Nauto, Inc. System and method for driver distraction determination
US10455165B2 (en) * 2016-12-28 2019-10-22 Microsoft Technology Licensing, Llc Systems, methods, and computer-readable media for using a video capture device to alleviate motion sickness via an augmented display for a passenger
US10387161B2 (en) * 2017-09-01 2019-08-20 Facebook, Inc. Techniques for capturing state information and performing actions for threads in a multi-threaded computing environment
US10970560B2 (en) 2018-01-12 2021-04-06 Disney Enterprises, Inc. Systems and methods to trigger presentation of in-vehicle content
JP2019137357A (ja) * 2018-02-15 2019-08-22 トヨタ自動車株式会社 車両用音出力及び文字表示装置
US10841632B2 (en) * 2018-08-08 2020-11-17 Disney Enterprises, Inc. Sequential multiplayer storytelling in connected vehicles
US11689707B2 (en) * 2018-09-20 2023-06-27 Shoppertrak Rct Llc Techniques for calibrating a stereoscopic camera in a device
CZ2018612A3 (cs) * 2018-11-07 2020-03-25 Dominik Lednický Způsob omezení používání mobilního telefonu řidičem během jízdy vozidla a zapojení pro realizaci tohoto způsobu
EP3953930A1 (en) * 2019-04-09 2022-02-16 Harman International Industries, Incorporated Voice control of vehicle systems
DE102019118189A1 (de) * 2019-07-05 2021-01-07 Bayerische Motoren Werke Aktiengesellschaft Koppelung von Benutzeroberflächen
US10785621B1 (en) 2019-07-30 2020-09-22 Disney Enterprises, Inc. Systems and methods to provide an interactive space based on vehicle-to-vehicle communications
DE102019125376B4 (de) * 2019-09-20 2021-07-29 Valeo Schalter Und Sensoren Gmbh Bedieneingabevorrichtung und Lenkeingabevorichtung
JP7331728B2 (ja) * 2020-02-19 2023-08-23 マツダ株式会社 運転者状態推定装置
US11076276B1 (en) 2020-03-13 2021-07-27 Disney Enterprises, Inc. Systems and methods to provide wireless communication between computing platforms and articles
KR20210125631A (ko) * 2020-04-08 2021-10-19 현대자동차주식회사 단말기, 단말기와 통신하는 퍼스널 모빌리티 및 그의 제어 방법
CN113587975A (zh) * 2020-04-30 2021-11-02 伊姆西Ip控股有限责任公司 用于管理应用环境的方法、设备和计算机程序产品
US11225145B1 (en) 2020-09-15 2022-01-18 Honda Motor Co., Ltd. Apparatus and method for emergency control for vehicle
WO2022179704A1 (en) * 2021-02-26 2022-09-01 Spotify Ab Device mount for a vehicle
EP4254920A4 (en) * 2021-04-13 2024-06-26 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE FOR VEHICLES, MOBILE DEVICE FOR CONTROLLING AN ELECTRONIC DEVICE FOR VEHICLES, AND METHOD FOR CONTROLLING AN ELECTRONIC DEVICE FOR VEHICLES

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10304464A (ja) * 1997-04-28 1998-11-13 Daihatsu Motor Co Ltd ハンズフリー装置の制御方法
JP2001239897A (ja) * 2000-02-28 2001-09-04 Toshiba Corp 乗物用情報処理装置と車載用情報処理装置及び情報処理方法
JP2004045413A (ja) * 2001-08-06 2004-02-12 Matsushita Electric Ind Co Ltd 情報提供方法および情報提供装置
JP2009244959A (ja) * 2008-03-28 2009-10-22 Toyota Motor Corp 運転支援装置、運転支援方法
JP2010081565A (ja) * 2008-08-27 2010-04-08 Kyocera Corp 携帯電子機器及び車両
JP2010081419A (ja) * 2008-09-26 2010-04-08 Sharp Corp 携帯端末、携帯端末の制御方法、検知装置、検知装置の制御方法、携帯端末制御システム、携帯端末制御プログラム、検知装置制御プログラム、コンピュータ読み取り可能な記録媒体
WO2010051455A2 (en) * 2008-10-31 2010-05-06 University Of Utah Research Foundation Integrated vehicle key and mobile phone system for preventing mobile phone use while driving
JP2010195156A (ja) * 2009-02-24 2010-09-09 Denso Corp 燃費報知装置
JP2010262400A (ja) * 2009-04-30 2010-11-18 Denso Corp 車載用電子機器操作装置

Family Cites Families (360)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
DE3578241D1 (de) 1985-06-19 1990-07-19 Ibm Verfahren zum identifizieren dreidimensionaler objekte mittels zweidimensionaler bilder.
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751643A (en) 1986-08-04 1988-06-14 General Electric Company Method and apparatus for determining connected substructures within a body
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
JP2692863B2 (ja) 1988-06-24 1997-12-17 株式会社東芝 無線電話装置
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
US5139261A (en) 1989-09-15 1992-08-18 Openiano Renato M Foot-actuated computer game controller serving as a joystick
US5156243A (en) 1989-11-15 1992-10-20 Mazda Motor Corporation Operation apparatus for vehicle automatic transmission mechanism
JPH03103822U (ja) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
JPH06508788A (ja) 1991-12-03 1994-10-06 フレンチ スポーテク コーポレイション 対話型ビデオ式検査および訓練システム
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
US5525901A (en) 1993-02-02 1996-06-11 Beaudreau Electric, Inc. Sensor systems for monitoring and measuring angular position in two or three axes
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5414643A (en) 1993-06-14 1995-05-09 Hughes Aircraft Company Method and apparatus for continuous time representation of multiple hypothesis tracking data
AU7067394A (en) * 1993-06-21 1995-01-17 Elke Van Buren System for summoning help for vehicle occupants or other people carrying a mobile telephone
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
US5959574A (en) 1993-12-21 1999-09-28 Colorado State University Research Foundation Method and system for tracking multiple regional objects by multi-dimensional relaxation
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5615132A (en) 1994-01-21 1997-03-25 Crossbow Technology, Inc. Method and apparatus for determining position and orientation of a moveable object using accelerometers
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5732227A (en) 1994-07-05 1998-03-24 Hitachi, Ltd. Interactive information processing system responsive to user manipulation of physical objects and displayed images
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
JP3267047B2 (ja) 1994-04-25 2002-03-18 株式会社日立製作所 音声による情報処理装置
US5528263A (en) 1994-06-15 1996-06-18 Daniel M. Platzker Interactive projected video image display system
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
JPH0863326A (ja) 1994-08-22 1996-03-08 Hitachi Ltd 画像処理装置及び方法
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
KR19990008158A (ko) 1995-04-28 1999-01-25 모리시타요우이치 인터페이스 장치
US5757360A (en) 1995-05-03 1998-05-26 Mitsubishi Electric Information Technology Center America, Inc. Hand held computer control device
DE19516664C1 (de) 1995-05-05 1996-08-29 Siemens Ag Verfahren zum Aufbau einer Farbtabelle in einer Computereinheit zur Klassifikation von Bildpunkten in einem Bild
US6205231B1 (en) 1995-05-10 2001-03-20 Identive Corporation Object identification in a moving video image
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
JP3481631B2 (ja) 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の3次元形状を決定する装置及び方法
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US5611731A (en) 1995-09-08 1997-03-18 Thrustmaster, Inc. Video pinball machine controller having an optical accelerometer for detecting slide and tilt
JPH0981309A (ja) 1995-09-13 1997-03-28 Toshiba Corp 入力装置
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
US6072467A (en) 1996-05-03 2000-06-06 Mitsubishi Electric Information Technology Center America, Inc. (Ita) Continuously variable control of animated on-screen characters
JP2000510013A (ja) 1996-05-08 2000-08-08 リアル ヴィジョン コーポレイション 位置検出を用いたリアルタイムシミュレーション
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US6002808A (en) 1996-07-26 1999-12-14 Mitsubishi Electric Information Technology Center America, Inc. Hand gesture control system
JP3162630B2 (ja) 1996-07-31 2001-05-08 トヨタ自動車株式会社 ワイヤフレームモデルの面定義方法および装置
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
WO1998007129A1 (fr) 1996-08-14 1998-02-19 Latypov Nurakhmed Nurislamovic Procede de suivi et de representation de la position et de l'orientation d'un sujet dans l'espace, procede de presentation d'un espace virtuel a ce sujet, et systemes de mise en oeuvre de ces procedes
US6151009A (en) 1996-08-21 2000-11-21 Carnegie Mellon University Method and apparatus for merging real and synthetic images
JPH1084405A (ja) * 1996-09-09 1998-03-31 Pioneer Electron Corp 車載用携帯電話装置及び車載用電話機
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
US5909189A (en) 1996-11-14 1999-06-01 Raytheon Company Group tracking
ATE232621T1 (de) 1996-12-20 2003-02-15 Hitachi Europ Ltd Verfahren und system zur erkennung von handgesten
JP4120017B2 (ja) 1997-01-30 2008-07-16 株式会社セガ 入力装置およびゲーム処理装置、その方法
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US6016487A (en) 1997-03-26 2000-01-18 National Research Council Of Canada Method of searching three-dimensional images
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JPH10308802A (ja) * 1997-05-02 1998-11-17 Nissan Motor Co Ltd 移動電話保持装置及び移動電話機
US6198479B1 (en) 1997-06-25 2001-03-06 Samsung Electronics Co., Ltd Home network, browser based, command and control
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US20020036617A1 (en) 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US6750848B1 (en) 1998-11-09 2004-06-15 Timothy R. Pryor More useful man machine interfaces and applications
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
WO1999019840A1 (en) 1997-10-15 1999-04-22 Electric Planet, Inc. A system and method for generating an animatable character
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6162123A (en) 1997-11-25 2000-12-19 Woolston; Thomas G. Interactive electronic sword game
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6195104B1 (en) 1997-12-23 2001-02-27 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6173070B1 (en) 1997-12-30 2001-01-09 Cognex Corporation Machine vision method using search models to find features in three dimensional images
JP2002516121A (ja) 1998-03-03 2002-06-04 アリーナ, インコーポレイテッド 多次元空間における運動技術を追跡し、そして評価するためのシステムおよび方法
US6067077A (en) 1998-04-10 2000-05-23 Immersion Corporation Position sensing for force feedback devices
US6301370B1 (en) 1998-04-13 2001-10-09 Eyematic Interfaces, Inc. Face recognition from video images
US6269172B1 (en) 1998-04-13 2001-07-31 Compaq Computer Corporation Method for tracking the motion of a 3-D figure
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6657654B2 (en) 1998-04-29 2003-12-02 International Business Machines Corporation Camera for use with personal digital assistants with high speed communication link
US6421453B1 (en) 1998-05-15 2002-07-16 International Business Machines Corporation Apparatus and methods for user recognition employing behavioral passwords
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6542621B1 (en) 1998-08-31 2003-04-01 Texas Instruments Incorporated Method of dealing with occlusion when tracking multiple objects and people in video sequences
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
CA2346145A1 (en) 1998-10-05 2000-04-13 Lernout & Hauspie Speech Products N.V. Speech controlled computer user interface
US6353679B1 (en) 1998-11-03 2002-03-05 Compaq Computer Corporation Sample refinement method of multiple mode probability density estimation
US6509889B2 (en) 1998-12-03 2003-01-21 International Business Machines Corporation Method and apparatus for enabling the adaptation of the input parameters for a computer system pointing device
WO2000034919A1 (en) 1998-12-04 2000-06-15 Interval Research Corporation Background estimation and segmentation based on range and color
US6222465B1 (en) 1998-12-09 2001-04-24 Lucent Technologies Inc. Gesture-based computer interface
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
EP1147370B1 (en) 1998-12-16 2009-02-25 3DV Systems Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6226388B1 (en) 1999-01-05 2001-05-01 Sharp Labs Of America, Inc. Method and apparatus for object tracking for automatic controls in video devices
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US6377296B1 (en) 1999-01-28 2002-04-23 International Business Machines Corporation Virtual map system and method for tracking objects
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6591236B2 (en) 1999-04-13 2003-07-08 International Business Machines Corporation Method and system for determining available and alternative speech commands
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6545661B1 (en) 1999-06-21 2003-04-08 Midway Amusement Games, Llc Video game system having a control unit with an accelerometer for controlling a video game
AU5423500A (en) * 1999-06-23 2001-01-31 Jimi Communications Ltd. Vehicle alert communications system
JP2001009152A (ja) 1999-06-30 2001-01-16 Konami Co Ltd ゲームシステムおよびコンピュータ読み取り可能な記憶媒体
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
JP2001070640A (ja) 1999-09-07 2001-03-21 Konami Co Ltd ゲーム機
US6795567B1 (en) 1999-09-16 2004-09-21 Hewlett-Packard Development Company, L.P. Method for efficiently tracking object models in video sequences via dynamic ordering of features
US6375572B1 (en) 1999-10-04 2002-04-23 Nintendo Co., Ltd. Portable game apparatus with acceleration sensor and information storage medium storing a game progam
US6642955B1 (en) 2000-01-10 2003-11-04 Extreme Cctv Inc. Surveillance camera system with infrared and visible light bandpass control circuit
US6674877B1 (en) 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US7878905B2 (en) 2000-02-22 2011-02-01 Creative Kingdoms, Llc Multi-layered interactive play experience
US7500917B2 (en) 2000-02-22 2009-03-10 Creative Kingdoms, Llc Magical wand and interactive play experience
US20020055383A1 (en) 2000-02-24 2002-05-09 Namco Ltd. Game system and program
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
US6771818B1 (en) 2000-04-04 2004-08-03 Microsoft Corporation System and process for identifying and locating people or objects in a scene by selectively clustering three-dimensional regions
US6980312B1 (en) 2000-04-24 2005-12-27 International Business Machines Corporation Multifunction office device having a graphical user interface implemented with a touch screen
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6554706B2 (en) 2000-05-31 2003-04-29 Gerard Jounghyun Kim Methods and apparatus of displaying and evaluating motion data in a motion game apparatus
US6744420B2 (en) 2000-06-01 2004-06-01 Olympus Optical Co., Ltd. Operation input apparatus using sensor attachable to operator's hand
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6757571B1 (en) 2000-06-13 2004-06-29 Microsoft Corporation System and process for bootstrap initialization of vision-based tracking systems
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US6753879B1 (en) 2000-07-03 2004-06-22 Intel Corporation Creating overlapping real and virtual images
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US7095401B2 (en) 2000-11-02 2006-08-22 Siemens Corporate Research, Inc. System and method for gesture interface
US6678413B1 (en) 2000-11-24 2004-01-13 Yiqing Liang System and method for object identification and behavior characterization using video analysis
US6600475B2 (en) 2001-01-22 2003-07-29 Koninklijke Philips Electronics N.V. Single camera system for gesture-based input and target indication
US6804396B2 (en) 2001-03-28 2004-10-12 Honda Giken Kogyo Kabushiki Kaisha Gesture recognition system
US6888960B2 (en) 2001-03-28 2005-05-03 Nec Corporation Fast optimal linear approximation of the images of variably illuminated solid objects for recognition
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US6594616B2 (en) 2001-06-18 2003-07-15 Microsoft Corporation System and method for providing a mobile input device
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6868383B1 (en) 2001-07-12 2005-03-15 At&T Corp. Systems and methods for extracting meaning from multimodal inputs using finite-state devices
US7274800B2 (en) 2001-07-18 2007-09-25 Intel Corporation Dynamic gesture recognition from stereo sequences
JP2003062341A (ja) 2001-08-22 2003-03-04 Nintendo Co Ltd ゲームシステム、パズルゲームプログラムおよびプログラムを記憶した記憶媒体
US6940538B2 (en) 2001-08-29 2005-09-06 Sony Corporation Extracting a depth map from known camera and model tracking data
US7007236B2 (en) 2001-09-14 2006-02-28 Accenture Global Services Gmbh Lab window collaboration
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
WO2003032143A2 (en) 2001-10-12 2003-04-17 Hrl Laboratories, Llc Vision-based pointer tracking method and apparatus
US7050607B2 (en) 2001-12-08 2006-05-23 Microsoft Corp. System and method for multi-view face detection
US7394346B2 (en) 2002-01-15 2008-07-01 International Business Machines Corporation Free-space gesture recognition for transaction security and command processing
US6990639B2 (en) 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US6982697B2 (en) 2002-02-07 2006-01-03 Microsoft Corporation System and process for selecting objects in a ubiquitous computing environment
US10242255B2 (en) 2002-02-15 2019-03-26 Microsoft Technology Licensing, Llc Gesture recognition system using depth perceptive sensors
AU2003217587A1 (en) 2002-02-15 2003-09-09 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US6957090B2 (en) * 2002-03-08 2005-10-18 Kyocera Wireless Corp. Hands-free car kit
US7233318B1 (en) 2002-03-13 2007-06-19 Apple Inc. Multi-button mouse
EP1345179A3 (en) 2002-03-13 2004-01-21 Matsushita Electric Industrial Co., Ltd. Method and apparatus for computer graphics animation
US6928344B2 (en) 2002-03-25 2005-08-09 Sun Microsystems, Inc. Vehicle mode manager
US7206435B2 (en) 2002-03-26 2007-04-17 Honda Giken Kogyo Kabushiki Kaisha Real-time eye detection and tracking under various light conditions
US7821541B2 (en) 2002-04-05 2010-10-26 Bruno Delean Remote control apparatus using gesture recognition
ATE321689T1 (de) 2002-04-19 2006-04-15 Iee Sarl Sicherheitsvorrichtung für ein fahrzeug
JP2003325972A (ja) 2002-05-17 2003-11-18 Nintendo Co Ltd 傾き操作に関連して音と画像を変化させるゲーム装置およびそのゲームプログラム
JP3902508B2 (ja) 2002-05-20 2007-04-11 任天堂株式会社 ゲームシステムおよびゲームプログラム
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
JP5109221B2 (ja) 2002-06-27 2012-12-26 新世代株式会社 ストロボスコープを使った入力システムを備える情報処理装置
US20040001113A1 (en) 2002-06-28 2004-01-01 John Zipperer Method and apparatus for spline-based trajectory classification, gesture detection and localization
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US7227893B1 (en) 2002-08-22 2007-06-05 Xlabs Holdings, Llc Application-specific object-based segmentation and recognition system
US7225414B1 (en) 2002-09-10 2007-05-29 Videomining Corporation Method and system for virtual touch entertainment
US7321854B2 (en) 2002-09-19 2008-01-22 The Penn State Research Foundation Prosody based audio/visual co-analysis for co-verbal gesture recognition
US20040113933A1 (en) 2002-10-08 2004-06-17 Northrop Grumman Corporation Split and merge behavior analysis and understanding using Hidden Markov Models
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
US9177387B2 (en) 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
US7665041B2 (en) 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
US8614741B2 (en) 2003-03-31 2013-12-24 Alcatel Lucent Method and apparatus for intelligent and automatic sensor control using multimedia database system
DE10316477A1 (de) * 2003-04-09 2004-10-28 Daimlerchrysler Ag Benutzerschnittstelle und Kommunikationssystem für ein Kraftfahrzeug und zugehörige Betriebsverfahren
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US7372977B2 (en) 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
BRPI0411056A (pt) * 2003-06-06 2007-04-17 Volvo Technology Corp método e disposição para controlar subsistemas veiculares baseados na atividade interpretativa do condutor
EP3190546A3 (en) 2003-06-12 2017-10-04 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
US7292152B2 (en) * 2003-06-12 2007-11-06 Temic Automotive Of North America, Inc. Method and apparatus for classifying vehicle operator activity state
US7038661B2 (en) 2003-06-13 2006-05-02 Microsoft Corporation Pointing device and cursor for use in intelligent computing environments
DE10330613A1 (de) * 2003-07-07 2005-01-27 Robert Bosch Gmbh Geschwindigkeitsabhängige Dienstebereitstellung in einem Kraftfahrzeug
US20050037730A1 (en) * 2003-08-12 2005-02-17 Albert Montague Mobile wireless phone with impact sensor, detects vehicle accidents/thefts, transmits medical exigency-automatically notifies authorities
US8287373B2 (en) 2008-12-05 2012-10-16 Sony Computer Entertainment Inc. Control device for communicating visual information
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US20050076161A1 (en) 2003-10-03 2005-04-07 Amro Albanna Input system and method
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
JP2005173702A (ja) * 2003-12-08 2005-06-30 Nissan Motor Co Ltd 運転余裕度判定装置
KR100588042B1 (ko) 2004-01-14 2006-06-09 한국과학기술연구원 인터액티브 프레젠테이션 시스템
WO2005084209A2 (en) 2004-02-27 2005-09-15 University Of Florida Research Foundation, Inc. Interactive virtual characters for training including medical diagnosis training
US20050212753A1 (en) 2004-03-23 2005-09-29 Marvit David L Motion controlled remote controller
JP3648535B1 (ja) 2004-03-31 2005-05-18 コナミ株式会社 ゲーム装置、コンピュータの制御方法及びプログラム
EP1743277A4 (en) 2004-04-15 2011-07-06 Gesturetek Inc MONITORING OF BI-MANUAL MOVEMENTS
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7593593B2 (en) 2004-06-16 2009-09-22 Microsoft Corporation Method and system for reducing effects of undesired signals in an infrared imaging system
US7519223B2 (en) 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
KR101238608B1 (ko) 2004-07-30 2013-02-28 익스트림 리얼리티 엘티디. 이미지 프로세싱을 기반으로 한 3d 공간 차원용 시스템 및 방법
US8560972B2 (en) 2004-08-10 2013-10-15 Microsoft Corporation Surface UI for gesture-based interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
US7683883B2 (en) 2004-11-02 2010-03-23 Pierre Touma 3D mouse and game controller based on spherical coordinates system and system for use
US8137195B2 (en) 2004-11-23 2012-03-20 Hillcrest Laboratories, Inc. Semantic gaming and application transformation
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
WO2006074310A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Creating 3d images of objects by illuminating with infrared patterns
US7379566B2 (en) 2005-01-07 2008-05-27 Gesturetek, Inc. Optical flow based tilt sensor
HUE049974T2 (hu) 2005-01-07 2020-11-30 Qualcomm Inc Képeken lévõ objektumok észlelése és követése
US7526101B2 (en) 2005-01-24 2009-04-28 Mitsubishi Electric Research Laboratories, Inc. Tracking objects in videos with adaptive classifiers
EP1851750A4 (en) 2005-02-08 2010-08-25 Oblong Ind Inc SYSTEM AND METHOD FOR CONTROL SYSTEM BASED ON GESTURES
US8009871B2 (en) 2005-02-08 2011-08-30 Microsoft Corporation Method and system to segment depth images and to detect shapes in three-dimensionally acquired data
US20060205394A1 (en) * 2005-03-10 2006-09-14 Vesterinen Matti I Mobile device, a network element and a method of adjusting a setting associated with a mobile device
US7492367B2 (en) 2005-03-10 2009-02-17 Motus Corporation Apparatus, system and method for interpreting and reproducing physical motion
US7317836B2 (en) 2005-03-17 2008-01-08 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
BRPI0613165A2 (pt) 2005-05-17 2010-12-21 Gesturetek Inc saìda de sinal sensìvel à orientação
JP2006338226A (ja) 2005-06-01 2006-12-14 Hitachi Ltd リモート操作システム
ATE412882T1 (de) 2005-08-12 2008-11-15 Mesa Imaging Ag Hochempfindliches, schnelles pixel für anwendung in einem bildsensor
US7927216B2 (en) 2005-09-15 2011-04-19 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
US8313379B2 (en) 2005-08-22 2012-11-20 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
JP4262726B2 (ja) 2005-08-24 2009-05-13 任天堂株式会社 ゲームコントローラおよびゲームシステム
US8308563B2 (en) 2005-08-30 2012-11-13 Nintendo Co., Ltd. Game system and storage medium having game program stored thereon
JP4773170B2 (ja) 2005-09-14 2011-09-14 任天堂株式会社 ゲームプログラムおよびゲームシステム
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US20070143333A1 (en) 2005-12-16 2007-06-21 Microsoft Corporation Creating search folders within applications for other applications
JP4509042B2 (ja) 2006-02-13 2010-07-21 株式会社デンソー 自動車用もてなし情報提供システム
JP4795087B2 (ja) 2006-04-14 2011-10-19 任天堂株式会社 ゲーム装置およびゲームプログラム
US7988558B2 (en) 2006-04-27 2011-08-02 Nintendo Co., Ltd. Game apparatus and storage medium storing game program
JP4679431B2 (ja) 2006-04-28 2011-04-27 任天堂株式会社 音出力制御プログラムおよび音出力制御装置
JP5506129B2 (ja) 2006-05-08 2014-05-28 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステムおよびゲーム処理方法
US8249334B2 (en) 2006-05-11 2012-08-21 Primesense Ltd. Modeling of humanoid forms from depth maps
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US9405372B2 (en) 2006-07-14 2016-08-02 Ailive, Inc. Self-contained inertial navigation system for interactive control using movable controllers
JP5051822B2 (ja) 2006-08-02 2012-10-17 任天堂株式会社 汎用遠隔制御機能を備えたゲーム装置
US7907117B2 (en) 2006-08-08 2011-03-15 Microsoft Corporation Virtual controller for visual displays
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
JP4926799B2 (ja) 2006-10-23 2012-05-09 キヤノン株式会社 情報処理装置、情報処理方法
KR100877490B1 (ko) * 2006-11-03 2009-01-12 삼성전기주식회사 휴대단말 및 상기 휴대단말을 제어하는 방법
US8904312B2 (en) 2006-11-09 2014-12-02 Navisense Method and device for touchless signing and recognition
US8351646B2 (en) 2006-12-21 2013-01-08 Honda Motor Co., Ltd. Human pose estimation and tracking using label assignment
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7916944B2 (en) 2007-01-31 2011-03-29 Fuji Xerox Co., Ltd. System and method for feature level foreground segmentation
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
CN101715581B (zh) 2007-04-20 2014-07-23 索夫特基奈蒂克软件公司 体积识别方法和系统
US7725129B2 (en) 2007-05-16 2010-05-25 Oliver David Grunhold Cell phone based vehicle control system
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
TWI338241B (en) 2007-08-23 2011-03-01 Pixart Imaging Inc Interactive image system, interactive device and operative method thereof
CN101141136A (zh) * 2007-09-30 2008-03-12 中兴通讯股份有限公司 一种实现车载通话的方法及装置
EP2203893A4 (en) 2007-10-30 2014-05-07 Hewlett Packard Development Co INTERACTIVE DISPLAY SYSTEM WITH GROUP GESTURE DETECTION
US9171454B2 (en) 2007-11-14 2015-10-27 Microsoft Technology Licensing, Llc Magic wand
US20090221368A1 (en) 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
JP5420833B2 (ja) 2007-11-30 2014-02-19 任天堂株式会社 ゲームシステム
GB2455316B (en) 2007-12-04 2012-08-15 Sony Corp Image processing apparatus and method
US9165199B2 (en) 2007-12-21 2015-10-20 Honda Motor Co., Ltd. Controlled human pose estimation from depth image streams
US20090172606A1 (en) 2007-12-31 2009-07-02 Motorola, Inc. Method and apparatus for two-handed computer user interface with gesture recognition
CN201166702Y (zh) * 2008-03-06 2008-12-17 宇龙计算机通信科技(深圳)有限公司 一种具有汽车超速检测功能的移动终端
US8280732B2 (en) 2008-03-27 2012-10-02 Wolfgang Richter System and method for multidimensional gesture analysis
JP4656177B2 (ja) * 2008-04-14 2011-03-23 トヨタ自動車株式会社 ナビゲーション装置、操作部表示方法
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
US8428642B2 (en) 2008-05-02 2013-04-23 Delphi Technologies, Inc. Method and apparatus for remote vehicle communications and control
US8311734B2 (en) * 2008-07-01 2012-11-13 Sony Corporation Automatic speed limit adjust for road conditions
CN101364814A (zh) * 2008-09-09 2009-02-11 动力新跃(北京)汽车科技有限公司 驾驶员手机屏蔽器
JP2010072833A (ja) * 2008-09-17 2010-04-02 Toyota Motor Corp 運転支援装置
US20100105479A1 (en) 2008-10-23 2010-04-29 Microsoft Corporation Determining orientation in an external reference frame
US8253713B2 (en) 2008-10-23 2012-08-28 At&T Intellectual Property I, L.P. Tracking approaching or hovering objects for user-interfaces
TW201017578A (en) 2008-10-29 2010-05-01 Chunghwa Picture Tubes Ltd Method for rebuilding 3D surface model
US20100121526A1 (en) 2008-11-12 2010-05-13 Don Pham Speed warning method and apparatus for navigation system
WO2010055737A1 (ja) 2008-11-14 2010-05-20 株式会社ソニー・コンピュータエンタテインメント 操作デバイス
KR101081116B1 (ko) * 2009-04-22 2011-11-07 중앙대학교 산학협력단 텔레매틱스 통합 연동 시스템 및 그 제어 방법
EP2209091B1 (en) 2009-01-16 2012-08-08 Honda Research Institute Europe GmbH System and method for object motion detection based on multiple 3D warping and vehicle equipped with such system
US8295546B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
US20100195867A1 (en) 2009-01-30 2010-08-05 Microsoft Corporation Visual target tracking using model fitting and exemplar
US8517834B2 (en) 2009-02-17 2013-08-27 Softkinetic Studios Sa Computer videogame system with body position detector that requires user to assume various body positions
US8395642B2 (en) 2009-03-17 2013-03-12 Mitsubishi Electric Research Laboratories, Inc. Method for virtual image synthesis
US8246458B2 (en) 2009-03-25 2012-08-21 Nintendo Co., Ltd. Game apparatus and recording medium recording game program
CN201548210U (zh) 2009-04-01 2010-08-11 姚征远 投影三维测量装置
US8213962B2 (en) 2009-07-21 2012-07-03 Verizon Patent And Licensing Inc. Vehicle computer link to mobile phone
US8428340B2 (en) 2009-09-21 2013-04-23 Microsoft Corporation Screen space plane identification
US8867820B2 (en) 2009-10-07 2014-10-21 Microsoft Corporation Systems and methods for removing a background of an image
US9104275B2 (en) 2009-10-20 2015-08-11 Lg Electronics Inc. Mobile terminal to display an object on a perceived 3D space
US8315617B2 (en) * 2009-10-31 2012-11-20 Btpatent Llc Controlling mobile device functions
US8145199B2 (en) * 2009-10-31 2012-03-27 BT Patent LLC Controlling mobile device functions
US20110106375A1 (en) 2009-11-03 2011-05-05 Vishnu Gurusamy Sundaram Method and system for providing an integrated platform for entertainment, information, communication, control and computing applications in vehicles
CN101795504A (zh) * 2009-11-11 2010-08-04 华为终端有限公司 提示手机设置内容的方法、装置和系统
US8672763B2 (en) 2009-11-20 2014-03-18 Sony Computer Entertainment Inc. Controller for interfacing with a computing program using position, orientation, or motion
US8677268B2 (en) 2010-01-26 2014-03-18 Apple Inc. Device, method, and graphical user interface for resizing objects
US8379134B2 (en) 2010-02-26 2013-02-19 Research In Motion Limited Object detection and selection using gesture recognition
US8396252B2 (en) 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
US9241064B2 (en) 2010-05-28 2016-01-19 Google Technology Holdings LLC Smart method and device for adaptive user interface experiences
US8471691B2 (en) 2010-06-15 2013-06-25 GM Global Technology Operations LLC Portable vision system
US8756173B2 (en) * 2011-01-19 2014-06-17 Qualcomm Incorporated Machine learning of known or unknown motion states with sensor fusion
CN102204650B (zh) 2011-03-08 2012-09-19 胡任飞 一种低血糖指数保健主食及其制备方法与降血糖应用
US9939888B2 (en) 2011-09-15 2018-04-10 Microsoft Technology Licensing Llc Correlating movement information received from different sources
WO2013074897A1 (en) 2011-11-16 2013-05-23 Flextronics Ap, Llc Configurable vehicle console
US20130155237A1 (en) 2011-12-16 2013-06-20 Microsoft Corporation Interacting with a mobile device within a vehicle using gestures
US8811938B2 (en) 2011-12-16 2014-08-19 Microsoft Corporation Providing a user interface experience based on inferred vehicle state
US9849376B2 (en) 2012-05-02 2017-12-26 Microsoft Technology Licensing, Llc Wireless controller
US9008989B2 (en) 2012-05-02 2015-04-14 Microsoft Technology Licensing, Llc Wireless controller
US9740187B2 (en) 2012-11-21 2017-08-22 Microsoft Technology Licensing, Llc Controlling hardware in an environment

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10304464A (ja) * 1997-04-28 1998-11-13 Daihatsu Motor Co Ltd ハンズフリー装置の制御方法
JP2001239897A (ja) * 2000-02-28 2001-09-04 Toshiba Corp 乗物用情報処理装置と車載用情報処理装置及び情報処理方法
JP2004045413A (ja) * 2001-08-06 2004-02-12 Matsushita Electric Ind Co Ltd 情報提供方法および情報提供装置
JP2009244959A (ja) * 2008-03-28 2009-10-22 Toyota Motor Corp 運転支援装置、運転支援方法
JP2010081565A (ja) * 2008-08-27 2010-04-08 Kyocera Corp 携帯電子機器及び車両
JP2010081419A (ja) * 2008-09-26 2010-04-08 Sharp Corp 携帯端末、携帯端末の制御方法、検知装置、検知装置の制御方法、携帯端末制御システム、携帯端末制御プログラム、検知装置制御プログラム、コンピュータ読み取り可能な記録媒体
WO2010051455A2 (en) * 2008-10-31 2010-05-06 University Of Utah Research Foundation Integrated vehicle key and mobile phone system for preventing mobile phone use while driving
JP2010195156A (ja) * 2009-02-24 2010-09-09 Denso Corp 燃費報知装置
JP2010262400A (ja) * 2009-04-30 2010-11-18 Denso Corp 車載用電子機器操作装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11772672B2 (en) 2020-02-13 2023-10-03 Toyota Motor North America, Inc. Unsafe transport operation
US11945447B2 (en) 2020-02-13 2024-04-02 Toyota Motor North America, Inc. Transport boundary expansion

Also Published As

Publication number Publication date
CN103116399A (zh) 2013-05-22
WO2013090125A1 (en) 2013-06-20
JP6785704B2 (ja) 2020-11-18
CN103116399B (zh) 2017-03-01
US20140329487A1 (en) 2014-11-06
KR20140106568A (ko) 2014-09-03
US9596643B2 (en) 2017-03-14
EP2790968A4 (en) 2015-09-02
EP2790968A1 (en) 2014-10-22
US8811938B2 (en) 2014-08-19
KR101967944B1 (ko) 2019-04-10
JP2015510619A (ja) 2015-04-09
US20130157607A1 (en) 2013-06-20

Similar Documents

Publication Publication Date Title
JP6785704B2 (ja) 推論された車両状態に基づいたユーザ・インタフェース体験の提供
US11077850B2 (en) Systems and methods for determining individualized driving behaviors of vehicles
US10867510B2 (en) Real-time traffic monitoring with connected cars
US10663963B2 (en) Method and apparatus for visualizing future events for passengers of autonomous vehicles
US10007264B2 (en) Autonomous vehicle human driver takeover mechanism using electrodes
CN108028015B (zh) 信息处理装置、信息处理方法和存储介质
KR20210035296A (ko) 이례적인 차량 이벤트를 감지 및 기록하기 위한 시스템 및 방법
JP2019501435A (ja) 自律走行車の走行を決定するための周辺環境を構築する方法及びシステム
US20210191394A1 (en) Systems and methods for presenting curated autonomy-system information of a vehicle
JP2018531385A (ja) 自律走行車を運行させるための制御エラー補正計画方法
JP2018531385A6 (ja) 自律走行車を運行させるための制御エラー補正計画方法
US20180356237A1 (en) Enhanced navigation instruction and user determination
US20200356090A1 (en) Client control for an autonomous vehicle ridesharing service
US10745019B2 (en) Automatic and personalized control of driver assistance components
US9928833B2 (en) Voice interface for a vehicle
US9875583B2 (en) Vehicle operational data acquisition responsive to vehicle occupant voice inputs
KR102478819B1 (ko) 정지된 자율주행 차량들에 의해 야기되는 주변 도로 사용자들에 대한 불편을 감소시키는 것
CN112789205A (zh) 针对自动驾驶车辆检测队列并对队列进行响应
WO2017100790A1 (en) Enhanced navigation instruction and user determination
JP2022171637A (ja) 車両内のヘッドアップディスプレイを制御するためのシステムと方法
WO2019054168A1 (ja) 運転負荷演算装置及びコンピュータプログラム
JP7428076B2 (ja) サーバ装置、制御装置、車両、及び情報処理システムの動作方法
JP2019023806A (ja) 情報制御装置
CN115620258A (zh) 车道线检测方法、装置、存储介质及车辆
CN115086623A (zh) 车载投影系统的投影方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170331

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20171102

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180904

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190702

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190717

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20191004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200616

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201027

R150 Certificate of patent or registration of utility model

Ref document number: 6785704

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250