JP2021102357A - 車載機器操作装置 - Google Patents

車載機器操作装置 Download PDF

Info

Publication number
JP2021102357A
JP2021102357A JP2019233249A JP2019233249A JP2021102357A JP 2021102357 A JP2021102357 A JP 2021102357A JP 2019233249 A JP2019233249 A JP 2019233249A JP 2019233249 A JP2019233249 A JP 2019233249A JP 2021102357 A JP2021102357 A JP 2021102357A
Authority
JP
Japan
Prior art keywords
vehicle
occupant
vehicle device
instruction
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019233249A
Other languages
English (en)
Inventor
稲田　智洋
Tomohiro Inada
稲田　　智洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2019233249A priority Critical patent/JP2021102357A/ja
Priority to DE102020128336.9A priority patent/DE102020128336A1/de
Priority to CN202011196196.8A priority patent/CN113022304A/zh
Priority to US17/088,593 priority patent/US11772490B2/en
Publication of JP2021102357A publication Critical patent/JP2021102357A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00—Heating, cooling or ventilating [HVAC] devices
    • B60H1/00642—Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
    • B60H1/0065—Control members, e.g. levers or knobs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00—Heating, cooling or ventilating [HVAC] devices
    • B60H1/00642—Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
    • B60H1/00735—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models
    • B60H1/00742—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models by detection of the vehicle occupants' presence; by detection of conditions relating to the body of occupants, e.g. using radiant heat detectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/26—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/001—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles integrated in the windows, e.g. Fresnel lenses
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D1/00—Steering controls, i.e. means for initiating a change of direction of the vehicle
    • B62D1/02—Steering controls, i.e. means for initiating a change of direction of the vehicle vehicle-mounted
    • B62D1/04—Hand wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D1/00—Steering controls, i.e. means for initiating a change of direction of the vehicle
    • B62D1/02—Steering controls, i.e. means for initiating a change of direction of the vehicle vehicle-mounted
    • B62D1/04—Hand wheels
    • B62D1/046—Adaptations on rotatable parts of the steering wheel for accommodation of switches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/11—Instrument graphical user interfaces or menu aspects
    • B60K2360/119—Icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1464—3D-gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/161—Explanation of functions, e.g. instructions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/77—Instrument locations other than the dashboard
    • B60K2360/782—Instrument locations other than the dashboard on the steering wheel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/005—Electro-mechanical devices, e.g. switched
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/001—Vehicle control means, e.g. steering-wheel or column
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Thermal Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Automation & Control Theory (AREA)
  • Ophthalmology & Optometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Steering Controls (AREA)

Abstract

【課題】微調整が必要な車載機器の操作を効率よく行うことができる車載機器操作装置を得る。【解決手段】車載機器操作装置１２は、車載機器を含む情報を乗員に表示する表示部２２と、表示部２２に表示された車載機器への指示を手動で入力可能な操作部２０と、乗員を撮像する室内カメラ２４と、室内カメラ２４で撮像された乗員の顔及び身体の少なくとも一方の動作から所定の動作を検知し、該動作に対応する指示を車載機器に入力すると共に、表示部２２に車載機器の情報を操作可能な状態で表示させる制御部３０と、を有する。【選択図】図１

Description

本発明は、車載機器操作装置に関する。
特許文献１には、ハンドル（ステアリングホイール）の周辺領域で手指のジェスチャーを検出し、このジェスチャーを車載機器の操作情報として認識する車載機器操作装置が開示されている。
特開２０１６−０５２８６１号公報
しかしながら、上記特許文献１に記載された車載機器操作装置では、ターンシグナルスイッチのオンオフ、ヘッドランプスイッチのオンオフ、及びワイパー装置のオンオフなどの簡単な操作を行う場合しか考慮されておらず、空調装置などの微調整が必要な車載機器の操作を効率よく行うには改善の余地がある。
本発明は上記事実を考慮し、微調整が必要な車載機器の操作を効率よく行うことができる車載機器操作装置を得ることを目的とする。
請求項１に記載の車載機器操作装置は、車載機器を含む情報を乗員に表示する表示部と、前記表示部に表示された前記車載機器への指示を手動で入力可能な操作部と、乗員を撮像する室内カメラと、前記室内カメラで撮像された乗員の顔及び身体の少なくとも一方の動作から所定の動作を検知し、該動作に対応する指示を前記車載機器に入力すると共に、前記表示部に前記車載機器の情報を操作可能な状態で表示させる制御部と、を有する。
請求項１に記載の車載機器操作装置では、車載機器を含む情報が表示部に表示されており、操作部は、表示部に表示された車載機器への指示を手動で入力可能とされている。また、室内カメラによって乗員が撮像されるよう構成されており、制御部は、室内カメラで撮像された乗員の顔及び身体の少なくとも一方の動作から所定の動作を検知し、この動作に対応する指示を車載機器に入力する。これにより、乗員が操作部を用いて手動で入力することなく、顔及び身体の少なくとも一方を動作させることで車載機器に指示を入力することができる。
また、制御部は、表示部に前記車載機器の情報を操作可能な状態で表示させる。これにより、乗員が顔及び身体の少なくとも一方を動作させることで車載機器に指示を入力した後、継続して操作部を操作することで車載機器の設定の微調整などを行うことができる。なお、ここでいう顔の動作とは、顔全体の動作に限定されず、視線方向の移動及び瞼を開閉させる動作を広く含む概念である。
請求項２に記載の車載機器操作装置は、請求項１において、前記制御部は、前記車載機器へ指示が入力された際に、前記車載機器への指示を反映させたことを乗員へ通知する。
請求項２に記載の車載機器操作装置では、車載機器へ指示が入力された際に、車載機器への指示を反映させたことを乗員へ通知する。これにより、乗員は、特別な操作を行うことなく車載機器への指示が反映されたことを把握することができる。なお、ここでいう車載機器へ指示が入力された際とは、乗員が操作部を操作して車載機器への指示を入力した際、及び乗員の動作により車載機器への指示を入力した際の少なくとも一方の場合を含む。
請求項３に記載の車載機器操作装置は、請求項２において、前記制御部は、音声により前記車載機器への指示を反映させたことを乗員へ通知する。
請求項３に記載の車載機器操作装置では、例えば、表示部に表示させることで指示が反映されたことを通知する構成と比較して、乗員が表示部に視線を向ける必要がなく指示が反映されたことを把握することができる。
請求項４に記載の車載機器操作装置は、請求項１〜３の何れか１項において、前記操作部は、ステアリングホイールに設けられたステアリングスイッチである。
請求項４に記載の車載機器操作装置では、ステアリングホイールにステアリングスイッチが設けられている。そして、乗員がステアリングスイッチを操作することで車載機器へ指示が入力される。
請求項５に記載の車載機器操作装置は、請求項１〜４の何れか１項において、前記制御部は、前記室内カメラで撮像された乗員の動作から所定の手のジェスチャーを含む動作を検知し、該ジェスチャーに対応する指示を前記車載機器に入力する。
請求項５に記載の車載機器操作装置では、制御部は、室内カメラで撮像された映像から乗員の手のジェスチャーを含む動作を検知する。そして、制御部は、この手のジェスチャーに対応する指示を車載機器へ入力する。
請求項６に記載の車載機器操作装置は、請求項１〜５の何れか１項において、前記制御部は、前記室内カメラで撮像された乗員の顔の動作から所定の視線移動のパターンを含む動作を検知し、該視線移動のパターンに対応する指示を前記車載機器に入力する。
請求項６に記載の車載機器操作装置では、制御部は、室内カメラで撮像された映像から乗員の視線移動のパターンを含む動作を検知する。そして、制御部は、この視線移動のパターンに対応する指示を車載機器へ入力する。
請求項７に記載の車載機器操作装置は、請求項１〜６の何れか１項において、前記車載機器は、空調装置、オーディオ及びナビゲーションシステムの少なくとも一つを含んでいる。
請求項７に記載の車載機器操作装置では、制御部は、室内カメラで撮像された乗員の顔及び身体の少なくとも一方の動作から所定の動作を検知し、この動作に対応する指示を空調装置、オーディオ及びナビゲーションシステムなどに入力する。また、制御部は、表示部に空調装置、オーディオ及びナビゲーションシステムなどの情報を操作可能な状態で表示させることで、乗員が継続して操作部を操作することでこれらの車載機器の設定の微調整などを行うことができる。
以上説明したように、請求項１に係る車載機器操作装置によれば、微調整が必要な車載機器の操作を効率よく行うことができる。
請求項２に係る車載機器操作装置によれば、乗員が車載機器への指示が反映されたことを確認する手間を省くことができる。
請求項３に係る車載機器操作装置によれば、乗員の快適性をより向上させることができる。
請求項４に係る車載機器操作装置によれば、乗員が運転中にステアリングホイールから手を離すことなく車載機器への指示を入力することができる。
請求項５に係る車載機器操作装置によれば、手を動かすだけで車載機器へ指示を入力することができる。
請求項６に係る車載機器操作装置によれば、乗員が手を動かすことなく車載機器への指示を入力することができる。
請求項７に係る車載機器操作装置によれば、空調装置、オーディオ及びナビゲーションシステムなどの車載機器の操作を効率よく行うことができる。
実施形態に係る車載機器操作装置が適用された車両の車室前部を車両後方側から見た図である。 実施形態における表示部に表示される映像の一例を示す図であり、（Ａ）には設定温度が２５度に設定されている状態が示され、（Ｂ）には設定温度が２３度に設定されている状態が示されている。 実施形態における表示部に表示される映像の他の例を示す図であり、（Ａ）には設定風量が３に設定されている状態が示され、（Ｂ）には設定風量が４に設定されている状態が示されている。 実施形態に係る車載機器操作装置のハードウェア構成を示すブロック図である。 実施形態に係る車載機器操作装置の機能構成を示すブロック図である。 実施形態における車載機器操作処理の流れの一例を示すフローチャートである。
実施形態に係る車載機器操作装置１２について図面を参照して説明する。図１に示されるように、本実施形態の車載機器操作装置１２が適用された車両１０の車室前部には、インストルメントパネル１４が配設されている。また、インストルメントパネル１４の前端部にはウインドシールドガラス１６が配設されており、このウインドシールドガラス１６は、車両上下方向かつ車両幅方向に延在されて車室内と車室外とを区画している。
ウインドシールドガラス１６には、表示部としての表示領域２２が設定されている。表示領域２２は、図４に図示されたヘッドアップディスプレイ４４からウインドシールドガラス１６へ映像が投影された領域であり、ウインドシールドガラス１６における運転席の車両前方側に設定されている。そして、この表示領域２２には、車載機器を含む情報が表示される。
インストルメントパネル１４における車両左側には、図示しないステアリングコラムを介してステアリングホイール１８が設けられている。ステアリングホイール１８は、略円環状のリム部１８Ａを備えている。また、リム部１８Ａの内周側には中央部を構成するハブ部１８Ｂが設けられており、リム部１８Ａとハブ部１８Ｂとが複数のスポーク部１８Ｃによって連結されている。本実施形態では一例として、リム部１８Ａとハブ部１８Ｂとが２つのスポーク部１８Ｃによって連結されている。
スポーク部１８Ｃは、リム部１８Ａの右側とハブ部１８Ｂとの間、及びリム部１８Ａの左側とハブ部１８Ｂとの間の二カ所に設けられている。ここで、リム部１８Ａの右側とハブ部１８Ｂとの間のスポーク部１８Ｃには、操作部としての右側スイッチ２０Ｒが設けられている。また、リム部１８Ａの左側とハブ部１８Ｂとの間のスポーク部１８Ｃには、操作部としての左側スイッチ２０Ｌが設けられている。なお、以下の説明において、右側スイッチ２０Ｒと左側スイッチ２０Ｌとを区別しない場合には、単に「ステアリングスイッチ２０」と称する。ステアリングスイッチ２０の詳細については後述する。
（ハードウェア構成）
図４は、車載機器操作装置１２のハードウェア構成を示すブロック図である。この図４に示されるように、車載機器操作装置１２は、制御部であるＥＣＵ（Ｅｌｅｃｔｒｉｃａｌ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）３０を備えている。また、ＥＣＵ３０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：プロセッサ）３２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３４、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３６、ストレージ３８、通信インタフェース４０及び入出力インタフェース４２を含んで構成されている。各構成は、バス３１を介して相互に通信可能に接続されている。
ＣＰＵ３２は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ３２は、ＲＯＭ３４又はストレージ３８からプログラムを読み出し、ＲＡＭ３６を作業領域としてプログラムを実行する。ＣＰＵ３２は、ＲＯＭ３４又はストレージ３８に記録されているプログラムに従って、上記各構成の制御および各種の演算処理を行う。
ＲＯＭ３４は、各種プログラム及び各種データを格納する。ＲＡＭ３６は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ３８は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。
通信インタフェース４０は、ＥＣＵ３０がサーバ及び他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ−Ｆｉ（登録商標）などの規格が用いられる。
入出力インタフェース４２には、ＨＵＤ（ヘッドアップディスプレイ）４４、ステアリングスイッチ２０、室内カメラ２４、スピーカ４６、空調装置４８、車載機器としてのオーディオ５０及び車載機器としてのナビゲーションシステム５２が接続されている。具体的には、入出力インタフェース４２には、表示領域２２に映像を投影するＨＵＤ４４が接続されており、ＥＣＵ３０からの信号を受信してＨＵＤ４４から表示領域２２へ映像が投影される。
図１に示されるように、右側スイッチ２０Ｒ及び左側スイッチ２０Ｌはそれぞれ、中央に設けられたボタンと、このボタンに対する上下左右に設けられたボタンとを含んで構成されている。そして、これらのボタンを操作することにより、表示領域２２に表示された車載機器に対して手動で指示を入力することができるように構成されている。例えば、図２（Ａ）に示されるように、車載機器としての空調装置４８の設定温度に関する映像が表示領域２２に表示されている場合、乗員が右側スイッチ２０Ｒの上ボタンを押下することで、設定温度が高くなる。また逆に、乗員が右側スイッチ２０Ｒの下ボタンを押下することで、設定温度が低くなるように構成されている。なお、左側スイッチ２０Ｌを操作することで、別の車載機器に対して指示を入力できるように構成されている。
ここで、図２及び図３を参照して表示領域２２に表示される映像の一例について説明する。図２（Ａ）及び図２（Ｂ）に示されるように、表示領域２２には、上下方向を長手方向とする略矩形状の中央枠状部Ｆ１が表示されている。また、中央枠状部Ｆ１の右側には略矩形状の右枠状部Ｆ２が表示されており、中央枠状部Ｆ１の左側には略矩形状の左枠状部Ｆ３が表示されている。
右枠状部Ｆ２及び左枠状部Ｆ３は、中央枠状部Ｆ１の上下方向の中央部分に位置しており、上下の長さと左右の長さが略同じ長さとなっている。
ここで、中央枠状部Ｆ１の内側における上部には、「温度」と表示されており、空調装置４８の温度設定の画面であることを示している。また、中央枠状部Ｆ１の内側における上下方向中央部には、「２５．０」と表示されており、現在の設定温度が２５．０度であることを示している。さらに、設定温度の表示部分の上側には、上側を頂点とする三角形上のアイコンＴ１が表示されており、設定温度の表示部分の下側には、下側を頂点とする三角形上のアイコンＴ２が表示されている。これらのアイコンＴ１及びＴ２は、乗員がステアリングスイッチ２０の上ボタン及び下ボタンをそれぞれ押下することで、設定温度を変更できることを示している。
一方、右枠状部Ｆ２の内側には、「風量」と表示されており、左枠状部Ｆ３の内側には、「吹出口」と表示されている。このため、乗員がステアリングスイッチ２０の右ボタンを押下することで、風量の設定画面に移行され、乗員がステアリングスイッチ２０の左ボタンを押下することで、吹出口の選択画面に移行される。
図３（Ａ）及び図３（Ｂ）には、空調装置４８の風量設定画面の一例が示されている。この風量設定画面では、中央枠状部Ｆ１の内側における上部に、「風量」と表示されている。また、中央枠状部Ｆ１の内側における上下方向中央部には、「３」と表示されており、現在の設定風量が３であることを示している。なお、風量は例えば１０段階となっており、最も弱い風量が１であり、最も強い風量が１０となっている。
図４に示されるように、室内カメラ２４は、車室内を撮像するカメラであり、特に乗員の上半身を撮像するカメラである。図１に示されるように、本実施形態の室内カメラ２４は、ステアリングホイール１８におけるハブ部１８Ｂの上方に位置しており、図示しないステアリングコラムに取り付けられている。そして、この室内カメラ２４で撮像された映像は、ＥＣＵ３０へ送られる。
図４に示されるように、スピーカ４６は、車室内に設けられており、信号を音声に変換して車室内に出力する。空調装置４８は、例えば、温度調節した空気を車室内に送風する。また、オーディオ５０は、例えば、音楽を再生してスピーカ４６から出力させる。ナビゲーションシステム５２は、例えば、車両１０の目的地までの道順を表示させる。
（機能構成）
車載機器操作装置１２は、図４に示されるハードウェア資源を用いて、各種の機能を実現する。車載機器操作装置が実現する機能構成について図５を参照して説明する。
図５に示されるように、車載機器操作装置１２は、機能構成として、手動操作受付部５４、映像取得部５６、特定動作検知部５８、車載機器制御部６０、表示切替部６２及び通知部６４を含んで構成されている。なお、各機能構成は、ＣＰＵ３２がストレージ３８に記憶されたプログラムを読み出し、これを実行することによって実現される。
手動操作受付部５４は、乗員がステアリングスイッチ２０を操作することで空調装置４８、オーディオ５０又はナビゲーションシステム５２へ入力された指示を受付ける。そして、この手動操作受付部５４によって指示が受け付けられることで、対応する車載機器が作動する。
映像取得部５６は、室内カメラ２４で撮像された映像を映像データとして取得する。映像取得部５６によって取得された映像データは、例えば、ストレージ３８に一定期間が経過するまでの間、記憶される。
特定動作検知部５８は、室内カメラ２４で撮像された乗員の顔及び身体の少なくとも一方の動作から所定の動作を検知する。具体的には、特定動作検知部５８は、映像取得部５６で取得された映像を解析し、乗員の顔及び身体の少なくとも一方の動作を検知する。そして、特定動作検知部５８は、この検知された動作と、予め設定された動作とを比較する。ここで、乗員の顔の動作とは、例えば、視線移動のパターンを含む動作であり、この視線移動のパターンが予め設定された視線移動のパターンと同じである場合に、所定の動作として検知される。また、乗員の身体の動作とは、例えば、手のジェスチャーを含む動作であり、この手のジェスチャーが予め設定された手のジェスチャーと同じである場合に、所定の動作として検知される。なお、乗員の動作と予め設定された動作との間に違いがあった場合でも、全体として同じ動作であれば、同じ動作として検知される。また同じ動作であるか否かを判断する閾値については調節可能とされている。
車載機器制御部６０は、特定動作検知部５８によって検知された動作に対応する指示を空調装置４８、オーディオ５０又はナビゲーションシステム５２に入力する。
表示切替部６２は、車載機器制御部６０によって所定の動作に対応する指示が空調装置４８、オーディオ５０又はナビゲーションシステム５２に入力された場合に、表示領域２２にこの車載機器の情報を操作可能な状態で表示させる。また、通知部６４は、空調装置４８、オーディオ５０又はナビゲーションシステム５２へ指示が入力された際に、車載機器への指示を反映させたことを乗員へ通知する。本実施形態では一例として、音声及び映像により車載機器への指示を反映させたことを乗員へ通知する。
以下、表示領域２２に表示される映像の一例について説明する。例えば、空調装置４８が作動していない非作動状態において、乗員が室内カメラ２４の撮像範囲で顔を扇ぐように手を動かした場合、この動作が特定の動作として特定動作検知部５８によって検知される。そして、この場合には、車載機器制御部６０が空調装置４８を所定の設定温度で作動させる。また、図２（Ａ）に示されるように、表示領域２２に空調装置４８の映像が表示される。すなわち、他の映像が表示されている状態から空調装置４８の映像に切り替えられる。このようにして、車室内の温度が下げられる。ここで、表示領域２２には、現在の空調装置４８の設定温度が表示されている。
また、空調装置４８が作動している状態において、乗員が室内カメラ２４の撮像範囲で顔を扇ぐように手を動かした場合、この動作が特定の動作として特定動作検知部５８によって検知される。そして、この場合には、図２（Ｂ）に示されるように、車載機器制御部６０が空調装置４８の設定温度を下げる。本実施形態では一例として、設定温度が２５度から２３．０度に下げられる。また、表示領域２２には、設定温度が２３．０度に変更されていることを表示させることで乗員へ通知される。さらに、スピーカ４６から所定の音声を出力することで、設定温度が変更されたことを乗員へ通知する。例えば、「設定温度が２３度に変更されました」と音声で出力することで、乗員へ通知してもよい。
そして、この状態でステアリングスイッチ２０を操作することで、空調装置４８へ指示が入力される。すなわち、手のジェスチャーで空調装置４８へ指示を入力した後、空調装置４８の設定温度を手動で変更できるように構成されている。例えば、図２（Ｂ）に示される状態から乗員がステアリングスイッチ２０の上ボタンを押下することで、設定温度が２４度に変更される。
また、図２（Ａ）及び図２（Ｂ）に示される状態からステアリングスイッチ２０を操作することで、空調装置４８の風量設定画面及び吹出口選択画面に切り替えられるように構成されている。例えば、図２（Ａ）に示された状態から乗員がステアリングスイッチ２０の右ボタンを押下することで、図３（Ａ）に示されるように風量設定画面に切り替えられる。
図３（Ａ）の画面が表示された状態から、例えば、乗員が室内カメラ２４の撮像範囲で手の平を下に向けた状態で手を上から下へ移動させることで、この動作が特定の動作として特定動作検知部５８によって検知される。そして、この場合には、車載機器制御部６０が空調装置４８の設定風量を小さくする。また逆に、乗員が室内カメラ２４の撮像範囲で手の平を上に向けた状態で手を下から上へ移動させることで、この動作が特定の動作として特定動作検知部５８によって検知される。そして、この場合には、車載機器制御部６０が空調装置４８の設定風量を大きくする。すなわち、図３（Ａ）から図３（Ｂ）の表示に切り替えられる。さらに、スピーカ４６から音声が出力されることで、設定風量が変更されたことを乗員に通知する。
手のジェスチャーの他に、乗員が特定の視線移動を行うことで、この動作を特定の動作として特定動作検知部５８に検知させてもよい。例えば、乗員が視線を上から下へ向けて動かすことで、この動作を特定の動作として特定動作検知部５８に検知させてもよい。
なお、空調装置４８の他に、オーディオ５０及びナビゲーションシステム５２についても同様に、手のジェスチャー及び視線移動によって指示を入力するようにしてもよい。例えば、オーディオ５０が作動している状態において、乗員が室内カメラ２４の撮像範囲で手を耳の横に移動させて音を聞くようなジェスチャーを行った場合、この動作を特定の動作として特定動作検知部５８によって検知させてもよい。そして、この場合には、オーディオ５０の音量を所定量だけ大きくし、表示領域２２には、音量が変更されていることを表示させる。さらに、スピーカ４６から所定の音声を出力することで、音量が変更されたことを乗員へ通知する。
また、例えば、オーディオ５０が作動している状態で、乗員が視線を右から左へ移動させた場合、この動作を特定の動作として特定動作検知部５８によって検知させてもよい。そして、この場合には、オーディオ５０で再生している曲を次の曲に変更し、表示領域２２には、変更された曲に関する情報を表示させてもよい。
（作用）
次に、本実施形態の作用について説明する。
車載機器操作装置１２による車載機器操作処理の流れの一例について、図６のフローチャートを参照して説明する。この表示処理は、例えば車両１０のイグニッション（パワー）がＯＮにされた際に実行され、ＣＰＵ３２がＲＯＭ３４又はストレージ３８からプログラムを読み出して、ＲＡＭ３６に展開して実行することによって行われる。なお、以下のフローチャートでは一例として、空調装置４８を作動させる際の車載機器操作処理の流れの一例について説明するが、オーディオ５０及びナビゲーションシステム５２など他の車載機器についても同様の処理が行われる。
図６に示されるように、ＣＰＵ３２は、ステップＳ１０２で室内カメラ２４による撮像を開始する。次に、ＣＰＵ３２は、ステップＳ１０４で特定動作を検知したか否かについて判断する。例えば、ＣＰＵ３２は、特定動作検知部５８の機能により、室内カメラ２４で撮像された乗員の手のジェスチャーから空調装置４８を作動させる際の所定の動作を検知した場合には、特定動作が検知されたと判断する。また、ＣＰＵ３２は、室内カメラ２４で撮像された乗員の手のジェスチャーから所定の動作が検知されなかった場合には、特定の動作が検知されなかったと判断する。
ＣＰＵ３２は、ステップＳ１０４で特定の動作が検知されたと判断した場合、ステップＳ１０６の処理へ移行する。一方、ＣＰＵ３２は、ステップＳ１０４で特定の動作が検知されなかったと判断した場合、車載機器操作処理を終了する。
ＣＰＵ３２は、ステップＳ１０６で空調装置４８を作動させる。具体的には、ＣＰＵ３２は、車載機器制御部６０の機能により、特定動作検知部５８によって検知された動作に対応する指示を空調装置４８に入力することで、空調装置４８を作動させる。
続いて、ＣＰＵ３２は、ステップＳ１０８で空調装置４８の設定画面が表示されているか否かについて判断する。具体的には、ＣＰＵ３２は、ＨＵＤ４４からの信号を受信し、ＨＵＤ４４から表示領域２２へ投影している情報が空調装置４８の設定画面である場合には、空調装置４８の設定画面が表示されていると判断する。一方、ＣＰＵ３２は、ＨＵＤ４４から表示領域２２へ投影している情報が空調装置４８の設定画面以外の画面である場合には、空調装置４８の設定画面が表示されていないと判断する。
ＣＰＵ３２は、ステップＳ１０８で空調装置４８の設定画面が表示されていると判断した場合、表示を切り替える必要がないため、車載機器操作処理を終了する。
また、ＣＰＵ３２は、ステップＳ１０８で空調装置４８の設定画面が表示されていないと判断した場合、ステップＳ１１０の処理へ移行し、空調装置４８の設定画面を表示させる。具体的には、ＣＰＵ３２は、表示切替部６２の機能により、ＨＵＤ４４から表示領域２２へ空調装置４８の設定画面を投影させる。このように表示領域２２に空調装置４８の設定画面が表示されることで、ステアリングスイッチ２０による操作が可能となる。
以上のように、本実施形態の車載機器操作装置１２では、ＥＣＵ３０が室内カメラ２４で撮像された乗員の顔及び身体の少なくとも一方の動作から所定の動作を検知し、この動作に対応する指示を空調装置４８などの車載機器に入力する。これにより、乗員がステアリングスイッチ２０を用いて手動で入力することなく、車載機器に指示を入力することができる。すなわち、車載機器を作動させること、及び車載機器の設定値を変更することができる。
また、本実施形態では、ＥＣＵ３０によって表示領域２２に車載機器の情報を操作可能な状態で表示させる。具体的には、ＥＣＵ３０によってＨＵＤ４４が表示領域２２へ映像を投影する。これにより、乗員が顔及び身体の少なくとも一方を動作させることで車載機器に指示を入力した後、継続してステアリングスイッチ２０を操作することで車載機器の設定の微調整などを行うことができる。この結果、微調整が必要な車載機器の操作を効率よく行うことができる。
さらに、本実施形態では、車載機器へ指示が入力された際に、車載機器への指示を反映させたことをスピーカ４６を用いて乗員へ音声で通知する。これにより、乗員は、特別な操作を行うことなく車載機器への指示が反映されたことを把握することができる。すなわち、乗員が車載機器への指示が反映されたことを確認する手間を省くことができる。特に、表示領域２２に表示させた情報を更新させることで指示が反映されたことを乗員へ通知する構成と比較して、乗員が表示領域２２に視線を向ける必要がなく指示が反映されたことを把握することができる。例えば、運転者が視線を前方へ向けた状態で車載機器への指示が反映されたことを把握することができる。
さらにまた、本実施形態では、ステアリングホイール１８に設けられたステアリングスイッチ２０を操作部としている。このため、乗員がステアリングホイール１８を把持したままステアリングスイッチ２０を操作することで車載機器へ指示を入力することができ、乗員の快適性をより向上させることができる。
また、本実施形態では、ＥＣＵ３０は、特定動作検知部５８の機能により、乗員の手のジェスチャーを含む動作を検知し、この手のジェスチャーに対応する指示を車載機器へ入力する。これにより、手を動かすだけで空調装置４８などの車載機器へ指示を入力することができる。
さらに、本実施形態では、ＥＣＵ３０は、特定動作検知部５８の機能により、乗員の視線移動のパターンを含む動作を検知し、この視線移動のパターンに対応する指示を車載機器へ入力する。これにより、乗員が運転中にステアリングホイール１８から手を離すことなく空調装置４８などの車載機器への指示を入力することができる。
以上、実施形態について説明したが、本発明の要旨を逸脱しない範囲において、種々なる態様で実施し得ることはもちろんである。例えば、上記実施形態では、表示部としてウインドシールドガラス１６に設定された表示領域２２を用いたが、これに限定されず、インストルメントパネル１４に設けられたセンタディスプレイ及びメータディスプレイなどを表示部として用いてもよい。その他に、所定の表示領域へ投影可能なウェアラブルグラスを用いてもよい。この場合、ウェアラブルグラスのレンズ又は乗員の網膜へ映像を投影することができ、これらのレンズ又は網膜が表示領域となる。
また、上記実施形態では、操作部としてステアリングホイール１８に設けられたステアリングスイッチ２０を用いたが、これに限定されない。例えば、図示しないアームレストにスイッチなどを用いてもよい。また、インストルメントパネルにスイッチを設けてもよい。さらに、ステアリングスイッチ２０は、感圧式に限定されず、静電容量式のスイッチとしてもよい。
さらに、上記実施形態では、表示領域２２に表示させた画像を更新することで車載機器への指示が入力されたことを乗員へ通知し、さらに、音声で乗員へ通知する構成としたが、これに限定されない。例えば、ステアリングスイッチ２０を用いて車載機器へ指示を入力する際には、乗員が触れているステアリングスイッチ２０を振動させることで乗員へ通知を行うようにしてもよい。また、ステアリングホイール１８の一部を所定の色で光らせることで車載機器への指示が入力されたことを乗員へ通知してもよい。例えば、手のジェスチャーによる入力が成功した場合には、ステアリングホイール１８の一部を緑色に点灯させ、入力が失敗した場合には、ステアリングホイール１８の一部を赤色に点灯させてもよい。これにより、乗員が直感的に入力できたか否かを把握することができる。
さらにまた、上記実施形態では、手のジェスチャー及び視線移動によって車載機器への指示を入力する構成について説明したが、これに限定されない。例えば、顔全体を所定の方向へ動かすことで車載機器への指示を入力する構成としてもよい。また、手のジェスチャー及び視線移動に加えて、乗員が発した音声を認識させる構成としてもよい。
さらに、上記実施形態では、表示領域２２に表示させる映像の一例として、図２及び図３を用いて説明したが、これに限定されない。例えば、車載機器の情報を階層的に表示させてもよい。すなわち、第一階層となるメインメニュー画面で、操作可能な全ての車載機器のアイコンを表示させ、１つのアイコンが選択された段階で、このアイコンに対応する車載機器の詳細情報を第二階層として表示させるようにしてもよい。この場合、乗員の所定の動作が検知されて車載機器に指示が入力されることで、この車載機器に対応する第二階層の画面を表示領域２２に表示させることができ、車載機器の操作を効率よく行うことができる。
さらにまた、上記実施形態でＣＰＵ３０がソフトウェア（プログラム）を読み込んで実行した車載機器操作処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、車載機器操作処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
また、上記実施形態では、ストレージ３８を記録部としたが、これに限定されない。例えば、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の記録媒体を記録部としてもよい。この場合、これらの記録媒体に各種プログラムが格納されることとなる。
１２ 車載機器操作装置
２０ ステアリングスイッチ（操作部）
２２ 表示領域
２４ 室内カメラ
３０ ＥＣＵ（制御部）
４８ 空調装置
５０ オーディオ
５２ ナビゲーションシステム

Claims (7)

  1. 車載機器を含む情報を乗員に表示する表示部と、
    前記表示部に表示された前記車載機器への指示を手動で入力可能な操作部と、
    乗員を撮像する室内カメラと、
    前記室内カメラで撮像された乗員の顔及び身体の少なくとも一方の動作から所定の動作を検知し、該動作に対応する指示を前記車載機器に入力すると共に、前記表示部に前記車載機器の情報を操作可能な状態で表示させる制御部と、
    を有する車載機器操作装置。
  2. 前記制御部は、前記車載機器へ指示が入力された際に、前記車載機器への指示を反映させたことを乗員へ通知する請求項１に記載の車載機器操作装置。
  3. 前記制御部は、音声により前記車載機器への指示を反映させたことを乗員へ通知する請求項２に記載の車載機器操作装置。
  4. 前記操作部は、ステアリングホイールに設けられたステアリングスイッチである請求項１〜３の何れか１項に記載の車載機器操作装置。
  5. 前記制御部は、前記室内カメラで撮像された乗員の動作から所定の手のジェスチャーを含む動作を検知し、該ジェスチャーに対応する指示を前記車載機器に入力する請求項１〜４の何れか１項に記載の車載機器操作装置。
  6. 前記制御部は、前記室内カメラで撮像された乗員の顔の動作から所定の視線移動のパターンを含む動作を検知し、該視線移動のパターンに対応する指示を前記車載機器に入力する請求項１〜５の何れか１項に記載の車載機器操作装置。
  7. 前記車載機器は、空調装置、オーディオ及びナビゲーションシステムの少なくとも一つを含んでいる請求項１〜６の何れか１項に記載の車載機器操作装置。
JP2019233249A 2019-12-24 2019-12-24 車載機器操作装置 Pending JP2021102357A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019233249A JP2021102357A (ja) 2019-12-24 2019-12-24 車載機器操作装置
DE102020128336.9A DE102020128336A1 (de) 2019-12-24 2020-10-28 Betätigungsvorrichtung für fahrzeugbordgeräte
CN202011196196.8A CN113022304A (zh) 2019-12-24 2020-10-30 车载设备操作装置
US17/088,593 US11772490B2 (en) 2019-12-24 2020-11-04 Onboard equipment operating device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019233249A JP2021102357A (ja) 2019-12-24 2019-12-24 車載機器操作装置

Publications (1)

Publication Number Publication Date
JP2021102357A true JP2021102357A (ja) 2021-07-15

Family

ID=76206658

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019233249A Pending JP2021102357A (ja) 2019-12-24 2019-12-24 車載機器操作装置

Country Status (4)

Country Link
US (1) US11772490B2 (ja)
JP (1) JP2021102357A (ja)
CN (1) CN113022304A (ja)
DE (1) DE102020128336A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023132041A1 (ja) * 2022-01-06 2023-07-13 日本電気株式会社 機器操作制御システム、装置、方法、及びコンピュータ可読媒体

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114475764A (zh) * 2022-03-25 2022-05-13 重庆长安汽车股份有限公司 一种多功能方向盘按键调节记忆系统、工作方法及汽车

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05270296A (ja) * 1992-03-23 1993-10-19 Nissan Motor Co Ltd 車両用操作装置
JP2004171476A (ja) * 2002-11-22 2004-06-17 Keio Gijuku ハンドパターンスイッチ装置
US20150153936A1 (en) * 2013-11-29 2015-06-04 Hyundai Mobis Co., Ltd. Integrated multimedia device for vehicle
JP2016018223A (ja) * 2014-07-04 2016-02-01 クラリオン株式会社 情報処理装置
JP2016153250A (ja) * 2015-02-20 2016-08-25 クラリオン株式会社 情報処理装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1408303B1 (en) * 2002-03-15 2011-12-21 Mitsubishi Denki Kabushiki Kaisha Vehicular navigation device
JP5136948B2 (ja) * 2008-02-18 2013-02-06 株式会社デンソー 車両用操作装置
US9476729B2 (en) * 2014-05-29 2016-10-25 GM Global Technology Operations LLC Adaptive navigation and location-based services based on user behavior patterns
JP6414420B2 (ja) 2014-09-04 2018-10-31 三菱自動車工業株式会社 車載機器操作装置
US9248839B1 (en) * 2014-09-26 2016-02-02 Nissan North America, Inc. Vehicle interface system
JP2019121107A (ja) * 2017-12-28 2019-07-22 トヨタ自動車株式会社 車載通信装置及び車両
JP7225770B2 (ja) 2018-12-19 2023-02-21 トヨタ自動車株式会社 車載機器操作システム
US20210072831A1 (en) * 2019-09-09 2021-03-11 Byton North America Corporation Systems and methods for gaze to confirm gesture commands in a vehicle
US11091100B2 (en) * 2019-10-03 2021-08-17 Deere & Company Work vehicle multi-camera vision systems
JP2022027500A (ja) * 2020-07-29 2022-02-10 レッド ベンド リミテッド 通信指紋を使用するブルートゥース（登録商標）認証のためのシステム及び方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05270296A (ja) * 1992-03-23 1993-10-19 Nissan Motor Co Ltd 車両用操作装置
JP2004171476A (ja) * 2002-11-22 2004-06-17 Keio Gijuku ハンドパターンスイッチ装置
US20150153936A1 (en) * 2013-11-29 2015-06-04 Hyundai Mobis Co., Ltd. Integrated multimedia device for vehicle
JP2016018223A (ja) * 2014-07-04 2016-02-01 クラリオン株式会社 情報処理装置
JP2016153250A (ja) * 2015-02-20 2016-08-25 クラリオン株式会社 情報処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023132041A1 (ja) * 2022-01-06 2023-07-13 日本電気株式会社 機器操作制御システム、装置、方法、及びコンピュータ可読媒体

Also Published As

Publication number Publication date
CN113022304A (zh) 2021-06-25
US11772490B2 (en) 2023-10-03
DE102020128336A1 (de) 2021-06-24
DE102020128336A9 (de) 2021-08-19
US20210188087A1 (en) 2021-06-24

Similar Documents

Publication Publication Date Title
US11787289B2 (en) Vehicle input device, vehicle input method, and non-transitory storage medium stored with vehicle input program
JP6033804B2 (ja) 車載機器操作装置
US10967737B2 (en) Input device for vehicle and input method
JP6073497B2 (ja) 表示制御装置、情報表示方法および情報表示システム
KR102288698B1 (ko) 차량 탑재 기기 조작 시스템
US11772490B2 (en) Onboard equipment operating device
JP7351276B2 (ja) 表示制御装置、表示制御方法及び表示制御システム
JP6003773B2 (ja) 車両用操作装置、ナビゲーション装置
JP2007302154A (ja) 車載用入力装置
WO2019138663A1 (ja) 車両用ステアリングスイッチシステム、スイッチ機能切替プログラム及び記憶媒体
JP2010201947A (ja) 車両用操作装置
KR20220042904A (ko) 스티어링 휠 장치 및 그의 동작 방법
US20210034207A1 (en) Operation image display device, operation image display system, and operation image display program
JP2019127078A (ja) 表示装置
JP7484756B2 (ja) 表示システム
US20230058939A1 (en) Vehicular display control device, vehicular display device, vehicular display control method, and storage medium
US20230347965A1 (en) Operation control device, operation device, steering device, vehicle, operation control method, and storage medium
US11820226B2 (en) Vehicular display control device, vehicular display system, vehicle, display method, and non-transitory computer-readable medium storing program
JP7377883B2 (ja) 端末装置、情報処理方法及び端末装置用プログラム
KR20230108785A (ko) 콘솔 디스플레이 제어 방법 및 이를 활용한 이동 장치 시스템
WO2019142366A1 (ja) 表示装置
JP2019127076A (ja) 入力装置
JP2019127077A (ja) 表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221220

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230613