JP2016153250A - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
JP2016153250A
JP2016153250A JP2015031324A JP2015031324A JP2016153250A JP 2016153250 A JP2016153250 A JP 2016153250A JP 2015031324 A JP2015031324 A JP 2015031324A JP 2015031324 A JP2015031324 A JP 2015031324A JP 2016153250 A JP2016153250 A JP 2016153250A
Authority
JP
Japan
Prior art keywords
user
hand
unit
display
vehicle device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015031324A
Other languages
English (en)
Other versions
JP6426025B2 (ja
Inventor
孝志 松原
Takashi Matsubara
孝志 松原
晋太郎 高田
Shintaro Takada
晋太郎 高田
森　直樹
Naoki Mori
直樹 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to JP2015031324A priority Critical patent/JP6426025B2/ja
Priority to CN201680004230.2A priority patent/CN107107841B/zh
Priority to EP16752264.8A priority patent/EP3260331A4/en
Priority to US15/551,308 priority patent/US10466800B2/en
Priority to PCT/JP2016/052916 priority patent/WO2016132876A1/ja
Publication of JP2016153250A publication Critical patent/JP2016153250A/ja
Application granted granted Critical
Publication of JP6426025B2 publication Critical patent/JP6426025B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/11—Instrument graphical user interfaces or menu aspects
    • B60K2360/111—Instrument graphical user interfaces or menu aspects for controlling multiple devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/11—Instrument graphical user interfaces or menu aspects
    • B60K2360/115—Selection of menu items
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1464—3D-gesture
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Instrument Panels (AREA)

Abstract

【課題】運転中でも、ドライバーが車載機器の操作を、安全に、かつ素早く直感的に、操作可能な情報処理装置を提供する。【解決手段】所定の範囲内にあるユーザの手の位置を認識するジェスチャー検出部と、表示部への出力情報を制御する出力情報制御部と、車両が備える操作手段からの入力を受け付け、車載装置を制御する車載装置制御部と、を備え、前記ユーザの手が所定の位置に一定時間かざされたことを前記ジェスチャー検出部が検知した場合に、前記出力情報制御部は前記表示部に前記車載装置制御部が実行する動作の候補を前記ユーザの手の動作と対応付けをして表示させ、前記ユーザの手が前記所定の位置に一定時間かざされた後に前記ユーザの手が前記所定の位置から移動したことを前記ジェスチャー検出部が検知した場合に、前記表示部に表示させる前記車載装置制御部が実行する動作の選択方法または操作ガイドを前記操作手段に合わせた内容に変更する。【選択図】図３（ａ）

Description

本発明は、情報処理装置に関する。
特許文献１には、車載機器の操作のメニューと、操作部に添えられたドライバーの手の映像とを、ヘッドアップディスプレイ（ＨＵＤ）に重畳して表示し、その映像を見ながら操作ができるようにすることで、車載機器の選択操作が簡単で早く、運転の妨げにならないように操作できる車載機器の操作装置について記載されている。
特開２０１０−２１５１９４
しかしながら、運転中における車載機器の操作において、特許文献１に記載の技術では、操作に関わるメニューがＨＵＤに常に表示されるため、運転操作の妨げになる恐れがある。また、操作を行うためには、操作のための専用のデバイスを車内の何れかの場所に設置する必要があり、コストが増すとともに設置における制約が発生してしまう。さらに、音声のみのインターフェースを用いた場合でも、音声認識に必要な処理の処理時間や、読み上げられる音声を聞くための時間が必要となり、操作性や利便性が損なわれてしまう。
上記目的を解決するために、例えば特許請求の範囲に記載の構成を採用する。
本願は上記目的を解決する手段を複数含んでいるが、その一例を挙げるならば、所定の範囲内にあるユーザの手の位置を認識するジェスチャー検出部と、表示部への出力情報を制御する出力情報制御部と、車両が備える操作手段からの入力を受け付け、車載装置を制御する車載装置制御部と、を備え、前記ユーザの手が所定の位置に一定時間かざされたことを前記ジェスチャー検出部が検知した場合に、前記出力情報制御部は前記表示部に前記車載装置制御部が実行する動作の候補を前記ユーザの手の動作と対応付けをして表示させ、前記ユーザの手が前記所定の位置に一定時間かざされた後に前記ユーザの手が前記所定の位置から移動したことを前記ジェスチャー検出部が検知した場合に、前記出力情報制御部は、前記表示部に表示させる前記車載装置制御部が実行する動作の選択方法または操作ガイドを前記操作手段に合わせた内容に変更する車載装置を提供する。
本発明によれば、運転中のドライバーによる車載機器の操作の安全性や操作性を向上することができる。
本発明の第一実施例における車載装置の構成図である。 センシング部の設置位置の例である。 ジェスチャー検知領域の例である。 ジェスチャー検知領域の例である。 第一実施例における動作フローの例である。 第一実施例における動作フローの例である。 表示部と外部表示部の表示例である。 表示部と外部表示部の表示例である。 表示部と外部表示部の表示例である。 表示部と外部表示部の表示例である。 外部表示部の表示例である。 外部表示部の表示例である。 外部表示部の表示例である。 外部表示部の表示例である。 表示部と外部表示部の表示例である。 外部表示部の表示例である。 外部表示部の表示例である。 センシング部の設置例である。 センシング部の位置に応じた動作の対応例である。 センシング部及びユーザの手の形の例である。 ユーザの手のかざし方の例である。 外部表示部の表示例である。 表示部の表示例である。 表示内容に対する表示場所の例である。 表示内容に対する表示場所の例である。 動作フローの例である。 外部表示部の表示例である。 外部表示部の表示例である。 外部表示部の表示例である。 外部表示部の表示例である。 外部表示部の表示例である。 外部表示部の表示例である。 第二実施例における車載装置の構成図である。 運転負荷レベルに応じた制御パターンの例である。 運転負荷レベルに応じた制御パターンの例である。 運転負荷レベルに応じた制御パターンの例である。 運転負荷レベルに応じた制御パターンの例である。 外部表示部の表示例である。 外部表示部の表示例である。 表示部の表示例である。 外部表示部の表示例である。 本発明の第三実施例における車載装置の構成図である。 コックピットの外観例である。 表示部と外部表示部の表示例である。 ジェスチャとステアリングコントローラによる操作方法の例である。 外部表示部の表示例である。 外部表示部の表示例である。 外部表示部の表示例である。 動作フローの例である。 ステアリングコントローラとタッチパネルによる操作方法の例である。 特定デバイスへの手の近づきに応じた操作デバイスの選択方法を示す表である。 手の位置・移動方向に応じた操作デバイスの選択方法を示す表である。 走行／停止状態に応じた操作デバイスと表示デバイスの選択方法を示す表である。 動作フローの例である。 ステアリングコントローラとコマンドコントローラによる操作方法の例である。 ジェスチャとステアリングコントローラによる操作方法の例である。
以下、本発明の実施の形態を、図面を参照して詳細に説明する。
≪構成の説明≫
図１は本実施例における車載装置１０１の構成図である。
車載装置制御部１０２は本車載装置１０１の動作全体を制御する部分であり、図示しない記憶部に格納されているメッセンジャーアプリケーション１１３および出力情報制御部１１４に関するプログラムに従って演算を行うことでメッセンジャーアプリケーション１１３および出力情報制御部１１４としての機能を発現する。なお、車載装置１０１にはメッセンジャーアプリケーション１１３および出力情報制御部１１４以外のアプリケーションを搭載することができ、これらのプログラムは工場出荷時に記憶部に記憶しておくことが可能であり、また、通信部１０７を介して、もしくはＵＳＢ端子などの図示しない外部接続ＩＦを介して、ユーザの選択により記憶部に記憶させることも可能である。また、カーナビゲーションシステムとしての基本的な動作を制御するとともに、各種入力情報に基づいて、出力する内容を制御する。
センシング部１０３はユーザの手とセンサ間の距離及び、ユーザの手振りを検出する部分であり、例えば、赤外線距離センサ、レーザ距離センサ、超音波距離センサ、距離画像センサ、電解センサ、イメージセンサ、などのセンサと、データ処理を行うマイコン、及びマイコン上で動作するソフトウェアから構成される。センシング部１０３に用いるセンサは、特に限定されず、ユーザの手までの距離と手振りを検出するために得られる信号を、得られる機能を有すればよい。
ジェスチャー検出部１０４は、センシング部１０３から得られるセンサデータに基づいて、ユーザによる手かざしと、あらかじめ規定した所定のジェスチャー（例えば上下左右の方向への手振り動作）が行われたかどうかを検出する。例えば、手かざしは、所定のセンサ値が一定時間継続したかどうかを、ジェスチャー動作は複数のセンサ間における手の検知結果の反応時間差を解析して、それぞれ検知する。
スイッチ操作部１０５は、車載装置の操作を行うためのハードウェアスイッチであり、ボタン押下型や、ジョグダイヤル型のものが搭載される。
タッチ操作部１０６は、タッチされた座標を車載装置制御部１０２に送信し、車載装置の操作を行う。
マイクロホン１１５は、車両内部の音の取得を行う。
音声認識部１１６は、入力した音データから音声を文字コード列に変換する。
通信部１０７は、外部のネットワークと接続し、各種情報の入出力を行う。例えば、ナビゲーションに関わる情報の入力や、メッセージの送受信、などである。
外部スイッチ操作部１１７は、車載装置からは別の場所に設置されたスイッチ操作部であり、ハンドル付近に設置されたステアリングスイッチや、車のセンターコンソールに設置されたコマンダースイッチなどが挙げられる。
表示部１０８は、ユーザに映像情報を提示する装置であり、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、などのディスプレイ装置と、映像コンテンツやＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などの表示処理に必要な演算処理装置やメモリを有する装置である。
外部表示部１０９は、車載装置１０１とは別の車内の場所に設置されたディスプレイであり、映像を表示する。例えば、運転席の前方向に設置されたヘッドアップディスプレイ（ＨＵＤ）などが挙げられる。ＨＵＤは、各種情報を、ドライバー（ユーザ）前方の景色を透過しつつ表示することができる。
音出力部１１０は、音もしくは音声を出力する部分である。
スピーカー１１１は、音出力部１１０からの音を出力する。
触覚ＩＦ出力部１１２は、ユーザに対して、何かしらの触感情報を伝える部分であり、例えば、複数の超音波素子で構成された超音波アレイで構成され、装置の任意の距離に空間上に圧力を伝える。もしくは、送風機を備え同様の効果を与えるものでもよい。また、ハンドル部などに設置され、ハンドル自体が振動をするような、振動子で構成されてもよく、構成の要素は特に限定しない。
メッセンジャーアプリケーション１１３は、通信部１０７と、メッセージデータの受け渡しを行い、入力したメッセージを格納し、出力する制御を行う。また、メッセージを送信する場合は、送信メッセージを通信部１０７に送信する。
出力情報制御部１１４は、表示部１０８もしくは外部表示部１０９に出力する内容を、制御する。
図２（ａ）はセンシング部１０３の設置例である。表示部１０８に対して、右ハンドル車両におけるドライバー側に配置されており、センサ素子の地点からの物体の距離情報及び、物体の動きを検出できる。これによって、同図中の下図に示すように車載装置１０１とユーザの間の空間を複数の領域に区切り、ユーザの手がどの領域に存在しているかを詳細に検知する。図のように、センサ位置に近い領域２０１とさらに近い領域２０２のように、区別を行う。なお、センサの素子数や設置位置、検出する領域はこれに限るものではない。
≪メイン動作フロー≫
図３（ａ）の動作フローを用いて、車載装置１０１の動作について詳細に説明する。なお、メッセンジャーアプリケーション１１３は表示部１０８、外部表示部１０９、スピーカー１１１等の出力部に映像や音声を出力する場合に、出力情報制御部１１３に映像または音声情報を送信し、出力情報制御部１１３が受信した情報を上記出力部に出力をするか否かを判断するものであるが、以後の説明では説明を簡単にするために、メッセンジャーアプリケーション１１３が映像を表示部１０８に映像を出力する、メッセンジャーアプリケーション１１３は音声を出力する、等の表現を用いる。
まず車両のエンジンが始動するなどして、車載装置１０１の動作が開始する。動作開始時の表示部１０８（ここではセンターディスプレイとする）には、出力情報制御部１１４により図４（ａ）に示すように、ナビゲーションに関わる表示と、メッセンジャーアプリケーション１１３のアイコン４０１が表示されている。メッセンジャーアプリケーション１１３は、車載装置１０１の起動とともに車載装置制御部１０２によりバックグラウンドで実行され、アイコン４０１へのタッチ操作をタッチ操作部１０６が検出することや、ユーザの規定のジェスチャー動作（例えばセンサ前で左方向に手振り）をジェスチャー検出部１０４が検知した場合に出力情報制御部１１４によりアクティブ化される。
また、動作開始時の外部表示部１０９（ここではＨＵＤであるとする）には、出力情報制御部１１４によりナビゲーションに関わる表示と、メッセンジャーアプリケーション１１３に関わる表示が表示されている。通信部１０７を介して外部からメッセージを受信した場合に（Ｓ３０１）、メッセンジャーアプリケーション１１３はメッセージ着信時の効果音を出力し、外部表示部１０９に受信したメッセージの総数を図４（ｂ）のアイコン４０２のように表示させ、未読件数が増加した旨をユーザに伝える。
その後、ユーザがメッセンジャーアプリケーション１１３を起動する操作を行ったことをジェスチャー検出部１０４、音声認識部１１６、スイッチ操作部１０５、外部スイッチ操作部１１７、またはタッチ操作部１０６が検出した場合に（Ｓ３０３）、出力情報制御部１１４は図４（ｃ）のようにメッセンジャーアプリケーション１１３をアクティブ化することでアプリケーション使用時の表示に切り替える（Ｓ３０４）。その後、メッセンジャーアプリケーション１１３は、受信したメッセージを古い順から音声で読み上げた音声情報を出力する（Ｓ３０５）。図４（ｃ）は、表示部１０８の半画面を、メッセンジャーアプリケーション１１３としての表示を行った場合の表示例である。
図４（ｃ）におけるアイコン４０３の領域へのタッチをタッチ操作部１０６が検出すると、メッセンジャーアプリケーション１１３はアイコン４０３の領域の左からそれぞれ、スタンプ返信・定型文返信、自由発話返信、メッセージ戻し／送りの各操作を行うための表示を表示部１０８に表示させる。また、メッセンジャーアプリケーション１１３は、Ｓ３０５の音声情報の出力中は外部表示部１０９に図４（ｃ）の下図における４０４のように現在の未読メッセージ件数と、読み上げ中のメッセージの送信者の名前を表示させる。メッセージの読み上げ中に、ジェスチャー検出部１０４がユーザによる規定のジェスチャー動作（例えば、上もしくは下方向への手振り動作）を検知した場合に（Ｓ３０６：Ｙｅｓ）、メッセンジャーアプリケーション１１３は未読メッセージのうちで最新のメッセージを読み上げるようにスピーカー１１１に音声情報を出力する（Ｓ３０８）。
検知しない場合は、メッセンジャーアプリケーション１１３は引き続き未読メッセージの古い順から読み上げるように音声情報を出力し（Ｓ３０７）、最新メッセージの読み上げ制御が終了した場合、表示部１０８および外部表示部１０９に図４（ｄ）のように最後の送信者の表示をさせたまま、返信操作待ちの状態になる（Ｓ３０９）。返信操作待ちの状態では、メッセンジャーアプリケーション１１３は外部表示部１０９に図５（ａ）のように、ジェスチャーによる返信操作が可能であることを示すアイコン５０１を表示させる。
図２（ａ）の領域２０２に手がかざされた状態で一定時間（例えば、０．５秒）が経過した場合（Ｓ３１０：Ｙｅｓ）、操作の開始条件が満たされたと判断し、外部表示部１０９に、返信操作の操作ガイドであるメニューを画面の右側からスライドするように表示を切り替え、それとともにメニューが出現する効果音を出力する（Ｓ３１１）。なお、ユーザの手が、領域２０２の中で検知された場合は、メッセンジャーアプリケーション１１３はそのことを伝える効果音を出力して聴覚で認識できるように伝えるとともに、図５（ｂ）のようにアイコン５０１を右側へ移動したり、アイコンの色を変更することで、視覚でも認識できるよう通知を行うようにしても良い。また、領域２０２ではなく、領域２０１の中でユーザの手を検知し、一定時間（例えば、０．３秒）が経過した場合、メッセンジャーアプリケーション１１３は手をかざす位置が異なることを伝える効果音を出力する。これによって、ユーザは手をかざす際に、視線を手元に送らなくても、前を見ながら手かざしの操作を行うことができる。
ユーザの手の検知状態と効果音出力の関係について、より詳細にしたものを図２（ｂ）と（ｃ）に示す。図２（ｂ）（ｃ）は、それぞれ時間軸とセンシング部１０３のセンサ値を表したものであり、センサ値が領域２０１と２０２と判断する境界を示した図である。
図２（ｂ）はユーザが領域２０２に向かって手を伸ばし、一定時間手をかざした場合の例である。領域２０１に手が侵入したことをジェスチャー検出部１０４が検知した場合に効果音１を出力する。続いて、領域２０２に侵入したことを検知した場合に効果音２を出力する。領域２０２に時刻Ｔ１以上（例えば０．５秒以上）ユーザの手があることを検知し続けた場合、効果音３を出力し、外部表示部１０９の表示をＳ３１１について説明したように切り替える。
図２（ｃ）の例は、領域２０１に手をかざし続けている場合の例である。領域２０１に手が侵入したことを検知したら効果音１を出力し、領域２０１に時刻Ｔ２以上（例えば０．３秒以上）、手を検知し続けたら、効果音４を出力する。それ以後、手が領域２０２で検知されれば、図２（ｂ）の例と同様である（以降、領域２０２に時刻Ｔ1以上手をかざす操作を単に「手かざし」と言う場合がある）。
図５（ｃ）は、スタンプ返信を行うことができる操作メニューを表示している場合の例である。アイコン５０２は、手をかざした状態で、上・左・下方向のジェスチャーを行うと、それに対応したスタンプが選択できることを意味した操作ガイドである。また、左上の１／２の表示は、表示したスタンプ候補のページ総数と現在のページを意味する。この状態で、上・左・下方向いずれかのジェスチャーを検知した場合（Ｓ３１２：Ｙｅｓ）、メッセンジャーアプリケーション１１３はその方向に対応したスタンプを選択して返信操作を行い（Ｓ３１３）、再び返信操作の待ち受け状態Ｓ３０９に遷移する。
いずれのジェスチャーも検知されずにユーザの手が領域２０２から離れた場合（Ｓ３１２：Ｎｏ、Ｓ３１４：Ｙｅｓ）、外部表示部１０９の表示内容を図５（ｄ）のように切り替える（Ｓ３１５）。アイコン５０３は、現在選択可能なスタンプの候補を意味している。アイコン５０４は、表示された方向に対応したジェスチャー操作（上手振りもしくは下手振り）を行うと、対応した操作を行うことを意味している。また、「定型文」という表示は、返信方法を定型文返信に切り替えること、「次ページ」という表示はスタンプの選択候補をアイコン５０３で表示されているものから、次の候補群に切り替えることができることを、それぞれ意味している。一度に多数の選択肢が表示されると、ユーザが運転中にもかかわらずその選択に時間をかけてしまい、運転への集中を欠く可能性があるため、本実施例では、上、左及び下に位置する３つの選択肢を提供するにとどめる一方で、送信しようとするスタンプの選択肢を増やすためのジェスチャーを設けることで、３を超える選択肢をユーザに提供することができる。対応したジェスチャー操作が検知された場合（Ｓ３１６：Ｙｅｓ）、これに対応した操作を実行する（Ｓ３１７）。ジェスチャーが検知されず（Ｓ３１６：Ｎｏ）、領域２０２でユーザの手を検知した場合（Ｓ３１８：Ｙｅｓ）、メッセンジャーアプリケーション１１３はＳ３１１の状態に遷移し、再びスタンプの選択を行う状態になる。
ユーザの手が検知されずにその状態で一定の時間（例えば１０秒）が経過した場合は（Ｓ３１８：Ｎｏ、Ｓ３１９：Ｙｅｓ）、メッセンジャーアプリケーション１１３は外部表示部１０９の表示から操作ガイドを消し、Ｓ３０９の返信操作待ち受け状態に遷移する（Ｓ３２０）。返信操作が実行された場合は、図６のように、メッセンジャーアプリケーション１１３は表示部１０８に返信操作結果の内容（ここでは、選択したスタンプ）を表示し、外部表示部１０９に返信操作を行ったユーザの名前が表示し、返信内容を読み上げる。
なお、本動作フローは本発明の車載装置の動作を代表的な例に限って、説明したものであり、動作や表示、効果音などは、この例に限定するものではない。例えば、本説明ではメッセンジャーアプリケーション１１３使用時の返信操作を想定して説明を行ったが、本発明はこれに限定するものではなく、車載装置制御部１０２による複数の選択肢を選択する操作全般に適用できる。図３（ｂ）に動作フローをシンプルにしたものを示す。基本的な動作は前述の説明の通りであり、各ステップにおける動作の説明は図３（ａ）の同じステップ番号が付されたものと同様であるが、本図のＳ３１６に関しては、上下手振りに限らなく、例えばステアリングスイッチでの操作など、種々の操作を受け付けるようにしても良い。
また、外部からメッセージを受信した場合は、受信と同時に読み上げるような構成にしても良く、また外部表示部１０９にも受信したメッセージの内容を表示しても良い。これによって、ユーザは、よりメッセージの把握がしやすくなる。また、返信操作の待ち受けは、最新メッセージが読み終わるまでを待たずとも、いつでも受け付けるような構成としても良い。これによって、ユーザはいつでも返信操作を行うことができる。また、手をかざすべき領域２０２について、その領域内に触覚ＩＦ部１１２によって、空中に触感を提示するような構成としても良い。
例えば、領域の境界上に超音波素子アレイの圧力点が現れるようにしたり、送風機によって、領域の垂直線上に触感を与えるようにする。これによって、ユーザは前を見ながら、手かざしを行うことができ、運転中による操作でも安全に返信操作を行うことができる。また、本例では、手かざしを検知した後に、スタンプ返信操作の状態に遷移したが、その前に、返信方法の選択状態（スタンプ・定型文・自由発話など）に遷移するような構成としても良い。これによって、ユーザは返信操作開始時に自身が行いたい返信方法を選択することができる。
また、本例では、手かざしを検知して外部表示部１０９に操作ガイドを表示してから、ジェスチャーを受け付けるようにしたが、操作ガイドを表示する一定時間前（例えば、０．２秒前）からジェスチャーを受け付けるようにしても良い。これによって、ユーザが操作に慣れ、どのジェスチャーがどの操作に対応しているかを覚えていた場合に、外部表示部１０９に余計な表示をすることなく、操作を行うことができ、また操作時間を短縮することができる。
また、Ｓ３１９において、一定時間の経過を計測したが、この条件を満たす前に、所定の操作（例えば、左方向への手振り操作・スイッチ操作など）を検知した場合に、Ｓ３２０へ遷移するような構成としても良い。これによって、ユーザが好きなタイミングで外部表示部１０９の表示をナビゲーション向けに切り替えることができる。
また、外部表示部１０９へ表示する操作ガイド及び、ジェスチャー方向については、３方向に限らず、任意の方向と数を用いても良い。その際は、運転席に座りながらジェスチャー操作を行いやすい方向を設定するようにするとよい。例えば、ハンドル方向へ向かって行うジェスチャーは、動作途中に手がハンドルにぶつかってしまう恐れがあるため、対象としないようにする。乗車する車のハンドルが右ハンドルか左ハンドルであるのかを、設定画面であらかじめ設定できるようにし、左ハンドルであった場合に、図７のように外部表示部１０９に表示する操作ガイドを、上・下・右の３方向を認識対象とする。なお、図７（ａ）（ｂ）は図５（ａ）（ｂ）にそれぞれ対応するものである。
また、ハンドルの設置場所に応じて、ジェスチャーに用いる手も変わるため、アイコンの表示や向きも変更をする。さらには、ハンドルの位置によって、各種アイコンの見え方も変わるため、個別にユーザが設定できるようにしても良い。これによって、車種毎のハンドル設置位置に応じて使いやすいジェスチャー操作で操作を行うことができるようになり、ユーザが運転席に座りながら無理なく、ジェスチャーによって各種操作を行えるようになる。
また、本例のように手をかざす位置を一か所に限定せず、複数の場所で手を行えるようにしても良い。例えば、図８（ａ）に示すように、三か所に三個のセンサを設置する。この際、どのセンサに手をかざしたかによって、返信方法を決められるようにしても良い。図８（ｂ）のように、センサ１０３Ａではスタンプ返信、センサ１０３Ｂでは定型文返信、センサ１０３Ｃでは自由発話返信、とする。これによって、ユーザは素早く返信方法を選択して、返信操作を行うことができる。どのセンサがどの方法に対応するかは、ユーザがあらかじめ指定できるようにしても良い。
また、図９に示すようにセンシング部１０３にカメラを用いて、手の近づき及びジェスチャーを検出するような構成としても良い。あらかじめ、既定の手の形の画像を学習しておき、入力映像の画像と、学習データとのパターン認識から、ユーザの手かざしを距離や位置に関係なく検知する。この際、手をかざす際の手の形を複数検知するようにし（９０１Ａ〜９０３Ｃ）、返信方法を選択できるようにしても良い。これによって、ユーザはセンシング部１０３の前方に手を伸ばしてジェスチャー動作を行わなくとも、返信操作の開始を行うことができるようになる。
さらに、手かざしを検知した際の、ユーザの手の位置や姿勢に応じて、受け付けるジェスチャーの方向や数を変更するような構成としても良い。例えば、図１０（ａ）に示すように、ユーザは肘掛けに肘を置いた状態で、手をあげて、手かざしを検知した場合に、図１０（ｂ）のように、左・下・右方向を認識対象とする。これは、この状況でのユーザの姿勢では、上方向のジェスチャーはやり辛いと考えられるため、この３方向を認識対象とする。さらには、ユーザがあらかじめどのジェスチャーを認識対象とするかを設定できるような構成としても良い。これらによって、ユーザは自由な姿勢でジェスチャー操作を行うことができるようになる。
また、本例では、返信操作の操作メニューなどを外部表示部１０９に表示していたが、各種デバイスの接続状態や設置位置などに応じて、表示を行う場所及び表示内容を変更するような構成としても良い。例えば、ＨＵＤが未接続の場合は図１１（ａ）のように、ジェスチャー操作のガイドをセンターディスプレイに表示する。この際、図１１（ｂ）のように、複数のディスプレイの設置位置・接続状態を管理し、優先度を決定する処理を行う。基本的に優先度が高いディスプレイに操作のガイドを表示するが、ＨＵＤが故障した場合など、使用ができない場合は、次の優先度のディスプレイに表示を行う。その際は、優先度に応じて、ガイドを表示する時間を短くしたり、表示の情報量を減らすなどしても良い。優先度は、工場出荷時点や販売時点で設定される、ユーザが図示しない設定画面で設定する、本車載端末に接続されているディスプレイの性質等から優先度を判別するように本社債端末にプログラムされる、等の方法により設定可能である。
さらに、図１１（ｃ）のように持ち込み外部機器（スマートフォンなど）が車載装置１０１に接続されている場合に、設置位置に応じて優先度を高くするような構成としても良い。これらによって、ＨＵＤなどの操作ガイドを表示する前提のデバイスが使用できない場合に代替のディスプレイに操作ガイドを表示し、操作を行うことが可能となる。
また、図３（ａ）または（ｂ）におけるＳ３１１以降の返信操作において、ジェスチャー操作だけに限らず車載装置を操作可能なその他の操作手段（音声認識操作やスイッチ操作など）を用いることができるような構成としてもよい。図１２（ａ）はその際の動作フローである。Ｓ３１６のステップの後、ユーザがある操作手段を行おうとする準備動作を検知した場合に（Ｓ１２０１：Ｙｅｓ）、その動作に対応した操作ガイドを外部表示部１０９に表示する（Ｓ１２０２）。その後、選択操作が実行された場合（Ｓ１２０３：Ｙｅｓ）、選択された選択肢による返信を行う（Ｓ１２０４）。具体的には、Ｓ３１５の状態に遷移した際に、図１２（ｂ）のような操作ガイドを外部表示部１０９に表示する。アイコン１２０１は、上のアイコンはジェスチャーによる選択肢の選択を、真ん中のアイコンは音声認識による選択肢の選択を、下のアイコンはスイッチによる選択肢の選択が可能であることをそれぞれ示している。
ユーザが、ステコン操作を行うことを検知した場合（例えば、ステアリングスイッチの任意のボタンが一度押下される、もしくはスイッチ表面に接触センサを設置しその反応が得られた場合）、図１２（ｃ）のような画面に遷移する。１２０１のアイコンはステコン操作がアクティブであることをアイコン色の変化で知らせる。１２０２の表示は、ステコンの各ボタンに対応したスタンプの候補が表示されている。押下されたステコンのボタンに応じて、対応したスタンプによる返信操作を行う。なお、一定時間が経過するか、ステコンの接触センサが反応しなくなった場合は、図１２（ｂ）の画面に戻る。
一方、音声認識を行うことを検知した場合（音声認識開始スイッチを押下するなど）、図１２（ｄ）のような画面に遷移する。１２０１のアイコンは音声認識が待機状態であることを示し、１２０３の表示は各文字に対応した発話を行うことで、それに対応したスタンプが選択可能であることを示している。音声認識を行った結果が、選択肢の何れかと一致した場合は、対応したスタンプの返信操作を行う。図１２（ｄ）の例では「楽しい」等のアイコンに対応する文字のみが表示されているが、送信されるアイコンを文字と並べて表示することで、送信されるアイコンがひと目で分かるようにしてもよい。音声認識を利用すると、ユーザはハンドルから手を離さずに送信しようとするスタンプを選択することができるので、一層の安全運転に寄与することができる。
なお、三種類の操作手段は、何れの操作途中状態でも、各操作の開始トリガーが検知されれば、操作手段を切り替えられるものとする。また、スイッチ操作と音声認識による操作状態であれば、その状態で上下手振りによるジェスチャー操作も受け付けるものとする。これらによって、ユーザが返信操作を行う際に、一つの操作手段に限定されることなく、運転の状況に応じて、またユーザの好みに応じて自由に返信の操作手段を選択することができる。また、それぞれの操作手段を切り替えた際に、現在どの操作手段で操作が可能なのかと、どのように操作を行えば良いかを提示することで、ユーザは操作に迷うことなく、素早く直感的に操作を行うことができる。
また、車載装置が制御しているアプリケーションの動作状況に応じて、ユーザが手をかざした際に操作できる操作内容を変えるような構成としても良い。図１２（ｅ）は、バックグラウンドで動いているアプリケーションがナビゲーション以外無い場合に、自宅へのルート設定、現在地の地点登録、音声による目的地設定など、ナビゲーションに関わる操作を選択候補として、提示している例である。図１２（ｆ）は、音楽再生中などに、手をかざした場合に、音楽停止や、次の曲、前の曲へスキップする操作などが選択候補として、提示されている例である。図１２（ｇ）は、渋滞情報などを受信した際に、手をかざした場合に、渋滞情報の詳細を聞く操作や、リルート、目的地変更などが選択候補として提示されている例である。これらによって、ユーザの運転中の車載装置が制御しているアプリケーションの状況に応じて、様々な操作を素早く選択することが可能となる。
以上で述べた、本発明の第一実施例による車載装置１０１によって、ユーザは運転中でも前方を見ながら、直感的にかつ素早く、操作を行うことができる。具体的には、メッセンジャーアプリケーションの表示切替えや、メッセージのスキップ操作などを、前を見ながら、素早く行える。また、複数の選択肢を選択する操作の場合において、前方向を見つつ、選択候補の内容を確認しながら、所望の選択肢を選択することができる。さらに、操作に慣れた場合は、表示を見ずとも選択肢の操作が可能となるため、より安全に素早く操作を行うことができる。
≪構成の説明≫
図１３は本実施例における車載装置１０１の構成図である。図１の構成図と比べて、車両情報入力部１１８、操作手段制御部１１９、運転負荷推定部１２０、地図ＤＢ（データベース）１２１が追加されている。車両情報入力部１１８、操作手段制御部１１９、運転負荷推定部１２０も、図示しない記憶部に格納されているプログラムに従って車載装置制御部１０２が演算を行うことで車両情報入力部１１８、操作手段制御部１１９、運転負荷推定部１２０としての機能を発現する。
車両情報入力部１１８は走行中の車両に関わる情報を取得する部分であり、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を介して車両と接続し、車速やアクセル開度、ブレーキ深度、ウィンカー信号、ステアリング角度などを取得する。
操作手段制御部１１９は、ジェスチャー検出部１０４や音声認識部１１６、各種スイッチ操作部からの操作入力をどの操作に反映するかを制御する。
運転負荷推定部１２０は、運転操作におけるユーザの運転負荷がどれくらいのものかを推定する。例えば、上述した車両情報入力部１１８からの各種入力信号に加えて、通信部１０７から入力した情報（地図情報、走行中の道路の種類、前方車両との距離など）を統合して、運転負荷レベルを四段階（無し・低・中・高）に定義する。「無し」は信号待ちなどの停車中やＡＣＣ（Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）などドライバーが特別な操作を行わなくても走行している自動運転中の状況など、「低」は周囲に障害物が無い直線道路での走行など、「中」は一定スピード以上で、ハンドル操作を常時要求される走行状況や、交差点での右左折時など、「高」は事故が迫っていて重要な運転操作が求められる状況、などである。
地図ＤＢ１２１は、地図情報を格納したデータベースである。
≪動作説明≫
本実施例の車載装置１０１の動作について詳細に説明する。基本的な動作は実施例１で述べた動作と同様であり、本実施例では、運転負荷推定部１２０の出力に応じて動作を制御することに特徴がある。車載装置制御部１０２は、運転負荷推定部１２０で出力された運転負荷レベルと、そのときに操作可能な操作手段と提示可能な表示内容についてあらかじめ定義している。図１４はその定義を示したものである。
図１４（ａ）は、各運転負荷レベルにおける各操作手段の使用の可否を示したものである。運転負荷レベルが「無し」、もしくは「低」の場合は、実施例１で述べた全ての操作手段による返信操作が可能である。一方で、運転負荷レベルが「高」の場合は、全ての操作を禁止する。運転負荷が「中」の場合は、手かざしによる操作ガイドの表示と、その後のジェスチャー操作による選択肢の選択を禁止する。これは、手かざしによる操作は片手運転を強いる操作手段であることから、運転操作に集中すべき状況の場合は、この操作を禁止するものである。
本実施例の外部表示部１０９には、図１５（ａ）のアイコン１５０３のように現在の運転負荷レベルを表示する。本図では運転負荷レベルが「中」の状態を意味しており、手の近づきによる操作ができない旨をアイコン１５０１のように手かざしによる操作が禁止されているような表示をする。また、この状態でユーザが手をかざしたことを検知した場合は、アイコン１５０１の表示や色を変えるなどして強調するとともに、警告音や警告音声などを出力し、手かざしを直ちにやめるように促す。このような制御をすることで、ユーザが、現在の運転負荷状況が把握できるとともに、ハンドル操作が必要なときにもかかわらず操作ガイドを表示させようとしてハンドルから片手を長時間離してしまうことを極力防止することができる。一方で、手を用いない音声認識による自由発話返信や一瞬の操作で完了する手振りジェスチャーは運転負荷レベルが「中」の状況においても使用可能とする。
さらに、運転負荷レベルが「無し」もしくは「低」の状況で、手かざしを行った後の返信操作が途中であった場合において、運転負荷レベルが「中」に切り替わった場合は、その操作途中の返信操作に限って、スイッチ操作と音声認識による選択肢の選択操作を許可する。この際は図１５（ｂ）のように、三種類の操作手段のアイコンの中で、手かざしとジェスチャーによる選択肢操作が禁止されていることを示す。
図１４（ｂ）は、運転負荷レベルとセンターディスプレイの出力内容に関する定義である。まず、運転負荷レベルが「無し」の場合は、メッセンジャーアプリケーション１１３はメッセージのテキストを全て表示する。また、画面上の操作アイコンをタッチするなどの基本的な操作からの返信操作時においては、スタンプ候補などの選択肢も全て表示する。運転負荷が「低」もしくは「中」の場合では、メッセージのテキストは非表示とし、メッセージ発信者の名前のみを表示する。また、タッチ操作を用いての操作系の表示も行わない。
さらに、運転負荷が「高」の場合は、メッセンジャーアプリケーション１１３の画面も消し、その状況に該当する警告メッセージ（例えば、「車間注意！」など）を表示する。なお、運転負荷が「低」もしくは「中」の場合において、手かざしを行っての返信操作を行っている途中で、運転負荷レベルが「無し」に遷移した場合においては、ＨＵＤに表示されていた操作ガイドの状態を考慮して、センターディスプレイ上でのタッチ操作でもその操作を行えるようにする。例えば図１６（ａ）に示すように、ＨＵＤ上でスタンプ返信を行っている状態であったとして、スタンプ候補の内容と配置の情報を保持したまま、図１６（ｂ）のように、センターディスプレイにも表示する。
具体的には、ＨＵＤ上でのスタンプ候補１６０１の内容と画面上での配置関係を保持した状態で１６０２のようにセンターディスプレイ上に表示する。さらに、１６０２の内容はドライバーが操作しやすいように、ドライバー側に寄せて配置し、タッチ操作によってスタンプの選択を行うことができるようにする。また、残りのスタンプ候補は、１６０３のように、画面上のドライバー側から遠い位置に配置する。逆に、停止中にセンターディスプレイ上での操作を行っている途中で、車の発進によって運転負荷が「低」、もしくは「中」に切り替わった場合は、センターディスプレイでの選択肢の表示及び選択操作を中止し、操作途中であった返信方法を保持した上で、図３（ａ）のＳ３１５のステップに遷移し、そのまま操作を引き継ぐ。
図１４（ｃ）は、運転負荷レベルとＨＵＤの出力内容に関する定義である。まず、運転負荷レベルが「無し」もしくは「低」の場合は、メッセージ読み上げ時の発信者名を表示し、また、返信操作時の操作ガイドを表示する。運転負荷レベルが「中」の場合は、手かざしによる操作が禁止されている旨を表示したり、運転負荷レベルが「低」から「中」に変更した場合のみ、操作ガイドの表示を引き継いで表示する。運転負荷レベルが「高」の場合はその状況に該当する警告メッセージ（例えば、「車間注意！」など）を表示する。
図１４（ｄ）は、運転負荷レベルとスピーカーからの音出力に関する定義である。運転負荷レベルが「無し」から「中」の場合においては、その時点での操作音もしくは読み上げ音声などを出力する。運転負荷レベルが「高」の場合においては、警告音のみを出力するものとする。なお、メッセージが読み上げられていた場合でもその出力を停止する。停止された読み上げメッセージは、運転負荷レベルが下がった後に再開し、そのメッセージの先頭から読み上げ直す。
なお、運転負荷レベルに応じて、ユーザの手かざし検知アルゴリズム及びフィードバック方法を変更するような構成としても良い。例えば、運転負荷レベルが低のときでは、０．５秒以上手をかざした場合に、手かざしを検知するとしたら、運転負荷レベルが「無し」の場合では２秒以上かざした場合に検知するように変更する。さらに、運転負荷レベルが「無し」の場合は、音出力による手かざしのフィードバックをやめる。これらによって、走行中では素早く、かつ視線を前方から逸らさずに操作できるように考えられた手かざし検知アルゴリズムが、停止時ではタッチ操作やわき見が許されることを勘案し、タッチ操作などの手かざし動作以外の動作による誤検出を防ぐことができる。
以上で述べた、本発明の第二実施例による車載装置１０１によって、ユーザは運転中でも前方を見ながら、直感的にかつ素早く、操作を行うことができることに加えて、停止中などの余裕が多いときは、より多様な手段での操作や多くの情報量を受け取ることができるとともに、運転操作に集中すべき状況の場合においては、その他の操作により運転操作以外に注意を向けてしまうことを未然に防ぎ、安全運転を行うことができる。
なお、全ての実施例において車載装置を例に説明したが、本発明はこれに限るものではなく、パーソナルコンピュータやデジタルサイネージ、建設機、航空機、監視オペレータ装置などのディスプレイ部と操作手段を有するものにおいて適用することができる。
≪構成の説明≫
図１７は本実施例における車載装置１０１の構成図である。図１の構成図と比べて、操作メニューアプリケーション１７０１、表示出力部１７０２、ステアリングコントローラ１７０３、ステアリング接触検出部１７０４、コマンダコントローラ１７０５、コマンダ接触検出部１７０６が追加されている。
操作メニューアプリケーション１７０１は、図示しない記憶部に格納されているプログラムに従って表示部１０８および外部表示部１０９に操作用メニューの表示を行うソフトウェアである。
表示出力部１７０２は、表示部１０８に車載装置１０１に内蔵しないディスプレイ装置を用いた場合に、映像信号を表示部１０８に出力する機能を有する。
ステアリングコントローラ１７０３は、ステアリングに備え付けられたスイッチ部品であり、ユーザが操作を入力するために用いられる。また、ステアリング接触検出部１７０４は、前記ステアリングコントローラ１７０３のスイッチ部品にユーザの手が触れているかを検出する。
コマンダコントローラ１７０５は、車内のインストゥルメント・パネルやセンターコンソールに備え付けられたスイッチ部品であり、ユーザが操作を入力するために用いられる。また、コマンダ接触検出部１７０６は、前記コマンダコントローラ１７０５のスイッチ部品にユーザの手が触れているかを検出する。
図１８は本実施例におけるコックピットの外観を示している。表示部１０８はインストゥルメント・パネルの中央に設置され、タッチ操作部１０６によるタッチ操作が可能である。また、表示部１０８の右上にジェスチャーを検出するための、センシング部１０３を備える。外部表示部１０９はＨＵＤを用いており、ドライバー（ユーザ）前方の景色を透過しつつ各種情報を表示することができる。ステアリング内にステアリングコントローラ１７０３を備えられている。またセンターコンソール上にコマンダコントローラ１７０５を備えている。
≪動作説明≫
本実施例の車載装置１０１の動作を説明する。基本的な動作は実施例１で述べた動作と同様であり、本実施例では、センシング部１０３に対する上方向および下方向の手振りによって、表示部１０８および外部表示部１０９の表示内容が変更されることと、センシング部１０３で検知した手の動きに応じて、外部表示部１０９に表示される操作メニューおよび操作ガイドの形状が変更されることに特徴がある。
図１９は、センシング部１０３に対する上方向および下方向の手振りによって、表示部１０８および外部表示部１０９の表示内容が変更される様子を示している。図１９の（Ａ）（Ｂ）（Ｃ）の各表示は、前記操作メニューアプリケーション１７０１によって制御される画面モードでの表示を示しており、(Ａ)はオーディオ操作モード、（Ｂ）はナビ操作モード、（Ｃ）はエアコン操作モードである。ユーザが前記上方向の手振りを１回行う度に、表示部１０８および外部表示部１０９の表示は、図１９の（Ａ）から(Ｂ)へ、(Ｂ)から(Ｃ)へ、(Ｃ)から(Ａ)へと切り替わる。
図２０は、前記（Ｂ）ナビ操作モードにおいて、ジェスチャーおよびステアリングコントローラ１７０３による操作を行う様子を示している。図２０の（１）に示すように、ユーザがセンシング部１０３に手をかざすと、ジェスチャー操作メニュー２００１が外部表示部１０９に表示され、ユーザが手をかざした位置から上、下、左のいずれかの方向に手を動かすことにより、該方向に対応した項目が選択されることをガイドする。一方、図２０の（１）で、ユーザが手をかざした状態からステアリングの方向に手を戻すと、図２０の（２）に示すように、ステアリングコントローラ操作メニュー２００２が表示される。図２０の（２）の状態では、ステアリングコントローラ１７０３の上、中、下のいずれかのスイッチを押下することで、該スイッチに対応した項目が選択されることをガイドする。なお、図２０の（２）の状態で、ユーザがいずれのスイッチも押下しないまま、再びセンシング部１０３に手をかざすと、図２０の（１）の状態となる。
図２１、図２２、図２３は、図１９よおび図２０で説明した一連の動作における、外部表示部１０９の画面遷移を示している。図２１は、前記（Ｂ）ナビ操作モード、図２２は前記（Ａ）オーディオ操作モード、図２３は（Ｃ）エアコン操作モードの画面遷移を示す。
図２４は、前記（Ｂ）ナビ操作モードにおける外部表示部１０９の画面内の動きの詳細を示している。先に述べたように、前記（Ｂ）ナビ操作モードでユーザがセンシング部１０３に手をかざすと、ジェスチャー操作メニュー２００１が外部表示部１０９に表示される。ここで、ユーザが手をかざした位置から上方向に手を動かすと、図２４の２４０１に示すように、上方向に対応する項目のみが所定の時間表示され、この表示によりユーザは所望の項目が選択されたことを確認することができる。また、２４０１の表示が所定の時間経過すると、外部表示部１０９の表示はユーザが手をかざす前の状態に戻る。なお、前記ステアリングコントローラ操作メニュー２００２についても同様の動きとなる。
図２６（ａ）は、本実施例の車載装置１０１における、ジェスチャーの検出状態と、操作デバイスの対応を示す表である。また、図２６（ｃ）は走行および停止状態に応じた操作デバイスと表示デバイスの対応を示す表である。本実施例の出力情報制御部１１４は、図２６（a）および図２６（ｃ）に従い、所定のメニューの操作に用いる操作デバイスと表示デバイスを決定する。
図２６（a）に示すように、出力情報制御部１１４は、手がセンシング部１０３付近にある場合は、ユーザがジェスチャーで操作しようとしていると判断する。また、手がセンシング部１０３から離れた場合は、ユーザがステアリングコントローラ１７０３で操作しようとしていると判断する。なお、ステアリングコントローラ１７０３が備えられていない車両の場合は、コマンダコントローラ１７０５等の車両に備えられた他の操作デバイスをユーザが操作しようとしていると判断しても良い。出力情報制御部１１４はこれらの判断により操作メニューアプリケーション１７０１に所定の画面の出力を指示する。これにより、ユーザが操作しようとする操作デバイスに適した操作メニューおよび操作ガイドを表示することが可能となり、ユーザが所望の操作デバイスを用いた操作を円滑に行えるという効果が得られる。
また、図２６（ｃ）に示すように、出力情報制御部１１４は、車が走行中の場合に、ジェスチャーおよびステアリングコントローラ１７０３およびコマンダコントローラ１７０５を用いてユーザが操作を行おうとしていると判断した際は、外部表示部１０９であるＨＵＤに操作メニューを表示する。これより、ユーザは車両前方を視認する状態から視線移動少なく操作メニューを視認できるため、操作メニューを操作することによる運転操作への影響を抑えられるという効果が得られる。
なお、車が停止中は、指先で細かい操作が可能で操作性が高いタッチパネル等での操作ができるようにしても良い。例えば、図２５に示すように、ステアリングコントローラ操作メニュー２００２が外部表示部１０９に表示されている状態で、車が停止している際に、ユーザがセンシング部１０３に手を近づけると、図２５の２５０１に示すような、より詳細なメニューが表示部１０８に表示され、タッチ操作できるようにしても良い。さらに、車が再び走行し始めた際は、表示部１０８の表示を消去し、外部表示部１０９にステアリングコントローラ操作メニュー２００２を再び表示するようにしても良い。これにより、車が停止中などの運転操作に支障が出ない状況では、ユーザはタッチパネルに操作を切替えて、タッチ操作による効率の良い操作ができる効果が得られる。
本実施例では、ユーザがステアリングに手を戻した際に、外部表示部１０９にステアリングコントローラ操作メニュー２００２が表示されるが、ユーザがステアリングに戻した手で運転操作をしようとしたときは、ステアリングコントローラ操作メニュー２００２の表示が煩わしく感じることも考えられる。そこで、図２７に示すように、ユーザがステアリングに手を戻した際は、図２７の２７０１に示すような、外部表示部１０９の中でメニューが表示される部分を小さくした簡易メニューを表示し、前記ステアリング接触検出部１７０４でユーザがステアリングコントローラ１７０３のスイッチに触れたことを検出した際に、ステアリングコントローラ操作メニュー２００２を表示しても良い。これにより、ユーザがステアリングコントローラ１７０３で操作する間際まで、ステアリングコントローラ操作メニュー２００２が表示されないため、メニュー表示の煩わしさを低減でき、尚且つ、外部表示部１０９の表示を運転に必要な他の情報の表示に有効利用できるという効果が得られる。
≪構成の説明≫
図２８は本実施例における車載装置１０１の操作の外観を示している。図２０の外観図と比べて、ユーザがコマンダコマンダコントローラ１７０５に手を近づけた際に、外部表示部１０９にコマンダ操作メニュー２８０１が表示される様子が追加されている。また、本実施例では、図９に示すようにセンシング部１０３にカメラを用いている。本実施例のセンシング部１０３は，センシング部１０３の周囲でユーザの手がどの方向に動いているかを検出する。なお、ユーザの手が動いている方向を検知可能であれば、センシング部１０３はカメラ以外のセンシングデバイスでも良い。
≪動作説明≫
本実施例の車載装置１０１の動作を説明する。基本的な動作は実施例３で述べた動作と同様であり、本実施例では、センシング部１０３の周囲でユーザの手がどちらの方向に動いているかを検出することによって、外部表示部１０９に表示される操作メニューおよび操作ガイドの形状が変更されることに特徴がある。
図２８は、前記（Ｂ）ナビ操作モードにおいて、ジェスチャーおよびステアリングコントローラ１７０３及びコマンダコントローラ１７０５による操作を行う様子を示している。図２８の（１）に示すように、ユーザがセンシング部１０３に手をかざした状態からステアリングの方向に手を動かすと、図２８の（１）に示すように、ステアリングコントローラ操作メニュー２００２が表示される。一方、図２８の（２）に示すように、ユーザがセンシング部１０３に手をかざした状態からコマンダコントローラ１７０５の方向に手を動かすと、図２８の（２）に示すように、コマンダコントローラ１７０５に操作メニュー２８０１が表示される。図２８の（２）の状態では、コマンダコントローラ１７０５に搭載されるロータリーコントローラに対応して、該ロータリーコントローラを回転させることで、１つの項目が選択されることをガイドする。
図２６（ｂ）は、本実施例の車載装置１０１における、手の位置や移動方向に応じた操作デバイスの選択を示す表である。本実施例の出力情報制御部１１４は、図２６（ｂ）に従い、所定のメニューの操作に用いる操作デバイスを決定する。
図２６（ｂ）に示すように、出力情報制御部１１４は、手がセンシング部１０３付近にある場合は、ユーザがジェスチャーで操作しようとしていると判断する。また、ユーザの手がセンシング部１０３からステアリングコントローラ１７０３の方向もしくは位置に移動した場合は、ユーザがステアリングコントローラ１７０３で操作しようとしていると判断する。さらに、ユーザの手がセンシング部１０３からコマンダコントローラ１７０５の方向もしくは位置に移動した場合は、ユーザがコマンダコントローラ１７０５で操作しようとしていると判断する。なお、ステアリングコントローラ１７０３およびコマンダコントローラ１７０５は車両に備えられた他の操作デバイスでも良い。出力情報制御部１１４はこれらの判断により操作メニューアプリケーション１７０１に所定の画面の出力を指示する。これにより、ユーザが操作しようとする操作デバイスに適した操作メニューおよび操作ガイドを表示することが可能となり、ユーザが所望の操作デバイスを用いた操作を円滑に行えるという効果が得られる。
なお、操作メニューを表示する際に、ユーザの手がセンシング部１０３から動いた方向や位置に基づくのではなく、センシング部１０３で検出したユーザの指さし方向に基づいても良い。例えば、図２９に示すように、図２９の（１）の状態で、センシング部１０３がエアコン操作盤２９０１をユーザが指さししたことを検出し、これに基づいて外部表示部１０９にエアコン操作用のステアリングコントローラ操作メニュー２３０２を表示しても良い。これにより、ユーザが一度センシング部１０３に手をかざすことなく、より円滑に所望の操作メニューを表示することができるという効果が得られる。
１０１ 車載装置
１０２ 車載装置制御部
１０３ センシング部
１０４ ジェスチャー検出部
１０５ スイッチ操作部
１０６ タッチ操作部
１０７ 通信部
１０８ 表示部
１０９ 外部表示部
１１０ 音出力部
１１１ スピーカー
１１２ 触覚ＩＦ出力部
１１３ メッセンジャーアプリケーション
１１４ 出力情報制御部
１１５ マイクロホン
１１６ 音声認識部
１１７ 外部スイッチ操作部
１１８ 車両情報入力部
１１９ 操作手段制御部
１２０ 運転負荷推定部
１２１ 地図ＤＢ
１７０１ 操作メニューアプリケーション
１７０２ 表示出力部
１７０３ ステアリングコントローラ
１７０４ ステアリング接触検出部
１７０５ コマンダコントローラ
１７０６ コマンダ接触検出部
２００１ ジェスチャー操作メニュー
２００２ ステアリング操作メニュー
２２０１ ジェスチャー操作メニュー
２２０２ ステアリング操作メニュー
２３０１ ジェスチャー操作メニュー
２３０２ ステアリング操作メニュー
２４０１ 項目選択状態
２４０２ 項目選択状態
２５０１ 詳細メニュー
２７０１ 簡易メニュー
２８０１ コマンダコントローラ操作メニュー

Claims (5)

  1. 所定の範囲内にあるユーザの手の位置を認識するジェスチャー検出部と、
    表示部への出力情報を制御する出力情報制御部と、
    車両が備える操作手段からの入力を受け付け、車載装置を制御する車載装置制御部と、を備え
    前記ユーザの手が所定の位置に一定時間かざされたことを前記ジェスチャー検出部が検知した場合に、前記出力情報制御部は前記表示部に前記車載装置制御部が実行する動作の候補を前記ユーザの手の動作と対応付けをして表示させ、
    前記ユーザの手が前記所定の位置に一定時間かざされた後に前記ユーザの手が前記所定の位置から移動したことを前記ジェスチャー検出部が検知した場合に、前記出力情報制御部は、前記表示部に表示させる前記車載装置制御部が実行する動作の選択方法または操作ガイドを前記操作手段に合わせた内容に変更すること、
    を特徴とする車載装置。
  2. 前記車両は複数の操作手段を備えており、
    前記車載装置制御部は、前記ジェスチャー検出部により検知された前記ユーザの手が動いた方向から、前記ユーザにより次に操作が行われる操作手段を前記複数の操作手段から推測し、
    前記出力情報制御部は、前記車載装置制御部が推測した次に操作が行われる操作手段に応じて、前記選択方法または操作ガイドを変更すること、
    を特徴とする請求項１に記載の車載装置。
  3. 前記車両は複数の操作手段を備えており、
    前記車載装置制御部は、前記ジェスチャー検出部により検知された前記ユーザの手が前記所定の位置に一定時間かざされた後に前記ユーザの手が移動した位置から、前記ユーザにより次に操作が行われる操作手段を前記複数の操作手段から推測し、
    前記出力情報制御部は、前記車載装置制御部が推測した操作手段に応じて、前記表示部に表示させる前記車載装置制御部が実行する動作の選択方法または操作ガイドを変更すること、
    を特徴とする請求項１に記載の車載装置。
  4. 前記出力情報制御部は前記表示部を含む複数のディスプレイへの出力情報を制御しており、
    前記出力制御部は、前記選択方法または操作ガイドを車両前方からの前記ユーザの視線移動が最も小さいディスプレイに表示させること、
    を特徴とする請求項１に記載の車載装置。
  5. 前記ユーザの手が触れたことを検知するタッチ検出部を備え、
    前記ジェスチャー検出部が、前記ユーザの手が前記所定の位置に一定時間かざされたことを検知した後に、前記タッチ検出部が前記ユーザの手が触れたことを検知した場合に、前記出力情報制御部は前記タッチ検出部に応じて、前記選択方法または操作ガイドを変更すること、
    を特徴とする請求項１に記載の車載装置。
JP2015031324A 2015-02-20 2015-02-20 情報処理装置 Active JP6426025B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2015031324A JP6426025B2 (ja) 2015-02-20 2015-02-20 情報処理装置
CN201680004230.2A CN107107841B (zh) 2015-02-20 2016-02-01 信息处理装置
EP16752264.8A EP3260331A4 (en) 2015-02-20 2016-02-01 Information processing device
US15/551,308 US10466800B2 (en) 2015-02-20 2016-02-01 Vehicle information processing device
PCT/JP2016/052916 WO2016132876A1 (ja) 2015-02-20 2016-02-01 情報処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015031324A JP6426025B2 (ja) 2015-02-20 2015-02-20 情報処理装置

Publications (2)

Publication Number Publication Date
JP2016153250A true JP2016153250A (ja) 2016-08-25
JP6426025B2 JP6426025B2 (ja) 2018-11-21

Family

ID=56688843

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015031324A Active JP6426025B2 (ja) 2015-02-20 2015-02-20 情報処理装置

Country Status (5)

Country Link
US (1) US10466800B2 (ja)
EP (1) EP3260331A4 (ja)
JP (1) JP6426025B2 (ja)
CN (1) CN107107841B (ja)
WO (1) WO2016132876A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018193579A1 (ja) * 2017-04-20 2018-10-25 矢崎総業株式会社 画像認識装置
JP2018203012A (ja) * 2017-06-02 2018-12-27 本田技研工業株式会社 車両制御システム、車両制御方法、およびプログラム
KR20190016362A (ko) * 2017-08-08 2019-02-18 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 차량의 제어방법
WO2019202670A1 (ja) * 2018-04-17 2019-10-24 株式会社ソシオネクスト ジェスチャ認識方法及びジェスチャ認識装置
CN113022304A (zh) * 2019-12-24 2021-06-25 丰田自动车株式会社 车载设备操作装置
JP2022541981A (ja) * 2019-08-30 2022-09-29 グーグル エルエルシー モバイルデバイスのための入力方法
WO2023058457A1 (ja) * 2021-10-05 2023-04-13 株式会社デンソー 表示装置、画像の表示方法および画像の表示プログラム
US11687167B2 (en) 2019-08-30 2023-06-27 Google Llc Visual indicator for paused radar gestures
US11790693B2 (en) 2019-07-26 2023-10-17 Google Llc Authentication management through IMU and radar
US11841933B2 (en) 2019-06-26 2023-12-12 Google Llc Radar-based authentication status feedback
US11868537B2 (en) 2019-07-26 2024-01-09 Google Llc Robust radar-based gesture-recognition by user equipment

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6426025B2 (ja) * 2015-02-20 2018-11-21 クラリオン株式会社 情報処理装置
DE102015006613A1 (de) 2015-05-21 2016-11-24 Audi Ag Bediensystem und Verfahren zum Betreiben eines Bediensystems für ein Kraftfahrzeug
JP6224029B2 (ja) * 2015-05-21 2017-11-01 富士通テン株式会社 画像処理装置および画像処理方法
JP2018182616A (ja) * 2017-04-18 2018-11-15 京セラ株式会社 電子機器、制御方法、およびプログラム
JP6266833B1 (ja) 2017-07-28 2018-01-24 京セラ株式会社 電子機器、プログラムおよび制御方法
CN109491496A (zh) * 2017-09-12 2019-03-19 精工爱普生株式会社 头部佩戴型显示装置和头部佩戴型显示装置的控制方法
JP2019028973A (ja) * 2017-12-20 2019-02-21 京セラ株式会社 電子機器、プログラムおよび制御方法
DE102018203426A1 (de) * 2018-03-07 2019-09-12 Audi Ag Verfahren zum Betrieb eines Kraftfahrzeugs mit einem Autopilotsystem und Kraftfahrzeug
US10850746B2 (en) * 2018-07-24 2020-12-01 Harman International Industries, Incorporated Coordinating delivery of notifications to the driver of a vehicle to reduce distractions
DE102019210912A1 (de) * 2019-07-23 2021-01-28 Brose Fahrzeugteile Se & Co. Kommanditgesellschaft, Bamberg Verstellvorrichtung und Verfahren für die fremdkraftbetätigte Verstellung eines Verstellteils an einem Fahrzeug auf Basis wenigstens eines Bedienereignisses
WO2021050492A1 (en) * 2019-09-12 2021-03-18 Continental Automotive Systems, Inc. Knob with display preview feature
JPWO2021131959A1 (ja) * 2019-12-27 2021-07-01
CN114205759B (zh) * 2021-11-30 2023-03-07 上海赫千电子科技有限公司 一种车载以太网显示屏的显示控制方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005174356A (ja) * 2000-02-01 2005-06-30 Toshiba Corp 方向検出方法
JP2005297810A (ja) * 2004-04-13 2005-10-27 Denso Corp 車両用表示システム及びプログラム
WO2007061057A1 (ja) * 2005-11-25 2007-05-31 Matsushita Electric Industrial Co., Ltd. ジェスチャー入力装置、及び方法
JP2007302223A (ja) * 2006-04-12 2007-11-22 Hitachi Ltd 車載装置の非接触入力操作装置
JP2010083206A (ja) * 2008-09-29 2010-04-15 Denso Corp 車載用電子機器操作装置
JP2011198210A (ja) * 2010-03-23 2011-10-06 Aisin Aw Co Ltd 表示装置、表示方法、及び表示プログラム
JP2013082445A (ja) * 2011-10-12 2013-05-09 Visteon Global Technologies Inc 適応表示システムの表示コンポーネントの制御方法
JP2013178804A (ja) * 2013-04-26 2013-09-09 Denso Corp 車両用操作装置
WO2013136776A1 (ja) * 2012-03-15 2013-09-19 パナソニック株式会社 ジェスチャ入力操作処理装置
JP2014215649A (ja) * 2013-04-23 2014-11-17 アルプス電気株式会社 入力装置
WO2015001875A1 (ja) * 2013-07-05 2015-01-08 クラリオン株式会社 情報処理装置

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9239673B2 (en) * 1998-01-26 2016-01-19 Apple Inc. Gesturing with a multipoint sensing device
US7821541B2 (en) * 2002-04-05 2010-10-26 Bruno Delean Remote control apparatus using gesture recognition
KR100575906B1 (ko) * 2002-10-25 2006-05-02 미츠비시 후소 트럭 앤드 버스 코포레이션 핸드 패턴 스위치 장치
JP3752246B2 (ja) * 2003-08-11 2006-03-08 学校法人慶應義塾 ハンドパターンスイッチ装置
EP1764674B1 (de) * 2005-09-14 2012-06-13 Volkswagen AG Eingabevorrichtung
US8094189B2 (en) * 2007-01-30 2012-01-10 Toyota Jidosha Kabushiki Kaisha Operating device
US20100217875A1 (en) 2007-07-23 2010-08-26 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for use in a communications network
US8165886B1 (en) * 2007-10-04 2012-04-24 Great Northern Research LLC Speech interface system and method for control and interaction with applications on a computing system
DE102008051757A1 (de) 2007-11-12 2009-05-14 Volkswagen Ag Multimodale Benutzerschnittstelle eines Fahrerassistenzsystems zur Eingabe und Präsentation von Informationen
JP5247389B2 (ja) * 2008-12-01 2013-07-24 富士通テン株式会社 ディスプレイ装置
JP2010184600A (ja) 2009-02-12 2010-08-26 Autonetworks Technologies Ltd 車載用ジェスチャースイッチ装置
JP2010215194A (ja) * 2009-03-19 2010-09-30 Hyundai Motor Co Ltd 車載機器の操作装置
JP5648207B2 (ja) * 2009-09-04 2015-01-07 現代自動車株式会社 車両用操作装置
KR20110055062A (ko) * 2009-11-19 2011-05-25 삼성전자주식회사 로봇 시스템 및 그 제어 방법
JP2011118725A (ja) 2009-12-04 2011-06-16 Sharp Corp 情報処理機器、情報処理方法および情報処理プログラム
KR101334107B1 (ko) * 2010-04-22 2013-12-16 주식회사 굿소프트웨어랩 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법
US8810509B2 (en) * 2010-04-27 2014-08-19 Microsoft Corporation Interfacing with a computing application using a multi-digit sensor
US20120224060A1 (en) * 2011-02-10 2012-09-06 Integrated Night Vision Systems Inc. Reducing Driver Distraction Using a Heads-Up Display
US9015639B2 (en) * 2011-02-11 2015-04-21 Linkedin Corporation Methods and systems for navigating a list with gestures
US20120260167A1 (en) * 2011-04-07 2012-10-11 Sony Corporation User interface for audio video display device such as tv
US20120312956A1 (en) * 2011-06-11 2012-12-13 Tom Chang Light sensor system for object detection and gesture recognition, and object detection method
US8891868B1 (en) * 2011-08-04 2014-11-18 Amazon Technologies, Inc. Recognizing gestures captured by video
EP3754997B1 (en) * 2011-08-05 2023-08-30 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
DE102011112447A1 (de) * 2011-09-03 2013-03-07 Volkswagen Aktiengesellschaft Verfahren und Anordnung zum Bereitstellen einer graphischen Nutzerschnittstelle, insbesondere in einem Fahrzeug
WO2013074919A2 (en) * 2011-11-16 2013-05-23 Flextronics Ap , Llc Universal bus in the car
US20130275924A1 (en) * 2012-04-16 2013-10-17 Nuance Communications, Inc. Low-attention gestural user interface
US9448635B2 (en) * 2012-04-16 2016-09-20 Qualcomm Incorporated Rapid gesture re-engagement
TW201419036A (zh) * 2012-11-06 2014-05-16 Pixart Imaging Inc 感測元件陣列、控制感測裝置的方法以及相關電子裝置
JP6030430B2 (ja) * 2012-12-14 2016-11-24 クラリオン株式会社 制御装置、車両及び携帯端末
US20140181759A1 (en) * 2012-12-20 2014-06-26 Hyundai Motor Company Control system and method using hand gesture for vehicle
JP5372273B2 (ja) 2013-03-07 2013-12-18 富士通テン株式会社 ディスプレイ装置
JP2014174818A (ja) 2013-03-11 2014-09-22 Panasonic Corp 電子装置
JP6253077B2 (ja) * 2013-04-22 2017-12-27 株式会社ユピテル 装置及びプログラム
US20140368423A1 (en) * 2013-06-17 2014-12-18 Nvidia Corporation Method and system for low power gesture recognition for waking up mobile devices
JP5486721B2 (ja) 2013-06-18 2014-05-07 キヤノン株式会社 表示制御装置及び表示制御装置の制御方法、プログラム、記憶媒体
US20160023604A1 (en) * 2013-07-08 2016-01-28 LightSpeed Automotive Technology Head-Up Display Controller
KR101558354B1 (ko) * 2013-11-13 2015-10-20 현대자동차 주식회사 차량용 블라인드 콘트롤 시스템
KR101534745B1 (ko) * 2013-12-31 2015-07-07 현대자동차 주식회사 제스처 인식 장치
KR101556521B1 (ko) * 2014-10-06 2015-10-13 현대자동차주식회사 휴먼 머신 인터페이스 장치, 그를 가지는 차량 및 그 제어 방법
DE102014116292A1 (de) * 2014-11-07 2016-05-12 Visteon Global Technologies, Inc. System zur Informationsübertragung in einem Kraftfahrzeug
CN107206896B (zh) * 2014-12-22 2021-03-05 大众汽车有限公司 手指板条和手指板条的应用
JP6426025B2 (ja) * 2015-02-20 2018-11-21 クラリオン株式会社 情報処理装置
US10589676B2 (en) * 2016-06-02 2020-03-17 Magna Electronics Inc. Vehicle display system with user input display

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005174356A (ja) * 2000-02-01 2005-06-30 Toshiba Corp 方向検出方法
JP2005297810A (ja) * 2004-04-13 2005-10-27 Denso Corp 車両用表示システム及びプログラム
WO2007061057A1 (ja) * 2005-11-25 2007-05-31 Matsushita Electric Industrial Co., Ltd. ジェスチャー入力装置、及び方法
JP2007302223A (ja) * 2006-04-12 2007-11-22 Hitachi Ltd 車載装置の非接触入力操作装置
JP2010083206A (ja) * 2008-09-29 2010-04-15 Denso Corp 車載用電子機器操作装置
JP2011198210A (ja) * 2010-03-23 2011-10-06 Aisin Aw Co Ltd 表示装置、表示方法、及び表示プログラム
JP2013082445A (ja) * 2011-10-12 2013-05-09 Visteon Global Technologies Inc 適応表示システムの表示コンポーネントの制御方法
WO2013136776A1 (ja) * 2012-03-15 2013-09-19 パナソニック株式会社 ジェスチャ入力操作処理装置
JP2014215649A (ja) * 2013-04-23 2014-11-17 アルプス電気株式会社 入力装置
JP2013178804A (ja) * 2013-04-26 2013-09-09 Denso Corp 車両用操作装置
WO2015001875A1 (ja) * 2013-07-05 2015-01-08 クラリオン株式会社 情報処理装置

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018193579A1 (ja) * 2017-04-20 2018-10-25 矢崎総業株式会社 画像認識装置
JP2018203012A (ja) * 2017-06-02 2018-12-27 本田技研工業株式会社 車両制御システム、車両制御方法、およびプログラム
KR20190016362A (ko) * 2017-08-08 2019-02-18 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 차량의 제어방법
KR101951426B1 (ko) * 2017-08-08 2019-02-22 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 차량의 제어방법
US11402920B2 (en) 2018-04-17 2022-08-02 Socionext Inc. Gesture recognition method and gesture recognition device having a plurality of radio wave sensors associated with a gesture occurrence area
WO2019202670A1 (ja) * 2018-04-17 2019-10-24 株式会社ソシオネクスト ジェスチャ認識方法及びジェスチャ認識装置
JP7136199B2 (ja) 2018-04-17 2022-09-13 株式会社ソシオネクスト ジェスチャ認識方法及びジェスチャ認識装置
JPWO2019202670A1 (ja) * 2018-04-17 2021-04-22 株式会社ソシオネクスト ジェスチャ認識方法及びジェスチャ認識装置
US11841933B2 (en) 2019-06-26 2023-12-12 Google Llc Radar-based authentication status feedback
US11790693B2 (en) 2019-07-26 2023-10-17 Google Llc Authentication management through IMU and radar
US11868537B2 (en) 2019-07-26 2024-01-09 Google Llc Robust radar-based gesture-recognition by user equipment
US12008169B2 (en) 2019-08-30 2024-06-11 Google Llc Radar gesture input methods for mobile devices
JP2022541981A (ja) * 2019-08-30 2022-09-29 グーグル エルエルシー モバイルデバイスのための入力方法
JP7270070B2 (ja) 2019-08-30 2023-05-09 グーグル エルエルシー モバイルデバイスのための入力方法
US11687167B2 (en) 2019-08-30 2023-06-27 Google Llc Visual indicator for paused radar gestures
US11772490B2 (en) 2019-12-24 2023-10-03 Toyota Jidosha Kabushiki Kaisha Onboard equipment operating device
JP2021102357A (ja) * 2019-12-24 2021-07-15 トヨタ自動車株式会社 車載機器操作装置
CN113022304A (zh) * 2019-12-24 2021-06-25 丰田自动车株式会社 车载设备操作装置
WO2023058457A1 (ja) * 2021-10-05 2023-04-13 株式会社デンソー 表示装置、画像の表示方法および画像の表示プログラム

Also Published As

Publication number Publication date
US20180059798A1 (en) 2018-03-01
CN107107841A (zh) 2017-08-29
WO2016132876A1 (ja) 2016-08-25
CN107107841B (zh) 2020-03-31
EP3260331A4 (en) 2018-09-05
JP6426025B2 (ja) 2018-11-21
US10466800B2 (en) 2019-11-05
EP3260331A1 (en) 2017-12-27

Similar Documents

Publication Publication Date Title
JP6282188B2 (ja) 情報処理装置
WO2016132876A1 (ja) 情報処理装置
WO2017110233A1 (ja) 車載装置
US20180232057A1 (en) Information Processing Device
KR101561917B1 (ko) 차량 제어 장치 및 그 제어 방법
KR101474448B1 (ko) 컨텐츠 내비게이션 장치 및 그 방법과 그를 이용한텔레매틱스 단말기
JP2009129171A (ja) 移動体に搭載される情報処理装置
KR20150000076A (ko) 차량용 블라인드 콘트롤 시스템
US11144193B2 (en) Input device and input method
US20210141385A1 (en) Method and system for operating an automatic driving function in a vehicle
JP6819539B2 (ja) ジェスチャ入力装置
JP6798608B2 (ja) ナビゲーションシステムおよびナビゲーションプログラム
JP2019153255A (ja) 情報処理方法
CN112000263B (zh) 车载人机交互装置
JP2006078432A (ja) マルチモニタシステム
JP6139940B2 (ja) 車両用情報表示システム
WO2022168696A1 (ja) ジェスチャ操作結果を表示する表示システム
JP4962387B2 (ja) ポインタ表示・移動装置およびポインタ表示・移動装置用のプログラム
KR20180068033A (ko) 차량 단말기 및 그의 동작 제어 방법
JP2020177315A (ja) 電子装置
JP2018163555A (ja) 情報入力システムおよび情報入力プログラム
JP2021018480A (ja) 画像表示装置、画像表示システムおよび画像表示方法
JP2018092522A (ja) 入力システム、入力プログラム
JP2017084220A (ja) 操作装置、制御方法、プログラム及び記憶媒体

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170117

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170124

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170612

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180403

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20180425

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180530

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181009

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181024

R150 Certificate of patent or registration of utility model

Ref document number: 6426025

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150