JP2019139633A - 電子機器、移動体、プログラムおよび制御方法 - Google Patents

電子機器、移動体、プログラムおよび制御方法 Download PDF

Info

Publication number
JP2019139633A
JP2019139633A JP2018024137A JP2018024137A JP2019139633A JP 2019139633 A JP2019139633 A JP 2019139633A JP 2018024137 A JP2018024137 A JP 2018024137A JP 2018024137 A JP2018024137 A JP 2018024137A JP 2019139633 A JP2019139633 A JP 2019139633A
Authority
JP
Japan
Prior art keywords
gesture
user
electronic device
controller
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018024137A
Other languages
English (en)
Inventor
太郎 飯尾
Taro Iio
太郎 飯尾
優哉 山口
Yuya Yamaguchi
優哉 山口
遼平 中村
Ryohei Nakamura
遼平 中村
恒雄 宮下
Tsuneo Miyashita
恒雄 宮下
上野 泰弘
Yasuhiro Ueno
泰弘 上野
茂輝 田辺
Shigeki Tanabe
茂輝 田辺
英樹 森田
Hideki Morita
英樹 森田
功 益池
Isao Masuike
功 益池
浩太郎 山内
Kotaro Yamauchi
浩太郎 山内
学 佐久間
Manabu Sakuma
学 佐久間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2018024137A priority Critical patent/JP2019139633A/ja
Priority to US16/968,252 priority patent/US11307669B2/en
Priority to PCT/JP2019/004489 priority patent/WO2019159818A1/ja
Priority to EP19754110.5A priority patent/EP3754460A4/en
Publication of JP2019139633A publication Critical patent/JP2019139633A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60Instruments characterised by their location or relative disposition in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/654Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3664Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146Instrument input by gesture
    • B60K2360/14643D-gesture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/166Navigation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/741Instruments adapted for user detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)

Abstract

【課題】移動体の運転の安全性を向上可能な電子機器、移動体、プログラムおよび制御方法を提供する。【解決手段】電子機器1は、自機器に触れずにジェスチャを検出するセンサと、運転席の位置に応じてユーザが操作する手を決定し、ユーザが操作する手に応じて、センサからの出力に基づいて、ジェスチャの方向を決定するコントローラ11と、を備える。【選択図】図1

Description

本発明は、電子機器、移動体、プログラムおよび制御方法に関する。
従来、ユーザによる車両の運転を支援する装置が知られている。例えば、特許文献1には、車両に搭載されるカーナビゲーションシステムが開示されている。特許文献1に開示されたカーナビゲーションシステムは、例えば目的地までの移動経路等に関する情報をディスプレイに表示することにより、車両の運転を支援する。
特開2011−169860号公報
特許文献1に開示されたカーナビゲーションシステムのユーザは、入力操作を行う際、ディスプレイにタッチ入力を行う。しかしながら、車両の運転中にタッチ入力を行うと、車両の運転の安全を確保しにくくなる。
かかる事情に鑑みてなされた本発明の目的は、移動体の運転の安全性を向上可能な電子機器、移動体、プログラムおよび制御方法を提供することにある。
一実施形態に係る電子機器は、自機器に触れずにジェスチャを検出するセンサと、運転席の位置に応じてユーザが操作する手を決定し、前記ユーザが操作する手に応じて、前記センサからの出力に基づいて、ジェスチャの方向を決定するコントローラと、を備える。
一実施形態に係る移動体は、上記電子機器を備える。
一実施形態に係る移動体は、上記電子機器と通信可能に接続される。
一実施形態に係るプログラムは、自機器に触れずにジェスチャを検出するセンサと、コントローラと、を備える電子機器に、運転席の位置に応じてユーザが操作する手を決定するステップと、前記ユーザが操作する手に応じて、前記センサからの出力に基づいて、ジェスチャの方向を決定するステップとを実行させる。
一実施形態に係る制御方法は、自機器に触れずにジェスチャを検出するセンサと、コントローラと、を備える電子機器が実行する制御方法であって、運転席の位置に応じてユーザが操作する手を決定するステップと、前記ユーザが操作する手に応じて、前記センサからの出力に基づいて、ジェスチャの方向を決定するステップとを含む。
一実施形態によれば、移動体の運転の安全性を向上可能な電子機器、移動体、プログラムおよび制御方法を提供することができる。
一実施形態に係る電子機器の概略構成図である。 ユーザがジェスチャにより電子機器を操作する様子を例示する図である。 近接センサの概略構成図である。 各赤外フォトダイオードが検出する検出値の推移を示す図である。 電子機器をジェスチャで操作する状況を例示する図である。 ジェスチャの方向の決定について説明するための概念図である。 ユーザのジェスチャの一例を模式的に示す図である。 自動車における座席の配置の一例を示す図である。 左手の判定基準の一例を示す図である。 左手の判定基準の他の一例を示す図である。 右手の判定基準の一例を示す図である。 右手の判定基準の他の一例を示す図である。 電子機器のコントローラが実行する処理の一例を示すフローチャートである。 測距センサを模式的に示す図である。 図14に示す受光部における受光素子の配置の一例を模式的に示す図である。 各受光素子により検出される対象物までの距離の推移を模式的に示す図である。
(電子機器の構成)
図1に示すように一実施形態の電子機器1は、タイマー12と、カメラ13と、ディスプレイ14と、マイク15と、ストレージ16と、通信ユニット17と、スピーカー25と、近接センサ18(ジェスチャセンサ)と、コントローラ11と、を備える。電子機器1は、さらにUVセンサ19と、照度センサ20と、加速度センサ21と、地磁気センサ22と、気圧センサ23と、ジャイロセンサ24と、を備える。図1は例示である。電子機器1は図1に示す構成要素の全てを備えなくてもよい。また、電子機器1は図1に示す以外の構成要素を備えていてもよい。
電子機器1は、移動体の運転または操縦において用いられる種々の機器として実現されてよい。移動体は、移動可能な任意の装置により構成されていてよい。移動体は、ユーザが乗り込むことが可能であってよい。移動体は、例えば、車両、船舶および航空機等を含んでもよい。車両は、例えば、電気自動車、ハイブリッド電気自動車、ガソリン自動車、バイク、二輪車、および福祉車両等を含んでもよい。車両は、例えば鉄道車両を含んでもよい。移動体は、ユーザによって運転または操縦されてもよい。移動体の運転または操縦に関するユーザ操作の少なくとも一部が自動化されていてもよい。移動体は、ユーザ操作によらず、自律して移動可能であってもよい。本明細書では、移動体が、ユーザが運転する自動車であるとして、以下説明する。
移動体が自動車である場合、電子機器1は、例えば自動車に搭載されたカーナビゲーションシステム等の車載機器として実現されてよい。電子機器1は、例えば携帯電話端末、ファブレット、タブレットPC(Personal Computer)、スマートフォンまたはフィーチャーフォン等として実現されてもよい。この場合、電子機器1は、ユーザが運転する自動車に搭載されたシステムと、有線または無線により通信可能に接続されてよい。例えば、電子機器1は、スマートフォンとして実現され、Bluetooth(登録商標)により自動車に搭載されたシステムと通信可能に接続されてよい。電子機器1は、これらの例に限られず、移動体の運転または操縦において用いられる任意の機器として実現されてよい。電子機器1は、例えば、PDA(Personal Digital Assistant)、リモコン端末、携帯音楽プレイヤ、ゲーム機、電子書籍リーダ、家電製品または産業用機器(FA機器)等により実現されてもよい。ここでは、電子機器1が、自動車に搭載されたカーナビゲーションシステムとして実現されるものとして、説明する。
タイマー12はコントローラ11からタイマー動作の指示を受け、所定時間経過した時点で、その旨を示す信号をコントローラ11に出力する。タイマー12は、図1に示すようにコントローラ11とは独立して設けられていてもよいし、コントローラ11が内蔵する構成であってもよい。
カメラ13は、電子機器1の周囲の被写体を撮像する。カメラ13は一例として、電子機器1のディスプレイ14が設けられる面に設けられる。
ディスプレイ14は画面を表示する。画面は、例えば文字、画像、記号および図形等の少なくとも一つを含む。ディスプレイ14は、液晶ディスプレイ(Liquid Crystal Display)、有機ELパネル(Organic Electro-Luminescence Panel)または無機ELパネル(Inorganic Electro-Luminescence Panel)等であってもよい。本実施形態において、ディスプレイ14はタッチパネルディスプレイ(タッチスクリーンディスプレイ)である。タッチパネルディスプレイは、指またはスタイラスペン等の接触を検出して、その接触位置を特定する。ディスプレイ14は、指またはスタイラスペン等が接触した位置を同時に複数検出することができる。
マイク15は、人が発する声を含む、電子機器1の周囲の音を検出する。
ストレージ16は記憶部としてプログラムおよびデータを記憶する。ストレージ16は、コントローラ11の処理結果を一時的に記憶する。ストレージ16は、半導体記憶デバイスおよび磁気記憶デバイス等の任意の記憶デバイスを含んでよい。ストレージ16は、複数の種類の記憶デバイスを含んでよい。ストレージ16は、メモリカード等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。
ストレージ16に記憶されるプログラムには、フォアグランドまたはバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラムとを含む。アプリケーションは、例えば、ジェスチャに応じた処理をコントローラ11に実行させる。制御プログラムは、例えば、OS(Operating System)である。アプリケーションおよび制御プログラムは、通信ユニット17による通信または記憶媒体を介してストレージ16にインストールされてもよい。
通信ユニット17は、有線または無線により通信するためのインタフェースである。一実施形態の通信ユニット17によって行われる通信方式は無線通信規格である。例えば、無線通信規格は2G、3Gおよび4G等のセルラーフォンの通信規格を含む。例えばセルラーフォンの通信規格は、LTE(Long Term Evolution)、W−CDMA(Wideband Code Division Multiple Access)、CDMA2000、PDC(Personal Digital Cellular)、GSM(登録商標)(Global System for Mobile communications)およびPHS(Personal Handy-phone System)等を含む。例えば、無線通信規格は、WiMAX(Worldwide Interoperability for Microwave Access)、IEEE802.11、Bluetooth(登録商標)、IrDA(Infrared Data Association)およびNFC(Near Field Communication)等を含む。通信ユニット17は、上述した通信規格の1つまたは複数をサポートすることができる。
スピーカー25は音を出力する。スピーカー25は、例えば入力された自動車の目的地までの経路を案内する音声を出力する。電子機器1が通話可能な機器として実現されている場合には、例えば通話の際に、相手の声がスピーカー25から出力される。また、例えばニュースまたは天気予報等の読み上げの際に、その内容がスピーカー25から音で出力される。
近接センサ18は、電子機器1の周囲の対象物との相対距離および対象物の移動方向等を非接触で検出する。本実施形態において、近接センサ18は1つの光源用赤外LED(Light Emitting Diode)と4つの赤外フォトダイオードとを有する。近接センサ18は、光源用赤外LEDから赤外光を対象物に向けて照射する。近接センサ18は、対象物からの反射光を赤外フォトダイオードの入射光とする。そして、近接センサ18は赤外フォトダイオードの出力電流に基づいて対象物との相対距離を測定することができる。また、近接センサ18は、対象物からの反射光がそれぞれの赤外フォトダイオードに入射する時間差により対象物の移動方向を検出する。したがって、近接センサ18は、電子機器1のユーザが電子機器1に触れずに行うエアジェスチャ(以下単に「ジェスチャ」という)を用いた操作を検出することができる。ここで、近接センサ18は可視光フォトダイオードを有していてもよい。
コントローラ11は、例えばCPU(Central Processing Unit)等のプロセッサである。コントローラ11は、他の構成要素が統合されたSoC(System-on-a-Chip)等の集積回路であってもよい。コントローラ11は、複数の集積回路を組み合わせて構成されてもよい。コントローラ11は、電子機器1の動作を統括的に制御して各種の機能を実現する。
電子機器1が自動車に搭載されたカーナビゲーションシステムとして実現される場合、電子機器1が備えるコントローラ11は、例えば、自動車が備えるECU(Electric Control UnitまたはEngine Control Unit)により構成されていてもよい。
具体的にはコントローラ11は、ストレージ16に記憶されているデータを必要に応じて参照する。コントローラ11は、ストレージ16に記憶されているプログラムに含まれる命令を実行してディスプレイ14等の他の機能部を制御することによって各種機能を実現する。例えばコントローラ11は、ユーザによる接触のデータをタッチパネルから取得する。例えばコントローラ11は、近接センサ18が検出したユーザのジェスチャに関する情報を取得する。例えばコントローラ11は、アプリケーションの起動状況を把握する。
UVセンサ19は、太陽光等に含まれる紫外線(Ultraviolet)量を測定することができる。
照度センサ20は、当該照度センサ20に入射する周囲光の照度を検出する。
加速度センサ21は、電子機器1に働く加速度の方向および大きさを検出する。加速度センサ21は、例えばx軸方向、y軸方向およびz軸方向の加速度を検出する3軸(3次元)タイプである。加速度センサ21は、例えばピエゾ抵抗型であってもよいし、静電容量型であってもよい。
地磁気センサ22は地磁気の向きを検出して、電子機器1の向きを測定可能にする。
気圧センサ23は、電子機器1の外側の気圧(大気圧)を検出する。
ジャイロセンサ24は、電子機器1の角速度を検出する。コントローラ11は、ジャイロセンサ24により取得された角速度を時間積分することにより、電子機器1の向きの変化を測定することができる。
(ジェスチャによる電子機器の操作)
図2は、ユーザがジェスチャにより電子機器1を操作する様子を示す。図2において、電子機器1は一例として、ディスプレイ14が自動車のコンソールパネルに設置されている。代替例として、電子機器1は、自動車内に設けられた、電子機器1を支持するための支持具に支持されてもよい。近接センサ18がユーザのジェスチャを検出すると、コントローラ11は検出されたジェスチャに基づく処理を行う。図2の例では、ジェスチャに基づく処理は、例えばスピーカー25から出力されている音の音量の調整である。例えば、ユーザが電子機器1の長手方向上方へと手を動かすジェスチャを行うと、ユーザの手の動きに連動して音量が大きくなる。また、例えば、ユーザが電子機器1の長手方向下方へと手を動かすジェスチャを行うと、ユーザの手の動きに連動して音量が小さくなる。
ジェスチャに基づく処理は、音量の調整に限られない。ジェスチャに基づく処理は、検出したジェスチャに基づいて実行可能な他の処理であってもよい。例えば、ジェスチャに基づく処理は、ディスプレイ14に表示された情報の拡大または縮小、ディスプレイ14の表示の明るさの調整、所定の情報の音声による読み上げ開始、および、音声による読み上げの停止等を含んでもよい。
(ジェスチャを検出する方法)
ここで、図3および図4を参照しながら、コントローラ11が近接センサ18の出力に基づいてユーザのジェスチャを検出する方法を説明する。図3は、電子機器1を正面から見たときの近接センサ18の構成例を示す図である。近接センサ18は、光源用赤外LED180と、4つの赤外フォトダイオードSU,SR,SDおよびSLと、を有する。4つの赤外フォトダイオードSU,SR,SDおよびSLは、レンズ181を介して検出対象物からの反射光を検出する。4つの赤外フォトダイオードSU,SR,SDおよびSLは、レンズ181の中心から見て対称的に配置されている。ここで、図3に示される仮想線D1は電子機器1の長手方向と略平行であるとする。図3の仮想線D1上に、赤外フォトダイオードSUと赤外フォトダイオードSDとが離れて配置されている。そして、図3の仮想線D1の方向において、赤外フォトダイオードSRおよびSLは、赤外フォトダイオードSUと赤外フォトダイオードSDとの間に配置されている。
図4は、4つの赤外フォトダイオードSU,SR,SDおよびSLの検出対象物(例えばユーザの手等)が、図3の仮想線D1の方向に沿って移動したときの検出値の推移を例示する。ここで、仮想線D1の方向において、赤外フォトダイオードSUと赤外フォトダイオードSDとが最も離れている。そのため、図4に示すように、赤外フォトダイオードSUの検出値(破線)の変化(例えば上昇)と、赤外フォトダイオードSDの検出値(細い実線)の同じ変化(例えば上昇)との時間差が最も大きい。コントローラ11は、フォトダイオードSU,SR,SDおよびSLの検出値の所定の変化の時間差を把握することによって、検出対象物の移動方向を判定できる。
コントローラ11は、近接センサ18からフォトダイオードSU,SR,SDおよびSLの検出値を取得する。そして、コントローラ11は、例えば検出対象物の仮想線D1の方向への移動を把握するために、フォトダイオードSDの検出値からフォトダイオードSUの検出値を減算した値を所定の時間で積分してもよい。図4の例では、領域R41およびR42において積分値は非ゼロの値となる。この積分値の変化(例えば正値、ゼロ、負値の変化)から、コントローラ11は、仮想線D1の方向における検出対象物の移動を把握できる。
また、コントローラ11は、フォトダイオードSLの検出値からフォトダイオードSRの検出値を減算した値を所定の時間で積分してもよい。この積分値の変化(例えば正値、ゼロ、負値の変化)から、コントローラ11は、仮想線D1に直交する方向(電子機器1の短手方向に略平行な方向)における検出対象物の移動を把握できる。
代替例として、コントローラ11はフォトダイオードSU,SR,SDおよびSLの全ての検出値を用いて演算を行ってもよい。すなわち、コントローラ11は検出対象物の移動方向を、電子機器1の長手方向および短手方向の成分に分離して演算することなく把握してもよい。
検出されるジェスチャは例えば、左右のジェスチャ、上下のジェスチャ、斜めのジェスチャ、時計回りで円を描くジェスチャ、および反時計回りで円を描くジェスチャ等である。例えば左右へのジェスチャとは、電子機器1の短手方向と略平行な方向に行われるジェスチャである。上下のジェスチャとは、電子機器1の長手方向と略平行な方向に行われるジェスチャである。斜めのジェスチャとは、電子機器1と略平行な平面において、電子機器1の長手方向と短手方向とのいずれとも平行でない方向に行われるジェスチャである。
(カーモード)
図5は、ユーザがジェスチャにより電子機器1を操作する状況の一例を示す。図5に示すように、例えば電子機器1は、ディスプレイ14が自動車のコンソールパネルにおいて中央に位置するように、配置される。図5の例で、ユーザは、目的地までの経路を電子機器1のディスプレイ14に表示させた状態で、表示された経路を参照しながら、電子機器1が搭載された自動車に乗り込んで、当該自動車を運転している。このとき、近接センサ18はユーザのジェスチャを検出可能な状態である。コントローラ11は近接センサ18が検出したジェスチャに基づく処理を行う。
例えば、コントローラ11は特定のジェスチャ(例えばユーザが手を上下に動かすジェスチャ)に応じて電子機器1から出力させている音の音量を調整する処理が可能である。電子機器1は、タッチスクリーンディスプレイにおいて、ユーザからのタッチ入力を受け付け可能である。しかしながら、ユーザは、運転中にタッチ入力を行おうとすると、タッチスクリーンディスプレイに手を伸ばすことによってステアリングの操作を誤ったり、ディスプレイ14においてタッチ入力を行おうとする位置を確認するためにディスプレイ14に視線を移すことによって周囲の状況確認がおろそかになったりする可能性がある。この場合、自動車の運転の安全性が低下する可能性がある。これに対し、本実施形態のように電子機器1がジェスチャによる入力操作を受付可能な場合には、ユーザは電子機器1に触れることなく入力操作を行うことができる。これにより、ユーザが運転中に入力操作を行う場合であっても、運転の安全性を確保しやすくなる。
ここで、電子機器1はモードを複数有してよい。モードとは電子機器1の全体の動作について制限等を与える動作モード(動作状態または動作状況)を意味する。モードは同時に1つだけ選択可能である。本実施形態において、電子機器1のモードは第1モードおよび第2モードを含む。第1モードは、例えば運転以外の状況での使用に適している通常の動作モード(通常モード)である。運転以外の状況は、例えば、自動車のエンジンがかかっていない状態、シフトレバーが所定のレンジ(例えばパーキングレンジ)になっている状態、ブレーキが踏まれている状態、および、目的地までの経路の表示が行われていない状態のいずれかを含んでよい。第2モードは、目的地までの経路を電子機器1のディスプレイ14に表示させて自動車を運転するのに適した電子機器1の動作モード(カーモード)である。上記で説明したように、第2モードの場合には、ジェスチャによる入力が可能であることが好ましい。つまり、電子機器1のモードが第2モードに切り替わる場合には、連動して近接センサ18を動作させてジェスチャを検出可能にすることが好ましい。電子機器1は、例えばユーザによる電子機器1に対する所定の入力操作または自動車に対する所定の入力操作に基づいて、電子機器1のモードを切り替えてよい。
(ジェスチャの方向を決定する方法)
次に、電子機器1のコントローラ11による、ジェスチャの方向の決定処理について説明する。コントローラ11によるジェスチャの方向の決定処理は、例えば、電子機器1が上述したカーモードである場合に実行されてもよい。
電子機器1において、ジェスチャとして検出される方向は、予め定められていてよい。例えば、ジェスチャとして検出される方向は、上下方向および左右方向に定められていてよい。本実施形態では、説明を簡潔にするため、電子機器1においてジェスチャとして検出される方向が、上下方向および左右方向に定められているとして、以下説明する。すなわち、本実施形態では、以下、斜め方向のジェスチャについては考慮しない。ただし、これは本開示に係る電子機器1においてジェスチャとして検出される方向を限定するものではない。従って、電子機器1は、以下の説明と同様の方法で、斜め方向のジェスチャの検出を行ってもよい。
電子機器1においてジェスチャとして検出される方向が、上下方向および左右方向に定められている場合、電子機器1のコントローラ11は、ジェスチャを検出すると、検出したジェスチャが上下左右いずれの方向の操作であるかを決定する。コントローラ11は、例えば、検出したジェスチャが、上下方向の操作であるか、左右方向の操作であるかを決定できる。例えば、コントローラ11は、ジェスチャを検出すると、ジェスチャを上下方向の成分(移動量)と左右方向の成分(移動量)とに分解する。そして、コントローラ11は、上下方向の成分が左右方向の成分よりも大きい場合、ジェスチャが上下方向の操作であると決定する。反対に、コントローラ11は、左右方向の成分が上下方向の成分よりも大きい場合、ジェスチャが左右方向の操作であると決定できる。
コントローラ11は、例えば判定基準を用いて、ジェスチャの方向を決定する。判定基準は、ジェスチャの方向を決定するための基準であり、例えば予めストレージ16に記憶されていてよい。
図6は、判定基準を用いた、ジェスチャの方向の決定方法について説明するための概念図である。図6では、直交座標系が設定されており、x軸が左右方向、y軸が上下方向にそれぞれ対応付けられている。判定基準は、図6に一例として示すように、2つの直線L1およびL2により構成される。以下、本明細書において、角度について言及する場合には、x軸正方向を基準(0度)とし、反時計回りを角度の正方向とする。従って、y軸正方向は、90度である。
図6に示す判定基準では、直線L1は45度、直線L2は−45度(つまり135度)に設定されている。つまり、図6に示す判定基準では、直線L1と直線L2とは、直交している。直線L1と直線L2とにより区分される4つの領域が、それぞれ、上方向、下方向、右方向および左方向に対応付けられている。具体的には、2つの直線L1およびL2によって区分される4つの領域のうち、−45度から45度の領域が右方向、45度から135度の領域が上方向、135度から225度の領域が左方向、225度から315度の領域が下方向に対応付けられている。図6に示された判定基準を、本明細書において、以下、「標準判定基準」とも称する。
コントローラ11は、近接センサ18からの出力(検出値)に基づいて、ジェスチャが示すベクトルの方向を算出し、判定基準を用いて、算出したベクトルがいずれの方向を示すかを判定する。例えば、コントローラ11は、近接センサ18からの出力に基づいて算出したジェスチャのベクトルが、図6の矢印A1に示すように90度の方向である場合、図6の標準判定基準を用いて、当該ジェスチャが上方向のジェスチャであると判定できる。また、例えば、コントローラ11は、近接センサ18からの出力に基づいて算出したジェスチャのベクトルが、図6の矢印A2に示すように30度の方向である場合、図6の標準判定基準を用いて、当該ジェスチャが右方向のジェスチャであると判定できる。
ところで、標準判定基準を用いてジェスチャの方向が判定される場合、ユーザのジェスチャは、ユーザが意図する方向のジェスチャとして判定されない場合がある。例えば、図5に示すように、進行方向に向かって、ディスプレイ14および近接センサ18がコンソールパネルの中央に配置され、運転席が右側に配置されているとする。例えば、運転席に座ったユーザがジェスチャによる入力を行うに際し、上方向の操作を行うことを意図して、手を下方向から上方向に動かすジェスチャを行うとする。自動車内において、運転席は進行方向に向かって右側に配置され、近接センサ18は中央に配置されているため、運転席に座るユーザがジェスチャによる入力を行う場合、ユーザは左手でジェスチャを行うのが自然である。このとき、人体の構造上、左手の手のひらは、図7に手の動きを矢印A3で模式的に示すように、左手の肘または肩を軸として弧を描くように移動する。この場合、ユーザが行ったジェスチャは、ユーザが意図した上方向の成分と、手のひらが弧を描いたことにより生じる右方向の成分とを有する。
矢印A3で模式的に示すジェスチャが行われた場合、コントローラ11は、当該ジェスチャを検出した近接センサ18からの出力に基づいて、当該ジェスチャが示すベクトルの方向を算出する。具体的には、コントローラ11は、近接センサ18からの出力に基づいて、上方向の成分と右方向の成分との大きさを算出し、上方向の成分および右方向の成分の大きさから、ジェスチャが示すベクトルの方向(つまり図7の矢印A4で模式的に示す方向)を算出する。コントローラ11は、算出したベクトルの方向に基づき、判定基準を用いて、ジェスチャの方向を決定する。
矢印A3で模式的に示すジェスチャにおいて、上方向の成分より右方向の成分の方が大きい場合、ジェスチャが示すベクトルの方向は、45度未満となる。この場合、コントローラ11が標準判定基準を用いてジェスチャが示すベクトルの方向を決定すると、ジェスチャは、右方向へのジェスチャであると決定される。しかしながら、当該ジェスチャにおいて、ユーザが意図したのは上方向の操作であるため、コントローラ11が右方向のジェスチャであると決定して、右方向の処理を行うと、誤操作となる。
本実施形態に係る電子機器1のコントローラ11は、運転席の位置に応じてユーザが自機器(電子機器1)を操作する手を決定し、決定したユーザが操作する手に応じて、ユーザのジェスチャの方向を決定する。これにより、上述のような誤操作を防止しやすくする。具体的には、本実施形態に係る電子機器1のコントローラ11は、電子機器1が搭載された自動車において、運転席の位置を決定し、決定した運転席の位置に応じてユーザが自機器を操作する手を決定する。さらに、電子機器1のコントローラ11は、決定した自機器を操作する手に応じて、ジェスチャの方向を判定するための判定基準を決定し、決定した判定基準を用いてジェスチャの方向を決定する。これにより、電子機器1は、誤操作を防止しやすくなる。本実施形態に係る電子機器1のコントローラ11が実行する制御の詳細について説明する。
(運転席の位置の決定方法)
コントローラ11は、電子機器1が搭載された自動車において、運転席の位置を決定する。例えば、一例として図8に示すように、自動車30は、進行方向に向かって、前列および後列にそれぞれ2つの座席を備え、右側および左側にそれぞれ2つの座席を備えるとする。すなわち、自動車30は、前列右側、前列左側、後列右側、および後列左側に、それぞれ座席31ないし33を備える。また、自動車30には、前列の前方側の中央に、ディスプレイ14および近接センサ18が配置されている。コントローラ11は、例えば、図8に示す自動車30において、座席31ないし33のいずれが運転席であるかを決定する。コントローラ11は、ここで説明する方法の1つを用いて、または2つ以上を組み合わせて、運転席の位置を決定できる。
なお、ここで、運転席は、自動車30の運転を行うユーザが座る座席をいう。自動車30がステアリングを備え、ユーザがステアリングを操作して運転を行う場合、運転席はステアリングが配置された位置の正面の座席である。通常は、自動車30のステアリングは前列のいずれかの座席の正面に配置されるため、前列右側の座席31または前列左側の座席32が運転席の位置として決定される。
例えば、コントローラ11は、予めストレージ16に記憶された情報に基づいて、運転席の位置を決定してよい。例えば、電子機器1が予め自動車30に備え付けられている場合、ストレージ16には、運転席の位置に関する情報が記憶されていてよい。あるいは、ユーザが電子機器1に対して入力操作を行うことにより、運転席の位置に関する情報を入力した場合、ストレージ16には、運転席の位置に関する情報が記憶されていてよい。この場合、コントローラ11は、ストレージ16に記憶された運転席の位置に関する情報に基づいて、運転席の位置を決定できる。
例えば、コントローラ11は、カメラ13で撮像した画像に基づいて、運転席の位置を決定してもよい。具体的には、コントローラ11は、ジェスチャに基づく制御を実行する場合(例えば電子機器1が第1の動作モードである場合)に、カメラ13を起動する。カメラ13は、ディスプレイ14の正面側、つまり自動車30の内部を撮像する。コントローラ11は、カメラ13が撮像した画像を解析して、ステアリングの正面の座席の位置を、運転席の位置と決定してよい。コントローラ11は、カメラ13が撮像した画像を解析して、ステアリングの正面の座席にユーザが映り込んでいる場合に、当該座席の位置を、運転席の位置と決定してもよい。コントローラ11は、運転席の位置を決定した場合、カメラ13の動作を停止してもよい。これにより、コントローラ11は、カメラ13による消費電力を抑えることができる。
例えば、コントローラ11は、各座席31ないし34に圧力センサが設けられている場合、圧力センサの出力に基づいて、運転席の位置を決定してもよい。圧力センサは、例えば、各座席31ないし34において、ユーザが座ったときに荷重がかかる座面の下に設けられていてよい。圧力センサは、各座席31ないし34の座面にかかる圧力を検出する。コントローラ11は、ユーザが自動車に乗り込んで座席に座ったときに、当該座席に配置された圧力センサからの出力に基づいて、ユーザが座った座席を特定することができる。コントローラ11は、ユーザが座った座席の位置を、運転席の位置と決定してよい。この方法は、例えば、自動車に乗り込む人がユーザ1人の場合に用いることができる。
例えば、コントローラ11は、電子機器1に電源が供給された後に最初にジェスチャが検出された方向に基づいて、運転席の位置を決定してもよい。ユーザは、電子機器1を使用するために、電子機器1の電源をオンにしたり、自動車のエンジンをかけることによって電子機器1に電源が供給されたりした後、電子機器1を操作するために、手を近づける。この場合、ユーザの手は、ユーザが座っている座席の方向から伸びてくる。つまり、ユーザが進行方向に向かって右側に座っていれば、ユーザの手は、進行方向に向かって近接センサ18の右側から伸びてくる。反対に、ユーザが進行方向に向かって左側に座っていれば、ユーザの手は、進行方向に向かって近接センサ18の左側から伸びてくる。そこで、電子機器1は、近接センサ18によって最初にジェスチャを検出した方向に、ユーザが存在すると判定することができる。自動車30を運転するに際して、電子機器1の操作を行おうとするユーザは、通常、当該自動車30を運転するユーザであると考えられるため、コントローラ11は、最初にジェスチャを検出した方向に、運転席の位置があると決定することができる。
例えば、コントローラ11は、各座席31ないし34の正面に人感センサが設けられている場合、人感センサの出力に基づいて、運転席の位置を決定してもよい。人感センサは、例えば、赤外線を利用して周囲の温度変化を感知することにより、座席31ないし34にユーザが座ったか否かを検出するものであってよい。コントローラ11は、ユーザが自動車に乗り込んで座席に座ったときに、当該座席の正面に配置された人感センサからの出力に基づいて、ユーザが座った座席を特定することができる。コントローラ11は、ユーザが座った座席の位置を、運転席の位置と決定してよい。この方法は、例えば、自動車に乗り込む人がユーザ1人の場合に用いることができる。
例えば、コントローラ11は、自動車30のドアの開閉に基づいて、運転席の位置を決定してもよい。例えば、自動車30は、各座席31ないし34の近くに、それぞれ1つずつドアを備えるとする。具体的には、自動車30は、前列右側の座席31の右側、前列左側の座席32の左側、後列右側の座席33の右側、および後列左側の座席34の左側に、それぞれ1つのドアを備えるとする。また、各ドアには、開閉を検出するセンサが設けられているとする。コントローラ11は、開閉が行われたドアの最も近くの座席に、ユーザが座ると判定することができる。ユーザは、通常、座ろうとする座席の最も近くのドアから自動車30に乗り込むと考えられるためである。コントローラ11は、ユーザが座ると判定した座席の位置を、運転席の位置と決定してよい。この方法は、例えば、自動車に乗り込む人がユーザ1人の場合に用いることができる。
例えば、コントローラ11は、自動車30のドアのロックを解除した位置に基づいて、運転席の位置を決定してもよい。上述のように自動車30に複数のドアが設けられている場合、コントローラ11は、ロックの解除操作が行われたドアの最も近くの座席に、ユーザが座ると判定することができる。ユーザは、通常、座ろうとする座席の最も近くのドアにおいてロックを解除し、当該ドアから自動車30に乗り込むと考えられるためである。コントローラ11は、ユーザが座ると判定した座席の位置を、運転席の位置と決定してよい。この方法は、例えば、自動車に乗り込む人がユーザ1人の場合に用いることができる。
例えば、コントローラ11は、タッチスクリーンディスプレイを操作した手に基づいて、運転席の位置を決定してもよい。例えば、ユーザは、左右の指の指紋のデータを予め電子機器1のストレージ16に記憶させる。ユーザは、例えば、指紋のデータを登録するための入力操作を行って、指紋のデータを電子機器1のストレージ16に記憶させることができる。そして、コントローラ11は、自動車30の運転を行うに際して電子機器1に電源が供給された状態で、タッチスクリーンディスプレイにユーザの指が触れたときに、当該タッチスクリーンディスプレイに触れた指の指紋を読み取り、当該指がユーザの右手の指であるか、左手の指であるかを判定する。コントローラ11は、決定した手の方向(つまり右手であるか左手であるか)と反対側の座席が、ユーザが座っている座席であると判定する。例えば、ユーザが右側の座席に座っている場合には、ユーザは、中央に配置されたタッチスクリーンディスプレイに対して、左手でタッチ入力を行うことが想定される。そこで、コントローラ11は、タッチスクリーンディスプレイに触れた指がユーザの左手であると判定した場合、ユーザが右側の座席に座っていると判定する。反対に、ユーザが左側の座席に座っている場合には、ユーザは、中央に配置されたタッチスクリーンディスプレイに対して、右手でタッチ入力を行うことが想定される。そこで、コントローラ11は、タッチスクリーンディスプレイに触れた指がユーザの右手であると判定した場合、ユーザが左側の座席に座っていると判定する。コントローラ11は、ユーザが座っていると判定した座席の位置を、運転席の位置と決定してよい。
例えば、コントローラ11は、マイク15が検出した音に基づいて、運転席の位置を決定してもよい。例えば、コントローラ11は、マイク15が検出した音について、音が発生した方向を決定する。コントローラ11は、決定した音が発生した方向が、ユーザが存在する方向であると判定できる。そこで、コントローラ11は、音が発生した方向にある座席の位置を、運転席の位置と決定してよい。
(自機器を操作する手の決定方法)
コントローラ11は、運転席の位置に基づいて、ユーザが自機器を操作する手を決定する。ユーザが自機器を操作する手は、例えばユーザが自機器を操作するためにジェスチャを行う手であってよい。例えば、ユーザが自機器をジェスチャで操作するために、右手でジェスチャを行う場合、自機器を操作する手は、右手を意味する。反対に、ユーザが左手でジェスチャを行う場合、自機器を操作する手は、左手を意味する。
コントローラ11は、例えば、上述のようにして決定した運転席の位置とは左右反対側の手を、ユーザが自機器を操作する手として決定してよい。つまり、コントローラ11は、例えば、運転席の位置が進行方向に向かって右側にあると判定した場合には、左手を、自機器を操作する手として決定してよい。同様に、コントローラ11は、例えば、運転席の位置が進行方向に向かって左側にあると判定した場合には、右手を、自機器を操作する手として決定してよい。コントローラ11は、例えば電子機器1の近接センサ18がコンソールパネルの中央に配置されている場合に、このように自機器を操作する手を決定することで、ユーザが実際に電子機器1を操作する手を的確に決定しやすくなる。
なお、コントローラ11は、自動車内における近接センサ18の配置によっては、上述した方法とは異なる方法で、自機器を操作する手を決定してもよい。コントローラ11は、近接センサ18の位置と、運転席との位置関係に応じて、運転席に座るユーザがジェスチャ操作を行う可能性が高い方の手を、ユーザが自機器を操作する手として決定してよい。コントローラ11は、例えば、近接センサ18に近い方の手を、自機器を操作する手として決定してよい。
(判定基準に基づくジェスチャの決定方法)
コントローラ11は、例えば上述のようにして決定したユーザが自機器を操作する手に応じて、判定基準を決定する。すなわち、コントローラ11は、ユーザがジェスチャを行う手が決定されている状態で、当該ジェスチャを行う手に応じて、判定基準を決定する。
コントローラ11は、ジェスチャを行う手が左手である場合、左手の判定基準を用いてジェスチャの方向を判定する。左手の判定基準とは、左手による動作の性質を踏まえて、左手で操作を行った場合にユーザの意図に応じたジェスチャの方向の決定を行いやすい判定基準である。左手による動作の性質は、図7を参照して説明したように、例えば、上方向の操作に対して、右方向の成分が含まれやすくなるという性質を含む。左手による動作の性質は、例えば、下方向の操作に対して、図7を参照して説明したのと同様の理由により左方向の成分が含まれやすくなるという性質を含む。
図9は、左手の判定基準の一例を示す図である。左手の判定基準は、図9に一例として示すように、2つの直線L1RおよびL2Rにより構成される。直線L1RおよびL2Rは、それぞれ図9に破線で示される直線L1およびL2を、所定の角度右方向に回転させた直線である。図9では、所定の角度は20度である。つまり、図9に示す直線L1RおよびL2Rは、それぞれ直線L1およびL2を20度右方向に回転させた直線である。
図9に示す左手の判定基準では、2つの直線L1RおよびL2Rにより区分される4つの領域が、それぞれ、上方向、下方向、右方向および左方向に対応付けられる。具体的には、2つの直線L1RおよびL2Rによって区分される4つの領域のうち、−65度から25度の領域が右方向、25度から115度の領域が上方向、115度から205度の領域が左方向、205度から295度の領域が下方向に対応付けられる。
図9に示す左手の判定基準を用いた場合、コントローラ11は、近接センサ18からの出力に基づいて算出したジェスチャのベクトルが、矢印A1に示すように90度の方向である場合に、当該ジェスチャが上方向のジェスチャであると判定できる。また、コントローラ11は、近接センサ18からの出力に基づいて算出したジェスチャのベクトルが、矢印A2に示すように30度の方向である場合にも、当該ジェスチャが上方向のジェスチャであると判定できる。すなわち、矢印A2に示す30度の方向のジェスチャは、標準判定基準を用いると、右方向のジェスチャであると決定されるが、左手の判定基準を用いると、上方向のジェスチャであると決定される。
左手でジェスチャが行われる場合には、上述したように、上方向のジェスチャに対して、右方向の成分が含まれやすくなる。ユーザが上方向の操作を意図して行ったジェスチャに右方向の成分が含まれることによって当該ジェスチャが矢印A2に示す30度の方向のジェスチャであると判断された場合、コントローラ11は、標準判定基準を用いると、当該ジェスチャを右方向のジェスチャであると決定する。しかしながらユーザが意図したジェスチャは、上方向のジェスチャであるため、右方向のジェスチャであるとの決定は、誤操作の原因となる。これに対し、同じジェスチャであっても、コントローラ11は、左手の判定基準を用いた場合、当該ジェスチャを上方向のジェスチャであると決定する。そのため、左手の判定基準を用いることによって、コントローラ11は、ユーザの意図した制御を実行しやすくなる。そのため、電子機器1によれば、ジェスチャによる入力操作において誤操作を防止しやすくなる。
図10は、左手の判定基準の他の一例を示す図である。図10に示す左手の判定基準は、2つの直線L1RおよびL2により構成される。直線L1Rは、直線L1を、所定の角度(例えば20度)右方向に回転させた直線である。直線L2は、図6を参照して説明したものと同じ直線である。
図10に示す左手の判定基準では、2つの直線L1RおよびL2により区分される4つの領域が、それぞれ、上方向、下方向、右方向および左方向に対応付けられる。具体的には、2つの直線L1RおよびL2によって区分される4つの領域のうち、−45度から25度の領域が右方向、25度から135度の領域が上方向、135度から205度の領域が左方向、205度から315度の領域が下方向に対応付けられる。
コントローラ11は、図10に示す左手の判定基準を用いた場合においても、矢印A1に示す90度の方向のジェスチャを、上方向のジェスチャと判定し、矢印A2に示す30度の方向のジェスチャを、上方向のジェスチャと判定する。そのため、コントローラ11は、図10に示す左手の判定基準を用いた場合においても、図9に示した左手の判定基準を用いた場合と同様に、ユーザの意図した制御を実行しやすくなる。そのため、電子機器1によれば、ジェスチャによる入力操作において誤操作を防止しやすくなる。
左手でジェスチャを行う場合には、人体の構造上、上下左右のいずれの方向をユーザが意図してジェスチャを行った場合であっても、右下方向および左上方向の成分を含むジェスチャとして検出されにくい。そのため、左手の判定基準においても、右下方向から左上方向について境界を形成する直線L2については、図10の例で示すように、標準判定基準と同じ直線を用いることができる。
コントローラ11は、ジェスチャを行う手が右手である場合、右手の判定基準を用いてジェスチャの方向を判定する。右手の判定基準とは、右手による動作の性質を踏まえて、右手で操作を行った場合にユーザの意図に応じたジェスチャの方向の決定を行いやすい判定基準である。右手による動作の性質は、左手による動作に対して左右対称となる性質であり、例えば、上方向の操作に対して、左方向の成分が含まれやすくなるという性質を含む。右手による動作の性質は、例えば、下方向の操作に対して、右方向の成分が含まれやすくなるという性質を含む。
図11は、右手の判定基準の一例を示す図である。右手の判定基準は、図11に一例として示すように、2つの直線L1LおよびL2Lにより構成される。直線L1LおよびL2Lは、それぞれ図6に破線で示される直線L1およびL2を、所定の角度左方向に回転させた直線である。図11では、所定の角度は20度である。つまり、図11に示す直線L1LおよびL2Lは、それぞれ直線L1およびL2を20度左方向に回転させた直線である。
図11に示す右手の判定基準では、2つの直線L1LおよびL2Lにより区分される4つの領域が、それぞれ、上方向、下方向、右方向および左方向に対応付けられる。具体的には、2つの直線L1LおよびL2Lによって区分される4つの領域のうち、−25度から65度の領域が右方向、65度から155度の領域が上方向、155度から245度の領域が左方向、245度から335度の領域が下方向に対応付けられる。
コントローラ11は、図11に示す右手の判定基準を用いた場合、上記左手の判定基準に関して詳細に説明したのと同様の理由で、右手で行われたジェスチャについて、ユーザの意図した制御を実行しやすくなる。そのため、電子機器1によれば、ジェスチャによる入力操作において誤操作を防止しやすくなる。
図12は、右手の判定基準の他の一例を示す図である。図12に示す右手の判定基準は、2つの直線L1およびL2Lにより構成される。直線L2Lは、直線L2を、所定の角度(例えば20度)左方向に回転させた直線である。直線L1は、図6を参照して説明したものと同じ直線である。
図12に示す右手の判定基準では、2つの直線L1およびL2Lにより区分される4つの領域が、それぞれ、上方向、下方向、右方向および左方向に対応付けられる。具体的には、2つの直線L1およびL2Lによって区分される4つの領域のうち、−25度から45度の領域が右方向、45度から155度の領域が上方向、155度から225度の領域が左方向、225度から335度の領域が下方向に対応付けられる。
コントローラ11は、図12に示す右手の判定基準を用いた場合も、上記左手の判定基準に関して詳細に説明したのと同様の理由で、右手で行われたジェスチャについて、ユーザの意図した制御を実行しやすくなる。そのため、電子機器1によれば、ジェスチャによる入力操作において誤操作を防止しやすくなる。
図9から図12の説明においては、判定基準を構成する直線の回転角度(所定の角度)が20度である場合について説明したが、所定の角度は、20度に限られない。所定の角度は、ジェスチャの方向を、ユーザの意図した方向に決定しやすい任意の角度であってよい。
また、左手の判定基準および右手の判定基準は、図9から図12に示すものに限られない。左手の判定基準および右手の判定基準は、ジェスチャを行う手に応じて、ジェスチャの方向を、ユーザの意図した方向に決定しやすい任意の基準とすることができる。
(コントローラが実行する処理のフロー)
図13は、電子機器1のコントローラ11が実行する処理の一例を示すフローチャートである。
コントローラ11は、上記説明した方法により、自動車における運転席の位置を決定する(ステップS1)。
コントローラ11は、ステップS1で決定した運転席の位置に基づき、ユーザが自機器を操作する手、つまりジェスチャを行う手を決定する(ステップS2)。
コントローラ11は、ステップS2によりジェスチャを行う手が決定した状態で、ジェスチャを行う手に基づいて、ジェスチャの方向の決定のために用いる判定基準を決定する(ステップS3)。
コントローラ11は、近接センサ18からの出力を取得する(ステップS4)。
コントローラ11は、ステップS4で取得した近接センサ18からの出力に基づいて、ステップS3で決定した判定基準を用いて、ジェスチャの方向を決定する(ステップS5)。
コントローラ11は、ステップS5で決定したジェスチャの方向に応じて、制御を行う(ステップS6)。
以上説明したように、本実施形態に係る電子機器1は、運転席の位置に応じてユーザがジェスチャを行う手を決定し、決定したユーザがジェスチャを行う手に応じて、近接センサ18からの出力に基づいて、ユーザのジェスチャの方向を決定する。そのため、電子機器1は、ユーザのジェスチャを、ユーザが意図する操作として検出しやすくなる。これにより、ジェスチャによる入力操作において誤操作を防止しやすくなる。また、仮に運転中にジェスチャによる入力操作において誤操作が発生した場合、自動車を運転しているユーザは、入力された操作に基づく処理の内容を把握するために、視線をディスプレイ14に移す可能性があるが、誤操作を防止することにより、このようにユーザの視線がディスプレイ14に向けられることを防止しやすくなる。そのため、ユーザは、運転に集中しやすくなり、運転の安全性が向上する。
(その他の実施形態)
本発明を図面および実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形および修正を行うことが容易であることに注意されたい。したがって、これらの変形および修正は本発明の範囲に含まれることに留意されたい。例えば、各手段または各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段またはステップ等を1つに組み合わせたり、或いは分割したりすることが可能である。
上記の実施形態では、ジェスチャは、近接センサ18により検出されると説明したが、必ずしも近接センサ18により検出されなくてもよい。ジェスチャは、自機器に触れずにユーザのジェスチャを検出可能な任意のセンサにより検出されてもよい。このようなセンサの一例は、例えば、カメラ13等を含む。
自機器に触れずにユーザのジェスチャを検出可能なセンサは、例えば測距センサを含んでよい。例えば、電子機器1は、近接センサ18に代えて、又は近接センサ18とともに、測距センサを含み、測距センサにより、ジェスチャを検出してもよい。
測距センサは、対象物との距離を測定可能なセンサである。測距センサは、例えばToF(Time of Flight)センサにより構成されていてよい。ToFセンサとして構成される測距センサは、正弦波変調光(赤外レーザ光)を対象物に向けて照射する発光部と、照射された赤外レーザ光の対象物からの反射光を受光する受光部とを備える。受光部は、例えば複数の受光素子を配置したイメージセンサを有する。ToFセンサは、赤外レーザ光を照射してから、各受光素子で反射光を受光するまでの時間(飛行時間)を測定する。ToFセンサは、照射した赤外レーザ光と、受光した反射光との位相差に基づき、飛行時間を測定できる。ToFセンサは、測定した飛行時間に基づき、照射した赤外レーザ光を反射した対象物までの距離を測定できる。ToFセンサは、対象物からの反射光が複数の受光素子それぞれに入射する時間差により対象物の移動方向を検出することができる。これにより、ToFセンサも、近接センサ18で説明した原理と同様の原理で、ユーザが行うジェスチャを検出することができる。測距センサは、電子機器1において、例えば近接センサ18が配置された面と同じ面に配置されてよい。
ここで、図14から図16を参照しながら、コントローラ10が測距センサの出力に基づいてユーザのジェスチャを検出する方法を説明する。図14は、測距センサ26を模式的に示す図である。図14は、側面視における測距センサ26を示している。測距センサ26は、発光部26aと受光部26bとを備える。発光部26a及び受光部26bは、電子機器1の長手方向と略平行に配置されているとする。発光部26aは、赤外レーザ光を対象物に向けて照射する。受光部26bは、照射された赤外光の対象物からの反射光を受光する。
受光部26bは、複数の受光素子を備えていてよい。例えば、受光部26bは、図15に示すように、3行×3列に配置された9つの受光素子を備えていてよい。9つの受光素子は、それぞれ対象物からの反射光を受光する。受光部26bにおいて、上段には、電子機器1の短手方向と略平行に、左から順にCh11、Ch12及びCh13の3つの受光素子が配置されている。受光部26bにおいて、中段には、電子機器1の短手方向と略平行に、左から順にCh21、Ch22及びCh23の3つの受光素子が配置されている。受光部26bにおいて、下段には、電子機器1の短手方向と略平行に、左から順にCh31、Ch32及びCh33の3つの受光素子が配置されている。
測距センサ26は、発光部26aが照射した赤外レーザ光と、受光部26bの9つの受光素子がそれぞれ受光した反射光との位相差に基づき、9つの受光素子それぞれから対象物までの距離を測定できる。測距センサ26は、9つの受光素子それぞれから対象物までの距離と、時間経過に伴う距離の変化に基づいて、ジェスチャを検出することができる。
例えば、ユーザが手を左から右に動かすジェスチャを行ったとする。このとき、例えば中段の受光素子Ch21、Ch22及びCh23により検出される、対象物までの距離をそれぞれD21、D22及びD23とする。図16は、各受光素子により検出される対象物までの距離の推移を模式的に示す図である。例えば図16に模式的に示すように、まず、対象物である手が最初に左側に配置された受光素子Ch21に近づくため、受光素子Ch21により検出される対象物の距離D21が近くなる。その後、対象物である手が中央に配置された受光素子Ch22に近づくと、受光素子Ch22により検出される対象物の距離D22が近くなる。最後に、対象物である手が右側に移動すると、右側に配置された受光素子Ch23により検出される対象物の距離D23が近くなる。各受光素子Ch21、Ch22及びCh23に近づいた手が遠ざかる順序も、Ch21、Ch22、Ch23の順である。そのため、距離D21、D22及びD23は、この順序で大きくなる(初期値に戻る)。上下方向のジェスチャも、同様の原理により、例えば長手方向に配置された受光素子Ch12、Ch22及びCh32を用いて検出することができる。このように、測距センサ26は、9つの受光素子それぞれから対象物までの距離と、時間経過に伴う距離の変化に基づいて、ジェスチャを検出することができる。
なお、ここでは、受光部26bが9つの受光素子を備えるとして説明したが、受光部26bが備える受光素子の数量はこれに限られない。複数の受光素子の配置も図15に示す配置に限られない。受光部26bが備える受光素子の数量及びその配置は、検出するジェスチャの種類に応じて、適宜定められてよい。
また、測距センサ26の発光部26aは、複数の発光素子を備えていてもよい。この場合、各発光素子から発光される赤外レーザ光と、受光部26bが受光する反射光との位相差に基づき、9つの発光素子それぞれから対象物までの距離を測定できる。この場合においても、測距センサ26は、9つの発光素子それぞれから対象物までの距離と、時間経過に伴う距離の変化に基づいて、上述の原理を応用することにより、ジェスチャを検出することができる。
上記実施形態において、コントローラ11は、決定した運転席の位置に応じて、近接センサ18によるジェスチャの検出範囲を変更してよい。ジェスチャの検出範囲は、近接センサ18により検出可能な方向を含んでよい。例えば、コンソールパネルにおいて近接センサ18が左右方向に可動に設けられているとする。コントローラ11は、決定した運転席の方向に、近接センサ18を向けるように制御してもよい。つまり、例えば、コントローラ11は、運転席が進行方向に向かって右側であると判定した場合、近接センサ18を進行方向に向かって右側に向けてよい。同様に、コントローラ11は、運転席が進行方向に向かって左側であると判定した場合、近接センサ18を進行方向に向かって左側に向けてよい。近接センサ18は、ジェスチャを検出可能な視野角が限られているため、ユーザがジェスチャを行っても、近接センサ18の検出可能範囲外である場合には、ユーザのジェスチャは検出されない。しかしながら、近接センサ18の検出範囲を変更し、例えば、ユーザが座っている運転席の方向に近接センサ18の検出範囲を向けることにより、近接センサ18は、ユーザのジェスチャを、より検出しやすくなる。近接センサ18がユーザのジェスチャを検出しやすくなることによって、ユーザにとってはジェスチャによる入力が見落とされにくくなるため、より運転に集中しやすくなる。そのため、運転の安全性が向上する。
本開示内容の多くの側面は、プログラム命令を実行可能なコンピュータシステムその他のハードウェアにより実行される、一連の動作として示される。コンピュータシステムその他のハードウェアには、例えば、汎用コンピュータ、PC(パーソナルコンピュータ)、専用コンピュータ、ワークステーション、PCS(Personal Communications System、パーソナル移動通信システム)、移動(セルラー)電話機、データ処理機能を備えた移動電話機、RFID受信機、ゲーム機、電子ノートパッド、ラップトップコンピュータ、GPS(Global Positioning System)受信機またはその他のプログラム可能なデータ処理装置が含まれる。各実施形態では、種々の動作または制御方法は、プログラム命令(ソフトウェア)で実装された専用回路(例えば、特定機能を実行するために相互接続された個別の論理ゲート)、一以上のプロセッサにより実行される論理ブロックおよび/またはプログラムモジュール等により実行されることに留意されたい。論理ブロックおよび/またはプログラムモジュール等を実行する一以上のプロセッサには、例えば、一以上のマイクロプロセッサ、CPU(中央演算処理ユニット)、ASIC(Application Specific Integrated Circuit)、DSP(Digital Signal Processor)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子機器、ここに記載する機能を実行可能に設計されたその他の装置および/またはこれらいずれかの組合せが含まれる。ここに示す実施形態は、例えば、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコードまたはこれらいずれかの組合せにより実装される。命令は、必要なタスクを実行するためのプログラムコードまたはコードセグメントであってもよい。そして、命令は、機械読取り可能な非一時的記憶媒体その他の媒体に格納することができる。コードセグメントは、手順、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラスまたは命令、データ構造もしくはプログラムステートメントのいずれかの任意の組合せを示すものであってもよい。コードセグメントは、他のコードセグメントまたはハードウェア回路と、情報、データ引数、変数または記憶内容の送信および/または受信を行い、これにより、コードセグメントが他のコードセグメントまたはハードウェア回路と接続される。
ここで用いられるストレージ16は、さらに、ソリッドステートメモリ、磁気ディスクおよび光学ディスクの範疇で構成されるコンピュータ読取り可能な有形のキャリア(媒体)として構成することができる。かかる媒体には、ここに開示する技術をプロセッサに実行させるためのプログラムモジュール等のコンピュータ命令の適宜なセットまたはデータ構造が格納される。コンピュータ読取り可能な媒体には、一つ以上の配線を備えた電気的接続、磁気ディスク記憶媒体、磁気カセット、磁気テープ、その他の磁気および光学記憶装置(例えば、CD(Compact Disk)、レーザーディスク(登録商標)、DVD(登録商標)(Digital Versatile Disc)、フロッピー(登録商標)ディスクおよびブルーレイディスク(登録商標))、可搬型コンピュータディスク、RAM(Random Access Memory)、ROM(Read-Only Memory)、EPROM(Erasable Programmable Read-Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)もしくはフラッシュメモリ等の書換え可能でプログラム可能なROMもしくは情報を格納可能な他の有形の記憶媒体またはこれらいずれかの組合せが含まれる。メモリは、プロセッサまたはプロセッシングユニットの内部および/または外部に設けることができる。ここで用いられるように、「メモリ」という語は、あらゆる種類の長期記憶用、短期記憶用、揮発性、不揮発性またはその他のメモリを意味する。つまり、「メモリ」は特定の種類および/または数に限定されない。また、記憶が格納される媒体の種類も限定されない。
1 電子機器
11 コントローラ
12 タイマー
13 カメラ
14 ディスプレイ
15 マイク
16 ストレージ
17 通信ユニット
18 近接センサ
19 UVセンサ
20 照度センサ
21 加速度センサ
22 地磁気センサ
23 気圧センサ
24 ジャイロセンサ
25 スピーカー
26 測距センサ
26a 発光部
26b 受光部
30 自動車
31、32、33、34 座席
180 光源用赤外LED
181 レンズ
SU,SR,SD,SL フォトダイオード

Claims (12)

  1. 自機器に触れずにジェスチャを検出するセンサと、
    運転席の位置に応じてユーザが操作する手を決定し、前記ユーザが操作する手に応じて、前記センサからの出力に基づいて、ジェスチャの方向を決定するコントローラと、
    を備える電子機器。
  2. 前記コントローラは、前記運転席の位置とは反対側の手を、前記ユーザが操作する手として決定する、請求項1に記載の電子機器。
  3. 前記コントローラは、当該電子機器に電源が供給された後に最初にジェスチャが検出された方向に基づいて、前記運転席の位置を決定する、請求項1または請求項2に記載の電子機器。
  4. 前記コントローラは、前記最初にジェスチャが検出された方向に前記運転席の位置があると決定する、請求項3に記載の電子機器。
  5. 前記コントローラは、前記運転席の位置に応じて、前記センサによるジェスチャの検出範囲を変更する、請求項1乃至請求項4のいずれか一項に記載の電子機器。
  6. 前記コントローラは、前記ユーザが操作する手に応じて、前記ジェスチャの方向を判定するための判定基準を決定し、該決定した判定基準を用いて、前記ジェスチャの方向を決定する、請求項1乃至請求項5のいずれか一項に記載の電子機器。
  7. 前記コントローラは、前記操作する手が右手である場合に、右手の判定基準を用いて前記ジェスチャの方向を決定する、請求項6に記載の電子機器。
  8. 前記コントローラは、前記操作する手が左手である場合に、左手の判定基準を用いて前記ジェスチャの方向を決定する、請求項6に記載の電子機器。
  9. 請求項1乃至請求項8のいずれか一項に記載の電子機器を備える、移動体。
  10. 請求項1乃至請求項8のいずれか一項に記載の電子機器と通信可能に接続された、移動体。
  11. 自機器に触れずにジェスチャを検出するセンサと、コントローラと、を備える電子機器に、
    運転席の位置に応じてユーザが操作する手を決定するステップと、
    前記ユーザが操作する手に応じて、前記センサからの出力に基づいて、ジェスチャの方向を決定するステップと
    を実行させるプログラム。
  12. 自機器に触れずにジェスチャを検出するセンサと、コントローラと、を備える電子機器が実行する制御方法であって、
    運転席の位置に応じてユーザが操作する手を決定するステップと、
    前記ユーザが操作する手に応じて、前記センサからの出力に基づいて、ジェスチャの方向を決定するステップと
    を含む制御方法。
JP2018024137A 2018-02-14 2018-02-14 電子機器、移動体、プログラムおよび制御方法 Pending JP2019139633A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018024137A JP2019139633A (ja) 2018-02-14 2018-02-14 電子機器、移動体、プログラムおよび制御方法
US16/968,252 US11307669B2 (en) 2018-02-14 2019-02-07 Electronic device, moving body, program and control method
PCT/JP2019/004489 WO2019159818A1 (ja) 2018-02-14 2019-02-07 電子機器、移動体、プログラムおよび制御方法
EP19754110.5A EP3754460A4 (en) 2018-02-14 2019-02-07 ELECTRONIC DEVICE, MOVABLE BODY, PROGRAM AND CONTROL PROCEDURE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018024137A JP2019139633A (ja) 2018-02-14 2018-02-14 電子機器、移動体、プログラムおよび制御方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018186914A Division JP2019139738A (ja) 2018-10-01 2018-10-01 電子機器、移動体、プログラムおよび制御方法

Publications (1)

Publication Number Publication Date
JP2019139633A true JP2019139633A (ja) 2019-08-22

Family

ID=67619408

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018024137A Pending JP2019139633A (ja) 2018-02-14 2018-02-14 電子機器、移動体、プログラムおよび制御方法

Country Status (4)

Country Link
US (1) US11307669B2 (ja)
EP (1) EP3754460A4 (ja)
JP (1) JP2019139633A (ja)
WO (1) WO2019159818A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019163503A1 (ja) * 2018-02-22 2019-08-29 京セラ株式会社 電子機器、制御方法およびプログラム
JP7174817B1 (ja) * 2021-07-30 2022-11-17 功憲 末次 不適切使用抑制システムおよび不適切使用抑制プログラム
FR3127612A1 (fr) * 2021-09-29 2023-03-31 Afi Centrifuge moyen de commande par reconnaissance gestuelle, destiné à équiper des appareils de laboratoire
US12001535B2 (en) * 2022-02-07 2024-06-04 Ford Global Technologies, Llc Vehicle control panel with passenger detection for function enablement

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012178161A (ja) * 2006-03-22 2012-09-13 Volkswagen Ag <Vw> 対話型操作装置および対話型操作装置を動作させるための方法
WO2014073403A1 (ja) * 2012-11-08 2014-05-15 アルプス電気株式会社 入力装置
JP2014119295A (ja) * 2012-12-14 2014-06-30 Clarion Co Ltd 制御装置、及び携帯端末
JP2015052982A (ja) * 2013-09-09 2015-03-19 パイオニア株式会社 表示制御装置
JP2017114191A (ja) * 2015-12-22 2017-06-29 クラリオン株式会社 車載装置
JP2017119508A (ja) * 2017-01-30 2017-07-06 パナソニックIpマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
JP2017224161A (ja) * 2016-06-15 2017-12-21 株式会社東海理化電機製作所 ジェスチャ判定装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3752246B2 (ja) * 2003-08-11 2006-03-08 学校法人慶應義塾 ハンドパターンスイッチ装置
JP5080383B2 (ja) * 2008-06-25 2012-11-21 スリーエム イノベイティブ プロパティズ カンパニー 操作者識別装置、操作者識別方法及び車載装置
JP2011169860A (ja) 2010-02-22 2011-09-01 Toyota Motor Corp カーナビゲーションシステム
JP5916566B2 (ja) * 2012-08-29 2016-05-11 アルパイン株式会社 情報システム
US9411925B2 (en) * 2014-04-14 2016-08-09 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Simultaneously viewing multi paired schematic and layout windows on printed circuit board (PCB) design software and tools
KR101537936B1 (ko) 2013-11-08 2015-07-21 현대자동차주식회사 차량 및 그 제어방법
US10156906B2 (en) * 2014-10-13 2018-12-18 Honda Motor Co., Ltd. Systems and methods for distinguishing gestures
JP2017059103A (ja) * 2015-09-18 2017-03-23 パナソニックIpマネジメント株式会社 判定装置、判定方法、判定プログラムおよび記録媒体
US9990044B2 (en) * 2015-10-30 2018-06-05 Intel Corporation Gaze tracking system
EP3737579B1 (en) * 2018-01-09 2023-06-28 Motherson Innovations Company Limited Autonomous vehicles and methods of using same
US11024193B1 (en) * 2018-03-06 2021-06-01 Eureka Saxton Interactive driver test administration systems
WO2020003914A1 (ja) * 2018-06-26 2020-01-02 京セラ株式会社 電子機器、移動体、プログラムおよび制御方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012178161A (ja) * 2006-03-22 2012-09-13 Volkswagen Ag <Vw> 対話型操作装置および対話型操作装置を動作させるための方法
WO2014073403A1 (ja) * 2012-11-08 2014-05-15 アルプス電気株式会社 入力装置
JP2014119295A (ja) * 2012-12-14 2014-06-30 Clarion Co Ltd 制御装置、及び携帯端末
JP2015052982A (ja) * 2013-09-09 2015-03-19 パイオニア株式会社 表示制御装置
JP2017114191A (ja) * 2015-12-22 2017-06-29 クラリオン株式会社 車載装置
JP2017224161A (ja) * 2016-06-15 2017-12-21 株式会社東海理化電機製作所 ジェスチャ判定装置
JP2017119508A (ja) * 2017-01-30 2017-07-06 パナソニックIpマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両

Also Published As

Publication number Publication date
US20200371601A1 (en) 2020-11-26
EP3754460A1 (en) 2020-12-23
EP3754460A4 (en) 2021-09-22
US11307669B2 (en) 2022-04-19
WO2019159818A1 (ja) 2019-08-22

Similar Documents

Publication Publication Date Title
WO2019159818A1 (ja) 電子機器、移動体、プログラムおよび制御方法
WO2020003914A1 (ja) 電子機器、移動体、プログラムおよび制御方法
US10209832B2 (en) Detecting user interactions with a computing system of a vehicle
JP6293953B1 (ja) 電子機器、プログラムおよび制御方法
US10613638B2 (en) Electronic device
JP2019144955A (ja) 電子機器、制御方法およびプログラム
JP6163278B1 (ja) 電子機器、プログラムおよび制御方法
US20180061413A1 (en) Electronic device, control method, and computer code
US11354030B2 (en) Electronic device, control method, and program
JP6541910B1 (ja) 電子機器、制御方法、及びプログラム
JP2019139738A (ja) 電子機器、移動体、プログラムおよび制御方法
JP6557385B1 (ja) 電子機器、移動体、プログラムおよび制御方法
JP6557384B1 (ja) 電子機器、移動体、プログラムおよび制御方法
JP2019145094A (ja) 電子機器、制御方法およびプログラム
JP6568331B1 (ja) 電子機器、制御方法、及びプログラム
JP6471261B1 (ja) 電子機器、制御方法およびプログラム
JP6417062B1 (ja) 電子機器、制御方法およびプログラム
JP2020003474A (ja) 電子機器、移動体、プログラムおよび制御方法
JP6173625B1 (ja) 電子機器、プログラムおよび制御方法
US9848387B2 (en) Electronic device and display control method thereof
JP6637089B2 (ja) 電子機器、プログラムおよび制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180214

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180214

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180405

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180417

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180618

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181001

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20181001

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20181009

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20181016

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20181026

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20181030

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20190910

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20191029

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20191112

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20191210

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20191210