JP2018169756A - タッチ式操作システムとその作動方法および作動プログラム - Google Patents

タッチ式操作システムとその作動方法および作動プログラム Download PDF

Info

Publication number
JP2018169756A
JP2018169756A JP2017065952A JP2017065952A JP2018169756A JP 2018169756 A JP2018169756 A JP 2018169756A JP 2017065952 A JP2017065952 A JP 2017065952A JP 2017065952 A JP2017065952 A JP 2017065952A JP 2018169756 A JP2018169756 A JP 2018169756A
Authority
JP
Japan
Prior art keywords
touch
function
finger
lock
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017065952A
Other languages
English (en)
Inventor
岡部 雄生
Takeo Okabe
雄生 岡部
直樹 塚本
Naoki Tsukamoto
直樹 塚本
宇佐美 由久
Yoshihisa Usami
由久 宇佐美
祐介 北川
Yusuke Kitagawa
祐介 北川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2017065952A priority Critical patent/JP2018169756A/ja
Priority to PCT/JP2018/004611 priority patent/WO2018179907A1/ja
Priority to EP18776596.1A priority patent/EP3605303A4/en
Priority to TW107110215A priority patent/TW201841106A/zh
Publication of JP2018169756A publication Critical patent/JP2018169756A/ja
Priority to US16/582,979 priority patent/US20200019252A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547Touch pads, in which fingers can move on a surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2857User input or output elements for control, e.g. buttons, switches or displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/00469Display of information to the user, e.g. menus with enlargement of a selected area of the displayed information
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143Touch sensitive instrument input devices
    • B60K2360/1434Touch panels
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146Instrument input by gesture
    • B60K2360/1468Touch gesture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • B60K2360/199Information management for avoiding maloperation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】誤操作を防止しつつ、タッチセンサの操作ロックの解除および機能の実行に関わる煩わしさを解消することが可能なタッチ式操作システムとその作動方法および作動プログラムを提供する。
【解決手段】タッチパッド13は平面部40と半球状の凸型の立体部41とを有する。操作認識部75は、タッチパッド13の操作領域に対して行われたジェスチャ操作を認識する。操作有効性判定部76は、ジェスチャ操作が無効化される操作ロック時においても、立体部41の下部周縁41Aに対する回転スライド操作のみは有効な操作と判定する。操作ロック時に回転スライド操作がなされた場合、操作ロックが解除され、かつ同時にAP実行部71によって特定機能が実行される。
【選択図】図20

Description

本発明は、タッチ式操作システムとその作動方法および作動プログラムに関する。
タッチセンサを備えるタッチ式操作装置が普及している。タッチセンサは、ユーザが指を接触させてジェスチャ操作を行う操作領域を有する。こうしたタッチ式操作装置は、現在様々な機器に搭載されている。例えば特許文献1には、車載用のタッチ式操作装置が記載されている。特許文献1に記載のタッチ式操作装置は、全体的に平面状の操作領域を有するタッチセンサを備える。
特許文献1に記載のタッチ式操作装置には、自動車を手動運転しているときの操作領域への指の不用意な接触等による誤操作を防止する対策がなされている。具体的には、手動運転中は、停車中と比べて、操作強度、操作回数、操作点数(接触させる指の数)、操作距離(指を移動させる距離)、および操作時間(指を接触させる時間)のうちの少なくともいずれかが増した操作を、有効な操作と判定している。例えば操作強度の場合は、停車中は操作領域を軽く押し込む操作を有効な操作と判定するのに対し、手動運転中は操作領域を強く押し込む操作を有効な操作と判定する。操作回数の場合は、停車中は1本の指で操作領域をタップする操作(操作領域を指で叩く操作)を有効な操作と判定するのに対し、手動運転中は操作領域を複数本の指でタップする操作を有効な操作と判定する。
特開2013−022986号公報
一般に、タッチセンサへの誤操作を防止する方法としては、例えばスマートフォンに代表されるように、普段はタッチセンサに操作ロックを掛けておき、操作を行いたい場合に暗証番号を入力する等して操作ロックを解除する方法が多く採用されている。ただし、こうした方法では操作ロックの解除に相応の手間が掛かる。また、操作ロックが掛った状態から何らかの機能を実行するためには、操作ロックを解除したうえで、さらに機能を実行する操作をしなければならず、面倒であった。
特許文献1に記載のタッチ式操作装置では、手動運転中は停車中と比べてユーザに掛かる負担が増した操作を認識しているので、確かに誤操作を防止できるという効果はある。しかしながら、タッチセンサの操作ロックに関する記載はなく、当然ながら上記のタッチセンサの操作ロックの解除および機能の実行に関わる煩わしさを解消する方法も記載されていない。
本発明は、誤操作を防止しつつ、タッチセンサの操作ロックの解除および機能の実行に関わる煩わしさを解消することが可能なタッチ式操作システムとその作動方法および作動プログラムを提供することを目的とする。
上記課題を解決するために、本発明のタッチ式操作システムは、タッチ式操作装置と、タッチ式操作装置から入力される操作指示に応じた機能を実行する実行部とを備えるタッチ式操作システムにおいて、タッチ式操作装置は、ユーザが指を接触させてジェスチャ操
作を行う操作領域を有し、指の触覚で知覚される凹型の立体部および/または凸型の立体部が操作領域に設けられたタッチセンサであり、ジェスチャ操作を無効化する操作ロックがなされるタッチセンサと、操作領域に対して行われたジェスチャ操作を認識する操作認識部と、操作認識部で認識したジェスチャ操作が有効な操作であるか否かを判定する操作有効性判定部であり、操作ロック時においても、立体部に対する特定のジェスチャ操作であるロック時有効操作のみは有効な操作と判定する操作有効性判定部とを有し、操作ロック時にロック時有効操作がなされた場合、操作ロックが解除され、かつ同時に実行部によって特定の機能である特定機能が実行される。
ロック時有効操作に応じて操作ロックが解除されている間は、操作ロック時には無効な操作と判定されるジェスチャ操作であるロック時無効操作は、有効な操作とされることが好ましい。
実行部は、特定機能として、複数の機能に対応するメニュー項目の中から、1つのメニュー項目を選択するメニュー項目選択機能を実行することが好ましい。
操作領域は、平面部と、平面部に対して凹んだ凹型の立体部および/または平面部から突出した凸型の立体部とで構成されることが好ましい。
ロック時有効操作は、平面部と凹型の立体部との境界である凹型の立体部の開口縁および/または凹型の立体部の凹面に沿って指を移動させるスライド操作であることが好ましい。あるいは、ロック時有効操作は、平面部と凸型の立体部との境界である凸型の立体部の下部周縁および/または凸型の立体部に上面がある場合は上面の周縁に沿って指を移動させるスライド操作であることが好ましい。
ロック時有効操作は、凸型の立体部の形状で特定される凸型の立体部上の特定部位を指で2回連続して叩くダブルタップ操作であることが好ましい。
凹型の立体部は、複数の指が各々挿し入れられる複数の指孔と、複数の指孔に複数の指をそれぞれ案内する複数のガイド溝であり、ロック時有効操作は、ガイド溝を形成する凹面に沿って指を指孔に挿し入れるスライド操作であることが好ましい。この場合、実行部は、指が挿し入れられた指孔の個数または位置に応じて、特定機能を変更することが好ましい。
ロック時有効操作は、特定機能を表す文字を立体部上に指で書く文字書き操作であることが好ましい。
立体部は、球状、柱体状、錐台状のうちのいずれかの形状であることが好ましい。
ジェスチャ操作に対する報知音声をスピーカーから出力する制御を行う音声出力制御部を備えることが好ましい。
タッチセンサは少なくとも一部が透明であり、この透明部分に表示機能を有するタッチパネルディスプレイであることが好ましい。
被搭載機器が特定の動作状態で、かつ操作認識部でロック時有効操作が認識されていない間は、操作ロックが実行されることが好ましい。
被搭載機器は自動車であることが好ましい。この場合、特定の動作状態は、自動車の運転席に座るドライバが、ハンドルを手動で操作して走行している手動運転の状態であるこ
とが好ましい。また、機能は、カーナビゲーション、カーエアコン、およびカーオーディオのうちの少なくとも1つに関する機能であることが好ましい。
本発明のタッチ式操作システムの作動方法は、ユーザが指を接触させてジェスチャ操作を行う操作領域を有し、指の触覚で知覚される凹型の立体部および/または凸型の立体部が操作領域に設けられたタッチセンサであり、ジェスチャ操作を無効化する操作ロックがなされるタッチセンサを有するタッチ式操作装置を備えるタッチ式操作システムの作動方法であって、操作領域に対して行われたジェスチャ操作を認識する操作認識ステップと、操作認識ステップで認識したジェスチャ操作が有効な操作であるか否かを判定する操作有効性判定ステップであり、操作ロック時においても、立体部に対する特定のジェスチャ操作であるロック時有効操作のみは有効な操作と判定する操作有効性判定ステップと、操作ロック時にロック時有効操作がなされた場合、操作ロックを解除する操作ロック解除ステップと、タッチ式操作装置から入力される操作指示に応じた機能を実行する実行ステップであり、操作ロック時にロック時有効操作がなされた場合、操作ロック解除ステップと同時に特定の機能である特定機能を実行する実行ステップとを備える。
本発明のタッチ式操作システムの作動プログラムは、ユーザが指を接触させてジェスチャ操作を行う操作領域を有し、指の触覚で知覚される凹型の立体部および/または凸型の立体部が操作領域に設けられたタッチセンサであり、ジェスチャ操作を無効化する操作ロックがなされるタッチセンサを有するタッチ式操作装置を備えるタッチ式操作システムの作動プログラムであって、操作領域に対して行われたジェスチャ操作を認識する操作認識機能と、操作認識機能で認識したジェスチャ操作が有効な操作であるか否かを判定する操作有効性判定機能であり、操作ロック時においても、立体部に対する特定のジェスチャ操作であるロック時有効操作のみは有効な操作と判定する操作有効性判定機能と、操作ロック時にロック時有効操作がなされた場合、操作ロックを解除する操作ロック解除機能と、タッチ式操作装置から入力される操作指示に応じた機能を実行する実行機能であり、操作ロック時にロック時有効操作がなされた場合、操作ロック解除機能と同時に特定の機能である特定機能を実行する実行機能とを、コンピュータに実行させる。
本発明によれば、凹型の立体部および/または凸型の立体部を有するタッチセンサを用い、立体部に対するロック時有効操作に応じて、タッチセンサの操作ロックを解除し、かつ同時に特定機能を実行するので、操作ロックの解除と特定機能の実行とをワンアクションで同時に行うことができる。したがって、誤操作を防止しつつ、タッチセンサの操作ロックの解除および機能の実行に関わる煩わしさを解消することが可能なタッチ式操作システムとその作動方法および作動プログラムを提供することができる。
コンソールシステムの全体構成を示す概略図である。 地図表示画面を示す図である。 メニューバーが表示された地図表示画面を示す図である。 カーオーディオの音量調節が行われている様子を示す図である。 現在地表示から地図が移動された状態を示す図である。 半球状の凸型の立体部を有するタッチパッドの外観斜視図である。 タッチパッドの断面図である。 タッチパッドの平面図である。 タッチパッドの製造方法の説明図である。 回転スライド操作の説明図である。 タップ操作の説明図である。 ストローク操作の説明図である。 ピンチイン操作およびピンチアウト操作の説明図である。 スプレッド操作およびピックアップ操作の説明図である。 手動運転中における、音量調節を行う場合のジェスチャ操作の手順を示すフローチャートである。 コンソールデバイス制御部と主制御装置のブロック図である。 タッチパッド制御部のブロック図である。 操作認識用情報を示す図である。 操作有効性判定用情報を示す図である。 操作有効性判定部の処理を示す図である。 操作コマンド変換用情報を示す図である。 コンソールシステムの処理手順を示すフローチャートである。 円柱状の凸型の立体部を有するタッチパッドの外観斜視図である。 円錐台状の凸型の立体部を有するタッチパッドの外観斜視図である。 四角錐台状の凸型の立体部を有するタッチパッドの外観斜視図である。 四角錐台状の凹型の立体部を有するタッチパッドの外観斜視図である。 半球状の凸型の立体部と円環状の凹型の立体部を有するタッチパッドの外観斜視図である。 指孔およびガイド溝を有するタッチパッドの外観斜視図である。 指が挿し入れられた指孔の個数に応じた操作コマンドを記憶した操作コマンド変換用情報を示す図である。 指が挿し入れられた指孔の位置に応じた操作コマンドを記憶した操作コマンド変換用情報を示す図である。 ダブルタップ操作をロック時有効操作とする第2実施形態を示す図である。 文字書き操作をロック時有効操作とする第3実施形態を示す図である。 タッチパッドユニットを示す外観斜視図である。 半球状の凸型の立体部を有するタッチパネルの外観斜視図である。 第4実施形態のコンソールデバイス制御部のブロック図である。 操作に応じたタッチパネルの表示内容を示す表である。 掃除機の外観斜視図である。 掃除機の操作部の平面図であり、吸引レベルが選択された状態を示す。 掃除機の操作部の平面図であり、運転モードが選択された状態を示す。
[第1実施形態]
図1において、コンソールシステム10は、被搭載機器に相当する自動車のインストルメントパネル11に組み込まれる。コンソールシステム10は、自動車の走行経路を案内するカーナビゲーション(以下、カーナビと略す)アプリケーションプログラム(以下、AP(Application Program)と略す)、自動車内の空調を制御するカーエアコンAP、
音楽や映像を再生するカーオーディオAPといった各種車載AP67(図16参照)を操作するためのシステムである。コンソールシステム10は、タッチパネルディスプレイ(以下、単にタッチパネルと呼ぶ)12、タッチパッド13、スピーカー14、コンソールデバイス制御部15、および主制御装置16を備える。
インストルメントパネル11は、ダッシュボード17とセンターコンソール18とを含む。ダッシュボード17は、ハンドル19が配置される運転席20側から、助手席21側にわたって、Y軸(自動車の幅方向と平行な水平軸)方向に延びている。センターコンソール18は、運転席20と助手席21の間に配置され、上部18A、中央部18B、および下部18Cで構成される。
上部18Aはダッシュボード17の中央部と接続している。中央部18Bは、上部18Aと下部18Cとを接続する段差のない滑らかな曲面を有する。上部18Aおよび中央部18Bは、鉛直軸であるZ軸に対して自動車の前側に多少傾いている。下部18Cは、中央部18Bから略直角に折れ曲がり、Y軸およびZ軸と直交するX軸(自動車の長さ方向と平行な水平軸)に対して略平行である。上部18Aにはタッチパネル12が、下部18Cにはタッチパッド13がそれぞれ配されている。
タッチパネル12は、周知のようにタッチセンサの一種であり、液晶ディスプレイ、有機EL(Electroluminescence)ディスプレイ等の薄い平面状のディスプレイと、ディス
プレイ上に配置される、これも薄い平面状のタッチパッドとで構成される。タッチパネル12は、ディスプレイに各種画面を表示し、かつ各種画面に対するユーザの指の接触によるジェスチャ操作を認識する。なお、本実施形態では、ユーザは、運転席20に座る自動車のドライバである。
タッチパッド13は、タッチパネル12とは異なり表示機能は備えていないが、タッチパネル12と同じくタッチセンサの一種であり、ジェスチャ操作を認識する。タッチパッド13は、詳しくは後述するが、タッチパネル12のような平面状の二次元形状ではなく、立体部41(図6参照)が設けられた三次元形状を有している。
スピーカー14は、例えばダッシュボード17やドア(図示せず)に内蔵されている。スピーカー14は、カーナビAPの案内音声、カーオーディオAPの再生音声、タッチパネル12およびタッチパッド13を介したジェスチャ操作に対する報知音声等の各種音声を出力する。ジェスチャ操作に対する報知音声には、ジェスチャ操作を認識したことを示す効果音や、ジェスチャ操作に応じて各車載AP67で実行される機能の内容等が含まれる。
コンソールデバイス制御部15は、タッチパネル12、タッチパッド13、およびスピーカー14といったコンソールデバイスの動作を制御する。コンソールデバイス制御部15には主制御装置16が接続されている。主制御装置16は、コンソールデバイス制御部15を含む自動車の各部の動作を統括的に制御する。
カーナビAPは、周知のように、タッチパネル12を介して、GPS(Global Positioning System、図示せず)で割り出された自動車の現在地を地図上に表示したり、設定さ
れた目的地までの走行経路を案内したりする(図2等参照)。また、カーナビAPは、渋滞情報や空き駐車場情報、周辺店舗情報等を提供することも可能である。
カーエアコンAPは、コンプレッサーやヒーターを有する空調機器22を起動して、ダッシュボード17等に形成された送風口(図示せず)から車内に冷温風を供給し、車内の温度調節を行う。
カーオーディオAPは、タッチパネル12やスピーカー14を介して、テレビ放送やラジオ放送を再生したり、CD(Compact Disc)やDVD(Digital Versatile Disc)等の記録メディアに収録された楽曲や映像を再生したりする。また、コンソールシステム10は、ポータブル音楽プレーヤー等の外部機器を接続する端子(AUX(Auxiliary)端子
(図示せず)を備えており、カーオーディオAPは、スピーカー14を介して外部機器に記憶された楽曲を再生することも可能である。
図2〜図5は、タッチパネル12に表示される地図表示画面25を示す。地図表示画面25には、カーナビAPによる地図26が表示される。デフォルトの状態では、GPSで割り出された自動車の現在地を略中心とした設定範囲内の周辺地域を示す地図26が表示
される(以下、現在地表示という)。
図2〜図4の地図表示画面25に示すように、地図26で示す周辺地域内に自動車の現在地が存在する場合、自動車の現在地を示す現在地マーク27が表示される。また、目的地が設定された場合、目的地までの走行経路28、目的地の到着予測時刻および目的地までの距離を示す第1ナビ情報29、並びに次に右折または左折する交差点を示す第2ナビ情報30等が表示される。
図3および図4において、タッチパネル12の上部には、メニューバー31が挿入表示される。メニューバー31は、複数のメニュー項目に応じた複数の操作ボタン32A、32B、32C、32D、32Eが横方向に並べられた細長いストライプ状をしている。
メニュー項目は、カーナビAP、カーエアコンAP、カーオーディオAPの各車載AP67で実行される各種の機能に対応したものである。図3および図4では、カーオーディオAPの機能に対応したメニュー項目が操作ボタン32A〜32Cに、カーエアコンAPの機能に対応したメニュー項目が操作ボタン32D、32Eにそれぞれ割り当てられている。より具体的には、AV(Audio-Visual)メニューが操作ボタン32Aに、音量調節が操作ボタン32Bに、選曲が操作ボタン32Cに、A/C(Air Conditioner)メニュー
が操作ボタン32Dに、温度調節が操作ボタン32Eにそれぞれ割り当てられている。なお、図3および図4では、カーナビAPの機能に対応したメニュー項目が割り当てられた操作ボタンは図示していないが、当該操作ボタンもメニューバー31には設けられている。以下では、特に区別する必要がない場合は、複数の操作ボタンをまとめて操作ボタン32と表記する場合がある。
各操作ボタン32には、各メニュー項目を示すイラストや文字が表示される。例えば音量調節の操作ボタン32Bには、スピーカー14を模したイラストと、現在設定されている音量値を示す数字が表示される。また、各操作ボタン32のうちの現在選択されている操作ボタン32(図3および図4では操作ボタン32B)は、ハッチングで示すように他の操作ボタン32と識別可能なフォーカス表示がなされる。
操作ボタン32Aは、カーオーディオAPで実行される全機能を操作可能なAVメニュー画面(図示せず)を呼び出すためのボタンである。操作ボタン32Aが選択された場合、タッチパネル12には、AVメニュー画面が表示される。
操作ボタン32Bは、音量を調節するためのボタンである。操作ボタン32Cは、カーオーディオAPで再生中の楽曲を送り戻しする、すなわち選曲を行うためのボタンである。
これら操作ボタン32Bおよび操作ボタン32Cで操作可能な音量調節機能および選曲機能は、カーオーディオAPで実行される各種機能のうち、使用される頻度が比較的高い機能である。音量調節機能および選曲機能は、AVメニュー画面からでも操作可能であるが、その場合は操作ボタン32Aを選択してAVメニュー画面を呼び出したうえで、さらに音量調節や選曲の操作を行う必要があり多少面倒である。このため、操作ボタン32Bおよび操作ボタン32Cは、AVメニュー画面を介さずダイレクトに使用頻度が高い音量調節機能および選曲機能にアクセスするために、専用に設けられたショートカットボタンである。
操作ボタン32Dは、カーエアコンAPで実行される全機能を操作可能なA/Cメニュー画面(図示せず)を呼び出すためのボタンである。操作ボタン32Dが選択された場合、タッチパネル12には、A/Cメニュー画面が表示される。
操作ボタン32Eは、空調機器22の目標温度を調節するためのボタンである。この温度調節機能は、音量調節機能等と同様、カーエアコンAPで実行される各種機能のうち、使用される頻度が比較的高い機能である。このため操作ボタン32Eは、操作ボタン32B等と同様に、使用頻度が高い温度調節機能にダイレクトにアクセスするためのショートカットボタンである。なお、図示は省略したが、カーエアコン専用の操作ボタンには、操作ボタン32Eに加えて、冷温風の風量を調節するためのボタンや、冷温風の風向を調節するためのボタンがある。
図示は省略したが、メニューバー31には、カーナビAPで実行される全機能を操作可能なナビメニュー画面(図示せず)を呼び出すための操作ボタン32が配されている。また、カーナビAP、カーエアコンAP、カーオーディオAPの各車載AP67で実行される全機能を操作可能なメインメニュー画面(図示せず)を呼び出すための操作ボタン32も配されている。なお、カーナビAPで実行される機能としては、平面ビュー、鳥瞰ビュー等の地図26の視点切替機能、名称、電話番号、住所、あるいは施設ジャンル(例えばガソリンスタンド、コンビニエンスストア、ホテル等)を用いた目的地検索機能、現在地周辺の施設検索機能等がある。
図4において、メニューバー31の各操作ボタン32のうちの例えば操作ボタン32Bが選択された場合、操作ボタン32Bの下方に音量調節バー33がプルダウン表示される。音量調節バー33のカーソル34を所望の位置に移動させることで、音量が調節される。温度調節用の操作ボタン32Eが選択された場合も基本的に同じである。
図5は、図2〜図4に示す現在地表示から地図26が移動された状態を示す。この場合、地図表示画面25には、地図26を現在地表示に戻すための操作ボタン35が表示される。操作ボタン35には、地図26を現在地表示に戻すという機能を表す文字が表示される。操作ボタン35が選択された場合、地図26が現在地表示に戻される。なお、現在地表示から地図26が移動された図5に示す状態では、第1ナビ情報29および第2ナビ情報30は消去される。
地図表示画面25における地図26の移動、メニューバー31の表示/非表示の切り替え、操作ボタン32、操作ボタン35等の各種操作ボタンの選択および選択確定操作、AVメニュー画面、A/Cメニュー画面、ナビメニュー画面、メインメニュー画面を通じた各種機能の選択、設定操作等は、全てタッチパネル12を通じて行うことが可能である。また、タッチパッド13によってもタッチパネル12と同様の操作を行うことができる。
図6に示すように、タッチパッド13は、タッチパネル12のように操作領域の全域が平面状の二次元形状とは異なり、平面部40と、平面部40から突出した凸型の立体部41とを組み合わせた三次元形状を有している。平面部40は矩形状、より具体的には正方形状をしている。立体部41は球を半分にした半球状をしており、平面部40のほぼ中央に設けられている。これら平面部40と立体部41の外周面の全域が、ユーザが指を接触させてジェスチャ操作を行う操作領域である。なお、半球状とは、球を完全に半分にしたものに限らず、例えば球を5等分したうちの2/5あるいは4/5も半球状に含まれる。
図7および図8に示すように、平面部40と立体部41との境界である立体部41の下部周縁41Aは、平面部40と立体部41との間に生じる、立体部41の高さ分の段差THによって画定されている。段差THは、手で触れることで平面部40と立体部41との境界を知覚できる程度の高さであればよく、具体的には指の厚み(約10mm)以上の高さを有することが好ましい。
タッチパッド13は、操作領域における複数の指の接触位置を同時に検出する多点検出が可能な静電容量方式である。タッチパッド13は、例えば、特開2016−213435号公報に記載された方法で製造することができる。
タッチパッド13の製造方法の詳細は上記公報に記載されている通りであるが、図9に概略を示す。まず、図9Aにおいて、平面状の基板45上の表面および裏面の全領域に、スクリーン印刷等の印刷方法で被めっき層46を形成する(図9Aでは表面の一部の被めっき層46のみ図示)。被めっき層46は、指の接触位置を検出するための電極47(図9D参照)の下地である。
表面の被めっき層46は、X軸方向に沿うストライプ状に形成される。裏面の被めっき層46は、図示はしていないがY軸方向に沿うストライプ状に形成される。これにより、被めっき層46は、基板45の表面と裏面にマトリックス状に形成される。
基板45は、ポリエチレンテレフタレート、ポリカーボネート等の透明な熱可塑性樹脂製である。被めっき層46は、めっき触媒等と相互作用する官能基等を有する化合物または組成物である。官能基としては、例えば、カルボン酸基、シアノ基等が挙げられる。
被めっき層46を形成した後、図9Bに示すように、例えば真空成形、ブロー成形、熱プレス成形等の熱変形法を用いて、基板45のほぼ中央を半球状に突出させて立体部41を形成する。これにより平面部40と立体部41、さらには平面部40と立体部41との境界である立体部41の下部周縁41Aが画定される。
続いて、図9Cに示すように、変形後の基板45を銅等のめっき液に浸漬する金属めっき処理を施す。この金属めっき処理によって、図9Dに示すように銅等の半透明金属薄膜(金属層)で構成される電極47が被めっき層46上に形成される。図9Dに示す基板45に対して表面保護層の形成等の種々の加工を施し、また信号処理IC(Integrated Circuit)等の各種電子部品を接続することで、タッチパッド13の製造が完了する。
ここで、一般的に金属層は破断伸度が小さい。そのため、基板45に金属層を設けた後に基板45を立体形状に変形させると、基板45の伸びに金属層が追従できずに破断する場合が多い。また、破断には至らなくとも、変形の際に基板45に追従して伸びることで金属層の膜厚が薄くなり、その分金属層の抵抗値が高くなる。
対して図9に示す製造方法では、被めっき層46を形成した基板45を所望の立体形状に変形させた後、金属めっき処理を施して金属層を形成しているので、金属層の破断が防止される。また、基板45の変形に追従して金属層が伸びることがなく、金属層の抵抗値は高くならない。そのため、図9に示す製造方法は、指の触覚で知覚される立体部41が操作領域に設けられたタッチパッド13の製造方法として有効である。
マトリックス状に形成された電極47には微小な電圧が印加される。ユーザの指がタッチパッド13の操作領域に接触すると、接触位置において静電容量が変化し、この静電容量の変化に応じた電圧変化が検知されて、電圧変化を生じた電極47が特定される。電極47はマトリックス状に配置されているため、指の接触位置において交差する表面側のX軸方向の電極47と裏面側のY軸方向の電極47とが特定されて、操作領域における指の接触位置が検出される。なお、図9では、説明の便宜上、電極47の幅を比較的太く示したが、実際には電極47の幅は非常に細い。例えば、基板45を、表示機能を備えたタッチパネルとして利用する場合を考えると(第4実施形態参照)、電極47は、タッチパネルの表示画素の開口率が90%程度になるような微細な幅である。
図10〜図14には、タッチパッド13に対する代表的なジェスチャ操作を示す。図10は、立体部41の下部周縁41Aに、上方から手HDの人差し指と親指を含む2本以上の指を掴むように接触させ、その状態で下部周縁41Aに沿って指を左右に回転移動させ
るジェスチャ操作である。以下、このジェスチャ操作を回転スライド操作と呼ぶ。なお、この回転スライド操作を可能とするために、立体部41は、手HDですっぽりと包み込むことができる大きさ(例えば段差THが約90mm以下)に形成されている。
タッチパッド13には、被搭載機器である自動車が特定の動作状態である場合に、操作領域へのジェスチャ操作を無効化する操作ロックがなされる。この操作ロックがなされた状態で回転スライド操作が行われた場合、操作ロックが解除され、かつメニューバー31がタッチパネル12の上部に挿入表示され、同時に操作ボタン32のフォーカス表示が移動されて操作ボタン32(メニュー項目)の選択が可能となる。また、自動車が特定の動作状態でない場合も、操作ロックが解除される。
すなわち、本実施形態では、この回転スライド操作が、操作ロック時においても有効な操作と判定される、立体部41に対する特定のジェスチャ操作であるロック時有効操作である。また、ロック時有効操作に伴い実行される特定機能は、メニューバー31の表示、並びに操作ボタン32(メニュー項目)の選択、つまり複数の機能に対応するメニュー項目の中から、1つのメニュー項目を選択するメニュー項目選択機能である。なお、以下では、下部周縁41Aのように、ロック時有効操作の操作対象となる立体部41の部位を、特定部位と呼ぶ。
ここで、特定の動作状態とは、運転席20に座るドライバが、ハンドル19を手動で操作して走行している手動運転の状態である。この手動運転の状態は、近い将来に実用化される自動運転とは区別される。自動運転は、ハンドル19の操作等が自動的に行われている状態である。この場合は停車している状態と略同じと考えられるため、自動運転の状態は停車している状態と同じ扱いとする。
手動運転の状態においては、各操作ボタン32のうち、比較的簡易な設定操作である音量調節機能の操作ボタン32B、選曲機能の操作ボタン32C、温度調節機能の操作ボタン32E等が選択可能とされ、AVメニュー画面を呼び出すための操作ボタン32Aや、A/Cメニュー画面を呼び出すための操作ボタン32D等は、比較的複雑な設定操作を伴うため選択不可となっている。
なお、回転スライド操作においては、構造上、厳密には下部周縁41Aにピンポイントで指は接触しない。回転スライド操作で実際に指が接触する可能性があるのは、図10においてハッチングで示すように、下部周縁41Aから平面部40および立体部41に広がる所定の幅を有する領域RP1である。この領域RP1は、立体部41の大きさおよび指の幅を考慮して予め設定されている。当該領域RP1に2本以上の指が接触し、かつ接触した指が当該領域RP1に沿って移動された場合に、当該ジェスチャ操作が回転スライド操作と認識される。
手動運転中で操作ロックがなされた状態では、回転スライド操作以外のジェスチャ操作、例えば図11〜図14に示すジェスチャ操作は、無効なジェスチャ操作と判定される。すなわち、図11〜図14に示すジェスチャ操作は、ロック時無効操作に相当する。ただし、図11〜図14に示すジェスチャ操作は、ロック時有効操作に応じて操作ロックが解除されている間、並びに操作ロックが自動的に解除される停車中は、有効な操作と判定される。
図11は、タッチパッド13の立体部41の表面を、指で叩くジェスチャ操作である。以下、このジェスチャ操作をタップ操作と呼ぶ。
タップ操作には、立体部41の表面を1回叩くシングルタップ操作と、2回連続して叩
くダブルタップ操作の2種類がある。図3で示したメニューバー31が表示された状態でシングルタップ操作が行われた場合、そのときフォーカス表示されていた操作ボタン32の選択が確定される。また、図5で示したように地図26が現在地表示から移動されて操作ボタン35が表示されている状態でダブルタップ操作が行われた場合は、操作ボタン35が選択され、地図26が現在地表示に戻される。
図12は、立体部41の外周面の任意の位置に、人差し指を含む1本以上の指を接触させ、その状態で、手HDを前後左右(図12では左右のみ図示)に振るようにして立体部41の外周面を撫でるジェスチャ操作である。図12Aは手HDを左側に振った状態、図12Bは反対に右側に振った状態をそれぞれ示す。以下、このジェスチャ操作をストローク操作と呼ぶ。
地図表示画面25が表示された状態でストローク操作が行われた場合、地図26が移動される。
図13は、立体部41の頂点付近に人差し指を置き、人差し指は固定で、親指を立体部41に沿って上下方向に移動させるジェスチャ操作である。図13Aは人差し指に近付く上方向に親指を移動させた状態、図13Bは人差し指から離れる下方向に親指を移動させた状態をそれぞれ示す。以下、図13Aのジェスチャ操作をピンチイン操作、図13Bのジェスチャ操作をピンチアウト操作と呼ぶ。
ピンチ操作は、カーオーディオAPの音量調節、選曲、カーエアコンAPの温度調節等の際に行われる。例えば図4で示した状態においてピンチイン操作が行われた場合、カーソル34が上方に移動して音量が上げられる。一方、ピンチアウト操作が行われた場合は、カーソル34が下方に移動して音量が下げられる。
図14Aは、立体部41の上方を手HDの人差し指と親指を含む2本以上の指で掴み、かつ指を下方向に移動させた場合を示す。対して図14Bは、人差し指と親指を含む2本以上の指を立体部41の下部に接触させ、かつ立体部41の外周面を摘まみ上げるようにして指を上方向に移動させた場合を示す。図14A、図14Bともに、指を移動させた後の手HDを図示していて、指を移動させる前は図示していないが、図14Aの指を移動させる前は丁度図14Bに示す状態であり、図14Bの指を移動させる前は丁度図14Aに示す状態である。以下、図14Aのジェスチャ操作をスプレッド操作、図14Bのジェスチャ操作をピックアップ操作と呼ぶ。
地図表示画面25が表示された状態でスプレッド操作が行われた場合、地図26の表示範囲が拡大される。一方、ピックアップ操作が行われた場合は、地図26の表示範囲が縮小される。また、ピックアップ操作は、各種表示、設定の終了を指示する場合に行われる。例えば図3のようにメニューバー31が表示された状態でピックアップ操作が行われた場合、タッチパネル12からメニューバー31の表示が消える。また、図4のように音量調節バー33が表示された状態でピックアップ操作が行われた場合、音量調節バー33の表示が消え、そのときカーソル34で選択されていた音量が設定される。
図15は、手動運転中におけるジェスチャ操作の手順の例を示している。ここではカーオーディオAPの音量調節を行う場合を例に説明する。まず、ステップST100に示すように、回転スライド操作によって、タッチパッド13の操作ロックの解除、タッチパネル12へのメニューバー31の表示、および音量調節機能の操作ボタン32Bの選択が行われる。そして、シングルタップ操作によって、操作ボタン32Bの選択が確定される(ステップST110)。これにより図4で示したように音量調節バー33がプルダウン表示され、音量調節が可能となる。
続けてピンチイン操作またはピンチアウト操作が行われ、これに応じてカーソル34が移動して音量調節が行われる(ステップST120)。ユーザは好みの音量となったらピックアップ操作を行う。これにより音量調節が終了され、音量調節バー33の表示が消され、かつそのときカーソル34で選択されていた音量が設定される(ステップST130)。
このように、手動運転中で操作ロックがなされた状態では、回転スライド操作のみが有効な操作であるため、最初に操作ロックを解除するために回転スライド操作が行われる。回転スライド操作により操作ロックが解除されて以降は、ロック時無効操作であるシングルタップ操作、ピンチ操作、ピックアップ操作が有効な操作となるので、ロック時無効操作を用いて操作ボタン32の選択確定から音量調節の終了までを行う。
手動運転中は、スピーカー14から報知音声が出力される。例えばステップST100においては、「操作ロックが解除されました。メニューバーを表示します。」、「音量調節機能選択中。」といった報知音声が出力される。また、ステップST110、120においては、「音量調節が可能となりました。」、「音量は15です。」といった報知音声が出力される。さらに、ステップST130においては、「音量が20に設定されました。音量調節を終了します。」といった報知音声が出力される。なお、停車中は、手動運転中と同じくスピーカー14から報知音声を出力してもよいし、しなくてもよい。
図16において、コンソールデバイス制御部15には、第1ストレージデバイス50が接続されている。第1ストレージデバイス50には、作動プログラム51、操作認識用情報52(図18参照)、および操作有効性判定用情報53(図19参照)が記憶されている。
作動プログラム51が起動されると、コンソールデバイス制御部15は、タッチパネル制御部60、タッチパッド制御部61、音声出力制御部62、およびAPインタフェース部63として機能する。
タッチパネル制御部60は、タッチパネル12に表示された各種画面に対するジェスチャ操作を認識する。そして、認識したジェスチャ操作の情報(以下、ジェスチャ情報)を、操作指示としてAPインタフェース部63に出力する。同様に、タッチパッド制御部61は、タッチパッド13の操作領域に対するジェスチャ操作を認識する。そして、この場合もジェスチャ情報を操作指示としてAPインタフェース部63に出力する。
APインタフェース部63は、両制御部60、61からのジェスチャ情報を主制御装置16に送信し、かつ主制御装置16から制御情報を受信する。制御情報には、地図表示画面25の更新情報といった画面関連情報、ジェスチャ操作に対する報知音声といった音声情報、自動車の動作状態を示す動作状態判定情報、あるいはタッチパッド13の操作ロックの実行および解除を指示する操作ロック制御情報がある。
APインタフェース部63は、制御情報が画面関連情報であった場合はタッチパネル制御部60に出力し、制御情報が音声情報であった場合は音声出力制御部62に出力する。タッチパネル制御部60は、APインタフェース部63からの画面関連情報に基づいて各種画面の表示制御を行う。音声出力制御部62は、APインタフェース部63からの音声情報に基づく音声をスピーカー14から出力させる。
また、APインタフェース部63は、制御情報が動作状態判定情報および操作ロック制御情報であった場合はタッチパッド制御部61に出力する。タッチパッド制御部61は、
APインタフェース部63からの動作状態判定情報および操作ロック制御情報、並びに操作有効性判定用情報53に基づいて、タッチパッド13の操作領域に対するジェスチャ操作の有効性を判定する。このように、APインタフェース部63は、各制御部60〜62と主制御装置16との間で、各種車載AP67の機能の実行に必要な操作指示(ここではジェスチャ情報)、および各種車載AP67の機能の実行結果を含む制御情報を中継するインタフェース機能を担う。
主制御装置16には、第2ストレージデバイス65が接続されている。第2ストレージデバイス65には、車載OS(Operating System)66や、カーナビAP、カーエアコンAP、カーオーディオAPといった各車載AP67が記憶されている。車載AP67は、第1ストレージデバイス50の作動プログラム51とともに、タッチ式操作システムの作動プログラムを構成する。
また、第2ストレージデバイス65には、操作コマンド変換用情報68(図21参照)が記憶されている。なお、図示は省略したが、第2ストレージデバイス65には、これらの他にも、例えば、CVT(Continuously Variable Transmission)等の変速機の制御プログラムや衝突回避システムの制御プログラム等、コンソールシステム10以外のシステムを制御するためのプログラムが記憶されている。
主制御装置16のCPU(Central Processing Unit)69は、車載OS66および各
車載AP67をロードして実行することで、OS処理部70およびAP実行部71として機能する。OS処理部70は、車載OS66に関する処理を実行する。AP実行部71は実行部に相当し、OS処理部70の監視下で、各車載AP67の機能を実行する実行機能を担う。AP実行部71は、APインタフェース部63からのジェスチャ情報に応じた画面関連情報や音声情報を制御情報としてAPインタフェース部63に送信する。
AP実行部71が実行する機能の内容は、例えば次の通りである。まず、カーナビAPの機能として、地図(現在地)表示機能、視点切替機能、目的地検索機能、あるいは施設検索機能を実行する。また、目的地が設定された場合は、走行経路28の探索、探索した走行経路28、第1ナビ情報29、第2ナビ情報30の表示、案内音声の出力といったナビ機能を実行する。カーエアコンAPの機能としては、温度調節機能、風量調節機能、風向調節機能を実行する。さらに、AP実行部71は、カーオーディオAPの機能として、各種再生機能、音量調節機能、選曲機能を実行する。このように、ジェスチャ操作に応じて自動車で実行される機能は、カーナビ、カーエアコン、およびカーオーディオのうちの少なくとも1つに関する機能である。
カーナビAPの場合、AP実行部71がAPインタフェース部63に送信する制御情報としては、現在地表示の地図表示画面25、地図26が移動、拡大、あるいは縮小された地図表示画面25、案内音声等がある。カーエアコンAPの場合の制御情報としては、温度調節、風量調節、風向調節に応じて表示が更新された地図表示画面25等がある。カーオーディオAPの場合の制御情報としては、テレビ放送の映像および音声やラジオ放送の音声、楽曲の音声、音量調節バー33を含む地図表示画面25等がある。
OS処理部70はマルチタスクに対応しており、AP実行部71に種類の異なる車載AP67の機能を同時並行で実行させることが可能である。例えば、カーナビAPのナビ機能を実行中に、カーオーディオAPの再生機能を実行させ、さらにカーエアコンAPの温度調節機能を実行させることが可能である。
図17において、タッチパッド制御部61は、操作認識部75および操作有効性判定部76を備えている。すなわち、タッチパッド制御部61は、タッチパッド13とともに、
本発明のタッチ式操作装置77を構成する。また、タッチパッド13、タッチパッド制御部61、およびAP実行部71は、本発明のタッチ式操作システム78を構成する。
操作認識部75は、タッチパッド13からの指の接触位置の検出信号、および操作認識用情報52に基づいて、タッチパッド13の操作領域に対して行われたジェスチャ操作を認識する操作認識機能を担う。操作認識部75は、認識したジェスチャ操作のジェスチャ情報を操作有効性判定部76に出力する。
操作有効性判定部76は、APインタフェース部63を介して主制御装置16から送信される動作状態判定情報および操作ロック制御情報、並びに操作有効性判定用情報53に基づいて、操作認識部75で認識したジェスチャ操作が有効な操作であるか否かを判定する操作有効性判定機能を担う。操作有効性判定部76は、有効な操作であると判定したジェスチャ操作のジェスチャ情報はAPインタフェース部63に出力し、無効な操作であると判定したジェスチャ操作のジェスチャ情報はAPインタフェース部63に出力しない。
自動車が手動運転中で、かつ回転スライド操作がされていない場合、主制御装置16は操作ロックの実行を指示する操作ロック制御情報を送信する。この操作ロック制御情報を受けて、操作有効性判定部76は、回転スライド操作のみを有効な操作と判定する操作ロックを実行する。つまり、操作有効性判定部76は、自動車が手動運転の状態で、かつ操作認識部75でロック時有効操作である回転スライド操作が認識されていない間は、回転スライド操作以外の操作が認識されても無効な操作と判定する。
一方、自動車が手動運転中で、かつ回転スライド操作がされた場合、並びに自動車が停車中の場合は、主制御装置16は操作ロックの解除を指示する操作ロック制御情報を送信する。この操作ロック制御情報を受けて、操作有効性判定部76は、上記の操作ロックを解除する。すなわち、操作有効性判定部76は、操作有効性判定機能に加えて、操作ロック解除機能も担う。
図18において、操作認識用情報52は、タッチパッド13の操作領域のうちの指の接触領域、指の接触本数、および操作内容の組に対応するジェスチャ操作を記憶したものである。操作認識部75は、タッチパッド13からの指の接触位置の検出信号から分かる接触領域、接触本数、および操作内容の組が、どのジェスチャ操作に対応したものであるかを操作認識用情報52で照合する。例えば、接触領域が図10で示したRP1(下部周縁41A)、接触本数が2本以上、操作内容がRP1に沿って移動であった場合、操作認識部75は、ジェスチャ操作を回転スライド操作と認識する。
回転スライド操作やストローク操作等のジェスチャ操作が行われた場合、タッチパッド13の操作領域内の複数の位置に、ユーザの指が時間差で連続的に接触する。この場合、指の接触位置を表す検出信号は、操作認識部75に対して連続的に入力される。操作認識部75は、連続的に入力される検出信号に基づいて、指の接触位置の軌跡、すなわち指の移動軌跡を記録し、記録した軌跡から操作内容を認識する。
なお、図18では、立体部41の全領域はRAと表記している。接触領域には、実際には各領域RP1、RAの位置座標情報が登録されている。位置座標情報は、例えば、X軸方向とY軸方向にマトリックス状に形成された電極47に順に付された番号である。
図19において、操作有効性判定用情報53は、操作ロックが実行されている場合と解除されている場合とで、それぞれ有効な操作と無効な操作を記憶したものである。前述のように、操作ロック時においても有効な操作であるロック時有効操作は回転スライド操作
のみであり、無効な操作は回転スライド操作以外である。また、操作ロック解除時における有効な操作は全てのジェスチャ操作であり、無効な操作は必然的になしである。
図20Aに示すように、操作有効性判定部76は、操作ロックが実行されている状態で、操作認識部75で認識したジェスチャ操作が回転スライド操作であった場合は、有効な操作と判定する。そして、回転スライド操作のジェスチャ情報をAPインタフェース部63に出力する。一方、図20Bに示すように、操作有効性判定部76は、ジェスチャ操作が回転スライド操作以外(図20Bではシングルタップ操作)であった場合は、無効な操作と判定する。この場合、操作有効性判定部76は、当該ジェスチャ操作(シングルタップ操作)のジェスチャ情報をAPインタフェース部63に出力しない。
一方、操作ロックが解除されている状態では、図19で示したように全てのジェスチャ操作が有効な操作であるため、操作有効性判定部76はジェスチャ操作の有効性の判定はせず、操作認識部75からのジェスチャ情報をそのままAPインタフェース部63に引き渡す。
図21において、操作コマンド変換用情報68は、各ジェスチャ操作に対する操作コマンドを、自動車の動作状態およびAP実行部71の処理ステータスと関連付けて記憶したものである。操作コマンドは、各ジェスチャ操作を、AP実行部71が理解可能な形態に変換したものである。処理ステータスは、操作ロックの状態、地図表示画面25の表示状態、AP実行部71による各車載AP67の機能の実行状態等、コンソールシステム10の動作状況を示す情報である。
ジェスチャ操作には、処理ステータスに応じて異なる操作コマンドが割り当てられているものがある。例えばピックアップ操作は、メニューバー31が非表示の状態では地図縮小、メニューバー31が表示された状態ではメニューバー31の非表示、音量調節バー33がプルダウン表示された状態では音量調節バー33の非表示および音量設定が、それぞれ操作コマンドとして割り当てられている。
OS処理部70は、自動車の動作状態を判定する動作状態判定機能をもち、自動車の動作状態を把握している。より詳しくは、OS処理部70は、自動車の速度が0の場合、自動車が手動運転の状態でない、すなわち自動車が停車している状態であると判定する。一方、自動車の速度が0を超えた場合、自動車が手動運転の状態であると判定する。なお、ハンドル19に圧力センサを設け、圧力センサでドライバがハンドル19を握っていることが検出され、かつ自動車の速度が0を超えた場合に、手動運転の状態であると判定してもよい。
また、OS処理部70は、AP実行部71を監視下におくことで、処理ステータスを把握している。OS処理部70は、これら自動車の動作状態および処理ステータス、並びに操作コマンド変換用情報68に基づいて、APインタフェース部63からのジェスチャ情報で表されるジェスチャ操作を操作コマンドに変換する。OS処理部70は、変換した操作コマンドをAP実行部71に与える。AP実行部71は、OS処理部70から与えられた操作コマンドに応じた機能を実行する。
なお、図21では、例えばカーナビAPの地図縮小、カーオーディオAPの音量調節(音量上げ下げ)、カーエアコンAPの温度調節(温度上げ下げ)等、種類が異なる車載AP67の操作コマンドを1つの操作コマンド変換用情報68に統合して登録しているが、車載AP67毎に操作コマンド変換用情報68があってもよい。
以下、上記構成の作用について、図22に示すフローチャートを参照して説明する。ま
ず、自動車のイグニッションスイッチ等の電源スイッチがユーザにより操作され、コンソールシステム10の電源がオンされると、作動プログラム51が起動される。これにより、図16で示したように、コンソールデバイス制御部15が各制御部60〜62およびAPインタフェース部63として機能する。タッチ式操作装置77を構成するタッチパッド制御部61には、図17で示したように、操作認識部75および操作有効性判定部76が構築される。
また、主制御装置16のCPU69にOS処理部70およびAP実行部71が構築される。AP実行部71によりカーナビAPの地図表示機能が実行され、これにより図2で示したようにタッチパネル12に地図表示画面25が表示される。
自動車の動作状態が手動運転の状態で、タッチパッド13の操作領域への操作ロックが実行され、かつタッチパッド13の操作領域に対してユーザによりジェスチャ操作が行われた場合(ステップST500、ステップST510でともにYES)、タッチパッド13からの指の接触位置の検出信号、および操作認識用情報52に基づき、操作認識部75でジェスチャ操作が認識される(ステップST520、操作認識ステップ)。操作認識部75で認識されたジェスチャ操作のジェスチャ情報は、操作有効性判定部76に出力される。
操作有効性判定部76では、操作有効性判定用情報53に基づき、操作認識部75からのジェスチャ操作が有効な操作であるか否かが判定される(ステップST530、操作有効性判定ステップ)。
具体的には、操作認識部75からのジェスチャ操作が回転スライド操作であった場合(ステップST540でYES)は、図20Aで示したように、操作有効性判定部76で有効な操作と判定される(ステップST550)。この場合は、APインタフェース部63を介して、操作有効性判定部76とOS処理部70との間で回転スライド操作のジェスチャ情報が送受信される(ステップST560)。
主制御装置16では、APインタフェース部63からのジェスチャ情報で表される回転スライド操作が、操作コマンド変換用情報68に基づきOS処理部70で操作コマンドに変換され、AP実行部71に与えられる。AP実行部71では操作コマンドに応じた機能が実行される。
この場合に実行される機能は、図15のステップST100で示したように、タッチパッド13の操作ロックの解除と、それに加えて特定機能としてのタッチパネル12へのメニューバー31の表示、および操作ボタン32の選択(メニュー項目選択機能)である(ステップST570、操作ロック解除ステップ、実行ステップ)。
一方、操作認識部75からのジェスチャ操作が回転スライド操作以外であった場合(ステップST540でNO)は、図20Bで示したように、操作有効性判定部76で無効な操作と判定される(ステップST580)。この場合は操作有効性判定部76からAPインタフェース部63には何も出力されない。
自動車が停車しているか、あるいは手動運転の状態で回転スライド操作が行われ、タッチパッド13の操作領域への操作ロックが解除された状態で、タッチパッド13の操作領域に対してユーザによりジェスチャ操作が行われた場合(ステップST500でNO、ステップST590でYES)、ステップST520と同じく、操作認識部75でジェスチャ操作が認識される(ステップST600、操作認識ステップ)。
この場合、操作認識部75で認識されたジェスチャ操作のジェスチャ情報は、操作有効性判定部76に出力されるが、操作有効性判定部76では操作有効性の判定は行われない。操作認識部75からのジェスチャ情報は、そのまま操作有効性判定部76からAPインタフェース部63に引き渡される(ステップST610)。そして、AP実行部71にて、ジェスチャ操作に応じた機能が実行される(ステップST620、実行ステップ)。これにより、例えば図4で示したように、地図表示画面25に音量調節バー33が表示されてカーオーディオAPの音量調節が可能となったり、ジェスチャ操作に対する報知音声がスピーカー14から出力されたりする。これら一連の処理は、電源がオフされる(ステップST630でYES)まで繰り返し続けられる。
なお、図示は省略したが、手動運転の状態において、回転スライド操作に応じて操作ロックが解除された後、所定時間(例えば30秒間)ジェスチャ操作がなかった場合は、再び操作ロックが実行される。
タッチパッド13は、指の触覚で知覚される凸型の立体部41を備えている。このため、ユーザは、タッチパッド13のどの部分に指が接触しているかを、手元を視認せずに手探りで認識することができる。例えば、平面部40と立体部41とを確実に区別して認識することができる。また、特定部位である立体部41の下部周縁41Aも、立体部41の他の部位と区別して認識することができる。
したがって、下部周縁41Aに2本以上の指を接触させ、その状態で下部周縁41Aに沿って指を左右に回転移動させる回転スライド操作は、手動運転中においてもタッチパッド13を見ずに手探りで行うことが可能である。また、回転スライド操作は、下部周縁41Aを指で探り当てさえすれば、その指を下部周縁41Aに接触させたままクルクルと回転させれば済む、比較的負担が軽いジェスチャ操作である。さらに、立体部41を1回指で叩くシングルタップ操作や、立体部41を指で撫でるストローク操作等は、ユーザが意図せず操作してしまうことが有り得るが、回転スライド操作は、ユーザが意図して行わなければできない操作であるため、確実に誤操作との区別がつく。
また、タッチパッド13の操作領域に対して回転スライド操作がなされた場合は、操作ロックが解除され、かつ同時にタッチパネル12にメニューバー31が表示されて、さらに操作ボタン32の選択という特定機能が実行される。このため、例えばスマートフォンのように暗証番号を入力する等して操作ロックを解除した後、さらにメニューバー31を表示させるジェスチャ操作と操作ボタン32を選択するジェスチャ操作を行う場合と比べて、格段に操作性が向上する。以上のことから、上記構成を備えるタッチ式操作システム78によれば、誤操作を防止しつつ、タッチセンサの操作ロックの解除および機能の実行に関わる煩わしさを解消することが可能となる。
また、回転スライド操作に応じて、タッチパッド13の操作ロックが解除され、それまで無効であったロック時無効操作が有効な操作と判定される。このことは、言い換えれば回転スライド操作がなされるまでは操作ロックが実行され、不用意なジェスチャ操作は無効な操作と判定されることを意味する。したがって、より確実に誤操作を防止することができる。
また、操作ロックが解除されている間は、ロック時無効操作が有効な操作と判定されるので、操作ロックの解除後はロック時無効操作を用いて様々な機能を実行させることができる。
ジェスチャ操作に対する報知音声をスピーカー14から出力するので、ユーザはタッチパネル12の表示を見なくとも、自分のジェスチャ操作が正しく認識されているかどうか
等、自分のジェスチャ操作による選択、設定状況を把握することができる。
操作ロックの解除と同時に実行される特定機能は、複数の機能に対応するメニュー項目の中から、1つのメニュー項目を選択するメニュー項目選択機能である。このため、操作ロックの解除後、特別なジェスチャ操作をすることなく直ちにメニュー項目を選択することができ、その後の音量調節や温度調節等の機能の実行をスムーズに行うことができる。
ここで、本実施形態のような車載用のタッチ式操作装置77では、手動運転中はタッチパッド13を見ずに手探りで操作することが想定される。このため、タッチパッド13には、手動運転中はユーザであるドライバが手元を視認しなくても手探りで操作領域を探り当てることができる構成が望まれる。また、タッチパッド13には、ドライバがハンドル19から手を離す時間を短くして、ドライバの気が運転から逸れることを防止するためにシンプルかつ迅速な操作ができる構成が望まれる。本発明はこうした要望を全てクリアすることができる。したがって、被搭載機器を自動車とし、特定の動作状態を手動運転の状態とした場合は、本発明は特に優位な効果を発揮するといえる。
主制御装置16のOS処理部70で自動車の動作状態を判定しているが、OS処理部70から自動車の速度情報をコンソールデバイス制御部15に送信し、動作状態の判定をコンソールデバイス制御部15で行ってもよい。
図23〜図28は、タッチパッドの変形例を示す。まず、図23に示すタッチパッド80は、平面部81と、凸型の立体部82とを有する。立体部82は柱体状、より詳しくは円柱状をしている。この場合の特定部位は、平面部81と立体部82との境界である立体部82の下部周縁82Aと、立体部82の上面82Bの周縁82Cの2箇所である。これら下部周縁82Aおよび上面82Bの周縁82Cには、図10に示す領域RP1と同じく、領域RP2および領域RP3が設定されている。この場合のロック時有効操作は、下部周縁82Aへの回転スライド操作、および/または、上面82Bの周縁82Cへの回転スライド操作である。
図24に示すタッチパッド85は、平面部86と、凸型の立体部87とを有する。立体部87は錐台状、より詳しくは円錐台状をしている。この場合の特定部位は、平面部86と立体部87との境界である立体部87の下部周縁87Aと、立体部87の上面87Bの周縁87Cの2箇所である。この場合も下部周縁87Aには領域RP4が、上面87Bの周縁87Cには領域RP5が設定されている。この場合のロック時有効操作は、下部周縁87Aへの回転スライド操作、および/または、上面87Bの周縁87Cへの回転スライド操作である。
図25に示すタッチパッド90は、平面部91と、凸型の立体部92とを有する。立体部92は錐台状、より詳しくはX軸方向に長い四角錐台状をしている。この場合の特定部位は、平面部91と立体部92との境界である立体部92の下部周縁を構成する辺のうち、立体部92の長手方向であるX軸方向に平行な対向する2つの下辺92A、92Bと、立体部92の上面92Cの周縁を構成する辺のうち、X軸方向に平行な対向する2つの上辺92D、92Eである。この場合、下辺92A、92Bを1箇所の特定部位、上辺92D、92Eを1箇所の特定部位とそれぞれ見做す。これら下辺92A、92Bおよび上辺92D、92Eに対しても、領域RP6(下辺92Aのみ図示)および領域RP7(上辺92Dのみ図示)が設定されている。
この場合のロック時有効操作は、下部スライド操作および/または上部スライド操作である。下部スライド操作は、下辺92A、92Bを2本の指(例えば親指と人差し指)で挟み、その状態で下辺92A、92Bに沿って(X軸方向に沿って)2本の指を移動させ
るものである。上部スライド操作は、上辺92D、92Eを2本の指(例えば親指と人差し指)で挟み、その状態で上辺92D、92Eに沿って(X軸方向に沿って)2本の指を移動させるものである。
図23〜図25のタッチパッド80、85、90で示したように、凸型の立体部に上面がある場合は、下部周縁に替えて、あるいは加えて、上面の周縁を特定部位としてもよい。そして、特定部位は1箇所に限らず複数箇所でもよい。特定部位が複数箇所の場合は、特定部位に応じて、AP実行部71で実行する特定機能を変更してもよい。例えば図23に示すタッチパッド80において、下部周縁82Aへの回転スライド操作の場合は、特定機能として音量調節機能の操作ボタン32Bの選択確定を実行し、上面82Bの周縁82Cへの回転スライド操作の場合は、特定機能として温度調節機能の操作ボタン32Eの選択確定を実行する。なお、周縁82C、87C、上辺92D、92Eに関しては、下部周縁と違って実際に指を接触させることができるので、領域RP3、RP5、RP7を設定しなくてもよい。
タッチパッド80、85、90のように凸型の立体部に上面がある場合、上面を指で叩くジェスチャ操作を、シングルタップ操作またはダブルタップ操作と認識することが好ましい。
図26に示すタッチパッド95は、平面部96と、平面部96に対して凹んだ凹型の立体部97とを有する。立体部97は、図25の立体部92のX軸方向に長い四角錐台状を丁度逆さにした形状の孔である。この場合の特定部位は、平面部96と立体部97との境界である立体部97の開口縁を構成する辺のうち、立体部97の長手方向であるX軸方向に平行な対向する2つの上辺97A、97Bである。上辺97A、97Bには、領域RP8が設定される。この場合のロック時有効操作は、上辺97A、97Bに2本の指(例えば人差し指と中指)を接触させ、その状態で上辺97A、97Bに沿って(X軸方向に沿って)2本の指を移動させるものである。
このように、立体部は凸型に限らず凹型でもよい。なお、上辺97A、97Bに関しても、領域RP8を設定しなくてもよい。
図26では図25の立体部92を逆さにした形状の孔を凹型の立体部97としたが、図6に示す半球状の立体部41、図23に示す円柱状の立体部82、あるいは図24に示す円錐台状の立体部87を逆さにした形状の孔を凹型の立体部としてもよい。
図27に示すタッチパッド100は、平面部101と、平面部101に対して凹んだ凹型の立体部102と、平面部101から突出した凸型の立体部103とを有する。凸型の立体部103は、図6に示す立体部41と同じく半球状をしている。凹型の立体部102は、立体部103の下部周縁に沿って平面部101を同じ幅Wで繰り抜いた円環状の溝である。立体部102の幅Wは、指が丁度収まる程度の寸法(約20mm)である。
この場合の特定部位は、平面部101と立体部102との境界である立体部102の開口縁102A、および/または、立体部102の凹面である底面102Bである。開口縁102Aには領域RP9が、底面102Bには領域RP10がそれぞれ設定される。なお、領域RP9は設定しなくてもよい。
この場合のロック時有効操作は、開口縁102Aに2本の指(例えば人差し指と中指)を接触させ、その状態で開口縁102Aに沿って指を左右に回転移動させる開口縁回転スライド操作、および/または、底面102Bに人差し指と親指を含む2本以上の指を接触させ、その状態で底面102Bに沿って指を左右に回転移動させる底面回転スライド操作
である。
このように、立体部は凹型と凸型を組み合わせてもよい。また、凹型の立体部においては、開口縁に替えて、あるいは加えて、凹面を特定部位としてもよい。なお、凹面としては、例示した底面102Bに替えて、あるいは加えて、開口縁102Aと底面102Bを繋ぐ側面でもよい。
図28に示すタッチパッド105は、平面部106と、凸型の立体部107と、凹型の立体部である3つの指孔108、109、110と、凹型の立体部である3つのガイド溝111、112、113とを有する。指孔108〜110は円形であり、半球状の立体部107の下部周縁の自動車の前側に並べて形成されている。指孔108には人差し指が、指孔109には中指が、指孔110には薬指が、それぞれ挿し入れられる。指孔108〜110の直径D(図28では指孔109の直径Dのみ図示)は、指が丁度収まる程度の寸法(約20mm)である。なお、図28において指孔の符号の後の括弧内に付されたFP1、FP2、FP3は、指孔108〜110のそれぞれの位置を示す符号である(図30も参照)。
ガイド溝111は指孔108に人差し指を案内し、ガイド溝112は指孔109に中指を案内し、ガイド溝113は指孔110に薬指を案内する。ガイド溝111〜113は、立体部107の自動車の前側の中央部から下部に掛けて形成されている。ガイド溝111〜113を形成する凹面111A、112A、113Aは、上部が幅狭で下部が幅広のテーパ状であり、指孔108〜110と接続する下部において、指孔108〜110の直径Dと同じ幅となる。
この場合の特定部位は、ガイド溝111〜113を形成する凹面111A〜113Aである。凹面111A〜113Aには領域RP11、RP12、RP13がそれぞれ設定される。
また、この場合のロック時有効操作は、凹面111A〜113Aの上部に人差し指、中指、薬指を接触させて、その状態で各指を凹面111A〜113Aに沿って下方に移動させ、指孔108〜110に各指を挿し入れるガイド溝スライド操作である。このガイド溝スライド操作は、図14Aに示すスプレッド操作を、ガイド溝111〜113に各指を沿わせつつ行うイメージである。
指が挿し入れられる指孔108〜110と、指孔108〜110に指を案内するガイド溝111〜113で凹型の立体部を構成するので、より指の触覚で知覚しやすくなり、手探りでもすぐに探り当てることができる。また、ガイド溝スライド操作は、回転スライド操作等と同じく、ユーザが意図して行わなければできない操作であるため、確実に誤操作との区別がつく。
図28では、立体部107にガイド溝111〜113を形成しているが、立体部107をなくし、平面部106にガイド溝111〜113を形成してもよい。
図28に示すタッチパッド105を用いる場合、ガイド溝スライド操作で指が挿し入れられた指孔108〜110の個数または位置に応じて、AP実行部71で実行する特定機能を変更してもよい。具体的には図29の操作コマンド変換用情報114に示すように、指が挿し入れられた指孔108〜110の個数が1個の場合は音量調節機能の操作ボタン32B、2個の場合は選曲機能の操作ボタン32C、3個の場合は温度調節機能の操作ボタン32Eのそれぞれの操作ボタン32の選択が確定される。いずれの場合も操作ロックの解除およびメニューバー31の表示がセットになっている。
なお、指が挿し入れられた指孔108〜110の個数が1個または2個の場合は、指が挿し入れられた指孔108〜110の位置は問わない。例えば指孔108のみに人差し指が挿し入れられた場合と、指孔110のみに薬指が挿し入れられた場合とでは、指が挿し入れられた位置が異なるが、指が挿し入れられた個数は1個であるため、いずれの場合も音量調節機能の操作ボタン32Bの選択が確定される。
図30に示す操作コマンド変換用情報115は、ガイド溝スライド操作で指が挿し入れられた指孔108〜110の位置に応じて、AP実行部71で実行する特定機能を変更する例である。まず、最上段に示すように、位置FP1〜FP3の全ての指孔108〜110に人差し指、中指、薬指が挿し入れられた場合は、操作ロックの解除およびメインメニュー画面の表示が実行される。指が挿し入れられた指孔が指孔108(位置FP1、人差し指)のみであった場合は音量調節機能の操作ボタン32B、指孔109(位置FP2、中指)のみであった場合は選曲機能の操作ボタン32C、指孔110(位置FP3、薬指)のみであった場合は温度調節機能の操作ボタン32Eのそれぞれの操作ボタン32の選択が確定される。これらはいずれの場合も操作ロックの解除およびメニューバー31の表示がセットになっている。
指が挿し入れられた指孔が指孔108、109(位置FP1、FP2、人差し指と中指)であった場合は、操作ロックの解除とともに音量が上げられる、温度が上げられる、もしくは楽曲が送られる。対して、指孔109、110(位置FP2、FP3、中指と薬指)であった場合は、操作ロックの解除とともに音量が下げられる、温度が下げられる、もしくは楽曲が戻される。音量、温度、楽曲のいずれを変更するかは、ユーザが設定変更可能である。
さらには、指が挿し入れられた指孔が指孔108、110(位置FP1、FP3、人差し指と薬指)であった場合は、操作ロックの解除とともにカーエアコンまたはカーオーディオがオフされる。カーエアコンとカーオーディオのいずれをオフするかは、ユーザが設定変更可能である。
このように、指が挿し入れられた指孔108〜110の個数または位置に応じて、AP実行部71で実行する特定機能を変更するので、指孔108〜110に挿し入れる指の個数または位置と、実行する特定機能とがユーザの中で関連付けられていれば、指孔108〜110に挿し入れる指の個数または位置を変えることで所望の機能をダイレクトに実行させることができ、より直感的な操作が可能となる。
なお、図29に示す指が挿し入れられた指孔の個数と実行する特定機能、および図30に示す指が挿し入れられた指孔の位置と実行する特定機能は一例であり、本発明を特に限定するものではない。また、指孔およびガイド溝の数は、上記例の3つに限らず、親指用の指孔およびガイド溝を加えて4つとしてもよいし、さらに小指用の指孔およびガイド溝を加えて5つとしてもよい。
[第2実施形態]
ここまで、ロック時有効操作として、回転スライド操作、下部スライド操作、上部スライド操作等のスライド操作を例示してきたが、本発明はこれに限定されない。図31に示す第2実施形態のように、凸型の立体部の形状で特定される凸型の立体部上の特定部位に対するダブルタップ操作をロック時有効操作としてもよい。
図31は、図6に示すタッチパッド13を用いた場合の例を示す。この場合の特定部位は、半球状の凸型の立体部41の頂点部41Bである。頂点部41Bには領域RP14が
設定されている。操作ロックが実行されている状態で、この頂点部41Bに対するダブルタップ操作が行われた場合、操作有効性判定部76は、ダブルタップ操作を有効な操作と判定し、APインタフェース部63に出力する。これにより操作ロックが解除され、かつ特定機能が実行される。
図31では図6に示すタッチパッド13を例示したが、図23〜図25に示すタッチパッド80、85、90のように、凸型の立体部に上面があるものについても本実施形態は適用可能である。この場合は、上面の中心部や上面の周縁の限られた部位(例えば上面の周縁の助手席21側)を特定部位とする。上記の頂点部41Bを含めて、こうした特定部位は、手元を視認せずに手探りで認識することができる。
ダブルタップ操作は、特定部位に指を接触させてから移動させるスライド操作と比べて操作の手間が掛からない。このため、より操作ロックの解除と特定機能の実行とをスムーズに行うことができる。
[第3実施形態]
図32に示す第3実施形態では、特定機能を表す文字を立体部上に指で書く文字書き操作を、ロック時有効操作とする。特定機能を表す文字は、例えば音量調節機能の場合は「V」、温度調節機能の場合は「T」、風量調節機能の場合は「F」、風向調節機能の場合は「D」等、予め設定されている。
図32は、図31と同じく図6に示すタッチパッド13を用いた場合の例を示す。操作ロックが実行されている状態で、特定機能を表す文字(ここでは音量調節機能の「V」)を立体部41上に指で書く文字書き操作がされた場合、操作有効性判定部76は、文字書き操作を有効な操作と判定し、APインタフェース部63に出力する。この場合、操作ロックの解除、メニューバー31の表示、および音量調節機能の操作ボタン32Bの選択確定が行われる。
この文字書き操作によれば、特定機能と文字との関連付けがしやすいので、図28〜図30で示した、指が挿し入れられた指孔108〜110の個数または位置に応じて、AP実行部71で実行する特定機能を変更する態様よりも、ユーザはすんなりと特定機能と文字との関連性を覚えることができる。特定機能と文字との関連性を覚えてしまえば、立体部41上に文字を書くだけで所望の機能が実行されるので、より手軽で直感的である。
タッチ式操作装置を構成するタッチセンサは1つに限らず複数でもよい。例えば図33に示すタッチパッドユニット118を用いてもよい。
図33において、タッチパッドユニット118は、図6で示した半球状の凸型の立体部41を有するタッチパッド13と、図23で示した円柱状の凸型の立体部82を有するタッチパッド80と、図24で示した円錐台状の凸型の立体部87を有するタッチパッド85とを、X軸方向に沿って並べたものである。
この場合、例えばタッチパッド13はカーナビAP、タッチパッド80はカーエアコンAP、タッチパッド85はカーオーディオAPのそれぞれの操作専用とする。こうすれば、例えば操作ロック時にタッチパッド80の立体部82の下部周縁82Aに対して回転スライド操作がされた場合、操作ロックの解除と温度調節を実行したり、操作ロック時にタッチパッド85の立体部87の下部周縁87Aに対して回転スライド操作がされた場合、操作ロックの解除と音量調節を実行したりする等、各車載AP67の機能をより手間を掛けずに実行することができる。
なお、図33では、立体部の形状がそれぞれ異なるタッチパッド13、80、85でタッチパッドユニット118を構成したが、立体部の形状が同じ複数のタッチパッドでタッチパッドユニット118を構成してもよい。
[第4実施形態]
上記各実施形態では、タッチ式操作装置のタッチセンサとして、表示機能をもたないタッチパッドを例示したが、図34〜図36に示す第2実施形態では、タッチパネルをタッチ式操作装置のタッチセンサに用いる。
図34に示すように、第2実施形態のタッチパネル120は、平面部121と半球状の凸型の立体部122を有している点では、上記第1実施形態の図6に示すタッチパッド13と同じである。ただし、タッチパネル120は、立体部122の上部122Aが透明であり、この透明部分である上部122Aが、ハッチングで示すように表示機能を有する点でタッチパッド13と異なる。
図35に示すように、第4実施形態のコンソールデバイス制御部125には、タッチパッド制御部61の替わりにタッチパネル制御部126が構築される。タッチパネル制御部126は、上部122Aの表示内容を示す制御情報を、APインタフェース部63を介して主制御装置16から受信し、受信した制御情報に基づいて上部122Aの表示制御を行う。なお、図35では、第1ストレージデバイス50や音声出力制御部62等の図示を省略している。
図36の表130に示すように、タッチパネル制御部126は、操作に応じて上部122Aの表示内容を変更する。例えばコンソールシステム10の電源がオンされた場合は、上部122Aに青色の小円を表示した後、上部122A全体に青色を表示する。また、メニューバー31の操作ボタン32を選択する場合は橙色の円環を、音量調節の場合は紫色の円環を、温度調節の場合は緑色の円環を、それぞれ大きさを変えながら上部122Aに表示する。
このように、タッチ式操作装置のタッチセンサをタッチパネル120で構成すれば、操作と連動した表示が可能となる。手動運転中、ドライバはタッチパネル120を見ずに手探りで操作するとはいえども、手に届く範囲であるため、タッチパネル120を視界の片隅には捉えることができる。したがって、タッチ式操作装置のタッチセンサをタッチパネル120で構成し、操作と連動した表示を行えば、自分のジェスチャ操作による選択、設定状況を把握することができ、また、自分が行っているジェスチャ操作が確かに認識されていることを視認することができる。
なお、立体部122の上部122Aのみを表示機能を有する透明部分とするのではなく、立体部122の全体を、表示機能を有する透明部分としてもよい。また、平面部121も表示機能を有する透明部分としてもよい。さらに、透明部分の表示内容は、図36で示した異なる色の円または円環に限らない。例えばスピーカー14を模したイラストと音量値を示す数字といった操作の内容に関するイラストや文字を表示してもよい。
[第5実施形態]
上記各実施形態では、タッチ式操作装置の被搭載機器として自動車を例示して説明したが、本発明はこれに限らない。例えば図37〜図39に示す第5実施形態のように、被搭載機器は掃除機135でもよい。
図37に示すように、掃除機135は、吸引モータ(図示せず)を内蔵した本体部136と、本体部136から前方に延びる吸引ホース137とを備えている。吸引ホース13
7の先端には吸引ヘッド138が、中程には電源スイッチ等を備えた操作部139が、それぞれ設けられている。
図38および図39に示すように、操作部139は、ユーザの片方の手HDで把持することが可能なサイズを有する。この操作部139には、タッチ式操作装置のタッチセンサとしてタッチパネル145が設けられている。タッチパネル145は、本体部136あるいは操作部139に設けられたタッチパネル制御部および実行部(ともに図示せず)とでタッチ式操作システムを構成し、タッチパネル制御部により動作が制御される。
タッチパネル145は、平面部146と、凹型の立体部147とを有する。平面部146と立体部147の外周面の全域が操作領域である。立体部147は、親指が丁度収まる程度の寸法(約20mm)の幅を有する円弧状の溝である。
この場合の特定部位は、立体部147の凹面である底面147Aであり、ロック時有効操作は、底面147Aに親指を接触させ、その状態で、立体部147の円弧形状に沿って親指を円弧状に移動させる操作である。
平面部146は表示機能を有する透明部分であり、操作ボタン148、149が表示される。操作ボタン148、149は、立体部147へのスライド操作で実行される機能を選択するボタンである。具体的には、操作ボタン148は吸引レベルの調節機能を選択するボタンであり、操作ボタン149は吸引動作の運転モードの切り替え機能を選択するボタンである。図38はハッチングで示すように操作ボタン148が選択された状態、図39は操作ボタン149が選択された状態をそれぞれ示す。
吸引レベルは、例えば弱、中、強の3段階で調節が可能である。操作ボタン148が選択された場合、平面部146の立体部147の近傍には、図38に示すように吸引レベルを示すインジケータ150が表示される。現在選択されている吸引レベルのインジケータ(図38では弱の吸引レベルのインジケータ)150は、ハッチングで示すように赤色で点灯する等して、他のインジケータ150と識別可能なフォーカス表示がなされる。
運転モードには、例えば畳、床(フローリング)、毛(絨毯)の3つが用意されている。操作ボタン149が選択された場合、平面部146の立体部147の近傍には、図38のインジケータ150と同様に、図39に示すように運転モードを示すインジケータ151が表示される。インジケータ151もインジケータ150と同様に、現在選択されている運転モードのインジケータ(図39では畳の運転モードのインジケータ)151は、他のインジケータ151と識別可能なフォーカス表示がなされる。
操作ボタン148が選択された図38に示す状態では、立体部147への親指のスライド操作は、吸引レベルを変更する操作コマンドに変換される。一方、操作ボタン149が選択された図39に示す状態では、立体部147への親指のスライド操作は、運転モードを変更する操作コマンドに変換される。
電源オン後の掃除機135の動作状態としては、待機状態と吸引動作状態の2つがある。待機状態は、電源はオンされていてタッチパネル145に操作ボタン148、149等は表示されているが、吸引動作の開始指示はなされておらず、したがって吸引モータは回転していない状態である。一方、吸引動作状態は、吸引動作の開始指示がなされ、吸引モータが回転して吸引動作が行われている状態である。なお、吸引動作の開始指示および停止指示を行う操作部材は、タッチパネル145には操作ボタンとして表示されず、例えば操作部139のタッチパネル145と反対側の面に人差し指等で操作可能に設けられる。
この場合、特定の動作状態は吸引動作状態である。吸引動作状態において、掃除機135のユーザは、ゴミを吸い取るために吸引ヘッド138を見ながら掃除を行うので、操作部139へのアプローチは手探りとなる。この場合のロック時有効操作は、前述のように立体部147の底面147Aへの親指のスライド操作である。吸引動作状態においては操作ロックが実行されるが、立体部147の底面147Aへの親指のスライド操作のみは有効な操作と判定される。一方、操作ロック時における立体部147の底面147Aへの親指のスライド操作以外の操作、例えば操作ボタン148、149への操作は無効な操作と判定される。操作ボタン148、149への操作は、操作ロックが解除されたときに有効な操作と判定される。すなわち、操作ボタン148、149への操作は、ロック時無効操作である。
特定部位を立体部147の底面147Aとし、ロック時有効操作を底面147Aへの親指のスライド操作として、操作ロック時はこのスライド操作のみを有効な操作とするので、吸引ヘッド138から目を離すことなく容易に立体部147を探り当てることができ、誤操作なく簡単に操作ロックを解除して吸引レベルまたは運転モードを切り替えることが可能となる。
上記各実施形態において、例えば、コンソールデバイス制御部15、125、タッチパネル制御部60、タッチパッド制御部61、タッチパネル制御部126、音声出力制御部62、APインタフェース部63、OS処理部70、AP実行部71、操作認識部75、操作有効性判定部76といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。
各種のプロセッサには、CPU、プログラマブルロジックデバイス(Programmable Logic Device:PLD)、専用電気回路等が含まれる。CPUは、周知のとおりソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサである。PLDは、FPGA(Field Programmable Gate Array) 等の、製造後に回路構成を変更可能なプロセッサである。専用電気回路は、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサ
である。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:
SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのICチップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)である。
上記記載から、以下の付記項1に記載のタッチ式操作システムを把握することができる。
[付記項1]
ユーザが指を接触させてジェスチャ操作を行う操作領域を有し、前記指の触覚で知覚される凹型の立体部および/または凸型の立体部が前記操作領域に設けられたタッチセンサであり、前記ジェスチャ操作を無効化する操作ロックがなされるタッチセンサを有するタ
ッチ式操作装置と、前記タッチ式操作装置から入力される操作指示に応じた機能を実行する実行プロセッサとを備えるタッチ式操作システムにおいて、
前記タッチ式操作装置は、
前記操作領域に対して行われた前記ジェスチャ操作を認識する操作認識プロセッサと、
前記操作認識プロセッサで認識した前記ジェスチャ操作が有効な操作であるか否かを判定する操作有効性判定プロセッサであり、前記操作ロック時においても、前記立体部に対する特定の前記ジェスチャ操作であるロック時有効操作のみは前記有効な操作と判定する操作有効性判定プロセッサとを有し、
前記操作ロック時に前記ロック時有効操作がなされた場合、前記操作ロックが解除され、かつ同時に前記実行プロセッサによって特定の前記機能である特定機能が実行されるタッチ式操作システム。
本発明は、上記各実施形態に限らず、本発明の要旨を逸脱しない限り種々の構成を採り得ることはもちろんである。また、上述の種々の実施形態や種々の変形例を適宜組み合わせることも可能である。また、本発明は、プログラムに加えて、プログラムを記憶する記憶媒体にもおよぶ。
10 コンソールシステム
11 インストルメントパネル
12 タッチパネル
13、80、85、90、95、100、105 タッチパッド
14 スピーカー
15、125 コンソールデバイス制御部
16 主制御装置
17 ダッシュボード
18 センターコンソール
18A、18B、18C 上部、中央部、下部
19 ハンドル
20 運転席
21 助手席
22 空調機器
25 地図表示画面
26 地図
27 現在地マーク
28 走行経路
29 第1ナビ情報
30 第2ナビ情報
31 メニューバー
32、32A〜32E 操作ボタン
33 音量調節バー
34 カーソル
35 操作ボタン
40、81、86、91、96、101、106、121、146 平面部
41、82、87、92、97、102、103、107、122、147 立体部
41A、82A、87A 下部周縁
41B 頂点部
45 基板
46 被めっき層
47 電極
50 第1ストレージデバイス
51 作動プログラム
52 操作認識用情報
53 操作有効性判定用情報
60 タッチパネル制御部
61 タッチパッド制御部
62 音声出力制御部
63 APインタフェース部
65 第2ストレージデバイス
66 車載OS
67 車載AP(作動プログラム)
68、114、115 操作コマンド変換用情報
69 CPU
70 OS処理部
71 AP実行部
75 操作認識部
76 操作有効性判定部
77 タッチ式操作装置
78 タッチ式操作システム
82B、87B、92C 上面
82C、87C 上面の周縁
92A、92B 下辺(下部周縁)
92D、92E 上辺(上面の周縁)
97A、97B 上辺(開口縁)
102A 開口縁
102B 底面(立体部の凹面)
108〜110 指孔(立体部)
111〜113 ガイド溝(立体部)
111A〜113A ガイド溝を形成する凹面
118 タッチパッドユニット
120 タッチパネル(タッチセンサ)
122A 上部(表示機能を有する透明部分)
126 タッチパネル制御部
130 表
135 掃除機
136 本体部
137 吸引ホース
138 吸引ヘッド
139 操作部
145 タッチパネル
147A 底面(立体部の凹面)
148、149 操作ボタン
150、151 インジケータ
X 自動車の長さ方向と平行な水平軸
Y 自動車の幅方向と平行な水平軸
Z 鉛直軸
HD 手
TH 段差
RP1〜RP14、RA 領域
ST100〜ST130、ST500〜ST630 ステップ
W 幅
D 直径

Claims (19)

  1. タッチ式操作装置と、前記タッチ式操作装置から入力される操作指示に応じた機能を実行する実行部とを備えるタッチ式操作システムにおいて、
    前記タッチ式操作装置は、
    ユーザが指を接触させてジェスチャ操作を行う操作領域を有し、前記指の触覚で知覚される凹型の立体部および/または凸型の立体部が前記操作領域に設けられたタッチセンサであり、前記ジェスチャ操作を無効化する操作ロックがなされるタッチセンサと、
    前記操作領域に対して行われた前記ジェスチャ操作を認識する操作認識部と、
    前記操作認識部で認識した前記ジェスチャ操作が有効な操作であるか否かを判定する操作有効性判定部であり、前記操作ロック時においても、前記立体部に対する特定の前記ジェスチャ操作であるロック時有効操作のみは前記有効な操作と判定する操作有効性判定部とを有し、
    前記操作ロック時に前記ロック時有効操作がなされた場合、前記操作ロックが解除され、かつ同時に前記実行部によって特定の前記機能である特定機能が実行されるタッチ式操作システム。
  2. 前記ロック時有効操作に応じて前記操作ロックが解除されている間は、前記操作ロック時には無効な操作と判定される前記ジェスチャ操作であるロック時無効操作は、有効な操作とされる請求項1に記載のタッチ式操作システム。
  3. 前記実行部は、前記特定機能として、複数の前記機能に対応するメニュー項目の中から、1つの前記メニュー項目を選択するメニュー項目選択機能を実行する請求項1または2に記載のタッチ式操作システム。
  4. 前記操作領域は、平面部と、前記平面部に対して凹んだ前記凹型の立体部および/または前記平面部から突出した前記凸型の立体部とで構成される請求項1ないし3のいずれか1項に記載のタッチ式操作システム。
  5. 前記ロック時有効操作は、前記平面部と前記凹型の立体部との境界である前記凹型の立体部の開口縁および/または前記凹型の立体部の凹面に沿って前記指を移動させるスライド操作である請求項4に記載のタッチ式操作システム。
  6. 前記ロック時有効操作は、前記平面部と前記凸型の立体部との境界である前記凸型の立体部の下部周縁および/または前記凸型の立体部に上面がある場合は前記上面の周縁に沿って前記指を移動させるスライド操作である請求項4または5に記載のタッチ式操作システム。
  7. 前記ロック時有効操作は、前記凸型の立体部の形状で特定される前記凸型の立体部上の特定部位を前記指で2回連続して叩くダブルタップ操作である請求項4ないし6のいずれか1項に記載のタッチ式操作システム。
  8. 前記凹型の立体部は、複数の前記指が各々挿し入れられる複数の指孔と、複数の前記指孔に複数の前記指をそれぞれ案内する複数のガイド溝であり、
    前記ロック時有効操作は、前記ガイド溝を形成する凹面に沿って前記指を前記指孔に挿し入れるスライド操作である請求項4ないし7のいずれか1項に記載のタッチ式操作システム。
  9. 前記実行部は、前記指が挿し入れられた前記指孔の個数または位置に応じて、前記特定機能を変更する請求項8に記載のタッチ式操作システム。
  10. 前記ロック時有効操作は、前記特定機能を表す文字を前記立体部上に前記指で書く文字書き操作である請求項4ないし9のいずれか1項に記載のタッチ式操作システム。
  11. 前記立体部は、球状、柱体状、錐台状のうちのいずれかの形状である請求項4ないし10のいずれか1項に記載のタッチ式操作システム。
  12. 前記ジェスチャ操作に対する報知音声をスピーカーから出力する制御を行う音声出力制御部を備える請求項1ないし11のいずれか1項に記載のタッチ式操作システム。
  13. 前記タッチセンサは少なくとも一部が透明であり、この透明部分に表示機能を有するタッチパネルディスプレイである請求項1ないし12のいずれか1項に記載のタッチ式操作システム。
  14. 被搭載機器が特定の動作状態で、かつ前記操作認識部で前記ロック時有効操作が認識されていない間は、前記操作ロックが実行される請求項1ないし13のいずれか1項に記載のタッチ式操作システム。
  15. 被搭載機器は自動車である請求項1ないし14のいずれか1項に記載のタッチ式操作システム。
  16. 請求項14を引用する請求項15に記載のタッチ式操作システムにおいて、
    前記特定の動作状態は、前記自動車の運転席に座るドライバが、ハンドルを手動で操作して走行している手動運転の状態であるタッチ式操作システム。
  17. 前記機能は、カーナビゲーション、カーエアコン、およびカーオーディオのうちの少なくとも1つに関する機能である請求項15または16に記載のタッチ式操作システム。
  18. ユーザが指を接触させてジェスチャ操作を行う操作領域を有し、前記指の触覚で知覚される凹型の立体部および/または凸型の立体部が前記操作領域に設けられたタッチセンサであり、前記ジェスチャ操作を無効化する操作ロックがなされるタッチセンサを有するタッチ式操作装置を備えるタッチ式操作システムの作動方法であって、
    前記操作領域に対して行われた前記ジェスチャ操作を認識する操作認識ステップと、
    前記操作認識ステップで認識した前記ジェスチャ操作が有効な操作であるか否かを判定する操作有効性判定ステップであり、前記操作ロック時においても、前記立体部に対する特定の前記ジェスチャ操作であるロック時有効操作のみは前記有効な操作と判定する操作有効性判定ステップと、
    前記操作ロック時に前記ロック時有効操作がなされた場合、前記操作ロックを解除する操作ロック解除ステップと、
    前記タッチ式操作装置から入力される操作指示に応じた機能を実行する実行ステップであり、前記操作ロック時に前記ロック時有効操作がなされた場合、前記操作ロック解除ステップと同時に特定の前記機能である特定機能を実行する実行ステップとを備えるタッチ式操作システムの作動方法。
  19. ユーザが指を接触させてジェスチャ操作を行う操作領域を有し、前記指の触覚で知覚される凹型の立体部および/または凸型の立体部が前記操作領域に設けられたタッチセンサであり、前記ジェスチャ操作を無効化する操作ロックがなされるタッチセンサを有するタッチ式操作装置を備えるタッチ式操作システムの作動プログラムであって、
    前記操作領域に対して行われた前記ジェスチャ操作を認識する操作認識機能と、
    前記操作認識機能で認識した前記ジェスチャ操作が有効な操作であるか否かを判定する
    操作有効性判定機能であり、前記操作ロック時においても、前記立体部に対する特定の前記ジェスチャ操作であるロック時有効操作のみは前記有効な操作と判定する操作有効性判定機能と、
    前記操作ロック時に前記ロック時有効操作がなされた場合、前記操作ロックを解除する操作ロック解除機能と、
    前記タッチ式操作装置から入力される操作指示に応じた機能を実行する実行機能であり、前記操作ロック時に前記ロック時有効操作がなされた場合、前記操作ロック解除機能と同時に特定の前記機能である特定機能を実行する実行機能とを、コンピュータに実行させるタッチ式操作システムの作動プログラム。
JP2017065952A 2017-03-29 2017-03-29 タッチ式操作システムとその作動方法および作動プログラム Pending JP2018169756A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017065952A JP2018169756A (ja) 2017-03-29 2017-03-29 タッチ式操作システムとその作動方法および作動プログラム
PCT/JP2018/004611 WO2018179907A1 (ja) 2017-03-29 2018-02-09 タッチ式操作システムとその作動方法および作動プログラム
EP18776596.1A EP3605303A4 (en) 2017-03-29 2018-02-09 TOUCH OPERATING SYSTEM, AND OPERATING METHOD AND OPERATING PROGRAM THEREFOR
TW107110215A TW201841106A (zh) 2017-03-29 2018-03-26 觸控式操作系統及其作動方法
US16/582,979 US20200019252A1 (en) 2017-03-29 2019-09-25 Touch type operation system and operation method of same, and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017065952A JP2018169756A (ja) 2017-03-29 2017-03-29 タッチ式操作システムとその作動方法および作動プログラム

Publications (1)

Publication Number Publication Date
JP2018169756A true JP2018169756A (ja) 2018-11-01

Family

ID=63675067

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017065952A Pending JP2018169756A (ja) 2017-03-29 2017-03-29 タッチ式操作システムとその作動方法および作動プログラム

Country Status (5)

Country Link
US (1) US20200019252A1 (ja)
EP (1) EP3605303A4 (ja)
JP (1) JP2018169756A (ja)
TW (1) TW201841106A (ja)
WO (1) WO2018179907A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021144014A1 (en) * 2020-01-15 2021-07-22 Toyota Motor Europe Remote control for vehicle interface
CN114816158A (zh) * 2021-01-11 2022-07-29 华为技术有限公司 界面的控制方法、装置、电子设备和可读存储介质
JP2022112905A (ja) * 2021-01-22 2022-08-03 パナソニックIpマネジメント株式会社 入力装置
JP2022129153A (ja) * 2021-02-24 2022-09-05 株式会社Subaru 車両の乗員監視装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000194502A (ja) * 1998-12-25 2000-07-14 Tokai Rika Co Ltd タッチ操作入力装置
JP2003108306A (ja) * 2001-09-11 2003-04-11 Trw Automot Electronics & Components Gmbh & Co Kg 触覚による入力フィールドを用いる制御システム
JP2010244772A (ja) * 2009-04-03 2010-10-28 Sony Corp 静電容量式タッチ部材及びその製造方法、並びに静電容量式タッチ検出装置
JP2013075652A (ja) * 2011-09-14 2013-04-25 Jvc Kenwood Corp 車両における操作対象装置の制御装置及び制御方法
JP2014006565A (ja) * 2012-06-21 2014-01-16 Wacom Co Ltd 指示体操作検出装置
JP2015022766A (ja) * 2013-07-18 2015-02-02 本田技研工業株式会社 ユーザから車両への対話型操作のためのタッチパッド
JP2015033991A (ja) * 2013-08-09 2015-02-19 パイオニア株式会社 インターフェースデバイス、インターフェースデバイス制御方法、及びインターフェースデバイス制御プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5617783B2 (ja) 2011-07-17 2014-11-05 株式会社デンソー 車両用の操作入力装置及び制御システム
JP5928397B2 (ja) * 2013-04-03 2016-06-01 株式会社デンソー 入力装置
JP6340378B2 (ja) 2015-05-11 2018-06-06 富士フイルム株式会社 導電性積層体の製造方法、導電性積層体、タッチセンサー

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000194502A (ja) * 1998-12-25 2000-07-14 Tokai Rika Co Ltd タッチ操作入力装置
JP2003108306A (ja) * 2001-09-11 2003-04-11 Trw Automot Electronics & Components Gmbh & Co Kg 触覚による入力フィールドを用いる制御システム
JP2010244772A (ja) * 2009-04-03 2010-10-28 Sony Corp 静電容量式タッチ部材及びその製造方法、並びに静電容量式タッチ検出装置
JP2013075652A (ja) * 2011-09-14 2013-04-25 Jvc Kenwood Corp 車両における操作対象装置の制御装置及び制御方法
JP2014006565A (ja) * 2012-06-21 2014-01-16 Wacom Co Ltd 指示体操作検出装置
JP2015022766A (ja) * 2013-07-18 2015-02-02 本田技研工業株式会社 ユーザから車両への対話型操作のためのタッチパッド
JP2015033991A (ja) * 2013-08-09 2015-02-19 パイオニア株式会社 インターフェースデバイス、インターフェースデバイス制御方法、及びインターフェースデバイス制御プログラム

Also Published As

Publication number Publication date
WO2018179907A1 (ja) 2018-10-04
US20200019252A1 (en) 2020-01-16
EP3605303A1 (en) 2020-02-05
EP3605303A4 (en) 2020-04-08
TW201841106A (zh) 2018-11-16

Similar Documents

Publication Publication Date Title
US10635301B2 (en) Touch type operation device, and operation method and operation program thereof
US11003242B2 (en) Eye tracking
US10124648B2 (en) Vehicle operating system using motion capture
US10761617B2 (en) Touch type operation apparatus and operation method of same, and non-transitory computer readable medium
WO2018179907A1 (ja) タッチ式操作システムとその作動方法および作動プログラム
KR101503108B1 (ko) 사용자가 디스플레이 객체의 표시에 영향을 미칠 수 있는 자동차의 디스플레이 및 조작 시스템과 그 디스플레이 및 조작 시스템을 작동하는 방법
US10281989B2 (en) Vehicle operating system using motion capture
JP5565421B2 (ja) 車載操作装置
US10967737B2 (en) Input device for vehicle and input method
US20110218696A1 (en) Vehicle operating device
US9811200B2 (en) Touch input device, vehicle including the touch input device, and method for controlling the touch input device
US20110279391A1 (en) Image display device
JP2001216069A (ja) 操作入力装置および方向検出方法
JP5079473B2 (ja) 車載機器操作装置
JP2006264615A (ja) 車両用表示装置
US20130201126A1 (en) Input device
WO2018179906A1 (ja) タッチ式操作装置とその作動方法および作動プログラム
JP2022170505A (ja) 情報処理装置及びプログラム
WO2022230165A1 (ja) 操作制御装置、操作制御システムおよび操作制御方法
JP6379822B2 (ja) 入力装置及び電子機器
JP2015162212A (ja) 車両用設定装置
JP2008016043A (ja) 操作装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200130

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200512