JP2018063529A - キーボード、情報処理装置、フィードバック方法、及びプログラム - Google Patents

キーボード、情報処理装置、フィードバック方法、及びプログラム Download PDF

Info

Publication number
JP2018063529A
JP2018063529A JP2016200870A JP2016200870A JP2018063529A JP 2018063529 A JP2018063529 A JP 2018063529A JP 2016200870 A JP2016200870 A JP 2016200870A JP 2016200870 A JP2016200870 A JP 2016200870A JP 2018063529 A JP2018063529 A JP 2018063529A
Authority
JP
Japan
Prior art keywords
timing
feedback
user
key
finger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016200870A
Other languages
English (en)
Other versions
JP6205043B1 (ja
Inventor
泰史 塚本
Yasushi Tsukamoto
泰史 塚本
聡伸 中村
Satonobu Nakamura
聡伸 中村
充弘 山▲崎▼
Mitsuhiro Yamazaki
充弘 山▲崎▼
哲▲鵬▼ 王
Zhepeng Wang
哲▲鵬▼ 王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Singapore Pte Ltd
Original Assignee
Lenovo Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Singapore Pte Ltd filed Critical Lenovo Singapore Pte Ltd
Priority to JP2016200870A priority Critical patent/JP6205043B1/ja
Priority to CN201710881494.2A priority patent/CN107943274A/zh
Application granted granted Critical
Publication of JP6205043B1 publication Critical patent/JP6205043B1/ja
Priority to US15/782,439 priority patent/US20180101233A1/en
Publication of JP2018063529A publication Critical patent/JP2018063529A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1662—Details related to the integrated keyboard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202—Constructional details or processes of manufacture of the input device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Abstract

【課題】消費電力を抑制しつつ、キー入力を行うユーザの操作感を損なうことなくハプティック・フィードバックを可能とする、ことを目的とする。【解決手段】フラットキーボードは、複数のキー位置を示す画像が表示又は印字されたキー領域に対するユーザの指の接触状態を示す物理量を検知するタッチセンサ、ユーザの指の触覚に対してフィードバックを与えるハプティックデバイス、ユーザの聴覚に対してフィードバックを与えるスピーカーを備える。そして、フラットキーボードは、入力開始タイミングに合わせ、キー入力を行うユーザに対してハプティックデバイスの振動によるフィードバックを行い、入力終了タイミングに合わせ、キー入力を行うユーザに対してスピーカーからの打鍵音によるフィードバックを行う。【選択図】図５

Description

本発明は、キーボード、情報処理装置、フィードバック方法、及びプログラムに関するものである。
近年、タッチセンサを備えたパネル上にキーボードの画像を表示した平滑なキーボード（以下「フラットキーボード」という。）が開発されている。フラットキーボードは、デバイスの薄型化や軽量化、表面が平滑で美しい審美性、清掃の容易さ等が通常の物理キーボード（ハードウェアキーボード）と比べた場合の利点として挙げられる。
しかしながら、フラットキーボードは、平面であるがゆえに、物理キーボードのようなキーの上面（キートップ）が無く、キー入力（タイピング）を行ってもキーストローク及びキーボードからの反発力が無い。このため、ユーザは、フラットキーボードに対してキー入力を行っても、タッチ感に乏しかった。
そこで、特許文献１には、キーボードの内部にフィルムアクチュエータを備え、キーが押されたときに、フィルムアクチュエータに電圧を加えて反発力（振動）を発生させることで、ユーザにハプティック・フィードバックを与えるフラットキーボードが開示されている。
特開２０１５−１７９５７７号公報
特許文献１に記載のフラットキーボードは、ユーザがキートップを押した場合に、ユーザに反発力を与えるものであるが、この他にも用途に応じて性質の異なるハプティック・フィードバックが開発されている。例えば、フラットキーボードに対する連続打撃に対するハプティック・フィードバックとして、短時間で終了する一過性の強い振動を与えるものがある。このように、キー入力を行うユーザにとってより良好なフィードバックの開発が望まれている。
本発明は、このような事情に鑑みてなされたものであって、キー入力を行うユーザにとってより良好なフィードバックを可能とする、キーボード、情報処理装置、フィードバック方法、及びプログラムを提供することを目的とする。
上記課題を解決するために、本発明のキーボード、情報処理装置、フィードバック方法、及びプログラムは以下の手段を採用する。
本発明の第一態様に係るキーボードは、複数のキー位置を示す画像がキー領域に表示又は印字されたキーボードであって、前記キー領域に対するユーザの指の接触状態を示す物理量を検知するタッチセンサと、前記キー領域にユーザの指が接触したタイミングである第１タイミング、及び前記キー領域からユーザの指が離間したタイミングである第２タイミングを、前記タッチセンサによって検知された前記物理量に基づいて判定するタイミング判定部と、ユーザの指の触覚に対してフィードバックを与える第１フィードバック部と、ユーザの聴覚に対してフィードバックを与える第２フィードバック部と、前記第１フィードバック部を前記第１タイミング及び前記第２タイミングの何れか一方のタイミングに合わせて動作させ、前記第２フィードバック部をすくなくとも他方のタイミングに合わせて動作させるフィードバック制御部と、を備える。
本発明の第二態様に係る情報処理装置は、上記記載のキーボードを備える。
本発明の第三態様に係るフィードバック方法は、複数のキー位置を示す画像が表示又は印字されたキー領域に対するユーザの指の接触状態を示す物理量を検知するタッチセンサと、ユーザの指の触覚に対してフィードバックを与える第１フィードバック部と、ユーザの聴覚に対してフィードバックを与える第２フィードバック部と、を備えるキーボードのフィードバック方法であって、前記キー領域にユーザの指が接触したタイミングである第１タイミング、及び前記キー領域からユーザの指が離間したタイミングである第２タイミングを、前記タッチセンサによって検知された前記物理量に基づいて判定する第１工程と、前記第１フィードバック部を前記第１タイミング及び前記第２タイミングの何れか一方のタイミングに合わせて動作させ、前記第２フィードバック部をすくなくとも他方のタイミングに合わせて動作させる第２工程と、を有する。
本発明の第四態様に係るプログラムは、複数のキー位置を示す画像が表示又は印字されたキー領域に対するユーザの指の接触状態を示す物理量を検知するタッチセンサと、ユーザの指の触覚に対してフィードバックを与える第１フィードバック部と、ユーザの聴覚に対してフィードバックを与える第２フィードバック部と、を備えるキーボードを制御するコンピュータを、前記キー領域にユーザの指が接触したタイミングである第１タイミング、及び前記キー領域からユーザの指が離間したタイミングである第２タイミングを、前記タッチセンサによって検知された前記物理量に基づいて判定するタイミング判定部と、前記第１フィードバック部を前記第１タイミング及び前記第２タイミングの何れか一方のタイミングに合わせて動作させ、前記第２フィードバック部をすくなくとも他方のタイミングに合わせて動作させるフィードバック制御部と、して機能させる。
本発明によれば、キー入力を行うユーザにとってより良好なフィードバックを可能とする、という効果を有する。
本発明の実施形態に係るノートＰＣの概略外観図である。 本発明の実施形態に係るフラットキーボードを備える第２筐体の縦断面図である。 本発明の実施形態に係るノートＰＣの機能ブロック図である。 本発明の実施形態に係るハプティック・フィードバックに関する機能ブロック図である。 本発明の実施形態に係るユーザフィードバック処理の流れを示すフローチャートである。
以下に、本発明に係るキーボード、情報処理装置、フィードバック方法、及びプログラムの一実施形態について、図面を参照して説明する。
以下、本発明の実施形態について説明する。
図１は、本実施形態に係るノートＰＣ１の概略外観図である。
ノートＰＣ１は、図１に示すように一例として、いずれも略直方体である第１筐体２Ａ及び第２筐体２Ｂを備える。
第１筐体２Ａ及び第２筐体２Ｂは、それぞれの端部で左右一対の連結部３Ａ，３Ｂによって連結されている。連結部３Ａ，３Ｂは、ヒンジであり、第１筐体２Ａ及び第２筐体２Ｂを開閉自在に支持している。
第１筐体２Ａは、タッチパネルディスプレイ４を備える。第２筐体２Ｂは、フラットキーボード５及びスピーカー６を備える。
タッチパネルディスプレイ４は、表示画面であるＬＣＤ（Liquid Crystal Display）２３とタッチセンサ２５（図３参照）を備える。タッチパネルディスプレイ４は、ビデオ信号に変換された表示データに応じた各種情報を表示画面に表示すると共に、ユーザの指やペン等の指示体による接触や、指示体の近接をタッチセンサによって検知することで、指示体による操作入力を受け付ける。なお、以下の説明において、ユーザの指がＬＣＤ２３やフラットキーボード５に接触又は近接することを単にタッチともいう。
フラットキーボード５は、タッチセンサ２７（図２，３参照）を備えたパネル上にキーボードの画像を表示又は印字した平滑なキーボードであり、キーストロークが無い、又はキーストロークがあったとしても非常に小さい。
フラットキーボード５は、キー領域５Ａ及びタッチパッド領域５Ｂを備える。
キー領域５Ａは、キー入力を受け付けるためのキーボード領域である。キー領域５Ａは、文字、コマンド等の入力を受け付ける複数のキー位置を示す画像が表示されている。なお、キーには、文字入力を受け付けるための複数の文字キー、及び文字入力以外の機能を受け付ける複数の機能キーが含まれる。
タッチパッド領域５Ｂは、タッチパネルディスプレイ４に表示されるポインタ７を移動させるポインティング操作やタップ操作を行う領域である。図１に示されるタッチパッド領域５Ｂは、矩形状に表示されているがこれに限られず、他の形状であってもよい。また、タッチパッド領域５Ｂは、キー領域５Ａの下側（ユーザ側）に設けられているがこれに限られない。例えば、タッチパッド領域５Ｂは、キー領域５Ａの右側又は左側に設けられてもよいし、キー領域５Ａの略中央にボタン状（ポインティング・スティックともいう。）に表示されて設けられてもよい。また、フラットキーボード５は、タッチパッド領域５Ｂを備えなくてもよい。
図２は、本実施形態に係るフラットキーボード５を備える第２筐体２Ｂの縦断面図であり、一例として、キー領域５Ａとタッチセンサ２７の背面に、ハプティックデバイス２８を備える。なお、図２は、模式図であり、第２筐体２Ｂの内部にはハプティックデバイス２８の他に、フラットキーボード５の周囲を囲む矩形のフレーム１１や各種基盤（不図示）等が設けられる。
ハプティックデバイス２８は、ユーザの指の触覚に対してフィードバック（以下「ハプティック・フィードバック」という。）を与えるフィードバック部であり、一例として、振動を生じさせるアクチュエータ２８Ａを搭載している。本実施形態に係るアクチュエータは、ユーザによるフラットキーボード５へのキー入力に応じて、フラットキーボード５に振動を伝える。ユーザは、指で振動を知覚したり音（アクチュエータ２８Ａの動作音）として知覚したりすることで、キーを実際に押下動作したという錯覚を得る。
本実施形態に係るアクチュエータ２８Ａは、所定の時間、振動体２８Ｂに一定の振幅の振動を与えるものであり、例えば、偏心モータを利用するＥＲＭ（Eccentric Rotating Mass）型アクチュエータ、磁界中のコイルに交流電流を流して可動子を振動させるリニア共振型アクチュエータ（ＬＲＡ：Linear Resonant Actuator）、形状記憶合金を用いたアクチュエータ（ＳＩＡ：Shape memory alloy Impact Actuator）、及び圧電素子（ピエゾ素子）を用いたアクチュエータ（ＰＶＡ：Piezo Vibration Actuator）等が挙げられる。図２に示されるハプティックデバイス２８は、第２筐体２Ｂの略中央に一つ設けられているが、これに限らず、ハプティックデバイス２８は複数設けられてもよく、例えば、第２筐体２Ｂの内側の４隅に一つずつ設けられてもよい。また、ハプティックデバイス２８は、第２筐体２Ｂではなく、フレーム１１に設けられてもよい。フレーム１１にハプティックデバイス２８が設けられる場合、ハプティックデバイス２８は、例えば、対抗する２辺に１つずつ、又は４辺に１つずつ設けられる。
スピーカー６は、キー領域５Ａの近辺に備えられる。図１の例では、スピーカー６はキー領域５Ａの上側（タッチパネルディスプレイ４側）に備えられる。なお、これに限らず、スピーカー６は、キー領域５Ａ内に備えられてもよい。この他にスピーカー６は、第２筐体２Ｂに備えられていれば、例えば、キー領域５Ａの背面に備えられてもよい。
図３は、ノートＰＣ１の機能ブロック図である。
ノートＰＣ１は、タッチパネルディスプレイ４、フラットキーボード５、スピーカー６と共に、ＣＰＵ（Central Processing Unit）２０、ＲＯＭ（Read Only Memory）２１、メモリ２２、グラフィクスアダプタ２４、タッチＩＣ（Integrated Circuit）２６、タッチＩＣ２９、フラッシュメモリ３０、通信デバイス３１、及び電源回路３２を備えており、各部はバス３３を介して直接または間接的に接続されている。
上述のように、タッチパネルディスプレイ４は、ＬＣＤ２３とタッチセンサ２５を含んで構成される。また、フラットキーボード５は、タッチセンサ２７及びハプティックデバイス２８を含んで構成される。
ＣＰＵ２０は、フラッシュメモリ３０に格納されたＯＳ（Operating System）によりノートＰＣ１全体の制御を行うと共に、フラッシュメモリ３０に格納された各種のプログラムに基づいて、タッチパネルディスプレイ４等を介したユーザの操作に応じた処理を実行する機能を有する。
ＲＯＭ２１は、ＢＩＯＳ（Basic Input/Output System）や各種データ等を格納している。
メモリ２２は、キャッシュメモリやＲＡＭ（Random Access Memory）で構成されており、ＣＰＵ２０の実行プログラムの読み込み、及び実行プログラムによる処理データの書き込みを行う作業領域として利用される書き込み可能なメモリである。
ＬＣＤ２３は、ＣＰＵ２０の制御に従って、グラフィクスアダプタ２４からのビデオ信号を画像として表示する。
グラフィクスアダプタ２４は、ＣＰＵ２０の制御に従って、表示情報をビデオ信号に変換し、変換したビデオ信号をＬＣＤ２３に出力する。
タッチセンサ２５は、ＬＣＤ２３に対するユーザの指及びタッチペン等の接触状態を示す物理量を検知して、検知した物理量及び検知した位置である接触位置を検知信号としてタッチＩＣ２６に出力する。
タッチＩＣ２６は、プロセッサがＲＯＭ２１等に格納されたプログラムを実行することにより、タッチセンサ２５から入力された検知信号に基づいた各種処理を行い、タッチセンサ２５の動作を制御する。
タッチセンサ２７は、フラットキーボード５に備えられたキー領域５Ａ及びタッチパッド領域５Ｂに対するユーザの指等の接触状態を示す物理量を検知し、検知信号をタッチＩＣ２９に出力する。
本実施形態に係るタッチセンサ２５，２７は、一例として圧力センサとされる。このため、以下の説明では、タッチセンサ２５，２７で検知する物理量を圧力とする。タッチセンサ２５，２７は、圧力を検出すると、接触位置及び圧力値を検知信号としてタッチＩＣ２６，２９へ出力する。
タッチＩＣ２９は、プロセッサがＲＯＭ２１等に格納されたプログラムを実行することにより、タッチセンサ２５から入力された検知信号に基づいた各種処理を行い、タッチセンサ２７の動作を制御する。
フラッシュメモリ３０は、ノートＰＣ１全体の制御を行うためのＯＳ、周辺機器類をハードウェア操作するための各種ドライバ、特定業務に向けられたアプリケーション、及び各種データやファイル等を格納する機能を有する。なお、ノートＰＣ１は、フラッシュメモリ３０に替わる記憶手段としてＨＤＤ（Hard Disk Drive）等、他の記憶手段を備えてもよい。
通信デバイス３１は、他のデバイスとの間との通信を行う。
電源回路３２は、ＡＣアダプタ、電池、電池を充電するための充電器、及びＤＣ／ＤＣコンバータ等を備えており、ＣＰＵ２０の制御に従って、各デバイスに電力を供給する。
ここで、本実施形態に係るフラットキーボード５は、ユーザによってキー入力が行われた場合、ハプティックデバイス２８を振動させるハプティック・フィードバック、又はスピーカー６からの音によるフィードバックを行う（以下総称して「ユーザフィードバック」という。）。
図４は、本実施形態に係るユーザフィードバックに関する機能ブロック図である。タッチＩＣ２９は、検知信号処理部４０及びフィードバック制御部４２を備える。
検知信号処理部４０は、タッチセンサ２７からの検知信号が示すキー位置をＣＰＵ２０へ出力する。また、検知信号処理部４０は、タイミング判定部４１を備える。
タイミング判定部４１は、キー領域５Ａにユーザの指が接触したタイミング（所謂“Ｍａｋｅ”）である入力開始タイミング、及びキー領域５Ａからユーザの指が離間したタイミング（所謂“Ｂｒｅａｋ”）である入力終了タイミングを、タッチセンサ２７によって検知された圧力値に基づいて判定する。
具体的には、タイミング判定部４１は、タッチセンサ２７によって検知された圧力値が第１閾値以上となった場合に入力開始タイミングであると判定し、入力開始タイミングの後に圧力値が第２閾値以下となった場合に入力終了タイミングと判定する。すなわち、ユーザがキー入力を行う場合、第１閾値以上のある程度以上の力でキー位置を押す。このため、検知された圧力が第１閾値以上となったタイミングを入力開始タイミングとする。一方、入力が終了するとキー位置に対する力が弱くなる。このため、検知された圧力が第２閾値以下となったタイミングを入力終了タイミングとする。第１閾値及び第２閾値は、本発明が適用されるフラットキーボード５や情報処理装置（ノートＰＣ１）の大きさや形状あるいは材質、主たる使用形態などに応じて様々な値が経験上で設定される。第１閾値及び第２閾値は同じ値となる場合もあれば、どちらかの値が大きい値に設定される場合もある。さらには、ユーザに応じて押圧力に個人差があるので、ユーザ毎に過去の使用における圧力値を記録しておいて、過去の圧力値から初期に設定した値を自動的に補正して設定するようにしてもよい。本実施形態では、例えば第１閾値として６０ｇｆを設定し、第２閾値として５０ｇｆを設定してある。
フィードバック制御部４２は、ハプティックデバイス２８を入力開始タイミングに合わせて動作させ、スピーカー６を入力終了タイミングに合わせて動作させる。
すなわち、スピーカー６は、ユーザの聴覚に対してフィードバックを与えるフィードバック部として機能する。
スピーカー６は、キー入力を行った場合に生じる音を模擬した音（以下「打鍵音」という。）を、入力終了タイミングに合わせて発生させる。打鍵音は、周波数、長さ、及び大きさ等が調整され、任意の物理キーボードに対してキー入力を行った場合に発生する音を模擬してもよい。この他にも、打鍵音は、例えば、ハプティックデバイス２８を構成するアクチュエータ２８Ａが動作する音を模擬した音であってもよい。また、打鍵音は、任意の物理キーボードに対してキー入力をしたときに発生する実際の音を録音したものでもよい。このように、キー入力を行った場合に生じる音を模擬した打鍵音を発生させることで、ユーザに実際に物理キーボードを操作した、すなわちキーが実際に押下動作したという錯覚を与える助けとなる。
図５は、本実施形態に係るユーザフィードバック処理の流れを示すフローチャートである。
まず、ステップ１００では、キー領域５Ａに対するタッチをタッチセンサ２７が検知したか否かを検知信号処理部４０が判定し、肯定判定の場合はステップ１０２へ移行する。なお、検知信号処理部４０は、タッチセンサ２７からの検知信号の入力の有無に基づいて、キー領域５Ａに対するタッチをタッチセンサ２７が検知したか否かを判定する。
ステップ１０２では、タッチセンサ２７によって検知された圧力値が第１閾値以上であるか否かをタイミング判定部４１が判定し、肯定判定の場合はステップ１０４へ移行する。すなわち、肯定判定となったタイミングが入力開始タイミングである。一方、否定判定の場合は、検知されたタッチがキー入力を行うものではないため、ステップ１００へ戻る。
ステップ１０４では、ハプティックデバイス２８（アクチュエータ２８Ａ）が振動するように、フィードバック制御部４２がハプティックデバイス２８を動作させる。ハプティックデバイス２８が振動する時間は、ユーザにフィードバックするのに適当な時間とされ、例えば２０ｍｓｅｃ程度である。
次のステップ１０６では、タッチセンサ２７によって検知された圧力値が第２閾値以下となったか否かをタイミング判定部４１が判定し、肯定判定の場合はステップ１０８へ移行する。すなわち、肯定判定となったタイミングが入力終了タイミングである。否定判定の場合は、タッチした指がキー位置から離れていないため、圧力値が第２閾値以下となるまでステップ１０６による判定が繰り返される。
ステップ１０８では、ユーザの指がキー位置に対して継続して接触した時間（以下「接触時間」という。）が所定時間（例えば２０ｍｓｅｃ）以上であるか否かを、フィードバック制御部４２が判定し、肯定判定の場合はステップ１１０へ移行する。フィードバック制御部４２は、入力開始タイミングと入力終了タイミングとの時間間隔を接触時間として算出する。ステップ１０８において否定判定とされた場合は、ステップ１００へ戻る。
ステップ１１０では、打鍵音を発生するように、フィードバック制御部４２がスピーカー６を動作させ、ステップ１００へ戻る。
このように、本実施形態に係るフラットキーボード５は、入力開始タイミングに合わせ、キー入力を行うユーザに対して振動によるフィードバックを行い、入力終了タイミングに合わせ、キー入力を行ったユーザに対して打鍵音によるフィードバックを行う。ユーザはキーを押したタイミングでキー位置から振動を感じ、キーを押した指を離間させるタイミングに合わせて打鍵音を聞くことによって、キーが実際に押下動作したという錯覚を得ることで、物理キーボードに対してタイピングする感覚でフラットキーボード５をタイピングできる。従って、本実施形態に係るフラットキーボード５は、キー入力を行うユーザにとってより良好なフィードバックを可能とする。
また、フラットキーボード５は、入力開始タイミングにおいてハプティック・フィードバックを発生させ、入力終了タイミングにおいてスピーカー６から打鍵音を発生させることで、入力終了タイミングにおいても直前の入力開始タイミングに感じたハプティック・フィードバックがあたかも発生したようにユーザを錯覚させ、物理キーボードにおいてキーが実際に押下動作するときと上昇動作するときの感覚を疑似的にユーザに与える。これにより、フラットキーボード５は、ハプティックデバイス２８による振動を２回行う場合に比べて、消費電力を抑制し、かつキー入力を行うユーザの操作感を損なうことなくフィードバックを可能としている。
さらに、スピーカー６はキー領域５Ａの近辺又はキー領域５Ａ内に備えられるため、ユーザは、打鍵音がキー領域５Ａから発生していると感じ易い。このため、フラットキーボード５は、ユーザにとってより良好なフィードバックを可能とする。
また、フィードバック制御部４２は、ユーザの指の接触時間が所定時間以下の場合、スピーカー６を動作させない。すなわち、打鍵音によるフィードバックを省略する。接触時間が所定時間以下の場合とは、ユーザのキー入力の速度が速い場合であり、このような場合には打鍵音によるフィードバックを行わなくても、ユーザは物理キーボードに対してタイピングする感覚でフラットキーボード５をタイピングできる。
なお、本実施形態では、入力開始タイミングに合わせて振動によるフィードバックを行い、入力終了タイミングに合わせて打鍵音によるフィードバックを行ったが、打鍵音によるフィードバックのタイミングは、これに限られない。振動によるフィードバックを入力開始タイミング及び入力終了タイミングの何れか一方のタイミングに合わせて動作させ、打鍵音によるフィードバックを少なくとも他方のタイミングに合わせて動作させればよい。
例えば、入力開始タイミングに合わせてスピーカー６から打鍵音によるフィードバックを行い、入力終了タイミングに合わせてハプティックデバイス２８の振動によるフィードバックを行ってもよい。あるいは、入力開始タイミングに合わせて振動によるフィードバックとスピーカー６からの打鍵音によるフィードバックの両方を行い、入力終了タイミングに合わせて打鍵音によるフィードバックのみを行ったり、または、入力開始タイミングに合わせてスピーカー６から打鍵音によるフィードバックのみを行い、入力終了タイミングに合わせてハプティックデバイス２８の振動によるフィードバックとスピーカー６からの打鍵音によるフィードバックの両方を行ったりしてもよい。
また、ユーザの設定や電池の充電率等に応じて、ハプティックデバイス２８の振動によるフィードバック及びスピーカー６から打鍵音によるフィードバックの何れか一方を動作させなくてもよい。
以上説明したように、本実施形態に係るフラットキーボード５は、ハプティックデバイス２８及びスピーカー６を入力開始タイミングなのか入力終了タイミングなのかに合わせて制御する。これにより、本実施形態に係るフラットキーボード５は、キー入力を行うユーザにとってより良好なフィードバックを可能とする。
なお、ハプティックデバイス２８による振動の大きさとスピーカー６からの打鍵音の大きさは適宜変更可能とされている。例えば、振動を大きくする一方で打鍵音を小さくする、又は振動を小さくする一方で打鍵音を大きくする等、ユーザは、好みに応じて振動と打鍵音の大きさを設定できる。
以上、本発明を、上記実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更又は改良を加えることができ、該変更又は改良を加えた形態も本発明の技術的範囲に含まれる。
例えば、上記実施形態では、ノートＰＣ１がフラットキーボード５を備える形態について説明したが、本発明は、これに限定されるものではなく、フラットキーボード５は、ＵＳＢ（Universal Serial Bus）等によって情報処理装置（デスクトップＰＣやタブレット端末）に接続可能な外付けのキーボードとされてもよい。また、本発明に係るキーボードは、ソフトウェアキーボード（スクリーンキーボードともいう。）であってもよい。この形態の場合、ＬＣＤの背面にタッチセンサが設けられ、このタッチセンサの背面にハプティックデバイス２８が設けられる。
また、上記実施形態では、ハプティックデバイス２８を、振動を生じさせるアクチュエータ２８Ａとする形態について説明したが、本発明は、これに限定されるものではない。例えば、アクチュエータ２８Ａは、振動ではなく、反発力（衝撃）を生じさせてもよい。反発力を生じさせるアクチュエータ２８Ａは、例えば、振動素子としてのアクチュエータ２８Ａが振動体２８Ｂを打撃して一過性の振動を与えるものであり、形状記憶合金を利用するＳＩＡ（Shape Memory metal Impact Actuator）や圧電素子（ピエゾ素子）を用いたアクチュエータ（ＰＶＡ：Piezo Vibration Actuator）が挙げられる。また、ハプティックデバイス２８は、アクチュエータ２８Ａではなく、電流（又は電圧）によって指に電気刺激を生じさせる構成としてもよい。
また、上記実施形態では、タッチセンサ２７を圧力センサとする形態について説明したが、本発明は、これに限定されるものではない。タッチセンサ２７は、例えば接触面積を検出するキャパシティブセンサ等、他のセンサとされてもよい。
タッチセンサ２７をキャパシティブセンサとする場合、上記の第１閾値及び第２閾値としては、圧力値ではなく、接触面積を設定する。
また、上記実施形態では、検知信号処理部４０及びフィードバック制御部４２がタッチＩＣ２９に備えられる形態について説明したが、本発明は、これに限定されるものではない。検知信号処理部４０及びフィードバック制御部４２は、ＣＰＵ２０等、フラットキーボード５を制御する他の演算処理装置に備えられてもよい。
また、上記実施形態で説明したユーザフィードバック処理の流れも一例であり、本発明の主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
１ ノートＰＣ１（情報処理装置）
５ フラットキーボード（キーボード）
５Ａ キー領域
６ スピーカー（第２フィードバック部）
２７ タッチセンサ
２８ ハプティックデバイス（第１フィードバック部）
４１ タイミング判定部
４２ フィードバック制御部

Claims (11)

  1. 複数のキー位置を示す画像がキー領域に表示又は印字されたキーボードであって、
    前記キー領域に対するユーザの指の接触状態を示す物理量を検知するタッチセンサと、
    前記キー領域にユーザの指が接触したタイミングである第１タイミング、及び前記キー領域からユーザの指が離間したタイミングである第２タイミングを、前記タッチセンサによって検知された前記物理量に基づいて判定するタイミング判定部と、
    ユーザの指の触覚に対してフィードバックを与える第１フィードバック部と、
    ユーザの聴覚に対してフィードバックを与える第２フィードバック部と、
    前記第１フィードバック部を前記第１タイミング及び前記第２タイミングの何れか一方のタイミングに合わせて動作させ、前記第２フィードバック部をすくなくとも他方のタイミングに合わせて動作させるフィードバック制御部と、
    を備えるキーボード。
  2. 前記フィードバック制御部は、前記第１フィードバック部を前記第１タイミングに合わせて動作させ、前記第２フィードバック部をすくなくとも前記第２タイミングに合わせて動作させる請求項１記載のキーボード。
  3. 前記第２フィードバック部は、キー入力を行った場合に生じる音を模擬した音を発生させる請求項１または請求項２に記載のキーボード。
  4. 前記第２フィードバック部は、前記キー領域の近辺又は前記キー領域内に備えられる請求項１から請求項３の何れか１項記載のキーボード。
  5. 前記タイミング判定部は、前記タッチセンサによって検知された前記物理量が第１閾値以上となった場合に前記第１タイミングと判定し、前記第１タイミングの後に前記物理量が第２閾値以下となった場合に前記第１タイミングと判定する請求項１から請求項４の何れか１項記載のキーボード。
  6. 前記第１フィードバック部は、振動、反発力、又は電気刺激を生じさせる請求項１から請求項５の何れか１項記載のキーボード。
  7. 前記フィードバック制御部は、前記接触から前記離間までの時間間隔が所定時間以下の場合、前記第２フィードバック部を動作させない請求項１から請求項６の何れか１項記載のキーボード。
  8. 前記タッチセンサは、圧力又は接触面積を検知する請求項１から請求項７の何れか１項記載のキーボード。
  9. 請求項１から請求項８の何れか１項記載のキーボードを備える情報処理装置。
  10. 複数のキー位置を示す画像が表示又は印字されたキー領域に対するユーザの指の接触状態を示す物理量を検知するタッチセンサと、ユーザの指の触覚に対してフィードバックを与える第１フィードバック部と、ユーザの聴覚に対してフィードバックを与える第２フィードバック部と、を備えるキーボードのフィードバック方法であって、
    前記キー領域にユーザの指が接触したタイミングである第１タイミング、及び前記キー領域からユーザの指が離間したタイミングである第２タイミングを、前記タッチセンサによって検知された前記物理量に基づいて判定する第１工程と、
    前記第１フィードバック部を前記第１タイミング及び前記第２タイミングの何れか一方のタイミングに合わせて動作させ、前記第２フィードバック部をすくなくとも他方のタイミングに合わせて動作させる第２工程と、
    を有するフィードバック方法。
  11. 複数のキー位置を示す画像が表示又は印字されたキー領域に対するユーザの指の接触状態を示す物理量を検知するタッチセンサと、ユーザの指の触覚に対してフィードバックを与える第１フィードバック部と、ユーザの聴覚に対してフィードバックを与える第２フィードバック部と、を備えるキーボードを制御するコンピュータを、
    前記キー領域にユーザの指が接触したタイミングである第１タイミング、及び前記キー領域からユーザの指が離間したタイミングである第２タイミングを、前記タッチセンサによって検知された前記物理量に基づいて判定するタイミング判定部と、
    前記第１フィードバック部を前記第１タイミング及び前記第２タイミングの何れか一方のタイミングに合わせて動作させ、前記第２フィードバック部をすくなくとも他方のタイミングに合わせて動作させるフィードバック制御部と、
    して機能させるためのプログラム。
JP2016200870A 2016-10-12 2016-10-12 キーボード、情報処理装置、フィードバック方法、及びプログラム Active JP6205043B1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016200870A JP6205043B1 (ja) 2016-10-12 2016-10-12 キーボード、情報処理装置、フィードバック方法、及びプログラム
CN201710881494.2A CN107943274A (zh) 2016-10-12 2017-09-26 键盘、信息处理装置、反馈方法以及计算机可读存储介质
US15/782,439 US20180101233A1 (en) 2016-10-12 2017-10-12 Apparatus, systems, and method for simulating a physical keyboard

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016200870A JP6205043B1 (ja) 2016-10-12 2016-10-12 キーボード、情報処理装置、フィードバック方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP6205043B1 JP6205043B1 (ja) 2017-09-27
JP2018063529A true JP2018063529A (ja) 2018-04-19

Family

ID=59969413

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016200870A Active JP6205043B1 (ja) 2016-10-12 2016-10-12 キーボード、情報処理装置、フィードバック方法、及びプログラム

Country Status (3)

Country Link
US (1) US20180101233A1 (ja)
JP (1) JP6205043B1 (ja)
CN (1) CN107943274A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020044633A1 (ja) * 2018-08-29 2020-03-05 オムロン株式会社 疑似触感を発生させるキー入力装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10585524B2 (en) * 2017-09-29 2020-03-10 Apple Inc. Input controls using pressure sensors
TWI733126B (zh) * 2018-07-03 2021-07-11 仁寶電腦工業股份有限公司 電子裝置與電子裝置的組裝方法
JP7141927B2 (ja) * 2018-11-26 2022-09-26 ホシデン株式会社 振動付与装置及び振動制御方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US20050162402A1 (en) * 2004-01-27 2005-07-28 Watanachote Susornpol J. Methods of interacting with a computer using a finger(s) touch sensing input device with visual feedback
US7325988B2 (en) * 2004-06-29 2008-02-05 Sbc Knowledge Ventures, L.P. One-piece ergonomic keyboard and related methods
US20070063982A1 (en) * 2005-09-19 2007-03-22 Tran Bao Q Integrated rendering of sound and image on a display
KR100700143B1 (ko) * 2005-12-02 2007-03-28 엘지전자 주식회사 터치 키패드의 키선택 표시 장치 및 그 방법
US8713129B2 (en) * 2009-02-27 2014-04-29 Red Hat, Inc. Thwarting keyloggers using proxies
JP2011048409A (ja) * 2009-07-29 2011-03-10 Kyocera Corp 入力装置および入力装置の制御方法
JP2011054025A (ja) * 2009-09-03 2011-03-17 Denso Corp 触感付与装置及びプログラム
JP5529663B2 (ja) * 2010-07-28 2014-06-25 京セラ株式会社 入力装置
KR20140036846A (ko) * 2012-09-18 2014-03-26 삼성전자주식회사 국부적인 피드백을 제공하는 사용자 단말 장치 및 그 방법
US9285880B2 (en) * 2012-12-26 2016-03-15 Panasonic Intellectual Property Management Co., Ltd. Touch panel device and method of controlling a touch panel device
US20140203953A1 (en) * 2013-01-21 2014-07-24 George Moser Tablet computer with integrated tactile keyboard
CN103150028B (zh) * 2013-02-06 2016-04-27 鲍炜 手握式键盘及其输入方法
CN103456541B (zh) * 2013-08-12 2016-03-02 苏州达方电子有限公司 按键、键盘及其力回馈方法
KR20150118813A (ko) * 2014-04-15 2015-10-23 삼성전자주식회사 햅틱 정보 운용 방법 및 이를 지원하는 전자 장치
JP6100355B1 (ja) * 2015-12-15 2017-03-22 レノボ・シンガポール・プライベート・リミテッド キーボード及びその制御方法
US10503257B2 (en) * 2016-02-23 2019-12-10 Blackberry Limited Portable electronic device and method of providing haptic feedback

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020044633A1 (ja) * 2018-08-29 2020-03-05 オムロン株式会社 疑似触感を発生させるキー入力装置
JP2020035143A (ja) * 2018-08-29 2020-03-05 オムロン株式会社 キー入力装置

Also Published As

Publication number Publication date
CN107943274A (zh) 2018-04-20
US20180101233A1 (en) 2018-04-12
JP6205043B1 (ja) 2017-09-27

Similar Documents

Publication Publication Date Title
US10775895B2 (en) Systems and methods for multi-pressure interaction on touch-sensitive surfaces
JP6728386B2 (ja) 人間コンピュータインタフェースシステム
CN101910977B (zh) 基于视觉环境的音频和触觉反馈
JP6183476B2 (ja) 電子機器及び駆動制御方法
JP6205043B1 (ja) キーボード、情報処理装置、フィードバック方法、及びプログラム
KR20150060575A (ko) 마찰 및 진동촉각 효과들을 생성하기 위한 시스템 및 방법
EP2075671A1 (en) User interface of portable device and operating method thereof
KR20090082714A (ko) 자력 유체를 이용하여 입력 지점을 감지할 수 있는 화면표시 장치 및 방법
JP2014222492A (ja) 描画装置及び描画システム
JP6048489B2 (ja) 表示装置
JPWO2019092821A1 (ja) 駆動制御装置、電子機器、及び、駆動制御方法
KR20120115159A (ko) 택타일 피드백 방법 및 장치
JP2019145146A (ja) 表面特徴を生成するために波形テッセレーションを使用する装置、システム及び方法
JP6840805B2 (ja) 入力デバイス及びその入力検出方法
WO2020258074A1 (zh) 触觉反馈的生成方法与装置
JP6300891B1 (ja) 入力装置、情報処理装置、入力装置の制御方法、及び入力装置の制御プログラム
JP6402823B2 (ja) 駆動制御装置、電子機器、駆動制御プログラム、及び駆動制御方法
KR20100107996A (ko) 터치면을 구비한 펜형 촉감 제시 장치와 그를 이용한 촉감 인터페이스 시스템
WO2005083553A1 (ja) 振動波形パラメータの変化による触覚感度の測定装置および触覚型マンマシンインターフェース
WO2016194042A1 (ja) 入力装置
JP2021067998A (ja) 制御装置、プログラム、及びシステム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170725

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170901

R150 Certificate of patent or registration of utility model

Ref document number: 6205043

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250