以下、添付図面を参照して、本願の開示する入力装置、表示装置、及びプログラムの実施形態を詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。
図1は、実施形態に係る表示装置を概略的に説明する図である。図1に示すように、実施形態に係る表示装置は、例えば、タッチパネルであり、振動素子を備えたパネル式の入力装置(以下、単に入力装置と記載する)及びディスプレイを含む。
入力装置は、ディスプレイの表示画面上に配置される操作面を有し、ユーザの操作面に対する接触操作を検出した場合、例えば、ディスプレイの表示画面に表示する画像を動的に変化させることができる。さらに、入力装置は、操作面を振動させる少なくとも一つの振動素子を有しており、かかる振動素子の振動状態を変化させることによって操作面を操作しているユーザに対して異なる触感を与えることができる。なお、ユーザの操作面に対する接触操作は、ユーザの指やタッチペン等のポインティングデバイスなどを操作面に接触させた後に操作面上で移動させる操作や操作面に単に接触させることなどを含む。
ここで、ユーザが入力装置の操作面に対してスクロール操作を行った場合の表示画面と振動素子の振動との関係について説明する。
図1(a)に示すように、ユーザが入力装置の操作面に指を接触させた後、操作面上で指を移動させた場合、入力装置は、スクロール操作が行われたことを検出し、図1(b)に示すように、ディスプレイの表示画面に表示される表示画像をスクロール操作の操作方向へ移動させる。
ここで、表示画像は、ディスプレイの表示画面に表示され得る画像を意味し、ディスプレイの表示画面に実際に表示された画像及びディスプレイの表示画面に実際に表示されてはいないがユーザのスクロール操作によって表示され得る画像から構成される。
表示画像は、ユーザによって表示画面に表示されることが意図された表示要素を含む。ユーザは、表示画像に含まれる表示要素を表示画面に表示させることを意図してスクロール操作を行うことがある。表示要素は、例えば、所定の領域、所定のアイコン、所定の文字である。
入力装置は、ユーザのスクロール操作によって、図1(b)に示すように、表示画面に表示されていなかった表示要素が表示画面に表示された際に、振動素子の振動状態を変更する。また、入力装置は、図1(c)に示すように、表示画面の周辺部分に表示された表示要素が表示画面の中央部分に表示された際に、振動素子の振動状態を変更する。
これにより、表示要素の表示位置に応じて操作面の触感が変わるため、ユーザは、表示要素の表示位置を触感によって把握することができ、ユーザの利便性を向上させることができる。
例えば、振動素子を超音波周波数で振動させた場合、ユーザの指と操作面との間の摩擦力が低下し、スクロール操作における操作感を変えることができる。また、振動素子を超音波周波数よりも低い周波数で振動させた場合、ユーザの指に対してユーザが認識しうる振動を与えることができ、これによって、スクロール操作における操作感を変えることができる。
このように、実施形態に係る入力装置を備える表示装置は、動的に変化している表示画像における所定の表示要素が所定の位置条件を満たす場合に、振動素子の振動状態を変化させる。なお、動的に変化している表示画像は、操作面に対する接触操作に基づいて動的に変化している表示画像や操作面に対する接触操作によらずに動的に変化している表示画像を含む。また、振動素子の振動状態としては、振動素子の振動モード(振動パターン)、振動素子の振動強度、振動素子の振動周波数などが挙げられる。
なお、所定の位置条件とは、所定の表示要素の位置に関する条件であり、例えば、所定の表示要素の位置の条件や所定の表示要素の位置変化の条件である。ここで、所定の表示要素の位置の条件として、所定の表示要素の表示位置が表示画面外から表示画面内に変化することや、所定の表示要素の表示位置が表示画面内の外周から中央部分へ変化することなどが挙げられるがかかる例に限定されるものではない。また、所定の表示要素の位置変化の条件として、所定の表示要素の位置変化の方向に関する条件や所定の表示要素の位置変化の速度に関する条件や所定の表示要素の位置変化の加速度(速度変化状況)に関する条件などが挙げられるがかかる例に限定されるものではない。
例えば、入力装置は、表示要素の表示位置が表示画面の中心や指に近づくという条件を満たす場合に、振動素子の振動が大きくなるようにまたは振動が小さくなるように振動素子を制御することができる。
次に、図1を用いて概略的に説明した実施形態に係る表示装置の構成を説明する。図2は、実施形態に係る表示装置の構成を示すブロック図である。
図2に示す表示装置1は、入力装置2と、表示部3とを備える。入力装置2は、操作部21と、記憶部22と、振動部23と、通信I/F(インターフェース)24と、受信データ25と、制御部26とを備える。
記憶部22は、操作データ22a、振動データ22bと、表示データ22cとを備える。制御部26は、操作検出部26aと、設定部26bと、振動制御部26cと、表示制御部26dとを備える。振動部23は、第一の振動素子23aと、第二の振動素子23bと、振動素子駆動回路23cとを備える。
表示装置1は、入力装置2によって制御される画像を表示部3に表示する装置である。表示装置1は、例えば、車両に搭載されるカーナビゲーション装置やスマートフォンやタブレット端末等に用いられるタッチパネル等である。
入力装置2は、操作部21を通じて入力された操作に基づいて表示部3の画像表示及び振動部23の振動状態を制御することができる装置である。入力装置2は、例えば、タッチパネルに用いられるパネル式の位置入力装置である。
操作部21は、入力装置2に入力された操作を受け付ける操作面を備える。操作部21は、例えば、静電容量の変化により接触位置を検出する方式の透過性のあるパネルであり、ユーザの指やタッチペン等のポインティングデバイスなどの接触(押圧感知)によって操作面を介して入力装置2に入力された操作を検出する。なお、操作部21と表示部3とによってタッチパネルディスプレイが構成される。
記憶部22は、不揮発性メモリやハードディスクドライブといった記憶デバイスで構成される。記憶部22は、操作部21を介して入力された操作に基づいて振動部23や表示部3などを制御する際に使用されるデータとして、操作データ22aと、振動データ22bと、表示データ22cとを記憶する。
操作データ22aは、操作部21の操作面を介して入力される操作に関するデータである。操作データ22aは、例えば、操作面に接触して行われる押圧操作、フリック操作、上下左右スクロール操作、回転操作などのジェスチャに関するデータであってもよい。
振動データ22bは、第一の振動素子23aの振動状態及び第二の振動素子23bの振動状態に関するデータである。振動データ22bは、例えば、第一の振動素子23a及び第二の振動素子23bの振動モード(振動パターン)、振動強度、振動周波数などに関するデータであってもよい。
表示データ22cは、記憶部22に記憶された表示部3に表示される画像に関するデータである。表示データ22cは、例えば、各種交通情報等に基づいて作成された地図情報に関するデータ、楽曲などの音声や映像に関するデータ、カメラによって撮影された写真に関するデータなどであってもよい。表示データ22cは、表示画像に含まれる所定の表示要素に関するデータを含む。
第一の振動素子23aは、第一の振動周波数で振動する振動素子である。第一の振動素子23aは、例えば、圧電素子(ピエゾ素子)であってもよい。第一の振動素子23aは、超音波周波数で振動する振動素子であってもよい。
第一の振動素子23aの振動周波数が超音波周波数である場合には、第一の振動素子23aの振動状態をオンにすることによって、操作部21の操作面に対する摩擦力を低減させることが可能となる。すなわち、第一の振動素子23aの振動状態をオンにすることによって、操作部21の操作面は、ユーザに低減された摩擦による触感を与えることが可能になる。また、第一の振動素子23aの振動強度を変更することによって、操作部21の操作面に対する摩擦力を変更することが可能になる。
一方、第一の振動素子23aの振動状態をオフにすることによって、操作面の本来の摩擦力が再現される。すなわち、第一の振動素子23aの振動状態をオフにすることによって、操作部21の操作面は、ユーザに操作面の本来の摩擦による触感を与えることが可能になる。
また、第一の振動素子23aの振動周波数が超音波周波数である場合には、第一の振動素子23aの振動状態のオンオフを切り替えることによって、操作部21の操作面に対する摩擦力を繰り返し変化させることが可能になる。例えば、第一の振動素子23aの振動のオンオフを周期的に切り替えることによって、操作部21の操作面の摩擦力を周期的に変化させることが可能になる。その結果、操作部21の操作面は、例えば、ユーザに操作面に凹凸面があるかのような触感を与えることが可能になる。
第二の振動素子23bは、第一の振動周波数と異なる第二の振動周波数で振動する振動素子である。第二の振動素子23bは、例えば、圧電素子(ピエゾ素子)であってもよく、また、操作面を振動する部材を出力軸に設けたモータであってもよい。
第二の振動素子23bは、第一の振動素子23aの振動周波数よりも低い振動周波数で振動する振動素子であってもよい。例えば、第二の振動素子23bは、超音波周波数よりも低い周波数で振動する振動素子であってもよい。第二の振動素子23bが、超音波周波数よりも低い周波数で振動する振動素子である場合には、操作部21の操作面は、ユーザに振動の触感を与えることが可能になる。
超音波周波数で振動する第一の振動素子23a及び超音波周波数よりも低い振動周波数で振動する第二の振動素子23bを組み合わせることで、操作部21の操作面は、ユーザに変動する摩擦の触感と振動の触感との両方を与えることが可能になる。
振動素子駆動回路23cは、振動制御部26cから出力された信号に基づいて第一の振動素子23a及び第二の振動素子23bを駆動する回路である。
通信I/F24は、無線電波等を送受信するアンテナ4に接続されており、無線通信を行うための通信デバイスで構成される。
受信データ25は、通信I/F24を介して受信されたデータである。受信データ25は、例えば、無線電波の信号等である。無線電波の信号は、ラジオ局の周波数の電波信号を含むことがある。
表示部3は、表示データ22cや受信データ25に基づいた画像を表示するデバイスである。表示部3は、操作部21の操作面と対向して設けられてもよい。表示部3は、入力装置2と一体に設けられてもよく、入力装置2と別個に設けられてもよい。表示部3は、例えば、パネル式の液晶ディスプレイデバイスであってもよい。また、表示部3は、例えば、HUD(ヘッドアップ・ディスプレイ)等のディスプレイによって車両の運転者前方のフロントガラス部分に半透明状に構成されてもよいし、車両の運転者前方の計器部分や車両のルームミラー部分に構成されてもよい。
制御部26は、表示装置1の全体制御を行う。
操作検出部26aは、操作部21の操作面に接触して行われた操作を検出する。また、操作検出部26aは、記憶部22に記憶された操作データ22aを読み出し、検出された操作の内容を識別する。操作検出部26aは、検出された操作の内容に関する信号を表示制御部26dに送信する。ここで、操作部21の操作面に接触して行われた操作は、操作面に接触しながら操作面上で軌跡を描くことや操作面に対する単なる接触を含む。
設定部26bは、操作データ22aと振動データ22bを関連付けてそれぞれ操作データ22aと振動データ22bとして記憶部22に記憶する。また、設定部26bは、表示画像に含まれる所定の表示要素を特定して表示データ22cとして記憶部22に記憶する。設定部26bにおいて行われる操作データ22aと振動データ22bとの関連付けや記憶、所定の表示要素の特定や記憶などは、操作部21を介した入力を変更可能に受け付けることによって行われる。
表示制御部26dは、操作検出部26aから送信された操作の内容に関する信号を受信し、表示データ22cや受信データ25に基づいて、操作に基づいて動的に変化している表示画像の一部の信号を表示部3に送信する。あるいは、表示制御部26dは、表示データ22cや受信データ25に基づいて、操作に無関係に動的に変化している表示画像の一部の信号を表示部3に送信してもよい。また、表示制御部26dは、操作に基づいてあるいは操作に無関係に動的に変化している表示画像に関する信号を振動制御部26cに送信する。なお、表示画像には所定の表示要素が含まれている。
そして、表示部3は、表示制御部26dから受信した操作に基づいてあるいは操作に無関係に動的に変化している表示画像の一部に関する信号を受信し、操作に基づいてあるいは操作に無関係に動的に変化している表示画像の一部を表示画面に表示する。
振動制御部26cは、表示制御部26dから操作に基づいてあるいは操作に無関係に動的に変化している表示画像に関する信号を受信し、操作に基づいてあるいは操作に無関係に動的に変化している表示画像に含まれる所定の表示要素が、所定の位置条件を満たすか否かを判定する。振動制御部26cは、操作に基づいてあるいは操作に無関係に動的に変化している表示画像に含まれる所定の表示要素が、所定の位置条件を満たす場合には、記憶部22に記憶された振動データ22bを読み出し、振動データ22bに基づいて振動部23に含まれる振動素子の振動状態を変化させる。尚、振動制御部26cは、表示要素の位置だけでなく、表示要素における位置変化の方向、速度、加速度(速度変化状況)に応じて振動素子の振動状態を変化させることもできる。
次に、図2を用いて説明した実施形態に係る表示装置1の例を図3及び図4を用いて説明する。
図3は、実施形態に係る表示装置1の例を示す図である。図3(a)は、実施形態に係る表示装置1の平面図であり、図3(b)は、実施形態に係る表示装置1の断面図である。なお、図3に示す第一の振動素子23a及び第二の振動素子23bの配置や大きさは、一例であり、第一の振動素子23a及び第二の振動素子23bの配置や大きさは、図3に示されるものに限定されない。
図3に示すように、実施形態に係る表示装置1においては、パネル式の表示部3がパネル式の入力装置2と一体的に設けられている。パネル式の表示部3は、パネル式の入力装置2の操作部21の操作面21aと対向するように設けられている。
また図3に示す表示装置1においては、入力装置2に第一の振動周波数で振動する第一の振動素子23a及び第一の振動周波数と異なる第二の振動周波数で振動する第二の振動素子23bが矩形の表示部3の一辺に平行に設けられている。なお、図3においては、第一の振動素子23a及び第二の振動素子23bが、矩形の表示部3の短辺に平行に設けられているが、第一の振動素子23a及び第二の振動素子23bが、矩形の表示部3の長辺に平行に設けられてもよい。また、第一の振動素子23a及び第二の振動素子23bは、操作面21aの全体を均一に振動させることができるように、配置されることが好ましい。なお、図3に示す表示装置1においては、振動素子駆動回路23cは、矩形の表示部3の一つの隅に設けられているが、表示装置1における振動素子駆動回路23cの配置は、特に限定されない。
図4は、実施形態に係る表示装置1の別の例を示す図である。
図4に示すように、表示装置1においては、表示部3が、第一の振動素子23a及び第二の振動素子23bを備えた入力装置2と別個に設けられていてもよい。表示部3は、入力装置2と通信するように構成される。尚、入力装置2には表示機能はないが、表示部3の表示面の位置と、入力装置2の操作面の位置が相似関係(例えば代表的な位置を例にとると、表示部3の表示面の右上端部、右下端部、左上端部、左下端部、中央の位置がそれぞれ、入力装置2の操作面の右上端部、右下端部、左上端部、左下端部、中央の位置に対応付けられている)で関連付けられている。
次に、図2を用いて説明した実施形態に係る表示装置1の動作の例を図5〜図10を用いて説明する。
図5は、地図スクロールに関する実施形態に係る表示装置1の動作の第一の例を説明する図である。
図5に示すように、表示装置1は、カーナビゲーション装置に用いられる装置であり、表示部3は、地図情報を含むナビゲーション画面を表示する。図5(a)及び図5(b)に示すように、ユーザが入力装置2の操作面21aに対してスクロール操作を行った場合の表示画面3aと振動素子の振動との関係について説明する。
図5(a)に示すように、ユーザが入力装置2の操作面21aに指を接触させた後、操作面21a上で指を移動させた場合、入力装置2は、スクロール操作が行われたことを検出し、図5(b)に示すように、表示部3の表示画面3aに表示される表示画像31をスクロール操作の操作方向へ移動させる。
ここで、表示画像31は、表示部3の表示画面3aに実際に表示された地図画像及び表示部3の表示画面3aに実際に表示されてはいないがユーザのスクロール操作によって表示され得る地図画像から構成される。
表示画像31は、ユーザによって表示画面3aに表示されることが意図された表示要素32を含む。ユーザは、表示画像31に含まれる表示要素32を表示画面3aに表示させることを意図してスクロール操作を行うことがある。表示要素32は、例えば、地図画像における所定の領域、所定のアイコン、所定の文字などである。
入力装置2は、図5(b)に示すように、ユーザのスクロール操作によって、表示画面3aに表示されていない表示要素32が表示画面3aの中心Oに対して接近するという位置条件を満たす場合に、第一の振動素子23aの振動状態を変更する。
例えば、第一の振動素子23aを超音波周波数で振動させるとする。図5(b)に示すように、表示要素32が表示画面3aの中心Oに接近するにつれて、第一の振動素子23aの振動の強度を増加させる。この場合には、表示要素32が表示画面3aの中心Oに接近するにつれて、ユーザの指と操作面21aとの間の摩擦力が減少する。
逆に、ユーザのスクロール操作によって、表示画面3aに表示されていない表示要素32が表示画面3aの中心Oから離れるという位置条件を満たす場合にも、第一の振動素子23aの振動状態を変更する。同様に、表示要素32が表示画面3aの中心Oから離れるにつれて、第一の振動素子23aの振動の強度を減少させる。この場合には、表示要素32が表示画面3aの中心Oから離れるにつれて、ユーザの指と操作面21aとの間の摩擦力が増加する。
このように、ユーザのスクロール操作による表示画面3aの中心Oに対する表示要素32の距離の変動に基づいて、スクロール操作における操作面21aの触感を変えることができる。ユーザは、スクロール操作による表示画面3aの中心Oに対する表示要素32の距離の変動を触感によって把握することができる。
図6は、地図スクロールに関する実施形態に係る表示装置1の動作の第二の例を説明する図である。
図6(a)に示すように、ユーザが入力装置2の操作面21aに指を接触させた後、操作面21a上で指を移動させた場合、入力装置2は、スクロール操作が行われたことを検出し、図6(b)に示すように、表示部3の表示画面3aに表示される表示画像31をスクロール操作の操作方向へ移動させる。なお、図6に示す表示画像31及び表示要素32は、それぞれ、図5に示したものと同様である。
入力装置2は、図6(b)に示すように、ユーザのスクロール操作によって、表示画面3aに表示されていなかった表示要素32が表示画面3aの範囲内に表示されるという位置条件を満たす場合に、第一の振動素子23aの振動状態を変更する。
例えば、第一の振動素子23aを超音波周波数で振動させるとする。図6(b)に示すように、表示画面3aに表示されていなかった表示要素32が表示画面3aの範囲内に表示された場合に、第一の振動素子23aの振動状態をオフからオンに切り替える。表示画面3aに表示されていなかった表示要素32が表示画面3aの範囲内に表示された際に、ユーザの指と操作面21aとの間の摩擦力が減少する。
逆に、ユーザのスクロール操作によって、表示画面3aの範囲内に表示されていた表示要素32が、表示画面3aの範囲外に移動するという位置条件を満たす場合にも、第一の振動素子23aの振動状態を変更する。同様に、表示画面3aの範囲内に表示されていた表示要素32が、表示画面3aの範囲外に移動する際に、第一の振動素子23aの振動の強度を減少させる。この場合には、表示画面3aの範囲内に表示されていた表示要素32が、表示画面3aの範囲外に移動する際に、ユーザの指と操作面21aとの間の摩擦力が増加する。
あるいは、入力装置2は、ユーザのスクロール操作によって、表示画面3aに表示されていなかった表示要素32が表示画面3aの範囲内に表示されるという位置条件を満たす場合に、第二の振動素子23bの振動状態を変更する。
例えば、第二の振動素子23bを超音波周波数より低い振動周波数で振動させるとする。表示画面3aに表示されていなかった表示要素32が表示画面3aの範囲内に表示された場合に、第二の振動素子23bの振動状態をオフからオンに切り替える。表示画面3aに表示されていなかった表示要素32が表示画面3aの範囲内に表示された際に、ユーザの指は、振動の感触を得る。
逆に、ユーザのスクロール操作によって、表示画面3aの範囲内に表示されていた表示要素32が、表示画面3aの範囲外に移動するという位置条件を満たす場合にも、第二の振動素子23bの振動状態を変更する。同様に、表示画面3aの範囲内に表示されていた表示要素32が、表示画面3aの範囲外に移動する際に、第二の振動素子23bの振動をオンからオフに切り替える。この場合には、表示画面3aの範囲内に表示されていた表示要素32が、表示画面3aの範囲外に移動する際に、ユーザの指は、振動の感触を失う。
このように、ユーザのスクロール操作による表示画面3aの範囲に対する表示要素32の存在の変動に基づいて、スクロール操作における操作面21aの触感を変えることができる。ユーザは、スクロール操作による表示画面3aの範囲に対する表示要素32の存在の変動を触感によって把握することができる。
図7は、地図スクロールに関する実施形態に係る表示装置の動作の第三の例を説明する図である。
図7(a)に示すように、ユーザが入力装置2の操作面21aに指を接触させた後、操作面21a上で指を移動させた場合、入力装置2は、スクロール操作が行われたことを検出し、図7(b)に示すように、表示部3の表示画面3aに表示される表示画像31をスクロール操作の操作方向へ移動させる。なお、図7に示す表示画像31及び表示要素32は、それぞれ、図5に示したものと同様である。
入力装置2は、図7(b)に示すように、ユーザのスクロール操作によって、表示画面3aに表示された表示要素32が、スクロール後のユーザの指の位置から所定の範囲内に表示されるという位置条件を満たす場合に、第一の振動素子23a及び第二の振動素子23bの振動状態を変更する。
例えば、第一の振動素子23aを超音波周波数で振動させ、第二の振動素子23bを超音波周波数より低い振動周波数で振動させるとする。
図7(a)に示すように、表示画面3aに表示された表示要素32が、スクロール後のユーザの指の位置から所定の範囲内に表示されていない場合に、第二の振動素子23bの振動状態をオフにし第一の振動素子23aの振動状態をオンにする。表示画面3aに表示された表示要素32が、スクロール後のユーザの指の位置から所定の範囲内に表示されていない間は、ユーザの指と操作面21aとの間の摩擦力が減少する。
図7(b)に示すように表示画面3aに表示された表示要素32が、スクロール後のユーザの指の位置から所定の範囲内に表示された場合に、第一の振動素子23aの振動状態をオフにし第二の振動素子23bの振動状態をオンにする。表示画面3aに表示された表示要素32が、スクロール後のユーザの指の位置から所定の範囲内に表示されると、ユーザの指は、振動の感触を得る。
このように、ユーザのスクロール操作によるユーザの指の位置からの表示要素32の位置に基づいて、スクロール操作における操作面21aの触感を変えることができる。ユーザは、表示要素32がスクロール後のユーザの指の位置から所定の範囲内に表示されるか否かを触感によって把握することができる。
尚、以上に示した各例では、振動制御部26cは、表示要素32の位置によって振動状態を変更する制御を行ったが、さらに表示要素32における位置変化の方向、速度、加速度(速度変化状況)に応じて振動素子の振動状態を変化させることもできる。例えば、振動制御部26cは、表示要素32がユーザの指の位置に早く接近する場合は、接近速度に応じた距離(早い程、遠距離)になった場合に振動素子の振動状態を変化させることができる。
また、図5に示す例においては、振動制御部26cは、ユーザのスクロール操作によって表示画面3aに表示されていない表示要素32が表示画面3aの中心Oに対して接近する又は離れるという表示要素32の位置の条件を満たす場合に、第一の振動素子23aの振動状態を変更しているが、振動制御部26cは、表示要素32の位置の条件に加えて、表示要素32の位置変化の条件に基づいて、第一の振動素子23aの振動状態を変更することもできる。例えば、振動制御部26cは、表示要素32が表示画面3aの中心Oに対して接近する又は離れる位置変化の方向、速度及び加速度の少なくとも一つの状態に基づいて、第一の振動素子23aの振動状態を変更することもできる。このように、振動制御部26cは、表示画面3aの中心Oに対する表示要素32の位置の条件と表示要素32の位置変化の方向、速度及び加速度の少なくとも一つの状態に基づいて、操作面21aの触感を変えることもできる。
さらに、図6に示す例においては、振動制御部26cは、ユーザのスクロール操作によって、表示画面3aに表示されていなかった表示要素32が表示画面3aの範囲内に表示されるという表示要素32の位置の条件を満たす場合に、第一の振動素子23aや第二の振動素子23bの振動状態を変更しているが、振動制御部26cは、表示要素32の位置の条件に加えて、表示画面3aに表示されていなかった表示要素32が表示画面3aの範囲内に入る際の位置変化の方向、速度、及び加速度の少なくとも一つの状態に基づいて、第一の振動素子23aや第二の振動素子23bの振動状態を変更することもできる。このように、振動制御部26cは、表示画面3aの範囲に対する表示要素32の位置の条件と表示要素32の位置変化の方向、速度及び加速度の少なくとも一つの状態に基づいて、操作面21aの触感を変えることもできる。
加えて、振動制御部26cは、表示要素32の位置の条件にかかわらず、表示要素32における位置変化の方向、速度、及び加速度の少なくとも一つの条件に応じて振動素子の振動状態を変化させることもできる。
図8は、楽曲リストスクロールに関する実施形態に係る表示装置1の動作の例を説明する図である。
図8に示すように、表示装置1は、カーナビゲーション装置に用いられる装置であり、表示部3は、楽曲を選択するオーディオ画面を表示する。図8(a)及び図8(b)に示すように、ユーザが入力装置2の操作面21aに対してスクロール操作を行った場合の表示画面3aと振動素子の振動との関係について説明する。
図8(a)に示すように、ユーザが入力装置2の操作面21aに指を接触させた後、操作面21a上で指を移動させた場合、入力装置2は、スクロール操作が行われたことを検出し、図8(b)に示すように、表示部3の表示画面3aに表示される表示画像31をスクロール操作の操作方向へ移動させる。
ここで、表示画像31は、表示部3の表示画面3aに実際に表示された楽曲の画像及び表示部3の表示画面3aに実際に表示されてはいないがユーザのスクロール操作によって表示され得る楽曲の画像から構成される。楽曲の画像は、楽曲Aの画像・・・楽曲Xの画像・・・楽曲リストの最後を示すリストエンドの画像を含む。
表示画像31は、ユーザによって表示画面3aに表示されることが意図された表示要素32を含む。ユーザは、表示画像31に含まれる表示要素32を表示画面3aに表示させることを意図してスクロール操作を行うことがある。表示要素32は、楽曲リストに含まれた一つの楽曲の画像、例えば、楽曲Xの画像である。
入力装置2は、図8(b)に示すように、ユーザのスクロール操作によって、表示要素32としての楽曲Xの画像が、楽曲リストの一部を表示する表示画面3aの中央に位置するという位置条件を満たす場合に、第一の振動素子23aの振動状態を変更する。
例えば、第一の振動素子23aを超音波周波数で振動させるとする。図8(b)に示すように、表示要素32としての楽曲Xの画像が表示画面3aの中央に位置すると、第一の振動素子23aの振動のオンオフ比を増加させる。この場合には、表示要素32としての楽曲Xの画像が表示画面3aの中央に位置すると、ユーザの指と操作面21aとの間の摩擦力の変動によって凹凸の表面感が増加する。
逆に、ユーザのスクロール操作によって、表示要素32としての楽曲Xの画像が表示画面3aの中央から外れるという位置条件を満たす場合にも、第一の振動素子23aの振動状態を変更する。同様に、表示要素32としての楽曲Xの画像が表示画面3aの中央から外れると、第一の振動素子23aの振動のオンオフ比を減少させる。この場合には、表示要素32としての楽曲Xの画像が表示画面3aの中央から外れると、ユーザの指と操作面21aとの間の摩擦力の変動によって凹凸の表面感が減少する。
このように、ユーザのスクロール操作による表示画面3aの中央に対する表示要素32の位置の変動に基づいて、スクロール操作における操作面21aの触感を変えることができる。ユーザは、スクロール操作による表示画面3aの中央に対する表示要素32の位置の変動を触感によって把握することができる。
図9は、ラジオチューニングに関する実施形態に係る表示装置1の動作の例を説明する図である。
図9に示すように、表示装置1は、カーナビゲーション装置に用いられる装置であり、表示部3は、ラジオチューナーのオートチューニング用の画像であって、オートチューニングの際に受信周波数を示す文字が変化する画像を表示する。図9(a)及び図9(b)に示すように、ユーザが入力装置2の操作面21aに対してボタン操作を行った場合の表示画面3aと振動素子の振動との関係について説明する。
図9(a)に示すように、ユーザが入力装置2の操作面21aに指を接触させた後、操作面21a上で指を押圧させた場合、入力装置2は、ボタン操作が行われたことを検出し、図9(b)に示すように、表示部3の表示画面3aに表示される表示画像31をボタン操作に起因して変化させる。なお、押圧は、接触を含み、指を所定時間接触した場合を含む。
ここで、表示画像31は、表示部3の表示画面3aに実際に表示された受信周波数を示す文字列の画像及び表示部3の表示画面3aに実際に表示されてはいないがユーザのボタン操作によって表示され得る受信周波数を示す文字列の画像から構成される。
表示画像31は、ユーザによって表示画面3aに表示されることが意図された表示要素32を含む。ユーザは、表示画像31に含まれる表示要素32を表示画面3aに表示させることを意図してボタン操作を行うことがある。表示要素32は、受信周波数帯に含まれた一つのラジオ局の周波数を示す文字列の画像、例えば、数字82.5の画像である。
入力装置2は、図9(b)に示すように、ユーザのボタン操作によって、表示要素32としてのラジオ局の周波数を示す文字列の画像が、受信周波数を示す文字列の画像を表示する表示画面3aに位置するという位置条件を満たす場合に、第二の振動素子23bの振動状態を変更する。
例えば、第二の振動素子23bを超音波周波数より低い振動周波数で振動させるとする。図9(b)に示すように、表示要素32としてのラジオ局の周波数を示す文字列の画像が表示画面3aに表示されると、第二の振動素子23bの振動状態をオフからオンへと切り替える。この場合には、表示要素32としてのラジオ局の周波数を示す文字列の画像が表示画面3aに表示されると、ユーザの指は、振動の感触を得る。
このように、ユーザのボタン操作による表示画面3aにおける表示要素32の表示に基づいて、ボタン操作における操作面21aの触感を変えることができる。ユーザは、ボタン操作による表示画面3aに対する表示要素32の表示を触感によって把握することができる。
図10は、写真スクロールに関する実施形態に係る表示装置1の動作の例を説明する図である。
図10に示すように、表示装置1は、スマートフォンに用いられる装置であり、表示部3は、写真の画像を表示する。図10(a)及び図10(b)に示すように、ユーザが入力装置2の操作面21aに対してスクロール操作を行った場合の表示画面3aと振動素子の振動との関係について説明する。
図10(a)に示すように、ユーザが入力装置2の操作面21aに指を接触させた後、操作面21a上で指を移動させた場合、入力装置2は、スクロール操作が行われたことを検出し、図10(b)に示すように、表示部3の表示画面3aに表示される表示画像31をスクロール操作の操作方向へ移動させる。
ここで、表示画像31は、表示部3の表示画面3aに実際に表示された写真の画像及び表示部3の表示画面3aに実際に表示されてはいないがユーザのスクロール操作によって表示され得る写真の画像から構成される。写真の画像は、写真Aの画像・・・写真Xの画像・・・を含む。
表示画像31は、ユーザによって表示画面3aに表示されることが意図された表示要素32を含む。ユーザは、表示画像31に含まれる表示要素32を表示画面3aに表示させることを意図してスクロール操作を行うことがある。表示要素32は、写真のアルバムに含まれた一つの写真の画像、例えば、写真Xの画像である。
入力装置2は、図10(b)に示すように、ユーザのスクロール操作によって、表示要素32としての写真Xの画像が、一枚の写真の画像を表示する表示画面3aの領域内に位置するという位置条件を満たす場合に、第一の振動素子23aの振動状態を変更する。
例えば、第一の振動素子23aを超音波周波数で振動させるとする。図10(b)に示すように、表示要素32としての写真Xの画像が表示画面3aの領域内に位置すると、第一の振動素子23aの振動状態をオンからオフに切り替える。この場合には、表示要素32としての写真Xの画像が表示画面3aの領域内に位置すると、ユーザの指と操作面21aとの間の摩擦力が増加する。
逆に、ユーザのスクロール操作によって、表示要素32としての楽曲Xの画像が表示画面3aの領域外に位置するという位置条件を満たす場合にも、第一の振動素子23aの振動状態を変更する。同様に、表示要素32としての写真Xの画像が表示画面3aの領域外に位置すると、第一の振動素子23aの振動状態をオンからオフへと切り替える。この場合には、表示要素32としての写真Xの画像が表示画面3aの領域外に位置すると、ユーザの指と操作面21aとの間の摩擦力が減少する。
このように、ユーザのスクロール操作による表示画面3aの領域に対する表示要素32の位置の変動に基づいて、スクロール操作における操作面21aの触感を変えることができる。ユーザは、スクロール操作による表示画面3aの領域に対する表示要素32の位置の変動を触感によって把握することができる。
また、以上に示した各例では、振動制御部26cは、ユーザの操作面21aに対する意図的な接触操作に基づいて動的に変化している表示画像31における所定の表示要素32が所定の位置条件を満たす場合に第一の振動素子23aや第二の振動素子23bの振動状態を変化させたが、振動制御部26cは、ユーザの操作面21aに対する接触操作に無関係に動的に変化している表示画像31における所定の表示要素32が所定の位置条件を満たす場合に第一の振動素子23aや第二の振動素子23bの振動状態を変化させることもできる。
例えば、図6に示す例において、ユーザの操作面21aに対する接触操作と無関係に、表示画面3aに表示されていなかった表示要素32が表示画面3aの範囲内に表示されるという位置条件を満たす場合に、振動制御部26cは、第一の振動素子23a又は第二の振動素子23bの振動状態を変更してもよい。ユーザが操作面21aに無意識的に接触する際に、ユーザは、表示画面3aの範囲に対する表示要素32の存在の変動を触感によって把握することができる。
同様に、図8に示す例において、ユーザの操作面21aに対する接触操作と無関係に、表示要素32としてのリストエンドの画像が、楽曲リストの一部を表示する表示画面3aの中央に位置するという位置条件を満たす場合に、振動制御部26cは、第一の振動素子23aの振動状態を変更してもよい。ユーザが操作面21aに無意識的に接触する際に、ユーザは、表示要素32としてのリストエンドの画像が表示画面3aの中央に位置することを触感によって把握することができる。
次に、図11を用いて実施形態に係る表示装置1の処理手順の詳細を説明する。図11は、実施形態に係る表示装置1の処理手順を示すフローチャートである。
図11に示すように、ステップS101において、操作検出部26aは、操作部21の操作面21aに接触して行われた操作を検出した否かについて判定をする。操作検出部26aが、操作部21の操作面21aに接触して行われた操作を検出した場合には、操作検出部26aは、検出された操作の内容に関する信号を表示制御部26dへ送信し、ステップS102へ進む。操作検出部26aが、操作部21の操作面21aに接触して行われた操作を検出していない場合には、操作検出部26aは、ステップS101での手順を繰り返す。
ステップS102において、表示制御部26dは、操作検出部26aから送信された操作の内容に関する信号を受信し、操作に基づいて動的に変化する表示画像31の一部の信号を表示部3に送信する。あるいは、表示制御部26dは、操作に無関係に動的に変化する表示画像31の一部の信号を表示部3に送信する。表示部3は、操作に基づいてあるいは操作に無関係に動的に変化している表示画像31の一部を表示画面3aに表示する。また、表示制御部26dは、操作に基づいてあるいは操作に無関係に動的に変化する表示画像31の信号を振動制御部26cへ送信する。
ステップS103において、振動制御部26cは、表示制御部26dから操作に基づいてあるいは操作に無関係に動的に変化している表示画像31に関する信号を受信し、操作に基づいてあるいは操作に無関係に動的に変化している表示画像31に含まれる所定の表示要素32が所定の位置条件を満たすか否かを判定する。操作に基づいてあるいは操作に無関係に動的に変化している表示画像31に含まれる所定の表示要素32が所定の位置条件を満たす場合には、振動制御部26cは、ステップS104へ進む。操作に基づいてあるいは操作に無関係に動的に変化している表示画像31に含まれる所定の表示要素32が所定の位置条件を満たさない場合には、振動制御部26cは、ステップS106へ進む。
ステップS104において、振動制御部26cは、振動部23に含まれる振動素子の振動状態を変化させる。
ステップS105において、振動制御部26cは、振動部23に含まれる振動素子を振動させる。
ステップS106において、表示制御部26dは、操作に基づいた表示画像31の動的な変化が完了したか否かについて判定をする。操作に基づいた表示画像31の動的な変化が完了した場合には、表示装置1の処理手順を終了する。操作に基づいた表示画像31の動的な変化が完了していない場合には、ステップS102〜S106の手順を繰り返す。
このように、振動制御部26cが、操作に基づいてあるいは操作に無関係に動的に変化している表示画像31に含まれる所定の表示要素32が所定の位置条件を満たす場合に、振動部23に含まれる振動素子の振動状態を変化させることによって、操作部21の操作面21aに対する接触操作に基づいてあるいは操作部21の操作面21aに対する接触操作に無関係に表示画像31が動的に変化している場合に操作部21の操作面21aの触感を変えることができる。これにより、操作部21の操作面21aに対する接触操作に基づいてあるいは操作部21の操作面21aに対する接触操作に無関係に表示画像31が動的に変化している場合に、ユーザの利便性を向上させることができる。
なお、表示画像31が動的に変化しているとは、例えば、表示画面3aに対して表示画像31の全体が移動することや表示画面3aにおいて表示画像31の一部が変化することを含む。また、動的に変化している表示画像31における所定の表示要素32は、例えば、表示画面3aに対して表示画像31の全体が移動する際に、あるいは、表示画面3aにおいて表示画像31の一部が変化する際に、表示画面3aに対して移動するもの、あるいは、表示画面3aに出現又は消失するものであってもよい。
上記の実施形態に係る表示装置1の処理手順をコンピュータに実行させるプログラムをもまた提供することができる。上記のプログラムを記憶させたコンピュータ読み取り可能な記録媒体をもまた提供することができる。
実施形態に係る表示装置1は、図12に一例として示す構成のコンピュータ200で実現することができる。図12は、表示装置1の機能を実現するコンピュータの一例を示すハードウェア構成図である。
コンピュータ200は、CPU(Central Processing Unit)210と、ROM(Read Only Memory)220と、RAM(Random Access Memory)230と、HDD(Hard Disk Drive)240とを備える。また、コンピュータ200は、メディアインターフェイス(I/F)250と、通信インターフェイス(I/F)260と、入出力インターフェイス(I/F)270とを備える。
なお、コンピュータ200は、SSD(Solid State Drive)を備え、かかるSSDがHDD240の一部または全ての機能を実行するようにしてもよい。また、HDD240に代えてSSDを設けることとしてもよい。
CPU210は、ROM220およびHDD240の少なくとも一方に格納されるプログラムに基づいて動作し、各部の制御を行う。ROM220は、コンピュータ200の起動時にCPU210によって実行されるブートプログラムや、コンピュータ200のハードウェアに依存するプログラムなどを格納する。HDD240は、CPU210によって実行されるプログラムおよびかかるプログラムによって使用されるデータ等を格納する。
メディアI/F250は、記憶媒体280に格納されたプログラムやデータを読み取り、RAM230を介してCPU210に提供する。CPU210は、かかるプログラムを、メディアI/F250を介して記憶媒体280からRAM230上にロードし、ロードしたプログラムを実行する。あるいは、CPU210は、かかるデータを用いてプログラムを実行する。記憶媒体280は、例えばDVD(Digital Versatile Disc)などの光磁気記録媒体やSDカード、USBメモリなどである。
通信I/F260は、ネットワーク290を介して他の機器からデータを受信してCPU210に送り、CPU210が生成したデータを、ネットワーク290を介して他の機器へ送信する。あるいは、通信I/F260は、ネットワーク290を介して他の機器からプログラムを受信してCPU210に送り、CPU210がかかるプログラムを実行する。
CPU210は、入出力I/F270を介して、ディスプレイ等の表示部3、スピーカ等の出力部、キーボードやマウス、ボタン、操作部21等の入力部を制御する。CPU210は、入出力I/F270を介して、入力部からデータを取得する。また、CPU210は、生成したデータを入出力I/F270を介して表示部3や出力部に出力する。
例えば、コンピュータ200が表示装置1として機能する場合、コンピュータ200のCPU210は、RAM230上にロードされたプログラムを実行することにより、操作検出部26aと、設定部26bと、振動制御部26c、および表示制御部26dを含む入力装置2の制御部26の各機能を実現する。
コンピュータ200のCPU210は、例えばこれらのプログラムを記憶媒体280から読み取って実行するが、他の例として、他の装置からネットワーク290を介してこれらのプログラムを取得してもよい。また、HDD240は、記憶部22が記憶する情報を記憶することができる。
なお、操作面に対する接触操作に基づいてあるいは操作面に対する接触操作に無関係に動的に変化している表示画像における所定の表示要素の情報の重要度に応じて、表示要素が所定の位置条件を満たす場合に、振動素子の振動状態を変化させてもよい。例えば、表示要素の情報の重要度が相対的に低い場合には、超音波周波数で振動する振動素子の振動強度を増加させてユーザの指と操作面との間の摩擦力を減少させてもよい。一方、表示要素の情報の重要度が相対的に高い場合には、超音波周波数で振動する振動素子の振動強度を減少させてユーザの指と操作面との間の摩擦力を増加させてもよい。
上記の実施形態においては、平面の操作面の例を説明したが、操作面の形状は、曲面であってもよい。例えば、曲面のガラスパネルの操作面に対する接触操作に基づいてあるいは曲面のガラスパネルの操作面に対する接触操作に無関係に動的に変化している表示画像における所定の表示要素が所定の位置条件を満たす場合に、超音波周波数で振動する振動素子の振動状態を変化させてユーザの指と操作面との間の摩擦力を変化させてもよい。また、曲面の操作面におけるユーザの指の接触位置によって、超音波周波数で振動する振動素子の振動状態を変化させることによって、操作面の曲面の形状に合わせてユーザの指と操作面との間の摩擦力を変化させてもよい。
また、カーナビゲーション装置に用いられるタッチパネルとしての表示装置の入力装置にユーザが入力操作を行う場合であって、ユーザが表示部を注視している場合や又は障害物が車両に接近する場合に、ユーザに危険を通知するように振動素子の振動状態を変化させてもよい。なお、車両に対する障害物の接近は、車両に搭載された接近センサによる検出結果を用いて判定される。また、ユーザによる表示部の注視は、撮像装置によって取得される撮像画像に基づいたユーザの視線検出を行うことによって判定される。
また、ユーザが操作面に所定期間以上触れていると操作検出部が判定した場合、かかる判定結果に応じて表示制御部が所定の操作メニューボタンを表示するようにしてもよい。かかる操作メニューボタンは、例えば円形のボタンであり、円周に沿って入力を受け付ける操作を示す画像が配置される。ユーザは、例えば操作メニューボタンの外周に沿って接触位置を移動させることで操作を選択する。このとき、円形のボタンがユーザによる接触動作に応じて回転するのにあわせて、超音波周波数で振動する振動素子のオンオフを所定の周期で切り替えることによって、ユーザの指と操作面との間の摩擦力の大小を切り替える。これにより、ユーザに凹凸の触覚を与えることで、実際にダイアルを回しているような触覚を与えることができる。
また、例えばファイルの完全削除など、操作を実行してしまうと、かかる操作の取り消しが行えない入力操作を受け付ける場合、入力装置が、かかる入力操作を受け付けると取り消して元の状態に戻せない旨の警告を触覚で与えるようにしてもよい。例えば、取り消しが行えない操作を受け付けるボタンにユーザの接触位置が近づくにつれて、超音波周波数で振動する振動素子の強度を減少させることによって、操作面の摩擦力を増加させてもよい。
また、例えばユーザがスピーカの音量を大きくする、あるいは空調機の設定温度を高くする場合、ユーザに操作面が膨らんでいるような凸の触覚を与えるようにしてもよい。一方、スピーカの音量を小さくする、あるいは空調機の設定温度を低くする場合、ユーザに操作面がへこんでいるような凹の触覚を与えるようにしてもよい。これにより、ユーザは、どのような操作を行っているか触覚によって認識できるようになる。
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。