以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
以下、図1〜8を参照して、本発明の第1の実施例による、操作装置(ユーザインターフェース装置)について説明する。本実施例では、ユーザインターフェース装置の一例として、撮像装置であるデジタルカメラ1の画像管理機能のユーザインターフェースを例にとって説明する。
図1は、本発明の第1の実施例であるユーザインターフェース装置の構成を示している。
タッチセンサ(検出手段)101は、例えば表示装置の表示面に搭載される静電容量型の従来のタッチセンサであり、指先やスタイラスペンのペン先が近接することによる静電容量の変化に基づいて、ユーザ入力を検出する。すなわち、必ずしもディスプレイ104への接触を検出の必須とするものではない。ユーザ入力の検出方法の詳細に関しては後述する。操作判断部102は、タッチセンサ101によるユーザ入力のパターンにより、タッチ操作、スライド操作など、どのような操作かを判断する。操作判断の詳細に関しては後述する。
なお、本明細書中でスライド操作とは、指やタッチペンなどでのタッチ操作によってタッチセンサ101での接触の検出が途切れることなく、かつ、接触を検出している位置が連続的に変化している場合に、スライド操作がなされているものとする。より具体的には、例えば、指やタッチペンなどでディスプレイ104の表面に触れて表面を摺動して移動する状態をスライド操作とする。厳密には、以下の実施例で例示するように、表面に触れなくてもディスプレイ104の表面近傍に指やタッチペンがあることで検出可能である場合もある。従って上述の通り、触覚の検知手段が検出した状態で、その検出が途切れることなく、その検出位置が連続的に変化している場合をスライド操作があったものとする。
画像制御部103は、操作判断部102により判断したユーザ操作に応じて、ディスプレイ104に表示させる画像を制御する。ディスプレイ104は視覚的な方法でユーザとのインターフェースになるように機能し、例えば従来の液晶ディスプレイなどである。
形状制御部105は操作判断部102により判断したユーザ操作、及び画像制御部103により制御される画像位置に応じて、形状可変部107のアクチュエータ106を制御する。アクチュエータ106は形状可変部107の形状を変化させる動力部であり、形状可変部107はタッチディスプレイとともに構成され、タッチディスプレイ上に凸部を形成するための部材である。詳細については後述する。
次に、図2を用いて、デジタルカメラ1の外部構成について説明を行う。
図2(a)は、デジタルカメラ1の画像表示機能におけるユーザインターフェースを示している。
デジタルカメラ1は、ディスプレイ画面10を有しており、該ディスプレイ画面10には、複数の画像表示領域201と、削除ボタン202と、保護ボタン203と、メニューボタン204が構成される。ディスプレイ画面10は、通常平坦な面(第1の形状)をしているが、ユーザに触覚的誘導を与えるために、平坦面の特定領域を凸形状(第2の形状)に変形することが可能なディスプレイ(以下、触覚UIとも記載する)である。本実施例の画像管理機能時は、各ボタンに対して、触覚UIにより表面を凸形状に変形させる。
画像表示領域201は、画像管理機能において画像を表示する領域であり、複数の画像表示領域201によりサムネイル表示を行っている。また、画像表示領域201は、画像を選択するタッチ操作、表示する画像群を変更するスライド操作1(スワイプ操作とも呼ばれる)、及び画像を移動させるスライド操作2(ドラッグ操作とも呼ばれる)の入力を受け付けることができる。各操作の詳細については後述する。
削除ボタン202は、例えばごみ箱のアイコンが表示されており、選択されている画像を削除する操作を受けつける入力部である。保護ボタン203は、たとえば錠のアイコンが表示されており、選択されている画像を保護する操作を受けつける入力部である。メニューボタン204は、たとえばMenuと表示されており、画像を管理するための機能を選択するメニュー表示を行う操作を受け付ける入力部である。さらに、デジタルカメラ1は、各ボタンに接続されるアクチュエータであるポンプ部206が1つ構成され、触覚UIにより表面を凸形状に変形させることができる。
これらのボタンはサムネイル画像を選択したのちに押し込み操作を行う方法に加え、スライド操作2によりサムネイル画像をボタンの上まで移動させる方法でも入力を受け付けることが可能である。
また、デジタルカメラ1は、画像管理機能に加え、画像撮影機能や設定変更機能など、様々な機能を有しており、ディスプレイ画面10は、その機能に従って、様々な表示または入力検出、及び触覚UIによる凸形状への変形操作を行う。たとえば図2(b)に示す画像撮影機能におけるユーザインターフェースでは、ディスプレイ画面10全体をライブビュー表示領域として使用し、触覚UIによる凸形状への変形は行わず平面状態に操作する。これにより、ディスプレイ画面10を最大限活用し構図及びカメラの状態を確認することができ、また凸形状による視認性の悪化を防ぐとこができる。
続いて、図3を用いてアクチュエータ106及び形状可変部107の詳細について説明する。
図3は、各ボタンの触覚UIの断面構成を示した図であり、図3(a)は触覚UIが平坦な状態、図3(b)はユーザに触覚的誘導を与えるため、触覚UIを凸形状に変形させた状態を示した図である。なお、図1で説明した内容と同様の構成要素は、同一符号で示し、説明を省略する。
触覚UIは、透明シート301、透明基板302、空洞部303、タッチセンサ101、ディスプレイ104、アクチュエータであるポンプ部206により構成される。
透明シート(形状可変部)301、空洞部303、ポンプ部206は、以下で説明する形状可変手段を構成する。透明シート301は、伸縮性を有する透明エラストマー材等により形成され、ディスプレイ画面の表面に設けられるとともにディスプレイ画面の略々全面を覆うように配置される。さらに透明シート301は、流動体の導入(加圧)によって空洞部303が拡張すると変形し、流動体の抽出(減圧)によって空洞部303が収縮すると通常の平面状態に戻るように機能する。透明基板302は、透明シート301を支持して空洞部303を少なくとも部分的に規定するように機能する。透明基板302は、好適には硬質である。空洞部303は、流動体を保持し、収縮した体積状態(図3(a)に示す)(第1の状態)と、拡張した体積状態(図3(b)に示す)(第2の状態)を有するように機能する。流動体は、好適には液体であるが、気体またはその他の物質であっても良い。また、空洞部303は流路を介してポンプ部206との連結されている。ポンプ部206は、空洞部303内の流動体の体積を変更するように機能する。すなわち、収縮した体積状態から拡張した体積状態に空洞部303を拡張し、最終的に透明シート301の特定領域(空洞部の上部)を変形させる。空洞部303の体積状態の変更は、ポンプ部206から流動体を追加(流入)、除去(流出)することにより変更する。すなわち、形状制御部105は、ポンプ部206を制御し、変形可能な透明シート301の形状を変えることにより、触覚UIの表面の一部の形状を、各ボタンの領域(表面の一部の領域)の表面形状を該一部の領域以外の領域に対して変化させることができる。
以上により、触覚UIは、ディスプレイ画面10上に凸形状を形成することができ、ディスプレイ104により表示する入力グラフィックと併用して用いることで、ユーザにより押下でき、タッチセンサ101上の入力位置を知らせるボタンとして機能する。
次に、図4により、タッチセンサ101によるユーザ入力の検出方法について説明する。
図4は、タッチパネル及び触覚UIにおけるユーザ入力とタッチセンサ101の検出閾値との関係を示した図であり、触覚UIの断面構成を示している。図4(a)は凸形状に変形していない場所における、ユーザ入力が検出されない状態を示し、図4(b)は凸形状に変形していない場所における、ユーザ入力が検出される状態を示している。同様に、図4(c)は凸形状に変形した場所における、ユーザ入力が検出されない状態を示し、図4(d)は凸形状に変形した場所における、ユーザ入力が検出される状態を示している。図1及び図3で説明した内容と同様の構成要素は、同一符号で示し、説明を省略する。
指先401は、ユーザが触覚UIを操作する際の指先であり、触覚UIへの入力操作を示している。
検出閾値402は、タッチセンサ101において検出された静電容量の変化量から求めた指先の高さに対して、ユーザ入力を検出するか否かを判定する閾値を示している。
検出閾値402は、触覚UIの全域において、凸形状の高さよりも低く、かつ平坦面よりも高く設定される。指先401の高さが、検出閾値402よりも低い(タッチセンサ101に近い)と、触覚UIが操作されたと認識し、ユーザ入力を検出する。
図4(a)は、触覚UIを指先で触れていない状態を示している。この状態では、指先401は検出閾値402よりも高いため、ユーザ入力は検出されない。図4(b)は、触覚UIの平坦面を指先で触れている状態を示している。この状態では、指先401は検出閾値402よりも低くなるため、触覚UIはユーザ入力を検出する。
図4(c)は、凸形状を指先で触れた状態を示している。この状態では、指先401は透明シート301に触れているものの、検出閾値402よりも高いため、ユーザ入力は検出されない。図4(d)は、凸形状を指先401で押し込んだ状態を示している。この状態では、指先401は検出閾値122よりも低くなるため、触覚UIはユーザ入力を検出する。すなわち、凸形状を形成した領域においては、凸形状を押しこむ操作を行うことで初めてユーザ入力を検出するため、ユーザは従来のボタンと同様の操作感を得ることができる。
続いて、図5のフローチャートを用いて、操作判断部102によるユーザ入力による操作判断処理について説明を行う。
S501では指先401の高さが検出閾値402より低いか判断し、低い場合(ユーザ入力があることを検出中である場合)はS502へ、高い場合(ユーザ入力がない場合)はS511へと進む。
S502では操作が継続している間のユーザ入力位置が一定であるか判断し、一定である場合はS503へ、一定でない(移動している、スライドしている)場合はS508へと進む。
S503ではユーザ入力位置が凸形状位置であるかどうか判断し、凸形状位置である場合はS504へ、凸形状位置でない場合はS505へと進む。
S504ではユーザ入力は押し込み操作だと判断し、処理を終了する。
S505では、ユーザ入力がある閾値時間以上経過したか判断し、経過していない場合はS506へ、経過した場合はS507へと進む。
S506ではユーザ入力はタッチ操作だと判断し、処理を終了する。
S507ではユーザ入力は長押し操作だと判断し、処理を終了する。
S508では、直前のユーザ入力が長押し操作かスライド操作2であったか判断し、長押し操作がスライド操作2であった場合はS510へ、長押し操作かスライド操作2でなかった場合はS509へと進む。
S509ではユーザ入力はスライド操作1だと判断し、処理を終了する。
S510ではユーザ入力はスライド操作2だと判断し、処理を終了する。
S511は指の高さが検出閾値内にない場合であり、ユーザ入力が無いと判断できるので、処理を終了する。
以上の処理フローにより、ユーザ入力による操作の判断を最適に行うことが可能となる。
ここで、図6〜図8を用いて、画像管理機能の一機能であるスライド操作2による画像の削除について説明を行う。
図6はスライド操作2による画像の削除についての触覚UIの動作を示すフローチャートである。
S601ではユーザ操作がスライド操作2であるか判断し、スライド操作2である場合はS602へ、スライド操作2でない場合はS606へ進む。
S602ではユーザの入力位置が削除ボタンの上かどうか判断し、削除ボタンの上である場合はS603へ、削除ボタンでない場合はS605へ進む。
S603ではスライド操作2で選択している画像が保護状態であるか判断し、保護状態である場合はS604へ、保護状態でない場合はS605へ進む。
S604では、削除ボタン部の形状を凸状態に制御し、処理を終了する。これにより、ユーザは削除ボタン部へのスライド操作2が無効であることを触覚で直感的に認知することが可能となる。
S605では、削除ボタン部の形状を平坦状態に制御し、処理を終了する。これにより、ユーザは形状可変部を触覚的に認知することがなく、違和感なく削除ボタン部へのスライド操作2が可能となる。
S606では、タッチ操作で選択している画像が保護状態であるか判断し、保護状態である場合はS607へ、保護状態でない場合はS608へ進む。
S607では、削除ボタン部の形状を平坦状態に制御し、処理を終了する。これにより、ユーザは削除ボタンへの押し込み操作が無効であることを認知することができる。
S608では、削除ボタンの形状を凸状態に制御し、処理を終了する。これにより、ユーザは削除ボタンを押し込みボタンとして使用可能であることを触覚で直感的に認知することが可能となる。また触覚UIは、押し込み操作時にボタンが凹むことで入力を受け付けるため、ユーザは従来のボタンと同様の操作感を得ることができる。
続いて、図7はスライド操作2による画像の削除について、スライド操作2により削除操作を行う画像が保護されていない場合についての触覚UIの動作を示す図である。なお、図2(a)と同様の構成については同符号を付し、説明を省略する。
指先701は、サムネイル画像8の位置であり、スライド操作2の開始位置である。
指先702は、削除ボタン202の位置であり、スライド操作2の終了位置である。
図7(a)はスライド操作2を行う前の状態であり、画像1〜9がサムネイル表示されている。選択されている画像8は保護されていないため、削除ボタン202を含む各ボタンは、凸状態となっている(S608)。
図7(b)はサムネイル画像8に対してスライド操作2を開始した状態を示す図である。すなわち、サムネイル画像8上でのタッチ操作が閾値時間以上続くと(S505)、長押し操作と判断し(S507)、選択されたサムネイル画像8の枠を強調表示する。その後検出位置が変化すると(S502)、スライド操作2の開始と判断し(S510)、削除ボタン202を含む各ボタンは、平坦な状態に変化する(S605)。
図7(c)はスライド操作2中を示す図である。すなわち、スライド操作2開始時に選択されたサムネイル画像8が指先701から指先702への移動に追従して表示される。その際、削除ボタン202を含む各ボタンは、サムネイル画像8が保護されていないため、平坦な状態のままである(S605)。
図7(d)はスライド操作2終了時の図であり、図7(c)の状態で指を離した際の動作を示す。画像8が削除され、サムネイル表示上に画像8は表示しない。また、選択画像は削除した画像8の次に構成されている画像9となり、画像9が保護されていない場合は、削除ボタン202を含む各ボタンは、凸状態に変化する(S608)。なお、削除を実行する前に、削除を実行して良いかを確認するようにしてもよい。
以上のように、保護されていない画像についてはスライド操作2により快適に削除操作を行うことができる。
続いて、図8はスライド操作2による画像の削除について、スライド操作2により削除操作を行う画像が保護されている場合についての触覚UIの動作を示す図である。なお、構成は図7と同様であるため、同符号を付し、説明を省略する。
図8(a)はスライド操作2を行う前の状態であり、画像1〜9がサムネイル表示されている。選択されている画像8は保護されているため、削除ボタン202を含む各ボタンは、平坦な状態となっている(S607)。
図8(b)はサムネイル画像8に対してスライド操作2を開始した状態を示す図であり、図7(b)と同等のため説明を省略する。
図8(c)はスライド操作2中を示す図である。すなわち、スライド操作2開始時に選択されたサムネイル画像8が指先701から指先702への移動に追従して表示される。その際、削除ボタン202を含む各ボタンは、サムネイル画像8が保護されているため、指先702の位置になると凸状態へと変化する(S604)。
図8(d)はスライド操作2終了時の図であり、図7(c)の状態で指を離した際の動作を示す。画像8は保護されているため削除されず、即ちスライド操作2前の図8(a)と同じ状態となる。また、削除ボタン202を含む各ボタンは、平面状態に変化する(S608)。
以上のように、保護されている画像に対してスライド操作2により削除操作を要求された際に、図8(c)に示すように削除ボタンを凸状態へと変化させることで、ユーザは触覚で直感的に削除操作が無効であることを認知することが可能となる。
なお、S604において凸状態へと変化させたが、これに限るものではなく、たとえば凸状態と平坦な状態とを定期的に(交互に)繰り返すようにしてもよい。
また、図8(b)において、サムネイル画像8に対してスライド操作2を開始した時点で、操作されている対象のサムネイル画像8は保護されているので、この操作対象に対し無効となる操作(処理)である削除ボタンを凸状態へと変化させるようにしてもよい。すなわち、制御手段は、検出手段によって操作(保護されているサムネイル画像のドラッグ操作)が検出された時点で、その操作による処理が無効となる対象である削除ボタン(無効な処理に対応する位置の形状可変部)の形状を変更してユーザへ通知を行うようにしてもよい。また、ドラッグ操作されている対象を判断して、その対象に対する処理(操作)が無効となるような処理(操作)を示す位置の触覚UI(削除ボタン等)の形状を凸状態へと変化させるようにしてもよい。
以上説明したとおり、スライド操作2による削除操作が無効である場合に、触覚的誘導を用いて直感的にユーザへ通知をすることが可能となる。
なお、本実施例では形状可変部に相当する3つのボタンに対してポンプが1つのみである構成において説明を行ったが、それぞれのボタンに対してポンプを有し、それぞれの形状を独立して変化させることが可能な構成でも同様の効果を奏することができる。その際、S602に示した判断を行わず、スライド操作2により選択された画像が保護状態である場合に、削除ボタンのみを凸状態としてもよい。
また、例えば、本実施例においてはディスプレイが平坦である場合の説明を行ったが、これに限るものではなく、湾曲している表面に変形部材を構成したユーザインターフェース装置においても同様の効果を奏することができる。
また、触覚UIの形状を変化させる構成として、空洞部に流動体を流入する例を用いて説明したが、これに限られる訳ではなく、表面の形状を変化させユーザに触覚的誘導を与えられる構成であれば何でもよい。さらには、形状変化として凸形状を例にあげて説明をしたがこれに限られることはなく、凹状態や凸凹状態、また電気的特性により表面の摩擦係数を変化させる構成においても同様の効果を得ることができる。
また、本実施例において、ユーザの入力を検出する構成として、静電容量型のタッチセンサのみでタッチ操作、長押し操作、スライド操作1、スライド操作2、押し込み操作を判別する例について説明したが、これに限られる訳ではない。例えば、静電容量型のタッチセンサに加えて、空洞部に圧電センサを構成し、ユーザが凸形状を押し込むことによる空洞部内の圧力の変化を検出し、ユーザの押込み操作を検出するようにしても良い。
続いて、以下、図9〜図13を参照して、本発明の第2の実施例による、操作装置(ユーザインターフェース装置)について説明する。本実施例では、ユーザインターフェース装置の一例として、撮像装置であるデジタルカメラ2の画像表示機能のユーザインターフェースを例にとって説明する。
図9は、本発明の第1の実施例であるユーザインターフェース装置の構成を示している。なお、図1と同様の構成については同符号を付し、説明を省略する。
形状制御部905は実施例1とは異なる判断にて動作するため別符号を付す。
アクチュエータ906及び形状可変部907は、実施例1におけるアクチュエータ106及び形状可変部107と異なるため別符号を付す。これらの詳細については後述する。
次に、図10を用いて、デジタルカメラ2の外部構成及び画像表示機能時の動作について説明を行う。
図10(a)に示すように、デジタルカメラ2のディスプレイ画面20にタッチセンサ101とディスプレイ104は重なって構成され、略々全面に形状可変部907が構成されている。具体的には縦に5か所、横に7か所の、計35か所に形状可変部907を有し、左上から右に907a1、907b1、・・・、907g1、また下に907a1、907a2、・・・、907a5とする。すなわち、右下の形状可変部は907g5となる。また、デジタルカメラ2は形状可変部907ごとにアクチュエータ906であるポンプを有し、形状制御部905はそれぞれのアクチュエータ(ポンプ)906を用いて、それぞれの形状変形部の形状を、独立して制御することが可能である。
即ち、実施例1との差異としては、ディスプレイ画面20の略々全面に形状可変部907が構成されていることと、形状制御部905はそれぞれの形状変形部の形状を、独立して制御することが可能であることが挙げられる。
以上のように、ディスプレイ画面20は、通常平坦な面をしているが、ユーザに触覚的誘導を与えるために、平坦面の特定領域を凸形状に変形することが可能なディスプレイ(以下、触覚UIとも記載する)である。本実施例の画像表示機能時は、各ボタン(複数の領域から構成される一部の領域)に対して、触覚UIにより表面を凸形状に変形させる。
デジタルカメラ2における画像表示機能は、図10(a)に示すように、ディスプレイ画面20全体に画像が表示される。そして、たとえば左右方向へのスライド操作1で表示画像を次の画像、前の画像へと切り替える動作を行う。
また、図10(b)はデジタルカメラ2で撮影した画像が保存されている構成を示す。デジタルカメラ2は撮影した画像をグループごとにまとめて保存しており、撮影時にどのグループに保存するか、画像撮影機能時のメニューにて切り替えが可能である。画像表示機能時には、Photo0101の次がPhoto0102、さらに次がPhoto0201、のように、スライド操作1により次の画像が要求された際には、グループを超えて順次表示を行う。
なお、画像表示機能時には、形状可変部907は通常、平坦な状態となっている。これは、形状が変化していると画像の視認性が悪くなるためである。一方、デジタルカメラ2は、画像表示機能以外の機能である場合に、凸形状をボタンとして使用する。例えば、実施例1で示した画像管理機能時には各ボタンに合わせて凸形状を形成する。
アクチュエータ906及び形状可変部907の構造の詳細については実施例1の図3と同等であるため説明を省略する。
また、タッチセンサ101によるユーザ入力の検出方法についても実施例1の図4と同等であるため説明を省略する。
また、操作判断部102によるユーザ入力による操作判断処理についても実施例1の図5と同等であるため説明を省略する。
続いて、図11、図12を用いて画像表示機能時の画像変更について説明を行う。
図11はスライド操作1による画像の切り替えについての触覚UIの動作を示すフローチャートである。
S1101ではユーザ操作がスライド操作1であるか判断し、スライド操作1である場合はS1102へ、スライド操作1でない場合はS1103へ進む。
S1102では切り替える前後の画像のグループが同一か判断し、同一でない場合はS1103へ、同一である場合はS1104へ進む。
S1103では、全ての形状可変部を凸状態にし、処理を終了する。
S1104では、全ての形状可変部を平坦な状態にし、処理を終了する。
以上のフローチャートにより、スライド操作1による画像切り替え時にグループをまたいで画像が切り替わった際に、ディスプレイ画面20の略全面に配置されている形状可変部907が凸形状へと変化する(S1103)。また、スライド操作1が終了すると、全ての形状可変部を平坦にし(S1104)、画像の視認性低下を防ぐことができる。
図12はユーザによる画像変更を要求するスライド操作1を示す。なお、図10(b)と同様の構成については同符号を付し、説明を省略する。
図12(a)はスライド操作1を上面から示した図である。
指先1201は、スライド操作1の開始位置であり、指先1202は、スライド操作1の終了位置である。また軌跡1203は、スライド操作1時の指先の軌跡である。指先1202は指先1201よりも左側に位置しており、操作判断部はスライド操作1の方向が左方向であることから、次の画像へと切り替える操作であると判断する。
図10(b)で示した保存画像の構成において、現在Photo0101が表示されているときに、図12(a)で示す左スライド操作1が実行された場合、Photo0102が表示される。その際、Photo0101とPhoto0102のグループが同一であるため(S1102)、図12(b)で示す断面図のように、形状可変部は平坦な状態のままとなる(S1104)。
続いて、さらに図12で示す左スライド操作1が実行された場合、Photo0201が表示される。その際、Photo0102とPhoto0201のグループが異なるため(S1102)、図12(c)で示す断面図のように、形状可変部はスライド操作1の間、凸形状となる(S1103)。
すなわち、軌跡1203上に位置している形状可変部907a3〜907e3も凸形状となり、これにより、スライド操作1中にユーザが凹凸を感じることができ、触覚的誘導により直感的にグループが変化したことを知ることができる。
なお、本実施例では形状変化部すべてを凸形状とすることで通知を行ったが、これに限ることはなく、スライド操作1の速度及び方向から、今後指先が通過する軌跡を推定し、その軌跡に応じた形状可変部のみを凸形状としてもよい。即ち、指先1201から左方向にスライド操作1があることを検出した際に、図13(a)に示すように、今後指先が通過する形状可変部907a3〜907e3のみを凸形状とし、その周囲については平坦な形状としてもよい。また、軌跡を厳密に推定することは難しいため、図13(b)に示すように、指先1201の位置から、スライド操作1の方向の上下一定角度以内にある形状可変部のみを凸形状とし、その周囲については平坦な形状としてもよい。またさらには、図13(c)に示すように、スライド操作1の方向に加え、スライド操作1の速度に応じて、現在の指先の位置からある時間T内に到達する距離にある形状可変部のみを凸形状とし、その周囲については平坦な形状としてもよい。この時間Tとは、形状可変部の形状を平坦な状態から凸状態へと変化させるために必要な時間から算出される。さらには、スライド操作1中常に凹凸により通知を行う必要はなく、図13(d)に示すように、1か所のみ凸形状とすることでもユーザへ通知を行うことが可能である。
また、保存するフォルダが変化した際に形状を変化させてユーザに通知を行ったが、これに限ることはなく、たとえば次のようなタイミングで通知を行ってもよい。すなわち、写真に記録されている撮影日やGPS位置情報、使用したレンズ情報等が変化したとき、画像の最後でさらに次の画像へと切り替える操作が発生したとき、画像のサイズや形式が変化したとき、等である。
また、次の画像が動画である場合には毎回通知を行ってもよい。動画の場合ユーザは再生を実行する必要があるが、静止画と動画が混在して保存されている場合、表示している画像が動画か否か判断する必要がある。そこで、動画である場合は触覚的誘導によりユーザに通知を行うことで、ユーザは瞬時に、次に表示される画像が動画であることを認知することができる。さらには、動画である場合、凸形状を生成してユーザに通知を行った後に形状可変部を平坦状態へと戻さずに、凸形状を動画の再生を促す押し込みボタンとして利用することもできる。
さらには、複数の要因で通知を行いたい場合、凹凸のパターンを変化させてもよい。例えばグループが変わるときには図13(d)に示すような1か所のみの凸形状による通知を行い、最後の画像で次の画像がない時には全面を凸形状にして通知を行うこともできる。
また、複数位置のスライド操作による写真の拡大、縮小が可能な場合、例えば最大サイズで表示している際にさらに拡大を要求する操作がなされた際にも、形状を変化させてユーザに通知を行ってもよい。
なお、本実施例ではデジタルカメラの画像表示機能を例に挙げて説明を行ったが、これに限ることはなく、さまざまな製品の、さまざまな機能において同様の効果を奏することができる。
例えば携帯情報端末の文書データ表示機能時にも同様の効果を奏することができる。その場合は、例えば次のようなタイミングで通知を行うことが考えられる。すなわち、文章の最初や最後になった際、次の文章へ切り替わった際、文章内の章が切り替わった際、文章内に動画やアニメーションが埋め込まれている際、などが挙げられる。
また、例えば、本実施例においてはディスプレイが平坦である場合の説明を行ったが、これに限るものではなく、湾曲している表面に変形部材を構成したユーザインターフェース装置においても同様の効果を奏することができる。
また、触覚UIの形状を変化させる構成として、空洞部に流動体を流入する例を用いて説明したが、これに限られる訳ではなく、表面の形状を変化させユーザに触覚的誘導を与えられる構成であれば何でもよい。さらには、形状変化として凸形状を例にあげて説明をしたがこれに限られることはなく、凹状態や凸凹状態、また電気的特性により表面の摩擦係数を変化させる構成においても同様の効果を得ることができる。
このように、形状制御部(制御手段)は、タッチセンサへの操作による装置への指令(スライド操作での次の画像への移動など)に対する指令先からの応答(画像情報の変化など)に応じて、形状可変部の形状を変更してユーザへ通知する。
また、本実施例において、ユーザの入力を検出する構成として、静電容量型のタッチセンサのみでタッチ操作、スライド操作、押し込み操作を判別する例について説明したが、これに限られる訳ではない。例えば、静電容量型のタッチセンサに加えて、空洞部に圧電センサを構成し、ユーザが凸形状を押し込むことによる空洞部内の圧力の変化を検出し、ユーザの押込み操作を検出するようにしても良い。
続いて、以下、図14〜図16を参照して、本発明の第3の実施例による、操作装置(ユーザインターフェース装置)について説明する。本実施例では、ユーザインターフェース装置の一例として、携帯情報端末(PDA:Personal Digital Assistant)3のデジタルカメラ遠隔操作機能のユーザインターフェースを例にとって説明する。
図14は、本発明の第3の実施例であるユーザインターフェース装置の構成を示している。なお、図1と同様の構成については同符号を付し、説明を省略する。
アクチュエータ1406及び形状可変部1407は、他の実施例におけるアクチュエータ及び形状可変部と異なる構造のため別符号を付す。これらの詳細については後述する。
なお、不図示のデジタルカメラとの接続は、無線でもよいし、有線でもよい。
次に、図15を用いて、携帯情報端末3の外部構成及びデジタルカメラ遠隔操作機能の例を示す。
図15(a)に示すように、携帯情報端末3のディスプレイ画面30にタッチセンサ101とディスプレイ104は重なって構成され、全面に形状可変部1407が構成されている。そして、形状可変部1407により、ディスプレイ画面30の任意の位置の形状を可変し、凸部を生成することが可能である。詳細については後述する。
携帯情報端末3におけるデジタルカメラ遠隔操作機能の例を、図15(b)に示す。
カメラ画像表示エリア1501は、接続しているデジタルカメラが撮影している映像を表示するエリアである。また、カメラ画像表示エリア1501内の任意の場所をタッチすることで、フォーカスエリアを設定し、またその場所にフォーカスを合わせるオートフォーカス操作を実行することができる。
カメラ情報表示エリア1502はカメラに設定されている情報を表示するエリアであり、撮影モードやデジタルカメラの電池の残量、撮影可能枚数等を表示する。
メニューボタン1503はデジタルカメラや携帯情報端末3のデジタルカメラ遠隔操作機能に関する様々な設定変更を行うためのメニューを表示させるボタンである。
ズーム操作エリア1504はデジタルカメラのズーム操作を携帯情報端末3から遠隔で操作するためのエリアである。ユーザは、スライダー1504aをタッチ操作により選択したのち、そのままスライドバー1504bに沿って上下にスライド操作を行うことで、ズームの操作が可能である。操作ガイド部1504cは、通常平面状態であり、スライダー1504aを選択した際に凸状態へと変化することで、スライダー1504aをスライドバー1504bに沿って操作しやすくするためのガイド部である。また、表示バー1504dは全域の相対的なズーム位置を表示する表示部である。ズーム操作についての詳細は後述する。
フォーカス操作エリア1505はデジタルカメラのフォーカス操作を携帯情報端末3から遠隔で操作するためのエリアであり、+ボタン1505a、−ボタン1505b、及びスライダー1505cを用いての操作が可能となっている。+ボタン1505a、−ボタン1505bはタッチ操作に加え、長押し操作により連続的に操作が可能となっている。また、スライダー1505c及びスライドバー1505dは、フォーカス全域の相対的なフォーカス位置として、右側が無限側、左側が至近側を示す。さらに、スライダー1505cをタッチ操作により選択したのち、そのままスライドバー1505dに沿って左右にスライド操作を行うことで、フォーカス操作を行うこともできる。また、操作ガイド部1505eは、ズームの操作ガイド部1504cと同様であるため説明を省略する。フォーカス操作の詳細については後述する。
自動露出設定エリア1506はデジタルカメラの自動露出設定を携帯情報端末3から遠隔で設定するためのエリアであり、+ボタン1506a、−ボタン1506b、を用いての設定が可能となっている。
画像評価値表示エリア1507は、画像の評価値を表示するエリアであり、例えばコントラスト評価値や、ベクトルスコープ評価値等である。また、設定されたフォーカスエリアの拡大画像であってもよい。
レリーズボタン1508は遠隔で操作しているデジタルカメラのレリーズを行うボタンである。レリーズボタン1508は凸形状を成し、押し込み操作によりレリーズを行う。
デジタルカメラ遠隔操作機能において、通常時はレリーズボタン1508が凸形状を成し、その他のボタンやエリアは平面状態となっている。
続いて、図16を用いてアクチュエータ1406及び形状可変部1407の詳細について説明する。
図16は、各ボタンの触覚UIの断面構成を示した図であり、図16(a)は触覚UIが平坦な状態、図16(b)はユーザに触覚的誘導を与えるため、触覚UIを凸形状に変形させた状態を示した図である。なお、図3で説明した内容と同様の構成要素は、同一符号で示し、説明を省略する。
触覚UIは、透明シート301、伸縮素材1602、電極1603、タッチセンサ101、ディスプレイ104により構成される。1602は電気信号により伸縮する透明な伸縮素材であり、アクチュエータ906と形状可変部907を兼ねる。1603は伸縮素材1602に電気信号を伝達する電極であり、透明であることが望ましい。
図16(a)は電極1603により、伸縮素材1602が収縮する信号を出力している状態であり、ディスプレイ画面上が平坦となっている。一方、図16(b)は電極1603により、伸縮素材1602のうちの1602a、1602b、1602cに対して、膨張する信号を出力している状態であり、ディスプレイ上に凸部が生成されている。
さらに、携帯情報端末3は、伸縮素材1602がディスプレイ画面上に二次元に配置されており、形状制御部105は電極1603を用いて伸縮素材1602ごとに伸縮を制御可能である。
以上により、触覚UIは、ディスプレイ画面30上の任意の位置、任意の形状、任意の大きさで凸形状を形成することが可能である。さらには、伸縮素材1602はそれぞれのサイズが小さい方が望ましく、ディスプレイの画素サイズ以下であれば、画面上の画像と一致して凸部を生成することが可能となる。そして、ディスプレイ画面30により表示する入力グラフィックと併用して用いることで、ユーザにより押下でき、タッチセンサ101上の入力位置を知らせるボタンとして機能する。
なお、タッチセンサ101によるユーザ入力の検出方法、及び操作判断部102によるユーザ入力による操作判断処理については、それぞれ実施例1の図4、図5と同等であり、説明を省略する。
次に、フォーカスの+ボタン1505a操作における携帯情報端末3のデジタルカメラ遠隔操作機能のユーザインターフェース動作についての説明を行う。
フォーカスの+ボタン1505aは通常平坦状態となっている。そして、ユーザは+ボタン1505aを長押し操作している時間に応じて、フォーカスの位置指令を無限側へと更新し、遠隔操作しているデジタルカメラのフォーカスを無限側へ操作することができる。また、駆動したフォーカスの全域に対する相対的な位置はスライダー1505cによって表示される。
ここで、フォーカスが無限端へと駆動してもなお+ボタン1505aを長押し操作している場合、+ボタン1505aの形状を凸状態へと変形させる。これにより、フォーカスがユーザの操作に応じて動作することができないことを、操作を行っている指先に対して触覚的誘導により通知を行うことができる。
なお、フォーカスの−ボタン1505bや自動露出設定エリア1506でも同等である。
続いて、ズームのスライダー操作における携帯情報端末3のデジタルカメラ遠隔操作機能のユーザインターフェース動作についての説明を行う。
ズーム操作エリアのスライダー1504aがスライドバー1504bの中心にあると停止していることを示し、スライダー1504aを上方向へと操作すると、ズームが望遠方向に、下方向へと操作すると、ズームが広角方向に駆動する。即ち、スライドバー1504b上の任意の位置へスライド操作を行うことで、スライダー1504aが操作位置に移動し、操作位置に応じてズーム駆動のための速度指令を、操作時間だけ出力する。これにより、操作位置に応じて駆動速度が変化し、スライダー1504aが中心に近いほど低速で、中心から離れた位置まで操作すると高速でズームが駆動する。さらに、スライド操作によりズームを操作中に指を離すと、スライダー1504aがスライドバー1504bの中心に戻り、ズームの駆動が停止する。
ここで、ズームのスライダー1504a、スライドバー1504b、及び操作ガイド部1504cは通常平坦状態となっている。そして、ユーザがスライダー1504aをタッチ操作により選択すると、操作ガイド部1504cが凸状態へと変化させる。これにより、スライドバー1504bを囲うように凸形状が生成され、スライド操作にてズーム操作可能な範囲を、操作を行っている指先に対して触覚的誘導により通知を行うことができる。また、操作が無効となる方向に凸形状を生成することで、ユーザが操作しづらくなるので、より快適にズームを操作することができる。
またさらには、スライドバー1504bの中心も凸形状を成すことで、逆方向への操作へと切り替わる位置を触覚的誘導により通知してもよい。
また、スライダー1504aを上方へと操作し望遠側へズームを操作していて、ズームが望遠端に達した場合、フォーカスの+ボタン操作で説明したのと同様に、スライダー1504aを凸形状に変形させてもよい。すなわち、スライダー1504aは指先に追従して移動するため、指先の位置が凸形状に変化することとなる。これにより、ズームがユーザの操作に応じて動作することができないことを、操作を行っている指先に対して触覚的誘導により通知を行うことができる。なお、広角側への操作の場合も同様である。
また、フォーカス操作エリアのスライダー操作における操作ガイド部1505eについても、ズーム操作エリアの操作ガイド部1504cと同様であるため説明を省略する。
このように、形状制御部(制御手段)は、タッチセンサへの操作による装置への指令(スライド操作でのズーム・フォーカスの位置操作など)に対する指令先(デジタルカメラ)からの応答(可動端であることなど)に応じて、形状可変部の形状を変更してユーザへ通知する。
以上説明したとおり、形状可変部を凸形状にすることで、ユーザへの触覚的誘導による通知として機能させることができる。形状可変部による凸形状をボタンとして機能させるだけではなく、ユーザへの触覚的誘導による通知として機能させることで、さらに表現豊かな触覚UIを提供することが可能となる。
また、本実施例では携帯情報端末のデジタルカメラ遠隔操作機能について説明を行ったが、これに限ることはなく、さまざまな機器のさまざまな機能において、同様の効果を奏することができる。例えば監視カメラの遠隔操作機におけるパン、チルトの操作においてもズームやフォーカスの操作と同様の動作を行うことで、同様の効果を奏することができる。
なお、例えば、本実施例においてはディスプレイが平坦である場合の説明を行ったが、これに限るものではなく、湾曲している表面に変形部材を構成したユーザインターフェース装置においても同様の効果を奏することができる。
また、触覚UIの形状を変化させる構成として、電気信号により伸縮可能な素材を用いる例について説明したが、これに限られる訳ではなく、表面の形状を変化させユーザに触覚的誘導を与えられる構成であれば何でもよい。さらには、形状変化として凸形状を例にあげて説明をしたがこれに限られることはなく、凹状態や凸凹状態、また電気的特性により表面の摩擦係数を変化させる構成においても同様の効果を得ることができる。
また、本実施例において、ユーザの入力を検出する構成として、静電容量型のタッチセンサのみでタッチ操作、スライド操作1、押し込み操作を判別する例について説明したが、これに限られる訳ではない。例えば、静電容量型のタッチセンサに加えて、押し込み操作により電極に流れる逆起電流を検知しても良い。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。