JP2017027401A - 表示操作装置 - Google Patents

Abstract

【課題】空間に空中表示された実体のない操作対象物の映像を操作する操作者に、確実に操作感を与えることが可能な表示操作装置の提供。【解決手段】表示操作装置１００は、空間表示器５０、操作体特定器２０、及び触覚提示器３０を備え、空間に表示された操作対象物６１の映像を操作者ＯＰに操作させることができる。空間表示器５０は、操作対象物６１の映像を空中表示領域６０に表示する。操作体特定器２０は、空中表示領域６０にある手指Ｆの位置を特定する。触覚提示器３０は、操作対象物６１の映像に触れた手指Ｆに非接触で触感刺激を与える。そして、操作対象物６１の映像は、触感刺激への感度の高い指先の腹から側面が、触覚提示器３０による触感刺激を受け易い方向を向くように、手指Ｆの状態を誘導する表示態様とされる。【選択図】図１

Description

本発明は、空間に表示された操作対象物の映像を操作者に操作させる表示操作装置に関する。

従来、例えば特許文献１には、超音波による刺激を人間の皮膚に与えることにより、あたかも物体に触れているかのような触感刺激を感じさせる触覚提示装置が開示されている。このような触覚提示装置を、三次元映像を空間に表示させる表示器、及び三次元映像を操作する手指等の位置を特定する赤外線カメラと組み合わせることによれば、バーチャルな物体を、触感を伴いながら手で操作可能なインタラクションシステムが構成される。

特許第５３４３９４６号公報

さて、本発明の発明者は、特許文献１のようなインタラクションシステムを開発する過程において、操作者の手指等には、触感刺激への感度の高い高感度部位と、感度の低い低感度部分とがあることを見出した。空間に表示された映像に触れる手指に、バーチャルな触感を確実に感じてもらうためには、触感刺激は、高感度部位に与えられるのか望ましい。

しかし、触覚提示装置は、空間に表示される映像との位置関係から、映像を操作する手指等の感度の高い部位に、常に触感刺激を与えられるわけではない。そのため、映像を操作する手指等の操作体の状態によっては、操作者に触感刺激を感じさせることが困難な状況も生じ得た。

本発明は、このような問題に鑑みてなされたものであって、その目的は、空間に空中表示された実体のない操作対象物の映像を操作する操作者に、確実に操作感を与えることが可能な表示操作装置を提供することにある。

上記目的を達成するため、開示された一つの発明は、空間に表示された操作対象物（６１，２６１，３６１，４６１）の映像を操作者（ＯＰ）に操作させる表示操作装置であって、空間に規定される仮想の空中表示領域（６０）に、操作対象物の映像を表示する空間表示器（５０）と、空中表示領域にある操作体（Ｆ）の位置を特定する位置特定器（２１）と、位置特定器にて位置を特定された操作体が操作対象物の映像に触れると、この操作体に非接触で触感刺激を与える触覚提示器（３０，３３０，４３０，４４０，５３０，６３０）と、を備え、操作対象物の映像は、操作者の一部である操作体において触感刺激への感度の高い高感度部位（ＳＲ）が、触覚提示器による触感刺激を受け易い方向を向くように、操作体の状態を誘導する表示態様であることを特徴としている。

この発明によれば、空間に表示された操作対象物の映像に誘導されることにより、操作者の操作体において触感刺激への感度の高い高感度部位は、触覚提示器による触感刺激を受け易い方向に向き得る。故に、非接触にて加えられる触感刺激であっても、操作者の感じる確実性は高くなる。以上によれば、表示操作装置は、空間に表示された実体のない操作対象物の映像を操作する操作者に対して、操作感を確実に与えることができる。

尚、上記括弧内の参照番号は、本発明の理解を容易にすべく、後述する実施形態における具体的な構成との対応関係の一例を示すものにすぎず、本発明の範囲を何ら制限するものではない。

表示操作装置が搭載された車両の運転席周辺のレイアウトを示す図である。 表示操作装置の各構成の位置関係を示す図である。 第一実施形態による表示操作装置の電気的構成を示すブロック図である。 触感制御部にて実施される触覚制御処理の詳細を示すフローチャートである。 表示制御部にて実施される映像制御処理の詳細を示すフローチャートである。 第一実施形態における操作対象物の映像の表示態様と、この映像に誘導される手指の状態を示す図である。 第二実施形態における操作対象物の映像の表示態様と、この映像に誘導される手指の状態を示す図である。 第三実施形態における操作対象物の映像の表示態様と、この映像に誘導される手指の状態を示す図である。 第三実施形態による表示操作装置の電気的構成を示すブロック図である。 第四実施形態における操作対象物の映像の表示態様と、この映像に誘導される手の状態を示す図である。 第四実施形態による表示操作装置の電気的構成を示すブロック図である。 第五実施形態における操作対象物の映像の表示態様と、この映像に誘導される手指の状態を示す図である。 ダイヤルの回転操作に伴う移動機構の作動を説明するための図である。 第五実施形態の触感制御部にて実施される触覚制御処理の詳細を示すフローチャートである。 第五実施形態による表示操作装置の電気的構成を示すブロック図である。 第六実施形態における操作対象物の映像の表示態様と、この映像に誘導される手指の状態を示す図である。 ダイヤルの回転操作に伴う触覚提示器の切り替えを説明するための図である。 ダイヤルの回転操作に伴う触覚提示器の切り替えを説明するための図である。 第六実施形態の触感制御部にて実施される触覚制御処理の詳細を示すフローチャートである。 第六実施形態による表示操作装置の電気的構成を示すブロック図である。

以下、本発明の複数の実施形態を図面に基づいて説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。そして、複数の実施形態及び変形例に記述された構成同士の明示されていない組み合わせも、以下の説明によって開示されているものとする。

（第一実施形態）
図１及び図２に示す本発明の第一実施形態による表示操作装置１００は、車両に搭載され、例えば空調装置１２１（図３参照）及びオーディオ装置１２２（図３参照）といった他の車載機器への操作を受け付ける車両用のユーザーインターフェースとして機能する。表示操作装置１００の各構成は、センタークラスター１１１及びセンターコンソール１１２に収容されている。表示操作装置１００は、矩形の平面状に規定された仮想の空中表示領域６０（図１のドットの範囲を参照）に、操作対象物６１の映像を表示する。空中表示領域６０は、センターコンソール１１２の上方であって、センタークラスター１１１の後方の空間に規定されている。運転席に着座する運転者及び助手席に着座する乗員等は、操作者ＯＰとして、運転席及び助手席の間に空中表示されたバーチャルな操作対象物６１の映像を操作することができる。

表示操作装置１００は、図１〜図３に示すように、操作体特定器２０、触覚提示器３０、及び空間表示器５０を備えている。操作体特定器２０、触覚提示器３０、及び空間表示器５０は、互いに電気的に接続されており、相互に情報をやり取りすることができる。表示操作装置１００は、他の車載機器へ向けて、操作者ＯＰ等によって入力された操作情報を出力することができる。

尚、以下の説明では、空中表示領域６０の長手方向を左右方向ＨＤとし、空中表示領域６０に沿って左右方向ＨＤと直交する方向を上下方向ＶＤとする。また、空中表示領域６０に対して車両前方を奥側とし、空中表示領域６０に対して車両後方を手前側とする。

操作体特定器２０は、例えば赤外線カメラ等を含む構成であって、操作対象物６１の映像を操作しようとする操作体（例えば手指Ｆ等）の状態を検出する。操作体特定器２０は、触覚提示器３０の上方且つ奥側に配置されている。操作体特定器２０は、空中表示領域６０とその周囲を少なくとも含む三次元空間での操作体の状態を検出することができる。

操作体特定器２０は、位置特定部２１及び姿勢特定部２２を有している。位置特定部２１は、赤外線カメラによって撮像された画像を解析することにより、空中表示領域６０における手指Ｆの位置を特定する。姿勢特定部２２は、赤外線カメラによって撮像された画像を解析することにより、空中表示領域６０における手指Ｆの姿勢を特定する。

触覚提示器３０は、全体として平板状に形成されており、空中表示領域６０の下方に配置されている。触覚提示器３０は、超音波発生面３１及び触感制御部３２を有している。超音波発生面３１は、超音波を発振する複数の振動子を二次元配列することによって形成されている。超音波発生面３１が空中表示領域６０を向く姿勢にて、触覚提示器３０は、センターコンソール１１２に固定されている。超音波発生面３１は、超音波振動子によって生じさせる圧力により、触覚提示領域３６にある操作体に触感刺激を発生させる。触覚提示領域３６は、空中表示領域６０とその周囲を少なくとも含む三次元空間であり、操作体特定器２０が操作体を検出可能な範囲と概ね一致している。

触感制御部３２は、複数の超音波振動子を協調動作させることにより、操作体に与える触感刺激を制御する。触感制御部３２は、触覚制御処理（図４参照）を繰り返し実施する。触感制御部３２は、操作体特定器２０から手指Ｆの位置及び姿勢の情報を取得すると共に（図４ Ｓ１０１参照）、空間表示器５０から操作対象物６１の形状情報を取得する（図４ Ｓ１０２参照）。そして触感制御部３２は、取得した各情報に基づき、操作対象物６１の映像に手指Ｆ等の操作体が触れているか否かを判定する（図４ Ｓ１０３参照）。その結果、手指Ｆが操作対象物６１に触れていると肯定判定した場合に、触感制御部３２は、手指Ｆ等に非接触で触感刺激を与える（図４ Ｓ１０４参照）。

空間表示器５０は、液晶パネル５１、リフレクタ５２、及び表示制御部５３を有している。液晶パネル５１は、表示面５１ａを形成する表示パネルと、表示パネルを透過照明するバックライト等とによって構成されている。液晶パネル５１は、表示制御部５３から逐次取得する画像データを表示面５１ａに連続的に形成することにより、フルカラーの映像を表示することができる。液晶パネル５１は、リフレクタ５２の下方に配置され、表示面５１ａをリフレクタ５２に向けた姿勢にて、センタークラスター１１１又はセンターコンソール１１２内に固定されている。

リフレクタ５２は、全体として平板状に形成されており、液晶パネル５１の上方に配置されている。リフレクタ５２は、所謂二面直交リフレクタであり、多数のマイクロミラーが配列された光学素子である。詳記すると、リフレクタ５２は、格子状に形成されることで、多数の微小な貫通孔を形成している。各貫通孔は、四角孔状に形成されている。貫通孔を区画している各側面は、鏡面状とされており、上述のマイクロミラーを形成している。各マイクロミラーは、互いに直交している。

以上の構成によれば、表示面５１ａから出射される光の一部は、互いに直交する二つのマイクロミラーによって一回ずつ反射され、リフレクタ５２を挟んで液晶パネル５１とは反対側の空間に実像として結像される。表示面５１ａの映像を結像させている二次元状の結像面が、空中表示領域６０として予め規定される。操作者ＯＰは、空中表示領域６０に空中表示される操作対象物６１の映像を裸眼視することができる。

表示制御部５３は、液晶パネル５１に設けられた複数の画素を制御することにより、表示面５１ａに映る映像、ひいては空中表示領域６０に結像される実像の形態を制御する。表示制御部５３は、手指Ｆの操作入力に合わせて操作対象物６１の形態を変化させる映像制御処理（図５参照）を繰り返し実施する。表示制御部５３は、操作体特定器２０から手指Ｆの位置情報を取得し（図５ Ｓ１１１参照）、取得した情報に基づいて操作対象物６１への手指Ｆ等の操作入力があるか否かを判定する（図５ Ｓ１１２参照）。その結果、操作入力があると判定した場合に、表示制御部５３は、手指Ｆによる操作入力に合わせて、操作対象物６１の形態を更新する（図５ Ｓ１１３参照）。さらに表示制御部５３は、更新された操作対象物６１の形状情報を触覚提示器３０へ向けて出力する（図５ Ｓ１１４参照）と共に、手指Ｆの操作に基づく指令信号を外部の車載機器へ向けて出力する。

次に、第一実施形態における操作対象物６１の詳細を、図６に基づいて、図１を参照しつつ説明する。

操作対象物６１の映像は、操作者ＯＰの手指Ｆにおいて触感刺激への感度の高い高感度部位ＳＲが、触覚提示器３０による触感刺激を受け易い方向、即ち下方を向くように、手指Ｆの状態を誘導する表示態様とされている。高感度部位ＳＲには、皮膚直下に存在するマイスナー小体、及び表皮に存在するメルケル細胞といった生体触覚センサとして機能する受容器が高密度で分布しているものと推定される。第一実施形態では、指先の腹から側面にかけての部位を高感度部位ＳＲとし、手指Ｆの他の部位を低感度部位ＤＲとする。

操作対象物６１の映像は、左右方向ＨＤに移動可能なツマミ部６２と、ツマミ部６２の移動範囲を示すスライダ溝部６３とを含んでいる。空間に表示された映像としてのツマミ部６２を左右方向ＨＤへスライドさせる操作が操作者ＯＰによって入力されると、表示制御部５３は、スライダ溝部６３に沿ってツマミ部６２を移動させる。操作者ＯＰは、ツマミ部６２のスライド操作により、例えばオーディオ装置における設定音量、及び空調装置における設定温度等を変更することができる。

第一実施形態におけるツマミ部６２の移動可能な方向は、超音波発生面３１の板面方向に沿って規定されている。故に、ツマミ部６２をスライダ溝部６３に沿って左右方向ＨＤに移動させようとした場合、操作者ＯＰは、親指と人差指とによってツマミ部６２を左右方向ＨＤの両側から挟みにいく。その結果、親指及び人差指の高感度部位ＳＲは、超音波発生面３１の位置する下方に向くようになる。以上によれば、操作者ＯＰは、超音波発生面３１から出力される超音波による触感刺激を親指及び人差指の各指先で確実に受けて、ツマミ部６２を挟んでいるようなバーチャルな触感を感じることができる。

比較のために、上下方向ＶＤに移動可能なツマミ部１６２を図６に図示する。このツマミ部１６２は、超音波発生面３１の板面方向に対して直交する方向に移動可能である。ツマミ部１６２を上下方向ＶＤに移動させようとした場合、操作者ＯＰは、親指と人差指とによってツマミ部１６２を上下から挟みにいく。その結果、親指は、低感度部位ＤＲである指の背を超音波発生面３１の位置する下方へ向けた状態となる。さらに、人差指の高感度部位ＳＲは、親指によって超音波発生面３１から隠された状態となる。以上によれば、操作者ＯＰは、超音波による触感刺激を親指及び人差指の各指先で受け難くなってしまうのである。

さらに触覚提示器３０は、ツマミ部６２を移動させる操作が行われた場合に、親指及び人差指のそれぞれへ与える触感刺激に強弱を設ける。具体的に、ツマミ部６２を挟んでいる二つの指先のうちで移動方向前側にある指先よりも、移動方向後側にある指先に対して、強い触感刺激を発生させる。具体的には、運転席側へ向けてツマミ部６２をスライドさせる場合には、親指の指先よりも人差指の指先に強い触感刺激が与えられる。反対に、助手席側へ向けてツマミ部６２をスライドさせる場合には、人差指の指先よりも親指の指先に強い触感刺激が与えられる。以上により、操作者ＯＰは、ツマミ部６２の移動に伴うバーチャルな抵抗感を指先に感じることができる。

ここまで説明した第一実施形態によれば、空間に表示された操作対象物６１の映像に誘導されることで、操作者ＯＰの手指Ｆにおいて触感刺激への感度の高い高感度部位ＳＲは、触覚提示器３０による触感刺激を受け易い方向に向き得る。故に、非接触にて加えられる触感刺激であっても、操作者の感じる確実性は高くなる。以上によれば、表示操作装置１００は、空間に表示された実体のない操作対象物６１の映像を操作する操作者ＯＰに対して、操作感を確実に与えることができる。

加えて第一実施形態のように、超音波発生面３１に沿って左右方向ＨＤにスライド可能なツマミ部６２が表示されれば、操作者ＯＰは、ツマミ部６２を左右方向ＨＤの両側から手指Ｆによって挟むはずである。その結果、手指Ｆの高感度部位ＳＲは、超音波発生面３１を向くようになる。したがって、触覚提示器３０は、ツマミ部６２を挟んでいる各指先の高感度部位ＳＲに触感刺激を与えて、このツマミ部６２を挟んでいるかのような感覚を操作者ＯＰに感じさせることができる。

また第一実施形態によれば、高感度部位ＳＲは、受ける触感刺激の強弱も感度良く感じ得る。故に、ツマミ部６２を挟んでいる二本の指先に対して異なる強さの触感刺激を与えるようにすれば、触覚提示器３０は、移動方向後側からツマミ部６２を押してスライド操作をしているようなリアリティのある触感を、操作者ＯＰに感じさせることができる。

尚、第一実施形態において、手指Ｆが「操作体」に相当し、位置特定部２１が「位置特定器」に相当し、姿勢特定部２２が「姿勢特定器」に相当し、超音波発生面３１が「発生面」に相当し、ツマミ部６２が「接触部」に相当する。

（第二実施形態）
図７に示す本発明の第二実施形態は、第一実施形態の変形例である。第二実施形態における操作対象物２６１の映像には、複数の押釦２６２が含まれている。複数の押釦２６２は、超音波発生面３１に沿って左右方向ＨＤに並んでいる。押釦２６２には、操作者ＯＰに向けられた押圧面２６３が設けられている。押圧面２６３は、奥側へ向かうに従って上方に僅かに傾斜している。こうした押圧面２６３の傾斜により、各押釦２６２は、触覚提示器３０の位置する下方へ向けたプッシュ操作の可能な入力部として操作者ＯＰに認識され得る。

以上の押釦２６２に下方へ向けたプッシュ操作が入力されると、表示制御部５３（図３参照）は、操作の入力された押釦２６２を下方へ押し下げる映像を表示させる。加えて触感制御部３２（図３参照）は、押圧面２６３に触れている手指Ｆの指先に触感刺激を与えると共に、押釦２６２が押し込まれたタイミングに合わせて、発生させる触感刺激を強める制御を行う。以上によれば、操作者ＯＰは、プッシュ操作に伴ったバーチャルな打鍵感を感じることができる。

ここまで説明した第二実施形態でも、第一実施形態と同様の効果を奏することが可能である。その結果、操作対象物２６１の映像によって手指Ｆの状態が誘導され、操作者ＯＰは、実体の無い操作対象物２６１の映像の操作においても、操作感を確実に感じることができる。

加えて第二実施形態では、押釦２６２の形状に誘導されることで、操作者ＯＰは、高感度部位ＳＲである手指Ｆの腹の部分を超音波発生面３１へ向けた状態で、プッシュ操作を行おうとするはずである。その結果、触覚提示器３０は、手指Ｆの腹の部分に触感刺激を与えて、押釦２６２を押している感覚を操作者に感じさせることができる。尚、第二実施形態では、押釦２６２が「押釦部」に相当する。

（第三実施形態）
図８及び図９示す本発明の第三実施形態は、第一実施形態の別の変形例である。第三実施形態における表示操作装置３００は、操作体特定器２０、第一触覚提示器３３０、第二触覚提示器３４０、空間表示器３５０、及び制御ユニット３１０を備えている。

第一触覚提示器３３０は、第一実施形態の触覚提示器３０に相当する構成である。第一触覚提示器３３０からは、触感制御部３２（図３参照）が省略されている。第一触覚提示器３３０は、空中表示領域６０の下方に配置されて、触覚提示領域３６にある手指Ｆ等の操作体に触感刺激を与えることができる。

第二触覚提示器３４０は、第一触覚提示器３３０と実質的に同一の構成であり、第一触覚提示器３３０とは別に、空中表示領域６０の奥側に配置されている。第二触覚提示器３４０の超音波発生面３４１は、第一触覚提示器３３０の超音波発生面３１と同様に、空中表示領域６０へ向けられている。超音波発生面３４１は、手前側に規定された触覚提示領域３６にある手指Ｆ及び手の平等の操作体に、第一触覚提示器３３０とは異なる方向から触感刺激を与えることができる。

空間表示器３５０は、第一実施形態の空間表示器５０（図３参照）に相当する構成である。空間表示器３５０からは、表示制御部５３（図３参照）が省略されている。空間表示器３５０のリフレクタ５２（図２参照）は、第二触覚提示器３４０に対して上下方向ＶＤにずらして配置されている。

制御ユニット３１０は、操作体特定器２０、第一触覚提示器３３０、第二触覚提示器３４０、及び空間表示器３５０と電気的に接続されている。制御ユニット３１０は、表示操作装置３００の外部の車載機器と電気的に接続されており、当該車載機器に操作情報を出力する。制御ユニット３１０は、プロセッサ、ＲＡＭ、及びメモリを有するマイクロコンピュータを主体に構成されている。

制御ユニット３１０は、プロセッサに所定のプログラムを実行させることにより、操作情報取得部１１、表示制御部１２、及び触感制御部１３を機能ブロックとして構築する。操作情報取得部１１は、位置特定部２１及び姿勢特定部２２から操作体の位置及び姿勢を示す情報を取得する。表示制御部１２は、第一実施形態の表示制御部５３（図３参照）に相当する機能を発揮可能であり、空中表示領域６０に表示される映像を制御する。触感制御部１３は、第一実施形態の触感制御部３２（図３参照）に相当する機能を発揮可能であり、二つの触覚提示器３３０，３４０のそれぞれから操作体に加えられる触感刺激を制御する。

次に、表示操作装置３００によって空中表示領域６０に空中表示される映像の詳細を説明する。

空中表示領域６０には、多階層に構成されたメニュー画面群の一つと、操作対象物３６１の映像等が表示される。メニュー画面群には、例えば空調装置１２１への操作を受け付ける空調メニュー画面、及びオーディオ装置１２２への操作を受け付けるオーディオメニュー画面等と、これらの上位の階層となるメインメニュー画面が少なくとも含まれている。操作者ＯＰは、メインメニュー画面に表示された複数のアイコンのうちの一つを選択及び決定する操作により、メインメニュー画面から、空調メニュー画面及びオーディオメニュー画面等の下位の階層へと、表示を遷移させることができる。

操作対象物３６１の映像には、少なくとも一つの回転可能なダイヤル３６２が含まれている。ダイヤル３６２は、空中表示領域６０に対して仮想の回転軸を交差させた姿勢にて、当該空中表示領域６０に表示される。第三実施形態におけるダイヤル３６２の回転軸は、空中表示領域６０に対して実質的に直交している。こうした操作対象物３６１の映像の表示態様により、操作者ＯＰは、ダイヤル３６２を複数の手指Ｆによって上方から掴み、いずれかの方向へ回転させる操作を誘導される。

以上のダイヤル３６２に反時計回りの回転操作が入力されると、表示制御部１２は、位置特定部２１及び姿勢特定部２２から操作情報取得部１１に出力された情報に基づき、反時計回りに回転しているダイヤル３６２の映像を表示させる。同様に、時計回りの回転操作が入力された場合でも、時計回りに回転しているダイヤル３６２の映像が表示される。こうした回転操作によれば、操作者ＯＰは、表示中のメニュー画面において選択中とされるアイコンを、順に切り替えることができる。さらに、ダイヤル３６２に触れている手指Ｆの指先には、触感制御部１３によって制御された第一触覚提示器３３０により、触感刺激が与られる。その結果、操作者ＯＰは、ダイヤル３６２を掴んでいるかのようなバーチャルな触感を感じることができる。

また、回転軸に沿って奥側へ押し込む押込操作がダイヤル３６２に入力されると、表示制御部１２は、奥側へ変位するダイヤル３６２の映像を表示させる。さらに、ダイヤル３６２の押し込みによって選択中のアイコンが決定されると、表示制御部１２は、メニュー画面群の階層を他の階層へ遷移させる。そして、押込操作を行う手指Ｆ及び手の平には、ダイヤル３６２が押し込まれたタイミングに合わせて、触感制御部１３によって制御された第二触覚提示器３４０により、触感刺激が与られる。その結果、操作者ＯＰは、ダイヤル３６２の押込操作に伴ったバーチャルなクリック感を感じることができる。

ここまで説明した第三実施形態でも、第一実施形態と同様の効果を奏することが可能である。その結果、操作対象物３６１の映像によって手指Ｆの状態が誘導され、操作者ＯＰは、実体の無い操作対象物３６１の映像の操作においても、操作感を確実に感じることができる。

加えて第三実施形態においても、ダイヤル３６２を掴む各手指Ｆの高感度部位ＳＲは、第一触覚提示器３３０の位置する下方へ向き得る。以上によれば、第一触覚提示器３３０は、ダイヤル３６２を掴んでいる手指Ｆの腹の部分に触感刺激を与えて、ダイヤル３６２を握っている感覚を操作者に確実に感じさせることができる。

また第三実施形態では、複数の触覚提示器３３０，３４０が互いに異なる方向から操作体に触感刺激を与え得る。故に、表示操作装置３００は、回転操作及び押込操作のそれぞれに対応したバーチャルな触感を、手指Ｆに感じさせることができる。その結果、多階層に構成されたメニュー画面群を遷移するような複雑な入力を行う操作者ＯＰに対しても、表示操作装置３００は、十分な操作感を感じさせることができる。尚、第三実施形態では、ダイヤル３６２が「ダイヤル部」に相当する。

（第四実施形態）
図１０及び図１１示す本発明の第四実施形態は、第三実施形態の変形例である。第四実施形態による表示操作装置４００は、第三実施形態の第一触覚提示器３３０及び第二触覚提示器３４０に替えて、左方触覚提示器４３０及び右方触覚提示器４４０を備えている。これら触覚提示器４３０，４４０は、空中表示領域６０の左右方向ＨＤの両側に一つずつ、互いに対向して設けられている。

左方触覚提示器４３０は、空中表示領域６０の左側に配置されている。左方触覚提示器４３０は、超音波発生面４３１を右方向に位置する空中表示領域６０へ向けた姿勢で固定されている。右方触覚提示器４４０は、空中表示領域６０の右側に配置されている。右方触覚提示器４４０は、超音波発生面４４１を左方向に位置する空中表示領域６０へ向けた姿勢で固定されている。超音波発生面４４１は、左右方向ＨＤにおいて超音波発生面４３１と対向している。各触覚提示器４３０，４４０は、二つの超音波発生面４３１，４４１の間に規定された触覚提示領域３６にある操作体に対して、互いに異なる方向から触感刺激を与えることができる。

第四実施形態の操作対象物４６１の映像には、一組のガイド表示部４６２，４６３が含まれている。各ガイド表示部４６２，４６３は、空中表示領域６０内で手等の操作体を左右方向ＨＤに移動させる操作を案内している。各ガイド表示部４６２，４６３によって案内される手の移動方向は、二つの触覚提示器４３０，４４０が並ぶ方向と同じである。各ガイド表示部４６２，４６３はそれぞれ、矢印を模った画像である。各ガイド表示部４６２，４６３は、左右方向ＨＤに並んで表示されており、且つ、互いに反対の方向を向けられている。

二つのガイド表示部のうちで左側に位置する一方（左方ガイド表示部４６２）は、左方向を指し示す矢印であり、例えば青色で表示されている。操作者ＯＰは、空中表示領域６０に差し込んだ手を左方向に動かすことにより、空調装置１２１の設定温度を下げることができる。右側に位置する他方（右方ガイド表示部４６３）は、右方向を指し示す矢印であり、例えば赤色で表示されている。操作者ＯＰは、空中表示領域６０に差し込んだ手を右方向へ動かすことにより、空調装置１２１の設定温度を上げることができる。以上のように、操作者ＯＰは、矢印状とされたガイド表示部４６２，４６３に誘導されて、空中表示領域６０内において手を左右方向ＨＤに移動させる操作を行うようになる。尚、第四実施形態では、手の平が高感度部位ＳＲとされ、手の甲が低感度部位ＤＲとされる。

空中表示領域６０を横切るような操作が入力されると、制御ユニット３１０は、設定温度の変更を指示する指令信号を空調装置１２１（図３参照）へ向けて出力する。また触感制御部１３は、左方触覚提示器４３０及び右方触覚提示器４４０を制御することにより、手の平と手の甲とに触感刺激を発生させる。以上によれば、操作者ＯＰは、バーチャルな抵抗感を感じることができる。

加えて触感制御部１３は、操作情報取得部１１にて取得する情報に基づき、手の平の向きを検知できる。触感制御部１３は、手の平が左方向を向いていた場合に、右方触覚提示器４４０により発生させている触感刺激の出力を、左方触覚提示器４３０により発生させている触感刺激の出力よりも高く設定する。その結果、高感度部位ＳＲに与えられる触感刺激よりも、低感度部位ＤＲに与えられる触感刺激が強くなるため、操作者ＯＰは、手の平と手の甲の両方に、確実に触感を感じるようになる。尚、触感制御部１３は、手の平が右方向を向いていた場合には、左方触覚提示器４３０によって発生させている触感刺激の出力を、右方触覚提示器４４０によって発生させている触感刺激の出力よりも高く設定する。

さらに触感制御部１３は、移動する操作体が各触覚提示器４３０，４４０に近づいてくる場合に、操作体が遠ざかる場合よりも強い触感刺激を発生させる。例えば、操作者ＯＰが手を左方向へ動かした場合、触感制御部１３は、左方触覚提示器４３０から出力される触感刺激を強めると共に、右方触覚提示器４４０から出力される触感刺激を弱める。以上により、操作者ＯＰは、あたかも粘性の高い流体内で手を動かしているかのような抵抗感を感じることができる。

ここまで説明した第四実施形態でも、第一実施形態と同様の効果を奏することが可能である。その結果、操作対象物４６１の映像によって手の向きが誘導され、操作者ＯＰは、少なくとも高感度部位ＳＲとしての手の平に操作感を確実に感じることができる。

加えて第四実施形態によれば、各ガイド表示部４６２，４６３の誘導により、高感度部位ＳＲとしての手の平は、左右いずれかの触覚提示器４３０，４４０を向いた状態とされ得る。その結果、左方触覚提示器４３０又は右方触覚提示器４４０は、空中表示領域６０に差し込まれた手の平に触感刺激を与えて、操作者ＯＰに抵抗感を感じさせることができる。

加えて第四実施形態では、手の平だけでなく手の甲にも触感刺激が与えられ、且つ、手の移動方向に応じて触感刺激の強弱が調整される。以上によれば、触感制御部１３は、空中表示領域６０を横切る操作をしている操作者ＯＰに対し、リアリティの高いバーチャルな抵抗感を感じさせることができる。尚、第四実施形態では、左方触覚提示器４３０及び右方触覚提示器４４０が「触覚提示器」に相当し、左右方向ＨＤが「対向方向」に相当する。

（第五実施形態）
図１２〜図１５示す本発明の第五実施形態は、第三実施形態の別の変形例である。第五実施形態による表示操作装置５００の触感制御部５１３は、触覚提示器５３０及び移動機構５８０と電気的に接続されている。触覚提示器５３０は、第一実施形態と実質的に同一の構成である。触覚提示器５３０は、空中表示領域６０に超音波発生面３１を向けた姿勢を維持しつつ、空中表示領域６０の周囲を移動可能とされている。

移動機構５８０は、空中表示領域６０に対する触覚提示器５３０の相対位置を変化させる機構である。移動機構５８０は、空中表示領域６０の下方において触覚提示器５３０を移動させることができる。移動機構５８０による触覚提示器５３０の可動範囲は、例えば空中表示領域６０の左下から右下までの間とされている。ダイヤル３６２の回転操作によって手の姿勢が変化した場合（図１３参照）、移動機構５８０は、高感度部位ＳＲに触感刺激を与え易い位置へ、触覚提示器５３０を移動させる。例えば、ダイヤル３６２を時計回りに回転させる操作が入力された場合、触覚提示器５３０は、空中表示領域６０の周囲を時計回りに公転する。

触感制御部５１３は、触覚提示器５３０による触感刺激の発生を制御すると共に、移動機構５８０による触覚提示器５３０の移動を制御する。触感制御部５１３は、触覚制御処理の実施により、操作情報取得部１１から取得する情報に基づき、操作対象物３６１の映像に手指Ｆが触れているか否かを判定する（図１４ Ｓ５０１〜Ｓ５０３参照）。その結果、手指Ｆが操作対象物３６１に触れていると肯定判定した場合に、触感制御部５１３は、姿勢特定部２２にて特定された手指Ｆの姿勢に基づき、手指Ｆの高感度部位ＳＲに触感刺激を与え易い位置まで触覚提示器５３０を移動させる（図１４ Ｓ５０４参照）。そうしたうえで、触感制御部５１３は、手指Ｆの高感度部位ＳＲに非接触で触感刺激を与える（図１４ Ｓ５０５参照）。

ここまで説明した第五実施形態でも、第三実施形態と同様の効果を奏し、操作者ＯＰは、実体の無いダイヤル３６２の操作でも、操作感を確実に感じることができる。加えて第五実施形態では、ダイヤル３６２を回転させる操作の過程において手指Ｆの姿勢が変化しても、移動機構５８０による位置調整により、触覚提示器５３０は、高感度部位ＳＲに触感刺激を与え易い状態を維持し得る。以上によれば、ダイヤル３６２の回転操作において、操作者ＯＰは、ダイヤル３６２を掴んでいるバーチャルな感覚を継続して感じ続けることができる。

（第六実施形態）
図１６〜図２０示す本発明の第六実施形態は、第三実施形態のさらに別の変形例である。表示操作装置６００の触感制御部６１３は、空中表示領域６０に対して互いに異なる位置に設けられた複数（三つ）の触覚提示器６３０，６４０ａ，６４０ｂと電気的に接続されている。下方触覚提示器６３０は、第一実施形態の触覚提示器３０（図６参照）に相当し、空中表示領域６０の下方から触感刺激を発生させる。左方触覚提示器６４０ａは、第四実施形態の左方触覚提示器４３０（図１０参照）に相当し、空中表示領域６０の左方から触感刺激を発生させる。右方触覚提示器６４０ｂは、第四実施形態の右方触覚提示器４４０（図１０参照）に相当し、空中表示領域６０の右方から触感刺激を発生させる。

触感制御部６１３は、触覚制御処理の実施により、操作情報取得部１１から取得する情報に基づき、操作対象物３６１の映像に手指Ｆが触れているか否かを判定する（図１９ Ｓ６０１〜Ｓ６０３参照）。その結果、手指Ｆが操作対象物３６１に触れていると肯定判定した場合、触感制御部６１３は、作動対象とする触覚提示器を選択する（図１９ Ｓ６０４参照）。具体的に、触感制御部６１３は、姿勢特定部２２により特定された手指Ｆの姿勢に基づき、複数の触覚提示器６３０，６４０ａ，６４０ｂうちで、高感度部位ＳＲに触感刺激を与え易い位置にある少なくとも一つを、作動対象とする触覚提示器として決定する。そして、作動対象とされた触覚提示器により、手指Ｆの高感度部位ＳＲに非接触で触感刺激が与えられる（図１９ Ｓ６０５参照）。

以上によれば、ダイヤル３６２を上方から掴んだ初期の状態では、主に下方触覚提示器６３０によって手指Ｆに触感刺激が与えられる（図１６参照）。そして、ダイヤル３６２を時計回りに回転させる操作が入力された場合には、主に左方触覚提示器６４０ａによって手指Ｆに触感刺激が与えられる（図１７参照）。一方で、ダイヤル３６２を反時計回りに回転させる操作が入力された場合には、主に右方触覚提示器６４０ｂによって手指Ｆに触感刺激が与えられる（図１８参照）。

ここまで説明した第六実施形態でも、第三実施形態と同様の効果を奏し、操作者ＯＰは、実体の無いダイヤル３６２の操作でも、操作感を確実に感じることができる。加えて第六実施形態では、ダイヤル３６２を回転させる操作の過程において手指Ｆの姿勢が変化しても、触感制御部６１３による複数の触覚提示器の協調制御により、高感度部位ＳＲには触感刺激が与えられ続ける。以上によれば、ダイヤル３６２の回転操作において、操作者ＯＰは、ダイヤル３６２を掴んでいるバーチャルな感覚を継続して感じ続けることができる。

（他の実施形態）
以上、本発明による複数の実施形態について説明したが、本発明は、上記実施形態に限定して解釈されるものではなく、本発明の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。

上記第一実施形態の変形例１では、触覚提示器３０（図６参照）に替えて、右方触覚提示器（図１０参照）が設けられている。こうした構成では、スライダ溝部によって明示されるツマミ部の移動可能な方向は、右方触覚提示器の超音波発生面に沿った上下方向ＶＤに設定される。

上記第三実施形態の変形例２では、第二触覚提示器３４０（図８参照）が省略されている。このような変形例２でも、第一触覚提示器３３０（図８参照）に相当する構成が、空中表示領域６０の下方から手指の高感度部位に触感刺激を与えて、ダイヤルを掴んでいるバーチャルな感覚を操作者に感じさせ続けることができる。

以上のように、触覚提示器の数及び配置は、車両において表示操作装置に対して確保可能なスペースに応じて適宜変更可能である。そして、操作対象物の映像の表示形態は、空中表示領域に対する触覚提示器の相対位置に対応させて、手指等の高感度部位が触覚提示器を向くようなアフォーダンスの絵図となるように、適宜変更可能である。

上記実施形態における各触覚提示器は、振動子を平板状に配列することによって超音波発生面を形成していた。しかし、振動子の配列される超音波発生面は、湾曲形状とされていてもよい。さらに、手指等の操作体に触感刺激を与えることができれば、触覚提示器は、超音波を用いた構成でなくてもよい。例えば、収束させた気流を操作体へ向けて射出することにより、操作体に触感刺激を与える装置が触覚提示器として採用可能である。

上記実施形態における操作体特定器は、赤外線カメラの撮像画像を解析することにより、手指等の位置及び姿勢を検出していた。しかし、空中にある操作体の状態を検出可能な種々の構成が、操作体特定器として採用可能である。例えば、ステレオカメラ、ＴＯＦ（Time Of Flight）方式の距離画像カメラ、高感度な静電容量センサ等が、操作体特定器をして採用可能である。

上記実施形態における空間表示器は、リフレクタ５２（図２参照）によって空間に結像させた映像を操作者に視認させる構成であった。しかし、空間に映像を表示することが可能なスクリーンレスの空中ディスプレイであれば、空間表示器は、リフレクタ５２を用いない構成であってもよい。

上記実施形態における空中表示領域の規定位置、形状、大きさ、及び姿勢等は、適宜変更可能である。例えば、空中表示領域は、縦長の矩形形状及び横長の楕円形状等であってもよい。また、空中表示領域の上下方向ＶＤ及び左右方向ＨＤは、静止状態にある車両の鉛直方向及び幅方向に対して傾斜していてもよい。例えば、空中表示領域の正面を運転席のヘッドレストへ向ける配置により、運転席に座る操作者に空中表示領域に表示されている映像が見易くされてもよい。

上記第一実施形態による表示操作装置では、操作者は、空中表示領域に表示される映像を透過して、奥側を視認可能であった。故に、表示操作装置は、運転者の目線に近い高さに空中表示領域を位置させて、運転席に座る操作者の視線移動の負荷を軽減させることができた。一方、第三実施形態の表示操作装置では、第二触覚提示器が空中表示領域の奥側に位置しているため、操作者は、空中表示領域の向こう側を視認し難くなる。故に、第三実施形態のような表示操作装置は、運転席に座る操作者の手元近傍、例えばセンターコンソールの直上に、空中表示領域を位置させるのが望ましい。

上記実施形態の表示操作装置は、空調装置及びオーディオ装置等の操作を受け付けるインターフェースであった。しかし、表示操作装置への入力によって操作可能な車載機器は、上述の装置に限定されない。また、各車載機器を操作する際に表示されるメニュー画面は、上記実施形態のように空中表示領域に表示されてもよく、又はコンビネーションメータの液晶画面のような他の表示領域に表示されてもよい。

上記第一実施形態等では、操作者は、表示されたツマミ部を操作するために、手指を触覚提示領域に差し込んでいた。故に、手指の腹から側面の範囲が高感度部位とされ、触覚提示器へ向くよう誘導されていた。一方、第四実施形態では、操作者は、手の全体を触覚提示領域に差し込んでいた。故に、手の平が高感度部位とされ、触覚提示器へ向くように誘導されていた。以上のように、操作者による入力が想定される操作方法に合わせて、高感度部位とされる範囲は、適宜設定可能である。但し、高感度部位とされる範囲には、触覚提示領域にある他の範囲よりも、生体触覚センサとして機能する受容器が高密度で分布していることが望ましい。

上記第一実施形態等では、触覚提示器及び空間表示器のそれぞれに制御部が設けられていた。また上記第三実施形態等では、触覚提示器及び空間表示器を制御する制御部は、制御ユニットに纏めて設けられていた。このような各制御部によって提供されていた機能は、上述のものとは異なるハードウェア及びソフトウェア、或いはこれらの組み合わせによって提供可能である。例えば、空間表示器に設けられた制御回路のプロセッサが、触覚提示器の制御、又は画像解析の解析による操作体の位置及び姿勢の特定を行うことも可能である。

上記実施形態では、車両用の表示操作装置に本発明を適用した例を説明したが、本発明の適用対象は、車両に搭載される表示操作装置に限定されない。例えば、本発明を適用した表示装置は、手指等が有体物に触れないため、特に衛生管理の厳しい医療機器のインターフェースに好適である。さらに、現金自動預け払い機等の不特定多数の操作者によって操作が入力される機器のインターフェースにも、本発明を適用した表示操作装置は好適である。

１３，３２，５１３，６１３ 触感制御部、２１ 位置特定部（位置特定器）、２２ 姿勢特定部（姿勢特定器）、３０，５３０ 触覚提示器、３３０ 第一触覚提示器（触覚提示器）、３４０ 第二触覚提示器、４３０，６４０ａ 左方触覚提示器（触覚提示器）、４４０，６４０ｂ 右方触覚提示器（触覚提示器）、６３０ 下方触覚提示器（触覚提示器）、３１，４３１，４４１ 超音波発生面（発生面）、５０ 空間表示器、６０ 空中表示領域、６１，２６１，３６１，４６１ 操作対象物、６２ ツマミ部（接触部）、２６２ 押釦（押釦部）、３６２ ダイヤル（ダイヤル部）、４６２，４６３ ガイド表示部、１００，３００，４００，５００，６００ 表示操作装置、５８０ 移動機構、ＯＰ 操作者、Ｆ 手指（操作体）、ＳＲ 高感度部位、ＤＲ 低感度部位、ＨＤ 左右方向（対向方向）

Claims (11)

1. 空間に表示された操作対象物（６１，２６１，３６１，４６１）の映像を操作者（ＯＰ）に操作させる表示操作装置であって、
   空間に規定される仮想の空中表示領域（６０）に、前記操作対象物の映像を表示する空間表示器（５０）と、
   前記空中表示領域にある操作体（Ｆ）の位置を特定する位置特定器（２１）と、
   前記位置特定器にて位置を特定された前記操作体が前記操作対象物の映像に触れると、この操作体に非接触で触感刺激を与える触覚提示器（３０，３３０，４３０，４４０，５３０，６３０）と、を備え、
   前記操作対象物の映像は、前記操作者の一部である前記操作体において触感刺激への感度の高い高感度部位（ＳＲ）が、前記触覚提示器による触感刺激を受け易い方向を向くように、前記操作体の状態を誘導する表示態様であることを特徴とする表示操作装置。
2. 前記触覚提示器は、前記空中表示領域を向く姿勢に設けられて前記操作体に触感刺激を発生させる発生面（３１）を有し、
   前記空間表示器は、前記発生面に沿って移動可能な接触部（６２）を含む前記操作対象物の映像を表示することを特徴とする請求項１に記載の表示操作装置。
3. 前記触覚提示器は、前記接触部を移動させる操作が行われた場合に、当該接触部を挟んでいる前記操作体の二つの部位のうちで移動方向前側にある部位よりも移動方向後側にある部位に対して、強い触感刺激を発生させることを特徴とする請求項２に記載の表示操作装置。
4. 前記空間表示器は、前記触覚提示器へ向けてのプッシュ操作が可能な押釦部（２６２）を含む前記操作対象物の映像を表示することを特徴とする請求項１に記載の表示操作装置。
5. 前記触覚提示器（３３０，５３０，６３０）は、前記空中表示領域の下方に配置され、
   前記空間表示器は、面状に規定された前記空中表示領域に対して仮想の回転軸を交差させた姿勢の回転可能なダイヤル部（３６２）、を含む前記操作対象物の映像を表示することを特徴とする請求項１に記載の表示操作装置。
6. 前記空中表示領域にある前記操作体の姿勢を特定する姿勢特定器（２２）と、
   前記姿勢特定器により特定された前記操作体の姿勢に基づき、前記高感度部位に触感刺激を与え易い位置へ前記触覚提示器（５３０）を移動させる移動機構（５８０）と、をさらに備えることを特徴とする請求項５に記載の表示操作装置。
7. 多階層に構成されたメニュー画面群を操作可能な表示操作装置であって、
   前記触覚提示器としての第一触覚提示器（３３０）とは別に、前記空中表示領域の奥側に配置される第二触覚提示器（３４０）をさらに備え、
   前記空間表示器は、前記回転軸に沿って奥側へ押し込む操作により、前記メニュー画面群の階層を遷移させる前記ダイヤル部を表示し、
   前記第二触覚提示器は、前記操作体によって前記ダイヤル部を奥側へ押し込む操作が行われた場合に、前記操作体に触感刺激を発生させることを特徴とする請求項５又は６に記載の表示操作装置。
8. 前記空中表示領域に対して互いに異なる位置に設けられる複数の前記触覚提示器と、
   前記空中表示領域にある前記操作体の姿勢を特定する姿勢特定器（２２）と、
   前記姿勢特定器により特定された前記操作体の姿勢に基づき、複数の前記触覚提示器のうちで、前記高感度部位に触感刺激を与え易い位置にある少なくとも一つによって前記操作体に触感刺激が与えられるよう、各前記触覚提示器を制御する触感制御部（６１３）と、を備えることを特徴とする請求項５に記載の表示操作装置。
9. 前記触覚提示器は、前記空中表示領域の両側に一つずつ互いに対向して設けられ、
   前記空間表示器は、ガイド表示部（４６２，４６３）を含む前記操作対象物の映像を表示し、
   前記ガイド表示部は、二つの前記触覚提示器が並ぶ対向方向（ＨＤ）に沿って、前記操作体を前記空中表示領域内で移動させる操作を案内する表示態様であることを特徴とする請求項１に記載の表示操作装置。
10. 二つの前記触覚提示器のうちで、前記高感度部位よりも感度の低い低感度部位（ＤＲ）に触感刺激を与える一方は、前記高感度部位に触感刺激を与える他方よりも、強い触感刺激を発生させることを特徴とする請求項９に記載の表示操作装置。
11. 前記触覚提示器は、移動する前記操作体が当該触覚提示器に近づいてくる場合に、当該操作体が遠ざかる場合よりも強い触感刺激を発生させることを特徴とする請求項９又は１０に記載の表示操作装置。

Images