JP2013254398A - 携帯端末セット、携帯端末用ジャケット、携帯端末、情報処理システム、およびプログラム - Google Patents

携帯端末セット、携帯端末用ジャケット、携帯端末、情報処理システム、およびプログラム Download PDF

Info

Publication number
JP2013254398A
JP2013254398A JP2012130326A JP2012130326A JP2013254398A JP 2013254398 A JP2013254398 A JP 2013254398A JP 2012130326 A JP2012130326 A JP 2012130326A JP 2012130326 A JP2012130326 A JP 2012130326A JP 2013254398 A JP2013254398 A JP 2013254398A
Authority
JP
Japan
Prior art keywords
softness
image
user
illusionary tactile
mobile terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012130326A
Other languages
English (en)
Other versions
JP5988141B2 (ja
Inventor
Takashi Kimura
尭 木村
Takuya Nojima
琢也 野嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electro Communications NUC
Original Assignee
University of Electro Communications NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electro Communications NUC filed Critical University of Electro Communications NUC
Priority to JP2012130326A priority Critical patent/JP5988141B2/ja
Publication of JP2013254398A publication Critical patent/JP2013254398A/ja
Application granted granted Critical
Publication of JP5988141B2 publication Critical patent/JP5988141B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】錯触覚現象を利用して、対象物の柔らかさを認識可能にする新たなユーザインタフェースを実現することができるようにする。
【解決手段】圧力センサは、ユーザが携帯端末を把持したときの圧力を検知する。携帯端末は、柔らかさの程度を表す柔らかさ情報と、圧力センサが示す圧力値とに応じて、ユーザに柔らかさを認識させる錯触覚画像の形態的属性を決定して錯触覚画像の表示制御を行う。本発明は、例えば、携帯端末のユーザインタフェースに適用できる。
【選択図】図１

Description

本発明は、携帯端末セット、携帯端末用ジャケット、携帯端末、情報処理システム、およびプログラムに関し、特に、錯触覚現象を利用して、対象物の柔らかさを認識可能にする新たなユーザインタフェースを実現することができるようにする携帯端末セット、携帯端末用ジャケット、携帯端末、情報処理システム、およびプログラムに関する。
コンピュータ等のユーザインタフェースとして触覚を用いたものが知られている。触覚を用いたユーザインタフェースの代表的なものとして、ディスプレイの表示面をタッチすることで情報の入力が可能なタッチパネルを用いたタッチ入力がある。
また、画面上へのタッチ入力の他に、携帯端末の背面へのタッチ入力が研究・開発されている（例えば、非特許文献１，２参照）。また、携帯端末の背面を出力インタフェースに利用することも提案されている（例えば、非特許文献３，４参照）。
さらに、ユーザの握力を検出し、検出された握力に応じて画面上のオブジェクトを操作することが提案されている。例えば、ポインティングデバイスに設けた圧力センサで、デバイスを握るユーザの握力を検出し、検出された握力に応じてディスプレイに描画される線の太さを変化させる入力インタフェースが提案されている（例えば、特許文献１参照）。
また、自由に変形可能なコンピュータ的デバイスにおいて、デバイス表面に圧縮や張力歪みを検知するセンサアレイを設け、デバイスを圧縮する操作を検知した場合に、デバイスの画面に表示されている文書をアイコン化（小型化）する動作を行う入力インタフェースも提案されている（例えば、特許文献２参照）。
さらに、握力を用いて気持ちを表現し、その気持ちを通信するシステムも提案されている（例えば、特許文献３参照）。そのシステムでは、具体的には、送信側は、専用の入力デバイスを用いてユーザの握力の大きさを測定し、その測定値に基づいてユーザの入力したい気持ちの種類を判別して、判別した気持ちの種類を相手方に伝送する。受信側は、送信されてきた気持ちの種類に応じた表情の顔画像を出力する。
ところで、触覚による入力操作に対する視覚的なフィードバックを制御することにより、触覚に基づく操作感の錯覚を引き起こす視覚誘導性錯触覚という現象が知られているが、上述した非特許文献１乃至４と特許文献１から３に記載の入力インタフェースは、錯触覚現象を利用した入力インタフェースではない。
錯触覚現象を利用した入力インタフェースとしては、例えば、非特許文献５や特許文献４に記載の技術がある。
非特許文献５では、ピストン形状の入力装置を用いてディスプレイ画面上のピストンを操作し、画面上においてピストンの先にある物体を変形させるアプリケーションが提案されている。このアプリケーションでは、ピストン操作によって、画面上の物体の変形を大きくするほど、ユーザはその物体が柔らかいと感じるようになり、アプリケーションは、画面上の物体の変形という視覚フィードバックを制御することにより、触覚に基づく柔らかさの感覚の錯覚を引き起こしている。
また、特許文献４では、タッチパネルの操作面に力センサを配置して指の押圧力を検出できるようにし、操作面上での指の動きと押圧力とに応じて、背景のスクロール画像のスクロール速度を変化させることによって、指の動きを軽く感じさせたり、重く感じさせたりするユーザインタフェースが提案されている。これにより、視覚情報に基づいて、実際には発生していない現象を、あたかも実際に発生しているかのごとくに感じることが可能になる。
特開平１−０９５３１９号公報 特開平１１−１４３６０６号公報 特開２０００−０６６８０７号公報 国際公開第２００８／１１１２４５号
ITmedia +D モバイル，CEATEC JAPAN 2010：端末の裏面に触れて文字入力――KDDIの「背面入力インタフェース」，インターネット＜URL:http://plusd.itmedia.co.jp/mobile/articles/1010/07/news081.html＞ ソニー株式会社，PlayStation(R) Vita プレイステーション(R) オフィシャルサイト，インターネット＜URL:http://www.jp.playstation.com/psvita/special/＞ 梶本研究室ホームページ，研究内容「掌タッチパネル(A Touch Screen in the Palm)」，S. Fukushima, H. Kajimoto: Palm Touch Panel:Providing Touch Sensation Through the Device， In ACM International Conference on Interactive Tabletops and Surfaces, ITS ’11, Page 79-82, Kobe, Japan, , November 13-16, 2011.，インターネット＜URL:http://kaji-lab.jp/ja/index.php?research＞ Masahiro Furukawa，News 2. KUSUGURI was appeared in SIGGRAPH ASIA 2011. KUSUGURI: Visual Tactile Integration for Tickling [Web][Project Page] (Dec. 4, 2011)，Masahiro Furukawa, Hiroyuki Kajimoto, Susumu Tachi, KUSUGURI: a shared tactile interface for bidirectional tickling,Augmented Human 2012, March 9-10, 2012, France Megeve，インターネット＜URL:http://masahirofurukawa.jp/＞ Anatole Lecuyer, Simulating Haptic Feedback Using Vision: A Survey of Research and Applications of Pseudo-Haptic Feedback, Presence, Vol.18, No.1, pp.39-53, 2009
しかしながら、非特許文献５には、触覚入力装置を操作する手元と視覚フィードバックが行われる画面とが離れた状態において、柔らかさについての視覚誘導性の錯触覚の誘発が促進される旨が記載されている。逆に言えば、非特許文献５に記載の技術では、触覚入力と視覚フィードバックが同じ筐体で行われる場合には、この錯触覚が促進されない。すなわち、触覚入力を行う手元が見える状態で視覚フィードバックを受けるという条件下での錯触覚現象の発現は確認されていない。
また、特許文献４に記載の技術は、タッチパネルの画面上の押圧力を用いて錯触覚現象を引き起こすものであるが、タッチパネルの画面上の押圧以外の触覚入力には対応していない。
本発明は、このような状況に鑑みてなされたものであり、錯触覚現象を利用して、対象物の柔らかさを認識可能にする新たなユーザインタフェースを実現することができるようにするものである。
本発明者らは、握力に基づく触覚入力と視覚フィードバックの提示の両方が同一筐体で実装された携帯端末を用いることによって、触覚入力が行われる手元が見える状態で、握力感の錯触覚が発現することを見出した。本発明は、この新たに発見された錯触覚現象を利用したものである。
本発明の第１の側面の携帯端末セットは、
ユーザが把持可能な携帯端末と前記携帯端末に装着されるジャケットとからなる携帯端末セットであって、
前記ジャケットは、
前記ユーザが前記携帯端末を把持したときの圧力を検知し、その結果である圧力値を出力する圧力センサを備え、
前記携帯端末は、
柔らかさの程度を表す柔らかさ情報と、前記圧力センサが示す圧力値とに応じて、前記ユーザに柔らかさを認識させる錯触覚画像の形態的属性を決定して前記錯触覚画像の表示制御を行う画像表示制御部と、
前記柔らかさ情報を変更して、複数の前記柔らかさ情報を、前記画像表示制御部に設定する柔らかさ情報制御部と、
前記画像表示制御部により表示制御された前記錯触覚画像を表示する表示部と
を備える。
本発明の第２の側面の携帯端末は、
ユーザが把持可能な携帯端末であって、
前記ユーザが前記携帯端末を把持したときの圧力を検知する圧力センサと、
柔らかさの程度を表す柔らかさ情報と、前記圧力センサが示す圧力値とに応じて、前記ユーザに柔らかさを認識させる錯触覚画像の形態的属性を決定して前記錯触覚画像の表示制御を行う画像表示制御部と、
前記柔らかさ情報を変更して、複数の前記柔らかさ情報を、前記画像表示制御部に設定する柔らかさ情報制御部と、
前記画像表示制御部により表示制御された前記錯触覚画像を表示する表示部と
を備える。
本発明の第３の側面のプログラムは、
携帯端末に、
柔らかさの程度を表す柔らかさ情報を変更して、複数の前記柔らかさ情報を設定し、
設定された前記柔らかさ情報と、ユーザが前記携帯端末を把持したとき圧力センサが示す圧力値とに応じて、前記ユーザに柔らかさを認識させる錯触覚画像の形態的属性を決定して前記錯触覚画像の表示制御を行う
処理を実行させるものである。
本発明の第４の側面の情報処理システムは、
ユーザが把持可能な携帯端末と、サーバとからなる情報処理システムであって、
前記携帯端末は、
前記ユーザが前記携帯端末を把持したときの圧力を検知する圧力センサが示す圧力値と、柔らかさの程度を表す柔らかさ情報とに応じて、前記ユーザに柔らかさを認識させる錯触覚画像の形態的属性を決定して前記錯触覚画像の表示制御を行う画像表示制御部と、
前記柔らかさ情報を変更して、複数の前記柔らかさ情報を、前記画像表示制御部に設定する柔らかさ情報制御部と、
前記画像表示制御部により表示制御された前記錯触覚画像を表示する表示部と
を備え、
前記サーバは、
複数の前記柔らかさ情報を記憶する記憶部と、
前記柔らかさ情報を前記携帯端末に送信する送信部と
を備える。
本発明の第１乃至第４の側面においては、携帯端末において、柔らかさの程度を表す柔らかさ情報が変更されて、複数の前記柔らかさ情報が設定され、設定された前記柔らかさ情報と、ユーザが前記携帯端末を把持したとき圧力センサが示す圧力値とに応じて、前記ユーザに柔らかさを認識させる錯触覚画像の形態的属性が決定されて前記錯触覚画像の表示制御が行われる。
本発明の第１乃至第４の側面によれば、錯触覚現象を利用して、対象物の柔らかさを認識可能にする新たなユーザインタフェースを実現することができる。
本発明を適用した携帯端末で実現される機能的構成例を示すブロック図である。 携帯端末が実現するユーザインタフェースについて説明する図である。 携帯端末による視覚フィードバック処理を説明するフローチャートである。 携帯端末が圧力センサを有していない場合の構成例を示す図である。 携帯端末が圧力センサを有していない場合の構成例を示すブロック図である。 携帯端末のハードウェア構成例を示すブロック図である。 圧縮表現のその他の例を示す図である。 視覚フィードバック処理を適用した情報処理システムの構成例を示す図である。 商品データベースの例を示す図である。 情報処理システムの商品確認処理を説明するフローチャートである。 商品一覧画面の例を示す図である。 柔らかさ確認画面の例を示す図である。 柔らかさ条件選択画面の例を示す図である。
＜本発明を適用した実施の形態＞
［携帯端末の構成例］
図１は、本発明を適用した携帯端末で実現される機能的構成例を示すブロック図である。
図１の携帯端末１は、圧力センサ１１、視覚フィードバック決定部１２、柔らかさ定数制御部１３、および表示部１４を有する。携帯端末１は、ユーザが携帯端末１を握ることで加えた圧力を検知し、検知した圧力値に応じて表示部１４に表示させた画像を変化させる。すなわち、携帯端末１は、ユーザの握力に応じたフィードバックをユーザの視覚に対して与えることで、ユーザに柔らかさを認識させるユーザインタフェースを有する。
［ユーザインタフェースの説明］
図２を参照して、携帯端末１が実現するユーザインタフェースについて詳しく説明する。
図２Aは、ユーザが携帯端末１を把持している状態を示す図である。
ユーザは、図２Aに示すように、携帯端末１の側面を押さえるように携帯端末１を把持している。携帯端末１の筐体の側面には、圧力センサ１１（不図示）が埋め込まれている。携帯端末１の表示部１４には、視覚によるフィードバックをユーザに与えるための錯触覚画像Qが表示されている。本実施の形態では、錯触覚画像Qは、矩形（四角形）の画像とされている。
ユーザが、図２Bに示すように、携帯端末１の側面を把持する力を強めると、その圧力の変化が圧力センサ１１で検知され、携帯端末１（の側面の圧力センサ１１）に加えられた圧力に応じて、表示部１４に表示されている錯触覚画像Qが変化する。具体的には、携帯端末１に加えられる圧力が大きいほど、矩形の錯触覚画像Qの短辺（横の辺）の長さが短くなるように、錯触覚画像Qが圧縮表示される。
図１に戻って、携帯端末１の各構成について説明する。
圧力センサ１１は、携帯端末１の筐体の側面に設けられ、ユーザ（の手）によって加えられた圧力を検知（検出）し、その結果得られる圧力値を、視覚フィードバック決定部１２に供給する。
視覚フィードバック決定部１２は、圧力センサ１１から供給される圧力値と、柔らかさ定数制御部１３から供給される柔らかさ定数とに応じて、矩形の錯触覚画像Qの形態的属性を決定する。具体的には、視覚フィードバック決定部１２は、圧力値と、柔らかさ定数とを用いた式（１）により、矩形の錯触覚画像Qの短辺の長さを決定する。
X＝X0−PressureValue×C ・・・・・・・（１）
ただし、X0＜PressureValue×C のとき、X=0 ・・・・・・・・（２）
ここで、X0およびXは、矩形の錯触覚画像Qの短辺の真ん中の中心線を基準として、基準から短辺の端までの長さに相当し、表示部１４に表示される錯触覚画像Qの短辺の１／２の値となる。X0は、初期値を表し、Xは、圧力値に応じて変形制御した制御後の値を表す。PressureValueは、圧力センサ１１から供給される圧力値であり、圧力センサ１１が複数の圧力センサで構成される場合には、複数の圧力センサ全体または一部の合計、平均、メジアンなどの統計値、または複数の圧力センサのなかから選択した一部の圧力値などで計算される。Cは、柔らかさの程度を表す柔らかさ情報としての柔らかさ定数である。
式（１）は、力F（=PressureValue）、バネ係数Kで表したときのバネモデルの一般式F=K×（X0-X)を変形したものに相当し、柔らかさ定数Cは、バネ係数Kの逆数（C=1/K）に相当する。
式（１）によれば、図２を参照して説明したように、ユーザが携帯端末１を握る力（握力）が大きいほど、表示部１４に表示される錯触覚画像Qの短辺の長さが短くなる。X／X0は、錯触覚画像Qの短辺の圧縮率に相当し、圧力値PressureValueが大きいほど、錯触覚画像Qの圧縮率は大きくなるように、錯触覚画像Qが表示制御される。
視覚フィードバック決定部１２は、以上のようにして矩形の錯触覚画像Qの短辺の長さXを決定し、その短辺の長さXを有する錯触覚画像Qを表示部１４に表示させる。
柔らかさ定数制御部１３は、ユーザによる操作や外部プログラム等からの柔らかさ定数Cの変更を受け付け、受け付けた柔らかさ定数Cを視覚フィードバック決定部１２に供給する。
表示部１４は、視覚フィードバック決定部１２の表示制御にしたがい、錯触覚画像Qを表示する。
［視覚フィードバック処理の処理フロー］
図３のフローチャートを参照して、携帯端末１による視覚フィードバック処理について説明する。
初めに、ステップＳ１において、柔らかさ定数制御部１３は、ユーザによる操作や外部プログラム等から、所定の柔らかさ定数Cを受け付け、受け付けた柔らかさ定数Cを視覚フィードバック決定部１２に供給する。
ステップＳ２において、圧力センサ１１は、ユーザ（の手）によって加えられた圧力を検知し、検知した圧力値PressureValueを、視覚フィードバック決定部１２に供給する。
ステップＳ３において、視覚フィードバック決定部１２は、圧力センサ１１から供給された圧力値PressureValueと、柔らかさ定数制御部１３から供給された柔らかさ定数Cとを用いて、式（１）により、矩形の錯触覚画像Qの短辺の長さXを決定する。
ステップＳ４において、視覚フィードバック決定部１２は、決定した短辺の長さXを有する錯触覚画像Qを表示部１４に表示させる。表示部１４は、視覚フィードバック決定部１２の表示制御にしたがい、短辺の長さXの錯触覚画像Qを表示する。
ステップＳ５において、柔らかさ定数Cが変更されたか否かが、柔らかさ定数制御部１３により判定される。
ステップＳ５で、柔らかさ定数Cが変更されたと判定された場合、処理はステップＳ１に戻り、上述したステップＳ１ないしＳ５の処理が繰り返される。これにより、変更後の柔らかさ定数Cを用いて、検知された圧力値PressureValueに応じた短辺の長さXの錯触覚画像Qの表示制御が実行される。
一方、ステップＳ５で、柔らかさ定数Cが変更されていないと判定された場合、処理はステップＳ６に進み、処理を終了するか否かが、視覚フィードバック決定部１２により判定される。
ステップＳ６で、処理を終了しないと判定された場合、処理はステップＳ２に戻り、上述したステップＳ２ないしＳ６の処理が繰り返される。したがって、処理を終了しないと判定された場合には、上述したステップＳ２ないしＳ６の処理が所定の時間間隔で実行される。
一方、ステップＳ６で、処理を終了すると判定された場合、図３の視覚フィードバック処理が終了する。
以上のように、視覚フィードバック処理によれば、携帯端末１は、ユーザが携帯端末１に対して加えた圧力を検知し、検知した圧力値PressureValueに応じて表示部１４に表示させている錯触覚画像Qを変化させる。このとき、柔らかさ定数Cの値の違いにより、ユーザは、表示部１４に表示された錯触覚画像Qの柔らかさが変化したかのように、押圧力（握力）についての錯触覚が視覚のフィードバックによって引き起こされる。例えば、ユーザがある強さで携帯端末１を握った後、力を緩めるという動作を繰り返す場合、柔らかさ定数Cの値を小さくすると、ユーザが握ったときの錯触覚画像Qの圧縮度合が小さくなるので、ユーザは、錯触覚画像Qが相対的に硬くなったと錯覚する。逆に、柔らかさ定数Cの値を大きくすると、ユーザが握ったときの錯触覚画像Qの圧縮度合が大きくなるので、ユーザは、錯触覚画像Qが相対的に柔らかくなったと錯覚する。このように、柔らかさ定数Cの値を変化させることで、所定の対象物体の柔らかさを認識可能にする新たなユーザインタフェースを実現することができる。
携帯端末１の視覚フィードバック処理（視覚フィードバック制御）では、あくまでも握力と視覚フィードバックによる錯覚を利用するので、ユーザの手に対して直接的な触力覚フィードバックを行うための構成が不要となり、機器を小型化することができる。したがって、携帯端末のような小型の機器に一体的に実装することが可能になる。
［携帯端末が圧力センサを有していない場合の構成例］
上述した例では、携帯端末１が圧力センサ１１を備えるものとして説明したが、携帯端末１が圧力センサ１１を備えていない場合も考えられる。そのような場合には、図４に示すような構成を採用することができる。
すなわち、図４に示されるように、圧力センサ１１を備えていない携帯端末２１に装着可能なジャケット（カバーケース）２２が用意される。ジャケット２２には、携帯端末２１に装着された状態において携帯端末２１の側面となる部分に、圧力センサ１１が埋設されている。
図５は、図４に示した構成のブロック図を示している。図５において、図１と対応する部分には同一の符号を付してあり、その説明は省略する。
携帯端末２１は、視覚フィードバック決定部１２、柔らかさ定数制御部１３、および表示部１４を有する。ジャケット２２は、圧力センサ１１を有する。
ジャケット２２の圧力センサ１１と携帯端末２１の視覚フィードバック決定部１２とは、例えば、USB（Universal Serial Bus）により接続され、圧力センサ１１で検知された圧力値PressureValueがシリアル通信により、視覚フィードバック決定部１２に供給される。圧力センサ１１と視覚フィードバック決定部１２とのデータの授受は、その他の通信方法、例えば、Bluetooth(登録商標)やNFC (Near Field Communication) などの無線通信、圧力値PressureValueのデータを、マイク端子を介して音声信号として入力する方法、撮像部を介して光点滅を用いたビット情報として入力する方法などでも実現可能である。
［携帯端末２１のハードウェア構成ブロック図］
図６は、携帯端末２１のハードウェア構成例を示すブロック図である。
図６において、CPU（Central Processing Unit）３１は、各種の処理を実行する演算処理部であり、OS(Operating System)などの基本プログラムや、上述した視覚フィードバック決定部１２と柔らかさ定数制御部１３に対応するプログラムなどを、必要に応じて実行する。CPU３１は、バス３５を介してROM（Read Only Memory）３２、RAM（Random Access Memory）３３、およびNVRAM（Non Volatile RAM）３４と相互に接続される。このバス３５にはまた、入出力インタフェース３６も接続され、入出力インタフェース３６には、記憶部３７およびドライブ３８が接続される。
ROM３２には、OSなどの基本プログラムやデータが予め格納される。RAM３３およびNVRAM３４には、ROM３２や記憶部３７に格納されているアプリケーションプログラムやデータがロードされる。RAM３３およびNVRAM３４にはまた、CPU３１が各種の処理を実行する上において必要なデータなども適宜記憶される。
ドライブ３８は、必要に応じて装着される、半導体メモリなどのリムーバブルメディア３９からのデータを読み出し、入出力インタフェース３６等を介してCPU３１に供給したり、CPU３１から供給されるデータをリムーバブルメディア３９に書き込む。読み書きされるデータには、インストールされるアプリケーションプログラムのデータが含まれていてもよい。
入出力インタフェース３６には、入力部４０、音声入出力部４１、タッチスクリーン４２、通信部４３、電話回線網通信部４４、および撮影部４５が接続される。
入力部４０は、メニューボタン、ホームボタン、バックボタン、および電源ボタンなどの各ハードウエアボタンにより構成され、ユーザの操作による入力を受け付けて、CPU３１等に供給する。音声入出力部４１は、スピーカ、マイクロホン等により構成され、通話のための音声を入出力する。
タッチスクリーン４２は、表示部４２Aと位置検出部４２Bとを有し、各種の画面表示と、指等を近接、又は、接触（タッチ）することによる操作入力とが可能になっている。
表示部４２Aは、液晶パネル等のデバイス（表示装置）で構成され、入出力インタフェース３６を介して供給されるデータに応じて、所定の画面（画像）を表示する。
位置検出部４２Bは、例えば、静電式等のタッチパネル等の、外部からの入力（近接・接触）を受け付ける（検知する）機能を有するデバイスで構成される。
タッチスクリーン４２は、以上のような表示部４２Aと位置検出部４２Bとが一体的になっており、表示部４２Aにおいて画面を表示し、位置検出部４２Bにおいて、表示部４２Aに表示された画面に対する外部からの操作入力（タッチや近接）を受け付けることができる。
位置検出部４２Bが出力する位置信号は、入出力インタフェース３６を介して、CPU３１に供給され、CPU３１では、位置検出部４２Bからの位置信号に基づき、どのような操作入力があったかが認識され、その操作入力に応じて、各種の処理が行われる。このタッチスクリーン４２全体または表示部４２Aが、図１および図５の表示部１４に対応する。
通信部４３は、USB通信等の有線通信、および、WiFi方式等の無線通信を行う。電話回線網通信部４４は、移動体電話通信網を介して他の装置と音声通信、または、パケット通信を行う。撮影部４５は、CCD(Charge Coupled Device)やCMOS（Complementary Mental Oxide Semiconductor）センサ等の撮影素子などにより構成される。撮影部４５は、被写体を撮影し、撮影した被写体の画像データを、入出力インタフェース３６を介してCPU３１等に供給する。
携帯端末２１は以上のように構成される。なお、携帯端末２１には、数cm程度の近接距離で電磁誘導を利用した非接触通信を行うNFC通信部、ブルートゥース（Bluetooth（登録商標））方式による無線通信部、赤外線による通信を行う赤外線通信部などの、その他の構成をさらに備えるようにしてもよい。携帯端末１のハードウェア構成は、図６の構成に、圧力センサ１１をさらに加えたものとなる。
［変形例］
上述した例では、視覚フィードバック決定部１２は、式（１）により、錯触覚画像Qの短辺の長さXを決定するものとしたが、その他の演算式を用いて、錯触覚画像Qの短辺の長さXを決定することもできる。
例えば、視覚フィードバック決定部１２は、圧力センサ１１から供給される圧力値PressureValueを、以下の式（３）の２階微分方程式に代入して解くことにより、圧力値に応じた視覚フィードバック制御後の錯触覚画像Qの短辺の長さXを求めることもできる。
Figure 2013254398
 式（３）のM,B,K,X1は、所定の実数でありKは、式（１）の柔らかさ定数Cを決定していたバネ係数である。（dX／dt）２は、錯触覚画像Qの短辺の長さXの２階微分、（dX／dt）は、錯触覚画像Qの短辺の長さXの１階微分を表す。dtは、圧力センサ１１からの圧力値PressureValueに応じた視覚フィードバック制御を行う制御サイクルに相当する微小単位時間を表す。
このように、矩形の錯触覚画像Qの短辺の長さXの制御について複数の方法を選択できるようにすることで、多様な柔らかさの表現が可能となる。
式（１）および式（３）は、ユーザが握り込んだときの圧力値PressureValueに対応する錯触覚画像Qの短辺の長さXを求める式である。したがって、式（１）および式（３）だけでは、ユーザが、握り込んだ手を緩めた途端、表示部１４に表示された錯触覚画像Qは、初期の大きさ（短辺の長さX0）に戻ってしまう。
これに対して、ユーザが握り込んだ手を放したときに、握り込んだときの強さ（圧力値PressureValue）に応じて、錯触覚画像Qの横幅が、ばねのようにビヨンビヨンと振動的に変化し、徐々に減衰するような映像表現を行うと、ユーザは、対象物の柔らかさをより視覚的に認識することができる。ゼリーを指で突いて放した後に、ゼリーがプルプル揺れているようなイメージで、ゼリーの柔らかさを認識するのと同様である。
このような減衰振動の映像表現を行う場合には、まず、視覚フィードバック決定部１２は、式（１）または式（３）で求められた錯触覚画像Qの短辺の長さXを、式（４）に代入し、長さXのとき有する力Fを求める。
Figure 2013254398
 式（４）において、長さXは式（１）または式（３）で求めた既知の値であるので、（dX／dt）２および（dX／dt）については計算することができる。そして、M,B,K,X2は、式（３）と同様、所定の実数であるので、力Fは求めることができる。
次に、視覚フィードバック決定部１２は、力Fを有するときのdt時間経過後の移動速度（dX／dt）を、式（５）により求め、さらに、dt時間経過後の移動速度（dX／dt）から、dt時間経過後の長さ（位置）Xを、式（６）により求める。
Figure 2013254398
 以上のようにして得られたdt時間経過後の長さXを、再び式（４）乃至式（６）と順に代入することで、さらに次のdt時間経過後の長さXを求めることができる。したがって、式（４）乃至式（６）の演算を繰り返すことで求めた長さXとなるように、表示部１４の錯触覚画像Qを表示制御することで、減衰振動の映像表現が可能となる。
なお、上述した実施の形態では、錯触覚画像Qが圧縮されたときの形状は、縦方向のいずれの位置でも均一となる例について説明した。しかし、図７Aに示されるように、例えば、錯触覚画像Qの長辺の真ん中が特に圧縮されるように、縦方向の位置に応じて圧縮率が異なるようにしてもよい。また、図７Bに示されるように、錯触覚画像Qの横方向が圧縮されるだけでなく、圧縮された分の面積が縦方向に逃げ出すように、圧縮形状を変化させてもよい。また、横方向と縦方向の両方を圧縮（縮小）させてもよい。さらに言えば、錯触覚画像Qは、四角形以外の多角形の画像や円でもよいし、球や直方体などの立体形状の画像でもよい。
また、上述した実施の形態では、長方形の携帯端末１の長辺側の側面に設けられた圧力センサ１１によって、ユーザが携帯端末１を把持する圧力が検知され、それに応じて、錯触覚画像Qが圧力方向に圧縮されて表示されるようにしているが、ユーザによって携帯端末１が把持される位置に圧力センサ１１が配置され、錯触覚画像Qが圧力センサ１１で検出される圧力の方向に応じて変形されるような態様であれば、携帯端末１の形状、圧力センサ１１の位置、錯触覚画像Qの形状は、上記の形態に限定されない。例えば、携帯端末１を円形とし、圧力センサ１１を全周に沿って配置し、錯触覚画像Qも円形にしてもよい。
錯触覚は、本来、対象の物体の柔らかさを表すパラメータが変化するときに最も発生しやすいと言われている。そこで、例えば、ユーザが携帯端末１を軽く握っているとき（具体的には、検知される圧力値PressureValueが所定の値PV１以下まで）は柔らかさ定数C１とし、強く握り込んだら（具体的には、検知される圧力値PressureValueが値PV１より大きくなったら）、柔らかさ定数C２に変更して式（１）を計算する、というように、ユーザが携帯端末１を握っている途中で柔らかさ定数Cを変化させてもよい。これにより、より強力に、錯覚を発生させることが可能となる。
＜本発明を適用したアプリケーションの例＞
次に、上述した視覚フィードバック処理を適用したアプリケーション例について説明する。
［情報処理システムの構成例］
図８は、複数種類の枕を商品とするネットショッピングに、上述した視覚フィードバック処理を適用した情報処理システムの構成例を示している。
図８の情報処理システムは、図１に示した構成を有する携帯端末１と、商品としての複数種類の枕のデータを保持するサーバ（アプリケーションサーバ）５１とを含んで構成され、携帯端末１とサーバ５１とは、移動体電話通信網、インターネット、LAN(Local Area Network)、WAN(Wide Area Network)などのネットワークを介して接続される。
携帯端末１は、例えば、スマートフォンと呼ばれる高機能の携帯端末であり、アプリケーションプログラム（Application Program）（以下、単にアプリと称する。）を、ネットワークを介して接続されたサーバ（サーバ５１と同じでもよい）の記憶装置から端末内にダウンロードして、端末上で実行することができる。
携帯端末１は、端末内にダウンロードされている、ネットショッピングを行うアプリであるショッピングアプリを実行することで、サーバ５１に接続し、サーバ５１から取得した商品データに基づいて商品の情報を表示する。ショッピングアプリは、図１に示した視覚フィードバック決定部１２と柔らかさ定数制御部１３を機能として有している。
サーバ５１の記憶部５２には、商品としての複数種類の枕のデータを格納した商品データベースが記憶されており、サーバ５１は、携帯端末１のショッピングアプリからの要求に応じて、所定のデータを携帯端末１のショッピングアプリに送信する。また、サーバ５１は、ユーザがショッピングアプリ上から所定の枕の購入操作を行った場合の購入手続処理なども行う。なお、本明細書では、購入手続処理など、本発明と関係のない処理についての説明は省略する。
サーバ５１のハードウェア構成の図示は省略するが、サーバ５１は、ハードディスク等の記憶部５２のほか、CPU、ROM、RAMなどを有している。また、サーバ５１は、LANやインターネット等に接続してデータ通信を行う通信部、キーボード、マウスなどよりなる入力部、スピーカ、ディスプレイなどよりなる出力部も備える。そして、サーバ５１は、記憶部５２またはROM等に記憶されているプログラムからRAMにロードされたプログラムに従って、後述する処理を含む各種の処理を実行することができる。
［商品データベースの例］
図９は、サーバ５１の記憶部５２に記憶されている商品データベースの例を示している。
商品としての複数種類の枕のそれぞれについて、商品を識別する商品ID、商品の名称である商品名、商品の販売価格である価格、商品の画像の画像ファイル、商品の枕に設定された柔らかさ定数Cが商品毎に関連付けられて格納されている。なお、商品データベースには、これら以外の情報項目を含んでいてもよい。
図９の例では、１つ目の商品（枕）として、商品ID＝“00001”、商品名＝“特製そば殻枕”、価格＝“\3500”、画像ファイル＝“IMG00001.jpg”、柔らかさ定数＝“C1”、・・が格納されている。また２つ目の商品（枕）として、商品ID＝“00002”、商品名＝“ホテル仕様 羽毛枕”、価格＝“\8500”、画像ファイル＝“IMG00002.jpg”、柔らかさ定数＝“C2”、・・が格納されている。３目の商品（枕）として、商品ID＝“00003”、商品名＝“パイプ枕”、価格＝“\1800”、画像ファイル＝“IMG00003.jpg”、柔らかさ定数＝“C3”、・・が格納されている。
また、商品データベースには、ユーザが各商品の柔らかさを確認する際の柔らかさの基準となるサンプル（以下、基準サンプルともいう。）のデータも格納されている。換言すれば、基準サンプルは、ユーザが既知の柔らかさの程度が、ショッピングアプリの錯触覚画像Qの圧縮表現でどのように表示されるかを確認するためのものである。したがって、基準サンプルは、少なくとも１つ登録されていればよいが、本実施の形態では、図９に示されるように、最小の柔らかさ定数Cminをもつ商品である「基準・そば殻枕」と、最大の柔らかさ定数Cmaxをもつ商品である「基準・羽毛枕」の２つが登録されている。
各商品の柔らかさ定数Cは、予めモニタユーザによるテストなどに基づいて決定される。具体的には、複数のモニタユーザに実際の商品を触って柔らかさを認識してもらい、複数のモニタユーザが、実際の商品の柔らかさと同程度の柔らかさ感が得られる柔らかさ定数Cの値を設定し、それらの統計的代表値（例えば、平均値、メジアン等）が、その商品の柔らかさ定数Cに決定される。必要に応じて、基準サンプルも用意して、基準サンプルの実際の柔らかさと、基準サンプルに設定されている柔らかさ定数と比較してもらってもよい。
なお、基準サンプルの柔らかさ定数は、ユーザがショッピングアプリの錯触覚画像Qの圧縮表現で基準サンプルの柔らかさを体験しなくても十分に認識可能である場合や、複数の商品どうしの相対的な柔らかさを比較できればよい場合には、省略可能である。
［商品確認処理のフローチャート］
図１０のフローチャート（シーケンス図）を参照して、商品の柔らかさを確認する商品確認処理について説明する。
初めに、ステップＳ２１において、ショッピングアプリを起動するユーザの起動操作に応じて、携帯端末１は、ショッピングアプリを起動する。
ステップＳ２２において、携帯端末１のショッピングアプリは、サーバ５１にアクセスし、商品データの要求を送信する。サーバ５１のアクセス先のURLは、ショッピングアプリ内に記憶されている。
ステップＳ２３において、サーバ５１は、商品データを記憶部５２の商品データベースから取得し、ステップＳ２４において、取得した商品データを、携帯端末１のショッピングアプリに送信する。ここで、携帯端末１に送信される商品データは、各商品の商品ID、商品名、価格、画像ファイルであり、柔らかさ定数は、この時点では送信されない。
ステップＳ２５において、携帯端末１のショッピングアプリは、サーバ５１から送信されてきた商品データを受信し、受信した商品データに基づいて、商品一覧画面を表示部１４に表示させる。
図１１は、ステップＳ２５の処理により、携帯端末１の表示部１４に表示される商品一覧画面の例を示している。
商品一覧画面では、サーバ５１から取得した商品データに基づいて、商品ID、商品名、価格、および画像（画像ファイルに対応する画像）が、商品ごとに表示されている。また、各商品には、商品ID、商品名、価格、および画像とともに、ユーザが商品の柔らかさを確認する際に操作される「柔らかさ確認」ボタンBが表示されている。図１１の例では、商品ID＝“00001”の商品には、「柔らかさ確認」ボタンB1、商品ID＝“00002”には、「柔らかさ確認」ボタンB2、商品ID＝“00003”には、「柔らかさ確認」ボタンB3が表示されている。
ユーザは、所望の商品の「柔らかさ確認」ボタンBを、指でタッチするなどして操作すると、携帯端末１のショッピングアプリは、ステップＳ２６として、所望の商品の「柔らかさ確認」ボタンBの操作を受け付けて、ステップＳ２７において、ユーザに指定された商品（以下、指定商品という。）柔らかさ定数Cの要求を、サーバ５１に送信する。
サーバ５１は、ステップＳ２８において、ショッピングアプリからの指定商品の柔らかさ定数Cの要求を受信し、記憶部５２の商品データベースから、指定商品の柔らかさ定数Cと、基準サンプルの柔らかさ定数Cを取得する。
そして、ステップＳ２９において、サーバ５１は、取得した指定商品の柔らかさ定数Cと、基準サンプルの柔らかさ定数Cを、携帯端末１に送信する。
ステップＳ３０において、携帯端末１のショッピングアプリは、サーバ５１から送信されてきた柔らかさ定数Cを受信し、受信した柔らかさ定数Cを用いた柔らかさ確認画面を表示部１４に表示させる。
図１２は、ステップＳ３０の処理により、携帯端末１の表示部１４に表示される指定商品の柔らかさ確認画面の例を示している。図１２の柔らかさ確認画面は、図１１の商品一覧画面において、商品ID＝“00002”の商品の「柔らかさ確認」ボタンB2が押下された場合の柔らかさ確認画面を示している。
柔らかさ確認画面には、基準サンプル、または、指定商品を選択するコンボボックスCB、コンボボックスCBで選択された柔らかさ定数Cを有する錯触覚画像Q、商品一覧画面に戻る際に操作される「戻る」ボタンBKが設けられている。
ステップＳ３１において、携帯端末１のショッピングアプリは、携帯端末１の圧力センサ１１で検知した圧力値PressureValueに基づく視覚フィードバック処理を実行する。換言すれば、ステップＳ３１では、図３を参照して説明した視覚フィードバック処理が実行される。
図１２を参照して、柔らかさ確認画面における柔らかさ確認操作について説明する。
初めに、ユーザは、コンボボックスCBを操作し、基準サンプルか、または、指定商品のいずれかの項目を選択することで、柔らかさを確認する対象を選択する。コンボボックスCBで、基準サンプルかまたは指定商品のいずれかが選択されると、ショッピングアプリの柔らかさ定数制御部１３が、コンボボックスCBで選択された基準サンプルまたは指定商品の柔らかさ定数Cを視覚フィードバック決定部１２に供給する。
そして、図２を参照して説明したように、ユーザが携帯端末１の側面を握ると、圧力センサ１１が、携帯端末１に加えられた圧力を検知し、検知した圧力値PressureValueに応じて、図１２の柔らかさ確認画面の錯触覚画像Qの短辺の長さXが変化する。
図１０に戻り、ステップＳ３２において、携帯端末１のショッピングアプリは、商品一覧に戻る操作がされたか、すなわち、図１２の柔らかさ確認画面の「戻る」ボタンBKが押下されたか否かを判定する。
ステップＳ３２で、商品一覧に戻る操作がされていないと判定された場合、処理はステップＳ３１に戻り、図１２の柔らかさ確認画面を用いた視覚フィードバック処理が繰り返される。
一方、ステップＳ３２で、商品一覧に戻る操作がされたと判定された場合、処理はステップＳ２５に戻り、上述したステップＳ２５乃至Ｓ３２の処理が繰り返される。
以上のようにして、ショッピングアプリにおける商品の柔らかさを確認する商品確認処理が実行される。
視覚フィードバック処理を適用した情報処理システムでは、サーバ５１の商品データベースに、基準サンプルと各商品の柔らかさ定数Cが記憶されており、ユーザが指定した指定商品の柔らかさ定数Cが、基準サンプルの柔らかさ定数Cとともに、携帯端末１のショッピングアプリに送信される。
そして、柔らかさ確認画面のコンボボックスCBの操作に応じて、指定商品と基準サンプルの柔らかさ定数Cが切り替えられ、設定された柔らかさ定数Cの下で、ユーザの握力に応じて、柔らかさ確認画面の錯触覚画像Qが変形表示される。これにより、ユーザは、握力の錯触覚により、自分の所望する商品の柔らかさを、基準サンプルの柔らかさとの相対的な比較によって体感することができるので、ユーザによる商品の柔らかさの理解を補助することが可能になる。したがって、実際の商品に触れることができないインターネットショッピングにおいて、柔らかさをイメージしながら商品を選択することが実現可能となる。
上述した例では、商品一覧画面から、ユーザが所望の商品を指定し、その指定した指定商品の柔らかさを、柔らかさ確認画面を用いてユーザが確認できるようにした。しかし、ユーザが、直接、所望の柔らかさを指定して、その指定した柔らかさに対応する商品を、ショッピングアプリが、商品データベースから検索して、ユーザに提示することもできる。
図１３は、所望の柔らかさを指定する場合に、携帯端末１の表示部１４に表示される柔らかさ条件選択画面の例を示している。
柔らかさ条件選択画面には、ユーザの握力に応じて変形表示される錯触覚画像Q、柔らかさ定数Cを変更指示するスライドバーSB、現在のスライドバーSBの位置に応じた柔らかさ定数Cを設定する決定ボタンDBが設けられている。
スライドバーSBには、基準サンプルの柔らかさとの比較が容易となるように、基準サンプルの柔らかさ定数Cのスライドバー上の位置が、「基準１」、「基準２」のように表示されている。
ユーザは、携帯端末１の方向ボタン、＋ボタンや−ボタン、または、柔らかさ条件選択画面のスライドバーSBを操作して、柔らかさ定数Cを所望の値に設定し、携帯端末１を握って錯触覚画像Qの変形具合を確認する操作を、所望の柔らかさ定数Cが見つかるまで繰り返す。そして、所望の柔らかさ定数Cが見つかった場合に、柔らかさ条件選択画面の決定ボタンDBが操作（押下）される。ショッピングアプリは、決定ボタンDBが操作されたときの柔らかさ定数Cをサーバ５１に送信し、サーバ５１は、送信されてきた柔らかさ定数Cに最も近い商品を商品データベースから検索する。そして、ショッピングアプリは、サーバ５１から送信されてきた、ユーザが指定した柔らかさに対応する商品の柔らかさ定数Cを受信し、図１２の柔らかさ確認画面を表示部１４に表示させる。
このように、柔らかさ条件選択画面を用いれば、ユーザが所望する柔らかさを直接指定することができる。
また、この柔らかさ条件選択画面は、例えば、商品の発注元と製造元のメーカとの間で、柔らかさの要求をやりとりする場合に、言葉として「もっと柔らかいもの」や「商品Aよりも柔らかいもの」というように伝えるよりも、柔らかさ条件選択画面で所望の柔らかさを設定して、設定した柔らかさ定数Cを伝達することで、柔らかさを数値的に表現して要求することができるので、より正確に柔らかさを伝達することができる。
さらに、上述した例では、商品データベースの柔らかさ定数Cは、モニタユーザによるテストにより決定するものとして説明したが、柔らかさ条件選択画面を用いて、商品を購入したユーザに、購入後に感じた柔らかさを送信してもらい、商品を購入したユーザから、柔らかさ定数Cのフィードバックを受け付けるようにすることもできる。
柔らかさ定数Cのフィードバックを受け付ける場合、ショッピングアプリは、柔らかさ条件選択画面を用いて決定された柔らかさ定数Cを、購入商品の商品IDと関連付けてサーバ５１に送信する。サーバ５１は、ユーザが設定した柔らかさ定数をCfeedback、商品データベースに記憶されているフィードバック前の柔らかさ定数をCbeforeとすると、以下の式により、フィードバック後の柔らかさ定数Cafterを決定する。
Cafter＝(Cbefore×N+Cfeedback)/(N+1)
ここで、Nは、商品データベースに記憶されているフィードバック前の柔らかさ定数Cbeforeを決定するために用いたサンプル数を表し、商品データベースに、商品IDに対応させて記憶されている。
上述した例は、スマートフォンである携帯端末１上で実行されるショッピングアプリが、サーバ５１から取得した商品データに基づいて、商品一覧画面や柔らかさ確認画面を表示し、ユーザが携帯端末１を握ったときの圧力値PressureValueに基づいて錯触覚画像Qを圧縮表示させる例について説明したが、上述の商品一覧画面や柔らかさ確認画面を、携帯端末１上で起動されるWebブラウザ上で表示するようにしてもよい。この場合、圧力センサ１１で検知されたユーザの握力を示す圧力値PressureValueが、HTMLデータとしてサーバ５１に送信され、サーバ５１のWebアプリケーションが指定商品に基づき、変形制御後の錯触覚画像Qの短辺の長さXを決定し、決定した圧縮制御後の錯触覚画像Qを表示するHTMLデータを携帯端末１のWebブラウザに送信する。すなわち、この場合、視覚フィードバック決定部１２と、柔らかさ定数制御部１３は、Webアプリケーションの一部として、サーバ５１に設けられる。このように、携帯端末１とサーバ５１の各々に実装される機能は、各機器の性能要件等に基づき、適宜、分担させることができる。
＜その他のアプリケーションの例＞
視覚フィードバック処理を適用した、その他のアプリケーション例について説明する。
［料理レシピに適用した例］
料理のレシピに、上述した視覚フィードバック処理を適用することができる。
例えば、うどんやパンの生地の柔らかさの程度をレシピとして提供する場合に、材料や調理の手順とともに、生地の柔らかさを確認する「柔らかさ確認」ボタンBが、レシピ画面上に設けられる。
「柔らかさ確認」ボタンBが操作された場合に表示される柔らかさ確認画面には、例えば、こんにゃくやゼリーなどの典型的な柔らかさの食物が、基準サンプルとして提示される。このような柔らかさ確認画面を用いて、うどんやパンの生地の柔らかさを、錯触覚画像Qの圧縮具合で、より正確に体感することができる。
また、生地の柔らかさは、こね時間で変化する。そこで、柔らかさ定数制御部１３は、柔らかさ確認画面の表示時間を、こね時間と見立てて、柔らかさ確認画面の表示時間に応じて、柔らかさ定数Cを変化させるようにしてもよい。これにより、ユーザが、例えば、５分後の柔らかさ、１０分後の柔らかさを、柔らかさ確認画面で体感することができる。このような制御処理は、商品データベースに記憶しておく柔らかさ定数Cを、柔らかさ確認画面の表示時間に依存する関数として定義することで実現できる。
また、生地の柔らかさは、水の量、粉の量、および、こね時間などの組み合わせによっても変化する。そこで、例えば、料理レシピでは、柔らかさ確認画面において、水の量、粉の量、および、こね時間の各スライダバー（図１３のスライダバーSBと同様のもの）を設けて、水の量、粉の量、および、こね時間のそれぞれが、スライダバーで設定された値の組み合わせとなったときの生地の柔らかさを、ユーザが確認できるようにしてもよい。このような制御処理は、柔らかさ定数Cを決定するためのパラメータとして、複数の前処理係数（水の量、粉の量、こね時間に相当）を設け、複数の前処理係数を用いた式で柔らかさ定数Cを定義することで実現できる。
また、料理レシピでは、図１３に示した柔らかさ条件選択画面と同様の画面を設けて、ユーザが、今回料理したときの好みの柔らかさなどを登録（記憶）することができるようにしてもよい。このとき、例えば、図１３の柔らかさを決定する決定ボタンDBが押下された場合に、コメントなどを入力可能とし、柔らかさ定数Cと、コメントなどの情報を関連付けて登録させることができる。これにより、例えば、以前に料理したとき柔らかすぎたので、今回は少しかために作ろう、などというように、過去の柔らかさと比較した体感が可能となる。
柔らかさを比較、体感する対象物は、同一種類の物体に限らず、異なる種類のものでもよい。例えば、ゼリー、こんにゃく、餅の柔らかさ（粘り気）を、相対関係が矛盾しないように柔らかさ定数Cを決定し、提示すれば、異なる種類の柔らかさを参考にして、餅を実際に食べなくても、柔らかさを判別することができる。
［ゲームに適用した例］
ゲーム（ゲームプログラム）に、上述した視覚フィードバック処理を適用することができる。
例えば、アイテムを獲得するようなロールプレイングゲームにおいて、アイテムの種類ごとに柔らかさ定数Cを設定し、ユーザが操作するキャラクタがアイテムを触ってみて、所定の固さまたは柔らかさのものをゲットするような処理に適用できる。
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
上述した実施形態では、携帯端末１がスマートフォンであるとして説明したが、携帯端末１は、スマートフォンに限らず、PND(Portable Navigation Device)、電子書籍リーダーなどのタブレット端末でもよい。
本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。
本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
１ 携帯端末， １１ 圧力センサ， １２ 視覚フィードバック決定部， １３ 柔らかさ定数制御部， １４ 表示部， ２１ 携帯端末， ２２ ジャケット， ３１ CPU， ３３ RAM， ３７ 記憶部， ４２ タッチスクリーン， ４３ 通信部， ５１ サーバ， ５２ 記憶部

Claims (10)

  1. ユーザが把持可能な携帯端末と前記携帯端末に装着されるジャケットとからなる携帯端末セットであって、
    前記ジャケットは、
    前記ユーザが前記携帯端末を把持したときの圧力を検知し、その結果である圧力値を出力する圧力センサを備え、
    前記携帯端末は、
    柔らかさの程度を表す柔らかさ情報と、前記圧力センサが示す圧力値とに応じて、前記ユーザに柔らかさを認識させる錯触覚画像の形態的属性を決定して前記錯触覚画像の表示制御を行う画像表示制御部と、
    前記柔らかさ情報を変更して、複数の前記柔らかさ情報を、前記画像表示制御部に設定する柔らかさ情報制御部と、
    前記画像表示制御部により表示制御された前記錯触覚画像を表示する表示部と
    を備える
    携帯端末セット。
  2. 請求項１に記載の携帯端末セットで用いられる携帯端末用ジャケット。
  3. ユーザが把持可能な携帯端末であって、
    前記ユーザが前記携帯端末を把持したときの圧力を検知する圧力センサと、
    柔らかさの程度を表す柔らかさ情報と、前記圧力センサが示す圧力値とに応じて、前記ユーザに柔らかさを認識させる錯触覚画像の形態的属性を決定して前記錯触覚画像の表示制御を行う画像表示制御部と、
    前記柔らかさ情報を変更して、複数の前記柔らかさ情報を、前記画像表示制御部に設定する柔らかさ情報制御部と、
    前記画像表示制御部により表示制御された前記錯触覚画像を表示する表示部と
    を備える携帯端末。
  4. 前記錯触覚画像の形態的属性は、前記錯触覚画像の圧縮率であり、
    前記画像表示制御部は、前記圧力値が大きいほど、前記錯触覚画像の圧縮率が大きくなるように、前記錯触覚画像の圧縮率を決定する
    請求項３に記載の携帯端末。
  5. 前記画像表示制御部は、前記圧力値に応じた前記圧縮率で前記錯触覚画像を表示させた後、前記錯触覚画像を減衰振動させる表示制御を行う
    請求項４に記載の携帯端末。
  6. 前記柔らかさ情報制御部は、前記柔らかさ情報を、前記錯触覚画像の前記表示部への表示時間に応じて変化させる
    請求項３に記載の携帯端末。
  7. 前記柔らかさ情報は、複数のパラメータに基づいて決定される
    請求項３に記載の携帯端末。
  8. 所望の前記柔らかさ情報を登録する登録部をさらに備える
    請求項３に記載の携帯端末。
  9. 携帯端末に、
    柔らかさの程度を表す柔らかさ情報を変更して、複数の前記柔らかさ情報を設定し、
    設定された前記柔らかさ情報と、ユーザが前記携帯端末を把持したとき圧力センサが示す圧力値とに応じて、前記ユーザに柔らかさを認識させる錯触覚画像の形態的属性を決定して前記錯触覚画像の表示制御を行う
    処理を実行させるプログラム。
  10. ユーザが把持可能な携帯端末と、サーバとからなる情報処理システムであって、
    前記携帯端末は、
    前記ユーザが前記携帯端末を把持したときの圧力を検知する圧力センサが示す圧力値と、柔らかさの程度を表す柔らかさ情報とに応じて、前記ユーザに柔らかさを認識させる錯触覚画像の形態的属性を決定して前記錯触覚画像の表示制御を行う画像表示制御部と、
    前記柔らかさ情報を変更して、複数の前記柔らかさ情報を、前記画像表示制御部に設定する柔らかさ情報制御部と、
    前記画像表示制御部により表示制御された前記錯触覚画像を表示する表示部と
    を備え、
    前記サーバは、
    複数の前記柔らかさ情報を記憶する記憶部と、
    前記柔らかさ情報を前記携帯端末に送信する送信部と
    を備える
    情報処理システム。
JP2012130326A 2012-06-08 2012-06-08 携帯端末セット、携帯端末用ジャケット、携帯端末、情報処理システム、およびプログラム Expired - Fee Related JP5988141B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012130326A JP5988141B2 (ja) 2012-06-08 2012-06-08 携帯端末セット、携帯端末用ジャケット、携帯端末、情報処理システム、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012130326A JP5988141B2 (ja) 2012-06-08 2012-06-08 携帯端末セット、携帯端末用ジャケット、携帯端末、情報処理システム、およびプログラム

Publications (2)

Publication Number Publication Date
JP2013254398A true JP2013254398A (ja) 2013-12-19
JP5988141B2 JP5988141B2 (ja) 2016-09-07

Family

ID=49951838

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012130326A Expired - Fee Related JP5988141B2 (ja) 2012-06-08 2012-06-08 携帯端末セット、携帯端末用ジャケット、携帯端末、情報処理システム、およびプログラム

Country Status (1)

Country Link
JP (1) JP5988141B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016076008A (ja) * 2014-10-03 2016-05-12 日本電信電話株式会社 情報提示装置、情報提示装置の動作方法およびコンピュータプログラム
JP2019168866A (ja) * 2018-03-22 2019-10-03 東京瓦斯株式会社 情報処理装置、プログラム
WO2023079627A1 (ja) * 2021-11-04 2023-05-11 日本電信電話株式会社 擬似触覚提示装置、擬似触覚提示方法、およびプログラム
WO2023119582A1 (ja) * 2021-12-23 2023-06-29 日本電信電話株式会社 見掛け力制御装置、見掛け力提示システム、見掛け力制御方法、およびプログラム
WO2023119583A1 (ja) * 2021-12-23 2023-06-29 日本電信電話株式会社 柔らかさ感制御装置、柔らかさ感提示システム、柔らかさ感制御方法、およびプログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03109631A (ja) * 1989-09-22 1991-05-09 Tokyo Electric Power Co Inc:The ３次元グラフィックの接触感フィードバック装置
JPH06231221A (ja) * 1993-02-08 1994-08-19 Nippon Telegr & Teleph Corp <Ntt> ３次元物体形状生成方法
JPH11312040A (ja) * 1998-01-12 1999-11-09 Xerox Corp コンピュ―タユ―ザインタフェ―ス及びコンピュ―タ
JP2001101288A (ja) * 1999-09-30 2001-04-13 Fuji Xerox Co Ltd 商品情報提示装置
JP2002230588A (ja) * 2001-02-02 2002-08-16 Sony Corp グラフィックス装置及び教育機器
JP2004133086A (ja) * 2002-10-09 2004-04-30 Seiko Epson Corp 表示装置、電子機器および時計
JP2004177993A (ja) * 2002-11-22 2004-06-24 Panasonic Mobile Communications Co Ltd 圧力センサ付き携帯端末及び圧力センサ付き携帯端末により実行可能なプログラム
JP2004362408A (ja) * 2003-06-06 2004-12-24 Canon Inc ３次元データ表示操作装置
JP2011096171A (ja) * 2009-11-02 2011-05-12 National Institute Of Information & Communication Technology 多感覚インタラクションシステム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03109631A (ja) * 1989-09-22 1991-05-09 Tokyo Electric Power Co Inc:The ３次元グラフィックの接触感フィードバック装置
JPH06231221A (ja) * 1993-02-08 1994-08-19 Nippon Telegr & Teleph Corp <Ntt> ３次元物体形状生成方法
JPH11312040A (ja) * 1998-01-12 1999-11-09 Xerox Corp コンピュ―タユ―ザインタフェ―ス及びコンピュ―タ
JP2001101288A (ja) * 1999-09-30 2001-04-13 Fuji Xerox Co Ltd 商品情報提示装置
JP2002230588A (ja) * 2001-02-02 2002-08-16 Sony Corp グラフィックス装置及び教育機器
JP2004133086A (ja) * 2002-10-09 2004-04-30 Seiko Epson Corp 表示装置、電子機器および時計
JP2004177993A (ja) * 2002-11-22 2004-06-24 Panasonic Mobile Communications Co Ltd 圧力センサ付き携帯端末及び圧力センサ付き携帯端末により実行可能なプログラム
JP2004362408A (ja) * 2003-06-06 2004-12-24 Canon Inc ３次元データ表示操作装置
JP2011096171A (ja) * 2009-11-02 2011-05-12 National Institute Of Information & Communication Technology 多感覚インタラクションシステム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016076008A (ja) * 2014-10-03 2016-05-12 日本電信電話株式会社 情報提示装置、情報提示装置の動作方法およびコンピュータプログラム
JP2019168866A (ja) * 2018-03-22 2019-10-03 東京瓦斯株式会社 情報処理装置、プログラム
WO2023079627A1 (ja) * 2021-11-04 2023-05-11 日本電信電話株式会社 擬似触覚提示装置、擬似触覚提示方法、およびプログラム
WO2023119582A1 (ja) * 2021-12-23 2023-06-29 日本電信電話株式会社 見掛け力制御装置、見掛け力提示システム、見掛け力制御方法、およびプログラム
WO2023119583A1 (ja) * 2021-12-23 2023-06-29 日本電信電話株式会社 柔らかさ感制御装置、柔らかさ感提示システム、柔らかさ感制御方法、およびプログラム

Also Published As

Publication number Publication date
JP5988141B2 (ja) 2016-09-07

Similar Documents

Publication Publication Date Title
JP6906580B6 (ja) ビューポートベースの拡張現実触覚効果のシステム、方法及び非一時的コンピュータ可読媒体
JP5988141B2 (ja) 携帯端末セット、携帯端末用ジャケット、携帯端末、情報処理システム、およびプログラム
EP3629134A1 (en) Augmented reality interaction techniques
JP5976981B1 (ja) 統合化された圧力センサを有するハンドヘルド・コンピューティング・プラットフォーム及び対応する使用法
Whitlock et al. Interacting with distant objects in augmented reality
Bobeth et al. Evaluating performance and acceptance of older adults using freehand gestures for TV menu control
Choe et al. Comparison of gaze cursor input methods for virtual reality devices
US10692113B2 (en) Method for providing customized information through advertising in simulation environment, and associated simulation system
CN108885521A (zh) 跨环境共享
JP2017534132A5 (ja)
CN109840022A (zh) 用于根据基于倾斜的输入提供触觉反馈的系统和方法
CN108431734A (zh) 用于非触摸式表面交互的触觉反馈
JP5752070B2 (ja) 関連情報表示システム、関連情報表示制御装置、端末装置、プログラム、及び関連情報表示方法
WO2018010021A1 (en) Pointer control in a handheld computer by way of hid commands
Katzakis et al. INSPECT: extending plane-casting for 6-DOF control
EP3499344A1 (en) Haptically-enabled peripheral usable for two-dimensional and three-dimensional tracking
Menzner et al. Above surface interaction for multiscale navigation in mobile virtual reality
Wang et al. Augmenting tactile 3D data navigation with pressure sensing
US20220026991A1 (en) Method and Arrangement for Handling Haptic Feedback
JP6927637B2 (ja) 情報処理装置、情報処理方法、プログラム、及び情報処理システム
CN109656362B (zh) 虚拟增强现实设备及其控制方法、系统、计算机存储介质
US20160232714A1 (en) Apparatus, method and system for providing interactive multimedia content based on print media
US20190041997A1 (en) Pointer control in a handheld computer by way of hid commands
JP2013114323A (ja) ３次元空間座標入力装置
EP3945488A1 (en) Remote shopping system, remote shopping method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150601

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160630

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160728

R150 Certificate of patent or registration of utility model

Ref document number: 5988141

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees