JP2008217684A - 情報入出力装置 - Google Patents

情報入出力装置 Download PDF

Info

Publication number
JP2008217684A
JP2008217684A JP2007057448A JP2007057448A JP2008217684A JP 2008217684 A JP2008217684 A JP 2008217684A JP 2007057448 A JP2007057448 A JP 2007057448A JP 2007057448 A JP2007057448 A JP 2007057448A JP 2008217684 A JP2008217684 A JP 2008217684A
Authority
JP
Japan
Prior art keywords
pressure
information
expression
information input
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007057448A
Other languages
English (en)
Inventor
Atsushi Sugawara
淳 菅原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2007057448A priority Critical patent/JP2008217684A/ja
Publication of JP2008217684A publication Critical patent/JP2008217684A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

【課題】 多次元の物理量を一度に入力することができる情報入出力装置を提供する。
【解決手段】 圧力分布センサ1に複数の圧力点が同時に多次元情報として入力されると、これら圧力点の圧力量、移動速度、移動方向の三次元の物理量から感情情報検出部801により感情情報が検出され、この検出された感情情報に基づいて感情表現判定部802により感情表現が判定され、この判定結果を感情表現出力部9により人形7の顔の表情や音声として出力する。
【選択図】 図1

Description

本発明は、マンマシンインターフェースとして用いられる情報入出力装置に関するものである。
最近、ロボット分野などの発達は目覚しいものがあり、叩(たた)いたり、撫でたりしてユーザーの感情をロボットに入力するヒューマンフレンドリーなマンマシンインターフェースが数多く実用化されている。これは、ゲーム機器や携帯電話においても同様である。
従来、この種の方法として、特許文献1には、ロボットに空気圧センサを設け、この空気圧センサの検知圧力に基づいてロボットに所定の動きを行わせるものが開示されている。また、特許文献2には、触覚センサの出力ベクトルのクラスタリングを行い、触り方などを判別する方法が開示されている。
特開2001−347479公報 特開2006−123140号公報
ところが、特許文献1の方法は、人が撫でたり叩いたりすることを検知可能にしたもので、ロボットに簡単な動きを行わせるのにすぎず、ユーザーのより多くの感情をロボットに入力するものとしては満足のいくものでない。また、特許文献2の方法は、情報処理が複雑すぎて使い勝手が悪く、特に、人間の感情表現にマッチした、一度に入力される複数情報に対応した応答について何も記されていない。
ところで、従来、一度に複数の情報を入力するものとして、多次元の物理量を一度に入力するマンマシンインターフェースとして多次元情報入出力装置の考えは存在しているが、これを実現するに至っていない。つまり、例えば、ユーザーが指先で2点を押すことにより圧力点が複数(2点)あるような場合の反応については、実用化のための検討が十分になされていなかった。これは、圧力点を検出するための一般的なタッチパネルが1点の圧力点の検出しかできないからである。
一般的に普及している抵抗膜方式のタッチパネルは、圧力点を1点しか検出できないので、入力パターンのバリエーションが少なく入力表現が限られたものとなり、例えば、くすぐる、揉(も)む、つまむなどの人間の感情を入力するものとしては、十分なものでなかった。また、タッチパネルの入力点の圧力量、移動速度を利用した暗号入力などについてもあまり検討されていない。
本発明は上記事情に鑑みてなされたもので、多次元の物理量を一度に入力することができる情報入出力装置を提供することを目的とする。
本発明にかかる情報入出力装置は、
複数の圧力点を入力可能にした情報入力手段と、
前記情報入力手段に入力された圧力点の圧力量、移動速度及び移動方向の少なくとも1つの物理量を検出する情報検出手段と、
前記情報検出手段により検出された圧力点の物理量に基づいて入力された表現内容を判定する表現判定手段と、
を具備したことを特徴としている。
本発明によれば、多次元の物理量を一度に入力することができる情報入出力装置を提供できる。
以下、本発明の実施の形態を図面に従い説明する。
(第1の実施の形態)
図1は、本発明の第1の実施の形態が適用される情報入出力装置の概略構成を示している。図1において、1は情報入力手段としての圧力分布センサで、この圧力分布センサ1は、多次元情報、つまり複数の圧力点を感情情報として一度に入力可能にしている。図2は、圧力分布センサ1の概略構成を示すもので、この場合、圧力分布センサ1は、2つの電極群2,3からなっている。電極群2は、短冊状の電極片2a、2b、…2nをX方向に多数並べて配置され、また、電極群3は、短冊状の電極片3a、3b、…3nをY方向に多数並べて配置されている。そして、これら電極群2,3は、電極群3を上にして直交させた状態で間隙をもって重ねて配置されている。また、電極片2a、2b、…2nと電極片3a、3b、…3nのそれぞれ交差する位置の間には、図3(a)に示すような抵抗体4が挿入されている。この抵抗体4は、上側の電極片3a、3b、…3nに加わる押圧力により抵抗値を変化するもので、例えば、カーボンを練りこんだ導電性ゴムや、カーボンファイバを練りこんだ樹脂などが用いられる。
この場合、抵抗体4に代えて図3(b)に示すように、可変容量コンデンサ5を用いることもできる。この可変容量コンデンサ5は、上側の電極片3a、3b、…3nに加わる押圧力により静電容量を変化するもので、例えば、スポンジなどを挿入することで、可変容量コンデンサを構成している。この可変容量コンデンサ5を用いる場合は、電極群2,3の間に交流電流を流し、静電容量変化によるインピーダンス変化を順次計測することにより、それぞれの圧力量を計測する。
勿論、圧力分布センサ1には、従来のタッチパネルや静電パッド(アナログ容量結合方式)で小さな面積のものを多数用意し、これらを寄せ集めるようにしても実現できる。
このような圧力分布センサ1によれば、電極片2a、2b、…2nと電極片3a、3b、…3nのそれぞれ交差点において、圧力を計測することにより、複数の圧力点を一度に知ることができる。この場合、例えば、電極片2aに対して電極片3a、3b、…3nの順で、電圧を印加して、それぞれの交差点での電位を計測し、次に、電極片2bに対して電極片3a、3b、…3nの順で、それぞれの交差点での電位を計測するように、電極片2a、2b、…2nに対して電極片3a、3b、…3nの順で、それぞれの交差点での電位を計測することにより圧力点が複数あっても、別個に圧力点の存在を検出することができる。
このような圧力分布センサ1は、図4に示すようにユーザーの指6により圧力が2個所以上(図P1、P2)与えられるように配置される。具体例としては、図5に示すように人形7の体の一部、例えば、腹部701に配置され、人の指6の接触により感情情報を入力できるようにしている。勿論、圧力分布センサ1は、人形7の頭部702にも配置することが可能である。
図1に戻って、圧力分布センサ1には、制御部8が接続されている。この制御部8は、装置全体を制御するもので、情報検出手段としての感情情報検出部801、情報表現手段としての感情表現判定部802を有している。
感情情報検出部801は、圧力分布センサ1上に人の指6が2点以上当てつけられた状態で検出される複数の圧力点から圧力分布センサ1に入力される感情情報を検出する。この場合、圧力点は、図6(a)(b)に示すように圧力量、移動速度、移動方向の三次元の物理量が存在する。従って、これら三次元の物理量によってさまざまな感情情報の検出が可能であり、例えば、図6(a)に示すように圧力量について低圧、中圧、高圧の3段階、移動速度について低速、中速、高速の3段階及び同図(b)に示すように移動方向について0°〜360°に対し8段階あった場合、3×3×8=72通りの感情情報の検出が可能となる。また、圧力分布センサ1上の複数の圧力点は、塊状にグループを形成していることが多いので、ここでは、これらの塊を領域分けする方法を説明する。これは画像処理の分野で一般にラベリングと呼ばれている手法である。この場合、圧力分布センサ1が圧力検出できる面積の最小単位(電極群2と3の各電極片の交点面積)を触点と呼ぶ。そして、圧力分布センサ1の端から順次、触点の圧力を調べていったとき、ある触点にある閾値以上の圧力がかかっているとすると、隣接する触点を見回してみて、閾値以上の圧力点があるか否かを調べ、閾値以上の圧力点がなければ、孤立した圧力点とみなし、その触点の番号を1とし、他の触点を調べに行く。もし、隣接した触点の圧力も閾値以上なら、その触点にも同じ1番をつけ、以下、同様にして隣接した触点が閾値を超えていたら、同じ番号をつけるようにする。図7は、このようなラベリングを行った場合の例を示すもので、同図(a)は、塊がひとつしかない場合、同図(b)は、塊が3個存在する場合である。このようにして、圧力分布センサ1の全ての領域についてラベリングにより塊状にグループ分けし、塊を調べつくしたら、今度は、各塊の重心を求め、さらに、塊が2個以上あれば、それぞれの圧力比、相対速度、相対移動方向も感情情報として検出する。この場合、圧力比、相対速度、相対移動方向の少なくとも一つであってもよい。
感情表現判定部802は、感情情報検出部801で検出された感情情報に基づいて予め用意されるテーブル(不図示)を用いて感情表現の内容を判定する。この場合、感情情報として、例えば、図8(a)に示すように、ある閾値以下の弱い圧力の2つの圧力点P11、P12があり、これら圧力点P11、P12が互いに近づいたり離れたりしていれば、感情表現の内容として「くすぐった」と判断する。また、同図(b)に示すように、ある閾値以上の圧力点P21、P22があり、これらが互いに近づいたり、離れたりしていれば、感情表現の内容として「もんだ」と判断する。さらに同図(c)に示すように、ある閾値以下の弱い圧力P31、P32の二つの圧力点がほぼ同じ方向に移動していれば、感情表現の内容として「撫でられた」と判断する。さらにまた、同図(d)に示すように、ある閾値以上の大きな圧力P41、P42の二つの圧力点がほぼ同じ方向に移動していたら、感情表現の内容として「ひっかかれた」と判断する。
なお、図8の例では、「圧力量」と「移動方向」によりカテゴリ判別したが、「移動速度」も加味することで、新たなカテゴリわけや程度判断などが可能である。
制御部8には、情報出力手段としての感情表現出力部9が接続されている。この感情表現出力部9は、感情表現判定部802で判定された感情表現の内容を出力するもので、例えば、図5で述べた人形7の顔の表情や音声として出力される。例えば、感情表現判定部802で「くすぐった」と判断した場合は、笑い声を出力する。また、感情表現判定部802で「もんだ」と判断した場合は、「気持ちよい」などの肯定反応、あるいは「気持ち悪い」などの否定反応を音声として出力する。さらに、感情表現判定部802で「撫でられた」と判断した場合は、気持ちのよい微かな笑い声を出力する。さらにまた、感情表現判定部802で「ひっかかれた」と判断した場合は、悲鳴声を出力する。
次に、このように構成された実施の形態の作用を図9にしめすフローチャートに従い説明する。
まず、ステップ901で、感情情報を入力する。この場合、ユーザーは、図5に示すように人形7の腹部701に配置された圧力分布センサ1上に指6を2点以上接触させ(図4参照)、これらの指6を移動させることにより感情情報を入力する。
この圧力分布センサ1に入力される感情情報は、感情情報検出部801で検出される(ステップ902)。この場合、図6(a)(b)に示すような圧力量、移動速度、移動方向の三次元の物理量に基づいてさまざまな感情情報として検出される。また、圧力分布センサ1上の圧力点は、ラベリングにより複数の塊として検出される。この場合、塊が2個以上あれば、それぞれの圧力比、相対速度、相対移動方向も感情情報として検出される。
感情情報検出部801で検出された感情情報は、感情表現判定部802で感情表現が判定される(ステップ903)。この場合、図4に示すように2つの圧力点P1、P2が互いに近づいたり離れたりしていて、これら圧力点P1、P2がある閾値以下とすると、予め用意されるテーブル(不図示)により図8(a)に示す状態、つまりある閾値以下の圧力点P11、P12が互いに近づいたり離れたりする状態と判定し、感情表現の内容として「くすぐった」と判断する。
そして、感情表現判定部802で判定された感情表現の内容は、感情表現出力部9に出力される(ステップ904)。この場合、感情表現判定部802で「くすぐった」と判断したので、図5に示す人形7は、音声により笑い声を出力する。
従って、このようにすれば、圧力分布センサ1に複数の圧力点が同時に多次元情報として入力されると、これら圧力点の圧力量、移動速度、移動方向の三次元の物理量から感情情報検出部801により感情情報が検出され、この検出された感情情報に基づいて感情表現判定部802により感情表現が判定され、この判定結果を感情表現出力部9により人形7の顔の表情や音声として出力するようにした。これにより、複雑な人間の感情行動を定量的に入力することができ、その量に見合った感情表現を笑いや喜びなどに関連させて表情や音声などとして出力することができるので、ユーザーに癒しや楽しみを与えることが可能となる。また、従来から人間の動作に直結した感情の入力が可能になることで、高度なヒューマンフレンドリーなインターフェースが実現でき、ユーザーにさらなる満足感を与えることができる。さらに、人形などに対して感情を入力できるので、新たな商品価値を付加することができる。
なお、上述した実施の形態では、感情表現判定部802で判定された感情表現を感情表現出力部9で出力しているが、このとき出力される感情の表現は、異なる応答、すなわち、笑い方、喜び方、泣き方の強弱を変えて出力するのが望ましい。これによって飽きの来ない装置をつくるができる。さらに、表現の内容にランダム性を与えたり、連続して同じ反応にならないように、反応の出現回数をカウントしておくなどの工夫もある。
さらに、上述した実施の形態では、人形などの玩具に適用する例を述べたが、例えば、図10に示すような携帯電話11にも適用できる。この場合、携帯電話11の本体の一部に圧力分布センサ12が配置され、この圧力分布センサ12より情報、つまり複数の圧力点を一度に入力することにより携帯電話11を制御するようにもできる。この場合、圧力分布センサ12は1箇所とは限らず、複数箇所にあってもよい。また、携帯電話だけでなく、その充電器、パソコン、携帯情報機器などあらゆる機器を対象にすることができる。さらに圧力分布センサ12は、これら機器本体に直接設けてもよいが、機器本体にカバーをかぶせ、このカバーに圧力分布センサ12を含む情報入出力装置を装着するようにしてもよい。特に、情報入出力装置を装着した動物や人間の子供の形をしたカバーを機器本体にかぶせると効果的である。
(第2の実施の形態)
次に、本発明の第2の実施の形態を説明する。
第1の実施の形態では、圧力分布センサ1に対する圧力の入力に対して笑いや喜び表現など、感情表現をするものについて説明したが、この第2の実施の形態では、感情表現以外のものについて説明する。
この場合、図11に示すように圧力分布センサ1の圧力点の塊の動きが円弧(図示矢印方向)を描いたならば、何か独り言をしゃべったり、明日の天気を教えてくれたりするようにしている。つまり、圧力点の塊が円弧を描くということは、圧力点の移動方向が徐々に変化することであり、このような物理量の時間的変化に対しても何らかの応答をするようにしている。このような時間的要素を加えることにより、入力可能な情報量をさらに増やすことができる。
(第3の実施の形態)
次に、本発明の第3の実施の形態を説明する。
ところで、暗証番号などの入力はキーボードによる数字入力が一般的に採用されているが、この方法では、キーボードへの数字の入力時に番号が盗み見されたりすることがある。
この第3の実施の形態では、このような問題を解決するものである。この場合、図12に示すように圧力分布センサ1上の、例えば3点に同時に圧力をかけたとき、これら圧力点a、b、cの圧力比に特別な意味を持たせるようにしている。つまり、これら圧力点a、b、cの圧力比を暗号のように使い、秘密情報の呈示を行うようにしている。この場合、各圧力点a、b、cの圧力量を人間が正確に認識するのは困難なので、音や、ディスプレイの模様などと関連付けて圧力量を操作者に知らせるようにする。例えば、圧力量を音や色で表現したり、圧力量と画像を関連させてもよい。このようにすれば、圧力分布センサ1上での情報、つまり複数の圧力点の入力が数字以外の暗号となり、セキュリティー性を高める上で十分な効果を期待できる。
勿論、この場合も、圧力分布センサ1上での圧力、速度、移動方向などの情報入力を用いることにより、さらにセキュリティー性を高めた暗号入力が可能となる。
その他、本発明は、上記実施の形態に限定されるものでなく、実施段階では、その要旨を変更しない範囲で種々変形することが可能である。
さらに、上記実施の形態には、種々の段階の発明が含まれており、開示されている複数の構成要件における適宜な組み合わせにより種々の発明が抽出できる。例えば、実施の形態に示されている全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題を解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出できる。
本発明の第1の実施の形態が適用される情報入出力装置の概略構成を示す図。 第1の実施の形態に用いられる圧力分布センサの概略構成を示す図。 第1の実施の形態に用いられる圧力分布センサの原理を説明する図。 第1の実施の形態に用いられる圧力分布センサへの感情情報の入力例を示す図。 第1の実施の形態の適用例を示す図。 第1の実施の形態の物理量の入力例を説明する図。 第1の実施の形態の圧力分布の領域分け(ラベリング)を説明する図。 第1の実施の形態に用いられる感情表現判定部を説明する図。 第1の実施の形態の動作を説明するフローチャート。 第1の実施の形態の変形例の概略構成を示す図。 本発明の第2の実施の形態を説明する図。 本発明の第3の実施の形態を説明する図。
符号の説明
1…圧力分布センサ、2.3…電極群
2a、2b、…2n…電極片
3…電極群、3a、3b、…3n…電極片
4…抵抗体、5…可変容量コンデンサ
6…指、7…人形、701…腹部
702…頭部、8…制御部
801…感情情報検出部
802…感情表現判定部
9…感情表現出力部、11…携帯電話
12…圧力分布センサ

Claims (6)

  1. 複数の圧力点を入力可能にした情報入力手段と、
    前記情報入力手段に入力された圧力点の圧力量、移動速度及び移動方向の少なくとも1つの物理量を検出する情報検出手段と、
    前記情報検出手段により検出された圧力点の物理量に基づいて入力された表現内容を判定する表現判定手段と、
    を具備したことを特徴とする情報入出力装置。
  2. 前記情報入力手段は、電極片を複数並べて配置した第1の電極群と、該第1の電極群に直交した状態で間隙をもって重ねて配置される、電極片を複数並べて配置した第2の電極群を有し、前記第1及び第2の電極群のそれぞれの電極片の交差する点の圧力を計測可能にしたことを特徴とする請求項1記載の情報入出力装置。
  3. 前記情報検出手段は、前記第1及び第2の電極群のそれぞれの電極片の交差する点の圧力量をラベリングにより塊にグループ分けし、該塊が2個以上あれば、それぞれの圧力比、相対速度、相対移動方向の少なくとも一つを物理量として検出することを特徴とする請求項2記載の情報入出力装置。
  4. 前記表現判定手段で判定された内容に応じて出力する情報出力手段をさらに有し、
    前記表現判定手段は、前記情報検出手段により検出された物理量に基づいて感情の表現内容を判定し、
    前記情報出力手段は、前記表現判定手段で判定された感情の表現内容を音声又は喜怒哀楽の表現で出力することを特徴とする請求項1又は3に記載の情報入出力装置。
  5. 情報検出手段は、さらに物理量の時間的変化を検出可能にしたことを特徴とする請求項1記載の情報入出力装置。
  6. 表現判定手段は、前記情報検出手段により検出される圧力点の物理量を暗号情報として判定することを特徴とする請求項1記載の情報入出力装置。
JP2007057448A 2007-03-07 2007-03-07 情報入出力装置 Pending JP2008217684A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007057448A JP2008217684A (ja) 2007-03-07 2007-03-07 情報入出力装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007057448A JP2008217684A (ja) 2007-03-07 2007-03-07 情報入出力装置

Publications (1)

Publication Number Publication Date
JP2008217684A true JP2008217684A (ja) 2008-09-18

Family

ID=39837617

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007057448A Pending JP2008217684A (ja) 2007-03-07 2007-03-07 情報入出力装置

Country Status (1)

Country Link
JP (1) JP2008217684A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010112927A (ja) * 2008-11-10 2010-05-20 Sony Corp 触行動認識装置及び触行動認識方法、情報処理装置、並びにコンピューター・プログラム
JP2011191954A (ja) * 2010-03-12 2011-09-29 Nippon Telegr & Teleph Corp <Ntt> ユーザ端末装置、設置端末装置及びコンテンツ配信システム
JP2015097128A (ja) * 2009-08-27 2015-05-21 シンボル テクノロジーズ, インコーポレイテッド タッチスクリーン上の署名の圧力ベース認証のためのシステムおよび方法
JP2017091492A (ja) * 2015-11-11 2017-05-25 利奥紙袋(1982)有限公司 タッチセンシングによる音声発生のためのインタラクティブプラットフォーム及びその識別方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010112927A (ja) * 2008-11-10 2010-05-20 Sony Corp 触行動認識装置及び触行動認識方法、情報処理装置、並びにコンピューター・プログラム
JP2015097128A (ja) * 2009-08-27 2015-05-21 シンボル テクノロジーズ, インコーポレイテッド タッチスクリーン上の署名の圧力ベース認証のためのシステムおよび方法
JP2011191954A (ja) * 2010-03-12 2011-09-29 Nippon Telegr & Teleph Corp <Ntt> ユーザ端末装置、設置端末装置及びコンテンツ配信システム
JP2017091492A (ja) * 2015-11-11 2017-05-25 利奥紙袋(1982)有限公司 タッチセンシングによる音声発生のためのインタラクティブプラットフォーム及びその識別方法

Similar Documents

Publication Publication Date Title
Bermejo et al. A survey on haptic technologies for mobile augmented reality
Harrison et al. TapSense: enhancing finger interaction on touch surfaces
Hansberger et al. Dispelling the gorilla arm syndrome: the viability of prolonged gesture interactions
TWI306051B (en) Robotic apparatus with surface information displaying and interaction capability
Cho et al. RealPen: Providing realism in handwriting tasks on touch surfaces using auditory-tactile feedback
Chen et al. Haptivec: Presenting haptic feedback vectors in handheld controllers using embedded tactile pin arrays
CN110389659A (zh) 针对增强或虚拟现实环境提供动态触觉回放的系统和方法
CN103902030B (zh) 一种触觉反馈方法、触觉反馈装置、电子设备及触控笔
KR20140113420A (ko) 접촉기-기반의 햅틱 피드백 생성
Nakajima et al. Emoballoon: A balloon-shaped interface recognizing social touch interactions
Park et al. Augmenting physical buttons with vibrotactile feedback for programmable feels
JP2018142313A (ja) 仮想感情タッチのためのシステム及び方法
CN109478089A (zh) 多模态触觉效果
Sun et al. Thumbtrak: Recognizing micro-finger poses using a ring with proximity sensing
JP2008217684A (ja) 情報入出力装置
Baig et al. Qualitative analysis of a multimodal interface system using speech/gesture
Sziládi et al. Cost-effective hand gesture computer control interface
Park et al. Vibration-augmented buttons: Information transmission capacity and application to interaction design
Zhu et al. Tapetouch: A handheld shape-changing device for haptic display of soft objects
Vyas et al. Gesture recognition and control
CN110764619B (zh) 基于特征相似度的触觉再现轮廓渲染真实感定量评估方法
Spanogianopoulos et al. Human computer interaction using gestures for mobile devices and serious games: A review
CN103376884B (zh) 人机交互方法及其装置
Hoggan Haptic interfaces
Zhang et al. Pulling, pressing, and sensing with In-Flat: Transparent touch overlay for smartphones