JP2009145085A - ３次元触覚センサ及び３次元触覚センシング方法 - Google Patents

Abstract

【課題】比較的簡単な構成で、接触面を触れた力の大きさと方向を精度良く３次元的に検出できるようにする。
【解決手段】弾性変形可能で、表面側から押されることで裏面側に窪むことが可能に保持された弾性体膜１２と、弾性体膜１２の裏面に所定の間隔を開けて配置され、弾性体膜１２の裏面と平行に光を照射する光源２１，２２と、弾性体膜１２の裏面を撮影するカメラ部と、カメラ部で撮影された画像から、弾性体膜の裏面に光源２１，２２からの光が届く範囲Ｂ２，Ｂ３を検出し、その検出した範囲Ｂ２，Ｂ３に基づいて弾性体膜の変形状態を判別し、この判別結果に基いて弾性体膜１２が押された力と押された方向を算出する算出処理部とを備えた。
【選択図】図５

Description

本発明は、例えば手指や何らかの物体で触れられた際の、その触れられた力の大きさや力が働く方向などを検出する３次元触覚センサ、及びそのセンサに適用される３次元触覚センシング方法に関する。

従来、接触面に触れられた力の大きさと、その力が作用する方向を３次元的に正確に検出するためには、非常に構成が複雑で頑強な触覚センサが必要であった。柔らかいセンサとして弾性体を使ったものがあり、これを使った従来の３次元触覚センサとしては、例えば特許文献１及び２に記載のものが知られている。この２つの文献に記載された技術は、いずれも光学的に検出する３次元触覚センサである。
特許文献１に記載のものは、ある程度の厚みを有する透明弾性体内に、複数の色の色マーカーを、色ごとに空間的に層を形成させた状態で配置させる。そして、透明弾性体内の色マーカーの各層の状態を、カメラで撮影する構成としたものである。透明弾性体の表面に力が加わった場合には、カメラで撮影される画像から色マーカーの各層の配列状態の変化を判定して、そのときに加わった力についての判定を行うものである。

特許文献２に記載のものは、弾性体の表面（裏面）に格子状又はハニカム状に模様を描き、弾性体に力が加わった際の弾性体表面の模様の変化をカメラで撮影して、その模様の変化から弾性体表面の変形量を判定して、そのときに加わった力についての判定を行うものである。
ＷＯ０２−１８８９３号公報 特開２００５−２５７３４３号公報

特許文献１に記載の手法は、透明弾性体の内部に複数の層で色マーカーを配置するために、透明弾性体そのものを、ある程度厚くする必要がある。弾性体の厚さが厚いということは、弾性体の表面に加わる圧力に比べて、弾性体の内部の形状変化に乏しく、取得できる情報のダイナミックレンジや分解能が少なくなってしまう。それゆえ、現実的には接触面に対して垂直方向の力の大きさや位置は求めることができても、力の入射角度を求めることができなかった。

また特許文献２に記載の手法は、弾性体表面に格子状あるいはハニカム状の模様を描く必要がある。接触面に加わる圧力を正確に検出するために弾性体を薄くし且つ弾性変形が自由に出来る素材を使用する必要があるが、薄く自在に弾性変形可能な弾性体の表面に模様を描くことは非常に難しいという問題があった。即ち、塗料などを使用して弾性体の表面に模様を描いたとしても、センサとして使用されて、弾性体が伸び縮みを繰り返すことで、その模様の塗料が比較的簡単に剥がれてしまう可能性が高く、また模様が不鮮明になったりひびが入ったりして、撮像後の画像処理が高精度に行えなくなる可能性が高いという問題があった。

本発明は、これらの点に鑑みて、比較的簡単な構成で、精度良く３次元的に接触面を触れた力を検出できるようにすることを目的とする。

本発明の３次元触覚センサは、表面側から押された場合に、押された力と押された方向を検出する３次元触覚センサに適用される。
本発明の３次元触覚センサの構成としては、
弾性変形可能で、表面側から押されることで裏面側に窪むことが可能に保持された弾性体膜と、
弾性体膜の裏面に所定の間隔を開けて配置され、弾性体膜の裏面と平行に光を照射する光源と、
弾性体膜の裏面を撮影するカメラ部と、
カメラ部で撮影された画像から、弾性体膜の裏面に前記光源からの光が届く範囲を検出し、その検出した範囲に基づいて弾性体膜の変形状態を判別し、この判別結果に基いて弾性体膜が押された力と押された方向を算出する算出処理部とを備えたことを特徴とする。

また本発明の３次元触覚センシング方法は、表面側から押された場合に、押された力と押された方向を検出する３次元触覚センシング方法に適用される。
本発明の３次元触覚センシング方法の処理としては、
弾性変形可能で、表面側から押されることで裏面側に窪むことが可能に保持された弾性体膜の裏面に所定の間隔を開けて、弾性体膜の裏面と平行に光を照射し、
弾性体膜の裏面を撮影し、
撮影された画像から、弾性体膜の裏面に前記光が届く範囲を検出し、その検出した範囲に基づいて弾性体膜の変形状態を判別し、この判別結果に基いて弾性体膜が押された力と押された方向を算出することを特徴とする。

本発明によると、弾性変形可能な弾性体膜が表面側から押された場合、その押されて弾性体膜が裏面側に窪むことで、その窪んだ形状に対応して弾性体膜の裏面に部分的に光源からの光で照明されるようになり、その照明される箇所の形状や座標情報から押された力と押された方向を正しく判定することが可能となる。
従って、弾性体膜とその弾性体膜の裏面を照明させる光源とによる簡単な構成で、広いダイナミックレンジと高分解能とを生み出すことができる３次元触覚センサが構成できる効果を有する。

以下、本発明の一実施の形態の例を、添付図面を参照して説明する。
本実施の形態においては、薄膜の弾性体膜を配置して、その弾性体膜を触れた場合に、その弾性体膜を触れた力についての検出を行う３次元触覚センサとして構成したものである。

図１は、本実施の形態の３次元触覚センサの全体構成例を示した図である。
３次元触覚センサ１０は、合成樹脂などで形成された円筒形の筐体１１内に構成させてある。筐体１１の上面には、弾性体膜１２が配置してある。弾性体膜１２は、筐体１１の上面に取付けられた保持枠１３で縁部を保持させる構成としてあり、保持枠１３の孔１３ａ内で弾性体膜１２の表面が露出している。なお、以下の説明で弾性体膜の表面と述べた場合には、弾性体膜の外側に露出した面を示し、裏面と述べた場合には、筐体１１の内側を向いた弾性体膜の面を示す。

弾性体膜１２は、表面側から押すことで、弾性体膜そのものが弾性変形して、筐体１１内に窪むことができるような材質の薄膜の樹脂シートを使用してある。例えば、超軟質ウレタン樹脂による薄膜（例えば厚さ５ｍｍ）の樹脂シートを使用する。本実施の形態の装置を製作した際には、エクシールコーポレーション社製の硬度０の超軟質ウレタン樹脂を使用した。この超軟質ウレタン樹脂は、乳児の肌や腹部の皮膚程度の硬さであり、微小な力に対しても大きな変形を示す。弾性体膜１２は、光を通さない樹脂であることが好ましい。
なお、弾性体膜１２として、厚さ０．１ｍｍ以下の手術用ゴム手袋やゴム風船などに使用されているものと同様のラテックスや樹脂シートを使用してもよい。

弾性体膜１２は、例えば図１に示すように、操作棒１の先端部１ａで押して変形させたり、或いは手指２の先端部２ａで押して変形させるものである。
このような弾性体膜１２が上面に保持された筐体１１内に、弾性体膜１２の裏面の弾性変形を検出する機構を構成させてある。弾性変形を検出するための具体的な機構については、図２以降の説明で後述する。
そして、筐体１１の底面部にカメラ部３０が配置してあり、そのカメラ部３０で弾性体膜１２の裏面を撮影する。撮影された画像は、演算処理装置４０に供給して、演算処理装置４０での画像解析から、弾性体膜１２に表面から加わる力の大きさと、力の３次元的な方向を判定する。弾性体膜１２の表面に、外部から力が加わっている位置についても、検出することができる。

演算処理装置４０で判定された接触位置、力の大きさ、力の向きについては、例えば表示装置５０の画面中に、数値として表示させ、或いは、図形で表示させる。或いは、演算処理装置４０で判定された接触位置、力の大きさ、力の向きの各情報を出力させて、その情報を受け取った機器の操作などを行うようにしてもよい。

なお、以下の説明では、図１に示すように弾性体膜１２の面方向（水平方向）に沿った直交する２つの方向をｘ方向とｙ方向とし、このｘ方向及びｙ方向と直交する垂直方向をｚ方向とする。

次に、図２及び図３を参照して、３次元触覚センサ１０の筐体１１内の構成例について説明する。
図２は、筐体１１内を縦断面で示した図で、図３は分解斜視図である。保持枠１３の裏面側で、弾性体膜１２の縁部１２ａを保持してあり、保持枠１３の下部には、円形で所定の厚さのスペーサ１４を配置する。スペーサ１４の下側には、第１光源２１を複数個ほぼ均等に配置する。さらに、第１光源２１が配置された箇所の下側には、円形で所定の厚さのスペーサ１５を配置する。各スペーサ１４，１５には、図３に示すように、保持枠１３の孔１３ａと同様のサイズの孔１４ａ，１５ａを設けてある。スペーサ１５の下側には、第２光源２２を複数個ほぼ均等に配置する。

スペーサ１４及び１５を配置したことで、弾性体膜１２の裏面から第１光源２１の配置位置までの距離Ｌ１と、第１光源２１の配置位置から第２光源２２の配置位置までの距離Ｌ２を、規定された長さとなるようにしてある。本実施の形態の例の場合には、例えば距離Ｌ１を３ｍｍとし、距離Ｌ２を５ｍｍとしてある。それぞれの距離Ｌ１，Ｌ２は、例えば、弾性体膜１２を測定したい最大の力で押した場合の弾性体膜１２の上下方向の変位量に基づいて設定する。即ち、弾性体膜１２を測定したい最大の力で押した場合の変位量をＬ０とすると、その最大の力で押した場合の変位量Ｌ０の１／３程度の深さから、最小の力が加えられた時に弾性体の一部が凹む深さとの間に、距離Ｌ１を設定した。また、距離Ｌ１＋Ｌ２は、測定が必要な最大の変位量Ｌ０の２／３程度となるようにした。

第１光源２１と第２光源２２は、それぞれ例えば発光ダイオードを使用するが、発光色を第１光源２１と第２光源２２とで構成させてある。例えば第１光源２１を青色の発光ダイオードとし、第２光源２２の赤色の発光ダイオードとする。２つの色は、カメラ部３０で撮影して明確に区別できる色であれば、どの２種類の色を採用してもよい。また、同様の照明状態が得られる光源であれば、発光ダイオード以外の光源を使用してもよい。

そして、第１光源２１及び第２光源２２の光は、弾性体膜１２の裏面と平行で、かつ弾性体膜１２の中心に向かって照射するようにしてある。図２に示すように、スペーサ１４及び１５の周辺部寄りに各光源２１，２２を配置してあり、各光源２１，２２の光が出力される先端部から各スペーサ１４，１５の孔１４ａ，１５ａの縁までの距離は、例えば４０ｍｍ程度とする。

第１光源２１は２つのスペーサ１４，１５で挟まれ状態となり、第１光源２１からの光が、弾性体膜１２の面とほぼ平行に光が進む構成としてある。
第２光源２２からの光についても、スペーサ１５の作用で、弾性体膜１２の裏面と平行に光が向かうように配置してある。但し、第２光源２２の下面側にはスペーサが配置していないので、スペーサ１５よりも下側では、第２光源２２からの光が広がって照射される構成としてある。
図３の例では、第１光源２１と第２光源２２をそれぞれ４個ずつ配置した例としてあるが、より多い個数配置してもよい。ある程度の個数を配置して、どの方向からも中心に向かって光がほぼ均等に照射されるようにするのが好ましい。また、それぞれの光源２１，２２は、３次元触覚センサ１０が作動中には常時点灯している必要がある。
なお、筐体１１内のスペーサ１４，１５などの各部は、黒色での塗装、或いは黒色の布地の貼り付けなどで、各光源２１，２２からの光の反射を抑える構成とするのが好ましい。また、筐体１１内は外部から光が入らない構造とするのが好ましい。

そして図２に示すように、これらの光源２１，２２が配置された位置とは若干距離を離して、筐体１１の底面上の中心に、カメラ部３０を配置する。カメラ部３０のレンズ部３１は、スペーサ１４，１５の孔１４ａ，１５ａを介して下側から見える弾性体膜１２全体を撮影するように配置する。従って、カメラ部３０と弾性体膜１２との距離は、カメラ部３０に装着されたレンズ部３１の焦点距離などに依存する。３次元触覚センサ１０を小型化するためには、出来るだけ焦点距離の短い広角のレンズを備えて、弾性体膜１２からカメラ部３０までの距離を短くすることが好ましい。カメラ部３０での撮影は、一定のフレームレートで周期的に行う。例えば毎秒３０フレームなどで撮影を行う。検出精度を上げるために、より高速のフレームレートで撮影できるカメラ部を使用してもよい。

次に、このように配置した光源２１，２２で弾性体膜１２の裏面側が照明される状態の例を、図４及び図５を参照して説明する。
まず、弾性体膜１２に外部から力が加わってなく、弾性体膜１２が全く弾性変形していない状態を想定すると、この場合には、各光源２１，２２からの光は弾性体膜１２の面に沿って進むため、弾性体膜１２の裏面は全く照明されない。従って、カメラ部３０で撮影される画像は、弾性体膜１２の裏面全体が暗い画像である。

そして、弾性体膜１２が表面側から押されて変形した状態での照明状態を示したのが図４，図５である。
図４（ａ）の例は、操作棒１の先端部１ａで押し始めた初期状態での照明状態を示したものである。この状態では、操作棒１の先端部１ａで押されて凹んだ弾性体膜１２に、第１光源２１からの光が届くようになった状態である。
この状態で、弾性体膜１２の裏面を下側から見た状態が、図４（ｂ）である。図４（ｂ）に示したように、押されて第１光源２１からの光が届いているほぼ円形の範囲Ａ２だけが、第１光源２１からの青色光で照明され、その他の範囲Ａ１は照明されない暗い部分（黒部分）となっている。

この図４に示す状態から、さらに操作棒１の先端部１ａで強く弾性体膜１２を押すと、図５に示す状態となる。
図５（ａ）の例は、第２光源２２からの光が届く位置まで弾性体膜１２が押された状態を示したものである。
この状態で、弾性体膜１２の裏面を下側から見た状態が、図５（ｂ）である。図５（ｂ）に示したように、周囲の範囲Ｂ１は暗い部分（黒部分）となっている。
そして、第１光源２１からの青色光が届く範囲Ｂ２が、青色のリング状に照明され、その範囲Ｂ２内の第２光源２２からの赤色光が届く範囲Ｂ３が、赤色のリング状に照明される。
さらに、その範囲Ｂ３内の第２光源２２からの光が届かない範囲Ｂ４が、暗い部分（黒部分）となっている。この中央の光が届かない範囲Ｂ４は、操作棒１の先端部１ａがある程度の面積で平面に近い状態になっている場合に、その先端部１ａの形状に対応して生じる。

このように照明された弾性体膜１２の裏面をカメラ部３０で撮影して、各色の領域を検出することで、各領域の境界部の位置情報が得られる。即ち、弾性体膜１２がわずかに変形する程度以上の力で押すことで、例えば図６に示すように、４つに区分される円もしくは楕円の領域Ｂ１，Ｂ２，Ｂ３，Ｂ４が得られる。それぞれ外側から、光が当たらない領域，青色領域，赤色領域，物体と弾性体との接触領域である。

図１に示した演算処理装置４０では、このカメラ部３０で撮影して得た画像中の各領域の位置を検出し、その検出した位置から、弾性体膜１２に加わる力を算出する。この検出を行うためには、図５に示したように４つに区分される円又は楕円の領域が必要であるが、その前段階として、図４に示したように第１の光源からの光で照明された領域Ａ２とその周囲の領域Ａ１だけが検出された状態を検出した場合には、その図４の状態の領域Ａ２の位置も、演算処理装置４０内に記憶しておく。この記憶した位置の情報は、最初に弾性体膜１２を触れた位置を判別するために使用する。

次に、演算処理装置４０で撮影して得た画像から、弾性体膜１２に加わる力を算出する処理について説明する。
本実施の形態では、カメラ部３０又は演算処理装置４０内では、撮影で得られた原画像に対してノイズ除去を行い、一定の閾値を使用して、青色部分と赤色部分のそれぞれを二値化する。
そして、画像から上述した４つの円又は楕円の領域Ｂ１，Ｂ２，Ｂ３，Ｂ４を検出すると、その楕円のほぼ中心を通過する長軸と、それと直交する短軸を設定し、その２つの軸上に、各領域の境界の座標位置を設定する。図６に示した２つの軸が長軸と短軸である。図６では横方向の軸を長軸（ｘ軸）としてあり、縦方向の軸を短軸（ｙ軸）としてある。
長軸の算出は、例えば青色もしくは赤色楕円のいくつかの座標点から単回帰直線を求め、その直線を長軸とすることができる。一方、短軸は、手指又は物体で弾性体膜１２を押している部分の重心を通り、長軸と直交する直線として求めることができる。
長軸と短軸が求まると、それぞれの軸上に、各領域Ｂ１，Ｂ２，Ｂ３，Ｂ４の境界位置を設定する。最外周の領域Ｂ１の縁部の位置は、弾性体膜１２の形状から決まっている。
図６に示したｘ軸上の各点ｘ１，ｘ２，ｘ３，・・・，ｘ７と、ｙ軸上の各点ｙ１，ｙ２，ｙ３，・・・，ｙ７は、それぞれの領域Ｂ１，Ｂ２，Ｂ３，Ｂ４の境界位置に設定したものである。

このように境界位置が設定されると、それぞれの境界位置から、弾性体膜１２の立体的な変形状態を推測することができる。即ち、棒１で押されて変形した弾性体膜１２を、ｘ軸とｚ軸を通過するｘ−ｚ平面で切断して示すと、図７に示す状態となる。図７は、弾性体膜１２上に、各点ｘ１〜ｘ８の位置を示してある。各点ｘ１〜ｘ８のｚ軸方向の位置は、光源２１，２２が配置された高さ（図２のＬ１，Ｌ２）に基づいて決まる予め決まった値であり、カメラ部３０で撮影された画像から、図７に示した３次元形状の判定が可能である。図示はしないが、ｙ軸方向でも、同様にｙ１〜ｙ８の８点の高さ位置が定まる。
このようにして設定された各点は、ｘ軸に沿って中心から４点両方向に存在し、ｙ軸に沿って中心から４点両方向に存在し、合計で１６点の位置情報（高さ情報）が得られる。この１６点の位置関係（高さ関係）が、弾性体膜１２を押している物体の「接触位置」の情報と、「力の大きさ」の情報と、「力の入射角度」の情報を内包する。

弾性体膜１２の変形は、３次式にて近似できる。即ち、例えば弾性体をゴムと見なした場合、温度一定で、ゴムの変形状態下では、歪γが大きくなればなるほどヤング率Ｅ（γ）が２乗で増大していく。つまり、Ｅ（γ）∝γ２が成り立つ（ここで、歪γ＝応力σ／ヤング率Ｅである。ゴムのヤング率は、１．５〜５．０［ＭＰａ］である）。
γ＝σ／Ｅの式のＥに、Ｅ（γ）∝γ２を代入すれば、σ＝Ｅγ∝γ３となるため、力（応力σ）を掛ければ掛けるほどゴムは元の形の側に３乗で凹んでいくことになる。そのため、曲線上の２点以上の位置関係が分かれば、弾性体膜１２の変形状態が一意に決まる。
このようにして弾性体膜１２の３次元形状が求まると、形状の情報から力に関する情報に変換する。

次に、演算処理装置４０内で画像情報から力情報を取得するまでの処理例を、図８のフローチャートを参照して説明する。
まず、カメラ部３０を初期化する（ステップＳ１１）。また、本実施の形態の３次元触覚センサとは別に、既存の６軸力隔センサを用意して初期化し、その６軸力隔センサで弾性体膜１２を表面から押すようして、そのセンサが出力する値を参照する。この６軸力隔センサは、基準となる出力値を得るために使用し、演算処理装置４０内に必要なデータが記憶されれば、以後は必要としない。

そして、カメラ部３０で撮影された原画像を取得し（ステップＳ１２）、画像中の青色領域と赤色領域をそれぞれ２値化する（ステップＳ１３）。次に作用面を検出する（ステップＳ１４）。この作用面は、図５，図６に示した領域Ｂ４に相当し、手指又は物体で弾性体膜１２を押している部分に相当する。作用面の領域が判別されると、その作用面の重心を算出する（ステップＳ１５）。その算出された位置を、力が加わっている点（ここではこの点を作用点と称する）とする。

次に、その作用点を通過する楕円の長軸ｘを求め（ステップＳ１６）、さらにその長軸ｘと直交し作用点を通過する短軸ｙを求める（ステップＳ１７）。長軸の求め方は、例えば青色もしくは赤色楕円のいくつかの座標点から単回帰直線を求め、その直線を長軸とすることができる。いま、長軸をｙ＝ａｘ＋ｂとすると、傾きａとｙ切片は、それぞれ次式のように求められる。

一方、単軸はｙ＝−ｘ／ａ＋ｃとして求められる。傾きａは長軸のそれと同じで、ｙ切片ｃは、作用点を（ｘ１，ｙ１）とすればｃ＝ｙ１＋ｘ１／ａである。
長軸ｘと短軸ｙが求まると、図６に示すように、それぞれの軸と各色領域の境界部との交点を検出する（ステップＳ１８）。それぞれの交点が求まると、作用点から各交点までの距離を算出する（ステップＳ１９）。そして、求まった作用点から交点までの距離と、同じ条件で６軸力隔センサから得られた力を出力すると共に、記憶する（ステップＳ２０）。なお、実際にセンサとして作動させる際には、６軸力隔センサは使用せず、記憶させた情報を出力させる。
その後、終了処理が行われたか否か判断し（ステップＳ２１）、終了処理が行われていない場合には、ステップＳ１２に戻って次のフレームの画像処理が実行される。ステップＳ２１で終了処理が行われたと判断すると、ここでの処理を終了する。

次に、交点位置情報から力情報への変換処理について説明する。
上述したように求められた交点位置が、弾性体膜１２に加えられる力の大きさ，方向，位置に対応していると考えれば、交点位置を入力情報、他の既存の触覚センサ出力を教師信号とするニューラルネット学習を行うことにより、本実施の形態の３次元触覚センサ１０は、教師信号に使った触覚センサと同じ値を出力するようになる。
教師信号には学習後に出力させたい情報がデータ内に含まれている必要がある。そこで、図８のフローチャートで説明したように、６軸力隔センサを接触物体として、弾性体膜１２との接触位置を少しずつ変えながら、さまざまな方向にさまざまな大きさの力を加える処理を行う。力隔センサからのｘｙｚ出力、力を加えた位置、そしてカメラ画像から算出された交点位置情報をセットとして学習用データを取得する処理を行う。取得した学習用データは、演算処理装置４０内に記憶させておく。

本実施の形態で適用されるニューラルネットモデルとしては、例えば図９に示すような階層型誤差逆伝搬モデルを用いる。即ち、入力信号には作用点から各交点との距離、教師信号には６軸力隔センサからの出力（力の３軸ｘｙｚの成分）とし、画像すなわち交点位置から力への写像関係を学習によって求め、教師信号（Ｆｘteach，Ｆｙteach，Ｆｚteach）で示される値と同じｘ軸方向の力Ｆｘと、ｙ軸方向の力Ｆｙと、ｚ軸方向の力Ｆｚとを得る。

ニューラルネット学習に際して、学習回数は例えば２０００回、７０００回，２００００回などの回数行う。本願発明者が実験した結果では、２０００回の学習回数で十分な教師信号が得られた。また、ニューラルネット学習に際して必要な中間層の数についても、４個，６個，８個などが採用可能である。実験では中間層の数６個で好ましい結果が得られた。

図１０は、本実施の形態による３次元触覚センサによるｘ軸方向の出力値と、６軸センサによる出力値とを比較したもので、時間の経過と共にセンサに与える力を逐次変化させた例としてある。図１０で実線で示した力の値は、本実施の形態による３次元触覚センサの出力値であり、破線で示した力の値は、既存の６軸センサによる出力値である。
この図１０から判るように、本実施の形態による３次元触覚センサの出力値は、従来から知られた高価で高精度な６軸センサとほぼ同じ出力値が得られ、高精度な３次元触覚センサであることが判る。

このようにして本実施の形態による３次元触覚センサで得られた力の値は、例えば図１に示した表示装置５０に、値として表示させる他に、図形で力を表示させてもよい。即ち、例えば図１１（ａ）〜（ｄ）は、それぞれ図形による表示例を示したものである。
図１１（ａ）〜（ｄ）に示したように、底面１０１上に接触した円錐１０３を表示させ、その円錐１０３の接触点１０２を、検出した作用点の位置とし、円錐１０３の向きを検出した力が作用する方向（入射角度）とし、円錐１０３の大きさを検出した力の大きさに対応させて、表示させる。このようにして、コンピュータグラフィックを用いて描画すれば、圧力情報を直感的に示すことも可能になる。

本実施の形態による３次元触覚センサは、例えば携帯電話端末に内蔵されているような超小型のカメラを用いることで装置を小型化でき、例えばロボットハンドの指先にも装着することが可能となる。ロボットハンドの指先に装着することで、ロボットハンドの指先に加わる力の大きさや向きを知ることが可能となるため、ロボットハンドによる適切な物体把持が可能となる。

また、コンピュータ装置やゲーム機器などが必要とする情報入力用ポインティングデバイスにも適用可能である。従来のタッチパッドやジョイスティック等の情報入力用ポインティングデバイスでは、パッドに触れている位置か、あるいはスティックの傾きのみが検出可能であった。これに対して本実施の形態による３次元触覚センサの場合には、例えば図１２に示すように、操作棒１で弾性体膜１２を押して操作するようにしたことで、押す際の位置，方向，大きさが３次元触覚センサ１０で検出可能となり、より多くの情報が利用可能な情報入力用ポインティングデバイスが実現できるようになる。
図１２の例では、操作棒を用意した例であるが、手指で直接弾性体膜１２を押して、その押す位置、方向、力の強さで操作するようにしてもよい。

なお、図９のニューラルネット学習を利用して、位置情報から力情報に写像（変換）する例は、画像情報から力情報を得る一例であり、その他の方法を適用してもよい。
例えば、対応表による交点位置から力情報への写像を行うようにしても良い。即ち、弾性体膜１２の任意の位置を、任意の力で、任意の方向に押した場合の交点位置情報を事前に求めておく。そして、両者の関係（即ち弾性体膜１２の変形位置と押された力及び押された方向との関係）を多数、対応表として処理装置内に記憶させておけば、カメラ部３０で撮影された画像から交点位置情報が得られた際に、弾性体膜１２を押している物体の「接触位置」「力の大きさ」「入射角度」を出力することが可能となる。

さらに別の画像情報から力情報を得る処理として、重回帰分析による交点位置から力情報への写像を行うようにしてもよい。この場合、目的変数は弾性体を押している物体の「接触位置」「力の大きさ」「入射角度」であり、説明変数は交点位置情報となる。

なお、図１から図３に示した構成例では、弾性体膜１２は平面状に形成させたが、例えば図１３に示すように、スペーサ１４の上に配置する弾性体膜として、断面形状が外側に凸状に突出した形状に成形された凸状弾性体膜１２′としてもよい。この図１３の場合でも、外側から押された場合には、第１光源２１及び第２光源２２で照明される位置まで窪む必要がある。図１３の凸状弾性体膜１２′以外の部分は、図１〜図３に示した触覚センサ１０と同様に構成する。

図１３の例の場合には、弾性体膜１２′を押す際の押す長さが長くなってしまう。
この点を改善するためには、例えば図１４に示した構成が適用可能である。
図１４の例では、平面状に張った弾性体膜１２の上に、さらに別の補助弾性体膜１６を表面に載せる。補助弾性体膜１６についても、縁部を保持枠１３（図１４では図示せず）に保持させる。弾性体膜１２と補助弾性体膜１６の間には、ある程度の大きさを有する何らかの物体、例えば球体１７を配置する。球体１７は、接着部１７ａで弾性体膜１２側に接着させる。この場合、弾性体膜１２が平面状になるようにし、補助弾性体膜１６は、球体１７の高さだけ外側に突出するようにする。球体１７は、弾性体膜１２と同等か、それ以上の固さの弾性体の球とする。補助弾性体膜１６と球体１７との間は接着しない。図１４の弾性体膜１２，１６の部分以外は、図１〜図３に示した触覚センサ１０と同様に構成する。

このように構成した場合に、弾性体膜１２，１６に圧力が加わった場合の例を図１５及び図１６に示す。
図１５は、上方から弾性体膜１２，１６を押した場合の例である。図１５（ａ）に示すように押されていない状態から、押されることで、球体１７に押されて弾性体膜１２が内側に窪み、図１５（ｂ）及び（ｃ）に示すように、弾性体膜１２の裏面が各光源２１，２２からの光で照明されるようになる。弾性体膜１２よりも接触面の広い物体で押された場合は、図１５（ｃ）の状態と同じように、物体はスペーサ１４にぶつかり、弾性体膜１２はそれ以上、内側には窪まない。

図１６は、同じ構成で斜め上方から弾性体膜１２，１６を押した場合の例である。図１６（ａ）に示すように押されていない状態から、押されることで、球体１７が押された方向に移動しながら、弾性体膜１２が内側に窪み、図１６（ｂ）及び（ｃ）に示すように、弾性体膜１２の裏面が各光源２１，２２からの光で照明されるようになる。このように斜めに押した場合でも、弾性体膜１２よりも接触面の広い物体で押された際には、図１６（ｃ）の状態と同じように、物体はスペーサ１４にぶつかり、弾性体膜１２はそれ以上、内側には窪まない。

この図１４〜図１６に示した構成としたことで、筐体１１の表面から突出した弾性体膜を使用しても、正確に力の情報を検出することが可能となる。従って、図１４の構成の３次元触覚センサを、例えばロボットハンド用の触覚センサとして使用して、ロボットハンドの先端に取付けることで、そのロボットハンドでつかむ動作を行う際に、突出した弾性体膜が該当する物体と触れて、接触圧力を正確に測定できるようになる。

また、ここまで説明した各例では、光源として第１光源２１と第２光源２２とを用意して、その２種類の光源で弾性体膜の裏面を照明させるようにしたが、１種類の光源だけを用意して、その照明された画像から力を検出させるようにしてもよい。光源を１種類とすることで構成がより簡単になる。但し、弾性体膜の変形状態を検出するための位置情報（図６に示した各交点の情報）の情報量が少なくなるため、弾性体膜の変形状態の検出精度がそれだけ劣化する。

また、図１に示した構成例では、演算処理装置４０や表示装置５０として、触覚センサ用の専用のものを用意する構成として説明したが、これらの装置の代りにパーソナルコンピュータ装置などの汎用の情報処理装置を用意して、その情報処理装置に図８のフローチャートなどの処理を実行するソフトウェアを実装させて、同様の力の情報の算出処理（変換処理）や、表示処理を行うようにしてもよい。

本発明の一実施の形態による全体構成例を示す構成図である。 本発明の一実施の形態によるセンサの断面図である。 本発明の一実施の形態によるセンサの分解斜視図である。 本発明の一実施の形態によるセンサでのシート裏面の照明状態（初期状態）を示す説明図である。 本発明の一実施の形態によるセンサでのシート裏面の照明状態（ある程度強く押された状態）を示す説明図である。 本発明の一実施の形態による各領域の検出状態の例を示す説明図である。 本発明の一実施の形態による弾性体膜の弾性変形時の状態を示す模式図である。 本発明の一実施の形態による画像処理例を示すフローチャートである。 本発明の一実施の形態によるニューラルネットワーク学習の例を示す説明図である。 本発明の一実施の形態の構成で得られたセンサ出力を従来の別のセンサと比較した特性図である。 本発明の一実施の形態による表示例を示す説明図である。 本発明の一実施の形態によるセンサの適用例を示す説明図である。 本発明の一実施の形態の変形例によるセンサ（シートを凸状にした例）を示す説明図である。 本発明の一実施の形態のさらに別の変形例によるセンサ（シート上に別の物体を配置した例）を示す断面図である。 図１４例で垂直方向に力が加わった状態を示した説明図である。 図１４例で斜め方向に力が加わった状態を示した説明図である。

符号の説明

１…操作棒、１ａ…先端部、２…手指、２ａ…先端部、１１…筐体、１２…弾性体膜、１２′…凸状弾性体膜、１２ａ…縁部、１３…保持枠、１３ａ…孔、１４…スペーサ、１４ａ…孔、１５…スペーサ、１５ａ…孔、１６…補助弾性体膜、１７…球体、１７ａ…接着部、２１…第１光源、２２…第２光源、３０…カメラ部、３１…レンズ部、４０…演算処理装置、５０…表示装置、１０１…底面、１０２…接触点、１０３…円錐

Claims (17)

1. 表面側から押された場合に、押された力と押された方向を検出する３次元触覚センサであって、
   弾性変形可能で、表面側から押されることで裏面側に窪むことが可能に保持された弾性体膜と、
   前記弾性体膜の裏面に所定の間隔を開けて配置され、前記弾性体膜の裏面と平行に光を照射する光源と、
   前記弾性体膜の裏面を撮影するカメラ部と、
   前記カメラ部で撮影された画像から、前記弾性体膜の裏面に前記光源からの光が届く範囲を検出し、その検出した範囲に基づいて前記弾性体膜の変形状態を判別し、この判別結果に基いて前記弾性体膜が押された力と押された方向を算出する算出処理部とを備えたことを特徴とする
   ３次元触覚センサ。
2. 請求項１記載の３次元触覚センサにおいて、
   前記算出処理部は、前記弾性体膜の裏面の前記光源からの光が届く範囲中の、輝度が最も暗くなる位置を、押された位置と判別することを特徴とする
   ３次元触覚センサ。
3. 請求項１又は２記載の３次元触覚センサにおいて、
   前記弾性体膜の表面と平行に光を照射する光源として、
   前記弾性体膜の裏面に近接して配置され第１の発光色の第１の光源と、
   前記第１の光源と所定の間隔を開けて配置され、前記第１の発光色とは異なる第２の発光色の第２の光源とを備え、
   前記算出処理部は、前記カメラ部で撮影する画像から、前記弾性体膜の裏面の、前記第１の発光色で照明された範囲と、前記第２の発光色で照明された範囲とを判別することを特徴とする３次元触覚センサ。
4. 請求項３記載の３次元触覚センサにおいて、
   前記第１の光源は設けず、前記第２の光源だけを設けた構成としたことを特徴とする３次元触覚センサ。
5. 請求項３記載の３次元触覚センサにおいて、
   前記算出処理部は、前記カメラ部で撮影された画像で、前記第１の光源からの光が最初に照明されたことを検出した位置を、前記弾性体膜が押され始めた位置と判別することを特徴とする３次元触覚センサ。
6. 請求項１〜５のいずれか１項記載の３次元触覚センサにおいて、
   前記算出処理部で判別した前記弾性体膜の変形状態から、前記弾性体膜が押された力と押された方向を算出する処理は、ニューラルネットワーク学習を利用して算出する処理を行うことを特徴とする３次元触覚センサ。
7. 請求項１〜５のいずれか１項記載の３次元触覚センサにおいて、
   前記算出処理部で判別した前記弾性体膜の変形状態から、前記弾性体膜が押された力と押された方向を算出する処理は、前記弾性体膜が変形した際の検出位置と、押された力及び押された方向との対応表を用意し、前記対応表を利用して算出する処理を行うことを特徴とする３次元触覚センサ。
8. 請求項１〜５のいずれか１項記載の３次元触覚センサにおいて、
   前記算出処理部で判別した前記弾性体膜の変形状態から、前記弾性体膜が押された力と押された方向を算出する処理は、重回帰分析により前記弾性体膜が変形した際の検出位置から力情報に写像する処理を行うことを特徴とする３次元触覚センサ。
9. 請求項１〜８のいずれか１項記載の３次元触覚センサにおいて、
   前記弾性体膜の表面に所定の部材を配置し、前記部材を介して前記弾性体膜が押された力を算出することを特徴とする３次元触覚センサ。
10. 表面側から押された場合に、押された力と押された方向を検出する３次元触覚センシング方法であって、
    弾性変形可能で、表面側から押されることで裏面側に窪むことが可能に保持された弾性体膜の裏面に所定の間隔を開けて、前記弾性体膜の裏面と平行に光を照射し、
    前記弾性体膜の裏面を撮影し、
    前記撮影された画像から、前記弾性体膜の裏面に前記光が届く範囲を検出し、その検出した範囲に基づいて前記弾性体膜の変形状態を判別し、この判別結果に基いて前記弾性体膜が押された力と押された方向を算出することを特徴とする
    ３次元触覚センシング方法。
11. 請求項１０記載の３次元触覚センシング方法において、
    前記弾性体膜の裏面の前記光源からの光が届く範囲中の、輝度が最も暗くなる位置を、押された位置と判別することを特徴とする
    ３次元触覚センシング方法。
12. 請求項１０又は１１記載の３次元触覚センシング方法において、
    前記弾性体膜の表面と平行に照射する光として、
    前記弾性体膜の裏面に近接して照射する第１の色の光と、
    前記第１の光と所定の間隔を開けて照射する第１の色とは異なる第２の色の光を用意し、
    前記撮影された画像から、前記弾性体膜の裏面の、前記第１の色で照明された範囲と、前記第２の色で照明された範囲とを判別することを特徴とする３次元触覚センシング方法。
13. 請求項１２記載の３次元触覚センシング方法において、
    前記撮影された画像で、前記第１の色の光が最初に照明されたことを検出した位置を、前記弾性体膜が押され始めた位置と判別することを特徴とする３次元触覚センシング方法。
14. 請求項１０〜１３のいずれか１項記載の３次元触覚センシング方法において、
    前記判別した前記弾性体膜の変形状態から、前記弾性体膜が押された力と押された方向を算出する処理は、ニューラルネットワーク学習を利用した算出処理を行うことを特徴とする３次元触覚センシング方法。
15. 請求項１０〜１３のいずれか１項記載の３次元触覚センシング方法において、
    前記算出処理部で判別した前記弾性体膜の変形状態から、前記弾性体膜が押された力と押された方向を算出する処理は、前記弾性体膜が変形した際の検出位置と、押された力及び押された方向との対応表を用意し、前記対応表を利用して算出する処理を行うことを特徴とする３次元触覚センシング方法。
16. 請求項１０〜１３のいずれか１項記載の３次元触覚センシング方法において、
    前記算出処理部で判別した前記弾性体膜の変形状態から、前記弾性体膜が押された力と押された方向を算出する処理は、重回帰分析により前記弾性体膜が変形した際の検出位置から力情報に写像する処理を行うことを特徴とする３次元触覚センシング方法。
17. 請求項１０〜１６のいずれか１項記載の３次元触覚センシング方法において、
    前記前記弾性体膜の表面に所定の部材を配置し、前記部材を介して前記弾性体膜が押された力を算出することを特徴とする３次元触覚センシング方法。

Images