JP2007147443A - Optical touch sensor - Google Patents

Optical touch sensor Download PDF

Info

Publication number
JP2007147443A
JP2007147443A JP2005342133A JP2005342133A JP2007147443A JP 2007147443 A JP2007147443 A JP 2007147443A JP 2005342133 A JP2005342133 A JP 2005342133A JP 2005342133 A JP2005342133 A JP 2005342133A JP 2007147443 A JP2007147443 A JP 2007147443A
Authority
JP
Japan
Prior art keywords
layer
force
marker
tactile sensor
elastic member
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005342133A
Other languages
Japanese (ja)
Other versions
JP4708979B2 (en
Inventor
Koichi Mizota
晃一 溝田
Atsushi Ueda
敦 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nitta Corp
Original Assignee
Nitta Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nitta Corp filed Critical Nitta Corp
Priority to JP2005342133A priority Critical patent/JP4708979B2/en
Publication of JP2007147443A publication Critical patent/JP2007147443A/en
Application granted granted Critical
Publication of JP4708979B2 publication Critical patent/JP4708979B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an optical touch sensor to shorten calculation time for finding force distribution. <P>SOLUTION: A green LED 51 is disposed in a sheet layer 10. When a force is applied to an upper surface part 41 of an enclosure 40, the brightness of a force receiving area with the force applied thereto changes to brightness corresponding to the strength of the force. Force distribution in the surface part 41 of the enclosure 40 is calculated based only on movement information on markers existing in the receiving area. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、光学式触覚センサに関し、特に比較的大きな領域の圧力分布の計測に有効な光学式触覚センサに関するものである。   The present invention relates to an optical tactile sensor, and more particularly to an optical tactile sensor effective for measuring a pressure distribution in a relatively large region.

接触面の接触状態に基づいて接触面の各点に加わる力を検出する触覚センサが知られている。ここで、接触面の各点に加わる力は大きさ及び方向を有する3成分のベクトルで表される。これを図1の座標系でf(x,y)と表すことにする。ただしfはベクトルであるため、実際には各点においてx,y,z3成分を持つ。それぞれの成分を明示的に示す場合にはf(x,y)=[fx(x,y),fy(x,y),fz(x,y)]と表す。力分布が各接触点において3成分を持つことから、触覚センサによって接触面の力分布を再構成するためには少なくとも接触面の各点に対して3自由度以上の情報を得なければならない。   A tactile sensor that detects a force applied to each point on a contact surface based on a contact state of the contact surface is known. Here, the force applied to each point on the contact surface is represented by a three-component vector having a magnitude and a direction. This is expressed as f (x, y) in the coordinate system of FIG. However, since f is a vector, it actually has x, y, z3 components at each point. When each component is explicitly indicated, it is expressed as f (x, y) = [fx (x, y), fy (x, y), fz (x, y)]. Since the force distribution has three components at each contact point, in order to reconstruct the force distribution on the contact surface by the tactile sensor, information of at least three degrees of freedom must be obtained for each point on the contact surface.

そこで、本出願の発明者は、3次元ベクトル分布の計測が可能な光学式触覚センサを開発した。この光学式触覚センサの原理について、図2に基づいて説明する。この光学式触覚センサでは、透明弾性体で形成されたマーカー層520内に、複数の赤色マーカー521及び複数の青色マーカー522が高さの異なる2つの平行面内に配置されている。そして、外部から力が加えられた場合には、その力による各赤色マーカー521及び各青色マーカー522の動作がCCDカメラ等で撮影される。このようにして得られる各マーカーの移動情報に基づいて、弾性体の表面に力が加わった時のマーカー層520の内部の変形情報が計測され、力分布が再構築される。   Accordingly, the inventors of the present application have developed an optical tactile sensor capable of measuring a three-dimensional vector distribution. The principle of this optical tactile sensor will be described with reference to FIG. In this optical tactile sensor, a plurality of red markers 521 and a plurality of blue markers 522 are arranged in two parallel planes having different heights in a marker layer 520 formed of a transparent elastic body. When a force is applied from the outside, the operation of each red marker 521 and each blue marker 522 by the force is photographed by a CCD camera or the like. Based on the movement information of each marker thus obtained, deformation information inside the marker layer 520 when a force is applied to the surface of the elastic body is measured, and the force distribution is reconstructed.

マーカー層520の表面をxy平面、垂直方向をz軸にとりCCDカメラを用いてz方向から各マーカーを撮影することにより、力が加わった際の測定点の移動をxy平面方向の移動ベクトルとして計測する。マーカーの移動情報から力ベクトル分布を再構築するために、マーカー層520の内部の異なった深さに測定点として赤色マーカー及び青色マーカーをそれぞれN×N個配設することで深さの異なった2次元移動ベクトルを2つ求め、それぞれ異なった情報として扱うことで、情報量を増やして力ベクトル分布を求める。   The surface of the marker layer 520 is taken as the xy plane, the vertical direction is taken as the z axis, and each marker is photographed from the z direction using a CCD camera, thereby measuring the movement of the measurement point when a force is applied as a movement vector in the xy plane direction. To do. In order to reconstruct the force vector distribution from the marker movement information, N × N red markers and blue markers are arranged at different depths inside the marker layer 520 as the measurement points. By obtaining two two-dimensional movement vectors and treating them as different pieces of information, the amount of information is increased to obtain a force vector distribution.

このような光学式触覚センサの用途としては、例えば椅子の座面に用いることで座っている人間の臀部に加わる圧力分布の計測、ベッドに用いることで寝ている人間の圧力分布の計測、床面に用いることで歩行計測または重心動揺計測などに適用することが考えられ、大面積の力分布計測が行われる。ここで、この光学式触覚センサによる大面積の力分布計測の実用化や応用を考えた場合には、力分布を求めるための計算時間の短縮が課題となるので、本発明者は上記計算時間を短縮するための手法を提案している(例えば、特許文献1参照)。
国際公開公報WO2005/029027 A1
Applications of such an optical tactile sensor include, for example, measurement of pressure distribution applied to a person's buttocks sitting on a seat of a chair, measurement of pressure distribution of a human sleeping on a bed, flooring It can be applied to walking measurement or center-of-gravity sway measurement by using it on the surface, and large area force distribution measurement is performed. Here, when practical application and application of force distribution measurement of a large area by this optical tactile sensor is considered, it becomes a problem to shorten the calculation time for obtaining the force distribution. Has been proposed (for example, see Patent Document 1).
International Publication No. WO2005 / 029027 A1

本発明者は、上記課題を解決するための研究をさらに行った結果、光学式触覚センサの有する全てのマーカーの移動情報を用いて力分布を算出するのではなく、外部から力が加えられた受力領域を判定し、その領域内にあるマーカーの移動情報だけを用いて力分布を算出すると、上記計算時間の大幅な短縮が可能であることを見出した。   As a result of further research to solve the above problems, the present inventor applied force from the outside rather than calculating force distribution using movement information of all markers of the optical tactile sensor. It has been found that if the force-receiving area is determined and the force distribution is calculated using only the movement information of the markers in the area, the calculation time can be greatly reduced.

課題を解決するための手段および発明の効果Means for Solving the Problems and Effects of the Invention

本発明の光学式触覚センサは、外部から力が加えられる受力層と、互いに異なる種類のマーカーをそれぞれ含む複数のマーカー群が内部に設けられた弾性及び透光性を有するマーカー層と、前記受力層と前記マーカー層との間に配置されており、前記受力層に力が加えられた場合に、その力が加えられた領域が力の大きさに応じた明るさに変化するシート層と、前記マーカー層に対して前記受力層と反対側に配置されており、前記マーカー層内の各マーカー及び前記シート層を撮影する撮影装置と、前記撮影装置による撮影結果に基づいて、前記シート層において所定の明るさよりも明るい受力領域を判定する判定手段と、前記判定手段において所定の明るさよりも明るい受力領域と判定された領域内にあるマーカーを、前記マーカー層内の各マーカーのなかで前記受力層における力分布を求めるための計算に用いられるマーカーに決定する決定手段と、前記撮影装置による撮影結果から得られる前記決定手段で決定されたマーカーの移動情報に基づいて、前記受力層における力分布を算出する算出手段とを備えている。   The optical tactile sensor of the present invention includes a force receiving layer to which a force is applied from the outside, a marker layer having elasticity and translucency provided therein with a plurality of marker groups each including a different type of marker, A sheet that is arranged between a force receiving layer and the marker layer, and when a force is applied to the force receiving layer, the area where the force is applied changes to a brightness corresponding to the magnitude of the force. Layer, and the marker layer is disposed on the opposite side of the force-receiving layer, and based on the imaging result of the imaging device, an imaging device for imaging each marker and the sheet layer in the marker layer, Determination means for determining a power receiving area brighter than a predetermined brightness in the sheet layer, and a marker in the power receiving area determined to be brighter than the predetermined brightness in the determination means Based on the marker movement information determined by the determination means obtained from the imaging result of the imaging device and the determination means for determining the marker used in the calculation for obtaining the force distribution in the force receiving layer among the markers And calculating means for calculating a force distribution in the force receiving layer.

この構成によると、受力層において力が加えられた領域に対応した受力領域内にあるマーカーの移動情報だけに基づいて力分布が算出される。従って、全てのマーカーの移動情報に基づいて力分布が算出される場合と比較して、力分布を求めるための計算時間を大幅に短縮することができる。   According to this configuration, the force distribution is calculated based only on the movement information of the marker in the force receiving area corresponding to the area where the force is applied in the force receiving layer. Therefore, compared with the case where the force distribution is calculated based on the movement information of all the markers, the calculation time for obtaining the force distribution can be greatly shortened.

また、本発明の光学式触覚センサにおいて、前記マーカー層、前記シート層及び前記撮影装置を収容し且つ遮光性を有する筐体と、前記筐体内において前記マーカー層に対して前記受力層と反対側に配置された第1の光源とをさらに備えていてもよい。この構成によると、受力領域を正確に判定することができる。   Further, in the optical tactile sensor of the present invention, a housing that houses the marker layer, the sheet layer, and the imaging device and has a light shielding property, and the force receiving layer that is opposite to the force-receiving layer with respect to the marker layer in the housing And a first light source disposed on the side. According to this configuration, the force receiving area can be accurately determined.

また、本発明の光学式触覚センサにおいて、前記シート層は、弾性及び透光性を有する弾性部材と、前記弾性部材内に光を供給する第2の光源とを有しており、前記弾性部材のマーカー層側の面には凹凸が形成されていてもよい。   In the optical tactile sensor of the present invention, the sheet layer includes an elastic member having elasticity and translucency, and a second light source that supplies light into the elastic member, and the elastic member Irregularities may be formed on the surface of the marker layer.

また、本発明の光学式触覚センサにおいて、前記シート層は、感圧塗料による印刷層を有していてもよい。この構成によると、シート層には光源を設けなくてもよいので、製造コストを低減できる。   In the optical tactile sensor of the present invention, the sheet layer may have a printed layer made of a pressure-sensitive paint. According to this configuration, it is not necessary to provide a light source in the sheet layer, so that the manufacturing cost can be reduced.

また、本発明の光学式触覚センサにおいて、前記シート層は、弾性及び透光性を有する弾性部材をさらに有しており、前記印刷層は、前記弾性部材の前記マーカー層と反対側の面に配置されていると共に、前記弾性部材の前記マーカー層と同じ側の面には凹凸が形成されていてもよい。   In the optical tactile sensor of the present invention, the sheet layer further includes an elastic member having elasticity and translucency, and the printed layer is disposed on a surface of the elastic member opposite to the marker layer. In addition to being disposed, the surface of the elastic member on the same side as the marker layer may be provided with irregularities.

また、本発明の光学式触覚センサにおいて、前記シート層は、応力発光塗料による印刷層を有していてもよい。この構成によると、シート層には光源を設けなくてもよいので、製造コストを低減できる。   Moreover, the optical tactile sensor of this invention WHEREIN: The said sheet | seat layer may have the printing layer by stress luminescent paint. According to this configuration, it is not necessary to provide a light source in the sheet layer, so that the manufacturing cost can be reduced.

また、本発明の光学式触覚センサにおいて、前記シート層は、弾性及び透光性を有する弾性部材をさらに有しており、前記印刷層は、前記弾性部材の前記マーカー層と反対側の面に配置されていてもよい。   In the optical tactile sensor of the present invention, the sheet layer further includes an elastic member having elasticity and translucency, and the printed layer is disposed on a surface of the elastic member opposite to the marker layer. It may be arranged.

また、本発明の光学式触覚センサにおいて、前記シート層は、弾性及び透光性を有すると共に、感圧塗料または応力発光塗料が混ぜ合わされて製造された弾性部材を有していてもよい。この構成によると、シート層には光源を設けなくてもよいので、製造コストを低減できると共に、シート層の製造が容易になる。   In the optical tactile sensor of the present invention, the sheet layer may have elasticity and translucency, and may have an elastic member manufactured by mixing a pressure sensitive paint or a stress luminescent paint. According to this configuration, since it is not necessary to provide a light source in the sheet layer, the manufacturing cost can be reduced and the manufacturing of the sheet layer is facilitated.

以下、本発明の好適な実施の形態について、図面を参照しつつ説明する。図3は、本発明の第1の実施の形態に係る光学式触覚センサの構成を示す図である。   Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. FIG. 3 is a diagram showing a configuration of the optical tactile sensor according to the first embodiment of the present invention.

図3に示す光学式触覚センサ1は、遮光性を有する筐体40と、筐体40内に収容されたシート層10、マーカー層20及びCCDカメラ30と、コンピュータ(図示しない)に記憶された演算部60とを有している。筐体40は、可撓性を有する材料で形成された直方体形状の箱状の部材である。ここで、本実施の形態では、筐体40の上面部41が、外部から力が加えられる受力層すなわちセンサ面45となる。また、光学式触覚センサ1は、筐体40内においてマーカー層20に対して受力層10と反対側に配置された白色LED50と、シート層10内に配置された緑色LED51とを有している。   The optical tactile sensor 1 shown in FIG. 3 is stored in a light-shielding housing 40, a sheet layer 10, a marker layer 20 and a CCD camera 30 housed in the housing 40, and a computer (not shown). And an arithmetic unit 60. The housing 40 is a rectangular parallelepiped box-shaped member formed of a flexible material. Here, in the present embodiment, the upper surface portion 41 of the housing 40 is a force receiving layer, that is, a sensor surface 45 to which a force is applied from the outside. The optical tactile sensor 1 has a white LED 50 disposed on the opposite side of the force receiving layer 10 with respect to the marker layer 20 in the housing 40 and a green LED 51 disposed in the sheet layer 10. Yes.

シート層10は、筐体40の上面部41とマーカー層20との間に配置されている。シート層10は、弾性及び透光性を有するシリコンゴムで形成されており、その下面(マーカー層20側の面)には多数の突起11が設けられている。従って、筐体40の上面部41に外部から力が加えられた場合には、その受力領域に対応したシート層10が撓み、その領域内の突起11がマーカー層20の上面に押し付けられて変形する。ここで、上述したように、シート層10内には緑色LED51が配置されており、筐体40の上面部41に力が加えられた場合には、その力が加えられた受力領域が力の大きさに応じた明るさに変化する。   The sheet layer 10 is disposed between the upper surface portion 41 of the housing 40 and the marker layer 20. The sheet layer 10 is formed of silicon rubber having elasticity and translucency, and a large number of protrusions 11 are provided on the lower surface (the surface on the marker layer 20 side). Therefore, when a force is applied to the upper surface portion 41 of the housing 40 from the outside, the sheet layer 10 corresponding to the force receiving region is bent, and the protrusion 11 in the region is pressed against the upper surface of the marker layer 20. Deform. Here, as described above, the green LED 51 is arranged in the sheet layer 10, and when a force is applied to the upper surface portion 41 of the housing 40, the force receiving region to which the force is applied is the force region. The brightness changes according to the size of the.

マーカー層20は、弾性及び透光性を有するシリコンゴムで形成されており、その上端部近傍には多数のマーカーが埋設されている。多数のマーカーは、2つのマーカー群にそれぞれ含まれる2種類のものに区別され、互いに異なる深さの部分にそれぞれ埋設されている。ここで、本実施の形態では、2つのマーカー群には互いに異なる色を有するマーカーが含まれており、一方のマーカー群には赤色マーカー21が含まれ、他方のマーカー群には青色マーカー22が含まれている。   The marker layer 20 is made of elastic and translucent silicon rubber, and a large number of markers are embedded in the vicinity of the upper end portion thereof. A large number of markers are classified into two types respectively included in two marker groups, and are embedded in portions having different depths. Here, in the present embodiment, the two marker groups include markers having different colors, one marker group includes the red marker 21, and the other marker group includes the blue marker 22. include.

CCDカメラ30は、筐体40内の下端部近傍に配置されており、マーカー層20内の各マーカー21、22及びシート層10を撮影するものである。CCDカメラ30は、ディジタル式カメラすなわち画像データを電気信号として出力するカメラである。本発明に係る撮影装置は、CCDカメラに限定されるものではなく、例えばC-MOS式イメージセンサを用いたディジタルカメラでもよい。   The CCD camera 30 is disposed in the vicinity of the lower end portion in the housing 40 and photographs the markers 21 and 22 and the sheet layer 10 in the marker layer 20. The CCD camera 30 is a digital camera, that is, a camera that outputs image data as an electrical signal. The photographing apparatus according to the present invention is not limited to a CCD camera, and may be a digital camera using a C-MOS image sensor, for example.

ここで、マーカー層20は、好ましくはシリコンゴムから形成されるが、他のゴム類やエラストマー等の他の弾性部材から形成されてもよい。また、マーカーが埋設されていることによってマーカー層20の変形が阻害されてはならないので、各マーカー21、22は、弾性部材(好ましくは、弾性体と同等の弾性定数を有するもの)から形成されていることが好ましく、さらに好ましくはマーカー層20と同じ材料から構成され、一つの好ましい態様では、シリコンゴムに色素を加えたものから構成される。また、各マーカーは、マーカー層20の変形を阻害しない程度に十分に微小なものであれば、各マーカーの材質は特に限定されない。また、マーカー層20の各部分がマーカーを構成するものであってもよい。本実施の形態では、マーカー層20が2つのマーカー群を有する場合を示すが、マーカー群の数は限定されない。   Here, the marker layer 20 is preferably formed of silicon rubber, but may be formed of other elastic members such as other rubbers and elastomers. In addition, since the marker layer 20 should not be inhibited from being deformed by the embedded marker, each of the markers 21 and 22 is formed of an elastic member (preferably having an elastic constant equivalent to that of the elastic body). More preferably, it is comprised from the same material as the marker layer 20, and in one preferable aspect, it is comprised from what added the pigment | dye to silicon rubber. Further, the material of each marker is not particularly limited as long as each marker is sufficiently small so as not to inhibit the deformation of the marker layer 20. Moreover, each part of the marker layer 20 may constitute a marker. Although the case where the marker layer 20 has two marker groups is shown in the present embodiment, the number of marker groups is not limited.

また、光学式触覚センサ1は、上述したように、筐体40の上面部41に力が加えられた場合に、CCDカメラ30により得られる撮影結果に基づいて、筐体40の上面部41における力分布を算出する演算部60を有している。演算部60には、判定部61と、決定部62と、移動情報検出部63と、算出部64とが形成されている。   Further, as described above, the optical tactile sensor 1 is provided on the upper surface portion 41 of the housing 40 based on the photographing result obtained by the CCD camera 30 when a force is applied to the upper surface portion 41 of the housing 40. It has the calculating part 60 which calculates force distribution. The calculation unit 60 includes a determination unit 61, a determination unit 62, a movement information detection unit 63, and a calculation unit 64.

判定部61は、CCDカメラ30による撮影結果に基づいて、シート層10において所定の明るさよりも明るい受力領域を判定する。光学式触覚センサ1では、筐体40の上面部41に外部から力が加えられた場合には、その受力領域内の突起11が大きく変形する。その結果、シート層10の受力領域の明るさが、力が加えられる前と比較して明るくなる。ここで、判定部61には、受力領域を判定する際に用いられる閾値が設定されている。つまり、判定部61では、閾値に対応した所定の明るさよりも明るい領域を受力領域と判定する。   The determination unit 61 determines a power receiving area brighter than a predetermined brightness in the sheet layer 10 based on the photographing result by the CCD camera 30. In the optical tactile sensor 1, when an external force is applied to the upper surface portion 41 of the housing 40, the protrusion 11 in the force receiving region is greatly deformed. As a result, the brightness of the force receiving area of the sheet layer 10 becomes brighter than before the force is applied. Here, the determination unit 61 is set with a threshold value used when determining the force-receiving area. That is, in the determination unit 61, an area brighter than a predetermined brightness corresponding to the threshold value is determined as the power receiving area.

決定部62は、マーカー層20内の各マーカーのなかで筐体40の上面部41における力分布を求めるための計算に用いられるマーカーを決定する。つまり、決定部62は、判定部61において所定の明るさよりも明るい受力領域と判定された領域内にあるマーカーを決定する。   The determination unit 62 determines a marker used for calculation for obtaining a force distribution in the upper surface portion 41 of the housing 40 among the markers in the marker layer 20. That is, the determination unit 62 determines a marker in an area that is determined as a power receiving area brighter than the predetermined brightness by the determination unit 61.

移動情報検出部63は、決定部62で決定されたマーカーに関する移動情報をCCDカメラ30による撮影結果に基づいて検出する。   The movement information detection unit 63 detects movement information related to the marker determined by the determination unit 62 based on the photographing result by the CCD camera 30.

算出部64は、移動情報検出部63で検出されたマーカーの移動情報に基づいて、筐体40の上面部41における力分布を算出する。ここで、算出部64は、各マーカーの移動情報から筐体40の上面部41に加えられた力ベクトルまたは力ベクトル分布を再構成するための伝達関数を格納している。伝達関数は、筐体40の上面部41に加えられた力情報と各マーカーの移動情報とを関連づける関数である。   The calculation unit 64 calculates the force distribution in the upper surface portion 41 of the housing 40 based on the marker movement information detected by the movement information detection unit 63. Here, the calculation unit 64 stores a transfer function for reconstructing the force vector or force vector distribution applied to the upper surface portion 41 of the housing 40 from the movement information of each marker. The transfer function is a function that associates force information applied to the upper surface portion 41 of the housing 40 with movement information of each marker.

次に、筐体40の上面部41に力が加えられた場合について、図4を参照して説明する。図4(a)は、筐体40の上面部41に力が加えられた状態を示す図である。ここでは、矩形状部材70が筐体40の上面部41の中央部近傍に載せられた場合を示している。図4(b)は、図4(a)の状態における受力領域を示す図である。   Next, a case where a force is applied to the upper surface portion 41 of the housing 40 will be described with reference to FIG. FIG. 4A is a diagram showing a state in which a force is applied to the upper surface portion 41 of the housing 40. Here, a case where the rectangular member 70 is placed near the center of the upper surface portion 41 of the housing 40 is shown. FIG. 4B is a diagram showing a force receiving region in the state of FIG.

矩形状部材70が筐体40の上面部41の中央部近傍に載せられると、矩形状部材70の下面から上面部41に力が加わる。ここで、筐体40の上面部41に力が加えられる受力領域L(図4(b)で破線で囲まれた領域)は、矩形状部材70と上面部41とが接触している領域である。すると、シート層10の下面の受力領域L内の突起11が、図4(a)に示すように、マーカー層20の上面に押し付けられて変形する。このとき、シート層10の受力領域Lの明るさが力の大きさに応じた明るさに変化する。   When the rectangular member 70 is placed near the center of the upper surface portion 41 of the housing 40, a force is applied to the upper surface portion 41 from the lower surface of the rectangular member 70. Here, a force receiving region L (region surrounded by a broken line in FIG. 4B) where force is applied to the upper surface portion 41 of the housing 40 is a region where the rectangular member 70 and the upper surface portion 41 are in contact with each other. It is. Then, the protrusion 11 in the force receiving region L on the lower surface of the sheet layer 10 is pressed against the upper surface of the marker layer 20 and deformed as shown in FIG. At this time, the brightness of the force receiving area L of the sheet layer 10 changes to a brightness according to the magnitude of the force.

また、上述したように、判定部61には受力領域Lを判定する際に用いられる閾値が設定されている。従って、判定部61は、その閾値に対応した所定の明るさよりも明るい領域すなわち矩形状部材70と上面部41との接触領域を、受力領域Lと判定する。すると、決定部62は、マーカー層20内の各マーカーのなかで、受力領域L内にある15個の赤色マーカー21及び15個の青色マーカー22を、力分布を求めるための計算に用いられるマーカーに決定する。   As described above, the determination unit 61 is set with a threshold value used when determining the force receiving region L. Therefore, the determination unit 61 determines that the region brighter than the predetermined brightness corresponding to the threshold, that is, the contact region between the rectangular member 70 and the upper surface portion 41 is the force receiving region L. Then, the determination unit 62 uses the 15 red markers 21 and the 15 blue markers 22 in the force receiving region L among the markers in the marker layer 20 for calculation for obtaining the force distribution. Decide on a marker.

その後、移動情報検出部63において、30個のマーカーに関する移動情報がCCDカメラ30による撮影結果に基づいて検出される。そして、算出部64では、その移動情報に基づいて、筐体40の上面部41における力分布が算出される。つまり、光学式触覚センサ1では、受力領域L内の30個のマーカーの移動情報だけが筐体40の上面部41における力分布を算出するために用いられる。   Thereafter, the movement information detection unit 63 detects movement information related to the 30 markers based on the photographing result of the CCD camera 30. Then, the calculation unit 64 calculates the force distribution on the upper surface portion 41 of the housing 40 based on the movement information. That is, in the optical tactile sensor 1, only the movement information of the 30 markers in the force receiving region L is used to calculate the force distribution on the upper surface portion 41 of the housing 40.

次に、センサ面の大面積化が図られた大面積触覚センサ101について、図5〜図7を参照して説明する。図5(a)は、光学式触覚センサの概略構成を示し、図5(b)は、大面積触覚センサの概略構成を示している。ここで、図5(a)及び図5(b)では、筐体の図示が省略されている。また、図5(b)に示す大面積触覚センサ101では、センサ面の全体及び複数のCCDカメラは1つの筐体内に収容されると共に、複数のCCDカメラは1つの演算部に接続される。   Next, the large area tactile sensor 101 in which the sensor area is increased will be described with reference to FIGS. FIG. 5A shows a schematic configuration of the optical tactile sensor, and FIG. 5B shows a schematic configuration of the large area tactile sensor. Here, in FIG. 5A and FIG. 5B, illustration of the housing is omitted. In the large-area tactile sensor 101 shown in FIG. 5B, the entire sensor surface and the plurality of CCD cameras are housed in one housing, and the plurality of CCD cameras are connected to one arithmetic unit.

大面積触覚センサ101は、図5に示すように、上述した光学式触覚センサ1が複数組み合わされることによって構成される。複数の光学式触覚センサ1のセンサ面45が互いに同一面に配置されるように、各センサ面45の端縁同士を当接させて敷き詰めることで、大面積触覚センサ101のセンサ面145が形成される。図5では、光学式触覚センサ1の平面視矩形状のセンサ面45が図示されている。光学式触覚センサ1のセンサ面45の形状は矩形状に限定されないが、複数のセンサ面を敷き詰める際には、光学式触覚センサ1のセンサ面45は矩形状であることが好ましい。また、本実施の形態では、平面状のセンサ面145を有する大面積触覚センサ101を示すが、センサ面は平面に限定されず、自由曲面からなるセンサ面であってもよい。   As shown in FIG. 5, the large area tactile sensor 101 is configured by combining a plurality of the optical tactile sensors 1 described above. The sensor surfaces 145 of the large-area tactile sensor 101 are formed by laying the sensor surfaces 45 in contact with each other so that the sensor surfaces 45 of the plurality of optical tactile sensors 1 are arranged on the same surface. Is done. In FIG. 5, a sensor surface 45 having a rectangular shape in plan view of the optical tactile sensor 1 is illustrated. The shape of the sensor surface 45 of the optical tactile sensor 1 is not limited to a rectangular shape, but the sensor surface 45 of the optical tactile sensor 1 is preferably rectangular when laying a plurality of sensor surfaces. In the present embodiment, the large area tactile sensor 101 having the planar sensor surface 145 is shown, but the sensor surface is not limited to a flat surface, and may be a sensor surface formed of a free curved surface.

ここで、大面積触覚センサ101では、複数のCCDカメラ30が用いられるので、各CCDカメラ30によって取得された画像情報を統合する必要がある。図6は、複数台のCCDカメラによって取得された画像情報の統合について説明するための図である。   Here, since the large area tactile sensor 101 uses a plurality of CCD cameras 30, it is necessary to integrate image information acquired by the CCD cameras 30. FIG. 6 is a diagram for explaining integration of image information acquired by a plurality of CCD cameras.

大面積触覚センサ101では、複数台のCCDカメラ30が、各撮影領域が互いに部分的に重複するように配置される。そして、複数台のCCDカメラ30によって、各撮影領域の画像がそれぞれ取得される。そして、一方の撮影領域Aと他方の撮影領域Bとの重複撮影領域E内のマーカーが互いに一致するように、各CCDカメラによる画像情報を合成することで画像情報の統合を行う。   In the large area tactile sensor 101, a plurality of CCD cameras 30 are arranged so that the respective imaging regions partially overlap each other. Then, an image of each shooting area is acquired by the plurality of CCD cameras 30. Then, the image information is integrated by combining the image information from each CCD camera so that the markers in the overlapping shooting area E of the one shooting area A and the other shooting area B coincide with each other.

図6では、2台のCCDカメラの各撮影領域が図示されている。つまり、図6では、撮影領域Aにおいて重複撮影領域Eに対応する領域に含まれる赤色マーカー21及び青色マーカー22と、撮影領域Bにおいて重複撮影領域Eに対応する領域に含まれる赤色マーカー21及び青色マーカー22とを一致させるようにして、2台のCCDカメラ30によって撮影された各画像が合成される。   In FIG. 6, each imaging region of two CCD cameras is shown. That is, in FIG. 6, the red marker 21 and the blue marker 22 included in the region corresponding to the overlapping imaging region E in the imaging region A, and the red marker 21 and the blue marker included in the region corresponding to the overlapping imaging region E in the imaging region B. The images captured by the two CCD cameras 30 are combined so that the markers 22 coincide with each other.

図7は、図5(b)に示す4台のCCDカメラの撮像領域を示す図である。各CCDカメラ30で取得した撮影領域をそれぞれA,B,C,Dとすると、領域Aと領域B、領域Aと領域C、領域Bと領域D、領域Cと領域Dのそれぞれにおいて重複撮影領域Eが形成されるように、各撮影領域A,B,C,Dの画像情報が統合される。なお、図7ではマーカーは省略してある。   FIG. 7 is a diagram showing the imaging areas of the four CCD cameras shown in FIG. Assuming that the imaging areas acquired by the CCD cameras 30 are A, B, C, and D, respectively, the overlapping imaging areas are the areas A and B, the areas A and C, the areas B and D, and the areas C and D, respectively. The image information of each imaging region A, B, C, D is integrated so that E is formed. In FIG. 7, the markers are omitted.

ここで、大面積触覚センサ101の基本的な構成は、光学式触覚センサ1の構成と同様である。つまり、大面積触覚センサ101においても、センサ面145に力が加えられた場合には、シート層において、その力が加えられた受力領域の明るさが力の大きさに応じた明るさに変化する。そして、大面積触覚センサ101では、複数のCCDカメラの各撮影領域における受力領域内のマーカーの移動情報だけが力分布を算出するために用いられる。このように、大面積触覚センサ101では、マーカー層に埋設されるマーカーの数が光学式触覚センサ1と比較して著しく多くなるので、受力領域内のマーカーの移動情報だけに基づいて力分布を算出することによって、計算時間を大幅に短縮することができる。   Here, the basic configuration of the large area tactile sensor 101 is the same as the configuration of the optical tactile sensor 1. That is, even in the large area tactile sensor 101, when a force is applied to the sensor surface 145, the brightness of the force receiving area to which the force is applied becomes a brightness corresponding to the magnitude of the force in the sheet layer. Change. In the large area tactile sensor 101, only the movement information of the marker in the force receiving area in each imaging area of the plurality of CCD cameras is used to calculate the force distribution. As described above, in the large area tactile sensor 101, the number of markers embedded in the marker layer is remarkably increased as compared with the optical tactile sensor 1, so that the force distribution is based only on the movement information of the marker in the force receiving region. By calculating, the calculation time can be greatly shortened.

次に、センサ面に加えられた力ベクトル分布の再構成法について、図8を参照して説明する。   Next, a method for reconstructing the force vector distribution applied to the sensor surface will be described with reference to FIG.

光学式触覚センサ1によって得られたマーカーの移動情報(例えば、マーカーの移動情報の一つである移動ベクトル)からセンサ面に加えられた力ベクトル分布を求めるには、マーカーの移動情報Mから力情報Fへの変換が必要となる。マーカー情報Mから力情報Fへの変換は、式F=HMによって行なわれる。ここでは簡単のため二次元断面(図のy軸方向は考えない)について考えるが、一般的な三次元の場合でもアルゴリズムは同一である。   In order to obtain the force vector distribution applied to the sensor surface from the movement information of the marker obtained by the optical tactile sensor 1 (for example, the movement vector which is one of the movement information of the marker), Conversion to information F is required. Conversion from the marker information M to the force information F is performed by the formula F = HM. Here, for the sake of simplicity, a two-dimensional cross section (not considering the y-axis direction in the figure) is considered, but the algorithm is the same even in a general three-dimensional case.

fはセンサ面にかかる力ベクトル、m,nはそれぞれBlue, Redの色付けをしたマーカーのCCD素子上での移動ベクトルを表す。適当な離散化によって有限な点数(図8では4点)について考える。前述のように力ベクトルはそれぞれ3成分(x,y,z成分)をもつが、ここでは2成分(x,z成分)を考える。ここでは、説明の便宜上、図のようにx方向成分のみ観測されたとする。   f is a force vector applied to the sensor surface, and m and n are movement vectors on the CCD element of markers colored Blue and Red, respectively. Consider a finite number of points (4 points in FIG. 8) by appropriate discretization. As described above, each force vector has three components (x, y, and z components). Here, two components (x, z components) are considered. Here, for convenience of explanation, it is assumed that only the x-direction component is observed as shown in the figure.

f=[fx(1),fx(2),fx(3),fx(4),fz(1),fz(2),fz(3),fz(4)]の8成分が求めたい力分布であり、
m=[m(1),m(2),m(3),m(4)], n=[n(1),n(2),n(3),n(4)]が観測される移動ベクトルである。このm,nをまとめてxと書くことにする。
すなわち、x=[m(1),m(2),m(3),m(4),n(1),n(2),n(3),n(4)]となる。
ここで、点1においてx方向単位力(大きさ1の力)が加えられたときに観察される各マーカーの移動ベクトルm,nをまとめてMx(1)と書く。
すなわち、
Mx(1)=[m(1),m(2),m(3),m(4),n(1),n(2),n(3),n(4)]
when f=[1,0,0,0,0,0,0,0]
Force that 8 components f = [fx (1), fx (2), fx (3), fx (4), fz (1), fz (2), fz (3), fz (4)] want to find Distribution,
m = [m (1), m (2), m (3), m (4)], n = [n (1), n (2), n (3), n (4)] are observed It is a movement vector. These m and n are collectively written as x.
That is, x = [m (1), m (2), m (3), m (4), n (1), n (2), n (3), n (4)].
Here, the movement vectors m and n of each marker observed when an x-direction unit force (a force of magnitude 1) is applied at point 1 are collectively written as Mx (1).
That is,
Mx (1) = [m (1), m (2), m (3), m (4), n (1), n (2), n (3), n (4)]
when f = [1,0,0,0,0,0,0,0]

同様に、点1においてz向単位力が加えられたときに観察される各マーカーの移動ベクトルをMz(1)、点2おいてx方向単位力が加えられたときに観察される各マーカーの移動ベクトルをMx(2)等、以下同様に定める。線形弾性体(加えられた力分布と変位の間に線形加算関係が成り立つ弾性体。多くの弾性体はこの性質を満たす)の場合、一般的な力 f=[fx(1),fx(2),fx(3),fx(4),fz(1),fz(2),fz(3),fz(4)]が与えられたときに生じる移動ベクトルxは次のように書かれる。
X=Mx(1)*fx(1)+Mz(1)*fz(1)+Mx(2)*fx(2)+…+Mz(4)*fz(4)
Similarly, the movement vector of each marker observed when a z-direction unit force is applied at point 1 is Mz (1), and each marker observed when an x-direction unit force is applied at point 2 The movement vector is determined in the same manner, such as Mx (2). In the case of a linear elastic body (an elastic body in which a linear addition relation is established between the applied force distribution and displacement. Many elastic bodies satisfy this property), the general force f = [fx (1), fx (2 ), fx (3), fx (4), fz (1), fz (2), fz (3), fz (4)] are given as follows.
X = Mx (1) * fx (1) + Mz (1) * fz (1) + Mx (2) * fx (2) +… + Mz (4) * fz (4)

これを行列形式で書くと、X=H*fとなる。ただしH=[Mx(1);Mx(2);…;Mz(4)]。このHを、力fから変位xに伝達させるための写像と言う意味で伝達関数と呼ぶ。
要素ごとに書くと次のようになる。

Figure 2007147443
ただしHmx(x1,x2)は,座標x=x2の表面に加わったx方向単位力による座標x=x1における、mマーカーがある深さでのx方向変位量を表す。同様に、Hnz(x1,x2)は座標x=x2の表面に加わったz方向単位力による座標x=x1における,nマーカーがある深さでのx方向変位量を表す。 If this is written in matrix form, X = H * f. However, H = [Mx (1); Mx (2); ...; Mz (4)]. This H is called a transfer function in the sense that it is a mapping for transmitting the force f to the displacement x.
The following is written for each element.
Figure 2007147443
However, Hmx (x1, x2) represents the amount of displacement in the x direction at the depth where the m marker is located at the coordinate x = x1 by the unit force in the x direction applied to the surface of the coordinate x = x2. Similarly, Hnz (x1, x2) represents the amount of displacement in the x direction at a depth where there is an n marker at a coordinate x = x1 due to a unit force in the z direction applied to the surface of the coordinate x = x2.

観測されたxからfを求めるにはHの逆行列をかけてやればよい。すなわち
f=inv(H)*x(式1)である。ただしinvは逆行列(一般には一般化逆行列)を表す。
要素ごとに書くと数2のようになる。

Figure 2007147443
ただしImx(1,1)等はinv(H)の各要素であるが,結局のところfx(1)を計算するためのm(1)の寄与を表す。 To find f from the observed x, multiply by the inverse matrix of H. Ie
f = inv (H) * x (Formula 1). However, inv represents an inverse matrix (generally a generalized inverse matrix).
If it writes for every element, it will become like number 2.
Figure 2007147443
However, Imx (1,1) etc. are each element of inv (H), but after all, it represents the contribution of m (1) to calculate fx (1).

伝達関数によって定まった行列の逆行列を使うことで未知数を定める場合、未知数の個数を観測されたデータの個数が上回っているか同数である必要がある。この問題を解決するために色分けした2層のマーカー群を用意し、2層のマーカー群の各マーカーの移動を取ることによって独立な観測データ数を8つまで増やしている。   When the unknown is determined by using the inverse matrix of the matrix determined by the transfer function, it is necessary that the number of unknowns exceeds or be equal to the number of observed data. In order to solve this problem, a color-coded two-layer marker group is prepared, and the number of independent observation data is increased to eight by taking the movement of each marker of the two-layer marker group.

一般的な三次元の場合(この図ではy軸が追加された場合)、一点における力ベクトルは3自由度、マーカーの水平移動ベクトルは2自由度である。もしサンプリング点が同様に4点であったとすると、未知数はf=[fx(1),fy(1),fz(1),fx(2),fy(2),fz(2),fx(3),fy(3),fz(3),fx(4),fy(4),fz(4)]の12個存在するのに対して、観測される値は移動ベクトルm=[mx(1),my(1),mx(2),my(2),mx(3),my(3),mx(4),my(4)]の8個であり、やはり足りない。これを2層に分けて観測することにより16個の観測データを得ることができ、これにより12個の未知数を同定することになる。以上のようなアルゴリズムを用いて、CCD画像から力ベクトルを推定する。他のマーカーを用いた他の測定方式でも、観測されるデータが異なるだけで、色分けという工夫によって未知数の数より多い独立な観測値(マーカーの振る舞いに関する情報)を集め、逆問題を安定に解くことによって力ベクトルを推定する点では同じである。   In the general three-dimensional case (in this figure, the y-axis is added), the force vector at one point has 3 degrees of freedom, and the horizontal movement vector of the marker has 2 degrees of freedom. If there are four sampling points as well, the unknowns are f = [fx (1), fy (1), fz (1), fx (2), fy (2), fz (2), fx ( 3), fy (3), fz (3), fx (4), fy (4), fz (4)], while there are twelve values, the observed value is the movement vector m = [mx ( 1), my (1), mx (2), my (2), mx (3), my (3), mx (4), my (4)], which is still insufficient. By observing this in two layers, 16 observation data can be obtained, thereby identifying 12 unknowns. The force vector is estimated from the CCD image using the algorithm as described above. Even with other measurement methods using other markers, only the observed data is different, and by collecting the number of independent observations (information on the behavior of the markers) more than the number of unknowns by means of color coding, the inverse problem can be solved stably. This is the same in that the force vector is estimated.

次に、伝達関数(行列H)を求めるための手法を説明する。ある特徴的な形の弾性体(例えば半無限弾性体)においては、表面に加わる力と内部変位の関数として、前述の微小領域で満たすべき関係式を弾性体内部のあらゆる場所で満たすことができる関数が数式の形で発見されている。このような形の場合には、この関数にメッシュ状に区切った弾性体表面(センサ面)の座標と内部マーカーの座標を代入すれば行列Hが求まる。   Next, a method for obtaining the transfer function (matrix H) will be described. In an elastic body of a certain characteristic shape (for example, a semi-infinite elastic body), the relational expression to be satisfied in the minute region can be satisfied everywhere in the elastic body as a function of the force applied to the surface and the internal displacement. Functions are found in the form of mathematical expressions. In the case of such a shape, the matrix H can be obtained by substituting the coordinates of the elastic body surface (sensor surface) and the internal markers coordinated in a mesh shape into this function.

ここで数式の形で発見されているとは、表面応力をf(x1)、内部変位をm(x2,y2)とした場合に、m(x2,y2) = G(f(x1),x2,y2)という形で内部変位を表面応力から求める関数Gが発見されているということである。このとき例えば図8で点1に力が加わったときのマーカー2における変位はm(2,y2) = G(f(1), 2,y2)によってもとまる。ただしy2はマーカーの深さ(既知)である。弾性体形状によっては、弾性体形状を半無限大弾性体と仮定することによって上述のような数式を用いてH行列を取得できる。   Here, it is discovered in the form of a formula that m (x2, y2) = G (f (x1), x2 when surface stress is f (x1) and internal displacement is m (x2, y2) , y2), the function G for finding the internal displacement from the surface stress has been discovered. At this time, for example, the displacement in the marker 2 when a force is applied to the point 1 in FIG. 8 is obtained by m (2, y2) = G (f (1), 2, y2). Where y2 is the marker depth (known). Depending on the shape of the elastic body, the H matrix can be obtained using the above mathematical formula by assuming that the elastic body shape is a semi-infinite elastic body.

以上のように、本実施の形態の光学式触覚センサ1では、センサ面において力が加えられた受力領域内にあるマーカーの移動情報だけに基づいて力分布が算出される。従って、全てのマーカーの移動情報に基づいて力分布が算出される場合と比較して、力分布を求めるための計算時間を大幅に短縮することができる。特に、複数の光学式触覚センサ1が組み合わされた大面積触覚センサ101において有効である。   As described above, in the optical tactile sensor 1 according to the present embodiment, the force distribution is calculated based only on the movement information of the marker in the force receiving area where the force is applied on the sensor surface. Therefore, compared with the case where the force distribution is calculated based on the movement information of all the markers, the calculation time for obtaining the force distribution can be greatly shortened. This is particularly effective in a large area tactile sensor 101 in which a plurality of optical tactile sensors 1 are combined.

次に、本発明の第2の実施の形態に係る光学式触覚センサ201について、図9を参照して説明する。図9は、本発明の第2の実施の形態に係る光学式触覚センサの構成を示す図である。   Next, an optical tactile sensor 201 according to a second embodiment of the present invention will be described with reference to FIG. FIG. 9 is a diagram showing a configuration of an optical tactile sensor according to the second embodiment of the present invention.

本実施の形態の光学式触覚センサ201が、第1の実施の形態に係る光学式触覚センサ1と大きく異なる点は、光学式触覚センサ201のシート層210は、弾性及び透光性を有する弾性部材211と、弾性部材211のマーカー層20と反対側の面に配置された感圧塗料による印刷層212とを有している点である。ここで、弾性部材211のマーカー層20と同じ側の面には突起211aが形成されている。また、感圧塗料は、力が加えられると、その領域が緑色に変化するものである。この構成によると、シート層には光源を設けなくてもよいので、製造コストを低減できる。   The optical tactile sensor 201 of the present embodiment is greatly different from the optical tactile sensor 1 according to the first embodiment in that the sheet layer 210 of the optical tactile sensor 201 has elasticity and translucency. It is the point which has the printing layer 212 by the pressure sensitive coating material arrange | positioned on the surface on the opposite side to the marker layer 20 of the member 211 and the elastic member 211. Here, a protrusion 211 a is formed on the surface of the elastic member 211 on the same side as the marker layer 20. The pressure-sensitive paint changes its color to green when force is applied. According to this configuration, it is not necessary to provide a light source in the sheet layer, so that the manufacturing cost can be reduced.

次に、本発明の第3の実施の形態に係る光学式触覚センサ301について、図10を参照して説明する。図10は、本発明の第3の実施の形態に係る光学式触覚センサの構成を示す図である。   Next, an optical tactile sensor 301 according to a third embodiment of the present invention will be described with reference to FIG. FIG. 10 is a diagram showing a configuration of an optical tactile sensor according to the third embodiment of the present invention.

本実施の形態の光学式触覚センサ301が、第1の実施の形態に係る光学式触覚センサ1と大きく異なる点は、光学式触覚センサ301のシート層310は、弾性及び透光性を有する弾性部材311と、弾性部材311のマーカー層20と反対側の面に配置された応力発光塗料による印刷層312とを有している点である。また、応力発光塗料は、力が加えられると、その領域が緑色に変化するものである。この構成によると、シート層には光源を設けなくてもよいので、製造コストを低減できる。   The optical tactile sensor 301 according to the present embodiment differs greatly from the optical tactile sensor 1 according to the first embodiment in that the sheet layer 310 of the optical tactile sensor 301 has elasticity and translucency. This is a point that includes a member 311 and a printed layer 312 made of a stress luminescent paint disposed on the surface of the elastic member 311 opposite to the marker layer 20. In addition, the stress luminescent paint changes its color to green when force is applied. According to this configuration, it is not necessary to provide a light source in the sheet layer, so that the manufacturing cost can be reduced.

次に、本発明の第4の実施の形態に係る光学式触覚センサ401について、図11を参照して説明する。図11は、本発明の第4の実施の形態に係る光学式触覚センサの構成を示す図である。   Next, an optical tactile sensor 401 according to a fourth embodiment of the present invention will be described with reference to FIG. FIG. 11 is a diagram showing a configuration of an optical tactile sensor according to the fourth embodiment of the present invention.

本実施の形態の光学式触覚センサ401が、第1の実施の形態に係る光学式触覚センサ1と大きく異なる点は、光学式触覚センサ401のシート層410は、弾性及び透光性を有すると共に、感圧塗料または応力発光塗料が混ぜ合わされた材料で形成されている点である。この構成によると、シート層には光源を設けなくてもよいので、製造コストを低減できると共に、シート層の製造が容易になる。   The optical tactile sensor 401 according to the present embodiment is greatly different from the optical tactile sensor 1 according to the first embodiment in that the sheet layer 410 of the optical tactile sensor 401 has elasticity and translucency. The pressure-sensitive paint or the stress-light-emitting paint is made of a mixed material. According to this configuration, since it is not necessary to provide a light source in the sheet layer, the manufacturing cost can be reduced and the manufacturing of the sheet layer is facilitated.

以上、本発明の好適な実施の形態について説明したが、本発明は上述の実施の形態に限られるものではなく、特許請求の範囲に記載した限りにおいて様々な設計変更が可能なものである。例えば、上述の第1の実施の形態では、シート層内には緑色LEDが配置されており、マーカー層内には赤色マーカー及び青色マーカーが埋設されているが、これらの色の組み合わせは変更可能である。つまり、例えば、シート層内には赤色LEDが配置されており、マーカー層内には青色マーカー及び緑色マーカーが埋設されていてもよい。   The preferred embodiments of the present invention have been described above. However, the present invention is not limited to the above-described embodiments, and various design changes can be made as long as they are described in the claims. For example, in the first embodiment described above, the green LED is arranged in the sheet layer, and the red marker and the blue marker are embedded in the marker layer, but the combination of these colors can be changed. It is. That is, for example, a red LED may be disposed in the sheet layer, and a blue marker and a green marker may be embedded in the marker layer.

また、上述の第2、3の実施の形態では、シート層は、弾性部材及び印刷層を有しているが、弾性部材は有していないで、感圧塗料または応力発光塗料による印刷層だけを有していてもよい。   Further, in the second and third embodiments described above, the sheet layer has the elastic member and the printing layer, but does not have the elastic member, and only the printing layer made of the pressure-sensitive paint or the stress luminescent paint. You may have.

触覚センサと接触対象の間に生じる力ベクトル分布を示す図である。It is a figure which shows force vector distribution which arises between a tactile sensor and a contact target. 光学式触覚センサの原理図を示しており、上図は透明弾性体の平面図であり、下図は透明弾性体の側面図である。The principle figure of an optical tactile sensor is shown, the upper figure is a top view of a transparent elastic body, and the lower figure is a side view of a transparent elastic body. 本発明の第1の実施の形態に係る光学式触覚センサの構成を示す図である。It is a figure which shows the structure of the optical tactile sensor which concerns on the 1st Embodiment of this invention. 図4(a)は、筐体40の上面部41に力が加えられた状態を示す図である。図4(b)は、図4(a)の状態における受力領域を示す図である。FIG. 4A is a diagram showing a state in which a force is applied to the upper surface portion 41 of the housing 40. FIG. 4B is a diagram showing a force receiving region in the state of FIG. 図5(a)は、光学式触覚センサの概略構成を示し、図5(b)は、大面積触覚センサの概略構成を示している。FIG. 5A shows a schematic configuration of the optical tactile sensor, and FIG. 5B shows a schematic configuration of the large area tactile sensor. 複数台のCCDカメラによって取得された画像情報の統合について説明するための図である。It is a figure for demonstrating integration of the image information acquired by the several CCD camera. 図5に示す4台のCCDカメラの撮像領域を示す図である。It is a figure which shows the imaging area of four CCD cameras shown in FIG. センサ面にかかる力ベクトルとマーカーの移動を説明する図である。It is a figure explaining the movement of the force vector concerning a sensor surface, and a marker. 本発明の第2の実施の形態に係る光学式触覚センサの構成を示す図である。It is a figure which shows the structure of the optical tactile sensor which concerns on the 2nd Embodiment of this invention. 本発明の第3の実施の形態に係る光学式触覚センサの構成を示す図である。It is a figure which shows the structure of the optical tactile sensor which concerns on the 3rd Embodiment of this invention. 本発明の第4の実施の形態に係る光学式触覚センサの構成を示す図である。It is a figure which shows the structure of the optical tactile sensor which concerns on the 4th Embodiment of this invention.

符号の説明Explanation of symbols

1、201、301、401 光学式触覚センサ
10、210、310、410 シート層
20 マーカー層
21 赤色マーカー
22 青色マーカー
30 CCDカメラ
40 筐体
50 白色LED
51 緑色LED
60 演算部
61 判定部
62 決定部
63 移動情報検出部
64 算出部
101 大面積触覚センサ

1, 201, 301, 401 Optical tactile sensor 10, 210, 310, 410 Sheet layer 20 Marker layer 21 Red marker 22 Blue marker 30 CCD camera 40 Housing 50 White LED
51 Green LED
60 arithmetic unit 61 determination unit 62 determination unit 63 movement information detection unit 64 calculation unit 101 large area tactile sensor

Claims (8)

外部から力が加えられる受力層と、
互いに異なる種類のマーカーをそれぞれ含む複数のマーカー群が内部に設けられた弾性及び透光性を有するマーカー層と、
前記受力層と前記マーカー層との間に配置されており、前記受力層に力が加えられた場合に、その力が加えられた領域が力の大きさに応じた明るさに変化するシート層と、
前記マーカー層に対して前記受力層と反対側に配置されており、前記マーカー層内の各マーカー及び前記シート層を撮影する撮影装置と、
前記撮影装置による撮影結果に基づいて、前記シート層において所定の明るさよりも明るい受力領域を判定する判定手段と、
前記判定手段において所定の明るさよりも明るい受力領域と判定された領域内にあるマーカーを、前記マーカー層内の各マーカーのなかで前記受力層における力分布を求めるための計算に用いられるマーカーに決定する決定手段と、
前記撮影装置による撮影結果から得られる前記決定手段で決定されたマーカーの移動情報に基づいて、前記受力層における力分布を算出する算出手段とを備えていることを特徴とする光学式触覚センサ。
A power receiving layer to which force is applied from the outside,
A marker layer having elasticity and translucency, in which a plurality of marker groups each including different types of markers are provided; and
It is arranged between the force receiving layer and the marker layer, and when a force is applied to the force receiving layer, the area where the force is applied changes to brightness according to the magnitude of the force. A sheet layer;
An imaging device that is disposed on the opposite side of the force-receiving layer with respect to the marker layer, and that images each marker in the marker layer and the sheet layer;
Determination means for determining a power receiving area brighter than a predetermined brightness in the sheet layer, based on a photographing result by the photographing apparatus;
Marker used for calculation for obtaining a force distribution in the force receiving layer among the markers in the marker layer, which is in the region determined to be a force receiving region brighter than a predetermined brightness in the determining means A determination means for determining
An optical tactile sensor comprising: a calculating unit that calculates a force distribution in the force receiving layer based on marker movement information determined by the determining unit obtained from a photographing result of the photographing device. .
遮光性及び可撓性を有する材料で形成されていると共に、前記マーカー層、前記シート層及び前記撮影装置を収容し且つその一側面が前記受力層となる筐体と、
前記筐体内において前記マーカー層に対して前記受力層と反対側に配置された第1の光源とをさらに備えていることを特徴とする請求項1に記載の光学式触覚センサ。
A housing that is formed of a light-shielding and flexible material and that houses the marker layer, the sheet layer, and the imaging device, and one side surface of which is the force-receiving layer;
The optical tactile sensor according to claim 1, further comprising a first light source disposed on the opposite side of the force-receiving layer with respect to the marker layer in the housing.
前記シート層は、
弾性及び透光性を有する弾性部材と、
前記弾性部材内に光を供給する第2の光源とを有しており、
前記弾性部材のマーカー層側の面には凹凸が形成されていることを特徴とする請求項1または2に記載の光学式触覚センサ。
The sheet layer is
An elastic member having elasticity and translucency;
A second light source for supplying light into the elastic member,
3. The optical tactile sensor according to claim 1, wherein the surface of the elastic member on the marker layer side is uneven. 4.
前記シート層は、感圧塗料による印刷層を有していることを特徴とする請求項1または2に記載の光学式触覚センサ。   The optical tactile sensor according to claim 1, wherein the sheet layer has a printed layer made of a pressure-sensitive paint. 前記シート層は、弾性及び透光性を有する弾性部材をさらに有しており、
前記印刷層は、前記弾性部材の前記マーカー層と反対側の面に配置されていると共に、前記弾性部材の前記マーカー層と同じ側の面には凹凸が形成されていることを特徴とする請求項4に記載の光学式触覚センサ。
The sheet layer further includes an elastic member having elasticity and translucency,
The printed layer is disposed on a surface of the elastic member opposite to the marker layer, and unevenness is formed on the surface of the elastic member on the same side as the marker layer. Item 5. The optical tactile sensor according to Item 4.
前記シート層は、応力発光塗料による印刷層を有していることを特徴とする請求項1または2に記載の光学式触覚センサ。   The optical tactile sensor according to claim 1, wherein the sheet layer has a printed layer made of a stress luminescent paint. 前記シート層は、弾性及び透光性を有する弾性部材をさらに有しており、
前記印刷層は、前記弾性部材の前記マーカー層と反対側の面に配置されていることを特徴とする請求項6に記載の光学式触覚センサ。
The sheet layer further includes an elastic member having elasticity and translucency,
The optical tactile sensor according to claim 6, wherein the printed layer is disposed on a surface of the elastic member opposite to the marker layer.
前記シート層は、弾性及び透光性を有すると共に、感圧塗料または応力発光塗料が混ぜ合わされて製造された弾性部材を有していることを特徴とする請求項1または2に記載の光学式触覚センサ。   3. The optical type according to claim 1, wherein the sheet layer has elasticity and translucency, and has an elastic member manufactured by mixing a pressure-sensitive paint or a stress luminescent paint. 4. Tactile sensor.
JP2005342133A 2005-11-28 2005-11-28 Optical tactile sensor Expired - Fee Related JP4708979B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005342133A JP4708979B2 (en) 2005-11-28 2005-11-28 Optical tactile sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005342133A JP4708979B2 (en) 2005-11-28 2005-11-28 Optical tactile sensor

Publications (2)

Publication Number Publication Date
JP2007147443A true JP2007147443A (en) 2007-06-14
JP4708979B2 JP4708979B2 (en) 2011-06-22

Family

ID=38209016

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005342133A Expired - Fee Related JP4708979B2 (en) 2005-11-28 2005-11-28 Optical tactile sensor

Country Status (1)

Country Link
JP (1) JP4708979B2 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011068718A1 (en) 2009-12-03 2011-06-09 The Procter & Gamble Company Method for assessment of force properties generated by the fiber tip
US9127999B2 (en) 2011-01-06 2015-09-08 Seiko Epson Corporation Ultrasonic sensor, tactile sensor, grasping apparatus, and electronic device
JP2016510419A (en) * 2013-03-13 2016-04-07 コリア・インスティテュート・オヴ・インダストリアル・テクノロジー Air cushion motion sensing device and method
WO2018235214A1 (en) * 2017-06-21 2018-12-27 株式会社齋藤創造研究所 Manipulator and robot
EP3693139A1 (en) * 2019-02-11 2020-08-12 Université d'Aix-Marseille Optical tactile sensor
JP2022543711A (en) * 2019-10-10 2022-10-13 三菱電機株式会社 Elastomer tactile sensor
JP2022546642A (en) * 2019-10-10 2022-11-04 三菱電機株式会社 tactile sensor
WO2022264472A1 (en) * 2021-06-17 2022-12-22 パナソニックIpマネジメント株式会社 Optical tactile sensor and sensor system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002018893A1 (en) * 2000-08-31 2002-03-07 Center For Advanced Science And Technology Incubation, Ltd. Optical tactile sensor
JP2004170313A (en) * 2002-11-21 2004-06-17 Toshiba Corp Optical fiber grating physical quantity measuring system
WO2005029027A1 (en) * 2003-09-16 2005-03-31 Toudai Tlo, Ltd. Force vector reconstruction method using optical tactile sensor

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002018893A1 (en) * 2000-08-31 2002-03-07 Center For Advanced Science And Technology Incubation, Ltd. Optical tactile sensor
JP2004170313A (en) * 2002-11-21 2004-06-17 Toshiba Corp Optical fiber grating physical quantity measuring system
WO2005029027A1 (en) * 2003-09-16 2005-03-31 Toudai Tlo, Ltd. Force vector reconstruction method using optical tactile sensor

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011068718A1 (en) 2009-12-03 2011-06-09 The Procter & Gamble Company Method for assessment of force properties generated by the fiber tip
JP2013512436A (en) * 2009-12-03 2013-04-11 ザ プロクター アンド ギャンブル カンパニー Method for evaluating the force characteristics produced by the fiber tip
US8607629B2 (en) 2009-12-03 2013-12-17 The Procter & Gamble Company Method for assessment of force properties generated by the fiber tip
US9127999B2 (en) 2011-01-06 2015-09-08 Seiko Epson Corporation Ultrasonic sensor, tactile sensor, grasping apparatus, and electronic device
JP2016510419A (en) * 2013-03-13 2016-04-07 コリア・インスティテュート・オヴ・インダストリアル・テクノロジー Air cushion motion sensing device and method
JPWO2018235214A1 (en) * 2017-06-21 2019-07-04 株式会社齋藤創造研究所 Manipulator and robot
WO2018235214A1 (en) * 2017-06-21 2018-12-27 株式会社齋藤創造研究所 Manipulator and robot
CN110799313A (en) * 2017-06-21 2020-02-14 斋藤创造研究所株式会社 Manipulator and robot
EP3693139A1 (en) * 2019-02-11 2020-08-12 Université d'Aix-Marseille Optical tactile sensor
WO2020165171A1 (en) * 2019-02-11 2020-08-20 Universite D'aix-Marseille Optical tactile sensor
JP2022543711A (en) * 2019-10-10 2022-10-13 三菱電機株式会社 Elastomer tactile sensor
JP2022546642A (en) * 2019-10-10 2022-11-04 三菱電機株式会社 tactile sensor
JP7278491B2 (en) 2019-10-10 2023-05-19 三菱電機株式会社 Elastomer tactile sensor
JP7278493B2 (en) 2019-10-10 2023-05-19 三菱電機株式会社 tactile sensor
WO2022264472A1 (en) * 2021-06-17 2022-12-22 パナソニックIpマネジメント株式会社 Optical tactile sensor and sensor system

Also Published As

Publication number Publication date
JP4708979B2 (en) 2011-06-22

Similar Documents

Publication Publication Date Title
JP4708979B2 (en) Optical tactile sensor
JP4206057B2 (en) Force vector reconstruction method using optical tactile sensor
US7659502B2 (en) Optical tactile sensor
US7420155B2 (en) Optical tactile sensor and method of reconstructing force vector distribution using the sensor
Kamiyama et al. Evaluation of a vision-based tactile sensor
Lin et al. Sensing the frictional state of a robotic skin via subtractive color mixing
JP5825604B2 (en) 6-axis force measuring device and 6-axis force measuring method
EP3693139A1 (en) Optical tactile sensor
Andrussow et al. Minsight: A Fingertip‐Sized Vision‐Based Tactile Sensor for Robotic Manipulation
JP2010190770A (en) Compound type optical tactile sensor
Li et al. L $^{3} $ F-TOUCH: A Wireless GelSight with Decoupled Tactile and Three-axis Force Sensing
Tippur et al. GelSight360: An omnidirectional camera-based tactile sensor for dexterous robotic manipulation
Li et al. Camera-based force and tactile sensor
Ma et al. Dense tactile force distribution estimation using gelslim and inverse fem
WO2019220942A1 (en) Optical tactile sensor
CN113624371B (en) High-resolution visual touch sensor based on binocular vision and point cloud generation method
Li et al. F-touch sensor for three-axis forces measurement and geometry observation
Boukallel et al. Flexible Tactile Sensors for Multidigital Dexterous In‐Hand Manipulation
Li An Optical Sensor Design: Concurrent Multi-axis Force Measurement and Tactile Perception.
Fu et al. ELTac: A vision-based electroluminescent tactile sensing skin for force localization and magnitude estimation
US20210013359A1 (en) Systems and methods for light direction detection microchips
Drimus et al. Tactile shoe inlays for high speed pressure monitoring
Drimus et al. Novel high resolution tactile robotic fingertips
Izutani et al. Development of a micro tactile sensor utilizing piezoresistors and characterization of its performance
Li Soft Tactile Sensors for Mechanical Imaging

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080603

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110317

LAPS Cancellation because of no payment of annual fees