JP2023157985A - 触覚センサ、触覚センサシステム及びプログラム - Google Patents

触覚センサ、触覚センサシステム及びプログラム Download PDF

Info

Publication number
JP2023157985A
JP2023157985A JP2023135633A JP2023135633A JP2023157985A JP 2023157985 A JP2023157985 A JP 2023157985A JP 2023135633 A JP2023135633 A JP 2023135633A JP 2023135633 A JP2023135633 A JP 2023135633A JP 2023157985 A JP2023157985 A JP 2023157985A
Authority
JP
Japan
Prior art keywords
section
image
imaging
tactile sensor
contact surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023135633A
Other languages
English (en)
Inventor
明彦 山口
Akihiko Yamaguchi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fingervision
Fingervision Co Ltd
Original Assignee
Fingervision
Fingervision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fingervision, Fingervision Co Ltd filed Critical Fingervision
Priority to JP2023135633A priority Critical patent/JP2023157985A/ja
Publication of JP2023157985A publication Critical patent/JP2023157985A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081—Touching devices, e.g. pressure-sensitive
    • B25J13/082—Grasping-force detectors
    • B25J13/083—Grasping-force detectors fitted with slippage detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081—Touching devices, e.g. pressure-sensitive
    • B25J13/084—Tactile sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G01B11/165—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge by means of a grating deformed by the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manipulator (AREA)

Abstract

【課題】容易に小型化することが可能な触覚センサ、触覚センサシステム及びプログラムを提供する。【解決手段】触覚センサは、把持対象物に接触可能な第一の面と、前記第一の面の裏面である第二の面とを備える透過部と、前記透過部の前記第一の面側に存在する物体の像を前記第二の面側から撮像可能な撮像部と、前記透過部の前記第二の面側に配置され、前記透過部の少なくとも一部の領域からの光を反射させて前記撮像部の撮像画角内に導く反射部とを備える。【選択図】図４

Description

本発明は、触覚センサ、触覚センサシステム及びプログラムに関する。
従来、触覚センサを実現する方法として、ラバースキンの外面に当接した物体を検知する方法が知られている（例えば、特許文献１を参照）。
特開２０００－２８８９７３号公報
従来技術による触覚センサは、撮像部の撮像光軸がラバースキン（以後、当接面とする。）の法線方向に対して平行に備えられていた。撮像部は当接面を撮像し、物体が当接面に当接したときの、当接面の変位を検知することにより、物体の把持状態を検知していた。
ここで、触覚センサの大きさは、触覚する対象物が小さい場合など、小さい方がよい場合がある。触覚センサの小型化を考慮した場合、物体を撮像する撮像部と当接面との距離を短くすること、及び撮像部自体の小型化をすることが課題となる。
従来技術における触覚センサでは、撮像部と接触面との距離を短くしようとする場合、撮像画角が広いレンズを使わなければならない。撮像画角が広いレンズを使用した場合には、歪みの発生や、光量の確保等の問題が生ずるといった問題があった。さらに、撮像部の小型化をしようとする場合にも、撮像部の小型化には画像感度の低下を伴うために限界があり、触覚センサを撮像部より小さくすることは不可能であった。つまり触覚センサの小型化を考慮した場合、撮像部と当接面との距離を短くすることによる画質の維持が困難であること、及び撮像部の小型化には限界があるという問題が生じていた。
すなわち、従来手法によると、触覚センサの小型化が容易でないという問題があった。
本発明は、このような状況に鑑みてなされたものであり、容易に小型化することが可能な触覚センサ、触覚センサシステム及びプログラムを提供することを目的とする。
本発明の一態様に係る触覚センサは、把持対象物に接触可能な第一の面と、前記第一の面の裏面である第二の面とを備える透過部と、前記透過部の前記第一の面側に存在する物体の像を前記第二の面側から撮像可能な撮像部と、前記透過部の前記第二の面側に配置され、前記透過部の少なくとも一部の領域からの光を反射させて前記撮像部の撮像画角内に導く反射部とを備える。
また、本発明の一態様に係る触覚センサにおいて、前記透過部は、前記第一の面に接触した把持対象物の形状に沿って少なくとも一部が変形し、前記撮像部は、前記第一の面側に存在する物体の像と、前記透過部に付された前記透過部の変形を示すマーカの像との両方を前記第二の面側から撮像可能である。
また、本発明の一態様に係る触覚センサにおいて、前記撮像部は、前記撮像部の撮像光軸と、前記透過部の前記第二の面の法線とが交点を有するように配置される。
また、本発明の一態様に係る触覚センサにおいて、前記反射部は、前記撮像部の撮像光軸に対する法線の角度が互いに異なる複数の反射面を備える。
また、本発明の一態様に係る触覚センサにおいて、前記撮像部は、前記反射部を介さずに入射する光による前記透過部の撮像対象領域の像である第１像と、前記反射部によって反射されて入射する光による前記透過部の撮像対象領域の像である第２像との両方を、前記透過部の像として撮像する。
また、本発明の一態様に係る触覚において、前記透過部は、前記撮像部の撮像光軸に対する法線の角度が互いに異なる複数の領域を備え、前記撮像部は、前記透過部の複数の前記領域を介してそれぞれ入射する光による前記第一の面側に存在する物体の像を、それぞれ撮像可能である。
また、本発明の一態様に係る触覚センサシステムは、上述の触覚センサと、前記撮像部が撮像した画像を取得し、取得した前記画像に基づき前記第一の面に対する物体の接触状態を検出する検出部と、を備える。
また、本発明の一態様に係るプログラムは、把持対象物に接触可能な第一の面と、前記第一の面の裏面である第二の面とを備える透過部と、前記透過部の前記第一の面側に存在する物体の像を前記第二の面側から撮像可能な撮像部と、前記透過部の前記第二の面側に配置され、前記透過部の少なくとも一部の領域からの光を反射させて前記撮像部の撮像画角内に導く反射部とを備える触覚センサと接続されたコンピュータに、前記撮像部が撮像した画像を取得する画像取得ステップと、前記画像取得ステップにより取得された前記画像に基づき、前記第一の面に対する物体の接触状態を検出する検出ステップと、を実行させる。
本発明によれば、容易に小型化することが可能な触覚センサ、触覚センサシステム及びプログラムを提供できる。
実施形態におけるロボットシステムの一例を示す図である。 実施形態における触覚センサモジュールの一例を示す図である。 実施形態における触覚センサの断面図の一例を示す図である。 実施形態における撮像部が撮像可能な範囲の一例を示す図である。 実施形態における撮像部の撮像画像の一例を示す図である。 実施形態における把持対象物が接触面に触れた場合の触覚センサの断面図の一例を示す図である。 実施形態における把持対象物が接触面に触れた場合の触覚センサの撮像画像の一例を示す図である。 実施形態におけるロボットシステム制御部の一例を示す図である。 実施形態におけるロボットシステム制御部の動作の一例を示す図である。 第２の実施形態における触覚センサの断面図の一例を示す図である。 第２の実施形態における撮像部が撮像可能な範囲の一例を示す図である。 第３の実施形態における触覚センサの断面図の一例を示す図である。 第３の実施形態における撮像部が撮像可能な範囲の一例を示す図である。 第４の実施形態における触覚センサの断面図の一例を示す図である。 第４の実施形態における撮像部が撮像可能な範囲の一例を示す図である。 第５の実施形態における触覚センサの断面図の一例を示す図である。 第５の実施形態における撮像部が撮像可能な範囲の一例を示す図である。
以下、本発明の実施形態について、図面を参照しながら説明する。
［ロボットシステム１００の構成］
図１は、実施形態におけるロボットシステム１００の一例を示す図である。本実施形態におけるロボットシステム１００は、把持対象物と接触することにより把持状態を検出しつつ、把持対象物を把持する。
本実施形態において、ロボットシステム１００は、触覚センサモジュール１０と、ロボットシステム制御部９０と、先端部１１０と、上腕部１２０と、関節部１３０と、下腕部１４０と、主横軸部１５０と、主縦軸部１６０と、土台部１７０とを備える。
土台部１７０は、主縦軸部１６０と接続される部位である。
主縦軸部１６０は、主横軸部１５０と土台部１７０とを繋ぐ部位である。主縦軸部１６０はロボットシステム制御部９０により制御され、主横軸部１５０を主縦軸部１６０の軸周りに変位させる。
主横軸部１５０は、下腕部１４０と主縦軸部１６０とを繋ぐ部位である。主横軸部１５０はロボットシステム制御部９０により制御され、下腕部１４０を主横軸部１５０の軸周りに変位させる。
下腕部１４０は、関節部１３０と主横軸部１５０とを繋ぐ部位である。
関節部１３０は、上腕部１２０と下腕部１４０とを繋ぐ部位である。関節部１３０はロボットシステム制御部９０により制御され、上腕部１２０を関節部１３０の軸周りに変位させる。
上腕部１２０は、先端部１１０と関節部１３０とを繋ぐ部位である。
先端部１１０は、触覚センサモジュール１０と接続される。先端部１１０の姿勢（例えば、位置及び方向）は、ロボットシステム制御部９０によって制御される。触覚センサモジュール１０の姿勢は、先端部１１０の姿勢が変化することによって変化する。
触覚センサモジュール１０は、把持対象物の接触状態を検知し、検知した把持対象物の接触状態を示す情報をロボットシステム制御部９０に出力する。
ロボットシステム制御部９０は、触覚センサモジュール１０が出力した情報を取得する。
ロボットシステム制御部９０は、ロボットシステム１００が備える各部（先端部１１０、上腕部１２０、関節部１３０、下腕部１４０、主横軸部１５０及び主縦軸部１６０）を不図示の駆動装置によって変位させることにより、触覚センサモジュール１０を移動させる。ロボットシステム制御部９０は、触覚センサモジュール１０から取得した情報に基づき、ロボットシステム１００の制御を行う。
図２は、実施形態における触覚センサモジュール１０の一例を示す図である。本実施形態における触覚センサモジュール１０は、センサ接続部１１と、第１触覚センサ１ａと、第２触覚センサ１ｂとを備える。以降の説明において、ｘ軸、ｙ軸及びｚ軸の三次元直交座標系によって触覚センサモジュール１０の姿勢を示す場合がある。
センサ接続部１１は、先端部１１０と第１触覚センサ１ａ及び第２触覚センサ１ｂとを繋ぐ部位である。
第１触覚センサ１ａは、センサ接続部１１に接続される。第１触覚センサ１ａは、第１透過部接触面４０ａを備えている。
第２触覚センサ１ｂは、センサ接続部１１に接続される。第２触覚センサ１ｂは、第２透過部接触面４０ｂを備えている。
第１触覚センサ１ａと第２触覚センサ１ｂとは、第１透過部接触面４０ａと第２透過部接触面４０ｂとが互いに向きあう位置に配置される。センサ接続部１１は、不図示の駆動装置を備えており、ロボットシステム制御部９０からの指示に基づき、第１触覚センサ１ａ及び第２触覚センサ１ｂ（又はそれらのセンサのうち一方。以下の説明において同じ。）をｙ軸方向に変位させる。触覚センサモジュール１０は、第１触覚センサ１ａ及び第２触覚センサ１ｂをｙ軸方向に駆動させることにより、第１触覚センサ１ａ及び第２触覚センサ１ｂの間にある把持対象物を把持する。
［触覚センサ１の構成］
図３は、実施形態における触覚センサの断面図の一例を示す図である。同図には、図２に示す第１触覚センサ１ａのｘｙ平面上の断面図を示す。ｘ軸、ｙ軸及びｚ軸の三次元直交座標系によって触覚センサモジュール１０の方向を示す。
なお、第１触覚センサ１ａと、第２触覚センサ１ｂとは互いに同様の構成であるため、第１触覚センサ１ａについて説明し、第２触覚センサ１ｂについての説明は省略する。
第１触覚センサ１ａは、第１撮像部３０ａと、第１反射部２０ａと、第１透過部４３ａと、第１マーカ４５ａと、第１透過部接触面４０ａと、第１透過部非接触面４７ａと、第１硬質レイヤ７０ａと、第１フレーム５０ａとを備える。
なお、以下において、第１撮像部３０ａを撮像部３０と、第１反射部２０ａを反射部２０と、第１透過部４３ａを透過部４３と、第１マーカ４５ａをマーカ４５と、第１透過部接触面４０ａを透過部接触面４０と、第１透過部非接触面４７ａを透過部非接触面４７と、第１硬質レイヤ７０ａを硬質レイヤ７０と、第１フレーム５０ａをフレーム５０と、それぞれ言い換えて説明する。
フレーム５０は、撮像部３０、反射部２０、透過部４３、及び硬質レイヤ７０を保持する。
透過部４３は、光を透過させる透明な材質によって構成されており、透過部接触面４０と、透過部非接触面４７とを備える。例えば、透過部４３の具体的な材質として、厚さが２ミリメートルで約９４パーセントの透過率のシリコーン素材がある。
透過部接触面４０とは、透過部４３の表面及び裏面のうち、把持対象物に接触可能な面である。透過部非接触面４７は、透過部４３の表面及び裏面のうち、把持対象物に接触しない面である。
なお、以下の説明において、透過部４３の面のうち、把持対象物に接触可能な面（つまり、透過部接触面４０）を表面又は第一の面ともいい、把持対象物に接触しない面（つまり、透過部非接触面４７）を裏面又は第二の面ともいう。すなわち、透過部４３は、把持対象物に接触可能な接触面である透過部接触面４０と、接触面の裏面であり把持対象物に接触しない非接触面である透過部非接触面４７とを備える。
また、透過部４３は、透明な材質により構成される。この一例において、透過部４３は、接触面である透過部接触面４０に接触した把持対象物の形状に沿って少なくとも一部が変形する。
マーカ４５は、透過部４３の所定の位置に複数配置される。本実施形態の一例では、マーカ４５とは、透過部４３の内部の等間隔に区切られた格子点の位置に配置された不透明部材である。なお、マーカ４５は、透過部４３の内部に配置されるとしたがこれに限られず、透過部接触面４０に備えられていてもよいし、透過部非接触面４７に備えられていてもよい。また、マーカ４５は、格子点の位置に離散的に配置されるものとして説明するがこれに限られない。マーカ４５は格子パターンやその他の連続的なパターンであってもよい。また、マーカ４５のパターンは把持対象物の把持状況の検知が容易なように不規則的なパターンであってもよい。マーカ４５は、不透明部材であるとして説明したがこれに限られず、把持対象物が接触したときの変位が光学的に認識できるものであれば半透明部材や透明部材であってもよい。
硬質レイヤ７０は、透過部４３の透過部非接触面４７に接する位置に備えられる。硬質レイヤ７０は、透明で硬質なアクリル等の材質により構成される。硬質レイヤ７０は、把持対象物が把持された場合において、透過部４３の変形量を制約する。
なお、本実施形態では透過部４３と硬質レイヤ７０とをそれぞれ別個の構成要素として説明する。把持対象物が把持された場合の透過部４３の変形量が所定範囲に収まるのであれば、硬質レイヤ７０は省略されていてもよい。
反射部２０は、例えば鏡などの、光を反射させる反射面を備える。この反射面は、透過部４３の非接触面側に配置される。反射部２０は、透過部４３を透過した光を反射させ、反射させた光を撮像部３０に導く。
反射部２０は、透過部４３の少なくとも一部の領域からの光を反射させる。すなわち、反射部２０は、透過部４３の非接触面（例えば、透過部非接触面４７）側に配置され、透過部４３の少なくとも一部の領域からの光を反射させて撮像部３０の撮像画角内に導く。
撮像部３０は、透過部４３の表裏両面のうち、透過部非接触面４７側に配置される。より具体的には、撮像部３０は、撮像部３０の撮像光軸ＯＡと、透過部４３の透過部非接触面４７の法線Ｎ４１とが交点を有するように（撮像光軸ＯＡと法線Ｎ４１とが平行とならないように）配置される。
撮像部３０は、撮像光軸ＯＡを中心とした撮像画角内の像を撮像し、撮像結果を画像情報として出力する。撮像部３０は、透過部４３の透過部接触面４０側に存在する物体の像を透過部非接触面４７側から撮像可能である。
ここで、透過部４３を透過した光には、透過部４３の透過部接触面４０側に存在する物体の像が含まれている。また、透過部４３を透過した光には、透過部４３に配置されたマーカ４５の像（つまり、透過部４３の像又は透過部の像）が含まれている。すなわち、撮像部３０は、透過部４３の接触面側である透過部接触面４０側に存在する物体の像と、透過部４３に付された透過部４３の変形を示すマーカの像との両方を非接触面側である透過部非接触面４７側から撮像可能である。
また、撮像部３０の撮像可能範囲内には、透過部４３を透過し反射部２０によって反射された光による像と、透過部４３を透過し反射部２０を介さずに撮像部３０に直接到達する光による像とが含まれる。以下の説明において、透過部４３を透過し反射部２０を介さずに撮像部３０に直接到達する光による像のことを直接像ともいう。また、透過部４３を透過し反射部２０によって反射された光による像のことを反射像ともいう。撮像部３０の撮像可能範囲について、図４及び図５を参照して説明する。
［撮像部３０が撮像可能な範囲］
図４は、実施形態における撮像部３０が撮像可能な範囲の一例を示す図である。触覚センサ１が備える撮像部３０が撮像可能な範囲について説明する。
この一例において、撮像部３０の撮像可能な範囲は、撮像部３０の画角Ａ１０と、反射部２０の配置との幾何学的な相対関係によって定まる。撮像部３０の撮像可能な範囲は、直接像を撮像可能である領域と、反射像を撮像可能である領域とが含まれる。
例えば、透過部接触面４０側から反射部２０に入射する光の入射角が第１入射角ＩＡ１０である場合、反射部２０に入射した光は、第１反射角ＲＡ１０の方向に出射する。
透過部接触面４０側から反射部２０に入射する光の入射角が第２入射角ＩＡ２０である場合、反射部２０に入射した光は、第２反射角ＲＡ２０の方向に出射する。
また、透過部接触面４０側から反射部２０に入射する光の入射角が第３入射角ＩＡ３０である場合、反射部２０に入射した光は、第３反射角ＲＡ３０の方向（この一例の場合、撮像光軸ＯＡ）に出射する。
反射部２０から出射する光による像（すなわち、反射像）が画角Ａ１０内に含まれる場合には、撮像部３０は、反射部２０から出射する光を撮像可能である。
第１撮像範囲ＡＲ１は、撮像部３０が直接像を撮像可能な範囲であり、かつ、撮像部３０が反射像を撮像不可能な範囲である。
第２撮像範囲ＡＲ２は、撮像部３０が直接像と反射像との両方を撮像可能な範囲である。
第３撮像範囲ＡＲ３は、撮像部３０が直接像を撮像不可能な範囲であり、かつ、撮像部３０が反射像を撮像可能な範囲である。
図５は、実施形態における撮像部３０の撮像画像の一例を示す図である。撮像画像Ｐは、直接視撮像画像Ｒ及び反射視撮像画像Ｍを画像の構成要素として備える。撮像画像Ｐをｘｃ軸及びｙｃ軸の二次元直交座標系によって示す。ｘｃｙｃ平面は、図４においてｙｚ平面が撮像された画像面を示す。
直接視撮像マーカＲＭは、撮像部３０がマーカ４５の直接像を撮像した画像である。
反射視撮像マーカＭＭは、撮像部３０がマーカ４５の反射像を撮像した画像である。
以下、図４及び図５を参照し、第１対象物ＯＢ１～第３対象物ＯＢ３を一例にして説明する。
この一例において、第１対象物ＯＢ１は、第１撮像範囲ＡＲ１に存在する。この場合、撮像部３０は、第１対象物ＯＢ１の直接像を撮像可能であり、第１対象物ＯＢ１の反射像を撮像不可能である。
第２対象物ＯＢ２は、第２撮像範囲ＡＲ２に存在する。この場合、撮像部３０は、第２対象物ＯＢ２の直接像及び反射像を撮像可能である。
第３対象物ＯＢ３は、第３撮像範囲ＡＲ３に存在する。この場合、撮像部３０は、第３対象物ＯＢ３の直接像を撮像不可能であり、第３対象物ＯＢ３の反射像を撮像可能である。
撮像部３０は、反射部２０を介さずに入射する光による透過部４３の撮像対象領域の像である第１像と、反射部２０によって反射されて入射する光による透過部４３の撮像対象領域の像である第２像との両方を、透過部４３の像として撮像する。
すなわち、撮像部３０は、直接視撮像画像Ｒと、反射視撮像画像Ｍとを同時に撮像することができる。
［把持対象物が透過部接触面４０に接触した場合］
図６は、実施形態における把持対象物が接触面に触れた場合の触覚センサの断面図の一例を示す図である。一例として、対象物ＯＢ４が、透過部接触面４０に接触した場合について説明する。
この一例において、把持対象物である対象物ＯＢ４は、透過部接触面４０に接触している。対象物ＯＢ４が透過部接触面４０に接触している範囲を、対象物検出範囲ＯＤＡとする。対象物が透過部接触面４０に接触する前と後とにおいて、対象物検出範囲ＯＤＡにあるマーカ４５が変位する。撮像部３０は対象物検出範囲ＯＤＡにおけるマーカ４５を時系列に撮像する。
なお、この一例において、対象物ＯＢ４は、第２撮像範囲ＡＲ２及び第３撮像範囲ＡＲ３の両方の撮像範囲にまたがる位置に存在している。したがって、直接視及び反射視の両方が可能である。
図７は、実施形態における把持対象物が接触面に触れた場合の触覚センサの撮像画像の一例を示す図である。撮像画像Ｐは、直接視撮像画像Ｒ及び反射視撮像画像Ｍを画像の構成要素として備える。対象物ＯＢ４が透過部接触面４０に接触した場合の撮像画像Ｐを同図に示す。
直接視撮像画像Ｒには、直接視撮像マーカＲＭが撮像されている。ここで、直接視対象物検出範囲ＲＯＤＡは、対象物検出範囲ＯＤＡのうち、直接視撮像画像Ｒとして撮像される範囲である。
反射視撮像画像Ｍには、反射視撮像マーカＭＭが撮像されている。ここで、反射視対象物検出範囲ＭＯＤＡは、対象物検出範囲ＯＤＡのうち、反射視撮像画像Ｍとして撮像された範囲である。
ここで、マーカ４５の直接像について、対象物ＯＢ４の接触前のマーカ４５の位置と、対象物ＯＢ４の接触後のマーカ４５の位置とを比較して説明する。
接触前直接視マーカ画像ＲＭＢは、直接視対象物検出範囲ＲＯＤＡにおける、対象物ＯＢ４が透過部接触面４０に接触する前の直接視撮像マーカＲＭである。
接触後直接視マーカ画像ＲＭＡは、直接視対象物検出範囲ＲＯＤＡにおける、対象物ＯＢ４が透過部接触面４０に接触した後の直接視撮像マーカＲＭである。
ここで、時間変化によるマーカ４５の画像内の位置の差をマーカベクトルによって表す。接触前直接視マーカ画像ＲＭＢと、接触後直接視マーカ画像ＲＭＡとの間には、同図に示すように画像内の位置の差が生じる。直接視マーカベクトルＲＡＲは、接触前直接視マーカ画像ＲＭＢと、接触後直接視マーカ画像ＲＭＡとの差を示している。ロボットシステム１００は、直接視マーカベクトルＲＡＲを求めることにより、対象物ＯＢ４の把持状態を検知することが可能である。
また、マーカ４５の反射像についても直接像と同様にして、時間変化によるマーカ４５の画像内の位置の差をマーカベクトルによって表すことができる。すなわち、接触前反射視マーカ画像ＭＭＢと、接触後反射視マーカ画像ＭＭＡとの間には、同図に示すように画像内の位置の差が生じる。反射視マーカベクトルＭＡＲは、接触前反射視マーカ画像ＭＭＢと、接触後反射視マーカ画像ＭＭＡとの差を示している。ロボットシステム１００は、反射視マーカベクトルＭＡＲを求めることにより、対象物ＯＢ４の把持状態を検知することが可能である。
［把持対象物が透過部接触面４０に触れた場合］
図８は、実施形態におけるロボットシステム制御部９０の一例を示す図である。
ロボットシステム制御部９０は、ロボット制御部９１と、入力部９２と、出力部９３と、把持状態検出部８０とを備える。
ロボット制御部９１は、いずれも不図示のマイクロコンピュータ、ＲＡＭ(Random access memory)及びＲＯＭ(Read only memory)等のメモリ、及び外部機器との通信を行う通信部等を備えている。
入力部９２は、圧力センサ、位置センサ、温度センサ、及び加速度センサ等のセンサ、カメラ、マイク（いずれも不図示）などから情報を取得する。
出力部９３は、不図示のロボット駆動用のモータ（不図示）などに駆動信号を出力する。
把持状態検出部８０は、画像取得部８１と、画像処理部８２と、制御部８３と、基準状態記憶部８４とを備える。
ロボットシステム１００において、検出部である把持状態検出部８０は、撮像部３０が撮像した画像を取得し、取得した画像に基づき透過部接触面４０に対する物体の接触状態を検出する。
把持状態検出部８０は、検出した把持状態をロボット制御部９１に提供する。
画像取得部８１は、撮像部３０が撮像した画像情報を取得する。画像取得部８１は、撮像部３０より取得した画像を画像処理部８２に提供する。
なお、この一例では、撮像部３０が取得する画像が静止画であるとして説明するが、撮像部３０が取得する情報は動画でもよい。
画像処理部８２は、画像取得部８１から画像を取得する。画像処理部８２は、取得した画像に基づいて、マーカ４５の位置を検出する処理を行う。
基準状態記憶部８４は、対象物を検出していない状態のマーカ４５の位置情報、すなわち基準位置情報を記憶している。つまり基準状態記憶部８４は、マーカ４５が直接視撮像画像Ｒに撮像された直接視撮像マーカＲＭの基準位置情報、及びマーカ４５が反射視撮像画像Ｍに撮像された反射視撮像マーカＭＭの基準位置情報を記憶している。
制御部８３は、画像処理部８２から、直接視撮像マーカＲＭの基準位置情報、反射視撮像マーカＭＭの基準位置情報、及びマーカ４５の位置の検出結果を取得する。このマーカ４５の位置の検出結果には、直接視撮像マーカＲＭの位置情報と、反射視撮像マーカＭＭの位置情報とが含まれている。
また、制御部８３は、基準状態記憶部８４から直接視撮像マーカＲＭの基準位置情報、及び反射視撮像マーカＭＭの基準位置情報を取得する。制御部８３は、撮像画像Ｐが示す直接視撮像マーカＲＭの位置情報と、基準状態記憶部８４から取得した直接視撮像マーカＲＭの基準位置情報とに基づいて、直接視撮像マーカＲＭの変位（例えば、直接視マーカベクトルＲＡＲ）を求める。また、制御部８３は、撮像画像Ｐが示す反射視撮像マーカＭＭの位置情報と、基準状態記憶部８４から取得した反射視撮像マーカＭＭの基準位置情報とに基づいて、反射視撮像マーカＭＭの変位（例えば、反射視マーカベクトルＭＡＲ）を求める。
制御部８３は、マーカ４５の変位情報をロボット制御部９１に出力する。このマーカ４５の変位情報は、把持対象物の把持状態を示している。すなわち、制御部８３は、把持対象物の把持状態を検出する。
なお、制御部８３は、マーカ４５の変位量が所定値を超える場合に、対象物が透過部接触面４０に接触したと判定してもよい。
また、制御部８３は、画像取得部８１は、撮像部３０が撮像した画像をロボット制御部９１に出力してもよい。撮像部３０が撮像した画像には、透過部４３の透過部接触面４０側に存在する物体の画像が含まれている。つまり、撮像部３０が撮像した画像には、透過部４３を介して観察可能な外界の様子の画像が含まれている。このように構成された把持状態検出部８０によれば、透過部接触面４０への物体の接触の有無にかかわらず、透過部接触面４０の周囲の様子をロボット制御部９１に把握させることができる。
図９は、実施形態におけるロボットシステム制御部９０の動作の一例を示す図である。図９を参照してロボットシステム制御部９０の動作の一例について説明する。
（ステップＳ１０）画像取得部８１は、撮像部３０が撮像した画像情報を取得する。画像取得部８１は、撮像部３０より取得した画像を画像処理部８２に提供する。
（ステップＳ２０）画像処理部８２は、画像取得部８１から画像を取得する。画像処理部８２は、取得した画像について処理を行う。画像処理部８２は撮像画像Ｐの直接視撮像画像Ｒの範囲と、反射視撮像画像Ｍの範囲とを識別する。画像処理部８２は、直接視撮像画像Ｒの範囲内に存在する直接視撮像マーカＲＭの位置情報、反射視撮像画像Ｍの範囲内に存在する反射視撮像マーカＭＭの位置情報、及び撮像画像Ｐを制御部８３に提供する。制御部８３は、画像処理部８２から、直接視撮像マーカＲＭの位置情報、反射視撮像マーカＭＭの位置情報、及び撮像画像Ｐを取得する。また、制御部８３は、基準状態記憶部８４から対象物を検出していない状態の直接視撮像マーカＲＭの位置情報、反射視撮像マーカＭＭの位置情報を取得する。制御部８３は、画像処理部８２から取得した直接視撮像マーカＲＭの位置情報及び反射視撮像マーカＭＭの位置情報と、基準状態記憶部８４から取得した直接視撮像マーカＲＭの位置情報及び反射視撮像マーカＭＭの位置情報とを比較する。
（ステップＳ３０）制御部８３は、比較した結果に差がある場合（ステップＳ３０；ＹＥＳ）には、対象物が透過部接触面４０に接触したと判定し、処理をステップＳ４０に進める。制御部８３は、比較した結果に差がない場合（ステップＳ３０；ＮＯ）には、対象物が透過部接触面４０に接触していないと判定し、処理をステップＳ１０に進める。
（ステップＳ４０）制御部８３は、ロボット制御部９１に把持状態を通知する。具体的には、制御部８３は直接視撮像マーカＲＭ及び反射視撮像マーカＭＭの変位情報をロボット制御部９１に通知する。また制御部８３は、変位が検知された際の撮像画像Ｐを同時にロボット制御部９１に提供する。
［第２の実施形態］
図１０は、第２の実施形態における触覚センサの断面図の一例を示す図である。
上述した実施形態では、反射部２０は１つの平面であるとして説明した。第２の実施形態では、反射部２０が複数の異なる角度を持つ点で、上述した実施形態と異なる。
第２の実施形態において、触覚センサ１は、複数の異なる角度を持つ反射部２０を備える。この一例において、触覚センサ１は、第１角度反射部２１及び第２角度反射部２２を備える。（以後この実施形態において、第１角度反射部２１と、第２角度反射部２２とを区別しない場合には、反射部２０とする。）
法線Ｎ２１は第１角度反射部２１の法線である。
法線Ｎ２２は第２角度反射部２２の法線である。
ここで、法線Ｎ２１と法線Ｎ２２は、交点ＩＰにおいて交差する。つまり、触覚センサ１は、撮像部３０の撮像光軸ＯＡに対する法線の角度が互いに異なる複数の反射面を備える。
第２の実施形態において、触覚センサ１は、角度が互いに異なる複数の反射部２０を有することにより、撮像部３０は第１の実施形態と同様の画角Ａ１０である場合にも、より広い範囲を観察することが可能である。
なお、この一例において反射部２０は複数の異なる角度を持つ反射部（第１角度反射部２１及び第２角度反射部２２）から構成されている。これらの反射部は、それぞれ異なる反射部材により構成してもよい。また、一つの反射部材に複数の異なる角度を持つ反射部を構成することにより同様の効果を持つ反射部を構成してもよい。
図１１は、第２の実施形態における撮像部３０が撮像可能な範囲の一例を示す図である。第２の実施形態において、撮像画像Ｐは、直接視撮像画像Ｒと、第１角度反射部２１に対応する反射視撮像画像Ｍ１と、第２角度反射部２２に対応する反射視撮像画像Ｍ２とを画像の構成要素として備える。（以後この実施形態において、第１角度反射部２１に対応する反射視撮像画像Ｍ１と、第２角度反射部２２に対応する反射視撮像画像Ｍ２とを区別しない場合には、反射視撮像画像Ｍとする。）
直接視撮像画像Ｒには、第１の実施形態と同様に、直接視撮像マーカＲＭが撮像されている。また、反射視撮像画像Ｍには、反射視撮像マーカＭＭが撮像されている。
撮像部３０は、直接視撮像マーカＲＭ及び反射視撮像マーカＭＭを観察することにより、把持状態を検知する。
［第３の実施形態］
図１２は、第３の実施形態における触覚センサの断面図の一例を示す図である。
上述した実施形態では、透過部接触面４０は平面であるとして説明した。第３の実施形態では、透過部接触面４０が複数の異なる角度を持つ（つまり、湾曲面を有する）点で、上述した実施形態と異なる。
第３の実施形態において、触覚センサ１は、複数の異なる角度を持つ透過部接触面４０を備える。この一例において、触覚センサ１は、第１角度透過部接触面４１と、第２角度透過部接触面４２とを備える。（以後この実施形態において、第１角度透過部接触面４１と、第２角度透過部接触面４２とを区別しない場合には、透過部接触面４０とする。）
法線Ｎ４１は、第１角度透過部接触面４１の法線である。
法線Ｎ４２は、第２角度透過部接触面４２の法線である。
ここで、法線Ｎ４１と法線Ｎ４２は、交点ＩＰにおいて交差する。つまり、透過部４３は、撮像部３０の撮像光軸ＯＡに対する法線の角度が互いに異なる複数の領域を備える。撮像部３０は、透過部４３の複数の領域を介してそれぞれ入射する光による透過部接触面４０側に存在する物体の像を、それぞれ撮像可能である。
第３の実施形態において、触覚センサ１は、角度が互いに異なる複数の透過部接触面４０を有することにより、撮像部３０は第１の実施形態と同様の画角Ａ１０である場合にも、より広い範囲を観察することが可能である。特に第３の実施形態では、第２角度透過部接触面４２を備えることにより、ｘ軸方向に対して、より広い範囲の観察が可能となる。したがって、ロボットシステム制御部９０が触覚センサモジュール１０の位置をｘ軸方向に移動させる場合、触覚センサ１が備える撮像部３０が撮像する画像により、進行方向にある物体との衝突を事前に検知することができる。
つまり第３の実施形態において、触覚センサ１は第２角度透過部接触面４２を備えることにより、触覚センサ１は進行方向に存在する物体を検知する。したがって、触覚センサ１は、進行方向に存在する物体との衝突を回避することが可能になる。
図１３は、第３の実施形態における撮像部３０が撮像可能な範囲の一例を示す図である。第３の実施形態において、撮像画像Ｐは、第１角度透過部接触面４１に対応する直接視撮像画像Ｒ１と、第２角度透過部接触面４２に対応する直接視撮像画像Ｒ２と、反射視撮像画像Ｍとを画像の構成要素として備える。（以後この実施形態において、第１角度透過部接触面４１に対応する直接視撮像画像Ｒ１と、第２角度透過部接触面４２に対応する直接視撮像画像Ｒ２とを区別しない場合には、直接視撮像画像Ｒとする。）
直接視撮像画像Ｒには、第１の実施形態と同様に、直接視撮像マーカＲＭが撮像されている。また、反射視撮像画像Ｍには、反射視撮像マーカＭＭが撮像されている。
撮像部３０は、直接視撮像マーカＲＭ及び反射視撮像マーカＭＭを観察することにより、把持状態を検知する。
［第４の実施形態］
図１４は、第４の実施形態における触覚センサの断面図の一例を示す図である。
上述した第２の実施形態では、反射部２０が複数の異なる角度を持つ実施形態について説明した。また、上述した第３の実施形態では、透過部接触面４０が複数の異なる角度を持つ実施形態について説明した。第４の実施形態では、反射部２０が複数の異なる角度を持ち、かつ透過部接触面４０が複数の異なる角度を持つ点で上述した実施形態と異なる。
第４の実施形態において、触覚センサ１は、複数の異なる角度を持つ反射部２０を備える。また、触覚センサ１は、複数の異なる角度を持つ透過部接触面４０を備える。この一例において、触覚センサ１は、第１角度反射部２１、第２角度反射部２２、第１角度透過部接触面４１、及び第２角度透過部接触面４２を備える。（以後この実施形態において、第１角度反射部２１と、第２角度反射部２２とを区別しない場合には、反射部２０とする。また、第１角度透過部接触面４１と、第２角度透過部接触面４２とを区別しない場合には、透過部接触面４０とする。）
第４の実施形態において、触覚センサ１は、角度が互いに異なる複数の反射部２０を有することにより、撮像部３０は第１の実施形態と同様の画角Ａ１０である場合にも、より広い範囲を観察することが可能である。また、この一例において、触覚センサ１は、角度が互いに異なる複数の透過部接触面４０を有することにより、撮像部３０は第１の実施形態と同様の画角Ａ１０である場合にも、より広い範囲を観察することが可能である。特に第４の実施形態では、第２角度透過部接触面４２を備えることにより、ｘ軸方向に対しても観察が可能となる。したがって、ロボットシステム制御部９０が触覚センサモジュール１０の位置をｘ軸方向に移動させる場合、触覚センサ１が備える撮像部３０が撮像する画像により、進行方向にある物体との衝突を事前に検知することができる。
図１５は、第４の実施形態における撮像部３０が撮像可能な範囲の一例を示す図である。第４の実施形態において、撮像画像Ｐは、第１角度透過部接触面４１に対応する直接視撮像画像Ｒ１と、第２角度透過部接触面４２に対応する直接視撮像画像Ｒ２と、第１角度反射部２１に対応する反射視撮像画像Ｍ１と、第２角度反射部２２に対応する反射視撮像画像Ｍ２とを画像の構成要素として備える。（以後この実施形態において、第１角度透過部接触面４１に対応する直接視撮像画像Ｒ１と、第２角度透過部接触面４２に対応する直接視撮像画像Ｒ２とを区別しない場合には、直接視撮像画像Ｒとする。また、第１角度反射部２１に対応する反射視撮像画像Ｍ１と、第２角度反射部２２に対応する反射視撮像画像Ｍ２とを区別しない場合には、反射視撮像画像Ｍとする。）
直接視撮像画像Ｒには、第１の実施形態と同様に、直接視撮像マーカＲＭが撮像されている。また、反射視撮像画像Ｍには、反射視撮像マーカＭＭが撮像されている。
撮像部３０は、直接視撮像マーカＲＭ及び反射視撮像マーカＭＭを観察することにより、把持状態を検知する。
［第５の実施形態］
図１６は、第５の実施形態における触覚センサの断面図の一例を示す図である。
上述した実施形態では、透過部接触面４０は平面であるとして説明した。また、上述した第３の実施形態及び第４の実施形態では、透過部接触面４０が複数の異なる角度を持つ実施形態について説明した。特に、ｘ軸方向にのみ複数の角度を持つとして説明したが、第５の実施形態では、ｚ軸方向についても複数の角度を持つ点で、第５の実施形態は、第３の実施形態及び第４の実施形態と異なる。
第５の実施形態において、触覚センサ１は、複数の異なる角度を持つ透過部接触面４０を備える。ここで、第３の実施形態及び第４の実施形態において、透過部接触面４０は、ｘ軸方向に対し複数の異なる角度を持つことを説明した。第５の実施形態においては、透過部接触面４０は、さらにｚ軸方向に対し複数の異なる角度を持つ。
触覚センサ１は、複数の反射部２０を備える。この一例において、触覚センサ１は、第１角度反射部２１及び第２角度反射部２２を備える。（以後この実施形態において、第１角度反射部２１と、第２角度反射部２２とを区別しない場合には、反射部２０とする。）
触覚センサ１は、複数の異なる角度を持つ透過部接触面４０を備える。この一例において、触覚センサ１は、第１角度透過部接触面４１と、第２角度透過部接触面４２とを備える。
さらに、第１角度透過部接触面４１は、ｚ軸方向に異なる角度を持つ第１角度透過部接触面４１Ｓを有する。第２角度透過部接触面４２は、ｚ軸方向に異なる角度を持つ第２角度透過部接触面４２Ｓを有する。（以後この実施形態において、第１角度透過部接触面４１と、第２角度透過部接触面４２と、第１角度透過部接触面４１Ｓと、第２角度透過部接触面４２Ｓとを区別しない場合には、透過部接触面４０とする。）
第５の実施形態において、触覚センサ１は、ｚ軸方向に対し複数の異なる角度を持つ透過部接触面４０Ｓを有することにより、ｚ軸方向に対しても、より広い範囲を観察することが可能になる。ロボットシステム制御部９０が触覚センサモジュール１０の位置をｚ軸方向に移動させる場合、触覚センサ１が備える撮像部３０が撮像する画像により、進行方向にある物体との衝突を事前に検知することができる。
つまり第５の実施形態において、触覚センサ１は、衝突回避をすることが可能になる。
図１７は、第５の実施形態における撮像部３０が撮像可能な範囲の一例を示す図である。第５の実施形態において、撮像画像Ｐは、第１角度透過部接触面４１に対応する直接視撮像画像Ｒ１と、第１角度透過部接触面４１Ｓに対応する直接視撮像画像ＲＳ１と、第２角度透過部接触面４２に対応する直接視撮像画像Ｒ２と、第２角度透過部接触面４２Ｓに対応する直接視撮像画像ＲＳ２と、第１角度反射部２１に対応する反射視撮像画像Ｍ１と、第２角度反射部２２に対応する反射視撮像画像Ｍ２とを画像の構成要素として備える。（以後この実施形態において、直接視撮像画像Ｒ１と、直接視撮像画像Ｒ２と、直接視撮像画像ＲＳ１と、直接視撮像画像ＲＳ２とを区別しない場合には、直接視撮像画像Ｒとする。また、第１角度反射部２１に対応する反射視撮像画像Ｍ１と、第２角度反射部２２に対応する反射視撮像画像Ｍ２とを区別しない場合には、反射視撮像画像Ｍとする。）
反射視撮像画像Ｍ１は、透過部接触面４０Ｓを反射するＭＳ１を有する。
反射視撮像画像Ｍ２は、透過部接触面４０Ｓを反射するＭＳ２を有する。
直接視撮像画像Ｒには、第１の実施形態と同様に、直接視撮像マーカＲＭが撮像されている。また、反射視撮像画像Ｍには、反射視撮像マーカＭＭが撮像されている。
撮像部３０は、直接視撮像マーカＲＭ及び反射視撮像マーカＭＭを観察することにより、把持状態を検知する。
なお、上述した触覚センサモジュール１０と把持状態検出部８０とを総称して、触覚センサシステムともいう。
［実施形態の効果のまとめ］
以上説明したように、本実施形態の触覚センサ１は、接触面に接触した把持対象物の形状に沿って変形する透明な透過部４３を観察することにより、把持状態を検出することができる。触覚センサ１は反射部２０を備え、直接視撮像画像Ｒと、反射視撮像画像Ｍとを観察することにより、撮像部３０の画角Ａ１０の範囲外を観察することが可能となる。
ここで、従来の触覚センサの一例によると、撮像部は透過部に対して垂直に配置されており、また、反射部を備えていない。したがって、触覚センサの小型化をするためには、画角の広い撮像部を用いて撮像部と透過部との距離を短くする、もしくは撮像部自体の小型化を行う必要があった。撮像部の画角をより広角にしたり、撮像部を小型化したりすると、撮像品質が低下し、物体の把持状態の検出精度が低下してしまうという問題があった。つまり、従来の方法では、小型化が容易でないという問題があった。
本実施形態の触覚センサ１によれば、透過部４３を直接観察することに加え、反射部２０により透過部４３を観察することが可能である。したがって、透過部４３を直接視により撮像する位置（撮像部の撮像光軸が透過部の法線方向に対して平行な位置）に撮像部を配置する必要がない。また、本実施形態の触覚センサ１によれば、透過部４３を直接観察することに加え、反射部２０により透過部４３を観察するという手法を用いるので、より広い範囲の撮像が可能となるため、撮像部３０を広角化することなく、又は撮像部３０を小型化することなく、触覚センサ１を構成することが可能となる。
すなわち、本実施形態の触覚センサ１によれば、小型化を容易にすることができる。
また、従来の触覚センサの他の一例によると、透過部４３を備えておらず、把持している把持対象物を撮像部が撮像できない構成のものがあった。この従来の触覚センサの他の一例によると、把持対象物の把持状態に滑りが生じても撮像部によっては検出できないという問題があった。
本実施形態の触覚センサ１によれば、透過部４３を備えるため、撮像部３０は把持対象物を直接視することにより、把持対象物の把持状態に滑りが生じたことを検知することができる。
すなわち、本実施形態の触覚センサ１によれば、撮像部３０は透過部４３を直接観察することに加え、反射部２０により透過部４３を観察することにより、より広い範囲の撮像が可能となり、さらに撮像部３０は把持対象物を直接視することにより、把持対象物の把持状態に滑りが生じたことを検知することができる。
また、上述した実施形態によれば、撮像部３０は、撮像部３０の撮像光軸ＯＡと、透過部４３の透過部非接触面４７の法線とが交点を有するように配置される。
従来の技術では、撮像部３０の撮像光軸ＯＡと、透過部４３の透過部非接触面４７の法線とは平行な位置に撮像部３０が配置されていた。そのため、触覚センサ１の大きさは、撮像部３０の大きさに依存していた。
しかしながら上述した実施形態によれば、撮像部３０を、撮像部３０の撮像光軸ＯＡと、透過部４３の透過部非接触面４７の法線とが交点を有するように設置できる。
すなわち、本実施形態の触覚センサ１によれば、小型化を容易にすることができる。
また、上述した実施形態によれば、反射部２０は、法線の角度が互いに異なる複数の反射面を備える。したがって、撮像部３０は、意図的に観察できる範囲を狭めた視野を提供する。触覚センサ１は複数の反射面により把持対象物を観察することで、把持対象物が３次元空間上に存在している範囲を限定することができる。
したがって、触覚センサ１はより限定された３次元空間上に把持対象物が存在することを特定することが可能になり、より正確な把持状態を検出することができるようになる。また、触覚センサ１は正確に３次元空間を把握することにより、ロボットシステム１００が触覚センサ１を駆動させて把持対象物に近づける際、把持対象物をより早く発見できるようになる。
また、上述した実施形態によれば、透過部４３は、撮像部３０の撮像光軸ＯＡに対する法線の角度が互いに異なる複数の領域を備え、撮像部３０は、透過部４３の複数の領域を介してそれぞれ入射する透過部接触面４０側に存在する物体の像を、それぞれ撮像可能である。触覚センサ１は直接視及び反射視のそれぞれにより把持対象物を観察することで、把持対象物をより正確に把握することができる。
つまり上述した実施形態によれば、触覚センサ１は、より正確な把持状態を検出することができる。
また、上述した実施形態によれば、透過部４３は、撮像部３０の撮像光軸ＯＡに対する法線の角度が互いに異なる複数の領域を備える。撮像部３０は、透過部４３の複数の領域を介してそれぞれ入射する透過部接触面４０側に存在する物体の像を、それぞれ撮像可能である。したがって、撮像部３０は透過部４３が平面である場合に比べて、より広い範囲を直接視により撮像可能である。
つまり、ロボットシステム制御部９０が触覚センサモジュール１０の位置を移動させる場合、触覚センサ１は、物体の像を検知することが可能となる。したがって上述した実施形態における触覚センサ１は、衝突回避をすることができる。
また、上述した実施形態によれば、把持状態検出部８０は、撮像部３０が撮像した画像を取得し、取得した画像に基づき接触面に対する物体の接触状態を検出する。
つまり、ロボットシステム１００は、把持状態検出部８０を備えることにより、物体の把持状態を検出することができる。
把持状態検出部８０は、ロボット制御部９１に情報を提供することにより、ロボット制御部９１はロボットシステム１００を制御することができる。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
１…触覚センサ、１０…触覚センサモジュール、１１…センサ接続部、１００…ロボットシステム、１１０…先端部、１２０…上腕部、１３０…関節部、１４０…下腕部、１５０…主横軸部、１６０…主縦軸部、１７０…土台部、９０…ロボットシステム制御部、２０…反射部、３０…撮像部、４０…透過部接触面、４７…透過部非接触面、４３…透過部、４５…マーカ、５０…フレーム、７０…硬質レイヤ、９１…ロボット制御部、９２…入力部、９３…出力部、８０…把持状態検出部、８１…画像取得部、８２…画像処理部、８３…制御部、８４…基準状態記憶部、Ａ１０…画角、ＯＡ…撮像光軸、ＩＡ１０…第１入射角、ＲＡ１０…第１反射角、ＩＡ２０…第２入射角、ＲＡ２０…第２反射角、ＩＡ３０…第３入射角、ＲＡ３０…第３反射角、ＡＲ１…第１撮像範囲、ＡＲ２…第２撮像範囲、ＡＲ３…第３撮像範囲、ＯＢ１…第１対象物、ＯＢ２…第２対象物、ＯＢ３…第３対象物、ＲＭ…直接視撮像マーカ、ＭＭ…反射視撮像マーカ、Ｒ…直接視撮像画像、Ｍ…反射視撮像画像、Ｐ…撮像画像

Claims (8)

  1. 把持対象物に接触可能な第一の面と、前記第一の面の裏面である第二の面とを備える透過部と、
    前記透過部の前記第一の面側に存在する物体の像を前記第二の面側から撮像可能な撮像部と、
    前記透過部の前記第二の面側に配置され、前記透過部の少なくとも一部の領域からの光を反射させて前記撮像部の撮像画角内に導く反射部と
    を備える触覚センサ。
  2. 前記透過部は、前記第一の面に接触した把持対象物の形状に沿って少なくとも一部が変形し、
    前記撮像部は、
    前記第一の面側に存在する物体の像と、前記透過部に付された前記透過部の変形を示すマーカの像との両方を前記第二の面側から撮像可能である
    請求項１に記載の触覚センサ。
  3. 前記撮像部は、
    前記撮像部の撮像光軸と、前記透過部の前記第二の面の法線とが交点を有するように配置される
    請求項１又は請求項２に記載の触覚センサ。
  4. 前記反射部は、
    前記撮像部の撮像光軸に対する法線の角度が互いに異なる複数の反射面を備える
    請求項１又は請求項３に記載の触覚センサ。
  5. 前記撮像部は、
    前記反射部を介さずに入射する光による前記透過部の撮像対象領域の像である第１像と、前記反射部によって反射されて入射する光による前記透過部の撮像対象領域の像である第２像との両方を、前記透過部の像として撮像する
    請求項１から請求項４のいずれか一項に記載の触覚センサ。
  6. 前記透過部は、
    前記撮像部の撮像光軸に対する法線の角度が互いに異なる複数の領域を備え、
    前記撮像部は、
    前記透過部の複数の前記領域を介してそれぞれ入射する光による前記第一の面側に存在する物体の像を、それぞれ撮像可能である
    請求項１から請求項５のいずれか一項に記載の触覚センサ。
  7. 請求項１から請求項６のいずれか一項に記載の触覚センサと、
    前記撮像部が撮像した画像を取得し、取得した前記画像に基づき前記第一の面に対する物体の接触状態を検出する検出部と、
    を備える触覚センサシステム。
  8. 把持対象物に接触可能な第一の面と、前記第一の面の裏面である第二の面とを備える透過部と、
    前記透過部の前記第一の面側に存在する物体の像を前記第二の面側から撮像可能な撮像部と、
    前記透過部の前記第二の面側に配置され、前記透過部の少なくとも一部の領域からの光を反射させて前記撮像部の撮像画角内に導く反射部と
    を備える触覚センサと接続されたコンピュータに、
    前記撮像部が撮像した画像を取得する画像取得ステップと、
    前記画像取得ステップにより取得された前記画像に基づき、前記第一の面に対する物体の接触状態を検出する検出ステップと、
    を実行させるプログラム。
JP2023135633A 2019-07-04 2023-08-23 触覚センサ、触覚センサシステム及びプログラム Pending JP2023157985A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023135633A JP2023157985A (ja) 2019-07-04 2023-08-23 触覚センサ、触覚センサシステム及びプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021529656A JP7345902B2 (ja) 2019-07-04 2019-07-04 触覚センサ、触覚センサシステム及びプログラム
PCT/JP2019/026650 WO2021001992A1 (ja) 2019-07-04 2019-07-04 触覚センサ、触覚センサシステム及びプログラム
JP2023135633A JP2023157985A (ja) 2019-07-04 2023-08-23 触覚センサ、触覚センサシステム及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021529656A Division JP7345902B2 (ja) 2019-07-04 2019-07-04 触覚センサ、触覚センサシステム及びプログラム

Publications (1)

Publication Number Publication Date
JP2023157985A true JP2023157985A (ja) 2023-10-26

Family

ID=74100757

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021529656A Active JP7345902B2 (ja) 2019-07-04 2019-07-04 触覚センサ、触覚センサシステム及びプログラム
JP2023135633A Pending JP2023157985A (ja) 2019-07-04 2023-08-23 触覚センサ、触覚センサシステム及びプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021529656A Active JP7345902B2 (ja) 2019-07-04 2019-07-04 触覚センサ、触覚センサシステム及びプログラム

Country Status (6)

Country Link
US (1) US11836823B2 (ja)
EP (1) EP3995268A4 (ja)
JP (2) JP7345902B2 (ja)
KR (1) KR20220027142A (ja)
CN (1) CN114072260A (ja)
WO (1) WO2021001992A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2605423B (en) * 2021-03-31 2023-09-27 Ocado Innovation Ltd Tactile Sensor

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3472772D1 (en) 1983-04-04 1988-08-25 Siemens Ag Pressure imaging system
US4668861A (en) * 1984-12-12 1987-05-26 The Regents Of The University Of California Tactile sensor employing a light conducting element and a resiliently deformable sheet
US4599908A (en) * 1985-03-18 1986-07-15 Sheridan Thomas B Opto-mechanical touch sensor
JPH07128163A (ja) * 1993-11-08 1995-05-19 Fuji Electric Co Ltd 触覚センサ
JP3047021B1 (ja) * 1999-04-05 2000-05-29 工業技術院長 触覚センサ
US6321605B1 (en) 2000-01-14 2001-11-27 National Research Council Of Canada Surface load and pressure sensing apparatus
CN1264003C (zh) * 2000-08-31 2006-07-12 株式会社东京大学Tlo 光学式触觉传感器
JP2007518966A (ja) 2003-09-16 2007-07-12 株式会社東京大学Ｔｌｏ 光学式触覚センサ及び該センサを用いた力ベクトル分布再構成法
JP2005177977A (ja) 2003-11-25 2005-07-07 Matsushita Electric Works Ltd ロボットハンドの制御装置
JP4621827B2 (ja) * 2004-03-09 2011-01-26 財団法人名古屋産業科学研究所 光学式触覚センサ、光学式触覚センサを利用したセンシング方法、センシングシステム、物体操作力制御方法、物体操作力制御装置、物体把持力制御装置及びロボットハンド
JP5013507B2 (ja) * 2006-06-29 2012-08-29 国立大学法人東北大学 反射像を用いた触覚センサ
JP2009285737A (ja) * 2008-05-27 2009-12-10 Univ Of Tokyo 入力インタフェース
JP5449336B2 (ja) * 2008-06-19 2014-03-19 マサチューセッツ インスティテュート オブ テクノロジー 弾性撮像を使用する接触センサ
JP5239987B2 (ja) 2009-03-24 2013-07-17 株式会社豊田自動織機 ロボットハンド用撮像装置内蔵フィンガ
KR101586665B1 (ko) 2014-10-28 2016-01-19 한국기계연구원 접촉면 계측이 가능한 유체형 촉각센서
EP3290167B1 (de) 2016-09-01 2021-10-20 J. Schmalz GmbH Handhabungsvorrichtung und verfahren zur überwachung eines handhabungsvorgangs
EP3643459A4 (en) * 2017-06-21 2020-12-16 Saito Inventive Corp. MANIPULATOR AND ROBOT

Also Published As

Publication number Publication date
US11836823B2 (en) 2023-12-05
EP3995268A1 (en) 2022-05-11
WO2021001992A1 (ja) 2021-01-07
US20220245750A1 (en) 2022-08-04
JPWO2021001992A1 (ja) 2021-01-07
EP3995268A4 (en) 2023-04-12
KR20220027142A (ko) 2022-03-07
JP7345902B2 (ja) 2023-09-19
CN114072260A (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
US11254008B2 (en) Method and device of controlling robot system
US20120221145A1 (en) Master input device and master-slave manipulator
JP2023157985A (ja) 触覚センサ、触覚センサシステム及びプログラム
KR20170130320A (ko) 터치 프로브에 대하여 시각 시스템을 켈리브레이팅하기 위한 시스템 및 방법
CN108536142B (zh) 基于数字光栅投影的工业机器人防撞预警系统及方法
JP7058621B2 (ja) 映像記録装置およびヘッドマウントディスプレイ
JP2019003332A (ja) 空中映像表示装置
JP2008168372A (ja) ロボット装置及び形状認識方法
CN111565898B (zh) 操作引导系统
CN114536402B (zh) 基于关联标识的机器人系统故障检测处理方法及机器人系统
US11182004B2 (en) Changing sensing areas based on start positions of touch gestures
JP2006007390A (ja) 撮像装置、撮像方法、撮像プログラム、撮像プログラムを記録したコンピュータ読取可能な記録媒体
JPS6334093A (ja) 視覚装置
US11691237B2 (en) Machine control device
CN115213894A (zh) 机器人图像的显示方法、显示系统以及记录介质
JPH05180622A (ja) 位置と姿勢の検出装置
JP2020091154A (ja) 距離測定装置
US20240165830A1 (en) Robot for gripping an object using dual fingers and object grip method thereof
US11698434B2 (en) Machine control device
JPH0797295B2 (ja) ターゲットトラッキングシステム
JP7385303B2 (ja) 把持装置、制御方法及びプログラム
CN114536401B (zh) 基于多个位姿标识的机器人系统故障检测处理方法及机器人系统
US20220092880A1 (en) Eyeball detection device, eye-gaze tracking device, eyeball detection method, and medium
US20240169659A1 (en) Wearable terminal device, program, and display method
WO2022124232A1 (ja) 画像処理システム及び画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230823