JP2019515302A - 実用検知システム - Google Patents

Abstract

本発明の検知システムでは、加えられた力の位置及び強度が容易かつ実用的方法で検出され、周囲環境の画像、動画が撮られ、それらの３次元走査が行われ、接触する物体の表面の触感とクリープが検出される。２次元、３次元画像（ホログラム）が生成され、物理的、化学的特徴が検出される。検知システム（Ｓ）は、弾性層（１）、弾性層（１）の下方に配置され画像（Ｐ）を生成し生成された画像を弾性層（１）上に反射する画像供給源（５）、弾性層（１）の下方に配置され弾性層（１）又は周囲環境から来る画像を撮像する画像センサ（７）、画像供給源（５）により生成された画像（Ｐ）を制御し周囲環境に関するデータを検出するために画像処理技術を用いて画像センサ（７）に撮像された画像を分析する制御ユニット、画像供給源（５）及び画像センサ（７）と制御ユニット間のデータ通信のための第１データリンク（８）及び第２データリンク（９）、を備える。【選択図】図１

Description

本発明は、特にロボットシステムにおいて用いられる検知システムに関する。

人間にとって危険な領域（例えば、異なる惑星、地下トンネルや洞窟）を探索するために、探査ロボットが用いられている。探査ロボットは、送り出された領域内の物体を検出し、前記物体の特性を識別するための様々なセンサを備える。前記探査ロボットに用いられるセンサの１つは触覚センサである。触覚センサによって、特定の物体の存在、それらによって加えられる力、および、圧力および剛性のようなその物理的特徴を検出することができる。

従来の触覚センサは、ＵＳ２０１０１５５５７９Ａ１に開示されているように、弾性表面の下方に配置された光源と、前記表面から反射された光の量を検知するための光検知要素とを備える。このような触覚センサでは、力が弾性表面に加えられると、前記表面が光源および光検知素子に接近する。このような接近の結果、光検知素子に入射する光量が増加する。光検知素子によって検知された光の量および表面の弾性特性は、表面に加えられる力の量を計算するために用いられる。しかしながら、この実施形態では、ユニット表面の下方に配置可能な光源の数および光検知素子の数は限られており、多数の光検知素子から受け取ったデータを処理するのは煩雑である。

前記問題は、ＷＯ２０１４０１１１２６Ａ１に開示されているモジュールによって解決される。前記モジュールは、光の反射を提供する層で覆われている弾性材料と、ＣＭＯＳまたはＣＣＤ画像センサと、少なくとも１つの光源と、一端が層の下方に配置されることによって前記層を介して周囲の環境から分離されており、他端が前記光源に接続されている、複数の第１光ファイバケーブルと、を備え、前記第１光ファイバケーブルは光源から前記層へ光線を搬送する。前記モジュールは、複数の第２光ファイバケーブルを備え、第２光ファイバケーブルの一端が層の下方に配置され、層の方向に向いていることにより前記層を介して周囲環境から分離されており、他端が、各第２光ファイバケーブルが画像センサの１つの画素と対になるように、前記画像センサに接続されており、前記層から反射された光線は前記第２光ファイバケーブルによって画像センサに伝達される。前記モジュールはプロセッサを備え、プロセッサは、画像処理技術を用いることによって、層の変位に応答して画像センサによって生成されたフォトフレームの、第２ファイバケーブルに接続された各画素の光強度変化に応じて層に加えられる個々の力を計算する。ＷＯ２０１４０１１１２６Ａ１に開示されているモジュールでは、弾性材料が物体に接触すると、弾性材料および前記層に変形が生じる（例えば、光ファイバケーブルに対する層の変位）。このような変位の結果として、層から光ファイバケーブルへ反射される光量が変化する。この光量の変化は、画像センサで発生したフォトフレームの色の変化として検出される。プロセッサは、写真の色の変化、したがって層の変位量を測定するために、前記フォトフレームに画像処理技術を適用する。計算された変位量に基づいて、弾性材料に加えられる力も計算される。画像内の色の変化の領域によって示される変位領域によって、加えられる圧力が計算される。触覚は、ＷＯ２０１４０１１１２６Ａ１に開示されたモジュールによって高解像度で検出されるが、前記モジュールは接触を感知することしかできないので、探査ロボットに必要とされる他の検知機能を提供することができない。

本発明によれば、特にロボットシステムでの使用に適した検知システムが提供される。前記検知システムは、少なくとも１つの弾性層と、前記弾性層の下方に配置され、少なくとも１つの画像を生成し、生成された画像を弾性層上に反射する、少なくとも１つの画像供給源と、前記弾性層の下方に配置され、前記弾性層または周囲環境から来る画像を撮像する、少なくとも１つの画像センサ（すなわち、ＣＣＤ、ＣＭＯＳセンサなど）と、前記画像供給源によって生成された画像を制御し、周囲環境に関する少なくとも１つのデータを検出するために、画像処理技術を用いて前記画像センサによって撮像された画像を分析する、少なくとも１つの制御ユニットと、前記画像供給源と前記制御ユニットとの間のデータ通信のための少なくとも１つの第１データリンクと、前記画像センサと前記制御ユニットとの間のデータ通信のための少なくとも１つの第２データリンクと、を備える。

本発明による検知システムにおいて、画像供給源から生じる画像は、弾性層および／または周囲環境の画像が画像センサによって撮像され、制御ユニットにおいて処理されるように、弾性層に転写される。これにより、弾性層に接触する物体を検出することができる。かくして、弾性層に加わる力を容易にかつ実用的に検出することで触覚を与え、さらに周囲の環境を走査することができる。

発明の目的

本発明の目的は、ロボットシステムでの使用に適した検知システムを提供することである。

本発明の別の目的は、接触を検知することができる検知システムを提供することである。

本発明の別の目的は、二次元走査（画像の写真および動画の撮像）および三次元走査を実施することができる検知システムを提供することである。

本発明の別の目的は、接触した物体の表面触感およびクリープを検知することができる検知システムを提供することである。

本発明の別の目的は、二次元および三次元（ホログラム）画像を生成することができる検知システムを提供することである。

本発明のさらに別の目的は、製造が容易な検知システムを提供することである。

本発明のさらに別の目的は、物理的および／または化学的特徴を検知することができる検知システムを提供することである。

本発明による検知システムの例示的な実施形態が添付の図面に示されている。

検知システムの側面図 検知システムの例示的な実施形態の斜視図 検知システムの別の例示的な実施形態の斜視図 検知システムのさらなる例示的な実施形態の斜視図

図面に示されている全ての部分は個々に参照番号が割り当てられており、これらの番号の対応する用語は以下のようにリストアップされる。

Ｓ 検知システム
Ｐ 画像
１ 弾性層
２ 上面
３ 下面
４ 光源
５ 画像供給源
６ ロボットハンド
７ 画像センサ
８ 第１データリンク
９ 第２データリンク
１０ 床
１１ 物体

先進のロボット技術により、視覚、聴覚、触覚などの感覚をセンサシステムで検出することができる。特に、人間にとって危険であるか又は人類が到着することが不可能なそのような領域を探査するために用いられる探査ロボットにおいて、探査されている領域の特性を前記検知システムによって正確に検出することができる。したがって、本発明により、異なる検知機能を実現することができる検知システムが提供される。

図１〜図４に示すように、本発明による検知システム（Ｓ）は、少なくとも１つの弾性層（１）と、前記弾性層（１）の下方に配置され、少なくとも１つの画像（Ｐ）を生成し、生成された画像を弾性層（１）に反射する、少なくとも１つの画像供給源（５）と、弾性層（１）の下方に配置され、弾性層（１）または周囲環境から来る画像を撮像する少なくとも１つの画像センサ（７）（すなわち、ＣＣＤ、ＣＭＯＳセンサなど）と、前記画像供給源（５）によって生成された画像（Ｐ）を制御し、周囲の環境に関する少なくとも１つのデータを検出するために画像処理技術を用いて画像センサ（７）によって撮像された画像を分析する、少なくとも１つの制御ユニット（不図示）と、を備える。検知システム（Ｓ）は、また、画像供給源（５）と制御ユニットとの間のデータ通信のための少なくとも１つの第１データリンク（８）と、画像センサ（７）と制御ユニットとの間のデータ通信のための少なくとも１つの第２データリンク（９）とを備える。第１データリンク（８）および第２データリンク（９）は有線接続でも無線接続でもよい。前記弾性層（１）は、周囲環境に面する少なくとも１つの上面（２）と、画像供給源（５）および画像センサ（７）と対向する少なくとも１つの下面（３）とを備える。

本発明の例示的な実施形態では、前記上面（２）は遮光性（不透明または明るい）であり、好ましくは光を吸収しない。この実施形態では、あるパターンを有する画像（Ｐ）は、上面（２）上にパターン（例えば、四角いチェス盤パターン）を生成するために、前記画像供給源（５）によって弾性層（１）に反射される。上面（２）に形成されたパターンの画像フレームは、画像センサ（７）によって生成される。ここで、前記弾性層（１）に力が加わったとき（例えば、物体が弾性層（１）の上に置かれたとき）、それぞれの領域上の弾性層（１）は、上面（２）が下面（３）に近づくようにへこむ。弾性層（１）のこのような変位の結果として、上面（２）に生成されたパターンは変形する。このようにして、変形パターンを含む画像フレームが画像センサ（７）において達成される。得られた画像フレームのパターンがどのように変形されるかは、上面（２）のどの部分が下面（３）にどの程度近づくかを決定するために画像処理技術を用いて制御ユニットによって分析される。弾性層（１）に加えられる力および圧力は、決定された接近の程度、へこんだ領域の面積および弾性層（１）の弾性率に基づいて計算される。

本発明の別の例示的実施形態では、前記上層（２）は透明（光透過性）である。この実施形態では、特定のパターンを有する画像（Ｐ）は、画像供給源（５）によって弾性層（１）を介して周囲環境に転写される。周囲環境に転写された画像（Ｐ）が床（１０）および／または物体（１１）に入射すると、床（１０）および／または物体（１１）の画像が、画像フレームを取得するために、画像センサ（７）によって撮像される。ここで、画像供給源（５）により得られる画像は、固定パターン（例えばチェス盤パターン）を有していてもよいし、変動パターンを用いてもよい。例えば、チェス盤パターンの白黒の正方形の場所を変えることによって、異なるパターンから異なる画像フレームが画像センサ（７）に得られる。得られた１つまたは複数の画像フレームを画像処理技術を用いて制御ユニットで分析することで、床（１０）および／または物体（１１）の視覚データ（例えば、物体（１１）の表面パターン、全体形状など）が得られる。さらに、弾性層（１）上のクリープ運動を検出することができる。

上面（２）が透明である実施形態では、弾性層（１）上に力を加えるように物体が弾性層（１）上に置かれると、前記物体上に伝達された画像は画像センサ（７）によって撮像され、物体が下面（３）にどれだけ近いかを判定することができるように、撮像された画像フレームは、画像処理技術を用いて制御ユニット内で分析される。下面（３）から物体までの距離は下面（３）から上面（２）までの距離も与えるので、上面（２）のどの部分 が下面（３）にどの程度近づくかが決定される。弾性層（１）に加えられる力および圧力は、上面（２）から下面（３）への接近の程度、へこみ領域の面積、および弾性層（１）の弾性率に基づいて計算される。

上層（２）が透明である別の実施形態では、画像供給源（５）で生成された画像（Ｐ）の明るさは、弾性層（１）が照らされるが、画像（Ｐ）や光が周囲環境に透過されないレベル（限界レベル）に設定される。この実施形態では、物体が弾性層（１）に接触すると、弾性層（１）に接触する前記物体のそれらの領域も照明される。したがって、前記物体によって弾性層（１）に加えられる力がなくても、前記物体の画像を画像センサ（７）によって撮像することができる。この実施形態では、弾性層（１）上のクリープ運動を検出することができる。光の強度を限界レベルからある程度まで増加させることによって、物体がシステムに接近する前に物体は検知され、光の強度を限界レベルからある程度まで減少させることによって、少しの透過が発生した後に物体が検知され、かくして、物体はある閾値で検知される。

図２〜４に示される本発明の別の例示的実施形態では、本発明による検知システム（Ｓ）はロボットハンド（６）に使用される。検知システム（Ｓ）は、ロボットハンド（６）の１本の指の端部に配置されてもよく、また、別々の検知システム（Ｓ）が各指の端部に配置されてもよい。この実施形態では、ロボットハンド（６）において、弾性層（１）は人間の肉体を模倣する（シミュレートする）。弾性層（１）の上面（２）が透明である実施形態では、所望のパターンを有する画像（Ｐ）は、ロボットハンド（６）の所望の位置（検知システム（Ｓ）を含むそれらの位置）から周囲の環境へ転写される。したがって、図２に示すように、床（１０）の二次元画像を取得するために床（１０）を走査するか、または、物体（１１）の３次元画像、ならびに、図３、４に示されるように３Ｄプリンタのような三次元製作ツールによって生成および／または複製されるのに適している、物体（１１）の点群データおよびその測定値、を高精度で得るために物体（１１）が走査される。代替の実施形態では、周囲環境にパターンまたは画像（Ｐ）を転写することなく、周囲環境の画像を直接記録することができる。言い換えれば、ロボットハンド（６）をカメラとして使用することができる。さらに、この実施形態では、平らな床（１０）上に画像（Ｐ）を転写することによって、ロボットハンド（６）を、好ましくは、二次元プロジェクタとして使用することができる。代替として、ロボットハンド（６）の異なる位置から粒子（例えば水蒸気を含む媒体）を含む媒体に画像（Ｐ）を転写することによって、ロボットハンド（６）を三次元プロジェクタとして使用してもよい。この実施形態では、ロボットハンド（６）は、水蒸気などの媒体を生成するために、少なくとも、蒸気または他の高密度媒体を生成することができる供給源を備えてもよい。

本発明の代替の実施形態では、検知システム（Ｓ）は、ロボットハンド（６）の代わりに、同様の特徴を有する手袋の中に配置されてもよい。したがって、手袋がユーザに着用されている場合、ロボットハンド（６）によって行われるあらゆる応用も手袋によって行われてもよい。

本発明の好ましい実施形態において、前記画像供給源（５）はＬＣＤパネルである。この実施形態において、検知システム（Ｓ）はまた、弾性要素（１）に対向していない画像供給源（５）の側面に配置された少なくとも１つの光源（４）を備える。ＬＣＤパネル内の各画素の色および輝度値は互いに独立して制御される。したがって、弾性層（１）を透過する光の色および明るさを個別に制御することができる。別の実施形態では、画像供給源（５）はパネルの形態であり、パネルの各画素はＲＧＢ ＬＥＤを含む。この実施形態では、各画素の色および輝度値は互いに独立して制御される。

光源（４）によって照射される光は、様々な波長（可視光、赤外光など）を有してもよく、または、異なる点滅周波数（例えば、一定の点滅、固定周波数の点滅、予め定められた順序変動する周波数での点滅）であってもよい。したがって、検知のためにシステムによって送信される光は、周囲の環境から来る可能性がある画像および他の光と区別することができ、システムによって送信されたもの以外のそれらの光が誤った検出を引き起こすことを防ぐことができる。上記実施形態において、画像センサ（７）は、用いられる光源（４）の波長（すなわち赤外線）、および、その周波数（例えば、高周波カメラセンサ）を検知するように選択される。

本発明の別の好ましい実施形態において、検知システム（Ｓ）の画像センサ（７）は、特定の物理的および／または化学的特徴を検出するための特別なセンサを備える。例えば、前記画像センサ（７）がサーマルカメラセンサを備えるので、物体または周囲の環境の温度を検出することができる。

本発明の別の実施形態では、検知システム（Ｓ）は、少なくとも１本の光ファイバケーブルまたはケーブル束（不図示）を備え、ケーブルの一端が画像センサ（７）の少なくとも１つの画素と対になっており、ケーブルの他端は、前記弾性層（１）から周囲環境まで延びる少なくとも１本の光ファイバケーブルを備え、ケーブルまたはケーブル束は、周囲環境から受け取った画像を画像センサ（７）に伝送する。この実施形態において、前記光ファイバ束によって周囲の環境から得られた画像は、画像センサ（７）に直接伝達されてもよい。したがって、弾性層（１）が透明ではない実施形態では、周囲環境の画像を得ることができる。さらに、これは、前記光ファイバケーブルまたはケーブル束を適切な方法で選択し、強力な代替光源によって生成される切断および／または燃焼のために適したレーザ光を周囲環境に伝達することによって、産業用の切断および燃焼ならびに外科用ロボットの燃焼による切開および密封において、有益である。

本発明の他の代替の実施形態では、前記光ファイバ束はマルチピースの束である。この実施形態において、光ファイバ束は、複数の光ファイバケーブルを含む第１部分と、複数の光ファイバケーブルを含む第２部分と、一端が前記第１部分の各光ファイバケーブルの先端と接続され、他端が前記第２部分の各光ファイバケーブルの先端と接続されている、光キャリアファイバケーブルと、を備え、光キャリアファイバケーブルの直径は、第１部分および第２部分の光ファイバケーブルの直径よりも大きく、光キャリアファイバケーブルは、第１部分の光ファイバケーブルによって搬送される光を第２部分の光ファイバケーブルに伝達し、第２部分の光ファイバケーブルによって運ばれる光を第１部分の光ファイバケーブルに伝達する。このように、光ファイバケーブルの長さを長くしなければならない実施形態では、多数の光ファイバケーブルではなく、１本または限られた数の光ファイバケーブル（キャリアファイバ）で十分である。キャリアファイバの他の実施形態では、前記光キャリアファイバケーブルの直径は、第１部分および第２部分の直径よりも小さい。この実施形態では、第１部分の各光ファイバケーブルと第２部分の各光ファイバケーブルとをそれぞれ正確にペアリングするために（すなわち、異なる光ファイバケーブルから来る光ビームが互いに干渉しないようにするために）、光ファイバ束はまた、少なくとも２つの光素子を含み、それぞれが光キャリアファイバケーブルと第１部分との間、および光キャリアファイバケーブルと第２部分との間に挿入されている。前記光学素子は、光キャリアファイバケーブルを通って流れる光ビームが互いに干渉するのを防止する。

本発明の別の好ましい実施形態では、検知システム（Ｓ）は少なくとも１つの音センサ（例えばマイクロホン）を備える。前記音センサは、好ましくは、弾性層（１）の下面（３）に配置されている。このようにして、クリープによって誘起された音波も音センサによって検出され、正確な検出が行われる。代替の実施形態では、複数の音センサが用いられ、触れた座標が正確に検出されるように、センサによって検出された音波が比較される。

本発明による検知システム（Ｓ）において、画像供給源（５）から生じる画像は、弾性層（１）および／または周囲環境の画像が画像センサ（７）によって撮像されるように弾性層（１）に転写されて、制御ユニットにおいて処理され、これにより、弾性層（１）に接触する物体を検出することができる。このように、弾性層（１）に加わる力を簡単かつ実用的に検出することにより触覚が与えられ、さらに外部環境を走査することもできる。

Claims (18)

1. 少なくとも１つの弾性層（１）と、
   前記弾性層（１）の下方に配置され、少なくとも１つの画像（Ｐ）を生成し、生成された画像を前記弾性層（１）上に反射する、少なくとも１つの画像供給源（５）と、
   前記弾性層（１）の下方に配置され、前記弾性層（１）または周囲環境から来る画像を撮像する、少なくとも１つの画像センサ（７）と、
   前記画像供給源（５）によって生成された画像（Ｐ）を制御し、周囲環境に関する少なくとも１つのデータを検出するために、画像処理技術を用いて前記画像センサ（７）によって撮像された画像を分析する、少なくとも１つの制御ユニットと、
   前記画像供給源（５）と前記制御ユニットとの間のデータ通信のための少なくとも１つの第１データリンク（８）と、
   前記画像センサ（７）と前記制御ユニットとの間のデータ通信のための少なくとも１つの第２データリンク（９）と、を備える、
   ことを特徴とする、検知システム（Ｓ）。
2. 前記弾性層（１）は、周囲環境に面する少なくとも１つの上面（２）と、前記画像供給源（５）および前記画像センサ（７）に対向する少なくとも１つの下面（３）と、を備える、
   ことを特徴とする、請求項１に記載の検知システム（Ｓ）。
3. 前記上面（２）が遮光性である、
   ことを特徴とする、請求項２に記載の検知システム（Ｓ）。
4. 前記上面（２）は光を吸収しない、
   ことを特徴とする、請求項３に記載の検知システム（Ｓ）。
5. 前記上面（２）は透明である、
   ことを特徴とする、請求項２に記載の検知システム（Ｓ）。
6. 前記画像供給源（５）はＬＣＤパネルの形態である、
   ことを特徴とする、請求項１に記載の検知システム（Ｓ）。
7. 前記弾性要素（１）に対向していない前記画像供給源（５）の側部に配置された少なくとも１つの光源（４）を備える、
   ことを特徴とする、請求項６に記載の検知システム（Ｓ）。
8. 前記画像供給源（５）はパネルの形態であり、パネルのそれぞれの画素はＲＧＢ ＬＥＤを含む、
   ことを特徴とする、請求項１に記載の検知システム（Ｓ）。
9. 前記画像センサ（７）は、特定の物理的および／または化学的特徴を検出するための特別なセンサを備える、
   ことを特徴とする、請求項１に記載の検知システム（Ｓ）。
10. 前記特別なセンサがサーマルカメラセンサである、
    ことを特徴とする、請求項９に記載の検知システム（Ｓ）。
11. 一端が前記画像センサ（７）の少なくとも１つの画素と対をなし、他端が前記弾性層（１）から周囲環境に延びる少なくとも１つの光ファイバケーブルを備える、少なくとも１つの光ファイバケーブルまたはケーブル束を備え、ケーブルまたはケーブル束は周囲環境から受け取った画像を前記画像センサ（７）に伝達する、
    ことを特徴とする、請求項１に記載の検知システム（Ｓ）。
12. 光ファイバ束は、複数の光ファイバケーブルを含む第１部分と、複数の光ファイバケーブルを含む第２部分と、一端が前記第１部分の各光ファイバケーブルの先端と接続され、他端が前記第２部分の各光ファイバケーブルの先端と接続されている、光キャリアファイバケーブルと、を備え、前記光キャリアファイバケーブルの直径は、前記第１部分および前記第２部分の光ファイバケーブルの直径よりも大きく、前記光キャリアファイバケーブルは、前記第１部分の光ファイバケーブルによって搬送される光を前記第２部分の光ファイバケーブルに伝達し、前記第２部分の光ファイバケーブルによって搬送される光を前記第１部分の光ファイバケーブルに伝達する、
    ことを特徴とする、請求項１１に記載の検知システム（Ｓ）。
13. 前記光ファイバ束は少なくとも２つの光素子を備え、それぞれが、前記光キャリアファイバケーブルと前記第１部分との間、および、前記光キャリアファイバケーブルと前記第２部分との間、に挿入されている、
    ことを特徴とする、請求項１２に記載の検知システム（Ｓ）。
14. 少なくとも１つの音センサを備える、
    ことを特徴とする、請求項１に記載の検知システム（Ｓ）。
15. 前記光源（４）は、様々な波長の光を照射するように構成されている、
    ことを特徴とする、請求項７に記載の検知システム（Ｓ）。
16. 前記光源（４）は、異なる周波数で点滅する光を照射するように構成されている、
    ことを特徴とする、請求項７に記載の検知システム（Ｓ）。
17. 請求項１から１６のいずれか１つに記載の検知システム（Ｓ）を備える、
    ロボットハンド（６）。
18. 少なくとも蒸気または他の高密度媒体を生成することができる供給源を備える、
    ことを特徴とする、請求項１７に記載のロボットハンド（６）。

Images