本発明の目的は、センサ出力データなどの信号を処理するための良好な装置または方法を、信号を処理する上記方法およびシステムを用いるロボット等、良好なコンピュータ化されたシステムを提供するのと同様に提供する。
本発明に係る実施形態の長所は、センサ出力信号のデータ処理を効率的に行うことができ、リアルタイムでの人間−ロボット相互作用および/または機械知覚目的に対して有効なシステムをもたらす。上記システムは、アクティブ知覚および/またはパッシブ知覚に対して有効であり得る。ロボットによる操作は、人間−ロボット相互作用において用いられ得る処理の一例である。操作情報は知覚情報であり得る。
上記目的は、本発明に係る方法および装置によって達成される。
本発明は、機械的刺激に応じてトポロジカルに識別可能な複数の各センサの各信号出力を処理する方法であって、上記方法は、トポロジカルに配列された複数の各一時的センサ出力を並列に取得する工程と、トポロジカルに同一の方法にて互いに隣り合う各一時的センサ出力の並行な算術処理によって動的挙動パターンを有する各特徴を抽出する工程と、上記抽出された各特徴の特性を判定する工程とを含む。上記各機械的センサは、アナログセンサ類であってもよい。
本発明は、効率的なシステムが得られるという長所を有する。本発明に係る実施形態の長所は、安定した掴み等のリアルタイムの操作を、形状、重量、摩擦、および表面状態などが未知の、未知の対象物について最小の操作力を用いて行うために、可能な限り多数の各知覚要素からの情報を用いることができるシステムを得ることができる。
並行に複数の各一時的センサ出力を取得することは、各一時的センサ出力を生成するために適時に複数の各センサ出力をサンプリングすることを含む。
各一時的センサ出力は、各機械的センサからの各センサ出力であってもよい。
算術処理は、一時的ドメインにおける互いに隣り合う上記各一時的センサ出力を処理することを含んでもよい。算術処理は、フーリエ分析を行わない処理であってもよい。フーリエ分析を行わない処理の構成ではより速いシステムが得られる。
上記方法は、上記抽出した各特徴を、トポロジーを維持している、1つのアレイまたは複数の各アレイに配列する工程を有してもよい。本発明が係る実施形態の長所は、重要な知覚し得る各事象または、対象物が急な動き等の特定の動きをするような各事象等、重要な各操作事象の認識に基づくプロセッサを提供することである。
また、本発明が係る実施形態の長所は、同時に、上記システムが、互いに独立した各センサ、または各センサの各サブセットの誤りに対して安定した状態を保持する頑健性を有する。
上記方法は、環境において発生する各事象や各特徴に対するアクティブな、またはパッシブな知覚を向上させるための上記各センサ出力を処理するように適合化されてもよい。
本発明は、また、上記処理方法を、自動車産業、自動車システム、自動車センサシステム、または自動車処理システムに使用することに関連している。
上記抽出および配列は、各センサ出力において各特徴を認識することと、それらの空間的局在化を保持することを含む。
上記方法はさらに、上記1つのアレイ、または複数の各アレイの空間的フィルタリングまたは空間一時的フィルタリングを行うことをさらに含んでもよい。
空間フィルタリングまたは空間一時的フィルタリングは、複数の各センサのキャリア基板を制御するためのコントローラが、コントローラの派生的な動作によって上記フィルタリングを実行するように適合化されてもよい。
上記空間的フィルタリングは、トポロジーを維持している、1つのアレイまたは複数の各アレイにおける互いに隣り合う抽出される各特徴の複数に基づく事象の抽出を含んでもよい。
事象は、ロボット等のコンピュータ化されたシステムにより、対象物を掴む等、対象物の複数の各センサ出力で行われる操作であってもよい。事象は視野における対象物の動きまたは対象物の動きの概念であってもよい。より一般的には、事象はコンピュータ化システムの環境の認知に関連する動作であってもよい。互いに隣り合う抽出される各特徴は、互いに隣り合う複数の各センサと対象物との間の接触、または、互いに隣り合う複数の各センサの起動または知覚の増加等のブロブを示し得る。
上記算術処理は、一時的特徴の抽出のため、バンドパス、または、各バンドパスの組み合わせを設けることを含んでもよい。
上記算術処理は、セルラ式のニューラルネットワークまたはセルラ式のノンリニアネットワークを用いることを含んでもよい。
セルラ式のニューラルネットワークまたはセルラ式のノンリニアネットワークは、非学習性であってもよい。本発明に係る実施形態の長所は、フーリエ変換分析を避けることができ、このため、並行に大量の信号を処理できる等、効率の良いシステムをもたらすことである。
本発明に係る実施形態の長所は、セルラ式のノンリニアネットワーク(CNN)のパラダイムに基づく並行データ処理構造を提供することである。後者は脳に近い並列アルゴリズムの設計および実行を有利に可能にし得る。
算術処理は、加算、減算、遅延、閾値化、および、論理機能のみを含んでもよい。本発明に係る実施形態の長所は、フーリエ変換分析を避けることができ、並列に大量の各信号を処理できる等、効率の良いシステムをもたらすことである。
算術処理は、単一のフィルタ入力信号を有し、複数の各フィルタ出力信号をもたらすフィルタを設けることを含んでよく、フィルタ出力信号のそれぞれは、修飾(変形)された入力信号を、元の入力信号から減算することに基づく。
互いに隣り合う各一時的センサ出力における並列な算術処理は、互いに隣り合う各一時的センサ出力の部分のみにおける並列な算術処理を含んでもよい。
互いに隣り合う一時的センサ出力のデータの数は、利用可能な各センサ出力の数の50%よりも少なく限定されてもよい。上記限定は使用者が決めてよい。
動的挙動を有する特徴は、変化、バイブレーション、および振動の少なくとも何れかを示す特徴を含んでもよい。上記変化は、所定の期間における少なくとも所定の閾値による強度の変化であってもよい。上記振動は、上記と同じ所定の期間における反対のサイン(および独立の使用者が決定する振幅)の2つの変化の連続であってもよい。上記バイブレーションは、2つの連続した各期間での、少なくとも2つの振動の連続であってもよい。
抽出される各特徴の特性は、互いに隣り合う各信号の複数の間の動的挙動の安定性を含んでもよい。安定性は、互いに隣り合う各信号の複数の間の動的挙動のパターンの発生頻度の同一性であってもよい。
本発明は、また、トポロジカルに識別可能な複数な各センサを有する少なくとも1つの可動要素を含むコンピュータ化されたシステムを制御する方法であって、上記方法は、例えば、機械的センサまたは光学的センサであってもよい各センサからの、トポロジカルに配置された複数の各出力信号を測定する工程と、上述した方法を用いて上記複数の各出力信号を処理する工程と、上記抽出された各特徴における上記判定された特性に基づいて、上記少なくとも1つの可動要素を制御する工程とを含む方法に関する。
本発明は、さらに、機械的刺激に応じて、トポロジカルに識別可能な複数の各センサの各信号出力を処理するためのデータプロセッサであって、上記プロセッサは、トポロジカルに配列された複数の各一時的センサ出力を並行に受信するための入力手段と、トポロジカルに同一の方法にて、上記各センサ出力の互いに隣り合う一時的サンプルを並列に算術的に処理するための算術プロセッサを備え、動的挙動パターンを有する各特徴を抽出するための特徴抽出手段と、上記抽出された各特徴の特性を判定するための判定手段とを有する。
本発明に係る実施形態の長所は、効率的な情報抽出を提供し、このため、例えば、多数の各センサを使用することを可能にするということである。本発明に係る実施形態の長所は、掴んだり持ち上げたりするように、リアルタイムの操作で、ロボット、または例えばより詳細にはロボットハンド等のように、多数の各知覚要素を用いるコンピュータ化されたシステムの制御を行うことができることである。
複数の各一時的センサ出力を並行に受信するための入力手段は、上記各一時的センサ出力を生成するために複数の各センサ出力を適時にサンプリングするためのサンプリング手段を備えてもよい。
上記算術プロセッサは、上記一時的ドメインにおける互いに隣り合う上記各一時的センサ出力の算術処理を行うように適合化されてもよい。
上記データプロセッサは、上記抽出された各特徴を、トポロジーを維持している、1つのアレイまたは複数の各アレイに配列するようにさらに適合化されてもよい。
上記データプロセッサは、各センサ出力での各特徴を認識し、それらの空間的局在化を保持するように適合化されてもよい。
上記プロセッサは、上記1つまたは複数のアレイの空間的または空間一時的フィルタリングを行うためのフィルタを備えてもよい。
上記フィルタは、上記トポロジーを維持している、1つのアレイまたは複数の各アレイでの複数の互いに隣り合う抽出された各特徴に基づいて、事象を抽出するためのフィルタリング手段を備えてもよい。
上記算術プロセッサは、各一時的特徴を抽出するためのバンドパスフィルタまたはバンドパスフィルタの組み合わせを備えてもよい。
上記算術プロセッサは、セルラ式のニューラルネットワークまたはセルラ式のノンリニアネットワークを含んでもよい。
上記算術プロセッサは、減算、遅延、閾値化、並びに、論理的および形態学的の少なくとも1つの機能にのみに基づくフィルタを備えるものでもよい。
上記算術プロセッサは、単一のフィルタ入力信号を有し、かつ、複数の各フィルタ出力信号をもたらすフィルタを備えてもよく、各フィルタ出力信号は、元の入力信号から修飾(変形)された入力信号を減算することに基づく。
互いに隣り合う各一時的センサ出力を並列に処理するための上記算術プロセッサは、上記互いに隣り合う各一時的センサ出力の部分のみを並列に算術処理するための算術プロセッサであってもよい。
上記動的挙動は、変化、バイブレーション、および振動の少なくとも1つを含んでもよい。
上記抽出された各特徴の上記特性は、互いに隣り合うものの複数の間における動的挙動の安定性を含んでもよい。
本発明は、また、トポロジカルに識別可能な複数の各センサと、上記のデータプロセッサとを有する、少なくとも1つの可動要素を備えるコンピュータ化されたシステムに関する。
上記システムは、上記抽出された各特徴における取得された特性の機能として、上記少なくとも1つの可動要素を制御するためのコントローラをさらに備えてもよい。
本発明は、さらに、機械的刺激に応じて、トポロジカルに識別可能な複数の各機械的センサの各信号出力を処理するためのコンピュータプログラム製品であって、上記コンピュータプログラム製品は、コンピュータ上で実行されるとき、上記の方法を実行するように適合化された、コンピュータプログラム製品に関わる。
本発明は、また、上記のコンピュータプログラム製品を記憶する機械読み出し可能な記憶装置および/またはローカルまたはワイドエリアな電気通信ネットワークによって上記コンピュータプログラム製品を伝送することに関する。
本発明に係る実施形態の長所は、感覚−モータ間の適切な連携を有するシステムが得られることである。
本発明に係る実施形態の長所は、繰り返される各操作タスクが安定してうまく行うことができるということである。例えば、繰り返される、つかみおよび持ち上げの各タスクについて、本発明の実施形態は、柔軟なスポンジボール、および日本の豆腐のような特に滑りやすく、変形可能かつデリケートな対象物を用いるのに加えて、プラスティックボトルのような一般的な対象物について、安定した掴みと、滑り始めの認識とを保証することができる。
本発明に係る実施形態の長所は、例えば掴む力を、低く、例えば必要最低限の値に保つように、リアルタイムで操作力を調節するための、多くの各アナログ信号を扱うことのできるデータプロセッサおよびコンピュータ化されたシステムを得ることができることである。
本発明の特別かつ好ましい側面は、添付の独立項および従属項に示される。従属項の特徴は、独立項の特徴と組み合わされてもよく、また請求項に明示されているだけでなく適宜他の従属項の特徴と組み合わされてもよい。
本発明の教示は、他の物において、例えばロボットまたは車両/自動車等の改良されたコンピュータ化されたシステムの設計と、例えば人間−ロボット相互作用を実現する方法、ロボットの操作を実現する方法、または機械知覚を活用する方法等、対応する方法を可能にする。
本発明の上記および他の特徴、特性、長所は、本発明の原理を例示する添付の図面を参照しながら以下の詳細な説明を読めば明らかであろう。この説明はあくまで例示として示されるものであって、本発明の範囲を限定するものではない。以下に引用する参照番号は添付の図面を示す。
本発明は、特定の各実施形態について説明され、特定の図面を参照して説明されるが、本発明はそれらに限定されることなく、請求項によってのみ限定される。描写される図面は、模式的なものに過ぎず、限定的なものではない。図面において、いくつかの要素のサイズは誇張されている場合があり、例示目的のために、そのままのスケールでは描かれていない。寸法および相対的寸法は、本発明の実使用のための実際の縮尺には対応していない。
さらに、図面および請求項においての第1、第2、第3などの用語は、類似の要素を区別するために用いられており、必ずしも順序、時間的、空間的な順位などを示すものではない。また、説明において上面、底面、上、下、などの用語は、描写目的で用いられており、必ずしも相対的位置を示すものではない。このように用いられる用語は、適切な状況の下で交換可能であり、本明細書にて説明する本発明の各実施形態が、本明細書にて説明し図示するものとは異なった順序または位置づけで動作可能であることを理解されたい。
請求項において用いられる用語“含む”は、その後に挙げられる手段に限定して解釈されるべきではないことを注意してもらいたい。この表現は、他の要素や工程を排除するものではない。同様に、“接続される”という用語は、接続のみを限定的に指すものと解釈してはならないことを注意してもらいたい。出力Aと入力Bの間のパスがあり、このパスは他の装置または手段を含むパスであり得る、ということを意味している。“接続される”は、2つ以上の要素が直接物理的に、または電気的に接触していること、または、2つ以上の各要素が互いに直接接触せず、互いに連携する、または相互作用することを意味する。
“一実施形態”または“実施形態”を、明細書を通して参照することは、実施形態に関して説明される特定の構成、構造、または特徴が、本発明の少なくとも1つの実施形態に含まれることを意味する。同様に、本発明の例示的な各実施形態の説明では、本発明の様々な構成が単一の実施形態、図面、または説明において、開示を簡素化するためと、様々な発明の側面の1つ以上の理解を促すために、グループ化されることもある。さらに、本明細書にて説明される幾つかの各実施形態は、幾つかの構成を含むが、他の実施形態に含まれる他の構成は含まない一方、異なる各実施形態の構成の組み合わせは、本発明の範囲内であることが意味され、当業者によって理解され得るであろう、異なる各実施形態を形成する。
本明細書において与えられる説明では、多くの特定の詳細が述べられる。しかし、本発明の各実施形態はこれらの特定の詳細がなくても実施し得る。他の例では、本明細書の理解を曖昧にしないように、周知の、方法、構造、および技術について、詳細には示していない。
“データプロセッサ”および“データ処理手段”などの用語は、本願において置き換え可能であり、どちらもデータまたは信号を処理するために適用される構成要素を意味する。“プロセッサ”または“処理手段”という用語は、本願において置き換え可能であり、どちらも例えば信号を処理するために適用される構成要素を意味する。
“入力手段”または“入力データ受信器”という用語は、本願において置き換え可能であり、どちらも入力信号を受信するために適用される構成要素を意味する。“特徴抽出器”および“特徴抽出手段”、“特性判定器”および“特性判定手段”と同様に、“サンプラー”および“サンプリング手段”は、本願において置き換え可能である。
他に特に説明がなければ、以下の説明からも明らかなように、明細書を通して、“加速”、“処理”、“演算”、“算出”、“判定”などの用語を用いた説明は、コンピュータまたは演算システム、または同様の電子演算装置における動作および/または処理を意味し、物理的に示されるデータ、例えば、電子的な量などを操作および/または転換して、同様に物理的な量として示される他のデータにすることを意味している。
“リアルタイム”という用語は、実世界の処理と適合する任意かつ予測可能な速度で行われる処理について用いられ得る。特に、実世界の事象に対応する所定の最大潜時内の事象を検出し、演算処理が十分高く、素早い反応が確実に行われる速さを意味する。
ここで本発明について、発明のいくつかの実施形態の詳細な説明を用いて説明する。本発明の他の実施形態は、本発明の精神または技術的教示から逸脱することなく、当業者の知識に基づいて構成され得、本発明が添付の請求項の用語のみによって限定されることは明白である。
第1側面では、本発明は、例えば圧力、力、音響センサ等の機械的センサ、また光センサ、磁気センサ等の電磁センサのような、トポロジカルに識別可能な複数の各センサの各出力を処理するためのデータプロセッサに関する。データプロセッサは、機械的刺激に対する応答としてセンサ出力を提供するセンサに特に適している。
ここで、機械的刺激は、対象物の移動、対象物による圧力の変化等である。先に示されるセンサと一致して、このような機械的刺激は、光学的な方法、圧力または力を用いる方法、音響的方法、電磁相互作用を用いる方法、磁気相互作用を用いる方法等で知覚され得る。
いくつかの各実施形態では、機械的刺激を知覚するために、対象物がセンサと直接物理的接触を有する必要はない。他の有利な各実施形態では、対象物はセンサまたはセンサ表面に直接物理的に接触する。上記データプロセッサは、ロボット等のコンピュータ化されたシステム、ロボットアームまたはレッグ等のコンピュータ化された人工器官、製造環境において用いる機械において、またはその使用において、また例えば、自動車や、車両等の輸送手段における他のコンピュータ化されたシステムにおいて、またはその使用において適切であり得る。
このようなコンピュータ化されたシステムは、機械的知覚を可能にし、かつ/または、例えば未知の対象物等を操作することとの相互作用を制御可能にする複数の各センサを備え、このようなコンピュータ化されたシステムを、例えば日々のタスクおよび/またはシステムに、すなわち人間との相互作用に適切なものとする。
図示することによって、本発明は限定されるものではないが、例示的なデータプロセッサ100の標準的かつ任意の各コンポーネントを図1に示す。データプロセッサ100は、コンピュータ化されたシステム10から入力信号を受信する。上記コンピュータ化されたシステム10は、例えば、圧力、力、音響センサ等の機械的センサ、光センサ、磁気センサ等の電磁センサ等の複数の各センサ20を備える周辺システムであり得る。
データプロセッサの外側にあり、またはデータプロセッサが統合される、コンピュータ化されたシステム10は、コントローラ30を用いて制御され得、制御信号を生成するように適合化される。
本発明に係る各実施形態は、例えば、人工器官装置、製造目的の機械と同様に、人間−ロボット間の相互作用、操作および/または制御、人型ロボット等、コンピュータ化されたシステムを含む、または、これにおいて使用され得、また例えば、自動車等の車両等の輸送手段におけるコンピュータ化されたシステムを含み、または、これにおいて使用され得る。
本発明の各実施形態は、対象物や生物を持ち上げたり掴んだりすること等の触知し得る事象について適用されるコンピュータ化されたシステムに特に適している。より一般的に、本発明の各実施形態は、機械環境等の機械的知覚または理解においてより高いレベルを達成し得る。
データプロセッサ100は、複数の各センサ出力を受信する、例えばデータ受信機と称する入力手段102を備える。好ましくは、データプロセッサ100のための入力データである複数の各センサ出力は、並行に取得されてもよい。受信されたセンサ出力は、例えば電気信号、光信号等、任意の種類のデータまたは信号であってもよい。光コード入力の長所は、並行に効率よくデータを受信できることである。
これらの入力信号は、例えば、処理され、光パルス等の光コード信号に変換された、センサ毎の1つ以上の各電気センサ出力であり得る。1つの例において、入力手段102は、例えば、光信号を受信するためのCCDまたはC−MOS光入力層等の光受信器を備えてもよい。
このため、入力信号は、プラスティック光ファイバー等の光ファイバーを介して伝達される光信号として取得されてもよいが、本発明はこれに限定されない。入力手段102は、画像の各画素が、例えば、ハンドであるコンピュータ化されたシステムにおける1つのセンサ信号に理想的に対応する光画像等の光信号として複数のセンサ出力を受信するように適合化され得る。それにもかかわらず、上記システムを制御するため実装されるアルゴリズムは、画像における画素のグループも個別の各センサ出力を示し得るような解像度不変のものである。
並行に取得され得る入力データまたは各入力信号の数は、大きくてもよく、例えば、2よりも大きく、例えば5よりも大きく、または8よりも大きく、または16よりも大きく、または32よりも大きく、または50よりも大きく、または100よりも大きく、または数千であってもよい。
本発明に係る各実施形態の長所は、各信号の効率的な処理をアシストするように、多数の各センサ出力が同時に取得できることである。さらに、上記同時の取得は、互いに独立した不調な検出器または検出アレイを検出することをアシストする。
入力データは、トポロジカル同一の方法で受信される。すなわち、入力手段102における受信データの幾何学的な相対位置は、上記受信データを生成する各センサの相対位置に対応し得る。
いくつかの各実施形態では、本発明は、それに限定されないが、センサ空間と画素空間との間には同相写像の関係が存在し得る。実際に互いに近接する2つの各センサは、互いに近接する入力手段102にそれらの投影を行い得る。いくつかの各実施形態では、異なる種類の各センサが用いられる場合、各種類の各センサに対する入力データは、トポロジカルに同一の状態で受信され得る。
いくつかの各実施形態では、複数の各信号出力は、センサのそれぞれによって抽出されてもよく、入力手段102におけるセンサチャンネルの形状が、予見される処理に応じて選択され得る。
いくつかの例示的な各実施形態では、画像として入力が受信されるとき、各センサの各位置、および受信光入力の各位置、例えば各画素の位置は、有利には、互いに、トポロジカルに同一である。
1つの特定の例では、入力手段102は、例えば工業用PCにおいて用いられるACE16K CNNビジュアルマイクロプロセッサ等のビジュアルマイクロプロセッサにおける、128×128のC−MOS光入力層である。図示することによって、本発明をこれに限定するわけではないが、このようなシステムにおいて取得されるような入力データの2つの例を図2aおよび図2bに示す。これらの図面に示される入力データは、54の触知し得る光信号が、128×128のC−MOS光入力層にマッピングされるロボットアームと、2つの異なる触知し得る各画像とのための入力データを示す。
セルラ式のノンリニアネットワーク(CNN)(つまり、セルラ式のニューラルネットワーク)は、限定された局部的な互いに隣り合うもの内で直接相互作用を行う同一の動力学的なシステム(セルと呼ばれる)のn−次元アレイであり、上記隣り合うものの状態変数は連続した値の信号である。
CNNは、信号値が正規2−Dグリッド(例えば、画像またはアレイ処理)に位置される明確なタスクとして再公式化された問題のための演算パラダイムである。局部的CNNの接続性は、超高速で局部的操作に基づく画像処理を行うことができるVLSI(ACE16K CNNビジュアルマイクロプロセッサと同様)またはFPGAとして実行することを可能にする。
データプロセッサ100は、さらに、適時に複数の各センサをサンプリングするためのサンプリング手段104を備え得る。このように、各一時的サンプルが生成される。サンプリング手段104は、入力手段102に統合される、または入力手段102から分離されてもよい。例えば、データプロセッサのための入力信号であるセンサ出力信号が光学的に符号化されると、出力手段において積算時間を設定し、光受信器として機能することによってサンプリングが行われてもよい。
サンプリングは、例えば、光受信器においてシャッターを制御することによって行われ得る。このように、取得されたセンサのデータは、各階調画像となる。それにもかかわらず、他の種類のサンプリング、例えば、他の種類の信号におけるサンプリングも用いられてよい。サンプリングは、また、システムの周辺部分において行われてもよく、その結果、サンプリングされた信号出力がデータプロセッサにおいて受信される。
本発明のいくつかの各実施形態では、システムの周辺部分とデータプロセッサの両方においてサンプリングが行われてもよい。例えば、周辺レベルにおいて、触知し得る信号がスキンモジュールにおいてサンプリングされてもよく、光パルスに変換されてもよく、データプロセッサは、第2サンプリングを提供する。データプロセッサは、各アナログ信号を直接入力されてもよく、必ずしも、各デジタル信号に変換する必要はない。
データプロセッサは、データプロセッサのセルにデータ信号を適切に充填またはチャージするためのシャッターを備えてもよい。以下で詳述するように光信号がデータプロセッサのセルを充填またはチャージするために用いられるとき、光信号は有利にアナログ光信号であってもよく、このため、例えばパルス幅変調によって変調されたデジタル光信号を用いて充填またはチャージを行うことに比べて、データプロセッサによるデータの処理が容易になる。
データプロセッサ100は、動力学的な挙動パターンを有する各特徴を抽出するための特徴抽出手段106をさらに有する。上記動力学的な挙動パターンは、上記コンピュータ化されてシステムによって実行される操作タスクにとって、特定なものである動的挙動であってもよい。上記各特徴は、操作の間に発生する事象についての特徴の任意なものである。
このような事象は、例えば、スリップすること、掴んだり打ったりする等の接触、対象物を放すこと、対象物が動くこと、対象物が回転すること、対象物の動きが変化すること等であってもよい。このような事象に特有の各特徴は、例えば特定の閾値よりも大きい、センサ信号における変化であってもよい。このような変化は、変化量として示されてもよい。
他の各特徴は、例えば信号の変調、(単調な)増減、所定の機能を満たす変化等、所定の状態のセンサ信号の変化であってもよい。用いられ得る他の各特徴は、例えば一実施例に詳述するように、振動やバイブレーションであってもよい。一例ではあるが、本発明はこれに限定されない。それは、掴むというタスクおよび持ち上げ動的挙動パターンは、変化、振動、またはバイブレーションを参照して用いられ得るからである。
通行中の歩行者または車両における突然の動きを検出するというタスクのために、対象物の部分または全部の変化、振動、またはバイブレーションが用いられ得る。動的挙動パターンを有する各特徴に加えて、例えばセンサ活性が広がる領域、センサ信号の平均強度、センサ活性の広がり等、他の各特徴も用いられ得る。
動的挙動パターンを有する各特徴の抽出は、例えば、トポロジカルに同一状態にて、各センサ出力における互いに隣り合う各一時的サンプルに対して並列に算術処理を行うことによって実行される。特徴抽出手段106は、一時的ドメインにおける互いに隣り合う各一時的サンプルに対する算術処理に適合化され得る。
動的挙動パターンを有する各特徴は、各センサ出力における並列に処理された各サンプルのトポロジーを考慮に入れて有利に抽出され得る。フーリエ変換分析を用いない処理に適合化されてもよい。特徴抽出手段106のタスク処理は、算術プロセッサ110によって行われてもよく、それは特徴抽出手段106専用であってもよく、またはデータプロセッサ100における異なるコンポーネントによって共通に用いられてもよい。
異なる種類の算術プロセッサが用いられてもよい。例えば、一実施形態では、特徴抽出手段106は、一時的特徴抽出のための、バンドパスフィルタ、または複数の各バンドパスフィルタ、または異なるバンドを有する複数の各バンドパスフィルタの機能を提供するフィルタとして機能する、またはそれらを有する算術プロセッサ110を備えてもよい。
特徴抽出手段106は、以下に詳述するように、セルラ式のニューラルネットワークまたはセルラ式のノンリニアネットワーク(CNN)を有する算術プロセッサ110を備えてもよい。特徴抽出手段106は、全ての感覚入力を並行に取得し、並列に処理するように適合化されてもよい。さらに、アナログドメインにおいてこれらの感覚入力を処理するように適合化されてもよい。後者の処理は高速で行われてもよい。
特徴抽出手段106は、生物学的に喚起されるアルゴリズムを用いる人間操作システムによって抽出される特徴と同様の入力刺激特徴から抽出するように適合化されてもよい。後者の処理は、演算的に効率の良い方法で実行され得る。特徴抽出手段106は、さらに、人間感覚−モータ間の連携戦略における機能的側面を考慮に入れるように適合化されてもよい。
本発明に係る実施形態の長所は、効率が良く安定した、生物学的に活性化される制御アルゴリズムが得られることである。この方法は、また、各センサ出力における互いに隣り合う各一時的サンプルの、並列な算術処理によって行われる、静的挙動パターンを有する各特徴の抽出を含んでもよい。
データプロセッサ100は、また、抽出された特徴の特性を判定するための特性判定手段108を備える。抽出された特徴の特性は、例えば動的挙動の安定性、動的挙動の強さ、複数の互いに隣り合う各データの間における動的挙動の同一性、またはそれらの組み合わせであり得る。
それゆえ、上記安定性は、複数時間にわたる動的挙動パターンの発生の同一性として定義され得る。これらの特性は、各様相として所定の閾値に対して評価され得る。このため、データプロセッサ100は、抽出された各特徴の特性を決定するための処理能力を備え得る。
後者は、好ましくは、特徴抽出(図1に示すように)に用いられる算術プロセッサと同じ算術プロセッサ110によって行われ得るが、本発明はこれに限定されず、異なる算術プロセッサが用いられてもよい。抽出された特徴における判定された特性は、コンピュータ化されたシステムを制御するための内部または外部のコントローラによって用いられ得る。
抽出された特徴における判定された特性は、また、操作に関する意味論的情報を生成するために用いられ得、これによって、意味論的情報は、コンピュータ化されたシステムを制御するための内部または外部のコントローラによって用いられる。意味論的情報は、実世界において発生する操作に関する情報に関する。
意味論的情報は、例えば、スリップ、安定した接触、突然の触知し得る事象、動きの方向における変化、動き、突然の動き等、操作に関する情報を含み得る。意味論的情報は、算術プロセッサを用いるか、他の任意の適切なプロセッサを用いることによって、特性データから生成され得る。意味論的情報の生成は、また、コントローラからの固有受容性情報において部分的に基づき得るものであり、例えば、より高いレベルの意味論的情報をもたらす。
このような固有受容性情報は、コンピュータ化されたシステムによって生成されるデータであり得、例えば、上記システムの関節位置に関し、例えば、コンピュータ化されたシステムがロボットアームであるときは、ハンドの閉め具合および/またはアームの高さに関する。
図示することによって、本発明はそれに限定されないが、受信され、操作され、データプロセッサ100によって処理されるデータのための例示的データフローを図3に示す。
データプロセッサ100は、センサ出力データ202を受信し、それは前処理された、および/または、変換された信号であり得る。このようなデータ周辺システムから、例えば、コンピュータ化されたシステムからのセンサから受信される。このような信号は、例えば、前処理された、および電気光学的に変換された触知し得る信号を表す光信号であり得る。
データプロセッサ100のための入力データであるセンサ出力データ202は、データプロセッサ100のための入力データをサンプリングすることによって必要に応じて得られる一時的データ204である。他の例としては、入力データは連続した信号として得られる一時的データ204である。そして、一時的データは算術的に処理され、抽出された特徴206のセットをもたらす。
抽出された各特徴は、トポロジーを維持している1つのアレイまたは複数の各アレイに配置され得、各特徴の抽出はこのため、各センサ出力のトポロジーを考慮に入れて実行され得る。抽出された各特徴から、抽出された各特徴の特性208を得るが、これは操作に関する意味論的情報に対応する。
このような意味論的情報の一例として、以下に示すように、接触が最初に確立されたとき、スリップを示す各特徴のサブセットの組み合わせが挙げられる。抽出された各特徴の特性208またはそれに対応する意味論的情報は、コンピュータ化されたシステムを制御するためのコントローラに出力されるが、それは制御情報210において伝達され得る。
このようなコントローラは、データプロセッサ100に対して内部であり得、または、データプロセッサ100に対して外部であり得る。例として、図1において、コントローラはデータプロセッサ100の外部として示される。コントローラは、取得した情報を、例えばコンピュータ化されたシステムからの位置信号等の固有受容性情報と組み合わせ得る。
このように、より高いレベルの意味論的情報が生成され得る。例えばロボットハンドについて、スリップが検出されて接触が確立されるが、実際にハンドは開いている場合、これは何かの不都合を示している。データが生成され、操作され、用いられる、異なる処理ハードウェアレベルを図4に示す。
入力データ202は、センサモジュールにおいて生成され、すなわち、前処理が行われ得るコンピュータ化されたシステム10の一部において生成される。また、センサ出力における電気光学的変換が行われ得るが、後者はデータプロセッサによって受信できる信号の種類による。
一度受信され、必要に応じてサンプラーによって適切にサンプルされると、算術プロセッサは特徴を抽出するための、また、その特性を判定するための入力データを処理する。算術プロセッサは、データプロセッサ100内に位置し得る。算術プロセッサにおいて生成される意味論的データは、抽出された各特徴における判定された特性を含み得、または、上記特性の解釈を含み得る。
そして、特性データまたは意味論的データは、コントローラ30内に位置するコントローラプロセッサに伝達され(出力され)、コンピュータ化されたシステムを制御するための制御データへと処理され得る。
本発明の各実施形態では、データプロセッサ100は、算術的に処理された各信号を、トポロジカルに同一な状態にて記憶するように適合化され得る。上記状態は、例えば、トポロジカルに同一なアレイの状態であり得る。言い換えると、コンピュータ化されたシステム10の各センサのトポロジーは、データプロセッサ100のための入力データのトポロジーと対応し得るだけでなく、各信号の算術的処理後の処理された各信号のトポロジーにもさらに対応し得る。
言い換えると、抽出された各特徴は、入力センサが得られるセンサの位相と対応する、トポロジカルに同一な状態に配置され得る。抽出された各特徴は、例えば、トポロジカルに同一な1つのアレイまたは複数の各アレイに記憶される。上記アレイまたは上記各アレイは、データプロセッサのための入力として用いられる各センサの位置とトポロジカルに同一である。トポロジーは、考慮されて、例えば、動的挙動パターンを有する各特徴の抽出のために維持され得る。
本発明の各実施形態では、データプロセッサ100は、動的挙動パターンを有する抽出された特徴に加えて、空間的挙動または特定の強度の挙動を有する特徴を抽出するように適合化されていてもよい。言い換えると、データプロセッサ100は、さらに、操作の間に起動される各センサの領域および分布といった空間的特徴、または、起動されたセンサまたは各センサの平均強度といった強度の特徴を得るように適合化されてもよい。
これらの各特徴は、必要に応じて、処理された後に、抽出された各特徴の特性を判定するための動的挙動パターンを有する抽出された特徴とともに用いられてもよく、または、例えば、意味論的状況を判定する、抽出された各特徴の特性とともに用いられてもよい。例えば、一時的ドメインにおいて各センサ信号を並行に取り扱うことによる動的挙動パターンを有する各特徴の抽出に加えて、空間的フィルタリングが空間的情報を抽出するために実行されてもよい。
データプロセッサ100は、特徴の特性を検出すること、または、例えば、コンピュータ化されたシステム10と対象物の間の接触等の対応する事象を検出することに加えて、操作事象を判定する、または検出するように適合化されていてもよい。
データプロセッサ100は、より一般的には、知覚事象、例えば、コンピュータ化されたシステムの環境特徴に対する知覚事象を判定する、または検出するように適合化されていてもよい。
本発明の第1側面に係る特定の各実施形態をさらに詳しく説明するが、本発明はそれらに限定されず、請求項によってのみ限定される。
第1の特定実施形態では、本発明は、上記のように、各信号出力を処理するためのデータプロセッサ100に関し、少なくとも特徴抽出手段106は、バンドパスフィルタを、または複数(多数)の各バンドパスフィルタの組み合わせを、または一時的ドメインにおいてはじめて動作する互いに異なる各バンドを有する複数(多数)の各バンドパスフィルタの組み合わせの機能性を提供するフィルタを用いて、入力データの一時的サンプルをフィルタリングするための算術プロセッサ110を有するように適合化される。
バンドパスフィルタは、一時的ドメインにおいてはじめて動作する空間一時的バンドパスフィルタであり得る。空間一時的バンドパスフィルタは、フーリエ変換なしで動作し得る。バンドパスフィルタまたは各バンドパスフィルタは、各ステップにおいて並行に受信される各個別データ信号に適用され得る。
上記フィルタは、フィードフォワードCOMB(櫛型)フィルタを有し得る。従来の櫛型フィルタとは異なり、上記各信号は、減算されてもよい。バンドパスフィルタまたは各バンドパスフィルタは、一時的COMBフィルタを有し得、各時間において、出力信号は、2つのみの各信号の組み合わせ、例えば、上記2つの各信号の減算による組み合わせであるが、ウィンドウにおける前の各サンプルの全ての組み合わせではない。
バンドパスフィルタは、非線形であってもよい。非線形のバンドパスフィルタは、非線形機能のブロックを有し得る。バンドパスフィルタは、入力信号についてのノイズ消去、または他の動作のための、各論理演算子を、および/または、各形態演算子を有し得る。
バンドパスフィルタまたは各バンドパスフィルタは、フィードフォワードCOMBフィルタ、非線形機能のブロック、ノイズ消去のための論理演算子、および形態演算子のいずれかまたは全ての組み合わせを有し得る。バンドパスフィルタまたは各バンドパスフィルタは、減算、遅延、閾値化、および論理の機能を適用する機能性のみを有し得る。
後者は必要な演算パワーを限定し、このため有利により速い動作時間を可能にする。バンドパスフィルタまたは各バンドパスフィルタは、単一の入力でもよく、複数の各入力でもよい。各フィルタ出力信号は、元の入力信号からの、変形された入力信号の減算に基づき得る。
図示することによって、本発明は、図示に限定されないが、用いることのできるフィルタの明確な構造を図5に示す。フィルタ構造は、フィードフォワードCOMBフィルタ、非線形機能、および、論理または機能を有する。フィルタの動作は、さらに、以下の特徴を有する。
xi[n]、yi[n]は、画素の階調値と対応する一例における時間信号である。フィルタの動作は、このため、例えば画像などデータ全体に対し並行に、すなわち、全ての個別入力データに対し並行に適用され得る。一例における信号xi[n]、yi[n]は、このため、各画像と考えられ得る。
フィルタは、多数のサンプルNと対応する長さを有するタイリング時間ウィンドウにおいて動作し、タイリングされたウィンドウは、遅延kを1からNまで増加することによって生成される。サンプルNの数は、フィルタにおける、サンプリング率、必要なバンドパス、および必要な潜在性の関数として選択されてもよい。
フィルタの動作の間、遅延kはこのため、各反復において増加し、出力信号yi[n]は、OR[fi(x[n]−x[n−1])、fi(x[n]−x[n−2])、...、fi(x[n]−x[n−k])]と等しく、fi(x)は閾値関数である。このサイクルの終わりにおいて、k=Nの場合、以下の動作が行われ得る。
y1[n]...y8[n]が、一連の論理関数(AND,OR,NOT)によって組み合わされ、調べる特徴を分離させ、y1...y8をリセットし、kを1に等しく設定する。言い換えると、各N反復の後、M出力信号が一連の論理演算に組み合わされ、特徴を抽出する。
第2の特定実施形態では、本発明は、上述した各信号出力を処理するためのデータプロセッサ100に関するもので、例えば、第1の特定実施形態に説明されているようなものであるが、これに限定されず、特徴抽出手段106は、少なくともセルラ式のノンリニアネットワーク(CNN)を備える、またはセルラ式のノンリニアネットワーク(CNN)からなる算術プロセッサを有するように適合化される。
後者は、アナログアレイ信号を処理するに特に適している。上記セルラ式のネットワークは、実行されるハードウェア、実行されるソフトウェア、または実行されるハードウェアおよびソフトウェアの組み合わせであってもよい。上記セルラ式のネットワークは、例えば、集積回路チップにおいて実行されるハードウェアであってもよい。
後者は、超大規模集積(VLSI)チップであってもよいが、本発明はこれに限定されない。CNN構造は、局部的に接続されたアナログダイナミックプロセッサまたはセルの2次元アレイであり得る。このようなセルラ式のネットワークは、非学習性のネットワークであってもよい。一例において、セルラ式のネットワークは、上記のようにACE16K CNNビジュアルマイクロプロセッサにおける128×128セルのセルラ式のネットワーク構造等の光入力層に連結されるセルラ式のネットワーク構造であってもよい。
この場合、光受信器における各画素は、セルラ式のネットワーク構造のセルに対応し得る。CNNプロセッサを有するビジュアルマイクロプロセッサを用いることによって、CNNプロセッサは、各画像を、データ入力として並行に、また、連続時間に基づいて受け入れ、処理をしてもよい。
それにもかかわらず、より一般的には、入力信号が必要に応じてサンプリング手段104によってサンプリングされた後、セルラ式のネットワークは、入力手段102からその入力を受信してもよい。本発明に係る実施形態の長所は、CNN構造がある程度、多くの生物学的感覚および処理システムにおける構造および生理機構を模倣することである。
本発明に係る方法およびシステムを適用することによって、脳に似た情報処理アルゴリズム、元来アナログで、空間的に一時的なアルゴリズムを実行できる。後者は、本説明において記載したような長所の少なくともいくつかをもたらす。
CNNは、局部的に接続されたアナログダイナミックプロセッサまたはセルのグループであり得る。図示することによって、本発明をそれに限定するわけではないが、局部的に接続されるアナログダイナミックプロセスの2次元アレイであるCNNは、図6aに示され、総体的に説明される。
この図を参照して、行iおよび列jにおけるセルは、記号C(i, j)によって示される。図6bは、セルC(i, j)とセルC(i, j)を囲む各セルとをリンクする、上記と異なるシナプス結合を示す。
C(i, j)と直接接続される各セルのサブセットは、記号S(i, j)、より具体的にはSr(i, j)によって示され、rはセルC(i, j)に及ぼす影響の範囲を示す。図示すると、図6bにおいて、2つの互いに隣り合う各セルの間の距離であるrのための位置が示される。各セルC(i, j)は、状態xijによって特徴付けられ、出力yijを生成する。
状態xijは、その前の状態、入力uからS(i, j)の組み合わせ、S(i, j)における前の演算の出力yの組み合わせに依存し、オフセット値zij;yijは、xijの非線形関数であり、たいていは飽和関数である。より形式的な記号では、セルにおける後の状態を判定する式は以下の通りである。
一方、出力は、以下の非線形の式によって上記状態に関連付けられる。
y
ij=f(x
ij)
AおよびBは、2つのマトリックスであり、それらは、それぞれフィードバックの演算子や入力シナプスの演算子と呼ばれる。z
ijは、C(i, j)の閾値である。CNNセルについてのデータ入力およびデータ出力を図7に示す。クローニングテンプレートまたは単純にテンプレートとも呼ばれるトリプレット[A、B、z]は、完全に各CNNを特徴付ける。
CNNハードウェアの実装の一例は、2つの3×3の実マトリクスB、A(C(i, j)およびその周囲のSr(i, j)の間の各関係の各重み付けを記述する)および実スカラー値のzの使用であってもよい。
この実施形態の長所は、CNNアルゴリズムが、2次元画像としてトポロジカルに組織化される入力信号毎に並行に同時に適用される、各テンプレートの順序付けられた配列を備えてもよい、または該配列からなってもよいことである。
各CNNの長所は、大量の感覚情報を効率的に処理するために、各CNNが適切な構造を提供することである。CNNによる処理は、コンピュータ化されたシステムをリアルタイムで制御するために、各センサのアレイから抽出される空間的、一時的特徴に加えて、手書きの各特徴の組み合わせを用いてもよい。
第2側面では、本発明は、人型ロボットまたはコンピュータ化された人工器官のような、コンピュータ化されたシステムに関する。コンピュータ化されたシステムは、複数のトポロジカルに互いに異なる各センサを有する少なくとも1つの可動要素を備える。
各センサは、例えば、圧力、力、または音響センサのような機械的センサ類や、例えば光センサ類、磁気センサ類等のような電磁センサ類であってもよい。データプロセッサは、機械的刺激に対する応答としてのセンサ出力を提供する各センサのために特に適したものであってもよい。
このため、上記システムは、マルチセンサシステムである。機械的刺激は、対象物の動き、対象物による圧力の変化等であってもよい。上述した各センサと同様に、このような機械的刺激は、光学的方法、圧力または力を用いる方法、音響的方法、電磁相互作用を用いる方法、磁気相互作用を用いる方法等で知覚され得る。いくつかの各実施形態では、機械的な刺激を感知するために、対象物は、必ずしもセンサに対して直接物理的な接触を有さなくてもよい。
他の有利な実施形態では、対象物は、センサまたはセンサの知覚表面に対して直接物理的に接触しているもの、または接触するようになるものであってもよい。可動要素は、対象物の操作を行うように、または生物と相互作用するように適合化され得る。
可動要素は、アクチュエータを用いて作動される。本発明に係る特定の各実施形態では、コンピュータ化されたシステムは、対象物を操作するための、かつ/または生物と相互作用するためのハンドを有するロボットハンドまたはアームであり得る。
このため、センサは、触知し得る事象を記録するために用いられてもよいが、本発明はこれに限定されない。より具体的には、システムは、また、直接の物理的な接触がない対象物との相互作用のために用いられてもよい。コンピュータ化されたシステムは、例えば掴んだり持ち上げたりするタスク、対象物の置き換えに関するタスク、対象物を揃えることに関するタスク等の日常のタスクのために適合化されてもよいが、本発明はこれに限定されない。
コンピュータ化されたシステムは、本発明の第1側面において説明されたようなデータプロセッサを備え、第1側面で記載した同じ各特徴および各有利な点を備える。データプロセッサは、例えばデータが前処理され、かつ/または変換された後に、センサから上記データを受信する。
コンピュータ化されたシステムは、データプロセッサの信号出力の機能として、可動要素を制御するためのコントローラをさらに備えてもよい。このため、上記コントローラは、データプロセッサから出力データを受信し、例えばコンピュータ化されたシステムの可動要素のように、コンピュータ化されたシステムを制御するためのデータを制御するための上記データを処理するように適合化される。
上記コントローラは、例えばパーソナルコンピュータのようなホストコンピュータのように、データ処理と同じハードウェア環境において実装され得る処理機能性を提供し得るが、後者は、データプロセッサと通信する別個の演算装置に対して実装され得る。コントローラの処理容量は、例えばデジタルデータプロセッサ、または、プログラマブルアレイロジック(PAL)、プログラマブルロジックアレイ、プログラマブルゲートアレイ等のプログラマブルデジタルロジック装置等のホストコンピュータにおける任意の適切な種類のプロセッサによって実現され得る。
図示することによって、本発明はこれに限定されないが、コンピュータ化されたシステム300の例を、このようなシステムにおける標準的かつ任意のコンポーネントを示す図8に示す。コンピュータ化されたシステム300は、本例においてコントローラ30によって制御されるアクチュエータ304によって作動される少なくとも1つの可動要素302を備える。
可動要素302は、例えば、高感度皮膚受容器とも呼ばれる皮膚の機械的受容器として実装され得る複数の各センサ20を備えるが、本発明はこれに限定されない。センサから処理されたデータを受信、処理、および出力するように適合化されたデータプロセッサ100の出力に伴って可動要素302を制御するためのさらなる制御信号を判定するためのコントローラ30において用いられ得る、例えば可動要素の位置情報等の固有受容性情報を提供する各エンコーダのセットが可動要素302にさらに設けられ得る。
コンピュータ化されたシステムのさらなる各特徴および各長所は、本発明において提供される各実施例と同様に、第1側面において説明されるデータプロセッサ100の特徴によって説明され、かつ/または示される。
第3側面において、本発明は、例えば、圧力、力、または音響の各センサ等の機械的センサ類や、光セン類サ、磁気センサ類等の電磁センサ類といった、複数のトポロジカルに互いに異なる各センサの信号出力を処理するための方法に関する。
データプロセッサは、機械的刺激に対する応答としてセンサ出力を提供する各センサのため特に適したものになっている。機械的刺激は、対象物の動き、対象物による圧力の変化等であってもよい。上記のセンサに従って、このような機械的刺激は、光学的方法、圧力または力を用いる方法、音響的方法、電磁相互作用を用いる方法、磁力相互作用を用いる方法等で感知され得る。
いくつかの各実施形態では、機械的刺激を感知するために、対象物は、必ずしもセンサに対して直接に物理的接触を有しなくてもよい。他の有利な長所では、対象物は、センサまたは感知表面に対して直接物理的な接触を有する。このような方法は、例えば対象物の操作または生物との相互作用の間、またはその操作または相互作用のために、コンピュータ化されたシステムを制御するために有利に用いられ得る。
この方法は、並行に複数の各センサ出力を取得する工程と、各一時的サンプルを生成するために、複数の各センサ出力を所定の時間内にサンプリングする工程とを含む。この方法は、例えば、トポロジカルに同一の状態で、各センサ出力における互いに隣り合う各一時的サンプルを並行に算術処理することによって動的挙動パターンを有する各特徴を抽出する工程をさらに含む。
上記抽出する工程は、各センサ出力のトポロジカルな配置を考慮に入れ、または基づいて行われてもよい。この方法は、また、各センサ出力における互いに隣り合う各一時的サンプルを並行に算術処理することによって静的挙動パターンを有する特徴を抽出する工程を含んでもよい。
この方法は、抽出された特徴の特性を判定する工程をさらに含む。図示によって、複数の互いに異なる各センサの各信号出力を処理するための例示的な方法400を、標準的な各工程、および任意の各工程を示すものとして図9に示す。第1工程402では、複数の各センサの各出力信号が入力として受信される。各信号は並行に取得され、これにより効率的処理がアシストされる。各入力信号の受信は、入力信号を光学的に検出することによって行われてよいが、例えば、各電気信号等、他の種類の各信号が処理されてもよい。各入力信号は、各アナログ入力信号であってもよい。
任意の第2工程404では、一時的データを得るために、各入力信号は必要に応じてサンプルされてもよい。他の例では、受信した入力データは、一時的データとして直接受信されてもよい。後者は、例えば、光学的受信入力ユニットにおけるシャッターを用いる等、任意の適切な方法で行われてもよい。
第3工程406では、動的挙動パターンを有する各特徴が、算術処理を用いて抽出される。後者は、各センサ出力のトポロジーを考慮に入れて行われてもよい。算術処理は、各センサ出力における互いに隣り合う各一時的サンプルについて並行に実行される。上記各センサ出力は、データ処理システムのための信号入力とも称される。
このような算術処理は、バンドパスハイパスまたはローパスフィルタまたは、一時的ドメインにおいてのみデータについて動作するバンドパスハイパス、ローパスフィルタの組み合わせを適用する工程を含んでもよい、または該工程からなってもよい。
このため、上記算術処理は、1つのバンド(周波数帯域)、または連続していない複数の各バンドに対してフィルタ帯域を有するフィルタを備えてもよい。算術処理は、閾値化、遅延、減算、論理および/または形態学的な各機能のみを用いるフィルタを適用する工程を含んでもよいし、該工程からなってもよい。
フィルタリングは、非線形であってもよい。算術処理は、セルラ式のノンリニアネットワークで、またはそれを用いて行われてもよい。処理は、各画像として組織化さデータについて行われてもよい。各特徴は、前記第1側面において説明したようなものであってもよい。
任意の第4工程408では、抽出された各特徴は、例えば、トポロジカルに同一なアレイ等、トポロジカルに同一なフォーマットにおいて記憶されてもよい。言い換えると、コンピュータ化されたシステムにおける、互いに隣り合うものに対する各センサの位置は、互いに隣り合う各センサにおける記憶され処理されたデータに対するセンサの処理データの記憶された位置に対応し得る。
任意の第5工程410では、追加の各特徴は、空間フィルタリングまたは空間および一時的なフィルタリングの組み合わせによって抽出されてもよい。後者は、任意の適切なフィルタを用いて行われてもよく、また、起動された各センサの各センサ信号における領域および分布等の空間的特徴を抽出するために用いられてもよい。
第6工程412では、抽出された特徴の特性が判定される。後者は、任意の空間的フィルタリングの前または後で行われてもよい。特性は、前記第1側面で説明したようなものであってもよい。特性の判定は、例えば、抽出された各特徴の安定性または対応する事象を判定するものであってもよい。
任意の工程414では、判定された特性のデータは、意味論的情報に変換されてもよく、実世界での操作の間に行われる実際のアクション(動作)を表現し、コントローラがそれに応じてコンピュータ化されたシステムをさらに制御することを可能とする。この意味論的な情報または特性の情報は、コントローラに対する出力情報として提供され得る。
処理を行う方法の他の特徴および側面は、前記第1側面で説明したようなデータプロセッサの各特徴における各機能性によって表現される各特徴であり得る。一実施形態では、さらなる任意の工程は、有利には、手順の最初において行われてもよい。
このさらなる任意の工程は、例えば、使用される各物質、使用される各センサ、各センサのカバー層の厚さ等によって決定される現在のハードウェア構成に対して、提案されたアルゴリズムにて、各パラメータを調整することを含む。さらなる任意の工程は、例えば、スリップが重要な役割を果たし得る操作について特に有効であり得る。
第4側面では、本発明は、コンピュータ化されたシステムを制御する方法に関する。コンピュータ化されたシステムは、例えば、圧力、力、または音響の各センサ等の機械的センサ類と、光センサ類、磁気センサ類等の電磁センサ類といった複数のトポロジカルに互いに異なる各センサを含む少なくとも1つの可動要素を備える。
上記方法は、各センサからの複数の各出力信号を測定する工程と、抽出された各特徴の特性を得るために、前記第3側面で説明したような方法を用いて各信号出力を処理する工程とを含む。
上記方法は、コンピュータ化されたシステムの状況を判定する工程および/または抽出された特徴の特性に基づいて少なくとも1つの可動要素を制御する工程を含み得る。このような制御は、例えば、上記少なくとも1つの可動要素の位置または動きを制御することであり得る。
このような方法は、コンピュータ化されたシステムによる、発生する事象および環境に存在する特徴の認識の改善をアシストする。各信号出力を処理するための方法工程における各特徴および各長所は、前記第3側面で説明したものと同じであるので、ここでは繰り返さない。
一実施形態では、上記方法は、データプロセッサにおいて入力データを取得する前に、光学的にコード化された状態で各センサの各出力信号を得るために、各センサの電気的または電子的信号を光電子的に変換する工程を含んでもよい。上記各出力信号は、例えば、画像として並行に提供されるものでもよい。
一実施形態では、コンピュータ化されたシステムを制御するための方法は、各センサが適切に動作しているかどうかをチェックするための初期テスト工程を含み得る。初期テスト工程は、各センサの各出力信号を、所定の期間において判定して、例えば、故障といった、信頼性のない各センサにより、始動または作動しなかったりしたきに、上記各センサを使用から除外することによって行われてもよい。初期テスト工程は、複数のセンサが重複している場合、特に有効である。
上記少なくとも1つの可動要素を制御することは、第一に、抽出された特徴の特性に関する情報を、実世界における操作状況を表す意味論的データに変換し、その後、意味論的データを用いることを含み得る。
さらに、上記少なくとも1つの可動要素を制御することは、例えばコンピュータ化されたシステムにおける各エンコーダから得られる固有受容性情報を考慮に入れることを含み得る。上記方法の他の任意の特徴は、前記の各側面および追加の実施例において説明されるコンピュータ化されたシステムの各コンポーネントによって生じるような処理工程を含む。
本発明の第3側面および第4側面における上記方法の実施形態は、前記第1側面で説明した処理システムまたはプロセッサに対して実装され得る。図10は、例えばRAM、ROM等のメモリの少なくとも一形態を含むメモリシステム505に接続される少なくとも1つのプログラマブルプロセッサ503を含む処理システム500の一構成を示す。
プロセッサ503またはプロセッサは、汎用のものであっても、または特別な目的のプロセッサであってもよく、例えば、請求項に記載された、および/または、本明細書にて記述された方法における方法工程において表現される機能性を提供できる限り、他の機能を果たす他のコンポーネントを有するチップ等の装置に含まれるものであってもよいことを注意されたい。
したがって、本発明の1つ以上の側面は、電子回路において、またはコンピュータハードウェア、ファームウェア、ソフトウェアにおいて、またはそれらの組み合わせにおいて実行され得る。処理システムは、少なくとも1つのディスクドライブおよび/またはCD−ROMドライブおよび/またはDVDドライブを有する記憶サブシステム507を含んでもよい。
記憶サブシステム507は、上記の方法の各実施形態における工程を行うためのコンピュータプログラム製品を記憶するための固体メモリを備えてもよい。いくつかの実装において、ユーザーが情報を手で入力できるように、ディスプレイシステム、キーボード、およびポインティングデバイスがユーザーインターフェイスサブシステム509の一部として含まれてもよい。データを入出力するための各ポートも含まれてもよい。
様々な装置等に対する各ネットワーク接続、各インターフェイス等のより多くの各要素が含まれてもよいが、図10には図示していない。処理システム500における様々な各要素は、簡単のために単一のバスとして図10に示されるバスサブシステム513を介することを含めて、様々な方法で接続されてもよいが、少なくとも1つのバスのシステムを含むことを当業者なら理解するであろう。
メモリサブシステム505のメモリは、処理システム500において実装されると、本明細書にて説明する方法の各実施形態の工程を実行するという指示のセットの一部または全て(511として示されるいずれかの場合)を保持する場合があってもよい。このため、図10で示すような処理システム500が従来技術である一方、信号またはデータを処理するための方法の側面を実行するための指示を含むシステムは従来技術ではなく、そのため、図10は従来技術としては示さない。
本発明は、また、演算装置において実行されたときに本発明に係る方法のいずれかにおける機能性を与えるコンピュータプログラム製品を含む。このようなコンピュータプログラムは、プログラマブルプロセッサによる実行についての機械読み出し可能なコードを有するキャリア媒体において明白に実施され得る。
このように本発明は、演算手段において実行されたとき、上記のような方法のいずれかを実行するための指示を与えるコンピュータプログラム製品を有するキャリア媒体に関する。“キャリア媒体”という用語は、プロセッサを実行させる指示を与えることに関与するいかなる媒体をも意味する。
このような媒体は、不揮発性媒体および伝送媒体を含むが、それに限定されない多くの形態を有し得る。不揮発性媒体は例えば、大容量記憶の一部である記憶装置等、光学または磁気の各ディスクを含む。コンピュータ読み出し可能な媒体の一般的な形態は、CD−ROM、DVD、フレキシブルディスクまたはフロッピー(登録商標)ディスク、テープ、メモリチップまたはカートリッジ、またはコンピュータが読み出すことのできる他の任意の媒体を含む。
コンピュータ読み出し可能な媒体の様々な形態は、プロセッサが実行するための1つ以上の指示における1つ以上の配列を有する際に必要となり得る。コンピュータプログラム製品はまた、LAN、WAN、またはインターネット等のネットワークにおける搬送波を介して送信され得る。送信媒体は、電波および赤外線のデータ通信の間に生成されるような音響波または光波の形態を有し得る。送信媒体は、コンピュータ内のバスを有するワイヤを含めて、同軸ケーブル、銅ワイヤ、およびオプティカルファイバーを含む。
本発明は、図示されるが、図示には限定されず、コンピュータ化されたシステムの例は、劣駆動バイオメカトロニックハンドを備える人工アームであり、バイオメカトロニックハンドを備えるこのような人工アームを制御するための信号を処理するための方法およびこのようなシステムを制御するための方法と同様に、上記例をより詳細に説明する。
システムの各特徴および/または方法の各特徴は、バイオメカトロニックハンドを備える人工アームに適用されるものとして説明され、これらは異なるコンピュータ化されたシステム、異なるコンピュータ化されたシステムにおけるデータ処理の方法、または異なるコンピュータ化されたシステムの制御方法に、本発明の範囲内で含まれ、適用され、および/または用いられ得る。以下の実施例は、本発明に係る実施形態によって得られる特定の各特徴および各長所のいくつかを示す。
[実施例1:コンピュータ化されたシステム]
本実施例で説明されるコンピュータ化されたシステム600は、図11に模式的に示され、人工アーム602とバイオメカトロニックハンド604を示す。知覚を有する2本の各フィンガーが装着されて有するバイオメカトロニックハンド604が設けられ、上記各フィンガーが、単一の牽引ケーブルのみによって制御されて、上記ハンドが、掴まれた対象物を包むように適合化され得る。
タスクコントローラ610は、バイブレーションのない、スムーズな動きをもたらすアーム602および/またはハンド604を制御するために用いられる。本実施例では、各フィンガーの先端部の内側表面が、微細加工された力センサ606および電気−光コンバータからなる、3つの触知し得るモジュールでカバーされていた。
この特定の場合において、各モジュールアレイは、フレキシブル基板の上で組み立てられ、保護およびグリップ(把持)を目的とした柔軟なポリウレタン層で覆われた、多数の微細加工された3軸力センサ606からなる。
3つの電気信号が各センサから抽出され、処理され、各モジュールに埋め込まれたオプトエレクトロニクスによって光パルスへ変換される。触知し得る画像からの光コード化された触知し得る情報は、データプロセッサ608へ転送される。
本実施例では、該プロセッサは、一般的なプロセッサ612におけるタスクコントローラ610とともに設けられるセルラ式のニューラルネットワークのCNNビジュアルマイクロプロセッサであり、また、本実施例では、工業用PCで、ハンガリー、ブダペストに所在するAnaLogic Computers Ltd.社製のBi−l v2 PCである。
使用されるタスクコントローラ610は、600MHzで作動するTexas Instruments TMS320C6415デジタルデータプロセッサ(DSP)であり、データプロセッサ608は、超高速ACE16K CNNビジュアルマイクロプロセッサ(AnaFocus Ltd6)であり、入力装置およびメイン処理ユニット(算術プロセッサ)として用いられる、デジタルに制御されるアナログアレイプロセッサである。
このプロセッサは、128×128セルのCNN構造の上面における128×128のCCD光学入力層からなる。適切な時間情報が、ビジュアルマイクロプロセッサ上で統合時間(シャッター)を適切に設定する、すなわちサンプリングすることによって得られ、取得された触知し得るデータは、動的階調画像として得られる(より明るい領域がより強い刺激を示す)。
画像における各センサ606および各画素の各位置は、トポロジカルに同一にしている。すなわち、トポロジカルに同一とは、フィンガーの先端部の表面における所定の各センサ606の各位置は、触知し得る画像における対応する各画素の相対位置に対応していることである。本実施例では、単一の触知し得るチャンネルが、そのチャンネルの情報のために、およそ16の互いに隣り合う各画素の小グループに割り当てられる。入力画像の一部は、各フィンガーの親指部の各センサに対応し、入力画像の他の部分は、各フィンガーの人さし指部の各センサに対応している。
各特徴は、常に全入力画像について演算され、演算上の過負荷はない。本実施例では、予め設定された特徴がCNNの形態学的および論理的演算によって検出される位置を抽出するためにマスク画像が用いられる。このため、データプロセッサ608は、CNNベースのプロセッサを用いる。
CNNベースのプロセッサは、特徴の検出された、白い部分を示す画像の領域(および対応する入力空間の領域)を元の二値画像に戻す、所定の、CNNベースの特徴抽出アルゴリズムを提供する。
刺激方向との相関が不十分な、3つの各光信号が各センサ606から抽出される結果、上記位置抽出の動作に用いられる外受容システムは、54コの触知し得る各光信号からなる。
各センサ606のアレイにおける安定したキャリブレーションは、各方向に沿って入力刺激強度を正確にコード化する各信号を生成するが、次に続くアプローチによると上記キャリブレーション工程は不必要となる。データプロセッサ608には、刺激方向と不十分に相関する信号が入力される。または、上記実装された触知し得るシステムは、未加工かつ方向無相関の信号を入力として受け入れる。
本実施例では、プラスティック光ファイバー(POF)からなるケーブルは、光学的にコード化された情報を、ハンドのフィンガーにおける触知し得るセンサから一般的なプロセッサ612へ伝え、ハンドのフィンガー上の触知し得る画像をACE16Kビジュアルマイクロプロセッサに割り当て、光学層(各画素は対応するCNNセルの光入力である)の下に設けられるCNN構造において画像を即座に処理する。上記システムは、チップに光の焦点をあわせるための結合要素を備えてもよい。
検出される各特徴または相関する意味論的表示の特性を表す、CNNチップの内側での触知し得る画像の処理の結果は、タスクコントローラ610に転送され、例えば位置情報を与えるためのアームおよびハンド614におけるエンコーダから受信される固有受容性情報とともに用いられる。一般プロセッサ612は、アーム602およびハンド604またはそれらのローカルコントローラと、例えばネットワークを介して通信を行う。図11は、本実施例において用いられるロボットシステムの構造における異なる情報の流れを示す。
[実施例2:各特徴の抽出]
掴むことに関する本実施例では、一時的ドメインにおいて認識される3種類の触知し得る各事象の認識に基づいたアルゴリズムが用いられ、上記各事象は、変化、振動、およびバイブレーションである。これら3種類の各特徴は、本説明では以下のように示される。
変化:予め設定された触知し得る信号は、その強度が同じ期間Tにおいて少なくとも所定の閾値σによって変化する場合、変化を含む。上記閾値σは、本実施例においては、階調(255のうち)の数で表現される画素強度の観点から定義され、触知し得る信号のノイズレベルに依存する。上記強度が増加する場合、変化はポジティブであり得、またはネガティブであり得る。触知し得るモジュールの予備的な特徴値および本実施例におけるセンサのノイズ性能によって、σ=5のグレーレベル(全ダイナミックレンジの2%)と考えることが可能である。
振動:振動は、少なくともn・σおよびm・σの振幅を有する、同じ期間Tにおける互いに極性が逆の2つの連続する各変化の組み合わせであり、したがって、周期性に対する特定の傾向を示す。本実施例では、n=3、m=1は、通常操作において振動を検出する上でよい選択であることが分かる。
バイブレーション:バイブレーションは、2つの連続する各期間Tにおける少なくとも2つの振動の連続である。
図12aは、このワークで分類されるように、触知し得る各信号を模式的に示す。第1信号652および第2信号654は、変化であるが、周期性に対する傾向を失っているので、振動ではない。
第3信号656および第4信号658では、検出される振動についての2つの各条件が一致している。最終曲線662は、少なくとも2つの各振動の連続であり、バイブレーションと認識される。一方、第5曲線660が、変化における最小の条件と一致せず、バイブレーションとは認識されない。
提案される命名法の中で、図12aに示される全ての各信号662、664、666は、信号664がはっきりと周期的でなくても、バイブレーションと見なされることを指摘する価値がある。
これらの命名法で、触知し得る各信号のバイブレーション(しばしばスリップと関連付けられる)の検出は、2つの連続する期間内に発生する各振動の検出として再公式化され得る。
スリップの間に現れる各振動における振幅および周波数の両方は、肌の特徴、重量、対象物の材質および柔軟さ、もちろん、突然に変化する刺激を検出するセンサの敏感さおよび能力によって変化し得、振幅および周波数を有する各振動は、かなり大きな範囲で検出された。
本実施例では、20〜50Hz内の周波数内容を有する触知し得る信号の検出が適切であると分かった。本実施例で用いられた期間はT=25msであった。2.5msのサンプリング期間で、400Hzのサンプリングレートが得られた。これらは図12bに示される。
本実施例では、全てのサンプルされた各センサ出力について、データプロセッサ上で並列に展開されるアルゴリズムは、T秒における連続した期間内に信号変動を探す。メモリサイズの問題と、比較および更新の最小化に取り組むために、時間は近接する期間ウィンドウに分割され、それらのうちの1つ1つは持続期間Tである。
本実施例において、例えばスライディングウィンドウの代りに隣り合う期間ウィンドウを選択する欠点は、触知し得る情報処理鎖全体に重要な効果を及ぼさなかったことである。それにもかかわらず、より大きい演算能力を用い、スライディングウィンドウがまた選択され得る。
本実施例では、画像取得のための高いフレームレートを確保しつつ、特徴抽出が全ての触知し得る知覚情報の並列処理によって実現され、演算効率の良いシステムがもたらされる。用いられるアルゴリズムは、タスクコントローラに転送されるデータの数を最小化するように設計され、安定し信頼感のあるCNN演算子のみを用いることに基づいていた。
図示によって、図13は、本実施例における触知し得る事象を検出するために用いられる一般的CNNアルゴリズム700の例示的ブロック図を示す。初期化ステップ(フェーズ)702では、画像バッファは、適切な初期ブラック値に設定される(フィルブラック(filblack)演算子を用いて)。
その後、例えば"第1期間画像"と題された第1画像が取得され、ACE16Kプロセッサにおいてノイズ消去され、試験される期間における第1の触知し得る画像として記憶される(ステップ704)。時間遅延が、取得レートを同期化するために設定され(ステップ706)、その後、“現在の画像”と題された、続いた画像が取得される(ステップ708)。
ステップ710では、触知し得る各信号の検出が行われ、本実施例では、変化の検出に基づく。これらの触知し得る各信号の検出は、各反復において“現在の画像”と“第1期間の画像”との比較を実行するために、基本的には、CNN演算子に基づく。
このような検出についてのアルゴリズムは、対称構造を有し得、このため、ポジティブ変化およびネガティブ変化の検出が可能となる。演算には、減算および閾値CNN演算子が含まれ得、触知し得る各信号が、現在の期間の初めにおける触知し得る状態に対してどの程度変化するかを評価することを目指す。
より正確には、減算画像を閾値化することによって、いくつかの二値画像が得られ、これらのうちの1つ1つは任意の閾値σより多く変化した全ての領域を示す。このような検出の正確さは、最も信頼性のない測定可能な変化σの値によって限定される。
この手順は、触知し得る信号の変化の存在を記憶する二値画像のセットの更新を可能とする。一般的なCNNアルゴリズム700では、各反復における新しい“現在の画像”を用いて、期間の終わりが図13に示されるように判定ステップ712において判定されるまで、前の工程が繰り返される。各期間の終わりにおいて、ステップ714において示されるように、最後の期間に各振動が発生する、触知し得る領域を分離するために、二値画像における照合が行われる。
この検出についての例示的なアルゴリズム725のより詳細な概要を図14に示す。二値画像の対が、論理演算子であるlogAND CNN演算子によって比較される。各ANDは、検討される期間に沿った特定の波形とともに各振動を検出するために用いられる。また、上記各振動が十分に広い輝度振幅に対して広がることを確実にするように、AND演算子の入力において対にされる。
logOR 演算子は、"振動画像"と題されるただ1つの画像において検討される期間に沿って振動した、触知され得る各信号を集めるために用いられる。最終的に、各振動が最後の2つの各期間において発生した領域において、ステップ716に示すように、各バイブレーションが検出される。
各バイブレーションを検出するために、例えば、前のステップで得られ、2つの連続する各期間に関連付けられる"振動画像"という画像は、ANDed(logAND 演算子)である。
その後、一般的なCNNアルゴリズム700は、次の時間周期の分析を行うための変数状態を調節するために、ステップ718に示されるように、いくつかの画像のリフレッシュを行う。特に、最後の期間における最後の触知し得る画像は、次の期間の第1および基準画像となる(第1期間画像=現在の画像)。
システムにおける検出によって引き起こされるエラーを防ぐために、処理はウォーミング段階で始められてもよく、センサの適切な操作がここでチェックされる。このために用いられ得るアルゴリズム730の例を、図15に示す。
前記ハンドが開くとき、第1工程732に示されるように、一連の画像が取得され、工程734に示される、センサチェックを行う手順に送られる。センサチェック手順は、全ての画像領域を評価し、工程735で起動される画像を示し、または、工程737で点滅する画像を示すことにより破損したセンサとして全期間にわたって黒表示しない。
後者は、上記開いたハンドについて判定され得、触知し得る各信号はセンサによって感知されない。十分なチェックが行われていると判断される場合、判定ステップ736によって示されるように、信頼できる領域739の画像が生成され、生成ステップ738は、信頼できない領域を信頼できる領域の演算から除外することによってセンサチェックステップの間に示される信頼できない領域を考慮に入れる。
この特徴は、触知し得るシステム全体の安定性を増加し、特に、多くのセンサが存在し、この場合のように重複が活用され得るときに、上記安定性を増加する。図15に示すように、この手順における出力は、信頼できる領域を含む二値画像(CNN言語ではマスク)である。
[実施例3:各特徴の特性の判定]
本実施例において各特徴の特性の判定と、それを意味論的特徴と相関させることは、抽出された各特徴の長時間にわたる安定性をチェックすることによって行われる。後者は、データ信号から各特徴を抽出するために用いられるような時間の各特徴だけでなく、空間的な特徴や、強度の各特徴も考慮に入れるのが好ましい。
このような各特徴の混合は、非常に滑りやすい性質、かつ滑らかな表面を有する対象物、例えば、豆腐等を掴むには特に適切である。あまり滑りやすくない対象物を掴むときは、場合によっては一時的情報の各特徴だけで十分である。このため、掴むことの安全性は、また、接触領域のサイズに基づき得られ、また、適用される力制御の最小値に基づき得られる。
各特徴の特性の判定は、例えば、何らかの初期接触が検出されてすぐに行われてもよい。図示するが、本発明はこれに限定されず、用いられる例示的CNNアルゴリズムは、図16に示される。本実施例における各特徴の特性の判定は、抽出された各特徴における長時間にわたる安定性を判定することを含む。
例示的アルゴリズム750は、工程752において各画像の順次入力を受信すること、および、信頼できる領域情報753に基づいてバイブレーション754を検出することに対応する階調および形態学的な演算によって、入力される触知し得る各画像における、信頼できる各領域の長時間にわたる安定性のチェックを行う。特に、その後の各画像と二値閾値化演算の間のアナログな相違が用いられる。
演算要件を低く抑えるために、単一の二値画像が、触知し得る、順次入力において変更する部分のトレース(痕跡)を維持するように用いられる。安定した活性領域を含む二値画像が最終的に生成され、それは工程755に示される。
その後、閾値は、各活性領域に対応する位置におけるこれらの領域入力画像に適用され、安全接触領域が十分大きいことを確実にする。2つの互いに異なる各知覚チャンネルは、触知し得る画像における2つの幾何学的に分離した(非接触の)各領域であってブロブとも呼ばれる領域上に割り当てられており、この段階は、工程756によって示され、簡単のために活性ブロブのカウントとして説明され得る。
その後、決定工程758によって、上記接触が、工程760に示すように安全であるか、工程762に示すように安全でないかを判定することが可能となる。安全接触領域が1つフィンガーまたは2つの各フィンガーの上で十分大きくない場合、または、安定領域において触知し得る信号の強度が十分でない場合、上記手順は、対応するフィンガーモータにおける小さく縮小するためのパルスのトリガとなる。
フィンガーと対象物との間の摩擦係数は、接触性質評価への上記アプローチを用いて推測されず、100msの所要時間を有する手順全体は、アームを持ち上げる前に行われる。上記演算はこのため、400Hzで取得される40の各画像を伴う。
[実施例4:タスク制御]
例えば上記特定のアルゴリズムを用いるが、本発明はこれに限定されず、掴んだり持ち上げたりするタスクは、実施例1にて示されるコンピュータ化されたシステムを参照して、本実施例でさらに説明される。
タスクを行うための方法800は、図17を参照して説明される以下の段階からなり、タスクをモデリングする限定された状態の一部分を示す。
第1の工程、すなわち工程802では、ウォーミング段階が行われ、多数の各画像が、上記ハンドを開いた状態で取得され、破損した各センサを見つけ、それらを後の処理から除外するためにチェックが行わる。このようなウォーミング段階は、図15に示すようにアルゴリズムを用いて行われ得るが、本発明はこれに限定されない。
システムが最終的に破損した各センサを分離する初期ウォーミング段階の後、接触が検出されるまで、ロボットのハンドは対象物の周囲にて閉じることが予期される(ハンドクロージング段階)。第2工程804では、このため、独立して作動される上記ハンドのフィンガーを閉じることによって掴むことが開始される。対象物に対する何らかの接触が検出されるまでクロージングされる。
何らかの接触の検出は、上記ハンドのクロージングの停止を可能にする唯一の信号である。接触という事象は、接触の特性を評価する安定性チェック状態への遷移のトリガとなる。第3工程806では、接触の特性がこのように評価され、上記ハンドを上げる前に適切に掴めていることを確実にする。
十分な掴みの品質は、入力される触知し得る画像における特定の基準が満たされるまで、小さくかつ素早い各クロージングパルスによって最終的に達成される。安定性が不十分な場合、上記ハンドは、小さいが急な追加のクロージングを行い得、十分な安定性が得られない場合、上記システムは、工程808によって示されるように失敗を示し得、例えば、上記ハンドを開くなどする。
安定した掴みが達成された後、第4工程において、上記ハンドは、対象物を持ち上げ、小さく、素早いクロージングパルスを通してスリップまたは外部刺激を受ける間に発生するバイブレーション、または振動のような、触知し得る事象に対して反応する。本実施例における持ち上げは、10cmの高さに届くまでアームを持ち上げることによって行われる。
任意の第5工程812では、対象物の動きまたは静止等のさらなる操作が誘導される。本実施例では、対象物は、10秒間定位置に維持される。後者は、上記方法の安定性を示す。この工程と、その前の工程との両方の間に、コントローラは、スリップが検出された場合に、小さく素早い動きによって上記ハンドをクロージングする。第6工程814では、対象物を放して、アームは初期位置に戻される。
上記方法は、タスクコントローラによって制御される。異なるタスクの間における遷移は、アームまたはハンドエンコーダからの位置情報等の、またはタイマーからの時間間隔等の固有受容性情報によって、または周辺部分から、すなわち、コンピュータ化されたシステムのセンサから得られる外受容性の意味論的な情報によって規制され得る。
図示によって、さらなる各実施例を示す。ここで、動き、または動きの方向性が検出される。これらの各実施例は、限定的なものとして考えてはならないことを注意されたい。各実施例は、機械的刺激(動き)を光学的方法によって検出することを示している。各実施例において、交通状況における対象物の動きは、光学的検出器類によって生成される。
上記動きは、上記と同様の方法で生成され、すなわち、動的挙動を有する各特徴の抽出は、各センサ出力のトポロジーを考慮に入れて行われる。このような各特徴は、例えば、パターンまたはそのパターンの一部内での振動またはバイブレーションのような局部的変化であり得る。
[実施例5]
第5実施例では、道路を横切る歩行者の動向を検出することを示す。第1ステップでは、歩行者は、当業者によって知られるような、従来の検出手段によって検出され得る。歩行者の頭および胴体の検出および識別のための異なるアルゴリズムが知られており、本発明に係るシステムにおいて、例えば、上記システムで検出された交通のシーンの画像を操作することによって実行可能である。例えば、歩行者の胴体および頭は、それぞれ円筒体および楕円体として示され得る。歩行者の認識と、適用されるアルゴリズムは、本発明に係るシステムと組み合わせて行われ得る。
このように、歩行者の単純化されたモデルは、入力として割り当てられる。その後、動的挙動を有する各特徴を抽出するための画像を処理することは、掴む動きのための上記のシステムを用いて行われ得る。
後者は、胴体に対する頭のバイブレーションを認識するために用いられてもよい。上記バイブレーションは、道路を横切る前に歩行者が左右を見ることによって行う動作を示す。このようなバイブレーションは、この場合、例えば、頭のバイブレーション、振動しない胴体についての表示、またはその表示を検出することによって検出され得る。
同じアルゴリズムが、前記各実施例において提供されているように適用され得、検出された事象は、歩行者が道路を横切ること、または、歩行者が道路を横切ろうとしていることであり、これは動的挙動を有する各特徴、すなわち頭の振動を認識することに基づく。
事象は、このため、動的挙動を有する空間的および一時的な各特徴の検出によって認識され得る。本発明に係る実施形態の長所は、並列処理を行うことによって、当該技術が、刺激の発生場所をトレースしつつ、追加の演算要件を必要とせず、シーンに存在する複数の各歩行者を検出することができるということである。
図18は歩行者についてのモデルを示し、ここでは、胴体に対する頭の振動は、歩行者が道路を横切ろうとする事象を示すものとして識別され得る。例えば、車両等のシステムは、行われるタスクを制御するためのタスクコントローラと、1セットの各センサと、センサ出力処理手段と、発生する特徴または事象の特性を判定するための特性判定システムとを備え得る。
センサ出力処理手段および特性判定システムは、各実施例2、3に設けられてもよい。振動の検出は、頭の外側部分またはそのモデルを表す信号における振動の検出であってもよい。各センサアレイは、光学的に動きを検出するための光検出器であってもよい。
タスクコントローラは、検出された特徴または事象について取得された特性に対応するものであってもよく、例えば歩行者が道路を横切ることを検出すると、車両の速度を落としたり、停車したりしてもよい。所定のルールまたはプログラムされた、または引き出されたアルゴリズムに係る他の動作が行われてもよい。
[実施例6]
本発明に係る実施形態が適用される他の例は、車両における、レーンを変更したり、追い越し操作を開始したりする動きである。画像における車両の検出または認識は、当業者によって知られるように、従来の技術によって実行され得る。このような方法は、本発明に係る方法およびシステムと容易に組み合わせることが可能である。
画像または取得されたモデルは、予め割り当てられ得る、すなわち、任意の前処理段階の後において割り当てられ、処理を行うために取得される。例えば、上記実施形態のいくつかにおいて説明された光入力を有するプロセッサが用いられる場合、このような割り当てによってプロセッサは、光入力を得る。
使用される複数の各センサは、複数の各光センサであってもよい。処理手段は、特性判定手段と同様に、以前の各実施例で示されたようなものであってもよい。接近してくる、または離れていく車両は、静的に見えるだろうが、車両が操作を行い始める、または車両がレーンを変更し始めることについて、変化や振動等の動的挙動を有する各特徴は、複数の並列処理された各一時的センサ出力をフィルタリングして空間的に、および一時的に検出され得る。
上記の実施形態で説明した方法およびシステムは、このため、事象を検出するために適用され得る。それゆえ、車両の各部分における振動および/またはバイブレーションは、導き出され得る。図示するが、図19は、本発明の実施形態にかかる方法およびシステムを用いて検出できるような、車両の振動が示される、車両の模式的図である。車両の外側左および外側右の位置と同様に安定中央位置が示される。
材質と同様に、好ましい実施形態、特定の構造および構成が本明細書で説明されるが、形状や詳細についてさまざまな変更および改変が行われてもよい。例えば、上記で示されたいかなる式も、用い得る各手順の単なる代表を示しているに過ぎない。ブロック図に機能性を追加してもよいし削除してもよく、機能ブロックの中で動作が交換されてもよい。各工程や各ステップは、本発明の範囲内で説明される方法に追加されてもよく、または削除されてもよい。