JP2020504633A - 認知システムによるロボット・プロテーゼの増強された制御 - Google Patents

Abstract

【課題】 認知システムによるロボット・プロテーゼの増強された制御を提供する。【解決手段】 １つ又は複数のプロセッサのための方法及びシステムが、ユーザにより選択されたオブジェクトの画像データを受け取り、画像データに関する画像分析に基づいて、選択されたオブジェクトの画像属性を判断する。１つ又は複数のプロセッサは、選択されたオブジェクトの画像属性が、知識ベースの識別されたオブジェクトに合致するかどうかを判断し、識別されたオブジェクトは、画像属性と、識別されたオブジェクトに対応する操作データとを含み、プロテーゼ・デバイスのユーザにより選択されたオブジェクトが知識ベースの識別されたオブジェクトに合致すると判断することに応答して、１つ又は複数のプロセッサは、ユーザにより選択されたオブジェクトに合致する識別されたオブジェクトに対応する操作データを、プロテーゼ・デバイスに通信可能に接続されたモバイル制御デバイスに伝送し、モバイル制御デバイスは、識別されたオブジェクトに対応する操作データをプロテーゼ・デバイスに適用する。【選択図】 図３

Description

本発明は、一般に、プロテーゼ制御の分野に関し、より具体的には、認知システムによるプロテーゼ制御への適用可能性に関する。

プロテーゼ（prosthesis）とも呼ばれるプロテーゼ・デバイスは、欠損している身体部分と置き換えるため、又は機能していない身体部分を増強するために使用される。長い間、種々のプロテーゼ・デバイスが使用されており、プロテーゼに適用される技術の進歩を通じて、外傷又は病気により四肢のいずれかの機能を失った人、又は生まれつき身体付属肢（body appendage）の機能が失われている人が、技術支援される（technologically assisted）プロテーゼによりある程度の機能を取り戻すことが可能であった。

一部の現代のプロテーゼは、電気機械的機能を、場合によっては生体力学的（bio-mechanical）制御を利用して、ユーザが基本的機能の実施を助ける。技術支援プロテーゼでは、反復使用及び学習によってその生物学的相当物（biological counterpart）が実現する相互作用の微細な運動制御（fine motor control）、正確さ、並びに速度が不足していることが多い。

認知システムによるロボット・プロテーゼの増強された制御を提供する。

第１の態様によると、１つ又は複数のプロセッサが、オブジェクトの画像データを含む入力を受け取ることと；１つ又は複数のプロセッサが、オブジェクトの画像データに関する画像分析の実行に基づいて、オブジェクトの画像属性を判断することと；１つ又は複数のプロセッサが、オブジェクトの画像属性が、複数の識別されたオブジェクトと、複数の識別されたオブジェクトにそれぞれ対応する操作データとを含む知識ベースの１つの識別されたオブジェクトに合致するかどうかを判断することと；オブジェクトの画像属性が知識ベースの識別されたオブジェクトに合致すると判断することに応答して、１つ又は複数のプロセッサが、知識ベースの識別されたオブジェクトに対応する操作データをモバイル制御デバイスに伝送することと、を含む方法が提供される。

本発明の第２の態様によると、１つ又は複数のプロセッサが、プロテーゼ・デバイスのユーザにより選択されたオブジェクトの画像データを受け取ることと；１つ又は複数のプロセッサが、画像データに関する画像分析の実行に基づいて、選択されたオブジェクトの画像属性を判断することと；１つ又は複数のプロセッサが、選択されたオブジェクトの画像属性が、複数の識別されたオブジェクトを含む知識ベースの１つの識別されたオブジェクトに合致するかどうかを判断することであって、知識ベースの複数の識別されたオブジェクトのうちの１つの識別されたオブジェクトは、画像属性と、識別されたオブジェクトに対応する操作データとを含む、判断することと；選択されたオブジェクトの画像属性が知識ベースの識別されたオブジェクトに合致すると判断することに応答して、１つ又は複数のプロセッサが、選択されたオブジェクトに合致する識別されたオブジェクトの画像属性データに対応する操作データを、プロテーゼ・デバイスに通信可能に接続されたモバイル制御デバイスに伝送することであって、モバイル制御デバイスは、識別されたオブジェクトに対応する操作データをプロテーゼ・デバイスに適用する、伝送することと、を含む方法が提供される。

第３の態様によると、コンピュータ・プログラムであって、プログラムがコンピュータ上で実行されるとき、第１又は第２の態様の方法を実行するように適合されたプログラム・コード手段を含む、コンピュータ・プログラムが提供される。

第４の態様によると、コンピュータ・プロセッサにより実行可能なプログラム命令がそこに具体化された１つ又は複数のコンピュータ可読ストレージ媒体を含むコンピュータ・プログラム製品であって、プログラム命令は、プロテーゼ・デバイスのユーザにより選択されたオブジェクトの画像データを受け取るためのプログラム命令と；画像データに関する画像分析の実行に基づいて、選択されたオブジェクトの画像属性を判断するためのプログラム命令と；選択されたオブジェクトの画像属性が、複数の識別されたオブジェクトを含む知識ベースの１つの識別されたオブジェクトに合致するかどうかを判断するためのプログラム命令であって、知識ベースの複数の識別されたオブジェクトのうちの１つの識別されたオブジェクトは、画像属性と、識別されたオブジェクトに対応する操作データとを含む、プログラム命令と；選択されたオブジェクトの画像属性が知識ベースの１つの識別されたオブジェクトに合致すると判断することに応答して、選択されたオブジェクトの画像属性データに合致する識別されたオブジェクトに対応する操作データを、プロテーゼ・デバイスに通信可能に接続されたモバイル制御デバイスに伝送するためのプログラム命令であって、モバイル制御デバイスは、識別されたオブジェクトに対応する操作データをプロテーゼ・デバイスに適用する、プログラム命令と、を含むコンピュータ・プログラム製品が提供される。

第５の態様によると、１つ又は複数のコンピュータ・プロセッサと、１つ又は複数のコンピュータ可読ストレージ媒体と、１つ又は複数のプロセッサの少なくとも１つにより実行される、１つ又は複数のコンピュータ可読ストレージ媒体上に格納されたプログラム命令とを含み、プログラム命令は、オブジェクトの画像データを含む入力を受け取るためのプログラム命令と；オブジェクトの画像データに関する画像分析の実行に基づいて、オブジェクトの画像属性を判断するためのプログラム命令と；オブジェクトの画像属性が、複数の識別されたオブジェクトと、複数の識別されたオブジェクトにそれぞれ対応する操作データとを含む知識ベースの１つの識別されたオブジェクトに合致するかどうかを判断するためのプログラム命令と；オブジェクトの画像属性が知識ベースのその識別されたオブジェクトに合致すると判断することに応答して、知識ベースの識別されたオブジェクトに対応する操作データをモバイル制御デバイスに伝送するためのプログラム命令と、を含むシステムが提供される。

第６の態様によると、１つ又は複数のコンピュータ・プロセッサと、１つ又は複数のコンピュータ可読ストレージ媒体と、１つ又は複数のプロセッサの少なくとも１つにより実行される、１つ又は複数のコンピュータ可読ストレージ媒体上に格納されたプログラム命令とを含み、プログラム命令は、プロテーゼ・デバイスのユーザにより選択されたオブジェクトの画像データを受け取るためのプログラム命令と；画像データに関する画像分析の実行に基づいて、選択されたオブジェクトの画像属性を判断するためのプログラム命令と；選択されたオブジェクトの画像属性が、複数の識別されたオブジェクトを含む知識ベースの１つの識別されたオブジェクトに合致するかどうかを判断するためのプログラム命令であって、知識ベースの複数の識別されたオブジェクトうちの１つの識別されたオブジェクトは、画像属性と、識別されたオブジェクトに対応する操作データとを含む、プログラム命令と；選択されたオブジェクトが知識ベースの識別されたオブジェクトに合致すると判断することに応答して、ユーザにより選択されたオブジェクトに合致する識別されたオブジェクトに対応する操作データを、プロテーゼ・デバイスに通信可能に接続されたモバイル制御デバイスに伝送するためのプログラム命令であって、モバイル制御デバイスは、識別されたオブジェクトに対応する操作データをプロテーゼ・デバイスに適用する、プログラム命令と、を含むコンピュータ・システムが提供される。

本発明の実施形態は、１つ又は複数のプロセッサが、ユーザにより選択されたオブジェクトの画像データを受け取るための方法、コンピュータ・プログラム製品、及びシステムを開示する。１つ又は複数のプロセッサは、画像データに関する画像分析の実行に基づいて、選択されたオブジェクトの画像属性を判断する。１つ又は複数のプロセッサは、選択されたオブジェクトの画像属性が、複数の識別されたオブジェクトを含む知識ベースのうちの１つの識別されたオブジェクトに合致するかどうかを判断し、選択されたオブジェクトの画像属性が、複数の識別されたオブジェクトを含む知識ベースの１つの識別されたオブジェクトに合致するかどうかを判断し、知識ベースの複数の識別されたオブジェクトのうちの１つの識別されたオブジェクトは、画像特性と、識別されたオブジェクトに対応する操作データとを含み、プロテーゼ・デバイスのユーザにより選択されたオブジェクトが知識ベースの１つの識別されたオブジェクトに合致すると判断することに応答して、１つ又は複数のプロセッサが、ユーザにより選択されたオブジェクトに合致する識別されたオブジェクトに対応する操作データを、プロテーゼ・デバイスに通信可能に接続されたモバイル制御デバイスに伝送し、モバイル制御デバイスは、識別されたオブジェクトに対応する操作データをプロテーゼ・デバイスに適用する。
ここで、単なる例として、以下の図面を参照して、本発明の実施形態を説明する。

本発明の実施形態による、分散型データ処理環境を示す機能ブロック図である。 本発明の実施形態による、オブジェクト・データ・プログラムの動作ステップを示す。 本発明の実施形態による、操作プログラムの動作ステップを示す。 本発明の実施形態による、オブジェクト・データ・プログラム及び操作プログラムを作動可能に実行し、オブジェクト操作データへのアクセスを提供することができるコンピューティング・デバイスを含む、システムのコンポーネントのブロック図を示す。

本発明の実施形態は、オブジェクトを把持及び操作するためにプロテーゼ・デバイスを利用するのに、時間のかかる調整及び試行を行って、オブジェクトを成功裏に用いるための機能的なパラメータのセットの取得を必要とし得ると認識する。オブジェクトは、オブジェクトを適切に把持及び操作するために、一定量の圧力、テクスチャ感度、及び持ち上げ力を必要とし得る。場合によっては、パラメータのセットは、オブジェクトを把持するといった、オブジェクトの操作のパターンの属性と考えられ、オブジェクトをさらに操作するために変化し得る。ユーザが把持する種々のオブジェクトはそれぞれ、特定の操作パラメータの組を有することができ、パラメータのセットは変化に富んでいる。プロテーゼ・デバイスのユーザは、プロテーゼ・デバイスを利用する際の微細な運動制御、正確さ及び速度を得るのに必要とされる判断及び調整に苦労することがある。

本発明の幾つかの実施形態において、ロボット・プロテーゼの使用では、オブジェクトの操作の微細な運動制御、把持感度、正確さ及びの操作の速度の向上を含む、オブジェクトの操作を改善する操作インテリジェンスを提供する遠隔認知システムへのモバイル接続性が増強される。認知システムは、カメラ画像内のオブジェクトを識別するために画像分析を行い、画像分析に基づいて、複数の定められたオブジェクトの知識ベースを検索して特定のオブジェクトの合致を判断する能力を含む。本発明の実施形態は、プロテーゼ・デバイスによる画像分析に対応する、オブジェクトの操作についてのデータを含む知識ベースを利用する。眼の焦点、表情、身体の動き、バイオメトリクス、及びローカル・センサの触覚フィードバックが、プロテーゼ・デバイスのユーザが意図するオブジェクト及びタスクを判断するために用いられる。認知システムは、オブジェクト画像を知識ベース内の定められたオブジェクトに照合する際に、信頼性の閾値を超過するかどうかを判断し、識別されたオブジェクトに対応する操作データを、プロテーゼ・デバイスを制御するモバイル制御デバイスに伝送することにより、閾値の超過に応答する。

本発明の幾つかの実施形態において、プロテーゼ・デバイスについての操作データは、ユーザの認識されたオブジェクト及びタスクの操作のための支援を増強する。オブジェクトが知識ベース内で識別されない又はユーザ・タスクが認識されない実施形態においては、ロボット・プロテーゼ・デバイスは、別の源により作動されるが、他の源による作動からの画像及び操作データを機械学習技術に適用し、知識ベース内のオブジェクト識別データ及び操作データを増強及び／又は改善し、後の操作支援の増強を可能にする。

本発明の幾つかの実施形態は、プロテーゼのモバイル制御デバイスの近くに配置された、特定のプロテーゼ・デバイス及びそのユーザに対して改良されたオブジェクトについての操作データを含む個人化された知識ベース（personalized knowledge base）を含む。個人化知識ベース内に含まれる操作データは、ある時間にわたるオブジェクトの複数回の反復から受け取ったデータに対して行われる機械学習により改良される。本発明の幾つかの実施形態においては、操作データを連続的に受け取り、連続的な機械学習及び特定のオブジェクトと関連した操作データの改良のために認知システムに伝送する。

本発明の幾つかの実施形態は、プロテーゼ・デバイスとして直接機能できない操作デバイスに向けられ得るが、リポジトリ、又は複数の識別されたオブジェクト、及び複数の識別されたオブジェクトの個々の識別されたオブジェクトについて以前に生成された対応する操作データを含む知識ベースから、選択されたオブジェクトの伝送された操作データを受け取り、適用することが可能にされる。

ここで、図面を参照して本発明を詳細に説明する。図１は、本発明の実施形態による、全体が１００で示される分散型データ処理環境を示す機能ブロック図である。図１は、１つの実装の例証を与えるに過ぎず、異なる実施形態を実装することができる環境に関するいずれの限定も意味しない。特許請求の範囲により列挙されるような本発明の範囲から都脱することなく、当業者により、示される実施形態への多くの修正をなすことができる。

分散型データ処理環境１００は、無線接続１３０、モバイル制御デバイス１４０、ロボット・サポート・デバイス１６０、カメラ１７０、拡張現実（ＡＲ）メガネ１８０、ＡＲメガネ送受信機１８５、ＡＲメガネ・カメラ１８７、ロボット・プロテーゼ・デバイス１９０、及びサーバ１０１を含み、サーバ１０１は、認知システム１０５をさらに含む。幾つかの実施形態において、認知システム１０５は、モバイル制御デバイス１４０の遠隔で動作し、マスター知識ベース１１０、個人化知識ベース１２０、オブジェクト・データ・プログラム２００及び操作プログラム３００を含むように示される。本発明の幾つかの実施形態において、モバイル制御デバイス１４０は、無線接続１３０に無線で接続され、本発明の幾つかの実施形態においては、ロボット・プロテーゼ・デバイス１９０に無線で接続され、他の実施形態においては、ロボット・サポート・デバイス１６０に無線で接続される。本発明の幾つかの実施形態において、個人化知識ベース１２０は、モバイル制御デバイス１４０内に含まれる。認知システム１０５、マスター知識ベース１１０、個人化知識ベース１２０、無線接続１３０、カメラ１７０、及びＡＲメガネ送受信機１８５は全て、ネットワーク１５０を介して相互接続される。

ネットワーク１５０は、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、電気通信網、インターネットなどの広域ネットワーク（ＷＡＮ）、仮想ローカル・エリア・ネットワーク（ＶＬＡＮ）、集積デバイスのバス接続、又は有線、無線、若しくは光接続を含み得るいずれかの組み合わせとすることができる。ネットワーク１５０は、データ、テキスト、音声、画像、プログラム命令、及び／又はテキスト、音声、データ及びビデオ情報を含むマルチメディア信号を含むビデオ信号を受送信することができる、無線接続１３０への接続のような１つ又は複数の有線及び／又は無線ネットワークを含むことができる。一般に、ネットワーク１５０は、サーバ１０１上でホストされる認知システム１０５、ＡＲメガネ送受信機１８５、無線接続１３０、モバイル制御デバイス１４０、及びカメラ１７０の間の通信をサポートする接続及びプロトコルの任意の組み合わせとすることができる。

無線接続１３０は、モバイル制御デバイス１４０及びＡＲメガネ送受信機１８５、カエラ１７０との間の通信、並びにネットワーク１５０を介して認知システム１０５への通信を提供する。適切に構成された無線接続１３０は、例えば、ＢＬＵＥＴＯＯＴＨ（登録商標）、Ｗｉ−Ｆｉ、無線、ＺｉｇＢｅｅ（登録商標）、又は赤外線技術（ＺｉｇＢｅｅは、米国及び世界中の他の国におけるＺｉｇＢｅｅ Ａｌｌｉａｎｃｅの登録商標であり、ＢＬＵＥＴＯＯＴＨは、米国及び世界中の他の国におけるＢｌｕｅｔｏｏｔｈ Ｓｐｅｃｉａｌ Ｉｎｔｅｒｅｓｔ Ｇｒｏｕｐ（ＳＩＧ），Ｉｎｃ．の商標である）。幾つかの実施形態において、無線接続１３０は、ＷｉＭＡＸ（登録商標）技術（ＷｉＭＡＸは、米国及び世界中の他の国におけるＷｉＭＡＸ Ｆｏｒｕｍの登録商標である）を使用すること、又はモバイル制御デバイス１４０をロボット・プロテーゼ・デバイス１９０、ロボット・サポート・デバイス１６０、又はＡＲメガネ送受信機１８５からの信号及びセンサ入力、及びカメラ１７０に接続するための、３Ｇ、４Ｇ、又はこうした無線ネットワーク技術の将来の拡張を利用するための構成を含むことができる。

モバイル制御デバイス１４０は、認知システム１０５から、個人化知識ベース（ＫＢ）１２０又はマスター知識ベース（ＫＢ）１１０から取り出した操作データを受け取り、ロボット・プロテーゼ・デバイス１９０のような無線で接続されたプロテーゼ・デバイスの動作の運動制御を実行する。モバイル制御デバイス１４０は、無線接続１３０に接続され、ネットワーク１５０を介して認知システム１０５に通信する。本発明の幾つかの実施形態において、モバイル制御デバイス１４０は、ロボット・プロテーゼ・デバイス１９０のようなロボット・プロテーゼ・デバイスのユーザの近くに配置される。幾つかの実施形態において、モバイル制御デバイス１４０は、ユーザが取り付けること又は装着することができる。モバイル制御デバイス１４０は、プロテーゼ・デバイスの移動性及び操作を可能にするモータ及び他の電子コンポーネントに向けられる命令を処理するためのコンピューティング能力を含む。本発明の幾つかの実施形態において、モバイル制御デバイス１４０は、認知システム１０５から操作データを受け取り、モータ及び電子コンポーネントを無線で作動させ、ロボット・プロテーゼ・デバイス１９０の精密な感覚入力及び移動を可能にするように、メモリ及び処理電力を有するように構成されたスマートフォンである。他の実施形態において、モバイル制御デバイス１４０は、特に、プロテーゼ制御操作データを無線で受け取り、データを、プロテーゼ・デバイスの動作コンポーネントに向けられた特別な命令に変換するように構成される。本発明の幾つかの実施形態において、モバイル制御デバイス１４０は、ロボット・プロテーゼ・デバイス１９０のようなプロテーゼ・デバイスの制御を共有し、認知システム１０５の知識ベース及び感覚フィードバックから受け取った特定のオブジェクトについての操作データに基づいて、改良された運動制御、並びに正確な触覚圧力及び持ち上げ力を提供する。幾つかの実施形態において、プロテーゼ・デバイスの手動で開始される制御は、作動中のままであり、プロテーゼのユーザにより適切と見なされると、モバイル制御デバイス１４０を中断する又は無効にすることができる。

ロボット・サポート・デバイス１６０は、通常の活動を行うために、運動機能、強度、又は制御を欠いている人間のアームをサポートするように示される。本発明の幾つかの実施形態において、ロボット・サポート・デバイス１６０は、支持されるアームの支援動作を可能にするモータ及びコンポーネントを含むタイプのプロテーゼ・デバイスである。こうした実施形態において、ロボット・サポート・デバイス１６０は、モバイル制御デバイス１４０により無線で制御される。

カメラ１７０は、ロボット・プロテーゼ・デバイス１９０のようなロボット・プロテーゼ・デバイスのユーザの近くに配置される。本発明の幾つかの実施形態において、カメラ１７０は、ユーザ及びプロテーゼの外部にあり、視野内にユーザ及びオブジェクトを含む、ユーザのすぐ近くの領域のビューを含む。カメラ１７０は、認知システム１０５に動作可能に結合され、画像を生成し、ネットワーク１５０を介して画像を認知システム１０５に伝送し、そこから、認知システム１０５は、画像に関する分析を行って画像内のオブジェクトを判断する。認知システム１０５は、オブジェクトの属性を用いて、合致を求めて知識ベースを検索し、分析されたオブジェクト画像と知識ベース内のオブジェクトの格納された属性との間の合致の信頼性の百分率を求める。本発明の幾つかの実施形態において、カメラ１７０は、１つの又は１セットのビデオカメラとすることができ、そこから、分析のために１つ又は複数の画像を認知システム１０５に伝送することができる。本発明の幾つかの実施形態において、カメラ１７０は、ユーザの表情、他の身体及び付属肢の位置、並びにユーザのプロテーゼのビューを含む。カメラ１７０は、ユーザがその眼の焦点をカメラ１７０のすぐ近くの領域内のオブジェクトに向けるとき、ユーザの焦点を求めるために用いられる画像データを提供することができ、カメラ１７０は、プロテーゼの操作が行われるとき、表情のフィードバックを提供することができる。

本発明の幾つかの実施形態において、拡張現実（ＡＲ）メガネ１８０は、ロボット・プロテーゼ・デバイス１９０のユーザにより装着され得る。ＡＲメガネ１８０は、ユーザが、すぐ近くのオブジェクトを視ること、及び、ユーザが、ロボット・プロテーゼ・デバイス１９０により操作されるオブジェクトの選択を指し示すことを可能にする。本発明の幾つかの実施形態において、ＡＲメガネ１８０は、認知システム１０５からのデータを用いて、オブジェクトとの操作相互作用の中断といった、モバイル制御デバイス１４０との相互作用を可能にすることができる。他の実施形態において、ＡＲメガネ１８０は、モバイル制御デバイス１４０を介するユーザ入力及びプロテーゼ・デバイスの制御を可能にする。ＡＲメガネ１８０は、選択のためにオブジェクトの画像キャプチャを可能にする、認知システム１０５と動作可能に結合されたＡＲメガネ・カメラ１８７を含むことができ、分析処理及びオブジェクト識別のために画像を認知システム１０５に提供することができる。ＡＲメガネ１８０は、無線接続１３０及びネットワーク１５０を介して、ＡＲメガネ１８０及びＡＲメガネ・カメラ１８７の、認知システム１０５及びモバイル制御デバイス１４０への無線接続を提供するＡＲメガネ送受信機１８５に接続される。他の実施形態において、オブジェクトの手動で動作される操作の間、ＡＲメガネ・カメラ１８７が受け取る画像を、機械学習プロセス内に含ませること、及び、個人化知識ベース１２０及び／又はマスター知識ベース１１０内に含ませることができる。

本発明の幾つかの実施形態において、カメラ１７０及びＡＲメガネ・カメラ１８７は、認知システム１０５に「動作可能に結合されている」と考えられ、かつ、プロテーゼ・デバイスのユーザ及び操作される関心あるオブジェクトのすぐ近くの１つ又は複数のカメラとすることができる。１つ又は複数のカメラは、ユーザの表情、眼の焦点、並びに身体の位置及び動きのビューを、選択及び操作のフィードバックとして提供する。他の実施形態において、認知システム１０５に動作可能に結合されたカメラを、プロテーゼ・デバイスに接続することができる。例えば、画像の選択及び操作のために、１つのカメラをデバイスの操作端に向け、別のカメラをユーザの方向に向け、フィードバックをキャプチャすることができる。さらに他の実施形態において、ＡＲメガネ・カメラ１８７を含むＡＲメガネ１８０などのウェアラブル・カメラにより、オブジェクト及びプロテーゼ・デバイスの画像を取得することができる。ＡＲメガネ１８０はまた、ユーザの眼の焦点の画像をキャプチャし、オブジェクト選択の検出を助けることもできる。

ロボット・プロテーゼ・デバイス１９０は、プロテーゼ・アーム及びハンドとして示され、他の場合には、四肢又は四肢の部分用のプロテーゼ・デバイスを表す。ロボット・プロテーゼ・デバイス１９０は、プロテーゼのアーム、手首、ハンド、及び指のコンポーネントの１つ又はそれらの組み合わせの、ロボット支援動作を可能にするモータ及びコンポーネントを含む。本発明の幾つかの実施形態において、ロボット・プロテーゼ・デバイス１９０は、少なくとも１つのカメラ（図示せず）に動作可能に結合され、ロボット・プロテーゼ・デバイス１９０のユーザのビューを可能にする。本発明の幾つかの実施形態において、ロボット・プロテーゼ・デバイス１９０に動作可能に結合されている少なくとも１つのカメラは、ユーザによりオブジェクトを視ること及び選択することを可能にし、操作活動のフィードバックを（ＡＲメガネ・カメラ１８７の代案として又はそれに加えて）提供する。他の実施形態において、ロボット・プロテーゼ・デバイス１９０は、プロテーゼのつま先、足、下腿及び上腿（図示せず）のロボット支援動作を可能にする。ロボット・プロテーゼ・デバイス１９０は、モバイル制御デバイス１４０から操作データを受け取り、モバイル制御デバイス１４０は、例えば、個人化知識ベース１２０又はマスター知識ベース１１０からアクセスすることができる制御命令を伝送し、プロテーゼ・デバイスのコンポーネントを操作する。本発明の実施形態は、認知システム１０５、並びに個人化知識ベース１２０又はマスター知識ベース１１０の操作データを利用し、手動又は発見ベースの動作と比べて、より微細な調整、正確さ、圧力、持ち上げ力及び速度を、プロテーゼ・デバイスの操作にもたらす。

サーバ１０１は、画像分析１２５、操作プログラム３００、オブジェクト・データ・プログラム２００、マスター知識ベース１１０、及び個人化知識ベース１２０のコンポーネントを有する認知システム１０５を含むように示される。本発明の幾つかの実施形態において、サーバ１０１は、管理サーバ、ウェブサーバ、モバイル・コンピューティング・デバイス、又はデータを受け取り、送り、処理し、オブジェクト・データ・プログラム２００及び操作プログラム３００の動作機能をサポートすることができる他のいずれかの電子デバイス若しくはコンピューティング・システムとすることができる。他の実施形態において、サーバ１０１は、クラウド・コンピューティング環境におけるような、サーバ・システムとして多数のコンピュータを利用するサーバ・コンピューティング・システムを表すことができる。さらに他の実施形態において、サーバ１０１は、ラップトップ・コンピュータ、タブレット・コンピュータ、ネットブック・コンピュータ、パーソナル・コンピュータ（ＰＣ）、デスクトップ・コンピュータ、携帯情報端末（ＰＤＡ）、スマートフォン、又はオブジェクト・データ・プログラム２００及び操作プログラム３００のプログラム可能命令を実行し、かつ、ネットワーク１５０を介して分散型ネットワーク処理環境１００内の認知システム１０５、モバイル制御デバイス１４０、ＡＲメガネ送受信機１８５、カメラ１７０及び無線接続１３０との間のデータのアクセスを可能にすることができるいずれかのプログラム可能電子デバイスとすることができる。別の実施形態において、サーバ１０１は、分散型ネットワーク処理環境１００内でアクセスされるとき、シームレス・リソースの単一のプールとして働くクラスタ化コンピュータ及びコンポーネント（例えば、データベース・サーバ・コンピュータ、アプリケーション・サーバ・コンピュータ等）を利用するコンピューティング・システムを表す。図４に関してさらに詳細に示され、説明されるように、サーバ１０１は、内部及び外部ハードウェア・コンポーネントを含むことができる。

認知システム１０５は、知識ベースを検索し、受け取った画像分析データに基づいて、知識ベースのオブジェクトを識別される選択されたオブジェクトと照合し、識別されたオブジェクトを操作するためにプロテーゼ・デバイスについての特定の操作データを、より微細、より正確、かつより迅速な運動制御と関連付ける。認知システム１０５は、機械学習も実行し、オブジェクトの手動及びロボット操作のフィードバックから、反復のパターンを確立し、新しい操作データをマスター知識ベース１１０などの知識ベースに付加するか、又は既存の操作データを連続的に改善する。認知システム１０５からの操作データは、手動の又は代替的な制御方法よりも高い動作速度で、より正確なターゲッテット化、把持圧力、及び持ち上げ力を提供する。認知システム１０５は、画像分析１２５、マスター知識ベース１１０、個人化知識ベース１２０、オブジェクト・データ・プログラム２００及び操作プログラム３００を含む。

画像分析１２５は、オブジェクト認識技術、及び画像内のオブジェクトを区別及び識別するための技術を含む。本発明の幾つかの実施形態において、画像分析１２５は、認知システム１０５の統合されたコンポーネントであるのに対して、他の実施形態においては、画像分析１２５は、直接又はネットワーク１５０（図示せず）を介して認知システム１０５に機能的に接続される。画像分析１２５は、デジタル化画像を受け取り、画像に関するオブジェクト認識分析を実行する。画像内の１つ又は複数のオブジェクトの認識は、画像オブジェクトが認識されるオブジェクトであることの確実性レベル（degree of certainty）の信頼性メトリック、典型的には百分率を含む。オブジェクト認識の確実性レベルは、マスター知識ベース１１０などの知識ベースにおいて識別されたオブジェクトが画像内で判断されたオブジェクトに合致するかどうかを判断するために、認知システム１０５により利用される。本発明の幾つかの実施形態において、知識ベース検索において識別されたオブジェクトと認識された画像オブジェクトとの間の合致の信頼性レベル（confidence level）を、ユーザ設定の確実性の閾値レベルと比較する。閾値レベルが満たされる又は超過した場合、識別されたオブジェクトと関連した操作データがモバイル制御デバイス１４０に伝送され、プロテーゼを作動させ、オブジェクトを操作し、それは、手動の又は代替的な制御よりも高い速度、正確さ、精度及び効率で行われる。

幾つかの実施形態において、認知システム１０５は、オブジェクトの特定の操作活動と共に成功又は満足のレベルを示すバイオメトリック及び画像フィードバックを受け取り、特定の操作データのセットと共に、オブジェクトについての最適化された操作データの機械学習の実行への入力としてフィードバックを適用する。

マスター知識ベース１１０は、特定のオブジェクトにマッピングされた特定の相互作用パターンの集まりである。相互作用パターン・データは、プロテーゼ・デバイス及びオブジェクトに特有の操作データを含む。マスター知識ベース１１０は、画像分析１２５からのオブジェクト認識データを照合するために認知システム１０５により用いられるオブジェクトに関するデータのセットを含む。認知システム１０５は、マスター知識ベース１１０を検索して、受け取った画像において認識されたオブジェクトとマスター知識ベース１１０内に含まれる対応するオブジェクト・データのセットとの間の合致を判断する。本発明の幾つかの実施形態において、マスター知識ベース１１０は、特定のタイプのプロテーゼ・デバイスの１より多いユーザに共有される。

個人化知識ベース１２０は、付加的な又は代替的な知識ベースとして働き、マスター知識ベース１１０と同様に動作するが、個人化知識ベース１２０は、複数のユーザに共有されず、モバイル制御デバイス１４０の近くに配置され、プロテーゼ・デバイスに特有の特定の操作データの改良点、及びプロテーゼ・デバイスのユーザの好みを受け取る。本発明の幾つかの実施形態において、個人化知識ベース１２０は、マスター知識ベース１１０からアクセスされる操作データを受け取り、引き続き、受け取った操作データの反復使用から、及び、表情、眼の焦点、身体の動き、バイオメトリクス、音声及びローカル・センサの触覚フィードバックから、データに対する機械学習ベースの調整を受け取ることができる。

オブジェクト・データ・プログラム２００は、個人化知識ベース１２０又はマスター知識ベース１１０から所定の信頼性レベル内に識別されないオブジェクトについての最適化された操作データを収集し、判断する。幾つかの実施形態において、オブジェクト・データ・プログラム２００は、選択されたオブジェクトを認識又は識別できない操作プログラム３００により開始される。オブジェクト・データ・プログラム２００は、認知システム１０５により識別されないオブジェクトの非自動ロボット又は手動操作により生成されるデータを収集するか、又は、個人化知識ベース１２０又はマスター知識ベース１１０はオブジェクトについての操作データを含まない。

本発明の幾つかの実施形態において、オブジェクト・データ・プログラム２００は、オブジェクトの識別の確立を可能にし、ロボット及び／又は手動操作からの利用可能なセンサ・データを収集する。操作データ及びセンサ、カメラ、音声及びバイオメトリック・データの入力を機械学習技術に適用し、オブジェクトについての最適な操作データを判断する。入力は、オブジェクトの識別を提供することも含み、幾つかの実施形態においては、後のオブジェクト識別のためにより効率的な検索結果を可能にする分類データ入力を含むことができる。本発明の幾つかの実施形態において、操作データ、オブジェクト・データ及び応答フィードバック・データの入力は、後の識別を増強するために、オブジェクトの分類システムの使用を含むことができる。分類システムは、受け取った画像、形状、サイズからのオブジェクト認識データに基づくことができ、さらに、触感、表面属性、及び（非自明な重心を有する）重量分布、利用可能なバイオメトリクス、カメラ画像及び音声データを含むことができる。操作活動からのフィードバック及び応答データは、オブジェクトの操作の試行及び反復に対するユーザ応答、並びに操作試行の結果（オブジェクトのドロップ、オブジェクトの損傷、オブジェクトの過剰又は過少操作、ずれ（slippage）及び配向の問題など）の結果を反映する。

オブジェクト・データ・プログラム２００は、最適化されたオブジェクト操作データを個人化知識ベース１２０に付加し、幾つかの実施形態においては、オブジェクト操作データが、オブジェクト識別及び操作データは、マスター知識ベース１１０にアクセスする他のユーザに共有され得るマスター知識ベース１１０に付加されるべきかどうかを判断する。本発明の幾つかの実施形態において、オブジェクト・データ・プログラム２００は、新たに判断されたオブジェクト操作データをマスター知識ベース１１０に付加するかどうかを判断し、これを、オブジェクト操作データをマスター知識ベース１１０に付加すること（又は付加しないこと）を自動的に可能にするためのユーザ設定として、又は新たに生成された操作データを有する各オブジェクトについてのユーザ決定として提供することができる。

操作プログラム３００は、操作データが、識別した選択されたオブジェクトに利用可能であるかどうかを判断し、該データをモバイル制御デバイス１４０に提供し、識別されたオブジェクトの操作動作を実行する。操作プログラム３００は、ＡＲメガネ１８０のＡＲメガネ・カメラ１８７から、又はネットワーク１５０を介して認知システム１０５に接続された、オブジェクト及びユーザに近接して外部に配置されたカメラから、プロテーゼのユーザの眼の焦点を判断することにより、オブジェクトの選択を決定する。選択されたオブジェクトの画像は、認知システム１０５に伝送され、画像分析１２５は、オブジェクト認識技術を受け取った画像に適用し、選択されたオブジェクトを識別する。認識されたオブジェクトの識別を用いて、最初に、特定のユーザについてのオブジェクトと関連した操作データを求めて、個人化知識ベース１２０内を検索する。個人化された操作データは、特定のプロテーゼ及びユーザのために最適化されるので、特定のユーザについて個人化された操作データの検索に優先順位が付けられる。個人化知識ベース１２０内に識別されたオブジェクトについての操作データが見つからなかった場合、操作プログラム３００は、マスター知識ベース１１０における検索を実行する。操作プログラム３００が個人化知識ベース１２０又はマスター知識ベース１１０におけるターゲット・オブジェクトについての操作データを見つけることに応答して、操作プログラム３００は、操作データを取り出し、それをプロテーゼ・デバイスに適用し、より優れた正確さ、精度、適切な触感力及び速度で、オブジェクトを自動的に操作する。オブジェクトが操作されるとき、プロテーゼ・デバイスのユーザによりなされるあらゆる操作の調整が、収集され、識別されたオブジェクトの機械学習に適用されたデータ内に含められ、それは、オブジェクト操作データの受け取った入力の反復からオブジェクトの操作を連続的に最適化する。選択されたオブジェクトが識別されない本発明の実施形態において、操作プログラム３００は、オブジェクト・データ・プログラム２００（図２に「Ａ」で示される）を開始する。同様に、識別されたオブジェクトが、個人化知識ベース１２０内及びマスター知識ベース１１０内のどちらにもない場合、操作プログラム３００は、オブジェクト・データ・プログラム２００に従い、非自動操作データを収集し、オブジェクトの操作の複数の反復から最適化された、個人化知識ベース１２０内のオブジェクトについての操作パラメータのセットを含み、設定ファイルにおいて適切に可能にされた場合、オブジェクト・データ・プログラム２００は、操作データをマスター知識ベース１１０に転送する。

図２は、本発明の実施形態による、オブジェクト・データ・プログラム２００の動作ステップを示す。オブジェクト・データ・プログラム２００は、操作プログラム３００が、選択されたオブジェクトが識別されないと判断することに応答して開始し、又は識別された場合、操作プログラム３００は、個人化知識ベース１２０内にも又はマスター知識ベース１１０内にも操作データが存在しないと判断する。幾つかの実施形態において、オブジェクト・データ・プログラム２００を開始するためのクエリをメッセージ又は通知としてユーザに提示し、オブジェクト識別データベースから、存在しないことが知られているオブジェクトの操作データを収集することを開始することができる。

ステップ２１０において、オブジェクト・データ・プログラム２００は、画像から認識されたオブジェクトが、データベース、又はマスター知識ベース１１０若しくは個人化知識ベース１２０などのオブジェクトの知識ベース内で識別されたオブジェクトと比べたときに、画像から認識されたオブジェクトが合致と考えらえれる信頼性レベルを定めるよう、入力を求める。幾つかの実施形態において、画像から認識されたオブジェクトが、マスター知識ベース１１０若しくは個人化知識ベース１２０内で識別されない場合、オブジェクト・データ・プログラム２００は、オブジェクトを識別するために、インターネットでアクセス可能なリソースを検索し、識別の合致のある信頼性レベルを含むことができる。本発明の幾つかの実施形態において、オブジェクト・データ・プログラム２００は、信頼性レベルの閾値を設定し、認められた合致を確立するよう、ユーザにメッセージ要求を提示することができる。信頼性レベルが既に設定されていた場合、オブジェクト・データ・プログラム２００は、ディスプレイ・デバイス上のメッセージ又は可聴メッセージにより、ユーザが現在の信頼性レベル閾値の編集を望むかどうかを尋ねることができる。

選択されたオブジェクトが識別されなかったこと、又は操作データが個人化知識ベース１２０若しくはマスター知識ベース１１０において利用可能でないことがユーザに示されると、ステップ２２０において、オブジェクト・データ・プログラム２００は、オブジェクト属性データを収集し、選択されたオブジェクトの識別を可能にする。本発明の幾つかの実施形態において、オブジェクト・データ・プログラム２００は、選択されたオブジェクトに関して、サイズ、形状、及びＡＲメガネ・カメラ１８７及び／又はカメラ１７０の画像から区別可能な他の物理的属性を判断し、格納する。他の実施形態において、オブジェクト・データ・プログラム２００は、ユーザによる情報入力を収集し、識別を選択されたオブジェクトに付加する。オブジェクト属性及び識別は、個人化知識ベース１２０内に格納される。幾つかの実施形態において、プロテーゼ・デバイスは、オブジェクトに連絡し（例えば、オブジェクトを選択する技術として）、プロテーゼ・デバイス内又はその上に含まれるセンサが、表面粗度、テクスチャ、硬度、及び均一性のような、オブジェクトの物理的属性に関するデータを測定し、戻す。幾つかの実施形態において、オブジェクト・データ・プログラム２００は、オブジェクトの重量を求め、オブジェクトを保持及び操作するのに必要な把持力、及び／又は選択されたオブジェクトを保持し、操作するためのその限界値を経験的に学習する。

ステップ２３０において、オブジェクト・データ・プログラム２００は、ロボット・プロテーゼ・デバイス１９０のようなプロテーゼ・デバイスにより、オブジェクトのユーザのロボット操作からのデータを収集する。プロテーゼ・デバイスの非自動操作からのデータが、カメラ１７０からの表情、音声フィードバック、ユーザに接続されたセンサからのバイオメトリック・フィードバック、及びＡＧメガネ・カメラ１８７により記録されるようなオブジェクト操作結果といった対応するフィードバック・データと共に、オブジェクト・データ・プログラム２００により収集される。操作データ及び対応するフィードバック・データは、認知システム１０５に伝送され、機械学習処理に入力され、選択されたオブジェクトについてのより成功した及びあまり成功していない操作パラメータを判断する。非自動操作は、オブジェクトの操作の多数の反復を含み、選択されたオブジェクトについての最適化した操作データを判断するために、付随するデータが、ネットワーク１５０を介して認知システム１０５に入力され、機械学習により処理される。

ステップ２４０において、オブジェクト・データ・プログラム２００は、機械学習により最適化されたオブジェクト操作データを、個人化知識ベース１２０に付加する。操作プログラム３００は、選択されたオブジェクトの非自動操作の反復の結果として、操作データを最適化し、機械学習処理のために、操作画像結果及び対応する操作データを認知システム１０５に伝送する。図３に関して詳細に説明されるように、オブジェクト・データ・プログラム２００は、最適化した操作データを個人化知識ベース１２０に付加し、この個人化知識ベース１２０は、後の機会に選択されたオブジェクトを自動的に操作するために用いることができる特別な操作データを提供する。本発明の幾つかの実施形態において、操作プログラム３００は、選択された項目に対応する操作データを付加的な操作データとして連続的に最適化し、操作結果のフィードバックが収集され、認知システム１０５の機械学習を通じて処理される。選択されたオブジェクトに対応する操作データは、選択されたオブジェクトが認識され、選択されたオブジェクトの画像に合致する識別を含み、それらは後で認知システム１０５に送られる。

選択されたオブジェクトについて最適化された操作データが個人化知識ベース１２０に付加されると、決定ステップ２５０において、オブジェクト・データ・プログラム２００は、選択されたオブジェクトの操作データをマスター知識ベース１１０に付加するための機能がイネーブルにされるかどうかを判断する。オブジェクト・データ・プログラム２００が、操作データをマスター知識ベース１１０に付加するようにイネーブルにされないと判断された場合（ステップ２５０、「ノー(NO)」分岐）、オブジェクト・データ・プログラム２００は終了する。オブジェクト・データ・プログラム２００が、選択されたオブジェクトの操作データをマスター知識ベース１１０に付加するための選択肢がイネーブルにされると判断される場合（ステップ２５０、「イエス（YES）」分岐）、ステップ２６０において、オブジェクト・データ・プログラム２００は、画像に適用されるオブジェクト認識技術を用いて選択されたオブジェクトを識別するためにデータを伝送することを含む、選択されたオブジェクトの操作データをマスター知識ベース１１０に伝送する。

本発明の幾つかの実施形態において、最初に個人化知識ベース１２０に付加され、後でマスター知識ベース１２０に付加される操作データは、自動的に行われ、「新しい」操作データをマスター知識ベース１１０に自動的に付加するためのオブジェクト・データ・プログラム２００の選択肢がイネーブルにされるかどうかに基づいている。操作データのマスター知識ベース１１０及び個人化知識ベース１２０への付加は、画像分析１２５（図１）により画像内で認識され、個人化知識ベース１２０若しくはマスター知識ベース１１０内で見いだされないオブジェクトを照合するための以前の検索の実施に基づいている。幾つかの実施形態において、選択肢は、オブジェクト・データ・プログラム２００の設定ファイル内に含ませることができる。他の実施形態において、最初に、選択されたオブジェクトの特定の操作データのセットを個人化知識ベース１２０に付加する結果として、選択肢クエリをユーザに提示することができる。さらに他の実施形態において、オブジェクト・データ・プログラム２００は、ユーザに問い合わせを行わないが、選択されたオブジェクトの特定の操作データをマスター知識ベース１１０に付加するよう、ユーザからの指示を要求する。

選択されたオブジェクトの、操作データのマスター知識ベース１１０への付加が完了すると、オブジェクト・データ・プログラム２００が終了する。

図３は、本発明の実施形態による、操作プログラム３００の動作ステップを示す。操作プログラム３００は、マスター知識ベース１１０及び／又は個人化知識ベース１２０内に格納されたデータのような、操作データと関連したオブジェクト識別データと比べて、選択されたオブジェクトが、選択されたオブジェクトの画像から識別されるかどうかを判断する。選択されたオブジェクト画像が知識ベース内の識別されたオブジェクトとして認識される場合、操作プログラム３００は、識別されたオブジェクトについての操作データが存在するかどうかを判断する。利用可能な操作データがプロテーゼ・デバイスのローカル・コントローラに送られ、オブジェクトの操作を自動的に実行する。

ステップ３０５において、操作プログラム３００は、操作を意図した選択されたオブジェクトを決定する。本発明の幾つかの実施形態において、操作プログラム３００は、カメラ画像を用いて、プロテーゼ・デバイスのユーザにより選択された特定のオブジェクトを判断する。他の実施形態においては、外部カメラを用いて、ユーザの眼の焦点及びプロテーゼ・デバイスのユーザのすぐ近くの可視領域を監視することにより、選択されたオブジェクトを判断する。本発明の幾つかの実施形態において、ユーザは、プロテーゼ・デバイスを用いて、選択されたオブジェクトに接近又は接触することができ、更に他の実施形態においては、オブジェクトの選択は、自然言語処理技術を用いて処理される言語コマンドにより行うことができる。本発明の幾つかの実施形態において、操作プログラム３００は、プロテーゼ・デバイスのユーザにより選択されたオブジェクトを確認する。

決定ステップ３１０において、操作プログラム３００は、選択されたオブジェクトが識別されるかどうかを判断する。本発明の幾つかの実施形態において、選択されたオブジェクトの識別は、個人化知識ベース１２０、又はマスター知識ベース１１０、又は画像データから判断されるオブジェクト属性データなどのオブジェクト・データを含む他の何らかのリポジトリ（図１に図示されない）のような知識ベースを検索し、かつ、選択されたオブジェクトの画像から判断された属性を、知識ベース又は他のリポジトリ内のオブジェクトの格納されたデータ属性と比較することによって行われる。例えば、選択されたオブジェクトの画像は、ユーザが装着するＡＲメガネ１８０のＡＲメガネ・カメラ１８７から入手可能であり得る。選択されたオブジェクトの画像は、認知システム１０５に送られ、画像分析１２５により実行されるオブジェクト認識技術により処理され、選択されたオブジェクトの画像内のオブジェクトを区別及び識別する。画像の識別されたオブジェクトを用いて、知識ベース又は識別されたオブジェクト・データの他のリポジトリの検索を行い、合致の信頼性レベルを求める。本発明の幾つかの実施形態において、コサイン類似関数のような類似関数を用いて、知識ベースの識別されたオブジェクトが所定の信頼性レベル内の選択されたオブジェクトに合致するかどうかに関する確率又はスコアを求めることができる。合致の信頼性レベルは、検索から識別されたオブジェクトが、選択されたオブジェクトの画像の光学的認識から判断されたオブジェクトに合致する相対的な確実性レベルを示す。プロテーゼ・デバイスのユーザは、そこで又はそれより上でオブジェクトが合致すると考えられる信頼性レベル閾値を設定する。確立された閾値より低い信頼性レベルにおいて、検索結果は、合致が見つからないと考えられる。

本発明の幾つかの実施形態において、信頼性レベルは、オブジェクトの知識ベース内のデータからの識別されたオブジェクトなどの他のオブジェクトにおいて共通であることが見出される、選択されたオブジェクトの画像などの１つのオブジェクトの属性により決定される。操作プログラム３００は、オブジェクト検索において判断された信頼性レベルを示し、幾つかの実施形態においては、ユーザが、現在の閾値より下の信頼性レベルを受け入れる選択肢を提供するように構成することができる。選択されたオブジェクト画像から判断されたオブジェクトの検索が合致なし（no match）、又は合致の閾値より下の信頼性レベルを示す場合（ステップ３１０、「ノー」分岐）、操作プログラム３００は、オブジェクト・データ・プログラム２００（Ａ）を開始し、選択されたオブジェクトの識別を確立し、選択されたオブジェクトに対応する操作データを収集する。

知識ベース又はオブジェクト・データのリポジトリを検索する結果としてオブジェクトが識別される場合（ステップ３１０、「イエス」分岐）、操作プログラム３００は、決定ステップ３１５に進み、個人化知識ベース内に選択されたオブジェクトについての操作データが見つかるかどうかを判断する。本発明の幾つかの実施形態において、選択されたオブジェクトの識別を用いて個人化知識ベース１２０を検索し、選択されたオブジェクトについて操作データが見つかるかどうかを判断する。他の実施形態においては、マスター知識ベース１１０又はオブジェクト・データの別のリポジトリ又はインターネット・リソースを用いて、オブジェクトを識別するための検索を実行することができる。幾つかの実施形態において、個人化知識ベース１２０を用いて、識別した選択されたオブジェクトについて操作データが見つかるかどうかを判断するための最初の検索が実行される。操作プログラム３００が、個人化知識ベース１２０内に操作データが見つかったと判断する場合（ステップ３１５、「イエス」分岐）、ステップ３２０において、操作プログラム３００は、個人化知識ベース１２０からオブジェクト操作データを取り出す。本発明の幾つかの実施形態において、個人化知識ベース１２０からの操作データの取り出しは、マスター知識ベース１１０からの操作データよりも好ましく、それは、個人化知識ベース１２０から取り出された操作データは、特定のユーザ及びロボット・プロテーゼ・デバイス１９０のようなユーザのプロテーゼ・デバイスに特有であり、選択されたオブジェクトの操作において付加的な改良点及び精度を提供できるためである。選択されたオブジェクトについての操作データを取り出すと、操作プログラム３００はステップ３３５に進み、選択されたオブジェクトを操作するための活動を実行する。

操作プログラム３００が、選択される識別されたオブジェクトについて、個人化知識ベース１２０内に操作データが見つからないと判断すると（ステップ３１５、「ノー」分岐）、操作プログラム３００は、決定ステップ３２５に進み、マスター知識ベース１１０などのマスター知識ベース内に、選択される識別されたオブジェクトについて操作データが見つかったと判断する。操作プログラム３００は、選択されたオブジェクトの判断した識別に基づいて、マスター知識ベース１１０を検索し、選択される識別されたオブジェクトに対応する操作データを見つけることができないと（ステップ３２５、「ノー」分岐）、操作プログラム３００は、オブジェクト・データ・プログラム２００（Ａ）を開始し、選択されたオブジェクトの識別を確立し、選択されたオブジェクトに対応する操作データを収集し、操作データの収集は、特定の手動制御された操作活動と関連したフィードバック・データの収集を含む。オブジェクト・データ・プログラム２００は、操作データ及びフィードバック・データの収集に進み、図２に関して上述されるように、操作データを最適化するための機械学習処理のために、データを認知システム１０５に入力する。

操作プログラム３００が、マスター知識ベース１１０のようなマスター知識ベース内に、選択されたオブジェクトについての操作データが見つかったと判断する場合（ステップ３２５、「イエス」分岐）、操作プログラム３００はステップ３３０に進み、マスター知識ベースからオブジェクト操作データを取り出す。本発明の幾つかの実施形態において、選択されたオブジェクトについての操作データが取り出され、モバイル制御デバイス１４０のようなプロテーゼ・デバイスのローカル・コントローラに送られる。他の実施形態において、各操作命令は、操作プログラム３００により処理され、特定の操作コマンドを実行するためにモバイル制御デバイス１４０に送られる。

ステップ３３５において、選択されたオブジェクトについての操作データを取り出すと、操作プログラム３００は、選択されたオブジェクトの操作を実行する。操作プログラム３００は、操作データを取り出し、コントローラ命令を、ロボット・プロテーゼ・デバイス１９０のようなプロテーゼ・デバイスの近くのモバイル制御デバイス１４０に送る。モバイル制御デバイス１４０は、操作プログラム３００から操作命令を受け取り、次に、適切なモータ、スイッチ、及びロボット・プロテーゼ・デバイス１９０をイネーブルにする他のデバイスをアクティブ化する。マスター知識ベース１１０内で見つかった操作データの実施は、精度、正確さ及び速度がより向上した選択されたオブジェクトの操作を可能にし、選択されたオブジェクトの属性に適した触覚圧力を含む。

マスター知識ベース１１０において見つかった操作データを用いて選択されたオブジェクトを操作すると、操作プログラム３００は、ステップ３４０において、選択されたオブジェクトの操作と関連したデータを収集する。本発明の幾つかの実施形態において、操作プログラム３００は、選択されたオブジェクトの操作及び操作活動と関連したフィードバック・データを監視する。本発明の幾つかの実施形態において、プロテーゼ・デバイスのユーザが、操作データの自動処理の際に介入し、特定の操作活動を調整又は微調整することがある。データは、操作プログラム３００が自動操作データへの調整をキャプチャすることにより収集され、それを、選択されたオブジェクトの操作を引き続き改良及び改善するために用いることができる。

ステップ３４５において、操作プログラムは、選択されたオブジェクトの操作中に収集された操作データを機械学習に適用する。操作プログラム３００は、選択されたオブジェクトの操作中に収集された、連続的な改善の最適化活動に置いて機械学習に適用されるべき操作データを認知システム１０５に伝送する。本発明の幾つかの実施形態において、自動操作データになされる調整は、収集されたデータ内に含められ、選択されたオブジェクトの操作の複数の反復に基づき、かつ、プロテーゼ・デバイスのユーザにより手動でなされた調整を考慮して、選択されたオブジェクトについての自動操作データへの変更を含む機械学習に入力される。幾つかの実施形態において、操作プログラム３００は、オブジェクト・データ・プログラム２００を開始し、操作データ及び関連したフィードバック・データを収集することにより、操作データを収集することができる。他の実施形態において、操作プログラム３００は、データ収集活動を実行し、機械学習に適用されるべきデータを認知システム１０５に伝送する。

図４は、本発明の実施形態による、オブジェクト・データ・プログラム２００及び操作プログラム３００を作動可能に実行することができるコンピューティング・デバイスを含み、かつ、オブジェクト操作データへのアクセスを提供する、システムのコンポーネントのブロック図を示す。

本発明の例証的な実施形態によると、コンピューティング・デバイス４０５が、サーバ１０１及びモバイル制御デバイス１４０（図１）に類似したコンポーネント及び機能的能力（functional capability）を含む。図４は、１つの実装の例証に過ぎず、異なる実施形態を実施できる環境に関するいずれの限定も意味するものではないことを理解されたい。示される環境への多くの修正をなすことができる。

コンピューティング・デバイス４０５は、コンピュータ・プロセッサ４０４、メモリ４０６、永続的ストレージ４０８、通信ユニット４１０、及び入力／出力（Ｉ／Ｏ）インターフェース４１２の間の通信を提供する通信ファブリック４０２を含む。通信ファブリック４０２は、プロセッサ（マイクロプロセッサ、通信及びネットワーク・プロセッサ等のような）、システム・メモリ、周辺機器、及びシステム内の他のいずれかのハードウェア・コンポーネントの間でデータ及び／又は制御情報を送るように設計された任意のアーキテクチャを有するように実装することができる。例えば、通信ファブリック４０２は、１つ又は複数のバスを有するように実装することができる。

メモリ４０６、キャッシュ・メモリ４１６及び永続的ストレージ４０８は、コンピュータ可読ストレージ媒体である。この実施形態において、メモリ４０６は、ランダム・アクセス・メモリ（ＲＡＭ）４１４を含む。一般に、メモリ４０６は、任意の好適な揮発性又は不揮発性コンピュータ可読ストレージ媒体を含むことができる。

オブジェクト・データ・プログラム２００及び操作プログラム３００は、永続的ストレージ４０８内に格納され、メモリ４０６の１つ又は複数のメモリを介してそれぞれのコンピュータ・プロセッサ４０４の１つ又は複数により実行される。この実施形態において、永続的ストレージ４０８は、磁気ハードディスクドライブを含む。代替的に又は磁気ハードディスクドライブに加えて、永続的ストレージ４０８は、ソリッドステート・ハードドライブ、半導体ストレージ・デバイス、読み出し専用メモリ（ＲＯＭ）、消去可能プログラム可能読み出し専用メモリ（ＥＰＲＯＭ）、フラッシュメモリ、又はプログラム命令若しくはデジタル情報を格納することができる他のいずれかのコンピュータ可読ストレージ媒体を含むことができる。

永続的ストレージ４０８により使用される媒体は、取り外し可能とすることもできる。例えば、取り外し可能なハードドライブを、永続的ストレージ４０８のために用いることができる。他の例として、光ディスク及び磁気ディスク、サムドライブ、及び永続的ストレージ４０８の一部でもある別のコンピュータ可読ストレージ媒体に転送するためにドライブに挿入されるスマートカードが挙げられる。

通信ユニット４１０は、これらの例において、分散型ネットワーク処理環境１００のリソースを含む、他のデータ処理システム又はデバイスとの通信を提供する。これらの例において、通信ユニット４１０は、１つ又は複数のネットワーク・インターフェース・カードを含む。通信ユニット４１０は、物理的及び無線通信リンクのいずれか又は両方を用いて通信を提供することができる。オブジェクト・データ・プログラム２００及び操作プログラム３００は、通信ユニット４１０を通じて永続的ストレージ４０８にダウンロードすることができる。

Ｉ／Ｏインターフェース４１２は、コンピューティング・システム４００に接続することができる他のデバイスとのデータの入力及び出力を可能にする。例えば、Ｉ／Ｏインターフェース４１２は、キーボード、キーパッド、タッチスクリーン、及び／又は他の何らかの好適な入力デバイスのような外部デバイス４１８への接続を提供することができる。外部デバイス４１８はまた、例えば、サムドライブ、携帯型光ディスク又は磁気ディスク、及びメモリカードなどの携帯型コンピュータ可読ストレージ媒体を含むこともできる。本発明の実施形態を実施するために用いられるソフトウェア及びデータ、例えばオブジェクト・データ・プログラム２００及び操作プログラム３００は、そうした携帯型コンピュータ可読ストレージ媒体上に格納することができ、Ｉ／Ｏインターフェース４１２を介して永続的ストレージ４０８にロードすることができる。Ｉ／Ｏインターフェース４１２は、ディスプレイ４２０にも接続される。

ディスプレイ４２０は、データを表示するための機構をユーザに提供し、例えば、コンピュータ・モニタとすることができる。

本明細書で説明されるプログラムは、それらが本発明の特定の実施形態において実施されるアプリケーションに基づいて識別される。しかしながら、本明細書でのいずれの特定のプログラムの命名も、便宜上用いられているに過ぎず、従って、本明細書は、こうした命名により識別される及び／又は暗示されるいずれかの特定のアプリケーションにおいてのみ使用するように限定されるべきではないことを理解されたい。

本発明は、システム、方法、及び／又はコンピュータ・プログラム製品とすることができる。コンピュータ・プログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令をその上に有するコンピュータ可読ストレージ媒体（単数又は複数）を含むことができる。

コンピュータ可読ストレージ媒体は、命令実行デバイスにより使用される命令を保持及び格納できる有形デバイスとすることができる。コンピュータ可読ストレージ媒体は、例えば、これらに限定されるものではないが、電子記憶装置、磁気記憶装置、光学記憶装置、電磁気記憶装置、半導体記憶装置、又は上記のいずれかの適切な組み合わせとすることができる。コンピュータ可読ストレージ媒体のより具体的な例の非網羅的なリストとして、以下のもの：すなわち、ポータブル・コンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラム可能読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリ・スティック、フロッピー・ディスク、パンチカード若しくは命令がそこに記録された溝内の隆起構造のような機械的にエンコードされたデバイス、及び上記のいずれかの適切な組み合わせが挙げられる。本明細書で使用される場合、コンピュータ可読ストレージ媒体は、電波、又は他の自由に伝搬する電磁波、導波管若しくは他の伝送媒体を通じて伝搬する電磁波（例えば、光ファイバ・ケーブルを通る光パルス）、又はワイヤを通って送られる電気信号などの、一時的信号自体として解釈されない。

本明細書で説明されるコンピュータ可読プログラム命令は、コンピュータ可読ストレージ媒体からそれぞれのコンピューティング／処理デバイスに、又は、例えばインターネット、ローカル・エリア・ネットワーク、広域ネットワーク、及び／又は無線ネットワークなどのネットワークを介して外部コンピュータ又は外部ストレージ・デバイスにダウンロードすることができる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、及び／又はエッジ・サーバを含むことができる。各コンピューティング／処理デバイスにおけるネットワーク・アダプタ・カード又はネットワーク・インターフェースは、ネットワークからコンピュータ可読プログラム命令を受け取り、コンピュータ可読プログラム命令を転送して、それぞれのコンピューティング／処理デバイス内のコンピュータ可読ストレージ媒体に格納する。

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、及び、「Ｃ」プログラミング言語若しくは類似のプログラミング言語などの通常の手続き型プログラミング言語を含む１つ又は複数のプログラミング言語の任意の組み合わせで記述することができる。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で実行される場合もあり、一部がユーザのコンピュータ上で、独立型ソフトウェア・パッケージとして実行される場合もあり、一部がユーザのコンピュータ上で実行され、一部が遠隔コンピュータ上で実行される場合もあり、又は完全に遠隔コンピュータ若しくはサーバ上で実行される場合もある。最後のシナリオにおいて、遠隔コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）若しくは広域ネットワーク（ＷＡＮ）を含むいずれかのタイプのネットワークを通じてユーザのコンピュータに接続される場合もあり、又は外部コンピュータへの接続がなされる場合もある（例えば、インターネットサービスプロバイダを用いたインターネットを通じて）。幾つかの実施形態において、例えば、プログラム可能論理回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、又はプログラム可能論理アレイ（ＰＬＡ）を含む電子回路は、コンピュータ可読プログラム命令の状態情報を用いて電子回路を個人化することによりコンピュータ可読プログラム命令を実行し、本発明の態様を実施することができる。

本発明の態様は、本発明の実施形態による方法、装置（システム）及びコンピュータ・プログラム製品のフローチャート図及び／又はブロック図を参照して説明される。フローチャート図及び／又はブロック図の各ブロック、並びにフローチャート図及び／又はブロック図内のブロックの組み合わせは、コンピュータ可読プログラム命令によって実装できることが理解されるであろう。

これらのコンピュータ可読プログラム命令を、汎用コンピュータ、専用コンピュータ、又は他のプログラム可能データ処理装置のプロセッサに与えてマシンを製造し、それにより、コンピュータ又は他のプログラム可能データ処理装置のプロセッサによって実行される命令が、フローチャート及び／又はブロック図の１つ又は複数のブロック内で指定された機能／動作を実施するための手段を作り出すようにすることができる。これらのコンピュータ・プログラム命令を、コンピュータ、他のプログラム可能データ処理装置、及び／又は他のデバイスを特定の方式で機能させるように指示することができるコンピュータ可読媒体内に格納し、それにより、そのコンピュータ可読媒体内に格納された命令が、フローチャート及び／又はブロック図の１つ又は複数のブロックにおいて指定された機能／動作の態様を実施する命令を含む製品を含むようにすることもできる。

コンピュータ・プログラム命令を、コンピュータ、他のプログラム可能データ処理装置、又は他のデバイス上にロードして、一連の動作ステップをコンピュータ、他のプログラム可能データ処理装置、又は他のデバイス上で行わせてコンピュータ実施のプロセスを生成し、それにより、コンピュータ又は他のプログラム可能装置上で実行される命令が、フローチャート及び／又はブロック図の１つ又は複数のブロックにおいて指定された機能／動作を実行するためのプロセスを提供するようにすることもできる。

図面内のフローチャート及びブロック図は、本発明の種々の実施形態による、システム、方法、及びコンピュータ・プログラム製品の可能な実装の、アーキテクチャ、機能及び動作を示す。この点に関して、フローチャート内の各ブロックは、指定された論理機能を実装するための１つ又は複数の実行可能命令を含む、モジュール、セグメント、又はコードの一部を表すことができる。幾つかの代替的な実装において、ブロック内に示される機能は、図に示される順序とは異なる順序で生じることがある。例えば、連続して示される２つのブロックは、関与する機能に応じて、実際には実質的に同時に実行されることもあり、又はこれらのブロックはときとして逆順で実行されることもある。ブロック図及び／又はフローチャート図の各ブロック、及びブロック図及び／又はフローチャート図内のブロックの組み合わせは、指定された機能又は動作を実行する、又は専用のハードウェアとコンピュータ命令との組み合わせを実行する、専用ハードウェア・ベースのシステムによって実装できることにも留意されたい。

１００：分散型ネットワーク処理環境
１０１：サーバ
１０５：認知システム
１１０：マスター知識ベース
１２０：個人化知識ベース
１２５：画像分析
１３０：無線接続
１４０：モバイル制御デバイス
１５０：ネットワーク
１６０：ロボット・サポート・デバイス
１７０：カメラ１８０：ＡＲメガネ
１８５：ＡＲメガネ送受信機
１８７：ＡＲメガネ・カメラ
１９０：ロボット・プロテーゼ・デバイス
２００：オブジェクト・データ・プログラム
３００：操作プログラム
４０２：通信ファブリック
４０４：コンピュータ・プロセッサ
４０５：コンピューティング・デバイス
４０６：メモリ
４０８：永続手的ストレージ
４１０：通信ユニット
４１２：入力／出力（Ｉ／Ｏ）インターフェース
４１６：キャッシュ・メモリ
４２０：ディスプレイ

Claims (40)

1. １つ又は複数のプロセッサが、オブジェクトの画像データを含む入力を受け取ることと、
   １つ又は複数のプロセッサが、前記オブジェクトの前記画像データに関する画像分析の実行に基づいて、前記オブジェクトの画像属性を判断することと、
   １つ又は複数のプロセッサが、前記オブジェクトの前記画像属性が、複数の識別されたオブジェクトと、前記複数の識別されたオブジェクトにそれぞれ対応する操作データとを含む知識ベースの１つの識別されたオブジェクトに合致するかどうかを判断することと、
   前記オブジェクトの前記画像属性が前記知識ベースの前記識別されたオブジェクトに合致すると判断することに応答して、１つ又は複数のプロセッサが、前記知識ベースの前記識別されたオブジェクトに対応する操作データをモバイル制御デバイスに伝送することと、
   を含む方法。
2. 前記モバイル制御デバイスは、前記１つ又は複数のプロセッサにより伝送された前記操作データを用いて、前記オブジェクトの操作を実行することができる操作デバイスに通信可能に接続され、受け取った前記入力が前記オブジェクトの前記画像データを含む前記オブジェクトは、前記操作デバイスのユーザにより選択される、請求項１に記載の方法。
3. １つ又は複数のプロセッサが、前記知識ベースの前記識別されたオブジェクトの前記操作データに基づいて、前記オブジェクトの前記操作を実行する前記操作デバイスのフィードバックを受け取ることであって、前記フィードバックは、前記操作デバイスからの感覚データと、前記ユーザにより選択された前記オブジェクトの操作中の前記操作デバイスの前記ユーザの画像フィードバックとを含む、受け取ることと、
   １つ又は複数のプロセッサが、前記知識ベースから受け取った前記識別されたオブジェクトの前記操作データ、前記操作デバイスからの前記感覚データの前記フィードバック、及び前記ユーザにより選択された前記オブジェクトの操作中の前記ユーザの前記フィードバックに基づいて、選択された前記オブジェクトの前記操作に関する機械学習を実行することと、
   １つ又は複数のプロセッサが、前記操作デバイスからの前記感覚データの前記フィードバック及び前記ユーザにより選択された前記オブジェクトの操作中の前記ユーザのフィードバックに基づく機械学習の実行に基づいて、前記ユーザにより選択された前記オブジェクトについての前記操作データを調整することと、
   をさらに含む、請求項１に記載の方法。
4. 前記オブジェクトの前記画像データと前記知識ベースの前記識別されたオブジェクトとの間の合致を判断することは、前記オブジェクトの前記画像属性と前記知識ベースの前記識別されたオブジェクトとの比較により、所定の信頼性レベルを上回る類似スコアが生成される類似関数を実施することに基づく、請求項１に記載の方法。
5. １つ又は複数のプロセッサが、前記オブジェクトの前記操作を実行する前記操作デバイスからのフィードバックを受け取ることであって、前記操作デバイスのユーザは、前記オブジェクトの前記操作を改善するために、前記前記オブジェクトの前記操作への調整を実行し、前記フィードバックは、受け取った前記知識ベースの前記識別されたオブジェクトに対応する前記操作データに基づき、かつ、前記フィードバックは、前記操作デバイスに接続されたセンサからの感覚データと、前記オブジェクトの操作中に前記操作デバイスを視ている１つ又は複数のカメラからの前記操作デバイスの画像フィードバックとを含む、受け取ることと、
   １つ又は複数のプロセッサが、前記知識ベースから受け取った前記識別されたオブジェクトの前記操作データ、前記操作デバイスに接続された前記センサからの前記感覚データの前記フィードバック、及び前記オブジェクトの操作中に前記操作デバイスを視ている前記１つ又は複数のカメラから受け取った前記画像フィードバックに基づいて、前記オブジェクトの前記操作に関する機械学習を実行することと、
   １つ又は複数のプロセッサが、前記知識ベースから受け取った前記識別されたオブジェクトの前記操作データ、前記操作デバイスに接続された前記センサからの前記感覚データの前記フィードバック、及び前記オブジェクトの操作中に前記操作デバイスを視ている前記１つ又は複数のカメラからの前記操作デバイスの前記画像フィードバックに適用される前記機械学習の結果得られる、前記オブジェクトについての前記操作データを調整することと、
   をさらに含む、請求項１に記載の方法。
6. 前記オブジェクトは、プロテーゼ・デバイスのユーザにより選択され、前記知識ベースの前記複数の識別されたオブジェクトのうちの１つの識別されたオブジェクトは画像属性を含み、前記１つ又は複数のプロセッサが操作データを伝送するステップは、選択された前記オブジェクトに合致する前記識別されたオブジェクトの前記画像属性データに対応する操作データを前記モバイル制御デバイスに伝送することを含み、前記モバイル制御デバイスは、前記プロテーゼ・デバイスに通信可能に接続され、前記モバイル制御デバイスは、前記識別されたオブジェクトに対応する前記操作データを前記プロテーゼ・デバイスに適用する、請求項１に記載の方法。
7. １つ又は複数のプロセッサが、１つ又は複数のカメラから、前記プロテーゼ・デバイスの前記ユーザの眼の焦点方向、表情及び身体の動きの画像データを受け取ることであって、前記眼の焦点、前記表情及び前記身体の動きの前記画像データは、前記ユーザのビュー内のオブジェクトに向けられる、受け取ることと、
   １つ又は複数のプロセッサが、前記プロテーゼ・デバイスの前記ユーザのビュー内の前記オブジェクトの画像を受け取ることと、
   １つ又は複数のプロセッサが、前記ユーザの前記眼の焦点、前記表情及び前記身体の動きの前記画像データに基づいて、前記プロテーゼ・デバイスの前記ユーザのビュー内の前記オブジェクトが、前記ユーザにより選択された前記オブジェクトであると判断することと、
   をさらに含む、請求項６に記載の方法。
8. １つ又は複数のプロセッサが、前記知識ベースの前記識別されたオブジェクトの前記操作データに基づいて、選択された前記オブジェクトの前記操作を実行する前記プロテーゼ・デバイスのフィードバックを受け取ることであって、前記フィードバックは、前記プロテーゼ・デバイスからの感覚データと、選択された前記オブジェクトの操作中の前記ユーザの画像フィードバックとを含む、受け取ることと、
   １つ又は複数のプロセッサが、前記知識ベースから受け取った前記識別されたオブジェクトの前記操作データ、前記プロテーゼ・デバイスからの前記感覚データの前記フィードバック、及び選択された前記オブジェクトの操作中の前記ユーザの前記フィードバックに基づいて、選択された前記オブジェクトの前記操作に関する機械学習を実行することと、
   １つ又は複数のプロセッサが、前記知識ベースから受け取った前記識別されたオブジェクトの前記操作データ、前記プロテーゼ・デバイスからの前記感覚データの前記フィードバック、及び選択された前記オブジェクトの操作中の前記ユーザからのフィードバックに関する機械学習に基づいて、選択された前記オブジェクトについての前記操作データを調整することと、
   をさらに含む、請求項６に記載の方法。
9. 選択された前記オブジェクトについて調整される前記操作データは、前記ユーザ及び前記ユーザの前記プロテーゼ・デバイスに対して特に調整された操作データを有する第２の知識ベースに付加される、請求項８に記載の方法。
10. １つ又は複数のプロセッサが、選択された前記オブジェクトが複数の識別されたオブジェクトを含む前記知識ベースの１つの識別されたオブジェクトに合致しないと判断し、１つ又は複数のプロセッサが、前記プロテーゼ・デバイスの前記ユーザに通知を与え、選択された前記オブジェクトに対応する非自動操作データの１又は複数の反復を機械学習処理に入力する、請求項６に記載の方法。
11. 前記画像データは、前記プロテーゼ・デバイスに接続され、１つ又は複数のカメラから受け取った前記画像データに関する画像分析を実行する認知システムに動作可能に結合された前記１つ又は複数のカメラから受け取られる、請求項６に記載の方法。
12. 前記プロテーゼ・デバイスの前記ユーザにより選択された前記オブジェクトと前記知識ベースの前記識別されたオブジェクトとの間の合致を判断することは、前記プロテーゼ・デバイスの前記ユーザにより選択された前記オブジェクト及び前記知識ベースの前記識別されたオブジェクトの信頼性レベルが所定の閾値を上回るかどうかを判断することを含む、請求項６に記載の方法。
13. １つ又は複数のプロセッサが、プロテーゼ・デバイスのユーザにより選択されたオブジェクトの画像データを受け取ることと、
    １つ又は複数のプロセッサが、前記画像データに関する画像分析の実行に基づいて、選択された前記オブジェクトの画像属性を判断することと、
    １つ又は複数のプロセッサが、選択された前記オブジェクトの前記画像属性が、複数の識別されたオブジェクトを含む知識ベースの１つの識別されたオブジェクトに合致するかどうかを判断することであって、前記知識ベースの前記複数の識別されたオブジェクトのうちの１つの識別されたオブジェクトは、画像属性と、前記識別されたオブジェクトに対応する操作データとを含む、判断することと、
    選択された前記オブジェクトの前記画像属性が前記知識ベースの識別されたオブジェクトに合致すると判断することに応答して、１つ又は複数のプロセッサが、選択された前記オブジェクトに合致する前記識別されたオブジェクトの前記画像属性データに対応する操作データを、前記プロテーゼ・デバイスに通信可能に接続されたモバイル制御デバイスに伝送することであって、前記モバイル制御デバイスは、前記識別されたオブジェクトに対応する前記操作データを前記プロテーゼ・デバイスに適用する、伝送することと、
    を含む方法。
14. １つ又は複数のプロセッサが、１つ又は複数のカメラから、前記プロテーゼ・デバイスの前記ユーザの眼の焦点方向、表情及び身体の動きの画像データを受け取ることであって、前記眼の焦点、前記表情及び前記身体の動きの前記画像データは、前記ユーザのビュー内のオブジェクトに向けられる、受け取ることと、
    １つ又は複数のプロセッサが、前記プロテーゼ・デバイスの前記ユーザのビュー内の前記オブジェクトの画像を受け取ることと、
    １つ又は複数のプロセッサが、前記ユーザの前記眼の焦点、前記表情及び前記身体の動きの前記画像データに基づいて、前記プロテーゼ・デバイスの前記ユーザのビュー内の前記オブジェクトが、前記ユーザにより選択された前記オブジェクトであると判断することと、
    をさらに含む、請求項１３に記載の方法。
15. １つ又は複数のプロセッサが、前記知識ベースの前記識別されたオブジェクトの前記操作データに基づいて、選択された前記オブジェクトの前記操作を実行する前記プロテーゼ・デバイスのフィードバックを受け取ることであって、前記フィードバックは、前記プロテーゼ・デバイスからの感覚データと、選択された前記オブジェクトの操作中の前記ユーザの画像フィードバックとを含む、受け取ることと、
    １つ又は複数のプロセッサが、前記知識ベースから受け取った前記識別されたオブジェクトの前記操作データ、前記プロテーゼ・デバイスからの前記感覚データの前記フィードバック、及び選択された前記オブジェクトの操作中の前記ユーザの前記フィードバックに基づいて、選択された前記オブジェクトの前記操作に関する機械学習を実行することと、
    １つ又は複数のプロセッサが、前記知識ベースから受け取った前記識別されたオブジェクトの前記操作データ、前記プロテーゼ・デバイスからの前記感覚データの前記フィードバック、及び選択された前記オブジェクトの操作中の前記ユーザからのフィードバックに関する機械学習に基づいて、選択された前記オブジェクトについての前記操作データを調整することと、
    をさらに含む、請求項１３に記載の方法。
16. 選択された前記オブジェクトについて調整される前記操作データは、前記ユーザ及び前記ユーザの前記プロテーゼ・デバイスに対して特に調整された操作データを有する第２の知識ベースに付加される、請求項１５に記載の方法。
17. １つ又は複数のプロセッサが、選択された前記オブジェクトが複数の識別されたオブジェクトを含む前記知識ベースの１つの識別されたオブジェクトに合致しないと判断し、１つ又は複数のプロセッサが、前記プロテーゼ・デバイスの前記ユーザに通知を与え、選択された前記オブジェクトに対応する非自動操作データの１又は複数の反復を機械学習処理に入力する、請求項１３に記載の方法。
18. 前記画像データは、前記プロテーゼ・デバイスに接続され、１つ又は複数のカメラから受け取った前記画像データに関する画像分析を実行する認知システムに動作可能に結合された前記１つ又は複数のカメラから受け取られる、請求項１３に記載の方法。
19. 前記プロテーゼ・デバイスの前記ユーザにより選択された前記オブジェクトと前記知識ベースの前記識別されたオブジェクトとの間の合致を判断することは、前記プロテーゼ・デバイスの前記ユーザにより選択された前記オブジェクト及び前記知識ベースの前記識別されたオブジェクトの信頼性レベルが所定の閾値を上回るかどうかを判断することを含む、請求項１３に記載の方法。
20. コンピュータ・プログラムであって、前記プログラムがコンピュータ上で実行されるとき、請求項１から請求項１９までのいずれかに記載の方法をコンピュータに実行させるように適合されたプログラム・コード手段を含む、コンピュータ・プログラム。
21. コンピュータに実行させるプログラム命令を含むコンピュータ・プログラムであって、前記プログラム命令は、
    プロテーゼ・デバイスのユーザにより選択されたオブジェクトの画像データを受け取るためのプログラム命令と、
    前記画像データに関する画像分析の実行に基づいて、選択された前記オブジェクトの画像属性を判断するためのプログラム命令と、
    選択された前記オブジェクトの前記画像属性が、複数の識別されたオブジェクトを含む知識ベースの１つの識別されたオブジェクトに合致するかどうかを判断するためのプログラム命令であって、前記知識ベースの前記複数の識別されたオブジェクトのうちの１つの識別されたオブジェクトは、画像属性と、前記識別されたオブジェクトに対応する操作データとを含む、プログラム命令と、
    選択された前記オブジェクトの前記画像属性が前記知識ベースの１つの識別されたオブジェクトに合致すると判断することに応答して、選択された前記オブジェクトの前記画像属性データに合致する前記識別されたオブジェクトに対応する操作データを、前記プロテーゼ・デバイスに通信可能に接続されたモバイル制御デバイスに伝送するためのプログラム命令であって、前記モバイル制御デバイスは、前記識別されたオブジェクトに対応する前記操作データを前記プロテーゼ・デバイスに適用する、プログラム命令と、
    を含む、コンピュータ・プログラム。
22. １つ又は複数のカメラから、プロテーゼ・デバイスのユーザの眼の焦点方向、表情及び身体の動きの画像データを受け取るためのプログラム命令であって、前記眼の焦点、前記表情及び前記身体の動きの前記画像データは、前記ユーザのビュー内のオブジェクトに向けられる、プログラム命令と、
    前記ユーザのビュー内の前記オブジェクトの画像を受け取るためのプログラム命令と、
    前記ユーザの前記眼の焦点、前記表情及び前記身体の動きの前記画像データに基づいて、前記ユーザのビュー内の前記オブジェクトが、前記ユーザにより選択された前記オブジェクトであると判断するためのプログラム命令と、
    をさらに含む、請求項２１に記載のコンピュータ・プログラム。
23. 前記知識ベースの前記識別されたオブジェクトの前記操作データに基づいて、選択された前記オブジェクトの前記操作を実行する前記プロテーゼ・デバイスのフィードバックを受け取るためのプログラム命令であって、前記フィードバックは、前記プロテーゼ・デバイスからの感覚データと、選択された前記オブジェクトの操作中の前記ユーザの画像フィードバックとを含む、プログラム命令と、
    前記知識ベースから受け取った前記識別されたオブジェクトの前記操作データ、前記プロテーゼ・デバイスからの前記感覚データの前記フィードバック、及び選択された前記オブジェクトの操作中の前記ユーザの前記フィードバックに基づいて、選択された前記オブジェクトの前記操作に関する機械学習を実行するためのプログラム命令と、
    前記知識ベースから受け取った前記識別されたオブジェクトの前記操作データ、前記プロテーゼ・デバイスからの前記感覚データの前記フィードバック、及び選択された前記オブジェクトの操作中の前記ユーザからのフィードバックに関する機械学習に基づいて、選択された前記オブジェクトについての前記操作データを調整するためのプログラム命令と、
    をさらに含む、請求項２１に記載のコンピュータ・プログラム。
24. 選択された前記オブジェクトについて調整された前記操作データは、前記ユーザ及び前記ユーザの前記プロテーゼ・デバイスに対して特に調整された操作データを有する第２の知識ベースに付加される、請求項２３に記載のコンピュータ・プログラム。
25. プログラム命令が選択された前記オブジェクトが複数の識別されたオブジェクトを含む前記知識ベースの１つの識別されたオブジェクトと合致しないと判断することに応答して、前記プロテーゼ・デバイスの前記ユーザに通知を与え、選択された前記オブジェクトに対応する非自動操作データの１又は複数の反復を機械学習処理に入力するためのプログラム命令をさらに含む、請求項２１に記載のコンピュータ・プログラム。
26. 前記画像データは、前記プロテーゼ・デバイスに接続され、１つ又は複数のカメラから受け取った前記画像データに関する画像分析を実行する認知システムに動作可能に結合された前記１つ又は複数のカメラから受け取られる、請求項２１に記載のコンピュータ・プログラム。
27. 選択された前記オブジェクトと前記知識ベースの前記識別されたオブジェクトとの間の合致を判断するためのプログラム命令は、選択された前記オブジェクト及び前記知識ベースの前記識別されたオブジェクトの信頼性レベルが所定の閾値を上回るかどうかを判断するためのプログラム命令を含む、請求項２１に記載のコンピュータ・プログラム。
28. １つ又は複数のコンピュータ・プロセッサと、
    １つ又は複数のコンピュータ可読ストレージ媒体と、
    前記１つ又は複数のプロセッサの少なくとも１つにより実行される、前記１つ又は複数のコンピュータ可読ストレージ媒体上に格納されたプログラム命令と、
    を含み、前記プログラム命令は、
    オブジェクトの画像データを含む入力を受け取るためのプログラム命令と、
    前記オブジェクトの前記画像データに関する画像分析の実行に基づいて、前記オブジェクトの画像属性を判断するためのプログラム命令と、
    前記オブジェクトの前記画像属性が、複数の識別されたオブジェクトと、前記複数の識別されたオブジェクトにそれぞれ対応する操作データとを含む知識ベースの１つの識別されたオブジェクトに合致するかどうかを判断するためのプログラム命令と、
    前記オブジェクトの前記画像属性が前記知識ベースの前記識別されたオブジェクトに合致すると判断することに応答して、前記知識ベースの前記識別されたオブジェクトに対応する操作データをモバイル制御デバイスに伝送するためのプログラム命令と、
    を含む、システム。
29. 前記オブジェクトは、プロテーゼ・デバイスのユーザにより選択され、前記知識ベースの前記複数の識別されたオブジェクトのうちの１つの識別されたオブジェクトは画像属性を含み、操作データを伝送するための前記プログラム命令は、選択された前記オブジェクトに合致する前記識別されたオブジェクトの前記画像属性データに対応する操作データを前記モバイル制御デバイスに伝送するためのプログラム命令を含み、前記モバイル制御デバイスは、前記プロテーゼ・デバイスに通信可能に接続され、前記モバイル制御デバイスは、前記識別されたオブジェクトに対応する前記操作データを前記プロテーゼ・デバイスに適用する、請求項２８に記載のシステム。
30. １つ又は複数のカメラから、プロテーゼ・デバイスのユーザの眼の焦点方向、表情及び身体の動きの画像データを受け取るためのプログラム命令であって、前記眼の焦点、前記表情及び前記身体の動きの前記画像データは、前記ユーザのビュー内のオブジェクトに向けられる、プログラム命令と、
    前記ユーザのビュー内の前記オブジェクトの画像を受け取るためのプログラム命令と、
    前記ユーザの前記眼の焦点、前記表情及び前記身体の動きの前記画像データに基づいて、前記ユーザのビュー内の前記オブジェクトが、選択された前記オブジェクトであると判断するためのプログラム命令と、
    をさらに含む、請求項２９に記載のシステム。
31. 前記知識ベースの前記識別されたオブジェクトの前記操作データに基づいて、選択された前記オブジェクトの前記操作を実行する前記プロテーゼ・デバイスのフィードバックを受け取るためのプログラム命令であって、前記フィードバックは、前記プロテーゼ・デバイスからの感覚データと、選択された前記オブジェクトの操作中の前記ユーザからの画像フィードバックとを含む、プログラム命令と、
    前記知識ベースから受け取った前記識別されたオブジェクトの前記操作データ、前記プロテーゼ・デバイスからの前記感覚データの前記フィードバック、及び選択された前記オブジェクトの操作中の前記ユーザの前記フィードバックに基づいて、選択された前記オブジェクトの前記操作に関する機械学習を実行するためのプログラム命令と、
    前記知識ベースから受け取った前記識別されたオブジェクトの前記操作データ、前記プロテーゼ・デバイスからの前記感覚データの前記フィードバック、及び選択された前記オブジェクトの操作中の前記ユーザからのフィードバックに関する機械学習に基づいて、選択された前記オブジェクトについての前記操作データを調整するためのプログラム命令と、
    をさらに含む、請求項２９に記載のシステム。
32. 選択された前記オブジェクトについて調整された前記操作データが、前記ユーザ及び前記ユーザの前記プロテーゼ・デバイスに対して特に調整された操作データを有する第２の知識ベースに付加される、請求項３１に記載のシステム。
33. 前記画像データは、前記プロテーゼ・デバイスに接続され、１つ又は複数のカメラから受け取った前記画像データに関する画像分析を実行する認知システムに動作可能に結合された前記１つ又は複数のカメラから受け取られる、請求項２９に記載のシステム。
34. 選択された前記オブジェクトと前記知識ベースの前記識別されたオブジェクトとの間の合致を判断するためのプログラム命令は、選択された前記オブジェクト及び前記知識ベースの前記識別されたオブジェクトの信頼性レベルが所定の閾値を上回るかどうかを判断するためのプログラム命令を含む、請求項２９に記載のシステム。
35. １つ又は複数のコンピュータ・プロセッサと、
    １つ又は複数のコンピュータ可読ストレージ媒体と、
    前記１つ又は複数のプロセッサの少なくとも１つにより実行される、前記１つ又は複数のコンピュータ可読ストレージ媒体上に格納されたプログラム命令と、
    を含み、前記プログラム命令は、
    プロテーゼ・デバイスのユーザにより選択されたオブジェクトの画像データを受け取るためのプログラム命令と、
    前記画像データに関する画像分析の実行に基づいて、選択された前記オブジェクトの画像属性を判断するためのプログラム命令と、
    選択された前記オブジェクトの前記画像属性が、複数の識別されたオブジェクトを含む知識ベースの１つの識別されたオブジェクトに合致するかどうかを判断するためのプログラム命令であって、前記知識ベースの前記複数の識別されたオブジェクトのうちの１つの識別されたオブジェクトは、画像属性と、前記識別されたオブジェクトに対応する操作データとを含む、プログラム命令と、
    選択された前記オブジェクトが前記知識ベースの識別されたオブジェクトに合致すると判断することに応答して、前記ユーザにより選択された前記オブジェクトに合致する前記識別されたオブジェクトに対応する操作データを、前記プロテーゼ・デバイスに通信可能に接続されたモバイル制御デバイスに伝送するためのプログラム命令であって、前記モバイル制御デバイスは、前記識別されたオブジェクトに対応する前記操作データを前記プロテーゼ・デバイスに適用する、プログラム命令と、
    を含む、コンピュータ・システム。
36. １つ又は複数のカメラから、プロテーゼ・デバイスのユーザの眼の焦点方向、表情及び身体の動きの画像データを受け取るためのプログラム命令であって、前記眼の焦点、前記表情及び前記身体の動きの前記画像データは、前記ユーザのビュー内のオブジェクトに向けられる、プログラム命令と、
    前記ユーザのビュー内の前記オブジェクトの画像を受け取るためのプログラム命令と、
    前記ユーザの前記眼の焦点、前記表情及び前記身体の動きの前記画像データに基づいて、前記ユーザのビュー内の前記オブジェクトが、選択された前記オブジェクトであると判断するためのプログラム命令と、
    をさらに含む、請求項３５に記載のコンピュータ・システム。
37. 前記知識ベースの前記識別されたオブジェクトの前記操作データに基づいて、選択された前記オブジェクトの前記操作を実行する前記プロテーゼ・デバイスのフィードバックを受け取るためのプログラム命令であって、前記フィードバックは、前記プロテーゼ・デバイスからの感覚データと、選択された前記オブジェクトの操作中の前記ユーザからの画像フィードバックとを含む、プログラム命令と、
    前記知識ベースから受け取った前記識別されたオブジェクトの前記操作データ、前記プロテーゼ・デバイスからの前記感覚データの前記フィードバック、及び選択された前記オブジェクトの操作中の前記ユーザの前記フィードバックに基づいて、選択された前記オブジェクトの前記操作に関する機械学習を実行するためのプログラム命令と、
    前記知識ベースから受け取った前記識別されたオブジェクトの前記操作データ、前記プロテーゼ・デバイスからの前記感覚データの前記フィードバック、及び選択された前記オブジェクトの操作中の前記ユーザからのフィードバックに関する機械学習に基づいて、選択された前記オブジェクトについての前記操作データを調整するためのプログラム命令と、
    をさらに含む、請求項３５に記載のコンピュータ・システム。
38. 選択された前記オブジェクトについて調整された前記操作データは、前記ユーザ及び前記ユーザの前記プロテーゼ・デバイスに対して特に調整された操作データを有する第２の知識ベースに付加される、請求項３７に記載のコンピュータ・システム。
39. 前記画像データは、前記プロテーゼ・デバイスに接続され、１つ又は複数のカメラから受け取った前記画像データに関する画像分析を実行する認知システムに動作可能に結合された前記１つ又は複数のカメラから受け取られる、請求項３５に記載のコンピュータ・システム。
40. 選択された前記オブジェクトと前記知識ベースの前記識別されたオブジェクトとの間の合致を判断するためのプログラム命令は、選択された前記オブジェクト及び前記知識ベースの前記識別されたオブジェクトの信頼性レベルが所定の閾値を上回るかどうかを判断するためのプログラム命令を含む、請求項３５に記載のコンピュータ・システム。

Images