JP2020526819A - ロボットアクションへの修正に基づく局所的特徴モデルの更新 - Google Patents
ロボットアクションへの修正に基づく局所的特徴モデルの更新 Download PDFInfo
- Publication number
- JP2020526819A JP2020526819A JP2019571746A JP2019571746A JP2020526819A JP 2020526819 A JP2020526819 A JP 2020526819A JP 2019571746 A JP2019571746 A JP 2019571746A JP 2019571746 A JP2019571746 A JP 2019571746A JP 2020526819 A JP2020526819 A JP 2020526819A
- Authority
- JP
- Japan
- Prior art keywords
- feature
- embedding
- classification
- robot
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
- G06F18/41—Interactive pattern learning with a human teacher
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
- G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
- G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S901/00—Robots
- Y10S901/02—Arm motion controller
- Y10S901/03—Teaching system
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Robotics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Databases & Information Systems (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Fuzzy Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】 ロボットアクションへの修正を判定および利用するための方法、装置、およびコンピュータ可読媒体。いくつかの実装形態は、ロボットによって実行されたアクションの人間の修正を判定することに応じて、ロボットの局所的特徴モデルを更新することを対象とする。局所的特徴モデルは、対応するニューラルネットワークモデルの上で生成された埋め込みに基づいて、生成された埋め込みに最も類似する1つ以上の特徴を判定するために使用される。人間の修正に応じて局所的特徴モデルを更新することは、局所的特徴モデルの、人間の修正に対応する特徴埋め込みを更新することを含むことができる。特徴モデルへの調整(複数可)は、対応するニューラルネットワークモデルの再トレーニングを必要とすることなく、ロボットの実行をすぐに改善することができる。
【選択図】図1
Description
代替分類埋め込みに基づいて、およびセンサデータの埋め込みに基づいて、調整された代替分類埋め込みを判定することと、を含む。例えば、調整された代替分類埋め込みを判定することは、代替分類埋め込みとセンサデータの埋め込みとの平均に基づくことができる。いくつかの追加または代替の実装形態では、本方法は、センサデータと代替分類とを保存することと、局所的に保存された分類モデルを更新することに続いて、ニューラルネットワークモデルの新しいバージョンと分類モデルの新しいバージョンとを受信することと、センサデータをニューラルネットワークモデルの新しいバージョンへの入力として適用することと、その適用に基づいてニューラルネットワークモデルの新しいバージョンの上で、センサデータの新しい埋め込みを生成することと、分類モデルの新しいバージョンにおいて、代替分類の新しい代替分類埋め込みを識別することと、分類モデルの新しいバージョンにおいて、センサデータの新しい埋め込みに基づいて、代替分類の新しい代替分類埋め込みを調整することと、をさらに含むことができる。いくつかの実装形態では、代替分類に基づいて局所的に保存された分類モデルを更新することは、局所的に保存された分類モデルが、代替分類に対するいずれかの代替分類埋め込みを欠くと判定することと、それに応じて、局所的に保存された分類モデルに代替分類埋め込みを保存することであって、代替分類埋め込みは、センサデータの埋め込みに基づいている、保存することと、を含む。いくつかの実装形態では、局所的に保存された分類モデルを更新することは、ニューラルネットワークモデルへの入力として、オブジェクトを捕捉し、ロボットのセンサによって生成される追加のセンサデータを適用することと、その適用に基づいてニューラルネットワークモデルの上で、追加のセンサデータのさらなる埋め込みを生成することと、さらなる埋め込みおよび代替分類に基づいて局所的に保存された分類モデルを更新することと、をさらに含む。
Claims (22)
- ロボットの1つ以上のプロセッサによって実装される方法であって、
前記ロボットの環境内のオブジェクトに対する分類を判定することを含み、
前記分類を判定することが、
前記ロボットの1つ以上のコンピュータ可読媒体に局所的に保存されたニューラルネットワークモデルへの入力として、前記オブジェクトを捕捉し、前記ロボットの少なくとも1つのセンサによって生成されるセンサデータを適用することと、
前記適用に基づいて前記ニューラルネットワークモデルの上で、前記センサデータの埋め込みを生成することと、
前記センサデータの前記埋め込みを、前記ロボットの前記コンピュータ可読媒体のうちの1つ以上に局所的に保存された分類モデルに適用することと、
前記埋め込みを前記分類モデルに適用することに基づいて前記分類を判定することと、を含み、
前記方法が、
前記ロボットによって、前記オブジェクトに向けられるアクションの実行中にユーザインターフェース入力を受信することと、
前記ユーザインターフェース入力が、前記オブジェクトの前記分類が不正確であることを示すと判定することと、
前記ユーザインターフェース入力が、前記オブジェクトの前記分類が不正確であることを示すと判定することに応じて、前記局所的に保存された分類モデルを更新することと、
を含み、
前記局所的に保存された分類モデルを更新することが、前記ニューラルネットワークモデルの再トレーニングなしで発生する、方法。 - 前記ユーザインターフェース入力が、前記オブジェクトの前記分類が不正確であることを示すと判定することが、
前記ユーザインターフェース入力が、前記判定された分類と相反する前記オブジェクトの代替分類を示すと判定することを含む、請求項1に記載の方法。 - 前記局所的に保存された分類モデルを更新することが、前記代替分類に基づいて前記局所的に保存された分類モデルを更新することを含む、請求項2に記載の方法。
- 前記代替分類に基づいて前記局所的に保存された分類モデルを更新することが、
前記局所的に保存された分類モデル内の前記代替分類にマッピングされている現在の代替分類埋め込みを識別することと、
前記代替分類埋め込みに基づいて、および前記センサデータの前記埋め込みに基づいて、調整された代替分類埋め込みを判定することと、を含む、請求項3に記載の方法。 - 前記代替分類埋め込みに基づいて、および前記センサデータの前記埋め込みに基づいて、前記調整された代替分類埋め込みを判定することが、
前記代替分類埋め込みと前記センサデータの前記埋め込みとの平均に基づいて、前記調整された代替分類埋め込みを判定することを含む、請求項4に記載の方法。 - 前記センサデータおよび前記代替分類を保存することと、
前記局所的に保存された分類モデルを更新することに続いて、
前記ニューラルネットワークモデルの新しいバージョンおよび前記分類モデルの新しいバージョンを受信することと、
前記センサデータを、前記ニューラルネットワークモデルの前記新しいバージョンへの入力として適用することと、
前記適用に基づいて前記ニューラルネットワークモデルの前記新しいバージョンの上で、前記センサデータの新しい埋め込みを生成することと、
前記分類モデルの前記新しいバージョンにおいて、前記代替分類の新しい代替分類埋め込みを識別することと、
前記分類モデルの前記新しいバージョンにおいて、前記センサデータの前記新しい埋め込みに基づいて、前記代替分類の前記新しい代替分類埋め込みを調整することと、をさらに含む、請求項4に記載の方法。 - 前記代替分類に基づいて前記局所的に保存された分類モデルを更新することが、
前記局所的に保存された分類モデルが、前記代替分類に対するいずれかの代替分類埋め込みを欠くと判定することと、
それに応じて、前記局所的に保存された分類モデル内の代替分類埋め込みを保存することと、を含み、
前記代替分類埋め込みが、前記センサデータの前記埋め込みに基づいている、請求項3に記載の方法。 - 前記局所的に保存された分類モデルを更新することは、
前記ニューラルネットワークモデルへの入力として、前記オブジェクトを捕捉し、前記ロボットの前記センサによって生成される追加のセンサデータを適用することと、
前記適用に基づいて前記ニューラルネットワークモデルの上で、前記追加のセンサデータのさらなる埋め込みを生成することと、
前記さらなる埋め込みおよび前記代替分類に基づいて、前記局所的に保存された分類モデルを更新することと、をさらに含む、請求項3に記載の方法。 - 前記埋め込みを前記分類モデルに適用することに基づいて前記分類を判定することが、
前記埋め込みが、代替分類にマッピングされた代替分類埋め込みよりも前記分類にマッピングされた分類埋め込みにより類似していると判定することに基づいて、前記分類を判定することを含む、請求項1に記載の方法。 - 前記局所的に保存された分類モデルを更新することが、
前記埋め込みにあまり類似しないように前記分類埋め込みを変更することに基づいて、前記分類に対する調整された分類埋め込みを判定することを含む、請求項9に記載の方法。 - ロボットの1つ以上のプロセッサによって実装される方法であって、
前記ロボットの1つ以上のコンピュータ可読媒体に局所的に保存されたニューラルネットワークモデルへの入力として、オブジェクトを捕捉し、前記ロボットの少なくとも1つのセンサによって生成されるセンサデータを適用することと、
前記適用に基づいて前記ニューラルネットワークモデルの上で、前記センサデータの埋め込みを生成することと、
前記ロボットの前記コンピュータ可読媒体のうちの1つ以上に局所的に保存された特徴モデルに前記埋め込みを適用することに基づいて、前記センサデータの特徴を判定することであって、前記特徴モデルが、前記特徴を前記特徴の特徴埋め込みにマッピングし、かつ、追加特徴を対応する追加特徴埋め込みにマッピングし、前記特徴を判定することが、
前記特徴にマッピングされた前記特徴埋め込みに対する前記センサデータの前記埋め込みの類似性に基づいて、前記特徴を判定することを含む、前記センサデータの特徴を判定することと、
前記判定された特徴に基づいて、前記オブジェクトに向けられるロボットアクションを実行することと、
前記オブジェクトに向けられる前記ロボットアクションの実行に応じて、ユーザインターフェース入力を受信することと、
前記ユーザインターフェース入力が、前記追加特徴のうちの特定の追加特徴を示すと判定することと、
前記ユーザインターフェース入力が、前記特定の追加特徴を示すと判定することに応じて、
前記特徴モデルにおいて、前記センサデータの前記埋め込みに基づいて前記特定の追加特徴の前記追加特徴埋め込みを調整することと、
を含む、方法。 - 前記特徴が、第1の分類であり、前記特定の追加特徴が、第2の分類である、請求項11に記載の方法。
- 前記特徴が、第1の境界エリアであり、前記追加特徴が、第2の境界エリアである、請求項11に記載の方法。
- 前記第1の境界エリアが、複数の第1のピクセルによって定義され、前記第2の境界エリアが、複数の第2のピクセルによって定義される、請求項13に記載の方法。
- 前記ユーザインターフェース入力が、ユーザがクライアントコンピューティングデバイスを介して前記第2の境界エリアを示すことに基づいて、前記クライアントコンピューティングデバイスで生成され、前記第2の境界エリアは、前記センサデータに基づく画像の表示中に、前記クライアントデバイスを介して示される、請求項13に記載の方法。
- 前記ロボットアクションが不正確であることを示す最初のユーザインターフェース入力に応じて、前記クライアントデバイスに前記画像を提供することをさらに含む、請求項15に記載の方法。
- ロボットの1つ以上のプロセッサによって実装される方法であって、
前記ロボットの1つ以上のコンピュータ可読媒体に局所的に保存されたニューラルネットワークモデルへの入力として、前記オブジェクトを捕捉し、前記ロボットの少なくとも1つのセンサによって生成されるセンサデータを適用することと、
前記適用に基づいて前記ニューラルネットワークモデルの上で、前記センサデータの埋め込みを生成することと、
前記ロボットの前記コンピュータ可読媒体のうちの1つ以上に局所的に保存された特徴モデルに前記埋め込みを適用することに基づいて、前記センサデータの特徴を判定することであって、前記特徴モデルが、前記特徴を前記特徴の特徴埋め込みにマッピングし、かつ、追加特徴を対応する追加特徴埋め込みにマッピングし、前記特徴を判定することが、
前記追加特徴埋め込みのいずれよりも前記センサデータの前記埋め込みにより類似している前記特徴にマッピングされた前記特徴埋め込みに基づいて前記特徴を判定することを含む、前記センサデータの特徴を判定することと、
前記判定された特徴に基づいてロボットアクションを実行することと、
前記ロボットアクションの実行に応じて、ユーザインターフェース入力を受信することと、
前記ユーザインターフェース入力が、前記ロボットアクションが不正確であることを示すと判定することと、
前記ユーザインターフェース入力が、前記ロボットアクションが不正確であることを示すと判定することに応じて、
前記センサデータの前記埋め込みに基づいて、前記局所的に保存された特徴モデルを更新することと、
前記センサデータを含む修正インスタンスを生成することと、
ネットワークインターフェースを介して、前記修正インスタンスを1つ以上のリモートコンピューティングデバイスに送信することと、を含み、前記1つ以上のリモートコンピューティングデバイスが、前記修正インスタンスを使用して、前記ニューラルネットワークモデルの改訂されたバージョンを生成するための少なくとも1つのトレーニング例を生成する、方法。 - 前記ネットワークインターフェースを介して、前記ニューラルネットワークモデルが、
前記トレーニング例と、
追加のロボットからの追加の修正インスタンスからの追加のトレーニング例と、に基づいてトレーニングされた後、前記ニューラルネットワークモデルの前記改訂されたバージョンを受信すること、をさらに含む、請求項17に記載の方法。 - 前記ユーザインターフェース入力が、前記判定された特徴が不正確であることを示すと判定することが、
前記ユーザインターフェース入力が、前記追加特徴のうちの、前記判定された特徴と相反する追加特徴を示すと判定することを含む、請求項17に記載の方法。 - 前記センサデータの前記埋め込みに基づいて、前記局所的に保存された特徴モデルを更新することが、
前記センサデータの前記埋め込みに基づいて、追加特徴埋め込みを調整することであって、前記追加特徴埋め込みが、前記複数の追加特徴埋め込みのうちの1つであり、前記局所的に保存された特徴モデル内の前記追加特徴にマッピングされている、調整することを含む、請求項19に記載の方法。 - 前記修正インスタンスが、前記追加特徴の指標を含む、請求項20に記載の方法。
- 前記視覚センサデータの前記埋め込みに基づいて、前記局所的に保存された特徴モデルを更新することが、
前記追加特徴が、前記局所的に保存された特徴モデル内の前記追加特徴埋め込みのうちのいずれにもマッピングされていないと判定することと、
それに応じて、前記局所的に保存された特徴モデル内の前記追加特徴に対する特定の特徴埋め込みを保存することと、を含み、前記特定の特徴埋め込みが、前記視覚センサデータの前記埋め込みに基づいている、請求項18に記載の方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021168984A JP7213934B2 (ja) | 2017-07-03 | 2021-10-14 | ロボットアクションへの修正に基づく局所的特徴モデルの更新 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/640,936 US11106967B2 (en) | 2017-07-03 | 2017-07-03 | Update of local features model based on correction to robot action |
US15/640,936 | 2017-07-03 | ||
PCT/US2018/040644 WO2019010137A1 (en) | 2017-07-03 | 2018-07-02 | UPDATING A MODEL OF LOCAL CHARACTERISTICS BASED ON A CORRECTION OF ROBOT ACTION |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021168984A Division JP7213934B2 (ja) | 2017-07-03 | 2021-10-14 | ロボットアクションへの修正に基づく局所的特徴モデルの更新 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020526819A true JP2020526819A (ja) | 2020-08-31 |
JP6963041B2 JP6963041B2 (ja) | 2021-11-05 |
Family
ID=62976371
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019571746A Active JP6963041B2 (ja) | 2017-07-03 | 2018-07-02 | ロボットアクションへの修正に基づく局所的特徴モデルの更新 |
JP2021168984A Active JP7213934B2 (ja) | 2017-07-03 | 2021-10-14 | ロボットアクションへの修正に基づく局所的特徴モデルの更新 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021168984A Active JP7213934B2 (ja) | 2017-07-03 | 2021-10-14 | ロボットアクションへの修正に基づく局所的特徴モデルの更新 |
Country Status (5)
Country | Link |
---|---|
US (3) | US11106967B2 (ja) |
EP (1) | EP3625730A1 (ja) |
JP (2) | JP6963041B2 (ja) |
KR (3) | KR20230050470A (ja) |
WO (1) | WO2019010137A1 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11106967B2 (en) | 2017-07-03 | 2021-08-31 | X Development Llc | Update of local features model based on correction to robot action |
JP6676030B2 (ja) * | 2017-11-20 | 2020-04-08 | 株式会社安川電機 | 把持システム、学習装置、把持方法、及び、モデルの製造方法 |
WO2019107455A1 (ja) * | 2017-11-28 | 2019-06-06 | 川崎重工業株式会社 | 技能伝承機械装置 |
US10682774B2 (en) | 2017-12-12 | 2020-06-16 | X Development Llc | Sensorized robotic gripping device |
US10792809B2 (en) * | 2017-12-12 | 2020-10-06 | X Development Llc | Robot grip detection using non-contact sensors |
US10981272B1 (en) * | 2017-12-18 | 2021-04-20 | X Development Llc | Robot grasp learning |
US10754318B2 (en) * | 2017-12-21 | 2020-08-25 | X Development Llc | Robot interaction with objects based on semantic information associated with embedding spaces |
DE112018006665T5 (de) * | 2017-12-27 | 2020-10-01 | Direct Current Capital LLC | Verfahren zum zugreifen auf ergänzende wahrnehmungsdaten von anderen fahrzeugen |
US11475291B2 (en) * | 2017-12-27 | 2022-10-18 | X Development Llc | Sharing learned information among robots |
US11097418B2 (en) | 2018-01-04 | 2021-08-24 | X Development Llc | Grasping of an object by a robot based on grasp strategy determined using machine learning model(s) |
US11636123B2 (en) * | 2018-10-05 | 2023-04-25 | Accenture Global Solutions Limited | Density-based computation for information discovery in knowledge graphs |
JP7135750B2 (ja) * | 2018-11-12 | 2022-09-13 | 富士通株式会社 | 学習プログラム、学習方法、学習装置、検知プログラム、検知方法及び検知装置 |
JP7047726B2 (ja) * | 2018-11-27 | 2022-04-05 | トヨタ自動車株式会社 | 把持ロボットおよび把持ロボットの制御プログラム |
KR20190104488A (ko) * | 2019-08-21 | 2019-09-10 | 엘지전자 주식회사 | 인공 지능을 이용하여, 오브젝트의 이동을 관리하는 인공 지능 로봇 및 그의 동작 방법 |
JP7021158B2 (ja) * | 2019-09-04 | 2022-02-16 | 株式会社東芝 | ロボットシステムおよび駆動方法 |
WO2021183256A1 (en) | 2020-03-10 | 2021-09-16 | Sri International | Physics-guided deep multimodal embeddings for task-specific data exploitation |
WO2023075351A1 (ko) * | 2021-10-25 | 2023-05-04 | (주)바질컴퍼니 | 산업용 로봇의 인공지능 학습 방법 |
WO2023212260A1 (en) * | 2022-04-28 | 2023-11-02 | Theai, Inc. | Agent-based training of artificial intelligence character models |
CN116330310B (zh) * | 2023-02-14 | 2023-11-07 | 河南泽远网络科技有限公司 | 一种低延时机器人交互方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014106597A (ja) * | 2012-11-26 | 2014-06-09 | Toyota Motor Corp | 自律移動体、物体情報取得装置、および物体情報取得方法 |
US20150254532A1 (en) * | 2014-03-07 | 2015-09-10 | Qualcomm Incorporated | Photo management |
US20160063393A1 (en) * | 2014-08-26 | 2016-03-03 | Google Inc. | Localized learning from a global model |
JP2017504087A (ja) * | 2013-11-13 | 2017-02-02 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | コンピュータ化された臨床診断支援のための階層的自己学習システム |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3211186B2 (ja) | 1997-12-15 | 2001-09-25 | オムロン株式会社 | ロボット、ロボットシステム、ロボットの学習方法、ロボットシステムの学習方法および記録媒体 |
JP2001322079A (ja) | 2000-05-15 | 2001-11-20 | Sony Corp | 脚式移動ロボット及びその動作教示方法 |
WO2011080882A1 (ja) | 2009-12-28 | 2011-07-07 | パナソニック株式会社 | 動作空間提示装置、動作空間提示方法およびプログラム |
FR2962048A1 (fr) * | 2010-07-02 | 2012-01-06 | Aldebaran Robotics S A | Robot humanoide joueur, methode et systeme d'utilisation dudit robot |
US20120130541A1 (en) | 2010-09-07 | 2012-05-24 | Szalek Leszek A | Method and apparatus for robot teaching |
US8781629B2 (en) * | 2010-09-22 | 2014-07-15 | Toyota Motor Engineering & Manufacturing North America, Inc. | Human-robot interface apparatuses and methods of controlling robots |
US9015092B2 (en) | 2012-06-04 | 2015-04-21 | Brain Corporation | Dynamically reconfigurable stochastic learning apparatus and methods |
US20130343640A1 (en) | 2012-06-21 | 2013-12-26 | Rethink Robotics, Inc. | Vision-guided robots and methods of training them |
KR102516124B1 (ko) * | 2013-03-11 | 2023-03-29 | 매직 립, 인코포레이티드 | 증강 및 가상 현실을 위한 시스템 및 방법 |
US9764468B2 (en) | 2013-03-15 | 2017-09-19 | Brain Corporation | Adaptive predictor apparatus and methods |
US9792546B2 (en) | 2013-06-14 | 2017-10-17 | Brain Corporation | Hierarchical robotic controller apparatus and methods |
US10228680B2 (en) | 2013-07-22 | 2019-03-12 | Texas State University | Autonomous performance optimization in robotic assembly process |
US9358685B2 (en) | 2014-02-03 | 2016-06-07 | Brain Corporation | Apparatus and methods for control of robot actions based on corrective user inputs |
US9346168B2 (en) | 2014-05-20 | 2016-05-24 | International Business Machines Corporation | Information technology asset type identification using a mobile vision-enabled robot |
US9630318B2 (en) | 2014-10-02 | 2017-04-25 | Brain Corporation | Feature detection apparatus and methods for training of robotic navigation |
JP2016101612A (ja) | 2014-11-27 | 2016-06-02 | トヨタ自動車株式会社 | 物品搬送用ロボット |
US9785866B2 (en) * | 2015-01-22 | 2017-10-10 | Microsoft Technology Licensing, Llc | Optimizing multi-class multimedia data classification using negative data |
JP6446126B2 (ja) | 2015-04-17 | 2018-12-26 | Cocoro Sb株式会社 | 処理システム及びプログラム |
JP6249247B2 (ja) | 2016-02-29 | 2017-12-20 | ソニー株式会社 | 制御装置、制御方法、およびプログラム |
WO2017151926A1 (en) | 2016-03-03 | 2017-09-08 | Google Inc. | Deep machine learning methods and apparatus for robotic grasping |
US11173602B2 (en) | 2016-07-18 | 2021-11-16 | RightHand Robotics, Inc. | Training robotic manipulators |
US11176423B2 (en) * | 2016-10-24 | 2021-11-16 | International Business Machines Corporation | Edge-based adaptive machine learning for object recognition |
US10360531B1 (en) | 2016-12-19 | 2019-07-23 | Amazon Technologies, Inc. | Robot implemented item manipulation |
US11106967B2 (en) | 2017-07-03 | 2021-08-31 | X Development Llc | Update of local features model based on correction to robot action |
-
2017
- 2017-07-03 US US15/640,936 patent/US11106967B2/en active Active
-
2018
- 2018-07-02 KR KR1020237010900A patent/KR20230050470A/ko not_active Application Discontinuation
- 2018-07-02 WO PCT/US2018/040644 patent/WO2019010137A1/en unknown
- 2018-07-02 JP JP2019571746A patent/JP6963041B2/ja active Active
- 2018-07-02 EP EP18743369.3A patent/EP3625730A1/en active Pending
- 2018-07-02 KR KR1020197038773A patent/KR102472592B1/ko active IP Right Grant
- 2018-07-02 KR KR1020227041549A patent/KR102517457B1/ko active IP Right Grant
-
2021
- 2021-08-30 US US17/460,861 patent/US11640517B2/en active Active
- 2021-10-14 JP JP2021168984A patent/JP7213934B2/ja active Active
-
2023
- 2023-04-27 US US18/140,366 patent/US20230281422A1/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014106597A (ja) * | 2012-11-26 | 2014-06-09 | Toyota Motor Corp | 自律移動体、物体情報取得装置、および物体情報取得方法 |
JP2017504087A (ja) * | 2013-11-13 | 2017-02-02 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | コンピュータ化された臨床診断支援のための階層的自己学習システム |
US20150254532A1 (en) * | 2014-03-07 | 2015-09-10 | Qualcomm Incorporated | Photo management |
CN106104577A (zh) * | 2014-03-07 | 2016-11-09 | 高通股份有限公司 | 照片管理 |
JP2017515189A (ja) * | 2014-03-07 | 2017-06-08 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | 写真管理 |
US20160063393A1 (en) * | 2014-08-26 | 2016-03-03 | Google Inc. | Localized learning from a global model |
JP2017524182A (ja) * | 2014-08-26 | 2017-08-24 | グーグル インコーポレイテッド | グローバルモデルからの局所化された学習 |
Non-Patent Citations (2)
Title |
---|
JETLEY, S., ET AL.: "Prototypical priors: From improving classification to zero-shot learning [online]", ARXIV.ORG, vol. v2, JPN6021017998, 25 April 2018 (2018-04-25), ISSN: 0004508245 * |
TAN, S., ET AL.: "Using dragpushing to refine centroid text classifiers", IN PROCEEDINGS OF THE 28TH ANNUAL INTERNATIONAL ACM SIGIR CONFERENCE ON RESEARCH AND DEVELOPMENT IN, JPN6021017996, 19 August 2005 (2005-08-19), ISSN: 0004508246 * |
Also Published As
Publication number | Publication date |
---|---|
JP2022019721A (ja) | 2022-01-27 |
EP3625730A1 (en) | 2020-03-25 |
KR20220164082A (ko) | 2022-12-12 |
US11640517B2 (en) | 2023-05-02 |
US20210390371A1 (en) | 2021-12-16 |
JP7213934B2 (ja) | 2023-01-27 |
US20190005374A1 (en) | 2019-01-03 |
US11106967B2 (en) | 2021-08-31 |
KR102517457B1 (ko) | 2023-04-03 |
US20230281422A1 (en) | 2023-09-07 |
KR20230050470A (ko) | 2023-04-14 |
KR102472592B1 (ko) | 2022-12-01 |
JP6963041B2 (ja) | 2021-11-05 |
KR20200014368A (ko) | 2020-02-10 |
WO2019010137A1 (en) | 2019-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6963041B2 (ja) | ロボットアクションへの修正に基づく局所的特徴モデルの更新 | |
JP7054755B2 (ja) | ロボットアクションへの修正の判定および利用 | |
US11724398B2 (en) | Efficient robot control based on inputs from remote client devices | |
US10507577B2 (en) | Methods and systems for generating instructions for a robotic system to carry out a task | |
EP4122657A1 (en) | Generating a model for an object encountered by a robot | |
US10748057B1 (en) | Neural network modules | |
Rosa et al. | Vocal interaction with a 7-DOF robotic arm for object detection, learning and grasping |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200225 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210315 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210520 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210818 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210915 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211014 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6963041 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |