JP2011131376A - ロボットの駆動システム、及び、ロボットの駆動プログラム - Google Patents
ロボットの駆動システム、及び、ロボットの駆動プログラム Download PDFInfo
- Publication number
- JP2011131376A JP2011131376A JP2011062873A JP2011062873A JP2011131376A JP 2011131376 A JP2011131376 A JP 2011131376A JP 2011062873 A JP2011062873 A JP 2011062873A JP 2011062873 A JP2011062873 A JP 2011062873A JP 2011131376 A JP2011131376 A JP 2011131376A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- robot
- operation command
- image
- principal component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims description 66
- 238000013500 data storage Methods 0.000 claims description 22
- 230000009471 action Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 19
- 238000005516 engineering process Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 14
- 238000000513 principal component analysis Methods 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 6
- 230000001186 cumulative effect Effects 0.000 claims description 5
- 230000003278 mimic effect Effects 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 3
- 230000010365 information processing Effects 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 abstract 2
- 230000002596 correlated effect Effects 0.000 abstract 1
- 210000003811 finger Anatomy 0.000 description 38
- 238000004364 calculation method Methods 0.000 description 23
- 238000000605 extraction Methods 0.000 description 18
- 210000001503 joint Anatomy 0.000 description 14
- 210000003813 thumb Anatomy 0.000 description 14
- 238000005311 autocorrelation function Methods 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 12
- 230000008859 change Effects 0.000 description 9
- 238000005070 sampling Methods 0.000 description 8
- 230000007547 defect Effects 0.000 description 6
- 238000000611 regression analysis Methods 0.000 description 6
- 230000009467 reduction Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000005484 gravity Effects 0.000 description 4
- 238000005314 correlation function Methods 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 3
- 210000004247 hand Anatomy 0.000 description 3
- 210000004932 little finger Anatomy 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000008707 rearrangement Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000005057 finger movement Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 206010049816 Muscle tightness Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000002478 hand joint Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
- 230000021542 voluntary musculoskeletal movement Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J15/00—Gripping heads and other end effectors
- B25J15/0009—Gripping heads and other end effectors comprising multi-articulated fingers, e.g. resembling a human hand
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】 ロボットの複数の画像データと事前収集動作指令とを対応付けて画像対応動作指令記憶手段11に記憶する。ロボットを動作させるために、動作物に所望の動作を行わせ、その際に動作物の画像データを時系列でロボット動作用画像データとして取得する。画像データ特定及び動作指令発生装置14は、ロボット動作用画像データに含まれる画像データに対応する画像データを画像対応動作指令記憶手段11に記憶している複数の画像データから時系列で特定し、特定した画像データに対応する事前収集動作指令を動作指令としてロボットに与えてロボットを駆動する。これによりロボットは、動作物の形状の複雑さや自己遮蔽を解消して見まねにより動作する。
【選択図】 図6
Description
まず前述の第2のステップにおいて、複数の画像データ(コンピュータグラフィックの画像データに、人間の手に現れる個人差を考慮した画像データを含めておくと、第5のステップにおける画像データの特定精度を高めることができる。図12(A)乃至(C)は、人の手に現れる個人差の相違要素を示している。図12(A)は手をグーの形に握った状態を示している。拇指以外の4指の基節位置の曲率に個人差が現れる。すなわち4指の基節位置が直線的になる手もあれば、湾曲した形状になる手もある。また拇指基節の張り出し具合にも顕著な個人差が現れる。これらの個人差は、2つの関節間の長さの相違によって生じる。また図12(B)は手をチョキの形にした場合の状態を示している。この状態においては、二本の指の開き具合と開いた二本の指の基準角度の違いに個人差が現れる。更に図12(C)は手をパーの形に開いた状態を示している。この状態では、拇指と人差し指との間の開き具合と拇指の反り具合に個人差が大きく現れる。このような個人差は、コンピュータグラフィック技術を用いて手の形の画像データ(疑似画像データ)を作成する場合に、相違要素をパラメータとして既に作成した基本となる画像データを変更することにより簡単に得ることができる。図13は、コンピュータグラフィック編集ソフトのパラメータを変えて、基節位置の曲率と拇指基節の張り出し具合を変えた場合の画像データの相違を示す図である。この2つの相違要素を変更するだけでも、かなり異なった個人差の画像データを得ることができる。なおこれらの画像データを作成する際に、新たに作成する未作成の画像データに対応する事前収集動作指令を、前の画像データに対応する事前収集動作指令と後の画像データに対応する事前収集動作指令とに基づいて推定により作成し、これを未作成の画像データと対応付けて記憶することができるのは勿論である。
次に第2のステップで作成する複数の画像データには、複数の画像データの解像度を変えて作成した複数の解像度変更画像データを含めてもよい。これは画像データの解像度を変えたほうが、画像の特徴が現れやすくなるものもあるからである。画像データの解像度は、基本となる画像データがあれば、簡単に変更することは可能である。図14は解像度を変えた3種類の画像データを示している。左端の画像は、原画像であり、中央の画像は、縦2画素×横2画素を1画素にして解像度を下げた状態の画像であり、右端の画像は、縦4画素×横4画素を1画素として更に解像度を下げた画像である。例えば、原画像が15,000枚あるとすると、解像度を2段階変更することにより、45,000種類の画像データが得られることになる。手をグーの形に握っている状態では、指が重なり合うため、解像度が高いほうが特徴量を正確に把握することができる。しかし手をチョキの形にしている状態では、立っている二本の指の部分から得られる画像の特徴量が重要であるが、その他の部分の特徴量はかえって誤った判断をする原因となる。そこで解像度の異なる画像データを予め基礎データとして用意しておけば、照合の精度は高くなる。
先に、画像データの特定のために、高次局所自己相関関数を用いる特徴量抽出技術を用いる点について説明した。従来の技術では、画像全体について特徴量を抽出しているが、精度を高めるために画像をいくつかの分割画像に分けて分割画像単位で特徴量を抽出することが好ましい。これを実現するためには、まず画像データにおける手の重心を推定する。そのためには、コンピュータグラフィックの画像データを二値化して、白黒画像とする。そしてこの白黒画像について、下記式を用いてX軸方向、Y軸方向のそれぞれで中心を求める。
上記のように特徴量を計算した場合、画像データが多くなると処理すべき特徴量が多くなりすぎる。例えば、図14に示したように3つの解像度の画像データを利用する場合の特徴量は、特徴量=解像度3×画面分割64×高次局所自己相関パターン25=4800(次元)となる。そこで公知の主成分分析技術を利用して特徴量を低減することが好ましい。まず主成分分析による各主成分ごとの因子負荷量を算出する必要がある。下記の式は、主成分分析で用いる主成分得点の演算式である。
Claims (10)
- 動作指令に応じて動作するロボットの駆動システムであって、
ロボットに対応する動作物と、前記動作物に設けられて前記動作物の動きを検出する複数のセンサと、前記複数のセンサの出力に基づいて前記動作指令を発生する動作指令発生装置とを用い、前記動作物に所定の動作を行わせたときの前記複数のセンサの出力に基づいて前記動作指令発生装置が発生する前記動作指令を事前収集動作指令として記憶する事前収集動作指令記憶装置と、
前記動作物に前記所定の動作を行わせたときの前記動作物の複数の画像データを取得するか、または前記動作物またはその擬似物に前記所定の動作と同じ動作を行わせたときの前記動作物またはその擬似物の複数の画像データを時系列で取得する画像データ記憶装置と、
前記複数の画像データに含まれる画像データと前記事前収集動作指令とを対応付けて前記複数の画像データと前記事前収集動作指令とを記憶する画像対応動作指令記憶手段と、
前記ロボットを動作させるために、前記動作物またはその擬似物に所望の動作を行わせ、その際に前記動作物またはその擬似物の動作画像データを時系列でロボット動作用画像データとして取得するロボット動作用画像データ記憶装置と、
前記ロボット動作用画像データに含まれる前記動作画像データに対応する画像データを前記画像対応動作指令記憶手段に記憶している前記複数の画像データから特定し、特定した前記画像データに対応する前記事前収集動作指令を前記動作指令として前記ロボットに与える画像データ特定及び動作指令発生装置とを備え、
前記画像データ特定及び動作指令発生装置は、前記画像対応動作指令記憶手段に記憶している前記複数の画像データから前記動作画像データに対応する画像データを特定する際に、前記動作画像データを分割して得られる複数の分割画像において抽出された特徴量を基準にして照合用の複数の画像データを選択し、前記照合用の複数の画像データと前記動作画像データとの類似度に基づいて前記動作画像データに対応する画像データを特定することを特徴とするロボットの駆動方法。 - 前記擬似物はコンピュータグラフィック技術により作成されたものであり、前記擬似物の画像データはコンピュータグラフィック画像データである請求項1に記載のロボットの駆動システム。
- 前記複数のセンサを備えた前記動作物の表面を、前記複数のセンサを含めて被覆物によって覆った状態で、当該動作物に前記所定の動作を行わせ、その際に、前記事前収集動作指令記憶装置が前記事前収集動作指令を記憶すると同時に、前記画像データ記憶装置が前記動作物の前記複数の画像データを時系列で取得することを特徴とする請求項1に記載のロボットの駆動システム。
- 前記複数の画像データには、前記複数の画像データの解像度を変えて作成した複数の解像度変更画像データが含まれている請求項2または3に記載のロボットの駆動システム。
- 前記画像データ記憶装置は、前記コンピュータグラフィック技術により作成された、時系列で取得した前の前記画像データと後の前記画像データとの間の未作成の画像データを記憶し、
前記画像対応動作指令記憶手段は、作成した前記画像データに対応する事前収集動作指令を前記前の画像データに対応する事前収集動作指令と前記後の画像データに対応する事前収集動作指令とに基づいて推定により作成して前記未作成の画像データと対応付けて記憶することを特徴とする請求項2に記載のロボットの駆動システム。 - 前記動作物は人間の手であり、前記人間の手に装着するデータグローブのグローブ本体に前記ロボットの手の動作部に対応した人間の手の動作部の動きを検出する位置に装着された前記複数のセンサを用い、
前記事前収集動作指令記憶装置は、前記動作物に所定の動作を行わせたときの前記複数のセンサの出力に基づいて前記動作指令発生装置が発生する前記動作指令を事前収集動作指令として記憶することを特徴とする請求項1に記載のロボットの駆動システム。 - 前記動作物は人間の手であり、前記人間の手に装着するデータグローブのグローブ本体に前記ロボットの手の動作部に対応した人間の手の動作部の動きを検出する位置に装着された前記複数のセンサを用い、さらに、前記データグローブを装着した前記人間の手に無地の手袋を嵌めた状態で、前記人間の手に前記所定の動作を行わせ、
その際に、前記事前収集動作指令記憶装置が前記事前収集動作指令を記憶すると同時に、前記画像データ記憶装置が前記人間の手の前記複数の画像データを時系列で取得することを特徴とする請求項1に記載のロボットの駆動システム。 - 前記動作画像データの特徴量が、主成分分析により得た各主成分ごとの主成分得点である請求項1に記載のロボットの駆動システム。
- 画像データ特定及び動作指令発生装置は、前記画像対応動作指令記憶手段が、前記画像データと前記事前収集動作指令とを対応付けて記憶する際に、
前記複数の画像データのそれぞれの特徴量を個々に演算し、
前記複数の画像データのそれぞれの特徴量を主成分分析して、前記複数の画像データのそれぞれについて主成分得点を演算し、且つ累積寄与率に基づいて第1主成分から第k主成分までの主成分の数を決定し、
前記第1主成分から第k主成分までの各主成分ごとに、前記複数の画像データを前記主成分得点の大きさを基準にして並べ替えて得たk種類の画像データソースを作成して記憶し、
さらに、画像データ特定及び動作指令発生装置は、前記動作画像データに対応する画像データを特定する際に、
前記動作画像データ及び該動作画像データの解像度が異なる複数種類の動作画像データについて求めた主成分得点を基準にして前記k種類の画像データソースから前記照合用の複数の画像データをそれぞれ抽出することを特徴とする請求項1に記載のロボットの駆動システム。 - 動作指令に応じて動作するロボットの駆動プログラムであって、
ロボットに対応する動作物と、前記動作物に設けられて前記動作物の動きを検出する複数のセンサと、前記複数のセンサの出力に基づいて前記動作指令を発生する動作指令発生装置とを用い、前記動作物に所定の動作を行わせたときの前記複数のセンサの出力に基づいて前記動作指令発生装置が発生する前記動作指令を事前収集動作指令として記憶する第1の処理と、
前記動作物に前記所定の動作を行わせたときの前記動作物の複数の画像データを取得するか、または前記動作物またはその擬似物に前記所定の動作と同じ動作を行わせたときの前記動作物またはその擬似物の複数の画像データを時系列で取得する第2の処理と、
前記複数の画像データに含まれる画像データと前記事前収集動作指令とを対応付けて前記複数の画像データと前記事前収集動作指令とを画像対応動作指令記憶手段に記憶する第3の処理と、
前記ロボットを動作させるために、前記動作物またはその擬似物に所望の動作を行わせ、その際に前記動作物またはその擬似物の動作画像データを時系列でロボット動作用画像データとして取得する第4の処理と、
前記ロボット動作用画像データに含まれる前記動作画像データに対応する画像データを前記画像対応動作指令記憶手段に記憶している前記複数の画像データから特定し、この際、前記動作画像データを分割して得られる複数の分割画像において抽出された特徴量を基準にして照合用の複数の画像データを選択し、前記照合用の複数の画像データと前記動作画像データとの類似度に基づいて前記動作画像データに対応する画像データを特定し、特定した前記画像データに対応する前記事前収集動作指令を前記動作指令として前記ロボットに与える第5の処理とを情報処理装置に実装して実行させるロボットの駆動プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011062873A JP5209751B2 (ja) | 2003-11-13 | 2011-03-22 | ロボットの駆動システム、ロボットの駆動方法、及び、ロボットの駆動プログラム |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003384402 | 2003-11-13 | ||
JP2003384402 | 2003-11-13 | ||
JP2004173268 | 2004-06-10 | ||
JP2004173268 | 2004-06-10 | ||
JP2011062873A JP5209751B2 (ja) | 2003-11-13 | 2011-03-22 | ロボットの駆動システム、ロボットの駆動方法、及び、ロボットの駆動プログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005515481A Division JP4878842B2 (ja) | 2003-11-13 | 2004-11-15 | ロボットの駆動方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2011131376A true JP2011131376A (ja) | 2011-07-07 |
JP2011131376A5 JP2011131376A5 (ja) | 2011-09-22 |
JP5209751B2 JP5209751B2 (ja) | 2013-06-12 |
Family
ID=34593956
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005515481A Expired - Fee Related JP4878842B2 (ja) | 2003-11-13 | 2004-11-15 | ロボットの駆動方法 |
JP2011062873A Expired - Fee Related JP5209751B2 (ja) | 2003-11-13 | 2011-03-22 | ロボットの駆動システム、ロボットの駆動方法、及び、ロボットの駆動プログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005515481A Expired - Fee Related JP4878842B2 (ja) | 2003-11-13 | 2004-11-15 | ロボットの駆動方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US7848850B2 (ja) |
JP (2) | JP4878842B2 (ja) |
DE (1) | DE112004002219B4 (ja) |
GB (1) | GB2424723B (ja) |
WO (1) | WO2005046942A1 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015518378A (ja) * | 2012-05-03 | 2015-07-02 | ゼネラル・エレクトリック・カンパニイ | 細胞運動の自動セグメンテーション及び特徴付け |
JP6038417B1 (ja) * | 2016-01-29 | 2016-12-07 | 三菱電機株式会社 | ロボット教示装置及びロボット制御プログラム作成方法 |
WO2019064751A1 (ja) * | 2017-09-28 | 2019-04-04 | 日本電産株式会社 | ロボット教示システム、ロボット教示方法、制御装置、及びコンピュータプログラム |
WO2019064752A1 (ja) * | 2017-09-28 | 2019-04-04 | 日本電産株式会社 | ロボット教示システム、ロボット教示方法、制御装置、及びコンピュータプログラム |
DE102018124671A1 (de) * | 2018-10-06 | 2020-04-09 | Bystronic Laser Ag | Verfahren und Vorrichtung zur Erstellung eines Robotersteuerprogramms |
Families Citing this family (48)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6261095A (ja) * | 1985-09-11 | 1987-03-17 | カシオ計算機株式会社 | 波形エディット装置 |
US7668797B2 (en) * | 2006-04-07 | 2010-02-23 | Gary Kuvich | Active semiotic system for image and video understanding by robots and unmanned vehicles, methods and apparatus |
JP4798581B2 (ja) * | 2006-09-27 | 2011-10-19 | 株式会社国際電気通信基礎技術研究所 | ロボットシステム |
US8068935B2 (en) * | 2006-10-18 | 2011-11-29 | Yutaka Kanayama | Human-guided mapping method for mobile robot |
JP2008140267A (ja) * | 2006-12-04 | 2008-06-19 | National Institute Of Advanced Industrial & Technology | 動作認識装置および動作認識処理方法 |
US9060385B1 (en) * | 2007-04-20 | 2015-06-16 | Lloyd Douglas Manning | Universal bluetooth/wireless glove |
JP5109098B2 (ja) * | 2007-06-14 | 2012-12-26 | 本田技研工業株式会社 | 運動制御システム、運動制御方法および運動制御プログラム |
US8213706B2 (en) * | 2008-04-22 | 2012-07-03 | Honeywell International Inc. | Method and system for real-time visual odometry |
KR101494344B1 (ko) * | 2008-04-25 | 2015-02-17 | 삼성전자주식회사 | 휴머노이드 로봇의 움직임 제어 시스템 및 그 방법 |
US9002119B2 (en) | 2008-06-04 | 2015-04-07 | University Of Tsukuba, National University Corporation | Device method and program for human hand posture estimation |
KR100995933B1 (ko) * | 2008-09-01 | 2010-11-22 | 한국과학기술연구원 | 진화 알고리즘과 모방학습에 기초한 로봇의 동작 제어 방법 |
TWI373361B (en) | 2008-10-09 | 2012-10-01 | Univ Nat Chiao Tung | Glove puppet manipulation system |
TWI371303B (en) * | 2009-02-04 | 2012-09-01 | Inventec Appliances Corp | Electronic pet cotrol system and control method thereof |
US9052710B1 (en) * | 2009-03-20 | 2015-06-09 | Exelis Inc. | Manipulation control based upon mimic of human gestures |
US8260460B2 (en) | 2009-09-22 | 2012-09-04 | GM Global Technology Operations LLC | Interactive robot control system and method of use |
FR2950559B1 (fr) | 2009-09-29 | 2011-11-25 | Artistic Robot Event | Systeme et procede de restitution synchrone par un robot de mouvements d'une main ou d'un organe d'extremite |
JP2011110620A (ja) * | 2009-11-24 | 2011-06-09 | Toyota Industries Corp | ロボットの動作を制御する方法およびロボットシステム |
JP2011110621A (ja) * | 2009-11-24 | 2011-06-09 | Toyota Industries Corp | ロボットの教示データを作成する方法およびロボット教示システム |
JP5400595B2 (ja) * | 2009-12-11 | 2014-01-29 | トヨタ自動車株式会社 | 動作補助装置 |
US9844447B2 (en) * | 2010-04-09 | 2017-12-19 | Deka Products Limited Partnership | System and apparatus for robotic device and methods of using thereof |
JP5306313B2 (ja) * | 2010-12-20 | 2013-10-02 | 株式会社東芝 | ロボット制御装置 |
JP5771413B2 (ja) * | 2011-03-02 | 2015-08-26 | パナソニック株式会社 | 姿勢推定装置、姿勢推定システム、および姿勢推定方法 |
KR101896473B1 (ko) * | 2012-01-04 | 2018-10-24 | 삼성전자주식회사 | 로봇 핸드의 제어 방법 |
JP5426719B2 (ja) * | 2012-05-18 | 2014-02-26 | ファナック株式会社 | ロボットシステムの動作シミュレーション装置 |
JP2014140941A (ja) * | 2013-01-25 | 2014-08-07 | Seiko Epson Corp | ロボット制御システム、ロボット、ロボット制御方法及びプログラム |
JP2014140942A (ja) * | 2013-01-25 | 2014-08-07 | Seiko Epson Corp | ロボット制御システム、ロボット、ロボット制御方法及びプログラム |
US9393695B2 (en) | 2013-02-27 | 2016-07-19 | Rockwell Automation Technologies, Inc. | Recognition-based industrial automation control with person and object discrimination |
US9498885B2 (en) | 2013-02-27 | 2016-11-22 | Rockwell Automation Technologies, Inc. | Recognition-based industrial automation control with confidence-based decision support |
US9804576B2 (en) | 2013-02-27 | 2017-10-31 | Rockwell Automation Technologies, Inc. | Recognition-based industrial automation control with position and derivative decision reference |
US9798302B2 (en) | 2013-02-27 | 2017-10-24 | Rockwell Automation Technologies, Inc. | Recognition-based industrial automation control with redundant system input support |
JP6271903B2 (ja) * | 2013-08-06 | 2018-01-31 | キヤノン株式会社 | サーボ装置、及びサーボ装置の制御方法 |
KR102000264B1 (ko) * | 2013-10-01 | 2019-07-15 | 한국전자통신연구원 | 교시 데이터 입력 장치와 이를 이용한 로봇의 교시 명령어 생성 장치 및 방법 |
US9084411B1 (en) * | 2014-04-10 | 2015-07-21 | Animal Biotech Llc | Livestock identification system and method |
JP6003942B2 (ja) * | 2014-04-24 | 2016-10-05 | トヨタ自動車株式会社 | 動作制限装置及び動作制限方法 |
US10970428B2 (en) * | 2015-04-01 | 2021-04-06 | Research & Business Foundation Sungkyunkwan University | Method of providing performance indicators of robot hand and method of optimizing structure of robot hand |
US9694494B1 (en) | 2015-12-11 | 2017-07-04 | Amazon Technologies, Inc. | Feature identification and extrapolation for robotic item grasping |
US10456910B2 (en) * | 2016-01-14 | 2019-10-29 | Purdue Research Foundation | Educational systems comprising programmable controllers and methods of teaching therewith |
US20170249561A1 (en) * | 2016-02-29 | 2017-08-31 | GM Global Technology Operations LLC | Robot learning via human-demonstration of tasks with force and position objectives |
US11036230B1 (en) * | 2016-03-03 | 2021-06-15 | AI Incorporated | Method for developing navigation plan in a robotic floor-cleaning device |
US9827670B1 (en) * | 2016-05-24 | 2017-11-28 | X Development Llc | Coaxial finger face and base encoding |
TW201805598A (zh) * | 2016-08-04 | 2018-02-16 | 鴻海精密工業股份有限公司 | 自主移動設備及建立導航路徑的方法 |
JP6514156B2 (ja) * | 2016-08-17 | 2019-05-15 | ファナック株式会社 | ロボット制御装置 |
US10319109B2 (en) * | 2017-03-31 | 2019-06-11 | Honda Motor Co., Ltd. | Interaction with physical objects as proxy objects representing virtual objects |
CN107199566B (zh) * | 2017-06-02 | 2019-09-10 | 东南大学 | 一种基于虚拟手臂的面向空间站机器人的遥操作系统 |
DE112018002565B4 (de) * | 2017-08-10 | 2021-07-01 | Robert Bosch Gmbh | System und Verfahren zum direkten Anlernen eines Roboters |
DE102020124285B4 (de) | 2019-09-20 | 2022-06-09 | Nvidia Corporation | Visionsbasierte Teleoperation eines beweglichen Robotersystems |
CN112847334B (zh) * | 2020-12-16 | 2022-09-23 | 北京无线电测量研究所 | 一种基于视觉伺服的机械臂目标跟踪方法 |
US20230109729A1 (en) * | 2021-10-07 | 2023-04-13 | Nec Laboratories America, Inc. | Co-disentagled series/text multi-modal representation learning for controllable generation |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000329511A (ja) * | 1999-05-19 | 2000-11-30 | Sony Corp | データグローブ及びこれを用いた形状認識方法 |
JP2001344567A (ja) * | 2000-06-02 | 2001-12-14 | Ricoh Co Ltd | 文字認識装置、その方法およびその方法を実施するためのプログラムを記録した記録媒体 |
JP2003039358A (ja) * | 2001-08-02 | 2003-02-13 | Nippon Telegr & Teleph Corp <Ntt> | 動作入力再生方法、装置及びプログラム |
JP2003080484A (ja) * | 2001-09-07 | 2003-03-18 | Tomy Co Ltd | 動作反応玩具 |
JP2003288594A (ja) * | 2002-03-28 | 2003-10-10 | Minolta Co Ltd | 画像処理装置および方法 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61122711A (ja) * | 1984-11-20 | 1986-06-10 | Fujitsu Ltd | ロボツトのテイ−チング装置 |
JPH01322079A (ja) * | 1988-06-22 | 1989-12-27 | Shibuya Kinzoku Sangyo Kk | 修正装置付ピボットヒンジ |
JPH0380484A (ja) * | 1989-08-22 | 1991-04-05 | Hitachi Maxell Ltd | テープカートリッジ |
US5887069A (en) * | 1992-03-10 | 1999-03-23 | Hitachi, Ltd. | Sign recognition apparatus and method and sign translation system using same |
US6072494A (en) * | 1997-10-15 | 2000-06-06 | Electric Planet, Inc. | Method and apparatus for real-time gesture recognition |
US6236037B1 (en) * | 1998-02-20 | 2001-05-22 | Massachusetts Institute Of Technology | Finger touch sensors and virtual switch panels |
US6421453B1 (en) * | 1998-05-15 | 2002-07-16 | International Business Machines Corporation | Apparatus and methods for user recognition employing behavioral passwords |
US6681031B2 (en) * | 1998-08-10 | 2004-01-20 | Cybernet Systems Corporation | Gesture-controlled interfaces for self-service machines and other applications |
JP4340367B2 (ja) * | 1999-01-27 | 2009-10-07 | 株式会社リコー | 画像分類装置およびその装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2001092589A (ja) * | 1999-09-22 | 2001-04-06 | Suzuki Motor Corp | モデリング装置及びモデリングデータ生成用プログラムを記憶した記憶媒体 |
JP3457617B2 (ja) * | 2000-03-23 | 2003-10-20 | 株式会社東芝 | 画像検索システムおよび画像検索方法 |
JP2001322079A (ja) * | 2000-05-15 | 2001-11-20 | Sony Corp | 脚式移動ロボット及びその動作教示方法 |
JP2002163655A (ja) | 2000-11-24 | 2002-06-07 | Omron Corp | 個人認証装置 |
JP2002239960A (ja) * | 2001-02-21 | 2002-08-28 | Sony Corp | ロボット装置の動作制御方法、プログラム、記録媒体及びロボット装置 |
US6804396B2 (en) | 2001-03-28 | 2004-10-12 | Honda Giken Kogyo Kabushiki Kaisha | Gesture recognition system |
US20020152077A1 (en) * | 2001-04-12 | 2002-10-17 | Patterson Randall R. | Sign language translator |
JP3848123B2 (ja) | 2001-10-15 | 2006-11-22 | 独立行政法人科学技術振興機構 | 人型ロボットハンド |
US7665041B2 (en) * | 2003-03-25 | 2010-02-16 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
US7565295B1 (en) * | 2003-08-28 | 2009-07-21 | The George Washington University | Method and apparatus for translating hand gestures |
-
2004
- 2004-11-15 DE DE112004002219.3T patent/DE112004002219B4/de not_active Expired - Fee Related
- 2004-11-15 WO PCT/JP2004/016968 patent/WO2005046942A1/ja active Application Filing
- 2004-11-15 GB GB0611135A patent/GB2424723B/en not_active Expired - Fee Related
- 2004-11-15 US US10/595,810 patent/US7848850B2/en not_active Expired - Fee Related
- 2004-11-15 JP JP2005515481A patent/JP4878842B2/ja not_active Expired - Fee Related
-
2011
- 2011-03-22 JP JP2011062873A patent/JP5209751B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000329511A (ja) * | 1999-05-19 | 2000-11-30 | Sony Corp | データグローブ及びこれを用いた形状認識方法 |
JP2001344567A (ja) * | 2000-06-02 | 2001-12-14 | Ricoh Co Ltd | 文字認識装置、その方法およびその方法を実施するためのプログラムを記録した記録媒体 |
JP2003039358A (ja) * | 2001-08-02 | 2003-02-13 | Nippon Telegr & Teleph Corp <Ntt> | 動作入力再生方法、装置及びプログラム |
JP2003080484A (ja) * | 2001-09-07 | 2003-03-18 | Tomy Co Ltd | 動作反応玩具 |
JP2003288594A (ja) * | 2002-03-28 | 2003-10-10 | Minolta Co Ltd | 画像処理装置および方法 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015518378A (ja) * | 2012-05-03 | 2015-07-02 | ゼネラル・エレクトリック・カンパニイ | 細胞運動の自動セグメンテーション及び特徴付け |
JP6038417B1 (ja) * | 2016-01-29 | 2016-12-07 | 三菱電機株式会社 | ロボット教示装置及びロボット制御プログラム作成方法 |
WO2017130389A1 (ja) * | 2016-01-29 | 2017-08-03 | 三菱電機株式会社 | ロボット教示装置及びロボット制御プログラム作成方法 |
US20180345491A1 (en) * | 2016-01-29 | 2018-12-06 | Mitsubishi Electric Corporation | Robot teaching device, and method for generating robot control program |
WO2019064751A1 (ja) * | 2017-09-28 | 2019-04-04 | 日本電産株式会社 | ロボット教示システム、ロボット教示方法、制御装置、及びコンピュータプログラム |
WO2019064752A1 (ja) * | 2017-09-28 | 2019-04-04 | 日本電産株式会社 | ロボット教示システム、ロボット教示方法、制御装置、及びコンピュータプログラム |
DE102018124671A1 (de) * | 2018-10-06 | 2020-04-09 | Bystronic Laser Ag | Verfahren und Vorrichtung zur Erstellung eines Robotersteuerprogramms |
DE102018124671B4 (de) * | 2018-10-06 | 2020-11-26 | Bystronic Laser Ag | Verfahren und Vorrichtung zur Erstellung eines Robotersteuerprogramms |
Also Published As
Publication number | Publication date |
---|---|
GB0611135D0 (en) | 2006-07-19 |
US7848850B2 (en) | 2010-12-07 |
JP4878842B2 (ja) | 2012-02-15 |
DE112004002219T5 (de) | 2006-11-23 |
JP5209751B2 (ja) | 2013-06-12 |
DE112004002219B4 (de) | 2018-07-12 |
GB2424723B (en) | 2007-09-19 |
US20070078564A1 (en) | 2007-04-05 |
JPWO2005046942A1 (ja) | 2007-08-23 |
GB2424723A (en) | 2006-10-04 |
WO2005046942A1 (ja) | 2005-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5209751B2 (ja) | ロボットの駆動システム、ロボットの駆動方法、及び、ロボットの駆動プログラム | |
Newbury et al. | Deep learning approaches to grasp synthesis: A review | |
CN108972494B (zh) | 一种仿人机械手抓取控制系统及其数据处理方法 | |
Hasan et al. | RETRACTED ARTICLE: Static hand gesture recognition using neural networks | |
CN111055279B (zh) | 基于触觉与视觉结合的多模态物体抓取方法与系统 | |
CN109993073B (zh) | 一种基于Leap Motion的复杂动态手势识别方法 | |
Jia et al. | Manipulating highly deformable materials using a visual feedback dictionary | |
Nickels et al. | Model-based tracking of complex articulated objects | |
Schröder et al. | Real-time hand tracking using synergistic inverse kinematics | |
CN109766782B (zh) | 基于svm的实时肢体动作识别方法 | |
Colasanto et al. | Hybrid mapping for the assistance of teleoperated grasping tasks | |
CN108044625A (zh) | 一种基于多Leapmotion虚拟手势融合的机器人机械臂操控方法 | |
Zapata-Impata et al. | Generation of tactile data from 3D vision and target robotic grasps | |
Kumar et al. | Graph matching based hand posture recognition using neuro-biologically inspired features | |
JP4410208B2 (ja) | 高速検索方法を用いたロボットの駆動方法 | |
CN109214295B (zh) | 基于Kinect v2和Leap Motion的数据融合的手势识别方法 | |
Hoshino et al. | Copycat hand—robot hand imitating human motions at high speed and with high accuracy | |
Gutzeit et al. | Automatic Detection and Recognition of Human Movement Patterns in Manipulation Tasks. | |
Infantino et al. | A cognitive architecture for robotic hand posture learning | |
Rodriguez et al. | Learning postural synergies for categorical grasping through shape space registration | |
CN111230872B (zh) | 一种基于多传感器的物体递交意图识别系统及方法 | |
Hüser et al. | Visual programming by demonstration of grasping skills in the context of a mobile service robot using 1D-topology based self-organizing-maps | |
Asfour et al. | From sensorimotor primitives to manipulation and imitation strategies in humanoid robots | |
Falco et al. | Improvement of human hand motion observation by exploiting contact force measurements | |
Hoshino et al. | Realtime estimation of human hand posture for robot hand control |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110322 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110401 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110804 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120523 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120605 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120806 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130221 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160301 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5209751 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |