JP2020204889A - ロボット制御システム - Google Patents
ロボット制御システム Download PDFInfo
- Publication number
- JP2020204889A JP2020204889A JP2019112101A JP2019112101A JP2020204889A JP 2020204889 A JP2020204889 A JP 2020204889A JP 2019112101 A JP2019112101 A JP 2019112101A JP 2019112101 A JP2019112101 A JP 2019112101A JP 2020204889 A JP2020204889 A JP 2020204889A
- Authority
- JP
- Japan
- Prior art keywords
- posture
- joint
- robot device
- robot
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 123
- 210000000323 shoulder joint Anatomy 0.000 claims description 30
- 210000002310 elbow joint Anatomy 0.000 claims description 14
- 210000001503 joint Anatomy 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 9
- 210000004705 lumbosacral region Anatomy 0.000 claims description 7
- 230000001360 synchronised effect Effects 0.000 abstract description 15
- 230000006641 stabilisation Effects 0.000 abstract description 6
- 238000011105 stabilization Methods 0.000 abstract description 6
- 230000007246 mechanism Effects 0.000 abstract description 5
- 238000003384 imaging method Methods 0.000 description 24
- 210000001624 hip Anatomy 0.000 description 22
- 210000000988 bone and bone Anatomy 0.000 description 20
- 238000012545 processing Methods 0.000 description 19
- 238000012937 correction Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 18
- 210000002683 foot Anatomy 0.000 description 17
- 210000004394 hip joint Anatomy 0.000 description 15
- 210000003857 wrist joint Anatomy 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 12
- 210000000544 articulatio talocruralis Anatomy 0.000 description 10
- 230000008859 change Effects 0.000 description 9
- 210000000629 knee joint Anatomy 0.000 description 9
- 210000002414 leg Anatomy 0.000 description 7
- 238000000034 method Methods 0.000 description 7
- 230000036461 convulsion Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 210000000245 forearm Anatomy 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 230000010365 information processing Effects 0.000 description 4
- 210000000707 wrist Anatomy 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 210000003127 knee Anatomy 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 210000001255 hallux Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000001331 nose Anatomy 0.000 description 2
- 210000000689 upper leg Anatomy 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 210000000617 arm Anatomy 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 210000004934 left little finger Anatomy 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 210000004933 right little finger Anatomy 0.000 description 1
- 210000005010 torso Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H11/00—Self-movable toy figures
- A63H11/18—Figure toys which perform a realistic walking motion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D57/00—Vehicles characterised by having other propulsion or other ground- engaging means than wheels or endless track, alone or in addition to wheels or endless track
- B62D57/02—Vehicles characterised by having other propulsion or other ground- engaging means than wheels or endless track, alone or in addition to wheels or endless track with ground-engaging propulsion means, e.g. walking members
- B62D57/032—Vehicles characterised by having other propulsion or other ground- engaging means than wheels or endless track, alone or in addition to wheels or endless track with ground-engaging propulsion means, e.g. walking members with alternately or sequentially lifted supporting base and legs; with alternately or sequentially lifted feet or skid
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40264—Human like, type robot arm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Multimedia (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Chemical & Material Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Manipulator (AREA)
- Toys (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
Description
・肘関節は肩関節よりも前
・手首関節は肘関節よりも前
・膝関節は股関節よりも前
・膝関節は足首関節よりも前
・膝関節はかかとよりも前
ここで「前」は、撮像部106により近い位置であることを意味する。
図6は、ユーザを撮影した画像から検出される特徴点を示す。なお、いくつかの特徴点については図示を省略している。図6(a)は、ユーザが撮像部106に対して右側を向いた状態を、図6(b)は、ユーザが撮像部106に対して左側を向いた状態を示している。
三節棍は、3本の棒を紐や鎖で一直線になるように連結した武器である。三節棍をロボット装置20aの右手27aに持たせる場合、ユーザAが右腕を振らない状態だと、把持した棒以外の2本の棒は、だらんと垂れ下がり、床面に付いてしまう。そこで補正処理部124は、「三節棍対戦モード」においては、右肩関節のピッチ角に下限を設定して、ロボット装置20aが、三節棍を高く上げた状態を維持して、棒が床面に付かないようにする。なお左手27bに三節棍を持たせる場合には、補正処理部124は、左肩関節のピッチ角に下限を設定すればよい。
刀をロボット装置20aの右手27aに持たせる場合、ロボット装置20aは、低い位置よりも高い位置に刀を構えた方が見映えがよい。ユーザAが右上腕を高い位置まで上げれば、同調制御部122によりロボット装置20aは、高い位置に刀を構えることができる。しかしながら実際に試したところ、ユーザAは刀を持っていないため、その感覚が分かりづらく、「刀対戦モード」においてユーザAは上腕を高い位置に上げないことが判明した。そこでユーザAが右上腕を高い位置まで上げなくても、ロボット装置20aの右上腕25aを高く上げられるように、補正処理部124がロボット装置20aの同調運動を補正する。
図11(b)は、補正処理部124による補正処理の例を示す。この補正処理では、ロボット装置20の右肩の目標関節角度が、特徴点D、特徴点E、特徴点Gの位置関係から定まる姿勢情報を用いて決定される。なおロボット装置20の右手首は、図11(a)に示す特徴点Fから特徴点Gに向かうボーンベクトルを、特徴点Gを起点に設定したときの終点Hを基準に算出される。
Claims (13)
- 上半身と、腰部および複数の可動脚をもつ下半身と、を有するロボット装置を制御するシステムであって、
人の画像が記録された画像データを取得して、前記人の姿勢を推定する姿勢推定部と、
前記姿勢推定部の推定結果にもとづいて、前記ロボット装置の運動を制御する運動制御部と、を備え、
前記運動制御部は、
前記姿勢推定部により推定された前記人の上半身の姿勢に、前記ロボット装置の上半身の姿勢を同調させる第1運動制御部と、
前記ロボット装置の下半身を安定化制御する第2運動制御部と、を有する、
ロボット制御システム。 - 前記ロボット装置の上半身は、前記ロボット装置の腰部より上の部位である、
請求項1に記載のロボット制御システム。 - 前記第2運動制御部は、前記姿勢推定部により推定された前記人の腰の位置情報から、3次元空間における前記ロボット装置の腰部の目標高さを決定する、
請求項1または2に記載のロボット制御システム。 - 前記姿勢推定部は前記画像データから、前記人の複数の特徴点の位置情報を推定し、複数の前記特徴点の位置情報にもとづいて、前記人の関節の角度を推定する、
請求項1から3のいずれかに記載のロボット制御システム。 - 前記姿勢推定部は、複数の前記特徴点を連結する直線の長さにもとづいて、前記人の関節の角度を推定する、
請求項4に記載のロボット制御システム。 - 前記姿勢推定部は、顔の第1特徴点と、顔より下方に位置する第2特徴点と、前記第2特徴点より下方に位置する第3特徴点にもとづいて、前記人の胴体の向きを推定する、
請求項1から5のいずれかに記載のロボット制御システム。 - 前記姿勢推定部は、前記第2特徴点と前記第1特徴点を連結するベクトルと、前記第2特徴点と前記第3特徴点を連結するベクトルの外積にもとづいて、前記人の胴体の向きを推定する、
請求項6に記載のロボット制御システム。 - 前記運動制御部は、前記ロボット装置の少なくとも1つの関節の目標角度を決定し、決定した目標角度への目標到達時間をもとに、前記関節を構成するモータの回転速度を決定する制御を行う、
請求項1から7のいずれかに記載のロボット制御システム。 - 前記ロボット装置は複数の関節を備え、関節ごとに、目標角度への目標到達時間が設定されている、
請求項8に記載のロボット制御システム。 - 1つの関節が複数のモータで構成され、モータごとに、目標角度への目標到達時間が設定されている、
請求項9に記載のロボット制御システム。 - 上半身の先端側の関節に設定される目標到達時間は、体幹側の関節に設定される目標到達時間よりも短い、
請求項9または10に記載のロボット制御システム。 - 肘関節に設定される目標到達時間は、肩関節に設定される目標到達時間よりも短い、
請求項11に記載のロボット制御システム。 - 前記第1運動制御部は、人体の姿勢情報を用いてロボット装置の複数の関節のそれぞれの目標角度を演算する演算式にもとづいて、前記姿勢推定部により推定された前記人の姿勢情報を用いて前記ロボット装置の複数の関節の目標角度を決定して、前記ロボット装置を同調運動させる、
請求項1から12のいずれかに記載のロボット制御システム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019112101A JP7285703B2 (ja) | 2019-06-17 | 2019-06-17 | ロボット制御システム |
PCT/JP2020/022802 WO2020255813A1 (ja) | 2019-06-17 | 2020-06-10 | ロボット制御システム |
EP20825874.9A EP3984709A4 (en) | 2019-06-17 | 2020-06-10 | ROBOT CONTROL SYSTEM |
US17/614,770 US20220226996A1 (en) | 2019-06-17 | 2020-06-10 | Robot control system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019112101A JP7285703B2 (ja) | 2019-06-17 | 2019-06-17 | ロボット制御システム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020204889A true JP2020204889A (ja) | 2020-12-24 |
JP2020204889A5 JP2020204889A5 (ja) | 2022-06-17 |
JP7285703B2 JP7285703B2 (ja) | 2023-06-02 |
Family
ID=73837024
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019112101A Active JP7285703B2 (ja) | 2019-06-17 | 2019-06-17 | ロボット制御システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220226996A1 (ja) |
EP (1) | EP3984709A4 (ja) |
JP (1) | JP7285703B2 (ja) |
WO (1) | WO2020255813A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112894828B (zh) * | 2021-03-02 | 2022-05-20 | 乐聚(深圳)机器人技术有限公司 | 机器人动作模仿方法、装置、设备及存储介质 |
CN114227679B (zh) * | 2021-12-17 | 2023-07-25 | 深圳市金大智能创新科技有限公司 | 一种基于数字化虚拟人驱动的远程机器人控制方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003117858A (ja) * | 1999-09-20 | 2003-04-23 | Sony Corp | ロボットの歩行制御装置及び歩行制御方法 |
WO2017086364A1 (ja) * | 2015-11-16 | 2017-05-26 | 直広 早石 | リンク列マッピング装置、リンク列マッピング方法、及びプログラム |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9177387B2 (en) * | 2003-02-11 | 2015-11-03 | Sony Computer Entertainment Inc. | Method and apparatus for real time motion capture |
JP4179230B2 (ja) * | 2004-06-07 | 2008-11-12 | ソニー株式会社 | ロボット装置及びその動作制御方法 |
JP3927994B2 (ja) * | 2004-10-19 | 2007-06-13 | 松下電器産業株式会社 | ロボット装置 |
US8803888B2 (en) * | 2010-06-02 | 2014-08-12 | Microsoft Corporation | Recognition system for sharing information |
US9047507B2 (en) * | 2012-05-02 | 2015-06-02 | Apple Inc. | Upper-body skeleton extraction from depth maps |
EP2674914B1 (en) * | 2012-06-11 | 2018-08-08 | Volvo Car Corporation | Method for determining a body parameter of a person |
EP2674913B1 (en) * | 2012-06-14 | 2014-07-23 | Softkinetic Software | Three-dimensional object modelling fitting & tracking. |
JP6334925B2 (ja) * | 2013-01-18 | 2018-05-30 | キヤノンメディカルシステムズ株式会社 | 動作情報処理装置及び方法 |
JP5962679B2 (ja) * | 2014-01-20 | 2016-08-03 | トヨタ自動車株式会社 | 2足歩行ロボット制御方法及び2足歩行ロボット制御システム |
US10518409B2 (en) * | 2014-09-02 | 2019-12-31 | Mark Oleynik | Robotic manipulation methods and systems for executing a domain-specific application in an instrumented environment with electronic minimanipulation libraries |
CN106078752B (zh) * | 2016-06-27 | 2019-03-19 | 西安电子科技大学 | 一种基于Kinect的仿人机器人人体行为模仿方法 |
US20210387346A1 (en) * | 2016-10-22 | 2021-12-16 | Carla R. Gillett | Humanoid robot for performing maneuvers like humans |
US10777006B2 (en) * | 2017-10-23 | 2020-09-15 | Sony Interactive Entertainment Inc. | VR body tracking without external sensors |
JP2020203341A (ja) * | 2019-06-17 | 2020-12-24 | 株式会社ソニー・インタラクティブエンタテインメント | ロボット制御システム |
CN113043267A (zh) * | 2019-12-26 | 2021-06-29 | 深圳市优必选科技股份有限公司 | 机器人控制方法、装置、机器人及计算机可读存储介质 |
EP4257222A4 (en) * | 2020-12-07 | 2024-08-21 | Sony Interactive Entertainment Inc | INFORMATION PROCESSING DEVICE, SYSTEM, INFORMATION PROCESSING METHOD, AND PROGRAM |
-
2019
- 2019-06-17 JP JP2019112101A patent/JP7285703B2/ja active Active
-
2020
- 2020-06-10 US US17/614,770 patent/US20220226996A1/en active Pending
- 2020-06-10 EP EP20825874.9A patent/EP3984709A4/en active Pending
- 2020-06-10 WO PCT/JP2020/022802 patent/WO2020255813A1/ja unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003117858A (ja) * | 1999-09-20 | 2003-04-23 | Sony Corp | ロボットの歩行制御装置及び歩行制御方法 |
WO2017086364A1 (ja) * | 2015-11-16 | 2017-05-26 | 直広 早石 | リンク列マッピング装置、リンク列マッピング方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7285703B2 (ja) | 2023-06-02 |
EP3984709A4 (en) | 2023-07-26 |
WO2020255813A1 (ja) | 2020-12-24 |
US20220226996A1 (en) | 2022-07-21 |
EP3984709A1 (en) | 2022-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11586276B2 (en) | Systems and methods for generating complementary data for visual display | |
WO2020255813A1 (ja) | ロボット制御システム | |
WO2020255814A1 (ja) | ロボット制御システム | |
JP2020502709A (ja) | ソルバーに複数の力アレイを使用した改良型仮想現実システム | |
US20170354843A1 (en) | Method and system for measuring, monitoring, controlling and correcting a movement or a posture of a user | |
JP7038847B2 (ja) | スケルトンモデル更新装置、スケルトンモデル更新方法及びプログラム | |
US20180376069A1 (en) | Erroneous operation-preventable robot, robot control method, and recording medium | |
JP2012208536A (ja) | 動作モデリング装置及び方法、並びにプログラム | |
JPWO2019049298A1 (ja) | 3dデータシステム及び3dデータ処理方法 | |
JP7417356B2 (ja) | ロボット制御システム | |
EP3298479A1 (en) | Sexual interaction device and method for providing an enhanced computer mediated sexual experience to a user | |
KR20220063847A (ko) | 대상자의 보행 패턴을 식별하는 방법 및 이를 수행하는 전자 장치 | |
JP7382743B2 (ja) | ロボットシステム | |
JP5491971B2 (ja) | プログラム、当該プログラムを記録した記録媒体、および、当該プログラムを実行するコンピュータ | |
WO2020203870A1 (ja) | 情報処理装置、情報処理方法、および、プログラム | |
JP7309371B2 (ja) | ロボット制御システム | |
Xiang et al. | Comparing real-time human motion capture system using inertial sensors with microsoft kinect | |
JP6863572B2 (ja) | 表示制御装置及び表示制御プログラム | |
CN109003300A (zh) | 一种基于人体质心位移计算算法的虚拟现实系统 | |
JP6855561B1 (ja) | 透析患者運動支援システムおよび透析患者運動支援装置ならびにその方法およびプログラム | |
WO2021075004A1 (ja) | 情報処理装置、情報処理装置の制御方法、及びプログラム | |
JP5676030B2 (ja) | プログラム、および、当該プログラムを実行するゲーム装置 | |
GB2572213A (en) | Second user avatar method and system | |
JP6310516B2 (ja) | ゲームプログラム及びゲームシステム | |
JPWO2020174586A1 (ja) | 情報処理装置、情報処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220609 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220609 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230425 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230523 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7285703 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |