JP2019061679A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2019061679A5 JP2019061679A5 JP2018180654A JP2018180654A JP2019061679A5 JP 2019061679 A5 JP2019061679 A5 JP 2019061679A5 JP 2018180654 A JP2018180654 A JP 2018180654A JP 2018180654 A JP2018180654 A JP 2018180654A JP 2019061679 A5 JP2019061679 A5 JP 2019061679A5
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- links
- person
- representation
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000002356 Skeleton Anatomy 0.000 claims 6
- 210000001503 Joints Anatomy 0.000 claims 4
- 210000003484 anatomy Anatomy 0.000 claims 1
- 230000005021 gait Effects 0.000 claims 1
Claims (10)
- 人物の三次元骨格表現を生成する方法であって、
二次元画像から、前記二次元画像内に存在する人物の二次元骨格表現を生成するステップであって、前記二次元骨格表現は複数の関節と前記複数の関節の個々の関節の間の複数のリンクとを備える、ステップと、
1つ以上のリンクが1つ以上のリング構造の中心を通過するように、前記複数のリンクの前記1つ以上のリンクの周囲に前記1つ以上のリング構造を配置するステップと、
前記複数のリンクの前記1つ以上のリンクの周囲に配置された前記1つ以上のリング構造と交差する深さクラウドのポイントを識別するステップであって、前記深さクラウドのポイントは、深さセンサによって生成され、各ポイントが深さ情報を提供する、ステップと、
前記複数のリンクの前記1つ以上のリンクの周囲に配置された前記1つ以上のリング構造と交差する前記深さクラウドのポイントの深さ情報を用いて前記二次元骨格表現を三次元空間内に投影し、それによって前記人物の前記三次元骨格表現を生成するステップと、
前記三次元骨格表現から歩行情報を記録するステップと、を含む、方法。 - 前記二次元骨格表現を三次元空間内に投影するステップは、前記複数のリンクの前記1つ以上のリンクの周囲に配置された前記1つ以上のリング構造と交差する前記深さクラウドの全てのポイントの深さ情報を平均するステップを含む、請求項1に記載の方法。
- 少なくとも部分的に前記三次元骨格表現に基づいてユーザを認証するステップを更に含む、請求項1または2に記載の方法。
- 前記ユーザを認証するステップは、
前記三次元骨格表現から前記ユーザのポーズを入手するステップと、
複数の登録ユーザに対する複数の記憶されたポーズを備える記憶域にアクセスするステップと、
前記ユーザの前記ポーズを前記複数の記憶されたポーズの1つと照合するステップと、を含む、請求項3に記載の方法。 - 前記1つ以上のリング構造は、前記人物の1つ以上の部位に対応するように形成され、サイズとなる、請求項1から4の何れか一項に記載の方法。
- 1つ以上のセンサから画像データを入手するステップを更に含み、前記画像データは前記二次元画像を含む、請求項1から5の何れか一項に記載の方法。
- プロセッサと、前記プロセッサによって実行されたときに、前記プロセッサに、請求項1から6の何れか一項に記載の方法を完了させる機械可読命令を備えた非一時的記憶装置と、を備える、ロボット。
- アームと、前記アームの端部に配置されたエンドエフェクタと、を更に含み、
前記機械可読命令が前記プロセッサに、更に、
前記人物の手に保持された対象物を決定させ、
前記人物の前記三次元骨格表現から三次空間内の前記人物の前記手の場所を決定させる、請求項7に記載のロボット。 - 前記機械可読命令が更にアーム及びエンドエフェクタを前記人物の手の方へ移動させ対象物を把持させる、請求項7または8に記載のロボット。
- 前記プロセッサと通信可能に接続された複数のセンサを更に備え、前記複数のセンサが前記二次元画像を提供する、請求項7から9の何れか一項に記載のロボット。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762563427P | 2017-09-26 | 2017-09-26 | |
US62/563,427 | 2017-09-26 | ||
US15/868,374 US10607079B2 (en) | 2017-09-26 | 2018-01-11 | Systems and methods for generating three dimensional skeleton representations |
US15/868,374 | 2018-01-11 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019061679A JP2019061679A (ja) | 2019-04-18 |
JP2019061679A5 true JP2019061679A5 (ja) | 2020-08-06 |
JP6927937B2 JP6927937B2 (ja) | 2021-09-01 |
Family
ID=65807643
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018180654A Active JP6927937B2 (ja) | 2017-09-26 | 2018-09-26 | 三次元骨格表現を生成するためのシステム及び方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10607079B2 (ja) |
JP (1) | JP6927937B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108491820B (zh) * | 2018-04-02 | 2022-04-12 | 京东方科技集团股份有限公司 | 图像中肢体表示信息的识别方法、装置及设备、存储介质 |
US11694432B2 (en) * | 2019-07-23 | 2023-07-04 | Toyota Research Institute, Inc. | System and method for augmenting a visual output from a robotic device |
CN113510707A (zh) * | 2021-07-23 | 2021-10-19 | 上海擎朗智能科技有限公司 | 一种机器人的控制方法、装置、电子设备及存储介质 |
CN117581278A (zh) * | 2021-08-17 | 2024-02-20 | 创峰科技 | 移动平台上实时手持式无标记人体动作记录和虚拟形象渲染 |
US11553043B1 (en) * | 2022-06-16 | 2023-01-10 | Embark Trucks Inc. | Low bandwidth protocol for streaming sensor data |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10037491A1 (de) * | 2000-08-01 | 2002-02-14 | Stryker Leibinger Gmbh & Co Kg | Verfahren zum dreidimensionalen Visualisieren von Strukturen im Körperinneren |
US8114172B2 (en) * | 2004-07-30 | 2012-02-14 | Extreme Reality Ltd. | System and method for 3D space-dimension based image processing |
US8976160B2 (en) * | 2005-03-01 | 2015-03-10 | Eyesmatch Ltd | User interface and authentication for a virtual mirror |
US9165199B2 (en) | 2007-12-21 | 2015-10-20 | Honda Motor Co., Ltd. | Controlled human pose estimation from depth image streams |
US8542252B2 (en) * | 2009-05-29 | 2013-09-24 | Microsoft Corporation | Target digitization, extraction, and tracking |
US20110025689A1 (en) * | 2009-07-29 | 2011-02-03 | Microsoft Corporation | Auto-Generating A Visual Representation |
US8582867B2 (en) | 2010-09-16 | 2013-11-12 | Primesense Ltd | Learning-based pose estimation from depth maps |
US8922547B2 (en) | 2010-12-22 | 2014-12-30 | Electronics And Telecommunications Research Institute | 3D model shape transformation method and apparatus |
US9047507B2 (en) | 2012-05-02 | 2015-06-02 | Apple Inc. | Upper-body skeleton extraction from depth maps |
EP2674913B1 (en) * | 2012-06-14 | 2014-07-23 | Softkinetic Software | Three-dimensional object modelling fitting & tracking. |
US9275277B2 (en) | 2013-02-22 | 2016-03-01 | Kaiser Foundation Hospitals | Using a combination of 2D and 3D image data to determine hand features information |
US9340155B2 (en) * | 2013-09-17 | 2016-05-17 | Toyota Motor Sales, U.S.A., Inc. | Interactive vehicle window display system with user identification |
US9911219B2 (en) * | 2015-05-13 | 2018-03-06 | Intel Corporation | Detection, tracking, and pose estimation of an articulated body |
EP3425591B1 (en) * | 2017-07-07 | 2021-01-13 | Tata Consultancy Services Limited | System and method for tracking body joints |
-
2018
- 2018-01-11 US US15/868,374 patent/US10607079B2/en not_active Expired - Fee Related
- 2018-09-26 JP JP2018180654A patent/JP6927937B2/ja active Active
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019061679A5 (ja) | ||
US11691273B2 (en) | Generating a model for an object encountered by a robot | |
JP2019523664A5 (ja) | ||
JP6963041B2 (ja) | ロボットアクションへの修正に基づく局所的特徴モデルの更新 | |
JP6222898B2 (ja) | 3次元計測装置及びロボット装置 | |
WO2020033504A3 (en) | Autonomous machine navigation and training using vision system | |
JP6892286B2 (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
WO2018063100A3 (en) | System for placing objects on a surface and method thereof | |
JP2018124985A5 (ja) | ||
JP2015513679A5 (ja) | ||
JP2015015058A5 (ja) | ||
JP2017087326A5 (ja) | ||
JP2018056971A5 (ja) | ||
JP2014199584A5 (ja) | ||
JP2014013146A5 (ja) | ||
WO2015108071A1 (ja) | 3次元データ生成装置、造形物製造システム及び3次元データ生成方法 | |
JP2008506953A5 (ja) | ||
JP2015536507A5 (ja) | ||
JP2018034242A5 (ja) | ロボット制御装置、及びロボットシステム | |
JP2018119833A (ja) | 情報処理装置、システム、推定方法、コンピュータプログラム、及び記憶媒体 | |
JP2015145055A (ja) | ロボット、ロボットシステム、制御装置および制御方法 | |
JP2016527998A5 (ja) | ||
JP2009258884A (ja) | ユーザインタフェイス | |
JP6770208B2 (ja) | 情報処理装置 | |
JP2018017654A (ja) | 検出装置、ロボットおよびロボット制御装置 |