JP2019061679A5 - - Google Patents

Download PDF

Info

Publication number
JP2019061679A5
JP2019061679A5 JP2018180654A JP2018180654A JP2019061679A5 JP 2019061679 A5 JP2019061679 A5 JP 2019061679A5 JP 2018180654 A JP2018180654 A JP 2018180654A JP 2018180654 A JP2018180654 A JP 2018180654A JP 2019061679 A5 JP2019061679 A5 JP 2019061679A5
Authority
JP
Japan
Prior art keywords
dimensional
links
person
representation
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018180654A
Other languages
English (en)
Other versions
JP2019061679A (ja
JP6927937B2 (ja
Filing date
Publication date
Priority claimed from US15/868,374 external-priority patent/US10607079B2/en
Application filed filed Critical
Publication of JP2019061679A publication Critical patent/JP2019061679A/ja
Publication of JP2019061679A5 publication Critical patent/JP2019061679A5/ja
Application granted granted Critical
Publication of JP6927937B2 publication Critical patent/JP6927937B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (10)

  1. 人物の三次元骨格表現を生成する方法であって、
    二次元画像から、前記二次元画像内に存在する人物の二次元骨格表現を生成するステップであって、前記二次元骨格表現は複数の関節と前記複数の関節の個々の関節の間の複数のリンクとを備える、ステップと、
    1つ以上のリンクが1つ以上のリング構造の中心を通過するように、前記複数のリンクの前記1つ以上のリンクの周囲に前記1つ以上のリング構造を配置するステップと、
    前記複数のリンクの前記1つ以上のリンクの周囲に配置された前記1つ以上のリング構造と交差する深さクラウドのポイントを識別するステップであって、前記深さクラウドのポイントは、深さセンサによって生成され、各ポイントが深さ情報を提供する、ステップと、
    前記複数のリンクの前記1つ以上のリンクの周囲に配置された前記1つ以上のリング構造と交差する前記深さクラウドのポイントの深さ情報を用いて前記二次元骨格表現を三次元空間内に投影し、それによって前記人物の前記三次元骨格表現を生成するステップと、
    前記三次元骨格表現から歩行情報を記録するステップと、を含む、方法。
  2. 前記二次元骨格表現を三次元空間内に投影するステップは、前記複数のリンクの前記1つ以上のリンクの周囲に配置された前記1つ以上のリング構造と交差する前記深さクラウドの全てのポイントの深さ情報を平均するステップを含む、請求項1に記載の方法。
  3. 少なくとも部分的に前記三次元骨格表現に基づいてユーザを認証するステップを更に含む、請求項1または2に記載の方法。
  4. 前記ユーザを認証するステップは、
    前記三次元骨格表現から前記ユーザのポーズを入手するステップと、
    複数の登録ユーザに対する複数の記憶されたポーズを備える記憶域にアクセスするステップと、
    前記ユーザの前記ポーズを前記複数の記憶されたポーズの1つと照合するステップと、を含む、請求項3に記載の方法。
  5. 前記1つ以上のリング構造は、前記人物の1つ以上の部位に対応するように形成され、サイズとなる、請求項1から4の何れか一項に記載の方法。
  6. 1つ以上のセンサから画像データを入手するステップを更に含み、前記画像データは前記二次元画像を含む、請求項1から5の何れか一項に記載の方法。
  7. プロセッサと、前記プロセッサによって実行されたときに、前記プロセッサに、請求項1から6の何れか一項に記載の方法を完了させる機械可読命令を備えた非一時的記憶装置と、を備える、ロボット。
  8. アームと、前記アームの端部に配置されたエンドエフェクタと、を更に含み、
    前記機械可読命令が前記プロセッサに、更に、
    前記人物の手に保持された対象物を決定させ、
    前記人物の前記三次元骨格表現から三次空間内の前記人物の前記手の場所を決定させる、請求項7に記載のロボット。
  9. 前記機械可読命令が更にアーム及びエンドエフェクタを前記人物の手の方へ移動させ対象物を把持させる、請求項7または8に記載のロボット。
  10. 前記プロセッサと通信可能に接続された複数のセンサを更に備え、前記複数のセンサが前記二次元画像を提供する、請求項7から9の何れか一項に記載のロボット。
JP2018180654A 2017-09-26 2018-09-26 三次元骨格表現を生成するためのシステム及び方法 Active JP6927937B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762563427P 2017-09-26 2017-09-26
US62/563,427 2017-09-26
US15/868,374 US10607079B2 (en) 2017-09-26 2018-01-11 Systems and methods for generating three dimensional skeleton representations
US15/868,374 2018-01-11

Publications (3)

Publication Number Publication Date
JP2019061679A JP2019061679A (ja) 2019-04-18
JP2019061679A5 true JP2019061679A5 (ja) 2020-08-06
JP6927937B2 JP6927937B2 (ja) 2021-09-01

Family

ID=65807643

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018180654A Active JP6927937B2 (ja) 2017-09-26 2018-09-26 三次元骨格表現を生成するためのシステム及び方法

Country Status (2)

Country Link
US (1) US10607079B2 (ja)
JP (1) JP6927937B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491820B (zh) * 2018-04-02 2022-04-12 京东方科技集团股份有限公司 图像中肢体表示信息的识别方法、装置及设备、存储介质
US11694432B2 (en) * 2019-07-23 2023-07-04 Toyota Research Institute, Inc. System and method for augmenting a visual output from a robotic device
CN113510707A (zh) * 2021-07-23 2021-10-19 上海擎朗智能科技有限公司 一种机器人的控制方法、装置、电子设备及存储介质
CN117581278A (zh) * 2021-08-17 2024-02-20 创峰科技 移动平台上实时手持式无标记人体动作记录和虚拟形象渲染
US11553043B1 (en) * 2022-06-16 2023-01-10 Embark Trucks Inc. Low bandwidth protocol for streaming sensor data

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10037491A1 (de) * 2000-08-01 2002-02-14 Stryker Leibinger Gmbh & Co Kg Verfahren zum dreidimensionalen Visualisieren von Strukturen im Körperinneren
US8114172B2 (en) * 2004-07-30 2012-02-14 Extreme Reality Ltd. System and method for 3D space-dimension based image processing
US8976160B2 (en) * 2005-03-01 2015-03-10 Eyesmatch Ltd User interface and authentication for a virtual mirror
US9165199B2 (en) 2007-12-21 2015-10-20 Honda Motor Co., Ltd. Controlled human pose estimation from depth image streams
US8542252B2 (en) * 2009-05-29 2013-09-24 Microsoft Corporation Target digitization, extraction, and tracking
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation
US8582867B2 (en) 2010-09-16 2013-11-12 Primesense Ltd Learning-based pose estimation from depth maps
US8922547B2 (en) 2010-12-22 2014-12-30 Electronics And Telecommunications Research Institute 3D model shape transformation method and apparatus
US9047507B2 (en) 2012-05-02 2015-06-02 Apple Inc. Upper-body skeleton extraction from depth maps
EP2674913B1 (en) * 2012-06-14 2014-07-23 Softkinetic Software Three-dimensional object modelling fitting & tracking.
US9275277B2 (en) 2013-02-22 2016-03-01 Kaiser Foundation Hospitals Using a combination of 2D and 3D image data to determine hand features information
US9340155B2 (en) * 2013-09-17 2016-05-17 Toyota Motor Sales, U.S.A., Inc. Interactive vehicle window display system with user identification
US9911219B2 (en) * 2015-05-13 2018-03-06 Intel Corporation Detection, tracking, and pose estimation of an articulated body
EP3425591B1 (en) * 2017-07-07 2021-01-13 Tata Consultancy Services Limited System and method for tracking body joints

Similar Documents

Publication Publication Date Title
JP2019061679A5 (ja)
US11691273B2 (en) Generating a model for an object encountered by a robot
JP2019523664A5 (ja)
JP6963041B2 (ja) ロボットアクションへの修正に基づく局所的特徴モデルの更新
JP6222898B2 (ja) 3次元計測装置及びロボット装置
WO2020033504A3 (en) Autonomous machine navigation and training using vision system
JP6892286B2 (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
WO2018063100A3 (en) System for placing objects on a surface and method thereof
JP2018124985A5 (ja)
JP2015513679A5 (ja)
JP2015015058A5 (ja)
JP2017087326A5 (ja)
JP2018056971A5 (ja)
JP2014199584A5 (ja)
JP2014013146A5 (ja)
WO2015108071A1 (ja) 3次元データ生成装置、造形物製造システム及び3次元データ生成方法
JP2008506953A5 (ja)
JP2015536507A5 (ja)
JP2018034242A5 (ja) ロボット制御装置、及びロボットシステム
JP2018119833A (ja) 情報処理装置、システム、推定方法、コンピュータプログラム、及び記憶媒体
JP2015145055A (ja) ロボット、ロボットシステム、制御装置および制御方法
JP2016527998A5 (ja)
JP2009258884A (ja) ユーザインタフェイス
JP6770208B2 (ja) 情報処理装置
JP2018017654A (ja) 検出装置、ロボットおよびロボット制御装置