JP2021114295A - 3d関節点回帰モデル生成方法及び装置、電子機器、コンピュータ可読記憶媒体並びにコンピュータプログラム - Google Patents
3d関節点回帰モデル生成方法及び装置、電子機器、コンピュータ可読記憶媒体並びにコンピュータプログラム Download PDFInfo
- Publication number
- JP2021114295A JP2021114295A JP2021006367A JP2021006367A JP2021114295A JP 2021114295 A JP2021114295 A JP 2021114295A JP 2021006367 A JP2021006367 A JP 2021006367A JP 2021006367 A JP2021006367 A JP 2021006367A JP 2021114295 A JP2021114295 A JP 2021114295A
- Authority
- JP
- Japan
- Prior art keywords
- joint point
- label
- regression model
- sample image
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000004590 computer program Methods 0.000 title claims description 18
- 238000012549 training Methods 0.000 claims abstract description 94
- 210000000988 bone and bone Anatomy 0.000 claims description 65
- 230000006870 function Effects 0.000 description 71
- 238000010586 diagram Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 5
- 210000003414 extremity Anatomy 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000011882 arthroplasty Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
- G06T2207/20044—Skeletonization; Medial axis transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
Description
まず、2Dラベルの付されたサンプル画像301及び3Dラベルの付されたサンプル画像302を取得するステップと、
その後、2Dラベルの付されたサンプル画像301を第1入力303とし、2Dラベルに対応する関節点ヒートマップセット304を第1所望出力305とし、基本3D関節点回帰モデル306の出力層における部分チャネル307をトレーニングするステップと、
最後に、3Dラベルの付されたサンプル画像302を第2入力308とし、3Dラベルに対応する関節点ヒートマップセット309を第2所望出力310の第1部分出力311とし、3Dラベルに対応する関節点奥行き情報マップセット312を第2所望出力310の第2部分出力313とし、基本3D関節点回帰モデルの出力層における全チャネル314をトレーニングするステップと、を含む。
本実施例において、3D関節点座標生成方法の実行主体(例えば、図1に示す端末又はサーバ)は、ローカル又はクラウドからタスクを含む画像を取得することができる。
Claims (21)
- 2Dラベルの付されたサンプル画像及び3Dラベルの付されたサンプル画像を取得するステップと、
前記2Dラベルの付されたサンプル画像を第1入力とし、2Dラベルに対応する関節点ヒートマップセットを第1所望出力とし、基本3D関節点回帰モデルの出力層における部分チャネルをトレーニングするステップと、
前記3Dラベルの付されたサンプル画像を第2入力とし、3Dラベルに対応する関節点ヒートマップセットを第2所望出力の第1部分出力とし、3Dラベルに対応する関節点奥行き情報マップセットを第2所望出力の第2部分出力とし、前記基本3D関節点回帰モデルの出力層における全チャネルをトレーニングするステップと、を含む3D関節点回帰モデル生成方法。 - 前記の前記2Dラベルの付されたサンプル画像を第1入力とし、2Dラベルに対応する関節点ヒートマップセットを第1所望出力とし、基本3D関節点回帰モデルの出力層における部分チャネルをトレーニングするステップは、
前記2Dラベルの付されたサンプル画像を第1入力とし、2Dラベルに対応する関節点ヒートマップセットを第1所望出力とし、2Dラベルの付されたサンプル画像に対応する幾何学的拘束損失関数を前記第1所望出力に対応する損失関数とし、基本3D関節点回帰モデルの出力層における部分チャネルをトレーニングすることを含む請求項1に記載の方法。 - 前記の前記3Dラベルの付されたサンプル画像を第2入力とし、3Dラベルに対応する関節点ヒートマップセットを第2所望出力の第1部分出力とし、3Dラベルに対応する関節点奥行き情報マップセットを第2所望出力の第2部分出力とし、前記基本3D関節点回帰モデルの出力層における全チャネルをトレーニングするステップは、
前記3Dラベルの付されたサンプル画像を第2入力とし、3Dラベルに対応する関節点ヒートマップセットを第2所望出力の第1部分出力とし、3Dラベルに対応する関節点奥行き情報マップセットを第2所望出力の第2部分出力とするとともに、3Dラベルの付されたサンプル画像に対応する幾何学的拘束損失関数の重み値を前記第2所望出力の第1部分出力に対応する損失関数とし、3Dラベルの付されたサンプル画像に対応するユークリッド距離損失関数の重み値を前記第2所望出力の第2部分出力に対応する損失関数とし、前記基本3D関節点回帰モデルの出力層における全チャネルをトレーニングすることを含む請求項1に記載の方法。 - 前記幾何学的拘束損失関数は、各予測骨の長さ比率とサンプル画像セットにおける骨の長さ割合の平均値との間のユークリッド距離を含み、予測骨は、前記基本3D関節点回帰モデルから出力される関節点ヒートマップセットにおける骨であり、
各予測骨の長さ割合は、1回のトレーニングで選択されたサンプル画像セットにおける各サンプル画像に対応する各予測骨の長さと基準データセットにおける骨の長さとの比率であり、
サンプル画像セットにおける骨の長さ割合は、1回のトレーニングで選択されたサンプル画像セットにおける全てのサンプル画像に対応する全ての予測骨の長さと基準データセットにおける骨の長さとの比率である請求項2又は3に記載の方法。 - 前記3Dラベルの付されたサンプル画像に対応するユークリッド距離損失関数は、
前記3Dラベルの付されたサンプル画像を第2入力としたときに、前記基本3D関節点回帰モデルから出力される関節点奥行き情報マップセットにおける奥行き情報と、前記3Dラベルにおけるラベル付けされた関節点奥行き情報とのユークリッド距離を含む請求項3に記載の方法。 - 前記基本3D関節点回帰モデルは、
初期3D関節点回帰モデルか、2Dラベルの付されたサンプル画像を用いて初期3D関節点回帰モデルをトレーニングして得られる予めトレーニングされた3D関節点回帰モデル、のいずれか一方を含む請求項1に記載の方法。 - 前記予めトレーニングされた3D関節点回帰モデルは、
2Dラベルの付されたサンプル画像を入力とし、前記2Dラベルを所望出力とし、関節点回帰モデルから出力される関節点ヒートマップセットに基づいて確定された関節点座標と2Dラベルにおける2D関節点座標との間のユークリッド距離を損失関数とし、前記初期3D関節点回帰モデルをトレーニングして得られること、により確定される請求項6に記載の方法。 - 人物を含む画像を取得するステップと、
前記画像をトレーニングされた3D関節点回帰モデルに入力して、前記トレーニングされた3D関節点回帰モデルから出力される関節点ヒートマップセット及び関節点奥行き情報マップセットを得るステップであって、前記トレーニングされた3D関節点回帰モデルが請求項1〜7のいずれか一項に記載の3D関節点回帰モデル生成方法を用いて、基本3D関節点回帰モデルをトレーニングして得られるステップと、
前記関節点ヒートマップセット及び関節点奥行き情報マップセットに基づいて、前記人物の3D関節点座標を確定するステップと、を含む3D関節点座標生成方法。 - 前記方法は、
前記人物の3D関節点座標に基づいて、人体の動作パラメータを確定するステップと、
前記人体の動作パラメータに基づいて、前記人物の動作を提示する提示情報を生成するステップと、をさらに含む請求項8に記載の方法。 - 2Dラベルの付されたサンプル画像及び3Dラベルの付されたサンプル画像を取得するように構成されるサンプル画像取得ユニットと、
前記2Dラベルの付されたサンプル画像を第1入力とし、2Dラベルに対応する関節点ヒートマップセットを第1所望出力とし、基本3D関節点回帰モデルの出力層における部分チャネルをトレーニングするように構成される部分チャネルトレーニングユニットと、
前記3Dラベルの付されたサンプル画像を第2入力とし、3Dラベルに対応する関節点ヒートマップセットを第2所望出力の第1部分出力とし、3Dラベルに対応する関節点奥行き情報マップセットを第2所望出力の第2部分出力とし、前記基本3D関節点回帰モデルの出力層における全チャネルをトレーニングするように構成される全チャネルトレーニングユニットと、を含む3D関節点回帰モデル生成装置。 - 前記部分チャネルトレーニングユニットはさらに、
前記2Dラベルの付されたサンプル画像を第1入力とし、2Dラベルに対応する関節点ヒートマップセットを第1所望出力とし、2Dラベルの付されたサンプル画像に対応する幾何学的拘束損失関数を前記第1所望出力に対応する損失関数とし、基本3D関節点回帰モデルの出力層における部分チャネルをトレーニングするように構成される請求項10に記載の装置。 - 前記全チャネルトレーニングユニットはさらに、
前記3Dラベルの付されたサンプル画像を第2入力とし、3Dラベルに対応する関節点ヒートマップセットを第2所望出力の第1部分出力とし、3Dラベルに対応する関節点奥行き情報マップセットを第2所望出力の第2部分出力とするとともに、3Dラベルの付されたサンプル画像に対応する幾何学的拘束損失関数の重み値を前記第2所望出力の第1部分出力に対応する損失関数とし、3Dラベルの付されたサンプル画像に対応するユークリッド距離損失関数の重み値を前記第2所望出力の第2部分出力に対応する損失関数とし、前記基本3D関節点回帰モデルの出力層における全チャネルをトレーニングするように構成される、請求項10に記載の装置。 - 前記部分チャネルトレーニングユニット又は前記全チャネルトレーニングユニットの両方における幾何学的拘束損失関数は、各予測骨の長さ割合とサンプル画像セットにおける骨の長さ割合の平均値との間のユークリッド距離を含み、
予測骨は、前記基本3D関節点回帰モデルから出力される関節点ヒートマップセットにおける骨であり、
各予測骨の長さ割合は、1回のトレーニングで選択されたサンプル画像セットにおける各サンプル画像に対応する各予測骨の長さと基準データセットにおける骨の長さとの比率であり、
サンプル画像セットにおける骨の長さ割合は、1回のトレーニングで選択されたサンプル画像セットにおける全てのサンプル画像に対応する全ての予測骨の長さと基準データセットにおける骨の長さとの比率である、請求項11又は12に記載の装置。 - 前記全チャネルトレーニングユニットにおける3Dラベルの付されたサンプル画像に対応するユークリッド距離損失関数は、
前記3Dラベルの付されたサンプル画像を第2入力としたときに、前記基本3D関節点回帰モデルから出力される関節点奥行き情報マップセットにおける奥行き情報と、前記3Dラベルにおけるラベル付けされた関節点奥行き情報とのユークリッド距離を含む、請求項12に記載の装置。 - 前記部分チャネルトレーニングユニット又は前記全チャネルトレーニングユニットの両方における前記基本3D関節点回帰モデルは、
初期3D関節点回帰モデルか、2Dラベルの付されたサンプル画像を用いて初期3D関節点回帰モデルをトレーニングして得られる予めトレーニングされた3D関節点回帰モデル、のいずれか一方を含む、請求項10に記載の装置。 - 前記予めトレーニングされた3D関節点回帰モデルは、
2Dラベルの付されたサンプル画像を入力とし、前記2Dラベルを所望出力とし、関節点回帰モデルから出力される関節点ヒートマップセットに基づいて確定された関節点座標と2Dラベルにおける2D関節点座標との間のユークリッド距離を損失関数とし、前記初期3D関節点回帰モデルをトレーニングして得られること、により確定される、請求項15に記載の装置。 - 人物を含む画像を取得するように構成される画像取得ユニットと、
前記画像をトレーニングされた3D関節点回帰モデルに入力して、前記トレーニングされた3D関節点回帰モデルから出力される関節点ヒートマップセット及び関節点奥行き情報マップセットを得るように構成される画像入力ユニットであって、前記トレーニングされた3D関節点回帰モデルが請求項10〜16のいずれか一項に記載の3D関節点回帰モデル生成装置を用いて、基本3D関節点回帰モデルをトレーニングして得られる画像入力ユニットと、
前記関節点ヒートマップセット及び関節点奥行き情報マップセットに基づいて、前記人物の3D関節点座標を確定するように構成される座標確定ユニットと、を含む、
3D関節点座標生成装置。 - 前記装置は、
前記人物の3D関節点座標に基づいて、人体の動作パラメータを確定するように構成される動作パラメータ確定ユニットと、
前記人体の動作パラメータに基づいて、前記人物の動作を提示する提示情報を生成するように構成される提示情報生成ユニットと、
をさらに含む請求項17に記載の装置。 - 1つ又は複数のプロセッサと、
1つ又は複数のプログラムを記憶するための記憶装置と、を含む電子機器であって、
前記1つ又は複数のプログラムが前記1つ又は複数のプロセッサによって実行される場合に、前記1つ又は複数のプロセッサに請求項1〜9のいずれか一項に記載の方法を実現させる電子機器。 - コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、該プログラムがプロセッサで実行される場合に、請求項1〜9のいずれか一項に記載の方法を実現するコンピュータ可読記憶媒体。
- コンピュータプログラムであって、
該コンピュータプログラムがプロセッサによって実行される場合に、請求項1〜7のいずれか一項に記載の3D関節点回帰モデル生成方法及び/又は請求項8〜9のいずれか一項に記載の3D関節点座標生成方法を実現する、コンピュータプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010064261.5 | 2020-01-20 | ||
CN202010064261.5A CN111260774B (zh) | 2020-01-20 | 2020-01-20 | 生成3d关节点回归模型的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021114295A true JP2021114295A (ja) | 2021-08-05 |
JP7361060B2 JP7361060B2 (ja) | 2023-10-13 |
Family
ID=70950782
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021006367A Active JP7361060B2 (ja) | 2020-01-20 | 2021-01-19 | 3d関節点回帰モデル生成方法及び装置、電子機器、コンピュータ可読記憶媒体並びにコンピュータプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11341718B2 (ja) |
EP (1) | EP3859678A1 (ja) |
JP (1) | JP7361060B2 (ja) |
KR (1) | KR102382419B1 (ja) |
CN (1) | CN111260774B (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113449637A (zh) * | 2021-06-28 | 2021-09-28 | 桂林电子科技大学 | 毫米波雷达人体骨骼姿势估计方法和装置 |
CN113505768A (zh) * | 2021-09-10 | 2021-10-15 | 北京的卢深视科技有限公司 | 模型训练、人脸识别方法、电子设备及存储介质 |
KR102421776B1 (ko) * | 2021-09-27 | 2022-07-19 | 주식회사 넥스트도어 | 3차원 객체모델 생성 장치 및 그 방법 |
CN115171149B (zh) * | 2022-06-09 | 2023-12-05 | 广州紫为云科技有限公司 | 基于单目rgb图像回归的实时人体2d/3d骨骼关键点识别方法 |
US20240112367A1 (en) * | 2022-09-30 | 2024-04-04 | Hinge Health, Inc. | Real-time pose estimation through bipartite matching of heatmaps of joints and persons and display of visualizations based on the same |
CN116958584B (zh) * | 2023-09-21 | 2024-01-05 | 腾讯科技(深圳)有限公司 | 关键点检测方法、回归模型的训练方法、装置及电子设备 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04270372A (ja) * | 1990-12-25 | 1992-09-25 | Kongouzen Souhonzan Shiyourinji | 技能開発方法 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5625577A (en) * | 1990-12-25 | 1997-04-29 | Shukyohojin, Kongo Zen Sohonzan Shorinji | Computer-implemented motion analysis method using dynamics |
JP2002259474A (ja) * | 2001-03-05 | 2002-09-13 | Oojisu Soken:Kk | 人体モデル生成方法、人体モデル生成装置、コンピュータプログラム及び記録媒体 |
JP4270372B2 (ja) | 2003-05-20 | 2009-05-27 | 東洋ゴム工業株式会社 | ランフラットタイヤ |
EP3314577A1 (en) * | 2015-06-24 | 2018-05-02 | Max-Planck-Gesellschaft zur Förderung der Wissenschaften | Skinned multi-person linear model |
GB2554633B (en) * | 2016-06-24 | 2020-01-22 | Imperial College Sci Tech & Medicine | Detecting objects in video data |
GB201703129D0 (en) * | 2017-02-27 | 2017-04-12 | Metail Ltd | Quibbler |
CN107392097B (zh) * | 2017-06-15 | 2020-07-07 | 中山大学 | 一种单目彩色视频的三维人体关节点定位方法 |
US10380413B2 (en) * | 2017-07-13 | 2019-08-13 | Robert Bosch Gmbh | System and method for pose-invariant face alignment |
JP6879433B2 (ja) * | 2017-09-29 | 2021-06-02 | 日本電気株式会社 | 回帰装置、回帰方法、及びプログラム |
CN110622213B (zh) * | 2018-02-09 | 2022-11-15 | 百度时代网络技术(北京)有限公司 | 利用3d语义地图进行深度定位和分段的系统和方法 |
WO2019207176A1 (es) * | 2018-04-25 | 2019-10-31 | Seddi, Inc. | Modelado de dinámica de tejido blando no lineal para avatares interactivos |
CN109299685A (zh) * | 2018-09-14 | 2019-02-01 | 北京航空航天大学青岛研究院 | 用于人体关节3d坐标估计的推断网络及其方法 |
US11475630B2 (en) * | 2018-10-17 | 2022-10-18 | Midea Group Co., Ltd. | System and method for generating acupuncture points on reconstructed 3D human body model for physical therapy |
CN109508681B (zh) * | 2018-11-20 | 2021-11-30 | 北京京东尚科信息技术有限公司 | 生成人体关键点检测模型的方法和装置 |
CN109711277B (zh) * | 2018-12-07 | 2020-10-27 | 中国科学院自动化研究所 | 基于时空频域混合学习的行为特征提取方法、系统、装置 |
CN109858524B (zh) * | 2019-01-04 | 2020-10-16 | 北京达佳互联信息技术有限公司 | 手势识别方法、装置、电子设备及存储介质 |
GB2581524B (en) * | 2019-02-22 | 2022-05-11 | Huawei Tech Co Ltd | Facial shape representation and generation system and method |
US10853970B1 (en) * | 2019-03-22 | 2020-12-01 | Bartec Corporation | System for estimating a three dimensional pose of one or more persons in a scene |
CN110009059B (zh) * | 2019-04-16 | 2022-03-29 | 北京字节跳动网络技术有限公司 | 用于生成模型的方法和装置 |
EP3731185A1 (en) * | 2019-04-26 | 2020-10-28 | Tata Consultancy Services Limited | Weakly supervised learning of 3d human poses from 2d poses |
CN110188700B (zh) * | 2019-05-31 | 2022-11-29 | 安徽大学 | 基于分组回归模型的人体三维关节点预测方法 |
US11417011B2 (en) * | 2020-02-11 | 2022-08-16 | Nvidia Corporation | 3D human body pose estimation using a model trained from unlabeled multi-view data |
US20230169727A1 (en) * | 2020-04-30 | 2023-06-01 | Google Llc | Generative Nonlinear Human Shape Models |
CN111753669A (zh) * | 2020-05-29 | 2020-10-09 | 广州幻境科技有限公司 | 基于图卷积网络的手部数据识别方法、系统和存储介质 |
-
2020
- 2020-01-20 CN CN202010064261.5A patent/CN111260774B/zh active Active
- 2020-09-15 US US17/021,218 patent/US11341718B2/en active Active
-
2021
- 2021-01-19 JP JP2021006367A patent/JP7361060B2/ja active Active
- 2021-01-20 EP EP21152567.0A patent/EP3859678A1/en active Pending
- 2021-01-20 KR KR1020210008115A patent/KR102382419B1/ko active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04270372A (ja) * | 1990-12-25 | 1992-09-25 | Kongouzen Souhonzan Shiyourinji | 技能開発方法 |
Non-Patent Citations (2)
Title |
---|
ALWXANDROS ANDRE CHAARAOUI ET AL.: "A review on vision techniques applied to Human Behaviour Analysis for Ambient-Assisted Living", EXPERT SYSTEM WITH APPLICATIONS, vol. 39, JPN7022000912, 2012, US, ISSN: 0005022175 * |
XINGYI ZHOU: "Towards 3D Human Pose Estimation in the Wild: A Weakly-Supervised Approach", 2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV), JPN6022008196, 22 October 2017 (2017-10-22), US, ISSN: 0005022174 * |
Also Published As
Publication number | Publication date |
---|---|
US20210225069A1 (en) | 2021-07-22 |
EP3859678A1 (en) | 2021-08-04 |
CN111260774A (zh) | 2020-06-09 |
KR102382419B1 (ko) | 2022-04-08 |
KR20210093795A (ko) | 2021-07-28 |
JP7361060B2 (ja) | 2023-10-13 |
US11341718B2 (en) | 2022-05-24 |
CN111260774B (zh) | 2023-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2021114295A (ja) | 3d関節点回帰モデル生成方法及び装置、電子機器、コンピュータ可読記憶媒体並びにコンピュータプログラム | |
CN111524216B (zh) | 生成三维人脸数据的方法和装置 | |
CN104102811B (zh) | 创建人体工学人体模型的姿势以及使用自然用户界面控制计算机辅助设计环境 | |
CN111274425A (zh) | 医疗影像分类方法、装置、介质及电子设备 | |
CN109754464B (zh) | 用于生成信息的方法和装置 | |
WO2020177348A1 (zh) | 用于生成三维模型的方法和装置 | |
US20240185579A1 (en) | Computer vision and speech algorithm design service | |
CN109523615B (zh) | 用于虚拟动画人物动作的数据处理方法及装置 | |
JP2014085933A (ja) | 3次元姿勢推定装置、3次元姿勢推定方法、及びプログラム | |
Yang et al. | Posture-invariant three dimensional human hand statistical shape model | |
JP2022172173A (ja) | 画像編集モデルのトレーニング方法および装置、画像編集方法および装置、電子機器、記憶媒体並びにコンピュータプログラム | |
CN111523408B (zh) | 动作捕捉方法和装置 | |
Stefanov et al. | Opensense: A platform for multimodal data acquisition and behavior perception | |
CN112270242B (zh) | 轨迹的显示方法、装置、可读介质和电子设备 | |
CN115775310A (zh) | 数据处理方法、装置、电子设备和存储介质 | |
CN111447379B (zh) | 生成信息的方法和装置 | |
KR20220156062A (ko) | 역기구학에 기반한 관절 회전 추론들 | |
WO2023109666A1 (zh) | 虚拟换装方法、装置、电子设备及可读介质 | |
Geng et al. | Simulation data integration-based approach for motion synthesis in virtual maintenance | |
EP4123588A1 (en) | Image processing device and moving-image data generation method | |
US20220310225A1 (en) | Health management apparatus and method for providing health management service based on neuromusculoskeletal model | |
Hur et al. | Informing expert feature engineering through automated approaches: Implications for coding qualitative classroom video data | |
Gulrez et al. | Precision position tracking in virtual reality environments using sensor networks | |
Leonori et al. | The bridge between xsens motion-capture and robot operating system (ros): Enabling robots with online 3d human motion tracking | |
CN111582208A (zh) | 用于生成生物体姿态关键点信息的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210203 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220308 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220601 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20221004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230118 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20230118 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230130 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20230131 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20230331 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20230404 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20230425 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231002 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7361060 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |