JP2023167320A - 学習モデル生成装置、関節点検出装置、学習モデル生成方法、関節点検出方法、及びプログラム - Google Patents

学習モデル生成装置、関節点検出装置、学習モデル生成方法、関節点検出方法、及びプログラム Download PDF

Info

Publication number
JP2023167320A
JP2023167320A JP2022078407A JP2022078407A JP2023167320A JP 2023167320 A JP2023167320 A JP 2023167320A JP 2022078407 A JP2022078407 A JP 2022078407A JP 2022078407 A JP2022078407 A JP 2022078407A JP 2023167320 A JP2023167320 A JP 2023167320A
Authority
JP
Japan
Prior art keywords
learning model
joint point
loss
machine learning
point coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022078407A
Other languages
English (en)
Inventor
遊哉 石井
Yuya Ishii
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2022078407A priority Critical patent/JP2023167320A/ja
Publication of JP2023167320A publication Critical patent/JP2023167320A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

【課題】画像から関節点の３次元座標を検出する際の検出精度を向上させる。【解決手段】学習モデル生成装置１０は、画像中の人の各関節点の２次元座標を特定可能な２次元関節点座標データと、各関節点の３次元座標を特定可能な３次元関節点座標データとを含む訓練データのうち、２次元関節点座標データを取得し、取得した２次元関節点座標データを機械学習モデルに入力する、データ取得部１１と、２次元関節点座標データ毎に、機械学習モデルで算出された特徴量を取得し、特徴量間の距離を算出する、特徴量間距離算出部１２と、３次元関節点座標データを用いて、訓練データの元となった人の体格間における類似度を算出する、類似度算出部１３と、類似度と特徴量間の距離とを用いて特徴量についての損失を算出する、損失算出部１４と、損失を用いて機械学習モデルのパラメータを更新する、学習モデル生成部１５とを備えている。【選択図】図１

Description

本開示は、画像から人の関節点を検出するための学習モデルを生成する、学習モデル生成装置、及び学習モデル生成方法に関し、更には、これらを実現するためのプログラムに関する。また、本開示は、画像から人の関節点を検出する、関節点検出装置、及び関節点検出方法に関し、更には、これらを実現するためのプログラムに関する。
近年、２次元の画像から人の各関節の３次元座標を検出することによって、人の姿勢を推定する技術が開発されている（例えば、特許文献１参照）。このような技術は、画像監視システムの分野、スポーツの分野、ゲームの分野などでの利用が期待されている。また、このような技術において、人の各関節の３次元座標の検出には、学習モデルが用いられる。
学習モデルは、例えば、訓練データとして、画像中の人から抽出した関節の２次元座標（以下「２次元関節点座標」と表記する）と、この人の関節の３次元座標（以下「３次元関節点座標」）とを用いて、機械学習することによって構築される（例えば、非特許文献１参照）。訓練データにおいて、３次元関節点座標は、教師データに該当する。
また、機械学習は、学習モデルに、訓練データとなる２次元関節点座標を入力し、出力された３次元関節点座標と、教師データである３次元関節点座標との差分が小さくなるように、学習モデルのパラメータを更新することによって行われる。
特開２０２１－４７５６３号公報
Gregory Rogez, Cordelia Schmid, " MoCap-guided Data Augmentation for 3D Pose Estimation in the Wild", arXiv:1607.02046v2 [cs.CV], 28 Oct 2016, ［令和3年11月1日検索］，インターネット＜URL：http:// https://arxiv.org/pdf/1607.02046.pdf＞
ところで、学習モデルによる３次元関節点座標の検出精度を高めるためには、多くの訓練データ用意する必要があるが、学習モデルにおける機械学習は、訓練データが多様な体格の人から得られていたとしても、平均的な体格の場合の値を出力するように進行する。この結果、姿勢推定の対象となる人の背が、訓練データの取得元の人の背に比べて高い場合、又は低い場合に、検出精度が低下するという問題が生じる。
本開示の目的の一例は、画像から関節点の３次元座標を検出する際の検出精度を向上させることにある。
上記目的を達成するため、本開示の一側面における学習モデル生成装置は、
画像中の人の複数の関節点それぞれの２次元座標を特定可能な２次元関節点座標データと、前記人の前記複数の関節点それぞれの３次元座標を特定可能な３次元関節点座標データと、を含む訓練データのうち、前記２次元関節点座標データを取得し、取得した前記２次元関節点座標データを、機械学習モデルに入力する、データ取得部と、
前記２次元関節点座標データ毎に、前記機械学習モデルにおいて算出された特徴量を取得し、更に、取得した前記特徴量を用いて、特徴量間の距離を算出する、特徴量間距離算出部と、
前記訓練データである前記３次元関節点座標データを用いて、前記訓練データの元となった前記人の体格間における類似度を算出する、類似度算出部と、
算出された前記類似度と、算出された前記特徴量間の距離と、を用いて、前記機械学習モデルにおける特徴量についての損失を算出する、損失算出部と、
算出された前記損失を用いて、前記機械学習モデルのパラメータを更新する、学習モデル生成部と、
を備えている、ことを特徴とする。
上記目的を達成するため、本開示の一側面における関節点検出装置は、
画像中の人の複数の関節点それぞれの２次元座標を特定可能な２次元関節点座標データを取得する、データ取得部と、
取得された前記２次元関節点座標データを、人の関節点の２次元座標と３次元座標との関係を機械学習している機械学習モデルに適用して、前記人の前記複数の関節点それぞれの３次元座標を検出する、関節点検出部と、
を備え、
前記機械学習モデルのパラメータは、
訓練データとなる、２次元関節点座標データと人の複数の関節点それぞれの３次元座標を特定可能な３次元関節点座標データとを用いた機械学習において、
当該機械学習モデルで算出された特徴量から得られた特徴量間の距離と、前記訓練データの元になった人の体格間における類似度と、から得られた、当該機械学習モデルにおける特徴量についての損失を用いて、更新されている、
ことを特徴とする。
また、上記目的を達成するため、本開示の一側面における学習モデル生成方法は、
画像中の人の複数の関節点それぞれの２次元座標を特定可能な２次元関節点座標データと、前記人の前記複数の関節点それぞれの３次元座標を特定可能な３次元関節点座標データと、を含む訓練データのうち、前記２次元関節点座標データを取得し、取得した前記２次元関節点座標データを、機械学習モデルに入力する、データ取得ステップと、
前記２次元関節点座標データ毎に、前記機械学習モデルにおいて算出された特徴量を取得し、更に、取得した前記特徴量を用いて、特徴量間の距離を算出する、特徴量間距離算出ステップと、
前記訓練データである前記３次元関節点座標データを用いて、前記訓練データの元となった前記人の体格間における類似度を算出する、類似度算出ステップと、
算出された前記類似度と、算出された前記特徴量間の距離と、を用いて、前記機械学習モデルにおける特徴量についての損失を算出する、損失算出ステップと、
算出された前記損失を用いて、前記機械学習モデルのパラメータを更新する、学習モデル生成ステップと、
を有する、ことを特徴とする。
更に、上記目的を達成するため、本開示の一側面におけるプログラムは、
コンピュータに、
画像中の人の複数の関節点それぞれの２次元座標を特定可能な２次元関節点座標データと、前記人の前記複数の関節点それぞれの３次元座標を特定可能な３次元関節点座標データと、を含む訓練データのうち、前記２次元関節点座標データを取得し、取得した前記２次元関節点座標データを、機械学習モデルに入力する、データ取得ステップと、
前記２次元関節点座標データ毎に、前記機械学習モデルにおいて算出された特徴量を取得し、更に、取得した前記特徴量を用いて、特徴量間の距離を算出する、特徴量間距離算出ステップと、
前記訓練データである前記３次元関節点座標データを用いて、前記訓練データの元となった前記人の体格間における類似度を算出する、類似度算出ステップと、
算出された前記類似度と、算出された前記特徴量間の距離と、を用いて、前記機械学習モデルにおける特徴量についての損失を算出する、損失算出ステップと、
算出された前記損失を用いて、前記機械学習モデルのパラメータを更新する、学習モデル生成ステップと、
を実行させる、ことを特徴とする。
以上のように本開示によれば、画像から関節点の３次元座標を検出する際の検出精度を向上させることができる。
図１は、実施の形態１における学習モデル生成装置の概略構成を示す構成図である。 図２は、実施の形態１における学習モデル生成装置の構成を具体的に示す構成図である。 図３は、実施の形態１で用いられる骨の長さベクトル及び骨の長さの比ベクトルの一例を示す図である。 図４は、実施の形態１における機械学習モデルの生成を説明する図である。 図５は、実施の形態１における学習モデル生成装置の動作を示すフロー図である。 図６は、実施の形態２における学習モデル生成装置の構成を示す構成図である。 図７は、実施の形態２における学習モデル生成装置の動作を示すフロー図である。 図８は、実施の形態３における学習モデル生成装置の構成を示す図である。 図９は、実施の形態３で用いられる３次元ポーズデータの一例を示す図である。 図１０は、実施の形態３における３次元ポーズデータセットの操作処理を説明する説明図である。 図１１は、実施の形態３における類似度の算出処理を説明する説明図である。 図１２は、実施の形態３で作成された新たな２次元画像を模式的に示す図である。 図１３は、実施の形態４における関節点検出装置の構成を示す構成図である。 図１４は、実施の形態４における関節点検出装置の動作を示すフロー図である。 図１５は、実施の形態１～４における学習モデル生成装置及び関節点検出装置を実現するコンピュータの一例を示すブロック図である。
（実施の形態１）
以下、実施の形態１における学習モデル生成装置、学習モデル生成方法、及びプログラムについて、図１～図５を参照しながら説明する。
［装置構成］
最初に、実施の形態１における学習モデル生成装置の概略構成について図１を用いて説明する。図１は、実施の形態１における学習モデル生成装置の概略構成を示す構成図である。
図１に示す、実施の形態１における学習モデル生成装置１０は、人の２次元の画像における関節点の２次元座標から人の関節点の３次元座標を推定するための機械学習モデルを生成するための装置である。
図１に示すように、学習モデル生成装置１０は、データ取得部１１と、特徴量間距離算出部１２と、類似度算出部１３と、損失算出部１４と、学習モデル生成部１５と、を備えている。
データ取得部１１は、画像中の人の２次元関節点座標データと、３次元関節点座標データとを含む訓練データのうち、２次元関節点座標データを取得し、取得した前記２次元関節点座標データを、機械学習モデルに入力する。機械学習モデルは、２次元関節点座標データが入力されると、入力された２次元関節点座標データに応じて、３次元関節点座標データを出力するモデルである。
２次元関節点座標データは、画像中の人の複数の関節点それぞれの２次元座標を特定可能なデータである。３次元関節点座標データは、人の複数の関節点それぞれの３次元座標を特定可能なデータであり、教師データとなる。
特徴量間距離算出部１２は、２次元関節点座標データ毎に、機械学習モデルにおいて算出された特徴量を取得し、更に、取得した２次元関節点座標データ毎の特徴量を用いて、特徴量間の距離を算出する。類似度算出部１３は、訓練データである３次元関節点座標データを用いて、訓練データの元となった人の体格間における類似度を算出する。
損失算出部１４は、類似度算出部１３が算出した類似度と、特徴量間距離算出部１２が算出した特徴量間の距離と、を用いて、機械学習モデルにおける特徴量についての損失を算出する。学習モデル生成部１５は、損失算出部１４が算出した損失を用いて、機械学習モデル２０のパラメータを更新する。
このように、実施の形態１では、訓練データの元になった人物の特徴量空間における差分と体格のバラツキとを反映した損失が算出され、この損失に基づいて、機械学習モデルのパラメータが更新される。このため、実施の形態１によって得られた機械学習モデルを用いれば、「姿勢推定の対象となる人物の背が、訓練データの取得元の人物の背に比べて高い場合、又は低い場合に、検出精度が低下する」という問題が解消される。つまり、実施の形態によれば、画像から関節点の３次元座標を検出する際の検出精度が向上する。
続いて、図２～図４を用いて、実施の形態１における学習モデル生成装置１０の構成及び機能について具体的に説明する。図２は、実施の形態１における学習モデル生成装置の構成を具体的に示す構成図である。
図２に示すように、学習モデル生成装置１０は、上述した、データ取得部１１、特徴量間距離算出部１２、類似度算出部１３、損失算出部１４、及び学習モデル生成部１５に加えて、正解データ取得部１６と、機械学習モデル２０とを備えている。
機械学習モデル２０は、実施の形態１では、ニューラルネットワーク、具体的には、ＤＮＮ（Deep Newral Network）である。機械学習モデル２０は、入力層と、隠れ層（中間層）と、出力層とを有する。機械学習モデル２０は、実際には、コンピュータ上で実行される機械学習プログラムによって実装される。また、機械学習モデル２０は、学習モデル生成装置１０とは別の装置（コンピュータ）に実装されていても良い。
実施の形態１では、機械学習モデル２０の訓練データとなる、２次元関節点座標データ及び３次元関節点座標データは、データベース３０に格納されている。３次元関節点座標データは、教師データである。
ここで、２次元関節点座標データとしては、人物の画像と、画像上の各関節点の２次元座標の集合とが挙げられる。また、各関節点の２次元座標の集合の代わりに、各関節点が存在する可能性を表現するマップ、例えば、ヒートマップが用いられていても良い。
３次元関節点座標データは、教師データである。各３次元関節点座標データは、一つの２次元関節点座標データに対応している。また、３次元関節点座標データとしては、対応する２次元関節点座標データにおける、人物の各関節点の３次元座標の集合が挙げられる。
データ取得部１１は、データベース３０から、訓練データとして用意されている各２次元関節点座標データを取得し、取得した２次元関節点座標データそれぞれを、順に、機械学習モデル２０に入力する。
特徴量間距離算出部１２は、データ取得部１１によって２次元関節点座標データが機械学習モデル２０に入力される度に、機械学習モデル２０において算出された特徴量、具体的には、機械学習モデル２０の中間層の出力値（以下「中間特徴量」とも表記する）を取得する。
そして、特徴量間距離算出部１２は、取得した中間特徴量それぞれが総当たりとなるように、２つの中間特徴量間の組合せを設定し、２つの中間特徴量の組合せ毎に、特徴量間距離を算出する。なお、２つの中間特徴量の組合せは、言い換えると、機械学習モデル２０に入力された訓練データの元となった人物同士の組合せである。従って、特徴量間距離算出部１２は、機械学習モデル２０に入力された訓練データの元となった人物同士の組合せ毎に、特徴量間距離を算出している。なお、以降においては、「機械学習モデル２０に入力された訓練データの元となった人物同士の組合せ」は、単に「人物同士の組合せ」とも表記する。
具体的には、特徴量間距離算出部１２は、特徴量間距離として、２つの中間特徴量間の差分を算出する。ここで、例えば、人物Ａの中間特徴量をfeaA、人物Ｂの中間特徴量をfeaBとすると、特徴量間距離は、「L2_norm( feaA - feaB )」と表される。
正解データ取得部１６は、データベース３０から、訓練データであり、且つ、教師データである、３次元関節点座標データを取得する。また、正解データ取得部１６は、取得した各３次元関節点座標データを、類似度算出部１３に渡す。
類似度算出部１３は、受け取った３次元関節点座標データを用いて、機械学習モデル２０に入力された訓練データの元となった人物同士の組合せ毎に、体格間における類似度を算出する。具体的には、類似度算出部１３は、まず、人物毎に、３次元関節点座標データを用いて、骨の長さベクトルを算出し、更に、算出した骨の長さベクトルから「骨の長さの比ベクトル」を算出する。
図３は、実施の形態１で用いられる骨の長さベクトル及び骨の長さの比ベクトルの一例を示す図である。図３に示すように、骨の長さベクトルは、「右肩から右肘の長さ」、「右肘から右手首の長さ」、「右腰から右足首の長さ」、「左腰から左足首の長さ」等で構成されている。また、図３に示すように、各長さは、関節点間の座標値の差分から算出される。骨の長さの比ベクトルは、骨の長さベクトルを構成する各長さを、基準となる長さで除算することで算出される。
続いて、類似度算出部１３は、訓練データの対象となった全人物の骨の長さ比ベクトルについて平均ベクトルを算出する。ここで、平均ベクトルは、「phymean」と表記する。更に、類似度算出部１３は、人物毎に、その体格を表すベクトル（以下「体格ベクトル」と表記する）を算出する。例えば、人物Ａの体格ベクトルを「phyA」、人物Ｂの体格ベクトルを「phyB」と表記すると、体格ベクトルは、下記の数１によって算出される。
Figure 2023167320000002
続いて、類似度算出部は、人物毎の体格ベクトルを用いて、総当たりとなるように、機械学習モデル２０に入力された訓練データの元となった人物同士の組合せ毎に、類似度、例えば、コサイン類似度（cos_sim(phyA, phyB)）を算出する。なお、実施の形態１においては、類似度は、コサイン類似度に限定されず、例えば、ユークリッド距離が用いられていても良い。
損失算出部１４は、実施の形態１では、類似度算出部１３によって算出されたコサイン類似度（cos_sim(phyA, phyB)）と、特徴量間距離算出部１２によって算出された特徴量間距離（L2_norm( feaA - feaB )）とを用いて、機械学習モデル２０における特徴量についての損失lossｍを算出する。
具体的には、損失算出部１４は、例えば、下記の数２を用いて、損失lossｍを算出する。下記の数２において、i及びjは、機械学習モデル２０に入力された訓練データの元になった人物を示すインデックスである。(i, j)は、機械学習モデル２０に入力された訓練データの元となった人物同士の組合せ人物同士の組合せを示している。なお、(i, j)と(j, i)とは重複するため、下記の数２においては、どちらか一方についてのみ計算されている。また、損失算出部１４は、別の数式を用いて、損失lossｍを算出することもできる。
Figure 2023167320000003
学習モデル生成部１５は、損失算出部１４によって算出される各損失losspが小さくなるように、機械学習モデル２０であるＤＮＮのパラメータを更新する。これにより、図４に示すように、ＤＮＮにおける特徴量空間においては、特徴量間の距離が、人物の体格に比例した距離となる。図４は、実施の形態１における機械学習モデルの生成を説明する図である。このようにしてパラメータが更新された結果、訓練データの基となった人物の体格に影響されることなく、関節点の３次元座標を正確に推定可能な、機械学習モデル２０が生成されることになる。
［装置動作］
次に、実施の形態１における学習モデル生成装置１０の動作について図５を用いて説明する。図５は、実施の形態１における学習モデル生成装置の動作を示すフロー図である。以下の説明においては、適宜図１～図４を参照する。また、実施の形態１では、学習モデル生成装置１０を動作させることによって、学習モデル生成方法が実施される。よって、実施の形態１における学習モデル生成方法の説明は、以下の学習モデル生成装置１０の動作説明に代える。
図５に示すように、最初に、データ取得部１１は、訓練データとして用意されている人物毎の２次元関節点座標データを取得する（ステップＡ１）。次に、データ取得部１１は、ステップＡ１で取得した２次元関節点座標データを、機械学習モデル２０に入力する（ステップＡ２）。なお、ステップＡ１及びＡ２は、用意されている全ての訓練データについて行われていても良いし、設定数の訓練データのみについて行われていても良い。
次に、特徴量間距離算出部１２は、ステップＡ２において、データ取得部１１が２次元関節点座標データを機械学習モデル２０に入力すると、機械学習モデル２０において算出された中間特徴量を取得する（ステップＡ３）。ステップＡ２及びＡ３は、ステップＡ１で取得された２次元関節点座標データの数だけ、繰り返し実行される。
次に、特徴量間距離算出部１２は、ステップＡ１で取得された全ての２次元関節点座標データについて中間特徴量が取得されると、２つの中間特徴量の組合せ毎に、特徴量間距離を算出する（ステップＡ４）。
次に、正解データ取得部１６は、データベース３０から、３次元関節点座標データを取得し、取得した各３次元関節点座標データを、類似度算出部１３に渡す（ステップＡ５）。
次に、類似度算出部１３は、受け取った３次元関節点座標データを用いて、機械学習モデル２０に入力された訓練データの元となった人物同士の組合せ毎に、体格間における類似度を算出する（ステップＡ６）。
次に、損失算出部１４は、類似度算出部１３が算出した類似度と、特徴量間距離算出部１２が算出した特徴量間の距離と、を用いて、上記数２を用いて、機械学習モデルにおける特徴量についての損失lossmを算出する（ステップＡ７）。
次に、学習モデル生成部１５は、ステップＡ７で算出された損失lossmが小さくなるように、機械学習モデル２０のパラメータを更新する（ステップＡ８）。
以上のように、実施の形態１によれば、訓練データの元になった人物の特徴量空間における差分と体格のバラツキとを反映した損失が算出され、この損失に基づいて、機械学習モデルのパラメータが更新される。このため、関節点の３次元座標を正確に推定可能な、機械学習モデル２０が生成されることになる。実施の形態１によれば、「姿勢推定の対象となる人の背が、訓練データの取得元の人物の背に比べて高い場合、又は低い場合に、検出精度が低下する」という問題が解消され、画像から関節点の３次元座標を検出する際の検出精度が向上する。
［変形例］
続いて、実施の形態１における変形例について説明する。本変形例では、訓練データとなる人物について、ＳＭＰＬ（Skinned Multi-Person Linear）モデルが作成されている。ＳＭＰＬモデルは、人物の身体の表面形状を特定可能なモデルであり、人物が太っているかどうかを示す形状ベクトルβを有している。形状ベクトルβは、身体の形状を示す１０個のパラメータで構成されている。本変形例では、３次元関節点座標データには、形状ベクトルβが含まれる。
このため、本変形例では、正解データ取得部１６は、人物の３次元関節点座標データとして、形状ベクトルβを取得し、取得した形状ベクトルβを、類似度算出部１３に渡す。この場合、類似度算出部１３は、人物毎の形状ベクトルβを用いて、体格間における類似度を算出する。
また、ＳＭＰＬモデルは、形状ベクトルβに加えて、関節点の３次元座標を示すパラメータも含まれている。従って、訓練データとなる人物についてＳＭＰＬモデルが作成されている場合は、正解データ取得部１６は、各人物のＳＭＰＬモデルから、３次元関節点座標データを取得し、取得した各３次元関節点座標データを、類似度算出部１３に渡す。
［プログラム］
実施の形態１におけるプログラムは、コンピュータに、図５に示すステップＡ１～Ａ８を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、実施の形態１における学習モデル生成装置１０と学習モデル生成方法とを実現することができる。この場合、コンピュータのプロセッサは、データ取得部１１、特徴量間距離算出部１２、類似度算出部１３、損失算出部１４、学習モデル生成部１５、及び正解データ取得部１６として機能し、処理を行なう。コンピュータとしては、汎用のＰＣの他に、スマートフォン、タブレット型端末装置が挙げられる。また、コンピュータのプロセッサは、機械学習モデル２０も構築する。
また、実施の形態１におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、データ取得部１１、特徴量間距離算出部１２、類似度算出部１３、損失算出部１４、学習モデル生成部１５、及び正解データ取得部１６のいずれかとして機能しても良い。
（実施の形態２）
続いて、実施の形態２における学習モデル生成装置、学習モデル生成方法、及びプログラムについて、図６及び図７を参照しながら説明する。
［装置構成］
最初に、実施の形態２における学習モデル生成装置の構成について図６を用いて説明する。図６は、実施の形態２における学習モデル生成装置の構成を示す構成図である。
図２に示す、実施の形態２における学習モデル生成装置４０も、実施の形態１において図２に示した学習モデル生成装置１０と同様に、機械学習モデル２０を生成するための装置である。
また、図２に示すように、学習モデル生成装置４０も、学習モデル生成装置１０と同様に、データ取得部１１と、特徴量間距離算出部１２と、類似度算出部１３と、損失算出部１４と、学習モデル生成部１５と、正解データ取得部１６と、機械学習モデル２０とを備えている。
但し、図２に示すように、学習モデル生成装置４０は、学習モデル生成装置１０と異なり、上記に加えて、損失統合部４１と、第２の損失算出部４２と、を備えている。以下、実施の形態１との相違点を中心に説明する。
第２の損失算出部４２は、データ取得部１１による２次元関節点座標データ（訓練データ）の入力に応じて機械学習モデル２０が出力した３次元関節点座標データを取得する。そして、第２の損失算出部４２は、機械学習モデル２０が出力した３次元関節点座標データと、訓練データである３次元関節点座標データとを用いて、機械学習モデル２０に入力された訓練データの元となった人物毎に、機械学習モデル２０における出力についての損失を算出する。その後、第２の損失算出部４２は、人物毎の損失を合計して、損失losspを算出する。
損失losspの算出処理は、下記の数３で表される。下記において3D_datamは、機械学習モデル２０が出力した３次元関節点座標データであり、3D_datatは、訓練データである３次元関節点座標データである。iは、機械学習モデル２０に入力された訓練データの元になった人物を示すインデックスである。
Figure 2023167320000004
損失統合部４１は、損失算出部１４によって算出された特徴量についての損失lossmと第２の損失算出部４２によって算出された、出力についての損失losspとを統合する。具体的には、損失統合部４１は、下記の数４を用いて、特徴量についての損失lossmと出力についての損失losspとの加重平均を求めることによって、両者を統合して、最終的な損失Lossとする。下記の数４においてλは、加重平均における重み係数を表している。重み係数λの値は適宜設定される。
Figure 2023167320000005
学習モデル生成部１５は、実施の形態２では、統合によって得られた損失Lossを用いて、損失Lossが小さくなるように、機械学習モデル２０であるＤＮＮのパラメータを更新する。
［装置動作］
次に、実施の形態２における学習モデル生成装置４０の動作について図７を用いて説明する。図７は、実施の形態２における学習モデル生成装置の動作を示すフロー図である。以下の説明においては、適宜図６を参照する。また、実施の形態２では、学習モデル生成装置４０を動作させることによって、学習モデル生成方法が実施される。よって、実施の形態２における学習モデル生成方法の説明は、以下の学習モデル生成装置４０の動作説明に代える。
図７に示すように、最初に、データ取得部１１は、訓練データとして用意されている人物毎の２次元関節点座標データを取得する（ステップＢ１）。次に、データ取得部１１は、ステップＢ１で取得した２次元関節点座標データを、機械学習モデル２０に入力する（ステップＢ２）。
次に、特徴量間距離算出部１２は、ステップＢ２において、データ取得部１１が２次元関節点座標データを機械学習モデル２０に入力すると、機械学習モデル２０において算出された中間特徴量を取得する（ステップＢ３）。ステップＢ２及びＢ３は、ステップＢ１で取得された２次元関節点座標データの数だけ、繰り返し実行される。
次に、特徴量間距離算出部１２は、ステップＢ１で取得された全ての２次元関節点座標データについて中間特徴量が取得されると、２つの中間特徴量の組合せ毎に、特徴量間距離を算出する（ステップＢ４）。
次に、正解データ取得部１６は、データベース３０から、３次元関節点座標データを取得し、取得した各３次元関節点座標データを、類似度算出部１３に渡す（ステップＢ５）。
次に、類似度算出部１３は、受け取った３次元関節点座標データを用いて、機械学習モデル２０に入力された訓練データの元となった人物同士の組合せ毎に、体格間における類似度を算出する（ステップＢ６）。
次に、損失算出部１４は、類似度算出部１３が算出した類似度と、特徴量間距離算出部１２が算出した特徴量間の距離と、を用いて、上記数２を用いて、機械学習モデルにおける特徴量についての損失lossmを算出する（ステップＢ７）。なお、実施の形態２において、ステップＢ１～Ｂ７それぞれは、実施の形態１におけるステップＡ１～Ａ７と同様のステップである。
次に、第２の損失算出部４２は、ステップＢ３の入力に応じて機械学習モデル２０の出力層が出力した３次元関節点座標データを取得する。更に、第２の損失算出部４２は、上記数３を用いて、取得した３次元関節点座標データと、訓練データである３次元関節点座標データとを用いて、人物毎に、機械学習モデル２０における出力についての損失を算出する。そして、第２の損失算出部４２は、人物毎の損失を合計して、損失losspを算出する（ステップＢ８）。
次に、損失統合部４１は、上記数４を用いて、ステップＢ７で算出された特徴量についての損失losspとステップＢ８で算出された出力についての損失losspとを統合して、最終的な損失Lossを算出する（ステップＢ９）。
その後、学習モデル生成部１５は、ステップＢ９で算出された損失Lossが小さくなるように、機械学習モデル２０のパラメータを更新する（ステップＢ１０）。
以上のように、実施の形態２によっても、訓練データの元になった人物の特徴量空間における差分と体格のバラツキとを反映した損失が算出され、この損失に基づいて、機械学習モデルのパラメータが更新される。このため。実施の形態２においても、「姿勢推定の対象となる人の背が、訓練データの取得元の人物の背に比べて高い場合、又は低い場合に、検出精度が低下する」という問題が解消され、画像から関節点の３次元座標を検出する際の検出精度が向上する。また、実施の形態２によれば、機械学習モデル２０の出力による損失も考慮されるので、検出精度がいっそう向上することになる。
［プログラム］
実施の形態２におけるプログラムは、コンピュータに、図７に示すステップＢ１～Ｂ１０を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、実施の形態２における学習モデル生成装置１０と学習モデル生成方法とを実現することができる。この場合、コンピュータのプロセッサは、データ取得部１１、特徴量間距離算出部１２、類似度算出部１３、損失算出部１４、学習モデル生成部１５、正解データ取得部１６、損失統合部４１、及び第２の損失算出部４２として機能し、処理を行なう。コンピュータとしては、汎用のＰＣの他に、スマートフォン、タブレット型端末装置が挙げられる。また、コンピュータのプロセッサは、機械学習モデル２０も構築する。
また、実施の形態２におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、データ取得部１１、特徴量間距離算出部１２、類似度算出部１３、損失算出部１４、学習モデル生成部１５、正解データ取得部１６、損失統合部４１、及び第２の損失算出部４２のいずれかとして機能しても良い。
（実施の形態３）
続いて、実施の形態３における学習モデル生成装置、学習モデル生成方法、及びプログラムについて、図８～図１１を参照しながら説明する。
図８は、実施の形態３における学習モデル生成装置の構成を示す図である。図８に示すように、実施の形態３においては、学習モデル生成装置４０に、データ拡張装置５０が組み合わされている。なお、学習モデル生成装置４０は、実施の形態２において図６に示したものと同様である。また、実施の形態３では、学習モデル生成装置４０の代わりに、学習モデル生成装置１０が用いられていても良い。以下においては、主にデータ拡張装置５０について説明する。
図８に示すように、データ拡張装置５０は、データ取得部５１と、射影処理部５２と、データ探索部５３と、画像生成部５４と、データベース７０とを備えている。
データ取得部１１は、図９に示す３次元ポーズ（3D pose）データセット６０を取得する。図９は、実施の形態３で用いられる３次元ポーズデータの一例を示す図である。図９に示すように、３次元ポーズデータセット６０は、１人の人の関節点６１毎の３次元座標の集合で構成されている。また、３次元ポーズデータセットには、各関節点６１を識別する識別データ（右手首、左手首、首等）も付与されている。
また、図９の例では、各関節点６１の３次元座標は、カメラ座標系で表現されているが、座標系は特に限定されるものではない。各関節点６１の３次元座標は、世界座標系であっても良い。なお、カメラ座標系は、カメラの位置を原点とする座標系である。カメラ座標系では、カメラの水平方向がｘ軸、垂直方向がｙ軸、光軸方向がｚ軸に設定される。ｚ座標はカメラからの距離を表している。また、世界座標系は、実空間に任意に設定される座標系であり、カメラの足元の地面に原点が設定される。世界座標系では、鉛直方向がＺ軸に設定される。
射影処理部５２は、３次元ポーズデータセット６０の全部又は特定の部位に含まれる関節点６１（図９参照）それぞれを、２次元平面上、即ち、画像座標系に射影し、画像座標系における関節点６１それぞれの射影座標（２次元座標）を生成する。画像座標系は、２次元の画像上での座標系であり、通常、左側の上の画素が原点に設定される。
データベース７０は、予め、複数の組データ７１を登録している。組データ７１は人の３次元ポーズデータセットと、この３次元ポーズデータセットと同じポーズをしている人の２次元画像の画像データと、これらに対応するカメラパラメータと、を関連付けたデータである。
カメラパラメータとしては、関節点の３次元座標がカメラ座標系で表現されている場合は、内部パラメータが用いられ、関節点の３次元座標が世界座標系で表現されている場合は、内部パラメータと外部パラメータとが用いられる。なお、内部パラメータは、カメラ座標系と画像座標系とを結ぶ行列、焦点距離、光軸のズレ等で表される。外部パラメータは、世界座標系とカメラ座標系とを結ぶ行列、世界座標に対するカメラの位置、カメラの傾きで表される。
データ探索部５３は、組データ毎に以下の処理を実行する。組データは、人の関節点それぞれの３次元座標の集合と、この人の２次元画像と、カメラパラメータとを、互いに関連付けたデータである。
データ探索部５３は、まず、組データ毎に、内部パラメータを用いて、組データの３次元ポーズデータセットにおける全部又は特定の部位に含まれる各関節点の３次元座標について、画像座標系での、対応する２次元座標を特定する。
続いて、データ探索部５３は、組データ毎に、３次元ポーズデータセットから生成された射影座標の集合と、特定した２次元座標の集合とが重なるように、対象データの３次元ポーズデータセットを操作する。そして、データ探索部１３は、組データ毎に、操作後の３次元ポーズデータセットと、組データの３次元ポーズデータセットとの類似度を算出する。また、射影座標と２次元座標とが特定部位について得られている場合は、データ探索部１３は、特定部位の３次元ポーズデータセットを用いて類似度を算出する。
具体的には、まず、重なった場合の条件として、例えば、組データ毎に、生成された射影座標の集合に含まれる２以上の関節点と特定した２次元座標の集合に含まれる２以上の関節点とが一致することが設定されているとする。データ探索部５３は、条件が満たされるように、操作として、対象データ又は組データの３次元ポーズデータセット（３次元座標の集合）に対して、並進、回転、拡大、及び縮小のうち、いずれか又はこれらの組合せを行う。
そして、条件が満たされると、データ探索部５３は、操作後の３次元座標における特定の関節点から別の関節点に向かう単位ベクトルと、組データの３次元座標における特定の関節点から別の関節点に向かう単位ベクトルとを求める。そして、データ探索部５３は、求めた両者の単位ベクトルに基づいて、類似度を算出する。その後、データ探索部５３は、組データ毎に算出した類似度に基づいて、最初に取得された３次元ポーズデータセットに対応する組データを特定する。
図１０及び図１１を用いて、データ探索部５３による３次元ポーズデータセットの操作処理と類似度の算出処理について、より詳細に説明する。図１０は、実施の形態３における３次元ポーズデータセットの操作処理を説明する説明図である。図１１は、実施の形態３における類似度の算出処理を説明する説明図である。
まず、対象データの３次元ポーズデータセットをｐ（＝｛ｐ１，ｐ２，・・・ｐｎ｝）、データベース７０における組データの３次元ポーズデータセットをｑ（＝｛ｑ１，ｑ２，・・・ｑｎ｝）とする。ｐｎ及びｑｎは、それぞれ関節点を示している。
図１０に示すように、対象データにおいて、同一人物の２つの関節点ｐｊ及びｐｉを想定する。関節点ｐｊと、関節点ｐｊに骨で接続された関節点と、の集合をｐＡＤ，ｊとする。関節点ｐｊ及びｐｉは、３次元ポーズデータセットにおいては、ｐｃ ｊ及びｐｃ ｉと表記する。この関節点ｐｃ ｊ及びｐｃ ｉを画像座標系に射影して得られた関節点をｐｌ ｊ及びｐｌ ｉと表記する。また、ｐｌ ｉ∈ｐｌ ＡＤ，ｊは、ｐｌ ｊから最も遠い関節点であるとする。
また、組データにおいても、対応する２つの関節点ｑｊ及びｑｉを想定し、これらと骨で接続された関節点の集合をｑＡＤ，ｊとする。関節点をｑｊ及びｑｉは、３次元ポーズデータセットにおいては、ｑｃ ｊ及びｑｃ ｉと表記する。関節点ｑｊ及びｑｉに対応する画像座標系の関節点をｑｌ ｊ及びｑｌ ｉと表記する。また、ｑｌ ｉ∈ｑｌ ＡＤ，ｊは、ｑｌ ｊから最も遠い関節点であるとする。
データ探索部５３は、図９に示すように、画像座標系において、関節点ｐｌ ｊ及びｐｌ ｉが関節点ｑｌ ｊ及びｑｌ ｉに一致するように、カメラ座標系において、３次元ポーズデータセットｑｃに対して、並進、回転、拡大、及び縮小のうち、いずれか又はこれらの組合せを実行する。また、この操作により、ｑｌ ｊ及びｑｌ ｉを含む画像座標系の関節点も操作されることになる。操作後のｑｌ ｊ及びｑｃ ｊは、それぞれｑｌ’ ｊ及びｑｃ’ ｊで表される（図５参照）。
また、図９の例では、回転は、カメラ座標系のｘｙ平面内でのみ行われる。拡大及び縮小は、カメラ座標系のｘ軸、ｙ軸、ｚ軸のいずれにおいても、同じ倍率で行われる。また、データ探索部１３による操作に応じて、組データを構成する２次元画像Ｉに対しても、並進、回転、拡大、及び縮小のうち、いずれか又はこれらの組合せが行われる。操作後の２次元画像をＩ’とする。
データ探索部５３は、操作後、図１１に示すように、対象データにおいて、関節点ｐｃ ｊからｐｃ ｋ∈ｐＣ ＡＤ，ｊに向かう単位ベクトルｔｊｋを求め、組データにおいて、関節点ｑｃ’ ｊからｑｃ’ ｋ∈ｑＣ’ ＡＤ，ｊに向かう単位ベクトルｓｊｋを求める。続いて、データ探索部１３は、下記の数５を用いて、関節点ｐｃ ｊを中心とした構造と、関節点ｑｃ’ ｊを中心とした構造と、の類似度Ｄｊを算出する。ｋは、ｐc k∈ｐc ＡＤ，jを満たす関節点のインデックスである。
Figure 2023167320000006
なお、上記数５では、類似度としてコサイン類似度が用いられる。類似度としては、ｐｃ ｋ∈ｐＣ ＡＤ，ｊとｑｃ’ ｋ∈ｑＣ’ ＡＤ，ｊとのユークリッド距離が用いられても良い。
データ探索部５３は、データベース７０に格納されている全ての組データについて、類似度Ｄｊを算出し、このうち、類似度Ｄｊが最大となる組データを特定する。なお、射影座標と２次元座標とが特定部位について得られている場合は、特定の部位のみが類似している組データが特定される。
画像生成部５４は、特定の部位が類似している組データが特定されている場合は、上述した操作後の２次元画像Ｉ’の特定の部位（例えば左足、右足、右腕、等）を切り出すことで、パッチ画像を生成する。また、画像生成部１４は、操作後の画像座標系での関節点ｑｌ’ ｊと、操作後の３次元ポーズデータセットの関節点ｑｃ’ ｊとを用いて、生成したパッチ画像に、対応する３次元ポーズデータセットの一部を割り当てる。そして、画像生成部１４は、生成したパッチ画像を別の２次元画像（特定の部位が遮蔽されている人が映っている画像等）と合成して新たな２次元画像を生成する。このようにして得られた新たな２次元画像は、機械学習モデル２０の訓練データとして、データベース３０に格納される。
また、データ探索部５３は、異なる部位毎に、類似度が最大となる組データを特定することができる。この場合は、画像生成部５４は、部位毎にパッチ画像を生成し、更に、各部位のパッチ画像を背景画像に貼り付けて、新たに、１人の人の画像（新たな２次元画像）を生成する。このとき、画像生成部１４は、各パッチ画像に対応する３次元ポーズデータセットも合成する。このようにして得られた新たな２次元画像と、合成後の３次元ポーズデータセットも、機械学習モデル２０の訓練データとなる。
図１２は、実施の形態３で作成された新たな２次元画像を模式的に示す図である。図１２の例では、新たな２次元画像は、部位が異なる、パッチ画像６２と、パッチ画像６３と、パッチ画像６４と、パッチ画像６５と、背景画像６６と、を合成することで作成されている。
このように、実施の形態３では、データ拡張装置５０を用いて、新たな訓練データが作成される。このため、訓練データが少ないことによる問題点、例えば、検出精度の低下が抑制される。
（実施の形態４）
次に、実施の形態４においては、関節点検出装置、関節点検出方法、及びプログラムについて、図面を参照しながら説明する。
［装置構成］
最初に、実施の形態４における関節点検出装置の構成について図１３を用いて説明する。図１３は、実施の形態４における関節点検出装置の構成を示す構成図である。
図１３に示すように、関節点検出装置８０は、データ取得部８１と、関節点検出部８２とを備えている。また、関節点検出装置８０は、機械学習モデル２０も備えている。
データ取得部８１は、画像中の人の複数の関節点それぞれの２次元座標を特定可能な２次元関節点座標データを取得する。データ取得部８１によって取得される２次元関節点座標データは、各関節点の３次元座標の検出が求められる人の２次元関節点座標データである。２次元関節点座標データは、外部の装置等から入力される。
関節点検出部８２は、データ取得部８１によって取得された２次元関節点座標データを、機械学習モデル２０に適用して、前記人の前記複数の関節点それぞれの３次元座標を検出する。
機械学習モデル２０は、人の関節点の２次元座標と３次元座標との関係を機械学習している機械モデルである。実施の形態４では、機械学習モデル２０は、実施の形態１～３によって作成された機械学習モデルである。
つまり、実施の形態４において、機械学習モデル２０は、訓練データとなる、２次元関節点座標データと３次元関節点座標データとを用いた機械学習によって作成されている。そして、機械学習モデル２０のパラメータは、実施の形態１と同様に、機械学習モデル２０で算出された特徴量から得られた特徴量間の距離と、訓練データの元になった人の体格間における類似度と、から得られた、特徴量についての損失を用いて、更新されている。
また、機械学習モデル２０のパラメータ４０は、実施の形態２と同様に、特徴量についての損失に加えて、機械学習モデル２０が出力した３次元関節点座標データと、訓練データである３次元関節点座標データと、から得られた、損失を更に用いて、更新されていても良い。
機械学習モデル２０は、実施の形態４においても、コンピュータ上で実行される機械学習プログラムによって実装される。また、機械学習モデル２０は、関節点検出装置８０とは別の装置（コンピュータ）に実装されていても良い。
［装置動作］
次に、実施の形態４における関節点検出装置８０の動作について図１４を用いて説明する。図１４は、実施の形態４における関節点検出装置８０の動作を示すフロー図である。以下の説明においては、適宜図１３を参照する。また、実施の形態４では、関節点検出装置８０を動作させることによって、関節点検出方法が実施される。よって、実施の形態４における関節点検出方法の説明は、以下の関節点検出装置８０の動作説明に代える。
図１４に示すように、最初に、データ取得部８１は、関節点の検出対象となる人物についての２次元関節点座標データを取得する（ステップＣ１）。
次に、関節点検出部８２は、ステップＣ１でデータ取得部８１によって取得された２次元関節点座標データを、機械学習モデル２０に適用して、検出対象となる人物の各関節点それぞれの３次元座標を検出する（ステップＣ２）。
具体的には、関節点検出部８２は、ステップＣ１でデータ取得部８１によって取得された２次元関節点座標データを、機械学習モデル２０に入力する。これにより、機械学習モデル２０が３次元関節点座標データを出力するので、関節点検出部８２は、出力された３次元関節点座標データを取得する。
このように、実施の形態４によれば、機械学習モデル２０を用いて、人物の各関節点の３次元座標を検出することができる。
［プログラム］
実施の形態４におけるプログラムは、コンピュータに、図１４に示すステップＣ１～Ｃ２を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、実施の形態４における関節点検出装置８０と関節点検出方法とを実現することができる。この場合、コンピュータのプロセッサは、データ取得部８１及び関節点検出部８２として機能し、処理を行なう。コンピュータとしては、汎用のＰＣの他に、スマートフォン、タブレット型端末装置が挙げられる。また、コンピュータのプロセッサは、機械学習モデル２０も構築する。
また、実施の形態４におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、データ取得部８１及び関節点検出部８２のいずれかとして機能しても良い。
［物理構成］
ここで、実施の形態１～４におけるプログラムを実行することによって、学習モデル生成装置及び関節点検出装置を実現するコンピュータについて図１５を用いて説明する。図１５は、実施の形態１～４における学習モデル生成装置及び関節点検出装置を実現するコンピュータの一例を示すブロック図である。
図１５に示すように、コンピュータ１１０は、ＣＰＵ（Central Processing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。
また、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。この態様では、ＧＰＵ又はＦＰＧＡが、実施の形態におけるプログラムを実行することができる。
ＣＰＵ１１１は、記憶装置１１３に格納された、コード群で構成された実施の形態におけるプログラムをメインメモリ１１２に展開し、各コードを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。
また、実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。
また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。
なお、実施の形態における学習モデル生成装置及び関節点検出装置は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェア、例えば、電子回路を用いることによっても実現可能である。更に、学習モデル生成装置及び関節点検出装置は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。実施の形態において、コンピュータは、図１５に示すコンピュータに限定されることはない。
上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記１５）によって表現することができるが、以下の記載に限定されるものではない。
（付記１）
画像中の人の複数の関節点それぞれの２次元座標を特定可能な２次元関節点座標データと、前記人の前記複数の関節点それぞれの３次元座標を特定可能な３次元関節点座標データと、を含む訓練データのうち、前記２次元関節点座標データを取得し、取得した前記２次元関節点座標データを、機械学習モデルに入力する、データ取得部と、
前記２次元関節点座標データ毎に、前記機械学習モデルにおいて算出された特徴量を取得し、更に、取得した前記特徴量を用いて、特徴量間の距離を算出する、特徴量間距離算出部と、
前記訓練データである前記３次元関節点座標データを用いて、前記訓練データの元となった前記人の体格間における類似度を算出する、類似度算出部と、
算出された前記類似度と、算出された前記特徴量間の距離と、を用いて、前記機械学習モデルにおける特徴量についての損失を算出する、損失算出部と、
算出された前記損失を用いて、前記機械学習モデルのパラメータを更新する、学習モデル生成部と、
を備えている、ことを特徴とする学習モデル生成装置。
（付記２）
前記データ取得部による前記２次元関節点座標データの入力に応じて、前記機械学習モデルが出力した３次元関節点座標データと、前記訓練データである前記３次元関節点座標データと、を用いて、前記機械学習モデルにおける出力についての損失を算出する、第２の損失算出部と、
前記特徴量についての損失と前記出力についての損失とを統合する、損失統合部と、
を備え、
前記学習モデル生成部が、統合によって得られた損失を用いて、前記機械学習モデルのパラメータを更新する、
付記１に記載の学習モデル生成装置。
（付記３）
前記損失統合部が、前記特徴量についての損失と前記出力についての損失との加重平均を求めることによって、両者を統合する、
付記２に記載の学習モデル生成装置。
（付記４）
前記機械学習モデルがニューラルネットワークであり、
前記特徴量間距離算出部が、前記ニューラルネットワークの中間層から、前記特徴量を取得する、
付記１に記載の学習モデル生成装置。
（付記５）
画像中の人の複数の関節点それぞれの２次元座標を特定可能な２次元関節点座標データを取得する、データ取得部と、
取得された前記２次元関節点座標データを、人の関節点の２次元座標と３次元座標との関係を機械学習している機械学習モデルに適用して、前記人の前記複数の関節点それぞれの３次元座標を検出する、関節点検出部と、
を備え、
前記機械学習モデルのパラメータは、
訓練データとなる、２次元関節点座標データと人の複数の関節点それぞれの３次元座標を特定可能な３次元関節点座標データとを用いた機械学習において、
当該機械学習モデルで算出された特徴量から得られた特徴量間の距離と、前記訓練データの元になった人の体格間における類似度と、から得られた、当該機械学習モデルにおける特徴量についての損失を用いて、更新されている、
ことを特徴とする関節点検出装置。
（付記６）
前記機械学習モデルのパラメータは、前記機械学習において、
前記特徴量についての損失に加えて、
当該機械学習モデルが出力した３次元関節点座標データと、前記訓練データである前記３次元関節点座標データと、から得られた、当該機械学習モデルにおける出力についての損失を更に用いて、更新されている、
付記５に記載の関節点検出装置。
（付記７）
画像中の人の複数の関節点それぞれの２次元座標を特定可能な２次元関節点座標データと、前記人の前記複数の関節点それぞれの３次元座標を特定可能な３次元関節点座標データと、を含む訓練データのうち、前記２次元関節点座標データを取得し、取得した前記２次元関節点座標データを、機械学習モデルに入力する、データ取得ステップと、
前記２次元関節点座標データ毎に、前記機械学習モデルにおいて算出された特徴量を取得し、更に、取得した前記特徴量を用いて、特徴量間の距離を算出する、特徴量間距離算出ステップと、
前記訓練データである前記３次元関節点座標データを用いて、前記訓練データの元となった前記人の体格間における類似度を算出する、類似度算出ステップと、
算出された前記類似度と、算出された前記特徴量間の距離と、を用いて、前記機械学習モデルにおける特徴量についての損失を算出する、損失算出ステップと、
算出された前記損失を用いて、前記機械学習モデルのパラメータを更新する、学習モデル生成ステップと、
を有する、ことを特徴とする学習モデル生成方法。
（付記８）
前記データ取得ステップでの前記２次元関節点座標データの入力に応じて、前記機械学習モデルが出力した３次元関節点座標データと、前記訓練データである前記３次元関節点座標データと、を用いて、前記機械学習モデルにおける出力についての損失を算出する、第２の損失算出ステップと、
前記特徴量についての損失と前記出力についての損失とを統合する、損失統合ステップと、
を更に有し、
前記学習モデル生成ステップにおいて、統合によって得られた損失を用いて、前記機械学習モデルのパラメータを更新する、
付記７に記載の学習モデル生成方法。
（付記９）
前記損失統合ステップにおいて、前記特徴量についての損失と前記出力についての損失との加重平均を求めることによって、両者を統合する、
付記８に記載の学習モデル生成方法。
（付記１０）
前記機械学習モデルがニューラルネットワークであり、
前記特徴量間距離算出ステップにおいて、前記ニューラルネットワークの中間層から、前記特徴量を取得する、
付記７に記載の学習モデル生成方法。
（付記１１）
コンピュータに、
画像中の人の複数の関節点それぞれの２次元座標を特定可能な２次元関節点座標データと、前記人の前記複数の関節点それぞれの３次元座標を特定可能な３次元関節点座標データと、を含む訓練データのうち、前記２次元関節点座標データを取得し、取得した前記２次元関節点座標データを、機械学習モデルに入力する、データ取得ステップと、
前記２次元関節点座標データ毎に、前記機械学習モデルにおいて算出された特徴量を取得し、更に、取得した前記特徴量を用いて、特徴量間の距離を算出する、特徴量間距離算出ステップと、
前記訓練データである前記３次元関節点座標データを用いて、前記訓練データの元となった前記人の体格間における類似度を算出する、類似度算出ステップと、
算出された前記類似度と、算出された前記特徴量間の距離と、を用いて、前記機械学習モデルにおける特徴量についての損失を算出する、損失算出ステップと、
算出された前記損失を用いて、前記機械学習モデルのパラメータを更新する、学習モデル生成ステップと、
を実行させる、プログラム。
（付記１２）
コンピュータに、
前記データ取得ステップでの前記２次元関節点座標データの入力に応じて、前記機械学習モデルが出力した３次元関節点座標データと、前記訓練データである前記３次元関節点座標データと、を用いて、前記機械学習モデルにおける出力についての損失を算出する、第２の損失算出ステップと、
前記特徴量についての損失と前記出力についての損失とを統合する、損失統合ステップと、
を更に実行させ、
前記学習モデル生成ステップにおいて、統合によって得られた損失を用いて、前記機械学習モデルのパラメータを更新する、
付記１１に記載のプログラム。
（付記１３）
前記損失統合ステップにおいて、前記特徴量についての損失と前記出力についての損失との加重平均を求めることによって、両者を統合する、
付記１２に記載のプログラム。
（付記１４）
前記機械学習モデルがニューラルネットワークであり、
前記特徴量間距離算出ステップにおいて、前記ニューラルネットワークの中間層から、前記特徴量を取得する、
付記１１に記載のプログラム。
以上のように本開示によれば、画像から関節点の３次元座標を検出する際の検出精度を向上させることができる。本発明は、画像から人の姿勢を推定する種々のシステムに有用である。
１０ 学習モデル生成装置（実施の形態１）
１１ データ取得部
１２ 特徴量間距離算出部
１３ 類似度算出部
１４ 損失算出部
１５ 学習モデル生成部
１６ 正解データ取得部
２０ 機械学習モデル
３０ データベース
４０ 学習モデル生成装置（実施の形態２）
４１ 損失統合部
４２ 第２の損失算出部
５０ データ拡張装置
５１ データ取得部５１
５２ 射影処理部
５３ データ探索部
５４ 画像生成部
６０ ３次元ポーズデータセット
６１ 関節点
７０ データベース
８０ 関節点検出装置
８１ データ取得部
８２ 関節点検出部
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス

Claims (14)

  1. 画像中の人の複数の関節点それぞれの２次元座標を特定可能な２次元関節点座標データと、前記人の前記複数の関節点それぞれの３次元座標を特定可能な３次元関節点座標データと、を含む訓練データのうち、前記２次元関節点座標データを取得し、取得した前記２次元関節点座標データを、機械学習モデルに入力する、データ取得部と、
    前記２次元関節点座標データ毎に、前記機械学習モデルにおいて算出された特徴量を取得し、更に、取得した前記特徴量を用いて、特徴量間の距離を算出する、特徴量間距離算出部と、
    前記訓練データである前記３次元関節点座標データを用いて、前記訓練データの元となった前記人の体格間における類似度を算出する、類似度算出部と、
    算出された前記類似度と、算出された前記特徴量間の距離と、を用いて、前記機械学習モデルにおける特徴量についての損失を算出する、損失算出部と、
    算出された前記損失を用いて、前記機械学習モデルのパラメータを更新する、学習モデル生成部と、
    を備えている、ことを特徴とする学習モデル生成装置。
  2. 前記データ取得部による前記２次元関節点座標データの入力に応じて、前記機械学習モデルが出力した３次元関節点座標データと、前記訓練データである前記３次元関節点座標データと、を用いて、前記機械学習モデルにおける出力についての損失を算出する、第２の損失算出部と、
    前記特徴量についての損失と前記出力についての損失とを統合する、損失統合部と、
    を備え、
    前記学習モデル生成部が、統合によって得られた損失を用いて、前記機械学習モデルのパラメータを更新する、
    請求項１に記載の学習モデル生成装置。
  3. 前記損失統合部が、前記特徴量についての損失と前記出力についての損失との加重平均を求めることによって、両者を統合する、
    請求項２に記載の学習モデル生成装置。
  4. 前記機械学習モデルがニューラルネットワークであり、
    前記特徴量間距離算出部が、前記ニューラルネットワークの中間層から、前記特徴量を取得する、
    請求項１に記載の学習モデル生成装置。
  5. 画像中の人の複数の関節点それぞれの２次元座標を特定可能な２次元関節点座標データを取得する、データ取得部と、
    取得された前記２次元関節点座標データを、人の関節点の２次元座標と３次元座標との関係を機械学習している機械学習モデルに適用して、前記人の前記複数の関節点それぞれの３次元座標を検出する、関節点検出部と、
    を備え、
    前記機械学習モデルのパラメータは、
    訓練データとなる、２次元関節点座標データと人の複数の関節点それぞれの３次元座標を特定可能な３次元関節点座標データとを用いた機械学習において、
    当該機械学習モデルで算出された特徴量から得られた特徴量間の距離と、前記訓練データの元になった人の体格間における類似度と、から得られた、当該機械学習モデルにおける特徴量についての損失を用いて、更新されている、
    ことを特徴とする関節点検出装置。
  6. 前記機械学習モデルのパラメータは、前記機械学習において、
    前記特徴量についての損失に加えて、
    当該機械学習モデルが出力した３次元関節点座標データと、前記訓練データである前記３次元関節点座標データと、から得られた、当該機械学習モデルにおける出力についての損失を更に用いて、更新されている、
    請求項５に記載の関節点検出装置。
  7. 画像中の人の複数の関節点それぞれの２次元座標を特定可能な２次元関節点座標データと、前記人の前記複数の関節点それぞれの３次元座標を特定可能な３次元関節点座標データと、を含む訓練データのうち、前記２次元関節点座標データを取得し、取得した前記２次元関節点座標データを、機械学習モデルに入力する、データ取得ステップと、
    前記２次元関節点座標データ毎に、前記機械学習モデルにおいて算出された特徴量を取得し、更に、取得した前記特徴量を用いて、特徴量間の距離を算出する、特徴量間距離算出ステップと、
    前記訓練データである前記３次元関節点座標データを用いて、前記訓練データの元となった前記人の体格間における類似度を算出する、類似度算出ステップと、
    算出された前記類似度と、算出された前記特徴量間の距離と、を用いて、前記機械学習モデルにおける特徴量についての損失を算出する、損失算出ステップと、
    算出された前記損失を用いて、前記機械学習モデルのパラメータを更新する、学習モデル生成ステップと、
    を有する、ことを特徴とする学習モデル生成方法。
  8. 前記データ取得ステップでの前記２次元関節点座標データの入力に応じて、前記機械学習モデルが出力した３次元関節点座標データと、前記訓練データである前記３次元関節点座標データと、を用いて、前記機械学習モデルにおける出力についての損失を算出する、第２の損失算出ステップと、
    前記特徴量についての損失と前記出力についての損失とを統合する、損失統合ステップと、
    を更に有し、
    前記学習モデル生成ステップにおいて、統合によって得られた損失を用いて、前記機械学習モデルのパラメータを更新する、
    請求項７に記載の学習モデル生成方法。
  9. 前記損失統合ステップにおいて、前記特徴量についての損失と前記出力についての損失との加重平均を求めることによって、両者を統合する、
    請求項８に記載の学習モデル生成方法。
  10. 前記機械学習モデルがニューラルネットワークであり、
    前記特徴量間距離算出ステップにおいて、前記ニューラルネットワークの中間層から、前記特徴量を取得する、
    請求項７に記載の学習モデル生成方法。
  11. コンピュータに、
    画像中の人の複数の関節点それぞれの２次元座標を特定可能な２次元関節点座標データと、前記人の前記複数の関節点それぞれの３次元座標を特定可能な３次元関節点座標データと、を含む訓練データのうち、前記２次元関節点座標データを取得し、取得した前記２次元関節点座標データを、機械学習モデルに入力する、データ取得ステップと、
    前記２次元関節点座標データ毎に、前記機械学習モデルにおいて算出された特徴量を取得し、更に、取得した前記特徴量を用いて、特徴量間の距離を算出する、特徴量間距離算出ステップと、
    前記訓練データである前記３次元関節点座標データを用いて、前記訓練データの元となった前記人の体格間における類似度を算出する、類似度算出ステップと、
    算出された前記類似度と、算出された前記特徴量間の距離と、を用いて、前記機械学習モデルにおける特徴量についての損失を算出する、損失算出ステップと、
    算出された前記損失を用いて、前記機械学習モデルのパラメータを更新する、学習モデル生成ステップと、
    を実行させる、プログラム。
  12. コンピュータに、
    前記データ取得ステップでの前記２次元関節点座標データの入力に応じて、前記機械学習モデルが出力した３次元関節点座標データと、前記訓練データである前記３次元関節点座標データと、を用いて、前記機械学習モデルにおける出力についての損失を算出する、第２の損失算出ステップと、
    前記特徴量についての損失と前記出力についての損失とを統合する、損失統合ステップと、
    を更に実行させ、
    前記学習モデル生成ステップにおいて、統合によって得られた損失を用いて、前記機械学習モデルのパラメータを更新する、
    請求項１１に記載のプログラム。
  13. 前記損失統合ステップにおいて、前記特徴量についての損失と前記出力についての損失との加重平均を求めることによって、両者を統合する、
    請求項１２に記載のプログラム。
  14. 前記機械学習モデルがニューラルネットワークであり、
    前記特徴量間距離算出ステップにおいて、前記ニューラルネットワークの中間層から、前記特徴量を取得する、
    請求項１１に記載のプログラム。
JP2022078407A 2022-05-11 2022-05-11 学習モデル生成装置、関節点検出装置、学習モデル生成方法、関節点検出方法、及びプログラム Pending JP2023167320A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022078407A JP2023167320A (ja) 2022-05-11 2022-05-11 学習モデル生成装置、関節点検出装置、学習モデル生成方法、関節点検出方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022078407A JP2023167320A (ja) 2022-05-11 2022-05-11 学習モデル生成装置、関節点検出装置、学習モデル生成方法、関節点検出方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2023167320A true JP2023167320A (ja) 2023-11-24

Family

ID=88838417

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022078407A Pending JP2023167320A (ja) 2022-05-11 2022-05-11 学習モデル生成装置、関節点検出装置、学習モデル生成方法、関節点検出方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP2023167320A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024166600A1 (ja) * 2023-02-10 2024-08-15 日本電気株式会社 学習モデル生成装置、学習モデル生成方法、及びコンピュータ読み取り可能な記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024166600A1 (ja) * 2023-02-10 2024-08-15 日本電気株式会社 学習モデル生成装置、学習モデル生成方法、及びコンピュータ読み取り可能な記録媒体

Similar Documents

Publication Publication Date Title
CN111126272B (zh) 姿态获取方法、关键点坐标定位模型的训练方法和装置
US10679046B1 (en) Machine learning systems and methods of estimating body shape from images
JP7178396B2 (ja) 入力映像に含まれた客体の３次元ポーズの推定のためのデータを生成する方法およびコンピュータシステム
Corazza et al. Markerless motion capture through visual hull, articulated icp and subject specific model generation
US11823345B2 (en) Example-based real-time clothing synthesis method
US11763603B2 (en) Physical activity quantification and monitoring
Yeung et al. Improved skeleton tracking by duplex kinects: A practical approach for real-time applications
EP2880633B1 (en) Animating objects using the human body
US20190147360A1 (en) Learned model provision method, and learned model provision device
US10776978B2 (en) Method for the automated identification of real world objects
Chu et al. Monocular vision–based framework for biomechanical analysis or ergonomic posture assessment in modular construction
US11759126B2 (en) Scoring metric for physical activity performance and tracking
JP2019096113A (ja) キーポイントデータに関する加工装置、方法及びプログラム
Yang et al. Posture-invariant three dimensional human hand statistical shape model
JP2023167320A (ja) 学習モデル生成装置、関節点検出装置、学習モデル生成方法、関節点検出方法、及びプログラム
EP3801201A1 (en) Measuring surface distances on human bodies
CN116092120B (zh) 基于图像的动作确定方法、装置、电子设备及存储介质
Hachaj et al. RMoCap: an R language package for processing and kinematic analyzing motion capture data
WO2022181253A1 (ja) 関節点検出装置、学習モデル生成装置、関節点検出方法、学習モデル生成方法、及びコンピュータ読み取り可能な記録媒体
CN110148202B (zh) 用于生成图像的方法、装置、设备和存储介质
Vasconcelos et al. Human motion segmentation using active shape models
KR20220124490A (ko) 동작 유사도 평가 장치 및 동작 유사도 평가 방법
WO2023127005A1 (ja) データ拡張装置、データ拡張方法、及びコンピュータ読み取り可能な記録媒体
WO2024166600A1 (ja) 学習モデル生成装置、学習モデル生成方法、及びコンピュータ読み取り可能な記録媒体
Dong et al. An iterative 3D human body reconstruction method driven by personalized dimensional prior knowledge