JP2022027395A - 姿勢推定学習システム、姿勢推定学習方法及び機械学習用データの作成プログラム - Google Patents

Abstract

【課題】仮想空間上のデータを使用して機械学習用データを効率的に作成し、生体の姿勢推定を実行することができる姿勢推定学習システムを提供する。【解決手段】姿勢推定学習システム１の姿勢推定データ作成装置１０Ａは、撮像部２と、生体の３次元モデルを用いて機械学習用データを作成する機械学習用データ作成部３を備える。姿勢推定装置１０Ｂは、機械学習用データに基づいて生体の姿勢推定を学習する機械学習部５と、機械学習により得られた姿勢推定学習モデル６に基づいて入力画像中の生体の姿勢を推定する姿勢推定部７を備える。機械学習用データ作成部３は、撮像部２により３次元モデルを撮像して得られる３次元骨格データと、３次元骨格データを２次元座標に射影した２次元骨格データと、撮像された画像から、３次元モデルの部分と背景の部分とを分離したクロマキー背景画像データＱとを作成し、これらは、機械学習用データの作成に用いられる。【選択図】図１

Description

本発明は、生体の姿勢を推定する姿勢推定学習システム、姿勢推定学習方法及び機械学習用データの作成プログラムに関する。

近年、特にスポーツの分野において、競技者の動作の解析が行われている。具体的には、競技者のプレーを高性能カメラで撮像し、コンピュータを用いて単位時間毎の身体（骨格や筋肉）の動作を分析する。

例えば、特許文献１の骨格検出装置は、３次元カメラ、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えている。ここで、３次元カメラは、人物等が存在する撮像対象空間を撮像し、３次元データを出力する装置である。また、３次元データは、直交する３軸方向に並ぶ各画素に対して、その階調情報（例えば、ＲＧＢ）を与えた距離画像である。

３次元カメラ（撮像部）の距離画像生成部は、距離画像センサから出力されるセンサ上の画素毎の位相差情報を用いて、当該画素毎にその距離情報を算出する。そして、距離画像生成部は、得られたセンサ上の各画素の階調情報と距離情報に基づき、３次元配列された各画素位置に対してその階調情報を関連付けた距離画像を生成する。

また、距離画像生成部は、距離画像から骨格推定の対象画素を抽出し、骨格推定の対象画素にマークをつけた距離画像を、通信部を介して骨格推定部に送信する。例えば、距離画像生成部は、人物等の撮像対象が撮像対象空間に存在するときに撮像して得られた距離画像と、撮像対象が存在しないときに同一の撮像対象空間を撮像して得られた距離画像との間で対応する画素の距離情報の差分を算出する。そして、距離画像生成部は、距離情報の差分がゼロでない画素を骨格推定の対象画素として抽出する（特許文献１／段落００１３，００２６，００２７、図１－３）。

また、特許文献２の情報処理システムは、情報処理装置、画像出力装置、記憶装置及び表示装置を備えている。情報処理装置は、例えば、画像出力装置から出力された画像（又は入力画像）の画像データから学習データを生成する。その際、情報処理装置は、入力画像のうち特定の部位を表す部分領域の画像データを抽出し、部分領域の画像データに対して、拡大や縮小、回転などの部位変換処理を施す。

情報処理装置は、部位変換処理後の画像データを、部分領域が抽出された元の入力画像の画像データに合成することで、学習データを生成する。この情報処理装置では、１枚の入力画像に対して複数のバリエーションの画像を生成し、複数の画像の画像データを学習データとして生成する。学習データは、例えば、他の装置において、監視カメラで撮像された画像に対して、機械学習により画像認識が行われる際の学習データとして用いられる（特許文献２／段落００２３，００２４、図１）。

特開２０１９－２１１８５０号公報 特開２０２０－０６０８８３号公報

しかしながら、特許文献１の骨格検出装置は、３次元カメラの画像を大量に必要とし、骨格推定の対象画素を抽出するまでに多数の画像処理を行う必要もある。また、特許文献２の情報処理装置は、１枚の入力画像に対して複数のバリエーションの画像を生成して学習データを生成できるが、入力データの作成までに領域の分割、部位の抽出、変換、合成等の処理が必要となり、作業に手間、時間がかかることが予想される。

さらに、姿勢推定（骨格推定）は、現実画像中の被写体に対して行うのが一般的であるため、仮想空間に配置された３次元モデルの画像を用いて学習するだけでは、単なる置き換えに過ぎず、うまく姿勢の推定が行えない。

本発明は、このような事情に鑑みてなされたものであり、仮想空間上のデータを使用して機械学習用データを効率的に作成し、生体の姿勢推定を実行することができる姿勢推定学習システムを提供することを目的とする。

本発明は、仮想空間に配置した生体の３次元モデルを用いて機械学習により生体の姿勢を推定する姿勢推定学習システムであって、撮像部と、前記３次元モデルを前記撮像部により撮像し、機械学習用データを作成する機械学習用データ作成部と、前記機械学習用データ作成部により作成された前記機械学習用データに基づいて、前記生体の姿勢推定を学習する機械学習部と、前記機械学習部が学習した判断基準を有する学習モデルに基づいて、入力画像中の生体の姿勢を推定する姿勢推定部と、を備え、
前記機械学習用データ作成部は、前記撮像部により前記３次元モデルを撮像して得られる３次元座標空間の前記生体の骨格情報である３次元骨格データと、前記３次元骨格データを２次元座標に射影した２次元骨格データと、前記３次元モデルを撮像して得られる画像から、前記３次元モデルの部分と背景の部分とを前記３次元モデルの輪郭で分離した加工画像データと、を作成することを特徴とする。

本発明の姿勢推定学習システムにおいて、機械学習用データ作成部は、仮想空間に配置した生体の３次元モデル（例えば、マネキン）を用いて、機械学習用データを作成する。３次元モデルを用いることで、従来は取得することが困難であった姿勢を再現したり、撮像が困難なアングルからデータを作成したりすることができる。具体的には、撮像部により当該生体の３次元モデルを撮像し、その３次元骨格データを取得する。なお、骨格データとは、当該生体の肩、肘、腰等の部位の骨格位置（座標）を抽出したデータである。

また、機械学習用データ作成部は、当該３次元骨格データから２次元骨格データを作成し、さらに撮像された画像から３次元モデルの部分と背景の部分とを分離した加工画像データを作成する。２次元骨格データ、３次元骨格データ及び加工画像データは、当該生体の姿勢を機械学習するための機械学習用データの作成に用いることができる。特に、加工画像データは、背景画像を差し替えることができるため、３次元モデルの画像だけではなく、様々な現実の画像を背景画像とすることができる。背景画像の差し替えにより、画像のバリエーションが増加し、現実画像の推論へのギャップが減少するため、結果として精度の高い姿勢推定の実行に繋がる。

前記機械学習部は、作成された機械学習用データに基づいて生体の姿勢推定を学習するので、当該生体の姿勢を推定する学習モデルが得られる。そして、姿勢推定部は、当該学習モデルの判断基準に基づいて入力画像（例えば、ＲＧＢ画像）中の生体の姿勢を推定する。このように、本システムは、機械学習用データを効率的に作成し、機械学習を行い、生体（被写体）の姿勢推定を実行することができる。

本発明の姿勢推定学習システムにおいて、前記機械学習用データ作成部は、任意のモーションデータを用いて前記３次元モデルを仮想空間上で動作させ、前記３次元モデルの動作に応じた前記３次元骨格データを抽出することが好ましい。

本発明では、生体の３次元モデルと、任意の動作に関するモーションデータとを組み合わせて、当該３次元モデルを仮想的に動作させる。例えば、１つのモーションデータから、様々な体格のデータを複製したりすることも可能となる。機械学習用データ作成部は、当該３次元モデルの動作に応じた３次元骨格データを抽出し、さらに当該３次元骨格データと対になる画像データを取得する。これにより、様々なパターンの機械学習用データを効率的かつ容易に作成することができる。

本発明の姿勢推定学習方法は、仮想空間に配置した生体の３次元モデルを用いて機械学習用データを作成する機械学習用データ作成処理と、前記機械学習用データ作成処理で作成した前記機械学習用データに基づいて、前記生体の姿勢推定を学習する機械学習処理と、前記機械学習処理で学習した判断基準に基づいて、入力画像中の生体の姿勢を推定する姿勢推定処理と、を備え、
前記機械学習用データ作成処理は、撮像装置により前記３次元モデルを撮像する第１のステップと、前記仮想空間上の座標から３次元座標空間の前記生体の骨格情報である３次元骨格データを取得する第２のステップと、前記３次元骨格データを２次元座標に射影した２次元骨格データを作成する第３のステップと、前記仮想空間において前記３次元モデルの背景を変更した状態で前記撮像装置により前記３次元モデルを撮像し、前記３次元モデルの部分と前記背景の部分とを前記３次元モデルの輪郭で分離した加工画像データを作成する第４のステップと、を有し、前記３次元モデルを撮像する方位角又は仰角を変化させながら、前記第１のステップから前記第４のステップを繰り返し実行することを特徴とする。

本発明の姿勢推定学習方法では、機械学習用データ作成処理にて生体の３次元モデルから機械学習用データを作成する。３次元モデルを用いることで、従来は取得することが困難であった姿勢を再現したり、撮像が困難なアングルからデータを作成したりすることができる。加工画像データは、背景画像を差し替えることができるため、３次元モデルの画像だけではなく、様々な現実の画像を背景画像とすることができる。背景画像の差し替えにより、画像のバリエーションが増加し、現実画像の推論へのギャップが減少するため、結果として精度の高い姿勢推定の実行に繋がる。

その後、機械学習用データ作成処理にて作成された機械学習用データに基づいて生体の姿勢推定を学習する。これにより、当該生体の姿勢を推定する判断基準が得られる。さらに、姿勢推定処理にて、当該判断基準に基づいて入力画像中の生体の姿勢を推定する。このように、本方法は、機械学習用データを効率的に作成して機械学習させることで、生体（被写体）の姿勢推定を実行することができる。

機械学習用データ作成処理の第１、第２のステップでは、生体の３次元モデルを撮像装置で撮像して、仮想空間上の座標から３次元座標空間の当該３次元モデルの３次元骨格データを取得する。次に、第３のステップでは、３次元骨格データから２次元骨格データを作成する。２次元骨格データ及び３元骨格データは、当該生体の姿勢を機械学習するための機械学習用データとすることができる。

機械学習用データ作成処理の第４のステップでは、仮想空間において背景を変更（例えば、黒色背景）した状態で、撮像装置により生体の３次元モデルを撮像する。これにより、当該生体の３次元モデルの部分と背景の部分とが明確になるので、当該生体の３次元モデルの輪郭で分離（２値化）した加工画像データを取得する。当該加工画像データは、機械学習用データのパターンを増加させる目的で利用することができる。

本発明の姿勢推定学習方法において、前記機械学習用データを加工する機械学習用データ加工処理をさらに備え、前記機械学習用データ加工処理は、前記加工画像データの前記３次元モデルの部分と所定の背景とを組み合わせた合成画像データを作成する第５のステップと、前記合成画像データのうち前記生体の部分の色調を変更する第６のステップと、前記合成画像データに対してノイズの付与又は境界の平滑化を行う第７のステップと、を有し、前記第５のステップから前記第７のステップの少なくとも１つを実行することが好ましい。

本発明の姿勢推定学習方法は、機械学習用データ加工処理を備えており、第５のステップでは、輪郭で分離した生体の部分と所定の背景を組み合わせた合成画像データを作成する。これにより、機械学習用データのパターンを増加させることができる。また、前記合成画像データのうち生体の部分の色調を変更したり（第６のステップ）、前記合成画像データに対してノイズの付与又は境界の平滑化を行ったり（第７のステップ）して、機械学習用データのパターンを増加させてもよい。

本発明は、仮想空間に配置した生体の３次元モデルを用いて、前記生体の姿勢推定を機械学習させる機械学習用データの作成プログラムであって、
コンピュータにより前記３次元モデルを撮像し、３次元座標空間の前記生体の骨格情報である３次元骨格データを取得するステップと、前記コンピュータにより、前記３次元骨格データを２次元座標に射影して２次元骨格データを作成するステップと、前記３次元モデルを撮像して得られる画像から、前記３次元モデルの部分と背景の部分とを前記３次元モデルの輪郭で分離した加工画像データを作成するステップと、を備えることを特徴とする。

この構成によれば、機械学習用データの作成プログラムは、コンピュータ（撮像機能）により生体の３次元モデルを撮像して、コンピュータの各種処理により３次元骨格データを取得する。さらに、コンピュータにより３次元骨格データを２次元座標に射影することで、２次元骨格データを作成し、撮像された画像から３次元モデルの部分と背景の部分とを分離した加工画像データを作成する。加工画像データは、背景画像を差し替えることができるため、３次元モデルの画像だけではなく、様々な現実の画像を背景画像とすることができる。本プログラムは、機械学習用データとして利用可能な２次元骨格データ、３元骨格データ及び加工画像データを効率的かつ容易に作成することができる。

本発明の姿勢推定学習システムの概要を説明する図。 本発明の姿勢推定学習方法のフローチャート。 姿勢推定学習方法のデータ作成処理のフローチャート。 ３次元モデルの撮像ポイントを説明する図。 ３次元モデルの画像データの例。 （ａ）３次元モデルの２次元画像データの例。（ｂ）３次元モデルのクロマキー背景画像データの例。 姿勢推定学習方法の機械学習用データ加工処理のフローチャート。 ３次元モデルの背景合成画像データの例。 （ａ）３次元モデルの色調を変換した合成画像データの例。（ｂ）画像全体にノイズを付与する処理を実行した合成画像データの例。 （ａ）機械学習用データ作成用の画像データを増強する手法（周辺にオブジェクトを配置）。（ｂ）機械学習用データ作成用の画像データを増強する手法（ライトで照射）。 姿勢推定学習方法の姿勢推定処理のフローチャート。

以下では、図面を参照しながら、本発明に係る姿勢推定学習システム、姿勢推定学習方法及び機械学習用データの作成プログラムの実施形態について説明する。

初めに、図１は、姿勢推定学習システム１の概要を示している。姿勢推定学習システム１は、主に姿勢推定データ作成装置１０Ａと姿勢推定装置１０Ｂとで構成されている。姿勢推定データ作成装置１０Ａは、機械学習に用いる機械学習用データを作成する。また、姿勢推定装置１０Ｂは、実際に機械学習用データを用いて機械学習を行い、判断用の姿勢推定学習モデル６を作成する。

姿勢推定学習モデル６を用いると、生体が映り込んだ入力画像（例えば、ＲＧＢ画像）を入力することで、当該生体の姿勢を推定した姿勢推定結果データが得られる。ここで、「生体」とは人間に限られず、犬や馬、熊等の動物であってもよい。なお、姿勢を推定する生体に合わせて機械学習用データを準備する必要がある。

まず、姿勢推定データ作成装置１０Ａは、撮像部２と、機械学習用データ作成部３とで構成されている。機械学習用データ作成部３は、撮像部２により撮像された画像データ（画像ファイル）等に基づいて、機械学習用データを作成する。

撮像部２は、仮想空間を撮像可能なカメラである。いわゆるマネキンのような３次元モデルを仮想空間（ゲームエンジン等）に配置して可視化し、当該３次元モデルを方位角や仰角を変化させながら、撮像部２により複数回、撮像する。例えば、３次元モデルを正面側から撮像した場合、３次元モデルの２次元座標（Ｘ軸、Ｙ軸）の画像データが得られるが、斜め４５°の角度から撮像した場合、３次元モデルの側面、すなわちＺ軸方向まで映り込む。

機械学習用データ作成部３は、３次元モデルの形状を抽出（セグメンテーション）する。そして、機械学習用データ作成部３は、仮想空間上の座標から３次元モデルの肩、肘、腰等の部位の骨格位置（骨格アノテーション）である３次元骨格データと、これと対になる画像データを取得する。さらに、機械学習用データ作成部３は、３次元骨格データを平面に投影した２次元骨格データを作成し、これら各種データを機械学習用データとする。

このように、仮想空間上の３次元モデルを用いると、従来のモーションキャプチャでは取得することが難しかった姿勢を再現したり、１つのモーションデータから様々な体格のデータを複製したりすることが可能となる。また、撮影が難しいアングルの撮像を行う等して、撮影画像やデータのバリエーションを容易に増やすことができる。

次に、姿勢推定装置１０Ｂは、機械学習部５と、姿勢推定学習モデル６と、姿勢推定部７とで構成されている。機械学習部５は、機械学習用データ作成部３により作成された機械学習用データに基づいて、生体の姿勢推定を学習し、姿勢推定学習モデル６（本発明の「学習モデル」）を作成、又は更新する。機械学習は、深層（強化）学習（畳み込みニューラルネットワーク等）を採用することが好ましい。

姿勢推定部７は、作成された姿勢推定学習モデル６の判断基準に基づいて、生体の姿勢推定を行う。すなわち、姿勢推定の際、機械学習の成果として得られた姿勢推定学習モデル６を参照する。

具体的には、姿勢推定を行いたい生体が映り込んだ入力画像を入力すると、当該生体の姿勢を推定した姿勢推定結果データが出力される。なお、姿勢推定結果データは、入力画像の生体に対して骨格の位置を示したデータである。骨格の位置を線で結んで姿勢を表現すれば、姿勢の視認性が向上するが、必須の処理ではない。また、併せて、解析結果画像（解析用の骨格の位置を示したJSONファイル）の出力も可能である。ここで、JSONファイルとは所定の形式のテキストデータであり、機械学習用データとなる。

このように、姿勢推定学習システム１は、機械学習用データの作成から機械学習、実際の姿勢推定までを実行可能であるため、画像処理や機械学習の知識に乏しい者でも、容易に姿勢推定の結果を得ることができる。本実施形態では、姿勢推定データ作成装置１０Ａと姿勢推定装置１０Ｂとは、それぞれの作業を担当する別個の装置としているが、一体の装置であってもよい。

次に、図２を参照して、姿勢推定データ作成装置１０Ａ及び姿勢推定装置１０Ｂを用いた姿勢推定学習方法のデータ作成処理について説明する。

まず、姿勢推定データ作成装置１０Ａは、機械学習用データ作成処理を実行する（ＳＴＥＰ０１）。図３は、機械学習用データ作成処理の詳細を示したフローチャートである。以下では、適宜、図４～図６を参照して、説明を補足する。

まず、姿勢推定データ作成装置１０Ａ（撮像部２）は、３次元モデルを撮像する（ＳＴＥＰ１１）。例えば、撮像部２は、仮想空間に置かれた３次元モデルを正面側から撮像する。

図４は、撮像部２による３次元モデルＭの撮像ポイントを示している。撮像部２は、３次元モデルＭを水平視点（仰角０°）において、ポイント（０）～（７）の８地点（中心Ｏ）から撮像する。また、３次元モデルＭを仰望視点（仰角４５°）において、ポイント（８）～（１５）の８地点（中心Ｏ’）から撮像し、さらに、俯瞰視点のポイント（１６）でも撮像する。俯瞰視点は、３次元モデルＭを真上（仰角９０°）から見下ろす視点であり、撮像回数は１回である。

図４では、撮像部２が仮想空間内の各ポイントを移動し、３次元モデルＭを撮像することを示しているが、撮像部２を固定し、３次元モデルＭの方を回転させて撮像してもよい。

図３のフローチャートに戻り、姿勢推定データ作成装置１０Ａ（機械学習用データ作成部３）は、３次元骨格データを取得する（ＳＴＥＰ１２）。例えば、３次元モデルを正面側（図４のポイント（０））から撮像するとＸＹ平面座標の画像データとなるが、３次元モデルを側面側（図４のポイント（２））から撮像すると、ＹＺ平面座標の画像データとなる。このため、当該画像データを撮像すると共に、仮想空間上の座標から体の部位の位置を特定して、３次元骨格データを作成する。

図５は、３次元モデルＭを水平視点のポイント（０）から撮像したときの画像データを示している。３次元モデルＭが人間の場合、図示するように、下半身に（ａ）右足首、（ｂ）右膝、（ｃ）右腰（右足の付け根）、（ｄ）左腰（左足の付け根）、（ｅ）左膝、（ｆ）左足首、（ｇ）腰（中心）の部位がある。

また、上半身に（ｈ）胸部、（ｉ）首の付け根、（ｊ）頭頂部、（ｋ）右手首、（ｌ）右肘、（ｍ）右肩、（ｎ）左肩、（о）左肘、（ｐ）左手首の部位がある。これらの３次元モデルＭの各部位の位置を示したデータが、３次元骨格データである。なお、３次元モデルＭの左右の目、左右の耳、鼻や口の位置を部位に加えてもよい。骨格は任意の場所を指定することが可能であるが、条件として人の目で判断できる部位であることが好ましい。従って、肘は部位として指定できるが、顎関節等は困難である。

図３のフローチャートに戻り、姿勢推定データ作成装置１０Ａは、２次元骨格データを作成する（ＳＴＥＰ１３）。２次元骨格データは、上述の３次元骨格データを２次元座標に射影（透視投影）して作成したデータである。２次元骨格データ及び３次元骨格データは、共に機械学習用データとして利用される。このように、姿勢推定データ作成装置１０Ａは、３次元モデルを撮像部２により撮像して、多くの機械学習用データを効率的かつ短時間で作成することができる。

次に、姿勢推定データ作成装置１０Ａは、背景変更して３次元モデルを撮像し、クロマキー背景画像データを作成する（ＳＴＥＰ１４）。

ここで、図６を参照して、ＳＴＥＰ１４の画像作成の詳細を説明する。まず、図６（ａ）は、上述のＳＴＥＰ１１にて、撮像部２が３次元モデルを正面側（図４のポイント（０））から撮像したときの２次元画像データＰの例であり、クロマキー背景画像データとの比較のため示した。図示するように、２次元画像データＰの中央には、３次元モデルＭが映り込んでいる。

また、図６（ｂ）は、クロマキー背景画像データＱ（本発明の「加工画像データ」）を示している。クロマキー背景画像データＱの作成のため、仮想空間上で３次元モデルＭ以外の背景部分を黒色に変更し、撮像部２により撮像を行う。これにより、３次元モデルＭの輪郭が抽出されるので、輪郭データとして保存する。そして、３次元モデルＭの部分とその輪郭外側の背景部分とで分離（２値化）し、クロマキー背景画像データＱを合成する。

上記処理によって３次元モデルＭの輪郭が明確化されるため、さらに、当該輪郭の最大値、最小値を取得して３次元モデルＭを囲む矩形枠Ｆ（矩形枠データ）を作成する。なお、矩形枠データは数値のデータであり、実際には、クロマキー背景画像データＱに描画されない。クロマキー背景画像データＱは、姿勢推定装置１０Ｂによる姿勢推定の前処理（機械学習用データ加工処理）にて用いられる。

図３のフローチャートに戻り、３次元モデルを１つの視点で一周撮像したか否かが判定される（ＳＴＥＰ１５）。例えば、水平視点において、撮像部２によるポイント（０）～（７）（図４参照）の一周撮像が完了していない場合にはＳＴＥＰＳ１６に進み、完了した場合にはＳＴＥＰ１７に進む。

一周撮像が完了していない場合（ＳＴＥＰ１５で「ＮＯ」）、方位角を４５°回転させ（ＳＴＥＰ１６）、その後、ＳＴＥＰ１１にリターンする。例えば、前回のＳＴＥＰ１１における撮像がポイント（０）であった場合には、当該リターン後は、ポイント（１）にて撮像部２が３次元モデルＭを撮像し、以降のステップを実行する。

一方、一周の撮像が完了した場合（ＳＴＥＰ１５で「ＹＥＳ」）、水平視点、仰望視点、俯瞰視点で撮像したか否かが判定される（ＳＴＥＰ１７）。例えば、水平視点での撮像は完了したが、仰望視点と俯瞰視点での撮像が完了していないような場合にはＳＴＥＰ１８に進み、全て完了した場合にはＳＴＥＰＳ１９に進む。

撮像していない視点が残っている場合（ＳＴＥＰ１７で「ＮＯ」）、視点を変更して（ＳＴＥＰ１８）、その後、ＳＴＥＰ１１にリターンする。例えば、水平視点での撮像が完了した場合には、当該リターン後は、仰望視点のポイント（８）にて撮像部２が３次元モデルＭを撮像し、以降のステップを実行する。もちろん、水平視点の後に俯瞰視点に移行し、最後に仰望視点に移行する順番でもよい。

一方、全視点での撮像が完了した場合（ＳＴＥＰ１７で「ＹＥＳ」）、画像（２次元画像データ、クロマキー背景画像データ）と、画像情報（骨格データ、輪郭データ、矩形枠データ等）をJSONファイルに出力する（ＳＴＥＰ１９）。以上で、一連の機械学習用データ作成処理のフローが終了となる。

図２のフローチャートに戻り、その後、姿勢推定データ作成装置１０Ａは、機械学習用データ加工処理を実行する（ＳＴＥＰ０２）。これは、既存の機械学習用データを加工して、新たな機械学習用データのパターンを作成する処理である。そして、図７は、機械学習用データ加工処理の詳細を示したフローチャートである。以下では、適宜、図８、図９を参照して、説明を補足する。

まず、姿勢推定データ作成装置１０Ａ（機械学習用データ作成部３）は、クロマキー背景画像データから背景合成画像データを作成する（ＳＴＥＰ２１）。

図８は、背景合成画像データＲの例を示している。具体的には、クロマキー背景画像データＱ（図６（ｂ）参照）の輪郭データを用いて３次元モデルＭの画素を抽出し、異なる背景画像に貼付して背景合成画像データＲを作成する。

図７のフローチャートに戻り、姿勢推定データ作成装置１０Ａは、３次元モデルの色調を変換する（ＳＴＥＰ２２）。その後、さらに全体の画像処理を実行する（ＳＴＥＰ２３）。

ここで、図９（ａ）は、背景合成画像データＲのうち、３次元モデルＭの部分の色調を変更した合成画像データＳを示している。合成画像データＳは、新たな機械学習用データとなる。今回、背景合成画像データＲを加工したが、２次元画像データＰ（図６（ａ）参照）において、３次元モデルＭの部分の色調を変更した画像も新たな機械学習用データとなり得る。

また、図９（ｂ）は、背景合成画像データＲに対して画像全体にノイズを付与した合成画像データＴを示している。合成画像データＴについても、新たな機械学習用データとなり得る。背景合成画像データＲに対して、平滑化フィルタ等の処理を施した画像であってもよい。以上で、一連の機械学習用データ加工処理のフローが終了となる。

姿勢推定は、現実画像中の被写体に対して行うのが一般的であるため、仮想空間上においても３次元モデルの画像を学習するだけでは、うまく姿勢を推定することができない。本発明では、上述のように背景画像の差し替えを行うことができるため、３次元モデルの画像だけではなく、様々な現実の画像を背景画像とすることができる。背景画像の差し替えにより、画像のバリエーションが増加し、現実画像の推論へのギャップが減少する。

もちろん、現実画像（実際の写真）を使用したり、仮想空間において３次元モデル（オブジェクト）を複数配置したり、それらの色調や大きさをプログラムで変化させる等の方法を採用したりしてもよい。このような画像のバリエーションを増やす作業は、結果として精度の高い姿勢推定の実行に繋がる。

図２のフローチャートに戻り、その後、姿勢推定装置１０Ｂ（機械学習部５）は、機械学習処理を実行する（ＳＴＥＰ０３）。上述の機械学習用データ作成処理及び機械学習用データ加工処理により、機械学習用データを多数用意することができるので、姿勢推定の精度向上につながる。また、本処理によって、姿勢推定学習モデル６が作成される（図１参照）。以上で、一連のデータ作成処理のフローが終了となる。

機械学習用データ作成用の画像データの増強は、上記以外の方法で行うこともできる。図１０（ａ）は、仮想空間上でランダムにオブジェクトを配置した状態で、３次元モデルＮを撮像した例である。

例えば、実際に、スポーツのシーンを撮像したとき、注目する競技者の周辺に当該競技者を遮蔽する他の競技者や物体が存在することがある。このような場合に対応できるように、３次元モデルＮの周辺にランダムに大きさ、形状、色彩等が異なるオブジェクトを配置して画像データＵを取得し、新たな機械学習用データを作成する。なお、機械学習用データ加工処理にて、事後的にオブジェクトを追加する作業を行い、新たな機械学習用データを作成してもよい。

また、図１０（ｂ）に示すように、仮想空間上で３次元モデルＮをライトＬで照射し、周辺に光の陰影を付加した状態で３次元モデルＮを撮像してもよい。被写体が日光や照明で照射された際の逆光や白光等に対応できるように、光源から様々な光を出射して３次元モデルＮの影を付加した画像データＶを取得し、新たな機械学習用データを作成する。

３次元モデルと任意のモーションデータとを組み合わせて３次元モデルを仮想空間上で動作させてもよい。これにより、３次元骨格データと、当該３次元骨格データと対になる画像データと、当該３次元骨格データから作成される２次元骨格データとが取得可能である。これらのデータは、限定的な目的（スポーツ、ダンス等の分野）に使用されるが、精度の高い姿勢推定のために必要な機械学習用データとなる。

また、モーションデータとは別に、３次元モデルの関節駆動域を考慮してランダムに関節を曲げる動作をさせてもよい。作成した骨格データは、汎用性の高い姿勢推定を行うための新たな機械学習用データとなり得る。

最後に、図１１を参照して、姿勢推定装置１０Ｂを用いた姿勢推定学習方法の姿勢推定処理について説明する。

まず、姿勢推定装置１０Ｂに姿勢を推定する生体が映り込んだ入力画像を入力する（ＳＴＥＰ３１）。当該入力画像はＲＧＢ画像が好ましいが、他のフォーマットでもよい。

次に、姿勢推定装置１０Ｂ（姿勢推定部７）は、姿勢推定処理を実行する（ＳＴＥＰ３２）。具体的には、姿勢推定装置１０Ｂ（姿勢推定部７）が姿勢推定学習モデル６の判断基準に基づいて、入力画像中の生体の姿勢を推定する。最後に、姿勢推定装置１０Ｂは、当該入力画像に骨格情報を付加した結果データを出力する（ＳＴＥＰ３３）。以上で、一連の姿勢推定処理のフローが終了となる。

以上、本発明を実施するための実施形態を説明したが、本発明は上記の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、適宜変更することができる。

上記実施形態では、３次元モデルは人間であったが、人間以外の動物であってもよい。本発明は、人間を含めた様々な生体の骨格データを機械学習させることで、入力画像中の生体の種類を判別したり、入力画像中のピクセルを意味に基づいて分類（いわゆる、セマンティックセグメンテーション）したりする技術に応用することができる。

また、本発明は、物体等の判別にも応用可能である。撮像部が物体を検出した場合、その矩形枠を作成して、機械学習用データを作成する。そして、この機械学習用データに基づいて機械学習させることで、その物体が何であるかの判別を精度良く行うことができる。

１…姿勢推定学習システム、２…撮像部、３…機械学習用データ作成部、５…機械学習部、６…姿勢推定学習モデル、７…姿勢推定部、１０Ａ…姿勢推定データ作成装置、１０Ｂ…姿勢推定装置。

本発明は、仮想空間に配置した生体の３次元モデルを用いて機械学習により生体の姿勢を推定する姿勢推定学習システムであって、撮像部と、前記３次元モデルを前記撮像部により方位角又は仰角を変化させて複数回撮像し、機械学習用データを作成する機械学習用データ作成部と、前記機械学習用データ作成部により作成された前記機械学習用データに基づいて、前記生体の姿勢推定を学習する機械学習部と、前記機械学習部が学習した判断基準を有する学習モデルに基づいて、入力画像中の生体の姿勢を推定する姿勢推定部と、を備え、
前記機械学習用データ作成部は、前記撮像部により前記３次元モデルを撮像して得られる３次元座標空間の前記生体の骨格情報である３次元骨格データと、前記３次元骨格データを２次元座標に射影した２次元骨格データと、前記３次元モデルを撮像して得られる画像から、前記３次元モデルの部分と背景の部分とを前記３次元モデルの輪郭で分離した加工画像データと、を作成することを特徴とする。

本発明の姿勢推定学習システムにおいて、機械学習用データ作成部は、仮想空間に配置した生体の３次元モデル（例えば、マネキン）を用いて、機械学習用データを作成する。３次元モデルを用いることで、従来は取得することが困難であった姿勢を再現したり、撮像が困難なアングルからデータを作成したりすることができる。具体的には、撮像部により当該生体の３次元モデルを方位角又は仰角を変化させて複数回撮像し、その３次元骨格データを取得する。なお、骨格データとは、当該生体の肩、肘、腰等の部位の骨格位置（座標）を抽出したデータである。また、機械学習用データ作成部は、当該３次元骨格データから２次元骨格データを作成し、さらに撮像された画像から３次元モデルの部分と背景の部分とを分離した加工画像データを作成する。２次元骨格データ、３次元骨格データ及び加工画像データは、当該生体の姿勢を機械学習するための機械学習用データの作成に用いることができる。

本発明は、生体の姿勢推定を機械学習させる機械学習用データの作成プログラムであって、
コンピュータにより、仮想空間に配置した前記生体の３次元モデルを方位角又は仰角を変化させて複数回撮像し、３次元座標空間の前記生体の骨格情報である３次元骨格データを取得するステップと、前記コンピュータにより、前記３次元骨格データを２次元座標に射影して２次元骨格データを作成するステップと、前記３次元モデルを撮像して得られる画像から、前記３次元モデルの部分と背景の部分とを前記３次元モデルの輪郭で分離した加工画像データを作成するステップと、を備えることを特徴とする。

この構成によれば、機械学習用データの作成プログラムは、コンピュータ（撮像機能）により生体の３次元モデルを方位角又は仰角を変化させて複数撮像して、コンピュータの各種処理により３次元骨格データを取得する。さらに、コンピュータにより３次元骨格データを２次元座標に射影することで、２次元骨格データを作成し、撮像された画像から３次元モデルの部分と背景の部分とを分離した加工画像データを作成する。本プログラムは、機械学習用データとして利用可能な２次元骨格データ、３元骨格データ及び加工画像データを効率的かつ容易に作成することができる。

Claims (5)

1. 仮想空間に配置した生体の３次元モデルを用いて機械学習により生体の姿勢を推定する姿勢推定学習システムであって、
   撮像部と、
   前記３次元モデルを前記撮像部により撮像し、機械学習用データを作成する機械学習用データ作成部と、
   前記機械学習用データ作成部により作成された前記機械学習用データに基づいて、前記生体の姿勢推定を学習する機械学習部と、
   前記機械学習部が学習した判断基準を有する学習モデルに基づいて、入力画像中の生体の姿勢を推定する姿勢推定部と、
   を備え、
   前記機械学習用データ作成部は、
   前記撮像部により前記３次元モデルを撮像して得られる３次元座標空間の前記生体の骨格情報である３次元骨格データと、
   前記３次元骨格データを２次元座標に射影した２次元骨格データと、
   前記３次元モデルを撮像して得られる画像から、前記３次元モデルの部分と背景の部分とを前記３次元モデルの輪郭で分離した加工画像データと、
   を作成することを特徴とする姿勢推定学習システム。
2. 前記機械学習用データ作成部は、任意のモーションデータを用いて前記３次元モデルを仮想空間上で動作させ、前記３次元モデルの動作に応じた前記３次元骨格データを抽出することを特徴とする請求項１に記載の姿勢推定学習システム。
3. 仮想空間に配置した生体の３次元モデルを用いて機械学習用データを作成する機械学習用データ作成処理と、
   前記機械学習用データ作成処理で作成した前記機械学習用データに基づいて、前記生体の姿勢推定を学習する機械学習処理と、
   前記機械学習処理で学習した判断基準に基づいて、入力画像中の生体の姿勢を推定する姿勢推定処理と、
   を備え、
   前記機械学習用データ作成処理は、
   撮像装置により前記３次元モデルを撮像する第１のステップと、
   前記仮想空間上の座標から３次元座標空間の前記生体の骨格情報である３次元骨格データを取得する第２のステップと、
   前記３次元骨格データを２次元座標に射影した２次元骨格データを作成する第３のステップと、
   前記仮想空間において前記３次元モデルの背景を変更した状態で前記撮像装置により前記３次元モデルを撮像し、前記３次元モデルの部分と前記背景の部分とを前記３次元モデルの輪郭で分離した加工画像データを作成する第４のステップと、を有し、
   前記３次元モデルを撮像する方位角又は仰角を変化させながら、前記第１のステップから前記第４のステップを繰り返し実行することを特徴とする姿勢推定学習方法。
4. 前記機械学習用データを加工する機械学習用データ加工処理をさらに備え、
   前記機械学習用データ加工処理は、
   前記加工画像データの前記３次元モデルの部分と所定の背景とを組み合わせた合成画像データを作成する第５のステップと、
   前記合成画像データのうち前記生体の部分の色調を変更する第６のステップと、
   前記合成画像データに対してノイズの付与又は境界の平滑化を行う第７のステップと、を有し、
   前記第５のステップから前記第７のステップの少なくとも１つを実行することを特徴とする請求項３に記載の姿勢推定学習方法。
5. 仮想空間に配置した生体の３次元モデルを用いて、前記生体の姿勢推定を機械学習させる機械学習用データの作成プログラムであって、
   コンピュータにより前記３次元モデルを撮像し、３次元座標空間の前記生体の骨格情報である３次元骨格データを取得するステップと、
   前記コンピュータにより、前記３次元骨格データを２次元座標に射影して２次元骨格データを作成するステップと、
   前記３次元モデルを撮像して得られる画像から、前記３次元モデルの部分と背景の部分とを前記３次元モデルの輪郭で分離した加工画像データを作成するステップと、
   を備えることを特徴とする機械学習用データの作成プログラム。

Images