JP2020525953A

JP2020525953A - 人体輪郭キーポイントの検出方法、画像処理方法、装置及び機器

Info

Publication number: JP2020525953A
Application number: JP2019572641A
Authority: JP
Inventors: ▲劉▼文▲韜▼; ▲錢▼晨; ▲許▼▲親▼▲親▼
Original assignee: Beijing Sensetime Technology Development Co Ltd
Current assignee: Beijing Sensetime Technology Development Co Ltd
Priority date: 2018-01-19
Filing date: 2019-01-08
Publication date: 2020-08-27
Anticipated expiration: 2039-01-08
Also published as: KR102328349B1; SG11201911684RA; JP6967090B2; WO2019141104A1; CN110059522B; CN110059522A; US20190318194A1; KR20200020739A; US11113560B2

Abstract

本願の実施形態は、人体が含まれる画像ブロックの画像特徴を取得するステップと、第１のニューラルネットワークにより前記画像特徴に基づいて前記人体の人体輪郭キーポイント予測結果を取得するステップと、前記人体輪郭キーポイント予測結果に基づいて前記画像ブロックにおける人体輪郭キーポイントを取得するステップであって、前記人体輪郭キーポイントが人体の外部輪郭を表すために用いられるステップと、を含む人体輪郭キーポイントの検出方法、画像処理方法、ニューラルネットワークのトレーニング方法、装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラムを開示する。

Description

（関連出願の相互参照）
本願は、２０１８年１月１９日に中国特許局に提出された、出願番号ＣＮ２０１８１００５４３５２．３、発明の名称「人体輪郭キーポイントの検出方法、画像処理方法、装置及び機器」の中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。

本願は、コンピュータビジョン技術に関し、特に、人体輪郭キーポイントの検出方法、人体輪郭キーポイントの検出装置、画像処理方法、画像処理装置、ニューラルネットワークのトレーニング方法、ニューラルネットワークのトレーニング装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラムに関する。

現在、人体キーポイントは、一般的には人体骨格のキーポイントを指し、主に人体骨格のモデルを構築するために用いられる。人体動作の認識又はマンマシンインタラクション等の応用が構築された人体骨格モデルにより実現可能になる。

画像からより豊富な人体構造セマンティクスを引き出すために、人体が含まれる画像からどのようにより多いセマンティクス情報を取得して、それによってアプリケーションにより豊富な情報を提供するかは、注目すべき技術的課題である。

本願の実施形態は、人体輪郭キーポイントの検出、画像処理及びニューラルネットワークのトレーニングの技術的手段を提供する。

本願の実施形態の一態様によれば、人体が含まれる画像ブロックの画像特徴を取得するステップと、第１のニューラルネットワークにより前記画像特徴に基づいて前記人体の人体輪郭キーポイント予測結果を取得するステップと、前記人体輪郭キーポイント予測結果に基づいて前記画像ブロックにおける人体輪郭キーポイントを取得するステップと、を含み、前記人体輪郭キーポイントが人体の外部輪郭を表すために用いられる人体輪郭キーポイントの検出方法を提供する。

本願の一実施形態では、人体が含まれる画像ブロックの画像特徴を取得する前記ステップは、被処理画像に対して人体検出を行うステップと、人体検出結果により前記被処理画像における人体が含まれる前記画像ブロックを取得するステップと、を含む。

本願の別の実施形態では、前記画像ブロックは前記被処理画像であり、又は、前記画像ブロックは前記被処理画像における人体が含まれる局所画像であり、又は、前記画像ブロックは前記被処理画像における人体が含まれる局所画像に基づいて処理して得られた画像ブロックである。

本願の更に別の実施形態では、被処理画像に対して人体検出を行う前記ステップは、人体検出器を用いて前記被処理画像に対して人体検出を行って、人体外接枠の中心位置及び人体スケール因子を取得するステップであって、前記人体外接枠の中心位置及び人体スケール因子が被処理画像内の人体外接枠の位置を確定するために用いられるステップを含む。

本願の更に別の実施形態では、第１のニューラルネットワークにより前記画像特徴に基づいて前記人体の人体輪郭キーポイント予測結果を取得する前記ステップは、前記第１のニューラルネットワークにより前記画像特徴に基づいて、少なくとも一つの人体輪郭キーポイントのそれぞれに対応する少なくとも一つの人体輪郭キーポイント対応マップを形成するステップを含む。

本願の更に別の実施形態では、前記人体輪郭キーポイント対応マップは、人体輪郭キーポイント信頼度マップを含む。

本願の更に別の実施形態では、前記人体輪郭キーポイント予測結果に基づいて前記画像ブロックにおける人体輪郭キーポイントを取得する前記ステップは、一つの人体輪郭キーポイント信頼度マップに対して、前記信頼度マップから所定の信頼度要求を満たす一つの点を選択し、該点の前記画像ブロックにおけるマッピング位置点を前記信頼度マップの対応する人体輪郭キーポイントとするステップを含む。

本願の更に別の実施形態では、前記人体輪郭キーポイントは、頭部輪郭キーポイント、腕輪郭キーポイント、手部輪郭キーポイント、肩部輪郭キーポイント、足部輪郭キーポイント、腰部輪郭キーポイント及び／又は脚部輪郭キーポイントを含む。

本願の更に別の実施形態では、前記頭部輪郭キーポイントは、頭頂部キーポイント、鼻先端部キーポイント及び顎キーポイントのうちの１種又は複数種を含み、及び／又は、前記腕輪郭キーポイントは、手首輪郭キーポイント、肘輪郭キーポイント、腕の付け根部輪郭キーポイント、手首輪郭キーポイントと肘輪郭キーポイントとの間の中点位置に位置する前腕輪郭中点キーポイント、及び肘輪郭キーポイントと腕の付け根部輪郭キーポイントとの間の中点位置に位置する上腕中点キーポイントのうちの１種又は複数種を含み、及び／又は、前記手部輪郭キーポイントは、手先キーポイント及び掌中点キーポイントのうちの１種又は複数種を含み、及び／又は、前記肩部輪郭キーポイントは、肩部と頭部の接合位置に位置する肩頭接合キーポイント及び腕の付け根部輪郭キーポイントと肩頭接合キーポイントとの間の中点位置に位置する肩輪郭中点キーポイントのうちの１種又は複数種を含み、及び／又は、前記足部輪郭キーポイントは、股間キーポイント、膝輪郭キーポイント、踝輪郭キーポイント、股の付け根部外側輪郭キーポイント、膝輪郭キーポイントと踝輪郭キーポイントとの間の中点位置に位置するすね輪郭中点キーポイント、膝内側輪郭キーポイントと股間キーポイントとの間の中点位置に位置する股内側輪郭中点キーポイント、及び膝外側輪郭キーポイントと股の付け根部外側輪郭キーポイントとの間の中点位置に位置する股外側輪郭中点キーポイントのうちの１種又は複数種を含み、及び／又は、前記腰部輪郭キーポイントは、股の付け根部外側輪郭キーポイントと腕の付け根部輪郭キーポイントとの間をＮ等分にして生成するＮ個の等分点のうちの１種又は複数種を含み、前記Ｎが１より大きく、及び／又は、前記脚部輪郭キーポイントは、爪先キーポイント及び踵キーポイントのうちの１種又は複数種を含む。

本願の更に別の実施形態では、前記第１のニューラルネットワークは、人体輪郭キーポイントのラベリング情報が含まれるトレーニング画像集合により予めトレーニングされたものである。

本願の更に別の実施形態では、前記第１のニューラルネットワークのトレーニングには、人体が含まれるサンプル画像ブロックの画像特徴を取得するステップと、トレーニング待ちの第１のニューラルネットワークにより前記画像特徴に基づいて前記人体の人体輪郭キーポイント予測結果を取得するステップと、前記人体輪郭キーポイント予測結果と人体輪郭キーポイントのラベリング情報との差異を教師情報として、前記トレーニング待ちの第１のニューラルネットワークに対して教師あり学習を行うステップと、を含む。

本願の更に別の実施形態では、人体が含まれるサンプル画像ブロックの画像特徴を取得する前記ステップは、トレーニングデータ集合から画像サンプルを取得するステップと、画像サンプル内の人体が含まれるサンプル画像ブロックの画像特徴を取得するステップと、を含む。

本願の更に別の実施形態では、トレーニング待ちの第１のニューラルネットワークにより前記画像特徴に基づいて前記人体の人体輪郭キーポイント予測結果を取得する前記ステップは、前記トレーニング待ちの第１のニューラルネットワークにより前記画像特徴に基づいて、少なくとも一つの人体輪郭キーポイントのそれぞれに対応する少なくとも一つの人体輪郭キーポイント対応マップを形成するステップを含む。

本願の更に別の実施形態では、前記人体輪郭キーポイント予測結果と人体輪郭キーポイントのラベリング情報との差異を教師情報として、前記トレーニング待ちの第１のニューラルネットワークに対して教師あり学習を行う前記ステップは、少なくとも一つの人体輪郭キーポイントのラベリング情報に対して、それぞれ人体輪郭キーポイント信頼度マップを生成するステップと、前記トレーニング待ちの第１のニューラルネットワークから出力された人体輪郭キーポイント信頼度マップと前記生成した人体輪郭キーポイント信頼度マップとの差異を教師情報として、前記トレーニング待ちの第１のニューラルネットワークに対して教師あり学習を行うステップと、を含む。

本願の更に別の実施形態では、少なくとも一つの人体輪郭キーポイントのラベリング情報に対して、それぞれ人体輪郭キーポイント信頼度マップを生成する前記ステップは、少なくとも一つの人体輪郭キーポイントのラベリング情報に対して、対応する人体輪郭キーポイントのラベリング情報のそれぞれの対応するサンプル画像ブロック内の位置の所定周囲領域内で、ガウス応答をそれぞれ形成し、且つ前記ガウス応答に基づいて、少なくとも一つの人体輪郭キーポイントのラベリング情報のそれぞれの対応する人体輪郭キーポイント信頼度マップを形成するステップを含む。

本願の更に別の実施形態では、前記人体輪郭キーポイント予測結果と人体輪郭キーポイントのラベリング情報との差異を教師情報として、前記トレーニング待ちの第１のニューラルネットワークに対して教師あり学習を行う前記ステップは、一つの人体輪郭キーポイント信頼度マップに対して、前記信頼度マップから所定の信頼度要求を満たした点を選択し、該点の前記画像サンプルにおけるマッピング位置点を前記信頼度マップの対応する人体輪郭キーポイントとするステップと、前記信頼度マップの対応する人体輪郭キーポイントと前記画像サンプルの人体輪郭キーポイントのラベリング情報との差異を教師情報として、前記トレーニング待ちの第１のニューラルネットワークに対して教師あり学習を行うステップと、を含む。

本願の更に別の実施形態では、人体が含まれるサンプル画像ブロックの画像特徴を取得する前記ステップは、前記画像サンプルに対して人体検出を行うステップと、人体検出結果及び画像サンプルをトレーニング待ちの入力ニューラルネットワークに提供して、トレーニング待ちの入力ニューラルネットワークにより人体が含まれる所定の大きさのサンプル画像ブロックを取得するステップと、トレーニング待ちの第２のニューラルネットワークを用いて前記サンプル画像ブロックの画像特徴を取得するステップと、を含む。

本願の更に別の実施形態では、前記第１のニューラルネットワークをトレーニングする前記ステップは、前記人体輪郭キーポイント予測結果と前記人体輪郭キーポイントのラベリング情報との差異を教師情報として、前記トレーニング待ちの入力ニューラルネットワーク及びトレーニング待ちの第２のニューラルネットワークに対して教師あり学習を行うステップを更に含む。

本願の更に別の実施形態では、前記画像サンプルに含まれる人体輪郭キーポイントのラベリング情報の設置プロセスは、画像サンプルの人体骨格キーポイントを取得するステップと、設置された第１の集合内の人体輪郭キーポイントのラベリング情報及び／又は前記人体骨格キーポイントに基づいて補助線を設置するステップと、前記補助線から選択された点に基づいて第２の集合内の人体輪郭キーポイントのラベリング情報を形成するステップと、を含む。

本願の更に別の実施形態では、前記画像サンプルに含まれる人体輪郭キーポイントのラベリング情報の設置プロセスは、第１の集合及び／又は第２の集合内の２つの人体輪郭キーポイント間の連結線におけるＮ１個の仕切点に基づいて、第３の集合内の人体輪郭キーポイントのラベリング情報を形成するステップを更に含み、ここで、Ｎ１が１より大きい整数である。

本願の更に別の実施形態では、設置された第１の集合内の人体輪郭キーポイントのラベリング情報及び／又は前記人体骨格キーポイントに基づいて補助線を設置する前記ステップは、前記人体骨格キーポイントに基づいて腕の付け根部内側輪郭キーポイントを通過し且つ上腕方向に垂直する第１の補助線を決定するステップステップを含み、前記補助線から選択された点に基づいて第２の集合内の人体輪郭キーポイントのラベリング情報を形成する前記ステップは、前記第１の補助線と上腕外側輪郭との交点に基づいて第２の集合中の腕の付け根部外側輪郭キーポイントのラベリング情報を形成するステップを含む。

本願の更に別の実施形態では、設置された第１の集合内の人体輪郭キーポイントのラベリング情報及び／又は前記人体骨格キーポイントに基づいて補助線を設置する前記ステップは、股間キーポイントを通過し且つ人体骨格キーポイントで形成された股方向に垂直する第２の補助線を設置するステップを含み、前記補助線から選択された点に基づいて第２の集合内の人体輪郭キーポイントのラベリング情報を形成する前記ステップは、前記第２の補助線と股外側輪郭の交点に基づいて第２の集合中の股の付け根部外側輪郭キーポイントのラベリング情報を形成するステップを含む。

本願の更に別の実施形態では、前記方法は、前記人体輪郭キーポイントに基づいて前記画像ブロックに対して拡張現実ＡＲ効果のレンダリング処理を行うステップを更に含む。

本願の更に別の実施形態では、前記人体輪郭キーポイントに基づいて前記画像ブロックに対してＡＲ効果のレンダリング処理を行う前記ステップは、前記画像ブロックの人体輪郭キーポイントとステッカー素材の位置関係を確定するステップと、前記位置関係により前記ステッカー素材に基づいて前記画像ブロックに対してＡＲ効果のレンダリング処理を行うステップと、を含む。

本願の実施形態の別の態様によれば、人体が含まれる画像ブロックの人体輪郭キーポイントを検出するステップであって、前記人体輪郭キーポイントが人体の外部輪郭を表すために用いられるステップと、前記人体輪郭キーポイントに基づいて前記画像ブロックに対して拡張現実ＡＲ効果のレンダリング処理を行うステップと、を含む画像処理方法を提供する。

本願の一実施形態では、人体が含まれる画像ブロックの人体輪郭キーポイントを検出する前記ステップは、上記いずれか１種の方法を用いて前記人体輪郭キーポイントを検出するステップを含む。

本願の別の実施形態では、前記人体輪郭キーポイントに基づいて前記画像ブロックに対してＡＲ効果のレンダリング処理を行う前記ステップは、前記画像ブロックの人体輪郭キーポイントとステッカー素材の位置関係を確定するステップと、前記位置関係により前記ステッカー素材に基づいて前記画像ブロックに対してＡＲ効果のレンダリング処理を行うステップと、を含む。

本願の更に別の実施形態では、前記人体輪郭キーポイントに基づいて前記画像ブロックに対してＡＲ効果のレンダリング処理を行う前記ステップは、ステッカーハンドルを作成するための第１のインターフェイス関数を呼び出してステッカーハンドルを作成するステップと、ステッカー素材を読み取るための第２のインターフェイス関数を呼び出してステッカー素材圧縮パッケージを内部メモリに読み込み、解析するステップと、ステッカー素材をレンダリングするための第３のインターフェイス関数を呼び出して解析結果により前記画像ブロックの人体輪郭キーポイントとステッカー素材の位置関係を確定し、前記ステッカーハンドルに基づいて前記解析結果と前記位置関係により前記画像ブロック上で内部メモリに読み込まれたステッカー素材パッケージに対してＡＲ効果のレンダリングを行うステップと、を含む。

本願の更に別の実施形態では、前記解析結果は、ステッカー素材に関連する人体輪郭キーポイント、ステッカー素材の再生トリガ条件、ステッカー素材の再生状態パラメータのうちの１種又は複数種を含む。

本願の更に別の実施形態では、前記方法は、レンダリングが終了した後、前記ステッカーハンドルを廃棄するステップを更に含む。

本願の実施形態の更に別の態様によれば、人体が含まれるサンプル画像ブロックの画像特徴を取得するステップと、トレーニング待ちの第１のニューラルネットワークにより前記画像特徴に基づいて前記人体の人体輪郭キーポイント予測結果を取得するステップと、前記人体輪郭キーポイント予測結果と人体輪郭キーポイントのラベリング情報との差異を教師情報として、前記トレーニング待ちの第１のニューラルネットワークに対して教師あり学習を行うステップと、を含むニューラルネットワークのトレーニング方法を提供する。

本願の一実施形態では、人体が含まれるサンプル画像ブロックの画像特徴を取得する前記ステップは、トレーニングデータ集合から画像サンプルを取得するステップと、画像サンプル内の人体が含まれるサンプル画像ブロックの画像特徴を取得するステップと、を含む。

本願の別の実施形態では、トレーニング待ちの第１のニューラルネットワークにより前記画像特徴に基づいて前記人体の人体輪郭キーポイント予測結果を取得する前記ステップは、前記トレーニング待ちの第１のニューラルネットワークにより前記画像特徴に基づいて、少なくとも一つの人体輪郭キーポイントのそれぞれに対応する少なくとも一つの人体輪郭キーポイント対応マップを形成するステップを含む。

本願の更に別の実施形態では、前記画像サンプルに含まれる人体輪郭キーポイントのラベリング情報の設置プロセスは、第１の集合及び／又は第２の集合内の２つの人体輪郭キーポイント間の連結線におけるＮ１個の仕切点に基づいて、第３の集合内の人体輪郭キーポイントのラベリング情報を形成するステップを更に含み、Ｎ１が１より大きい整数である。

本願の更に別の実施形態では、設置された第１の集合内の人体輪郭キーポイントのラベリング情報及び／又は前記人体骨格キーポイントに基づいて補助線を設置する前記ステップは、前記人体骨格キーポイントに基づいて腕の付け根部内側輪郭キーポイントを通過し且つ上腕方向に垂直する第１の補助線を決定するステップを含み、前記補助線から選択された点に基づいて第２の集合内の人体輪郭キーポイントのラベリング情報を形成する前記ステップは、前記第１の補助線と上腕外側輪郭との交点に基づいて第２の集合中の腕の付け根部外側輪郭キーポイントのラベリング情報を形成するステップを含む。

本願の実施形態の更に別の態様によれば、人体が含まれる画像ブロックの画像特徴を取得するための画像特徴取得モジュールと、第１のニューラルネットワークにより前記画像特徴に基づいて前記人体の人体輪郭キーポイント予測結果を取得するための予測結果取得モジュールと、前記人体輪郭キーポイント予測結果に基づいて前記画像ブロックにおける人体輪郭キーポイントを取得するための輪郭キーポイント取得モジュールであって、前記人体輪郭キーポイントが人体の外部輪郭を表すために用いられる輪郭キーポイント取得モジュールと、を含む人体輪郭キーポイントの検出装置を提供する。

本願の一実施形態では、前記画像特徴取得モジュールは、被処理画像に対して人体検出を行い、且つ人体検出結果により前記被処理画像における人体が含まれる前記画像ブロックを取得する。

本願の更に別の実施形態では、前記画像特徴取得モジュールは、人体検出器を用いて前記被処理画像に対して人体検出を行って、人体外接枠の中心位置及び人体スケール因子を取得し、前記人体外接枠の中心位置及び人体スケール因子が被処理画像内の人体外接枠の位置を確定するために用いられる。

本願の更に別の実施形態では、前記予測結果取得モジュールは、前記第１のニューラルネットワークにより前記画像特徴に基づいて、少なくとも一つの人体輪郭キーポイントのそれぞれに対応する少なくとも一つの人体輪郭キーポイント対応マップを形成する。

本願の更に別の実施形態では、前記輪郭キーポイント取得モジュールは、一つの人体輪郭キーポイント信頼度マップに対して、前記信頼度マップから所定の信頼度要求を満たす一つの点を選択し、該点の前記画像ブロックにおけるマッピング位置点を前記信頼度マップの対応する人体輪郭キーポイントとする。

本願の更に別の実施形態では、前記頭部輪郭キーポイントは、頭頂部キーポイント、鼻先端部キーポイント及び顎キーポイントのうちの１種又は複数種を含み、及び／又は、前記腕輪郭キーポイントは、手首輪郭キーポイント、肘輪郭キーポイント、腕の付け根部輪郭キーポイント、手首輪郭キーポイントと肘輪郭キーポイントとの間の中点位置に位置する前腕輪郭中点キーポイント、及び肘輪郭キーポイントと腕の付け根部輪郭キーポイントとの間の中点位置に位置する上腕中点キーポイントのうちの１種又は複数種を含み、及び／又は、前記手部輪郭キーポイントは、手先キーポイント及び掌中点キーポイントのうちの１種又は複数種を含み、及び／又は
前記肩部輪郭キーポイントは、肩部と頭部の接合位置に位置する肩頭接合キーポイント及び腕の付け根部輪郭キーポイントと肩頭接合キーポイントとの間の中点位置に位置する肩輪郭中点キーポイントのうちの１種又は複数種を含み、及び／又は、前記足部輪郭キーポイントは、股間キーポイント、膝輪郭キーポイント、踝輪郭キーポイント、股の付け根部外側輪郭キーポイント、膝輪郭キーポイントと踝輪郭キーポイントとの間の中点位置に位置するすね輪郭中点キーポイント、膝内側輪郭キーポイントと股間キーポイントとの間の中点位置に位置する股内側輪郭中点キーポイント、及び膝外側輪郭キーポイントと股の付け根部外側輪郭キーポイントとの間の中点位置に位置する股外側輪郭中点キーポイントのうちの１種又は複数種を含み、及び／又は、前記腰部輪郭キーポイントは、股の付け根部外側輪郭キーポイントと腕の付け根部輪郭キーポイントとの間をＮ等分にして生成するＮ個の等分点のうちの１種又は複数種を含み、前記Ｎが１より大きく、及び／又は、前記脚部輪郭キーポイントは、爪先キーポイント及び踵キーポイントのうちの１種又は複数種を含む。

本願の更に別の実施形態では、前記装置は、人体輪郭キーポイントのラベリング情報が含まれるトレーニング画像集合を用いて前記第１のニューラルネットワークをトレーニングするためのニューラルネットワークのトレーニング装置を更に含む。

本願の実施形態の更に別の態様によれば、人体が含まれる画像ブロックの人体輪郭キーポイントを検出するための人体輪郭キーポイントの検出装置であって、前記人体輪郭キーポイントが人体の外部輪郭を表すために用いられる人体輪郭キーポイントの検出装置と、前記人体輪郭キーポイントに基づいて前記画像ブロックに対してＡＲ効果のレンダリング処理を行うためのレンダリングモジュールと、を含む画像処理装置を提供する。

本願の一実施形態では、前記人体輪郭キーポイントの検出装置は、上記いずれか一項の装置を用いて前記人体輪郭キーポイントを検出する。

本願の別の実施形態では、前記レンダリングモジュールは、前記画像ブロックの人体輪郭キーポイントとステッカー素材の位置関係を確定し、且つ前記位置関係により前記ステッカー素材に基づいて前記画像ブロックに対してＡＲ効果のレンダリング処理を行う。

本願の更に別の実施形態では、前記レンダリングモジュールは、ステッカーハンドルを作成するための第１のインターフェイス関数を呼び出してステッカーハンドルを作成し、ステッカー素材を読み取るための第２のインターフェイス関数を呼び出してステッカー素材圧縮パッケージを内部メモリに読み込み、解析し、ステッカー素材をレンダリングするための第３のインターフェイス関数を呼び出して解析結果により前記画像ブロックの人体輪郭キーポイントとステッカー素材の位置関係を確定し、前記ステッカーハンドルに基づいて前記解析結果と前記位置関係により前記画像ブロック上で内部メモリに読み込まれたステッカー素材パッケージに対してＡＲ効果のレンダリングを行う。

本願の更に別の実施形態では、前記レンダリングモジュールは、レンダリングが終了した後、前記ステッカーハンドルを廃棄する。

本願の実施形態の更に別の態様によれば、人体が含まれるサンプル画像ブロックの画像特徴を取得するための第１のモジュールと、トレーニング待ちの第１のニューラルネットワークにより前記画像特徴に基づいて前記人体の人体輪郭キーポイント予測結果を取得するための第２のモジュールと、前記人体輪郭キーポイント予測結果と人体輪郭キーポイントのラベリング情報との差異を教師情報として、前記トレーニング待ちの第１のニューラルネットワークに対して教師あり学習を行うための第３のモジュールと、を含むニューラルネットワークのトレーニング装置を提供する。

本願の一実施形態では、前記第１のモジュールは、前記画像サンプルに対して人体検出を行うための検出サブモジュールと、人体検出結果及び画像サンプルをトレーニング待ちの入力ニューラルネットワークに提供して、トレーニング待ちの入力ニューラルネットワークにより人体が含まれる所定の大きさのサンプル画像ブロックを取得するための第１の取得サブモジュールと、トレーニング待ちの第２のニューラルネットワークを用いて前記サンプル画像ブロックの画像特徴を取得するための第２の取得サブモジュールと、を含む。

本願の別の実施形態では、前記第３のモジュールは、更に、前記人体輪郭キーポイント予測結果と前記人体輪郭キーポイントのラベリング情報との差異を教師情報として、前記トレーニング待ちの入力ニューラルネットワーク及びトレーニング待ちの第２のニューラルネットワークに対して教師あり学習を行うために用いられる。

本願の更に別の実施形態では、前記装置は、画像サンプルの人体骨格キーポイントを取得し、設置された第１の集合内の人体輪郭キーポイントのラベリング情報及び／又は前記人体骨格キーポイントに基づいて補助線を設置し、且つ前記補助線から選択された点に基づいて第２の集合内の人体輪郭キーポイントのラベリング情報を形成するための第１のラベリングモジュールを更に含む。

本願の更に別の実施形態では、前記装置は、第１の集合及び／又は第２の集合内の２つの人体輪郭キーポイント間の連結線におけるＮ１個の仕切点に基づいて、第３の集合内の人体輪郭キーポイントのラベリング情報を形成するための第２のラベリングモジュールを更に含み、Ｎ１が１より大きい整数である。

本願の更に別の実施形態では、前記第１のラベリングモジュールは、前記人体骨格キーポイントに基づいて腕の付け根部内側輪郭キーポイントを通過し且つ上腕方向に垂直する第１の補助線を決定し、且つ前記第１の補助線と上腕外側輪郭との交点に基づいて第２の集合中の腕の付け根部外側輪郭キーポイントのラベリング情報を形成する。

本願の更に別の実施形態では、前記第１のラベリングモジュールは、股間キーポイントを通過し且つ人体骨格キーポイントで形成された股方向に垂直する第２の補助線を設置し、且つ前記第２の補助線と股外側輪郭の交点に基づいて第２の集合中の股の付け根部外側輪郭キーポイントのラベリング情報を形成する。

本願の実施形態の更に別の態様によれば、コンピュータプログラムを記憶するためのメモリと、前記メモリに記憶されたコンピュータプログラムを実行するためのプロセッサと、を含み、前記コンピュータプログラムが実行される時に、上記いずれか１種の方法の実施形態が実現される電子機器を提供する。

本願の実施形態の更に別の態様によれば、コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、該コンピュータプログラムがプロセッサにより実行される時に、上記いずれか１種の方法の実施形態が実現されるコンピュータ可読記憶媒体を提供する。

本願の実施形態の更に別の態様によれば、コンピュータコマンドを含むコンピュータプログラムであって、前記コンピュータコマンドが機器のプロセッサで作動する時に、上記いずれか１種の方法の実施形態が実現されるコンピュータプログラムを提供する。

本願に基づいて提供される人体輪郭キーポイントの検出方法、人体輪郭キーポイントの検出装置、画像処理方法、画像処理装置、ニューラルネットワークのトレーニング方法、ニューラルネットワークのトレーニング装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラムにおいて、本願は、第１のニューラルネットワークを用いて人体輪郭キーポイントを取得することによって、画像における人体外部輪郭を高速且つ精確に描くことに寄与し、そのように人体が含まれる画像からより豊富な人体セマンティクス情報を取得することに寄与し、更により豊富な人体セマンティクス情報を対応の用途に提供することができ、例えば、本願により抽出された人体輪郭キーポイントは、ステッカー処理、人体動作分析及び人体形態分析等の用途に利用可能である。

以下、図面及び実施形態を通じて本願の技術的手段をさらに詳しく説明する。

明細書の一部を構成する図面は、本願の実施形態を説明し、その説明と共に本願の原理を解釈することに用いられる。

図面を参照し、以下の詳細な説明により本願をより明瞭に理解することができる。
本願の人体輪郭キーポイントの検出方法の一実施形態のフローチャートである。本願の人体輪郭キーポイントの一実施形態の模式図である。本願のニューラルネットワークのトレーニング方法の一実施形態のフローチャートである。本願のニューラルネットワークのトレーニング方法の別の実施形態のフローチャートである。本願の画像サンプルの人体輪郭キーポイントのラベリング情報の生成方法の一実施形態のフローチャートである。本願の画像処理方法の一実施形態のフローチャートである。本願で被処理画像に対してステッカー処理を行う一実施形態のフローチャートである。本願の人体輪郭キーポイントの検出装置の一実施形態の構成模式図である。本願のニューラルネットワークのトレーニング装置の一実施形態の構成模式図である。本願の画像処理装置の一実施形態の構成模式図である。本願の実施形態を実現する一例示的機器のブロック図である。

ここで、図面を参照しながら本願の様々な例示的な実施例を詳細に説明する。なお、特に断らない限り、これらの実施例で記述した部材及び操作の相対的配置、数式及び値は本願の範囲を限定するものではないことに注意すべきである。

同時に、説明の便宜上、図面に示した各部分の寸法は実際の比例関係に従って描いたものではないことを理解すべきである。

以下の少なくとも一つの例示的な実施例に対する説明は実際に説明的なものに過ぎず、本願及びその適用または使用へのなんらの制限にもならない。

関連分野の当業者に既知の技術、方法及び機器については、詳細に説明しない場合があるが、場合によって、前記技術、方法及び機器は明細書の一部と見なすべきである。

なお、類似する符号及び英文字は以下の図面において類似項目を表し、従って、ある一項が一つの図面において定義されれば、以降の図面においてそれをさらに説明する必要がないことに注意すべきである。

本願の実施例は端末装置、コンピュータシステム及びサーバ等の電子機器に適用可能であり、それは他の様々な共通または専用計算システム環境または構成と共に動作可能である。端末装置、コンピュータシステム及びサーバ等の電子機器との併用に適する公知の端末装置、計算システム、環境及び／または構成の例は、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、ファットクライアント、手持ちまたはラップトップデバイス、マイクロプロセッサに基づくシステム、セットトップボックス、プログラマブル消費者用電子機器、ネットワークパソコン、小型コンピュータシステム、大型コンピュータシステム及び前記の任意のシステムを含む分散型クラウドコンピューティング技術環境などを含むが、これらに限定されない。

端末装置、コンピュータシステム及びサーバ等の電子機器はコンピュータシステムにより実行されるコンピュータシステム実行可能コマンド（例えば、プログラムモジュール）の一般的な言語環境において記述できる。通常、プログラムモジュールはルーチン、プログラム、目的プログラム、コンポーネント、ロジック、データ構造などを含んでよく、それらは特定のタスクを実行するかまたは特定の抽象データ型を実現する。コンピュータシステム／サーバは分散型クラウドコンピューティング環境において実施でき、分散型クラウドコンピューティング環境において、タスクは通信ネットワークにわたってリンクされた遠隔処理機器により実行される。分散型クラウドコンピューティング環境において、プログラムモジュールは記憶機器を含むローカルまたは遠隔計算システムの記憶媒体に存在してよい。

例示的実施例
図１は本願の人体輪郭キーポイントの検出方法の一実施形態のフローチャートである。図１に示すように、該実施例の方法は、操作Ｓ１００、操作Ｓ１１０及び操作Ｓ１２０を含む。以下、図１における各操作について詳細に説明する。

Ｓ１００において、人体が含まれる画像ブロックの画像特徴を取得し、例えば、被処理画像における人体が含まれる画像ブロックの画像特徴を取得する。

選択可能な一例において、本願における被処理画像は、静的画像又は写真等の画像であってもよいし、動的ビデオにおけるビデオフレーム等であってもよい。該被処理画像における人体は、正面の人体、側面の人体又は背面の人体等であってよい。被処理画像における人体は、例えば、歩いている、ジャンプしている、蹲いでいる、横になっている又は倒立をしている等の様々な形態になっていてもよい。また、本願の画像ブロックに含まれる人体は完全な人体（例えば、図２に示す人体）であってもよく、局所的な人体（即ち、人体の一部、例えば、人の半身画像等）であってもよい。本願は被処理画像における人体の表現形態を限定しない。

選択可能な一例において、本願はニューラルネットワークの方式で被処理画像における人体が含まれる画像ブロックの画像特徴を取得することができる。本願では被処理画像における人体が含まれる画像ブロックの画像特徴を抽出するためのニューラルネットワークは畳み込みニューラルネットワーク等であってよい。本願の第１のニューラルネットワークと区別するために、本願は、被処理画像における人体が含まれる画像ブロックの画像特徴を抽出するためのニューラルネットワークを第２のニューラルネットワークと言う。

選択可能な一例において、本願は被処理画像における人体が含まれる画像ブロックを第２のニューラルネットワークに入力し、該第２のニューラルネットワークにより該画像ブロックの画像特徴を出力することができる。第２のニューラルネットワークに入力される画像ブロックの大きさは一般的には第２のニューラルネットワークの入力画像サイズへの要求に依存し、例えば、画像ブロックの大きさは２５６×２５６等であってよい。本願は画像ブロックの大きさを限定しない。

選択可能な一例において、本願における第２のニューラルネットワークのネットワーク構造は実際に画像特徴を抽出する時の要求に応じて設計でき、本願の実施例は該第２のニューラルネットワークのネットワーク構造を限定しなく、例えば、本願の第２のニューラルネットワークは、畳み込み層、非線形Ｒｅｌｕ層、プーリング層及び全結合層等を含んでよいが、それらに限定されなく、該第２のニューラルネットワークに含まれる層数が多いほど、ネットワークが深くなり、更に例えば、本願の第２のニューラルネットワークのネットワーク構造としては、ＡＬｅｘＮｅｔ、深層残差ネットワーク（ＤｅｅｐＲｅｓｉｄｕａｌＮｅｔｗｏｒｋ、ＲｅｓＮｅｔ）又はＶＧＧｎｅｔ（ＶｉｓｕａｌＧｅｏｍｅｔｒｙＧｒｏｕｐＮｅｔｗｏｒｋ、視覚幾何組ネットワーク）等のニューラルネットワークに採用されるネットワーク構造を採用して良いが、それらに限定されない。

選択可能な一例において、本願における画像ブロックは被処理画像の画像全体であってもよいし、被処理画像における人体が含まれる局所画像であってもよい。また、画像ブロックは更に被処理画像における人体が含まれる局所画像に基づいて処理して得られた画像ブロックであってもよい。本願で第２のニューラルネットワークに入力される画像ブロックは被処理画像に対して切り取り処理を行うことで取得される画像ブロックであってよい。選択可能な一例において、本願は、先に被処理画像に対して人体検出を行い、人体検出結果により被処理画像に対して切り取り処理を行い、更に切り取り処理の結果により本願における画像ブロックを取得するようになってよい。

選択可能な一例において、所定の大きさを有する画像ブロックを取得するために、本願は、先に被処理画像に対して縮小拡大処理を行い、次に、所定の大きさで縮小拡大処理後の被処理画像から人体が含まれる画像ブロックを切り取ることができる。本願は人体検出結果により被処理画像に対して縮小拡大処理を行うことができ、そのように切り取った人体が含まれる画像ブロックに所定の大きさを持たせる。本願はニューラルネットワークの方式で被処理画像に対して縮小拡大処理及び切り取り処理を行うことができる。本願における第１のニューラルネットワーク及び第２のニューラルネットワークと区別するために、本願における縮小拡大処理及び切り取り処理を実行するためのニューラルネットワークは入力ニューラルネットワークと呼んでも良い。

選択可能な一例において、本願は人体検出結果及び被処理画像を入力ニューラルネットワークに提供してよく、そのように入力ニューラルネットワークの出力により所定の大きさを有する人体が含まれる画像ブロックを取得することができる。本願における人体検出結果は一般的には人体の被処理画像での位置を表示可能な情報を指す。本願は様々な形態で被処理画像の人体検出結果を取得でき、例えば、人体検出器を用いて被処理画像に対して人体検出を行って、人体検出結果を取得する。本願は被処理画像に対して人体検出を行う実現形態及び人体検出器の構造等を限定しない。

選択可能な一例において、本願の人体検出結果は、被処理画像内の人体外接枠の中心位置及び人体スケール因子を含んでよい。本願における人体外接枠の中心位置は人体位置又は人体中心点等と呼んでよい。本願における人体スケール因子は人体外接枠の大きさを決定することに利用可能である。人体スケール因子は拡大縮小因子であってよく、例えば、人体スケール因子ｓは被処理画像内の人体頭部の大きさＨを標準サイズｈに拡大縮小する拡大縮小因子であってよく、即ちｓ＝ｈ／Ｈである。本願は、被処理画像内の人体外接枠の中心位置、人体スケール因子及び被処理画像を入力ニューラルネットワークに提供し、入力ニューラルネットワークを介して人体スケール因子により被処理画像に対して拡大縮小処理を行い、且つ所定の大きさ及び中心位置により拡大縮小処理後の被処理画像に対して切り取り処理を行い、人体が含まれる所定の大きさの画像ブロックを出力するようになってよい。

選択可能な一例において、該操作Ｓ１００はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動する画像特徴取得モジュール８００によって実行されてもよい。

Ｓ１１０において、第１のニューラルネットワークにより画像特徴に基づいて上記人体の人体輪郭キーポイント予測結果を取得する。

選択可能な一例において、本願における第１のニューラルネットワークは人体輪郭キーポイントのラベリング情報を有する画像サンプルを用いてトレーニングして取得されたものである。本願で入力ニューラルネットワークによって被処理画像に対して拡大縮小処理及び切り取り処理を行い、且つ第２のニューラルネットワークによって人体が含まれる画像ブロックの画像特徴を抽出する場合に、本願における入力ニューラルネットワーク、第１のニューラルネットワーク及び第２のニューラルネットワークはいずれも人体輪郭キーポイントのラベリング情報を有する画像サンプルを用いてトレーニングして取得されたものであってよい。画像サンプルを用いてニューラルネットワークをトレーニングするプロセスについては以下の図３及び図４に対する説明を参照してもよい。ここで、詳細な説明は割愛する。

選択可能な一例において、本願における第１のニューラルネットワークは、入力される画像特徴について、少なくとも一つの人体輪郭キーポイントに対してそれぞれ人体輪郭キーポイント対応マップを形成する。通常、本願における一つの人体輪郭キーポイント対応マップは、一つの対応する人体輪郭キーポイントが画像ブロックの複数の位置（例えばそれぞれの位置）に現れる可能性を表示可能を表している。人体輪郭キーポイント対応マップは人体輪郭キーポイント予測結果の選択可能の表現形式である。選択可能な一例において、人体輪郭キーポイントの数を予めＮ（Ｎが０より大きい整数）に設定するとした場合、本願における第１のニューラルネットワークは、入力された画像特徴に対して、Ｎ個の人体輪郭キーポイント対応マップを形成し、それぞれの人体輪郭キーポイント対応マップがいずれも一つの人体輪郭キーポイントに対応し、異なる人体輪郭キーポイント対応マップが異なる人体輪郭キーポイントに対応し、このように一つの人体輪郭キーポイント対応マップは、それに対応する人体輪郭キーポイントが画像ブロックのそれぞれの位置に現れる可能性を示すことができる。

選択可能な一例において、第１のニューラルネットワークから出力される人体輪郭キーポイント対応マップは、人体輪郭キーポイント信頼度マップであってよい。人体輪郭キーポイント信頼度マップは対応する人体輪郭キーポイントが画像ブロックの複数の位置（例えば、それぞれの位置）に現れる信頼度を示すことができる。

選択可能な一例において、本願における人体輪郭キーポイントの数は一般的には複数である。選択可能な一例において、人体輪郭キーポイントの数は一般的には４２個より低くなく、かつ一般的には１１５個を超えなく、例えば、本願の人体輪郭キーポイントの数が６４個であってよい。６４個の人体輪郭キーポイントが分布した選択可能な一例が図２に示される。

選択可能な一例において、本願の人体輪郭キーポイントは、頭部輪郭キーポイント、腕輪郭キーポイント、手部輪郭キーポイント、肩部輪郭キーポイント、足部輪郭キーポイント、腰部輪郭キーポイント及び脚部輪郭キーポイントのうちの少なくとも一つを含む。

選択可能に、本願の頭部輪郭キーポイントの数は一般的には３個より低くなく、かつ一般的には８個を超えない。

選択可能に、本願の腕輪郭キーポイントは、左側腕輪郭キーポイント（左側腕内側輪郭キーポイント及び／又は左側腕外側輪郭キーポイントを含む）と右側腕輪郭キーポイント（右側腕内側輪郭キーポイント及び／又は右側腕外側輪郭キーポイントを含む）を含んでよい。左／右側腕輪郭キーポイントの数は一般的には６個より低くなく、かつ一般的には１８個を超えない。

選択可能に、本願の手部輪郭キーポイントは、左側手部輪郭キーポイントと右側手部輪郭キーポイントを含んでよく、左／右側手部輪郭キーポイントの数は一般的には２個より低くなく、かつ一般的には２個を超えない。

選択可能に、本願の肩部輪郭キーポイントは、左側肩部輪郭キーポイントと右側肩部輪郭キーポイントを含んでよく、左／右側肩部輪郭キーポイントの数は一般的には２個より低くなく、かつ一般的には４個を超えない。

選択可能に、本願の足部輪郭キーポイントは、左側足部輪郭キーポイント（左側足部内側輪郭キーポイント及び／又は左側足部外側輪郭キーポイントを含む）と右側足部輪郭キーポイント（右側足部内側輪郭キーポイント及び／又は右側足部外側輪郭キーポイントを含む）を含んでよい。左／右側足部輪郭キーポイントの数は一般的には６個より低くなく、かつ一般的には１８個を超えない。この左側足部輪郭キーポイントと右側足部輪郭キーポイントのうち、股間に位置するキーポイントが重複するものである。

選択可能に、本願の腰部輪郭キーポイントは、左側腰部輪郭キーポイントと右側腰部輪郭キーポイントを含んでよく、左／右側腰部輪郭キーポイントの数は一般的には２個より低くなく、かつ一般的には１０個を超えない。

選択可能に、本願の脚部輪郭キーポイントは、左側脚部輪郭キーポイントと右側脚部輪郭キーポイントを含んでよく、左／右側脚部輪郭キーポイントの数は一般的には２個より低くなく、かつ一般的には２個を超えない。

選択可能な一例において、本願の人体輪郭キーポイントは、以下のものを含む。

３個の頭部輪郭キーポイント：それぞれは１個の頭頂部キーポイント、１個の鼻先端部キーポイント及び１個の顎キーポイントであり、
１０個の左側腕輪郭キーポイント：それぞれは２個の左手首輪郭キーポイント（内側外側それぞれ１個、即ち、左手首内側輪郭キーポイントと左手首外側輪郭キーポイント）、２個の左肘輪郭キーポイント（内側外側それぞれ１個、即ち、左肘内側輪郭キーポイントと左肘外側輪郭キーポイント）、２個の左腕の付け根部輪郭キーポイント（内側外側それぞれ１個、即ち、左腕の付け根部内側輪郭キーポイントと左腕の付け根部外側輪郭キーポイントであり、この左腕の付け根部内側輪郭キーポイントが即ち左腋窩キーポイントである）、左手首輪郭キーポイントと左肘輪郭キーポイントとの間の中点位置に位置する２個の左前腕輪郭中点キーポイント（内側外側それぞれ１個、即ち、左前腕内側輪郭中点キーポイントと左前腕外側輪郭中点キーポイント）、及び左肘輪郭キーポイントと左腕の付け根部輪郭キーポイントとの間の中点位置に位置する２個の左上腕輪郭中点キーポイント（内側外側それぞれ１個、即ち、左上腕内側輪郭中点キーポイントと左上腕外側輪郭中点キーポイント）であり、本願における上腕が即ち上膊であり、
１０個の右側腕輪郭キーポイント：それぞれは２個の右手首輪郭キーポイント（内側外側それぞれ１個、即ち、右手首内側輪郭キーポイントと右手首外側輪郭キーポイント）、２個の右肘輪郭キーポイント（内側外側それぞれ１個、即ち、右肘内側輪郭キーポイントと右肘外側輪郭キーポイント）、２個の右腕の付け根部輪郭キーポイント（内側外側それぞれ１個、即ち、右腕の付け根部内側輪郭キーポイントと右腕の付け根部外側輪郭キーポイントであり、この右腕の付け根部内側輪郭キーポイントが即ち右腋窩キーポイントである）、右手首輪郭キーポイントと右肘輪郭キーポイントとの間の中点位置に位置する２個の右前腕輪郭中点キーポイント（内側外側それぞれ１個、即ち、右前腕内側輪郭中点キーポイントと右前腕外側輪郭中点キーポイント）、及び右肘輪郭キーポイントと右腕の付け根部輪郭キーポイントとの間の中点位置に位置する２個の右上腕輪郭中点キーポイント（内側外側それぞれ１個、即ち、右上腕内側輪郭中点キーポイントと右上腕外側輪郭中点キーポイント）であり、本願における前腕が即ち下臂である。

２個の左側手部輪郭キーポイント：それぞれは１個の左手手先キーポイント及び１個の左手掌中点キーポイントであり、
２個の右側手部輪郭キーポイント：それぞれは１個の右手手先キーポイント及び１個の右手掌中点キーポイントであり、
２個の左側肩部輪郭キーポイント：それぞれは左側肩部と頭部の接合位置に位置する１個の左肩頭接合キーポイント、及び左腕の付け根部輪郭キーポイントと左肩頭接合キーポイントとの間の中点位置に位置する１個の左肩輪郭中点キーポイントであり、
２個の右側肩部輪郭キーポイント：それぞれは右側肩部と頭部の接合位置に位置する１個の右肩頭接合キーポイント、及び右腕の付け根部輪郭キーポイントと右肩頭接合キーポイントとの間の中点位置に位置する１個の右肩輪郭中点キーポイントであり、
１０個の左側足部輪郭キーポイント：それぞれは１個の股間キーポイント、２個の左膝輪郭キーポイント（内側外側それぞれ１個、即ち、左膝内側輪郭キーポイントと左膝外側輪郭キーポイント）、２個の左踝輪郭キーポイント（内側外側それぞれ１個、即ち、左踝内側輪郭キーポイントと左踝外側輪郭キーポイント）、１個の左股の付け根部外側輪郭キーポイント、左膝輪郭キーポイントと左踝輪郭キーポイントとの間の中点位置に位置する２個の左すね輪郭中点キーポイント（内側外側それぞれ１個、即ち、左すね内側輪郭中点キーポイントと左すね外側輪郭中点キーポイント）、左膝内側輪郭キーポイントと股間キーポイントとの間の中点位置に位置する１個の左股内側輪郭中点キーポイント、及び左膝外側輪郭キーポイントと左股の付け根部外側輪郭キーポイントとの間の中点位置に位置する１個の左股外側輪郭中点キーポイントであり、
１０個の右側足部輪郭キーポイント：それぞれは１個の股間キーポイント（上記左側足部輪郭キーポイントのうちの股間キーポイントと重複する）、２個の右膝輪郭キーポイント（内側外側それぞれ１個、即ち、右膝内側輪郭キーポイントと右膝外側輪郭キーポイント）、２個の右踝輪郭キーポイント（内側外側それぞれ１個、即ち、右踝内側輪郭キーポイントと右踝外側輪郭キーポイント）、１個の右股の付け根部外側輪郭キーポイント、右膝輪郭キーポイントと右踝輪郭キーポイントとの間の中点位置に位置する２個の右すね輪郭中点キーポイント（内側外側それぞれ１個、即ち、右すね内側輪郭中点キーポイントと右すね外側輪郭中点キーポイント）、右膝内側輪郭キーポイントと股間キーポイントとの間の中点位置に位置する１個の右股内側輪郭中点キーポイント、及び右膝外側輪郭キーポイントと右股の付け根部外側輪郭キーポイントとの間の中点位置に位置する１個の右股外側輪郭中点キーポイントであり、
５個の左側腰部輪郭キーポイント：それぞれは左股の付け根部外側輪郭キーポイントと左腕の付け根部輪郭キーポイントとの間を６等分にして生成する５個の等分点であり、
５個の右側腰部輪郭キーポイント：それぞれは右股の付け根部外側輪郭キーポイントと右腕の付け根部輪郭キーポイントとの間を６等分にして生成する５個の等分点であり、
２個の左側脚部輪郭キーポイント：それぞれは１個の左爪先キーポイント及び１個の左踵キーポイントであり
２個の右側脚部輪郭キーポイント：それぞれは１個の右爪先キーポイント及び１個の右踵キーポイントであり、
上記人体輪郭キーポイントの総数が６４個である（重複する股間キーポイント１個を含まない）。複数回の実験によって分かったように、本願では６４個の人体輪郭キーポイントを検出するために消費する計算資源及び時間コストが多くない。図２から分かったように、６４個の人体輪郭キーポイントは人体の外部輪郭を精確に描くことができる。このことから分かったように、６４個の人体輪郭キーポイントは、資源消費、リアルタイム性及び人体外部輪郭を描く正確度で、好適なバランスを取ることができる。

上記人体輪郭キーポイントの詳細な分布は選択可能な一例に過ぎず、本願では人体輪郭キーポイントの分布情况が限定されなく、人体輪郭キーポイントによって人体の外部輪郭を基本的に描くことができればよい。また、人体輪郭キーポイントの数が多いほど（例えば、６４個より多い）、人体輪郭キーポイントに基づいて描かれた人体輪郭が精確になることが多い。

選択可能な一例において、該操作Ｓ１１０はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動する予測結果取得モジュール８１０によって実行されてもよい。

Ｓ１２０において、人体輪郭キーポイント予測結果により画像ブロック中の人体輪郭キーポイントを取得する。

選択可能な一例において、本願は、予め設置された人体輪郭点判別条件により、第１のニューラルネットワークから出力される情報を判断し、判断結果により画像ブロックにおける人体輪郭キーポイントを取得し、更に位置マッピング等の方式によって画像ブロックにおける人体輪郭キーポイントを被処理画像に変換して、被処理画像における人体輪郭キーポイントを取得することができる。本願における判別条件は実際に応じて設定されるものであり、例えば、人体輪郭キーポイント対応マップに基づいて設定される。

選択可能な一例では、第１のニューラルネットワークはＮ個の人体輪郭キーポイントについて、Ｎ個の人体輪郭キーポイント信頼度マップを出力し、本願は、所定の信頼度要求によりＭ（Ｍが０より大きく且つＮ以下である）番目の人体輪郭キーポイント信頼度マップを判断して、人体輪郭キーポイント信頼度マップから所定の信頼度要求を満たす点を選択することができ、例えば、本願は、所定の信頼度要求によりＭ番目の人体輪郭キーポイント信頼度マップについて下記操作を行ってよく、Ｍ番目の人体輪郭キーポイント信頼度マップから信頼度が最も高い点を選択し、この信頼度が最も高い点が所定の信頼度閾値より大きいか否かを判断し、所定の信頼度閾値より大きくなければ、被処理画像にＭ番目の人体輪郭キーポイントが存在しないことを示し、所定の信頼度閾値より大きければ、該点の画像ブロックでの位置に対してマッピング処理を行って、該点の被処理画像でのマッピング位置点を取得でき、該マッピング位置点がＭ番目の人体輪郭キーポイントとなる。

選択可能な一例において、該操作Ｓ１２０はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動する輪郭キーポイント取得モジュール８２０によって実行されてもよい。

本願により取得された人体輪郭キーポイントは、被処理画像における人体外部輪郭を精確に描くことに寄与し、そのように人体が含まれる画像からより豊富な人体セマンティクス情報を取得することに寄与し、更により豊富な人体セマンティクス情報を対応の用途に提供することができ、例えば、本願により抽出された人体輪郭キーポイントは、ステッカー処理、人体動作分析及び人体形態分析等の用途に利用可能である。本願は第１のニューラルネットワークを用いて被処理画像の人体輪郭キーポイントを取得することによって、被処理画像の人体輪郭キーポイントを高速且つ精確に取得することに寄与し、そのように被処理画像の人体輪郭キーポイントをリアルタイムで抽出する要求を満足することに寄与し、更に本願で提供される技術的手段を生放送又はマンマシンインタラクション等のリアルタイム環境に利用可能にする。

図３は本願のニューラルネットワークのトレーニング方法の一実施形態のフローチャートである。図３に示すように、該実施例の方法は、操作Ｓ３００、操作Ｓ３１０及び操作Ｓ３２０を含む。以下、図３における各操作について詳細に説明する。

Ｓ３００において、人体が含まれるサンプル画像ブロックの画像特徴を取得し、例えば、トレーニングデータ集合から画像サンプルを取得し、且つ画像サンプル内の人体が含まれるサンプル画像ブロックの画像特徴を取得する。選択可能な一例において、本願におけるトレーニングデータ集合は、第１のニューラルネットワークをトレーニングするための複数の画像サンプルを含み、一般的には、それぞれの画像サンプルにはいずれも人体輪郭キーポイントのラベリング情報が設置されており、例えば、それぞれの画像サンプルにいずれも複数の人体輪郭キーポイント（例えば、６４個又は６４より大きく且つ１１５個以下である人体輪郭キーポイント等）ラベリング情報が設置されている。本願はランダムに読み取る方式又は画像サンプル配列順序で読み取る方式によりトレーニングデータ集合から一回に一つ又は複数の画像サンプルを読み取ることができる。トレーニングデータ集合中の画像サンプルの人体輪郭キーポイントのラベリング情報の生成方式は下記の図５の説明のようになってもよく、ここで、詳細な説明は割愛する。

選択可能な一例において、本願は様々な形態で人体が含まれるサンプル画像ブロックの画像特徴を取得することができ、例えば、本願はニューラルネットワークの方式で画像サンプル内の人体が含まれる画像ブロックの画像特徴を取得することができる。選択可能な一例において、本願は、先に画像サンプルに対して人体検出を行い、次に、人体検出結果及び画像サンプルをトレーニング待ちの入力ニューラルネットワークに提供して、トレーニング待ちの入力ニューラルネットワークにより人体が含まれる所定の大きさのサンプル画像ブロックを取得し、最後に、トレーニング待ちの第２のニューラルネットワークを用いてサンプル画像ブロックの画像特徴を取得するようになってよい。上記人体検出結果は画像サンプルにおける人体外接枠の中心位置及び人体スケール因子であってよい。

選択可能な一例において、該操作Ｓ３００はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動する第１のモジュール９００によって実行されてもよい。

Ｓ３１０において、トレーニング待ちの第１のニューラルネットワークにより画像特徴に基づいて人体の人体輪郭キーポイント予測結果を取得する。

選択可能な一例において、本願におけるトレーニング待ちの第１のニューラルネットワークは、入力されるサンプル画像ブロックの画像特徴について、少なくとも一つの人体輪郭キーポイントに対してそれぞれ人体輪郭キーポイント対応マップを形成する。選択可能な一例において、人体輪郭キーポイントの数をＮ（Ｎが０より大きい整数）に予め設定し、本願におけるトレーニング待ちの第１のニューラルネットワークは、入力されるサンプル画像ブロックの画像特徴について、Ｎ個の人体輪郭キーポイント対応マップを形成し、それぞれの人体輪郭キーポイント対応マップがいずれも一つの人体輪郭キーポイントに対応し、異なる人体輪郭キーポイント対応マップが異なる人体輪郭キーポイントに対応し、そのように一つの人体輪郭キーポイント対応マップはそれに対応する人体輪郭キーポイントがサンプル画像ブロックのそれぞれの位置に現れる可能性を示すことができる。

選択可能な一例において、トレーニング待ちの第１のニューラルネットワークから出力される人体輪郭キーポイント対応マップは、人体輪郭キーポイント信頼度マップであってよい。人体輪郭キーポイント信頼度マップは対応する人体輪郭キーポイントがサンプル画像ブロックの複数の位置（例えば、それぞれの位置）に現れる信頼度を示すことができる。

選択可能な一例において、該操作Ｓ３１０はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動する第２のモジュール９１０によって実行されてもよい。

Ｓ３２０において、人体輪郭キーポイント予測結果と人体輪郭キーポイントのラベリング情報との差異を教師情報として、トレーニング待ちの第１のニューラルネットワークに対して教師あり学習を行う。

選択可能な一例において、画像サンプルのいずれか一つの人体輪郭キーポイントのラベリング情報に対して、本願は該人体輪郭キーポイントのラベリング情報に人体輪郭キーポイント対応マップ（例えば、人体輪郭キーポイント信頼度マップ）を生成することができる。本願は画像サンプルの一部又は全部の人体輪郭キーポイントのラベリング情報に対してそれぞれ一つの人体輪郭キーポイント対応マップ（例えば、人体輪郭キーポイント信頼度マップ）を生成することができる。その後、本願はトレーニング待ちの第１のニューラルネットワークから出力された各人体輪郭キーポイント対応マップ（例えば、人体輪郭キーポイント信頼度マップ）と上記の生成した各人体輪郭キーポイント対応マップ（例えば、人体輪郭キーポイント信頼度マップ）との差異を教師情報として、トレーニング待ちの第１のニューラルネットワークに対して教師あり学習を行うことができる。

選択可能な一例において、トレーニング待ちの第１のニューラルネットワークがＮ（例えば、６４）個の人体輪郭キーポイントについて出力したＮ（例えば、６４）枚の人体輪郭キーポイント信頼度マップは、それぞれ第１の出力人体輪郭キーポイント信頼度マップ、第２の出力人体輪郭キーポイント信頼度マップ、……及び第Ｎの出力人体輪郭キーポイント信頼度マップであり、本願では画像サンプルのＮ（例えば、６４）個の人体輪郭キーポイントのラベリング情報のために生成したＮ（例えば、６４）枚の人体輪郭キーポイント信頼度マップは、それぞれ第１の生成人体輪郭キーポイント信頼度マップ、第２の生成人体輪郭キーポイント信頼度マップ、……及び第Ｎの生成人体輪郭キーポイント信頼度マップであり、本願は第１の出力人体輪郭キーポイント信頼度マップと第１の生成人体輪郭キーポイント信頼度マップとの差異、第２の出力人体輪郭キーポイント信頼度マップと第２の生成人体輪郭キーポイント信頼度マップとの差異、……、及び第Ｎの出力人体輪郭キーポイント信頼度マップと第Ｎの生成人体輪郭キーポイント信頼度マップとの差異を教師情報として、トレーニング待ちの第１のニューラルネットワークに対して教師あり学習を行うことができる。

選択可能な一例において、本願は様々な方式によって人体輪郭キーポイント信頼度マップを生成することができ、例えば、画像サンプルのいずれか一つの人体輪郭キーポイントのラベリング情報について、先に該人体輪郭キーポイントのラベリング情報によりそのサンプル画像ブロックでの位置を決定し、次に、該位置の所定の周囲領域（例えば、該位置を中心とするＸ×Ｙ領域、更に例えば、画像ブロック領域全体等）内で、ガウス応答を形成し、そのように該ガウス応答に基づいて該人体輪郭キーポイントのラベリング情報に対応する人体輪郭キーポイント信頼度マップを取得できる。上記方法によれば、本願は画像サンプルのそれぞれの人体輪郭キーポイントのラベリング情報に対して、それぞれサンプル画像ブロックの大きさと同様な１枚の人体輪郭キーポイント信頼度マップを生成することができる。また、本願は他の方式によって人体輪郭キーポイント信頼度マップを生成することもでき、例えば、人体輪郭キーポイントのラベリング情報に対応するサンプル画像ブロック内の位置を１に設置し、他の位置を０に設置して、１枚の人体輪郭キーポイント信頼度マップを取得する。本願は人体輪郭キーポイント信頼度マップを生成する実現形態を限定しない。

選択可能な一例において、本願は予め設置された人体輪郭点判別条件により、トレーニング待ちの第１のニューラルネットワークから出力される情報を判断し、判断結果によりサンプル画像ブロックにおける人体輪郭キーポイントを取得することができ、更に位置マッピング等の方式によってサンプル画像ブロックにおける人体輪郭キーポイントを画像サンプルに変換して、画像サンプル内の人体輪郭キーポイントを取得することができる。その後、本願は上記の取得された画像サンプル内の人体輪郭キーポイントと画像サンプルの人体輪郭キーポイントのラベリング情報との差異を小さくすることを目的として、トレーニング待ちの第１のニューラルネットワークのネットワークパラメータ（例えば、重み値等）を調整して、トレーニング待ちの第１のニューラルネットワークに対して教師あり学習を行うことができる。

選択可能な一例において、トレーニング待ちの第１のニューラルネットワークに対するトレーニングが所定の反復条件に達した時に、今回のトレーニングプロセスが終了するとする。本願の所定の反復条件は、トレーニング待ちの第１のニューラルネットワークから出力される情報と画像サンプルの人体輪郭キーポイントのラベリング情報との差異が所定の差異要求を満たしたことを含んでよい。差異がこの所定の差異要求を満たした場合に、トレーニング待ちの第１のニューラルネットワークに対する今回のトレーニングが成功して完了するとする。本願の所定の反復条件は、該トレーニング待ちの第１のニューラルネットワークをトレーニングするために使用される画像サンプルの数が所定の数量要求に達した等のことを含んでもよい。使用される画像サンプルの数量が所定の数量要求に達したが、差が所定の差要求を満たしていない場合に、トレーニング待ちの第１のニューラルネットワークに対する今回のトレーニングが成功しなかったとする。トレーニングが成功して完了した第１のニューラルネットワークは、被処理画像における人体が含まれる画像ブロックの画像特徴に対して人体輪郭キーポイント検出処理を行うことに利用可能である。

選択可能な一例において、該操作Ｓ３２０はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動する第３のモジュール９２０によって実行されてもよい。

図４は本願のニューラルネットワークのトレーニング方法の別の実施形態のフローチャートである。図４に示すように、該実施例の方法は、操作Ｓ４００、操作Ｓ４１０、操作Ｓ４２０、操作Ｓ４３０、操作Ｓ４４０及び操作Ｓ４５０を含む。以下、図４における各操作について説明する。

Ｓ４００において、トレーニングデータ集合から画像サンプルを取得する。本願における画像サンプルについては上記操作Ｓ３００に対する説明を参照してよい。

Ｓ４１０において、画像サンプルを人体検出器に提供して画像サンプルの人体検出結果を取得する。選択可能に、本願は人体検出器を用いて画像サンプルにおける人体外接枠の中心位置及び人体スケール因子を取得することができる。

Ｓ４２０において、画像サンプルの人体検出結果及び画像サンプルをトレーニング待ちの入力ニューラルネットワークに提供して、トレーニング待ちの入力ニューラルネットワークにより人体が含まれる所定の大きさのサンプル画像ブロックを取得する。

選択可能に、トレーニング待ちの入力ニューラルネットワークは、入力される画像サンプルにおける人体外接枠の中心位置及び人体スケール因子により、画像サンプルにおける人体外接枠の大きさ及び位置を決定でき、そのように人体外接枠の大きさ及び位置により入力される画像サンプルからサンプル画像ブロックを切り取り、且つ該サンプル画像ブロックを出力することができる。

Ｓ４３０において、サンプル画像ブロックをトレーニング待ちの第２のニューラルネットワークに提供して、第２のニューラルネットワークを介してサンプル画像ブロックの画像特徴を取得する。該トレーニング待ちの第２のニューラルネットワークの構造等については上記方法の実施形態での関連説明を参照してよく、ここで、重複説明を省略する。

選択可能な一例において、該操作Ｓ４００、Ｓ４１０、Ｓ４２０及びＳ４３０はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動する第１のモジュール９００によって実行されてもよい。

Ｓ４４０において、サンプル画像ブロックの画像特徴をトレーニング待ちの第１のニューラルネットワークに提供して、トレーニング待ちの第１のニューラルネットワークによりサンプル画像ブロックの画像特徴に基づいて人体輪郭キーポイント予測処理を行って、少なくとも一つの人体輪郭キーポイント対応マップを取得する。

選択可能に、入力されるサンプル画像ブロックの画像特徴について、トレーニング待ちの第１のニューラルネットワークはそれぞれの人体輪郭キーポイントに対してそれぞれ一つの人体輪郭キーポイント信頼度マップを出力することができ、即ち、出力されるそれぞれの人体輪郭キーポイント信頼度マップがいずれも一つの異なる人体輪郭キーポイントに対応し、一つの人体輪郭キーポイント信頼度マップはそれに対応する人体輪郭キーポイントがサンプル画像ブロックのそれぞれの位置に現れる信頼度を示すことができる。

選択可能な一例において、該操作Ｓ４４０はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動する第２のモジュール９１０によって実行されてもよい。

Ｓ４５０において、トレーニング待ちの第１のニューラルネットワークから出力されたＮ個の人体輪郭キーポイント対応マップと画像サンプルの人体輪郭キーポイントのラベリング情報に基づいて形成されたＮ個の人体輪郭キーポイント対応マップとの差異を教師情報として、トレーニング待ちの入力ニューラルネットワーク、トレーニング待ちの第１のニューラルネットワーク及びトレーニング待ちの第２のニューラルネットワークに対して教師あり学習を行う。

選択可能に、画像サンプルのいずれか一つの人体輪郭キーポイントのラベリング情報に対して、先に該人体輪郭キーポイントのラベリング情報によりそのサンプル画像ブロックでの位置を決定し、次に、該位置の所定の周囲領域（例えば、該位置を中心とするＸ×Ｙ領域、更に例えば、画像ブロック領域全体等）内で、ガウス応答を形成することができ、そのように該ガウス応答に基づいて該人体輪郭キーポイントのラベリング情報に対応する人体輪郭キーポイント信頼度マップを取得できる。上記方法によれば、本願は画像サンプルのそれぞれの人体輪郭キーポイントのラベリング情報に対してそれぞれサンプル画像ブロックの大きさと同様な１枚の人体輪郭キーポイント信頼度マップを生成することができる。そのようにして、本願は第１のニューラルネットワークがそれぞれの人体輪郭キーポイントについて出力した人体輪郭キーポイント信頼度マップと上記の生成した対応の人体輪郭キーポイント信頼度マップとの差異を教師情報として、トレーニング待ちの入力ニューラルネットワーク、トレーニング待ちの第１のニューラルネットワーク及びトレーニング待ちの第２のニューラルネットワークに対して教師あり学習を行うことができる。つまり、本願は上記の生成した人体輪郭キーポイント信頼度マップとトレーニング待ちの第１のニューラルネットワークから出力された人体輪郭キーポイント信頼度マップとの差異を小さくすることを目的として、トレーニング待ちの入力ニューラルネットワーク、トレーニング待ちの第１のニューラルネットワーク及びトレーニング待ちの第２のニューラルネットワークのネットワークパラメータ（例えば、重み値等）を調整して、トレーニング待ちの入力ニューラルネットワーク、トレーニング待ちの第１のニューラルネットワーク及びトレーニング待ちの第２のニューラルネットワークに対して教師あり学習を行うことができる。

トレーニング待ちの入力ニューラルネットワーク、トレーニング待ちの第１のニューラルネットワーク及びトレーニング待ちの第２のニューラルネットワークに対するトレーニングが所定の反復条件に達した（例えば、差が所定の差要求を満たし又は使用される画像サンプルの数が所定の数量要求に達した）時に、今回のトレーニングプロセスが終了するとする。トレーニングプロセスが終了した時に、トレーニング待ちの第１のニューラルネットワークから出力された情報と画像サンプルの人体輪郭キーポイントのラベリング情報との差異が所定の差異要求を満たせば、トレーニング待ちの入力ニューラルネットワーク、トレーニング待ちの第１のニューラルネットワーク及びトレーニング待ちの第２のニューラルネットワークに対する今回のトレーニングが成功して完了するとし、逆には、トレーニング待ちの入力ニューラルネットワーク、トレーニング待ちの第１のニューラルネットワーク及びトレーニング待ちの第２のニューラルネットワークに対する今回のトレーニングが成功しなかったとする。

選択可能な一例において、該操作Ｓ４５０はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動する第３のモジュール９２０によって実行されてもよい。

図５は本願の画像サンプルの人体輪郭キーポイントのラベリング情報の生成方法の一実施形態のフローチャートである。図５に示すように、該実施例の方法は、操作Ｓ５００、操作Ｓ５１０及び操作Ｓ５２０を含む。選択可能に、該実施例の方法は、操作Ｓ５３０を更に含む。以下、図５における各操作について説明する。

Ｓ５００において、画像サンプルの人体骨格キーポイントを取得する。

選択可能な一例において、本願は様々な方式により画像サンプルの人体骨格キーポイントを取得することができ、選択可能な一例において、まず、画像サンプルを人体検出器に提供して画像サンプルの人体検出結果を取得し、例えば、画像サンプルにおける人体外接枠の中心位置及び人体スケール因子を取得し、次に、画像サンプルの人体検出結果及び画像サンプルを入力ニューラルネットワークに提供して、入力ニューラルネットワークにより該画像サンプル内の人体が含まれるサンプル画像ブロックを取得し、次に、サンプル画像ブロックを人体骨格検出モジュールに供給して、該人体骨格検出モジュールによりサンプル画像ブロックにおける人体骨格キーポイントを取得する。

選択可能な一例において、本願における人体骨格キーポイントは一般的には体の関節の中心位置に位置する。人体骨格キーポイントを用いて人体外部輪郭を描くことができない。選択可能に、本願で取得された人体骨格キーポイントは、右肩キーポイント、右肘キーポイント、右手首キーポイント、左肩キーポイント、左肘キーポイント、左手首キーポイント、右寛骨キーポイント、右膝キーポイント、右踝キーポイント、左寛骨キーポイント、左膝キーポイント、左踝キーポイント、頭頂部キーポイント及びネックキーポイント等を含む。本願は人体骨格キーポイントの数及び人体骨格キーポイントを取得する実現形態を限定しない。

Ｓ５１０において、該画像サンプルの第１の集合内の人体輪郭キーポイントのラベリング情報及び／又は人体骨格キーポイントに基づいて所定の補助線設置方式により補助線を設置する。

選択可能な一例において、人体輪郭キーポイントのラベリング情報は人体輪郭キーポイントの番号及び位置座標等を含んでよい。一つの画像サンプルは複数の集合を有してよく、異なる集合に対応するラベリング難度が異なってよく、ラベリング難度が高い集合内の人体輪郭キーポイントのラベリング情報は、ラベリング難度が低い集合内の人体輪郭キーポイントのラベリング情報に基づいて形成されたものであってよい。本願におけるラベリング難度の度合いは人体輪郭キーポイントの位置を精確に決定しやすいか否かに応じて区別される。本願における画像サンプルの第１の集合内の人体輪郭キーポイントのラベリング情報のラベリング難度が一般的には最も低く、即ち最も精確に決定されやすい人体輪郭キーポイントのラベリング情報が第１の集合に設置されている。本願は手動でラベリングする等の方式によって、第１の集合内の人体輪郭キーポイントのラベリング情報を形成することができる。

選択可能な一例において、第１の集合内の人体輪郭キーポイントのラベリング情報は、以下のものを含んでよい。

頭部輪郭キーポイントラベリング情報：例えば、１個の頭頂部キーポイントラベリング情報、１個の鼻先端部キーポイントラベリング情報及び１個の顎キーポイントラベリング情報、
左側手部輪郭キーポイントラベリング情報：例えば、１個の左手手先キーポイントラベリング情報及び１個の左手掌中点キーポイントラベリング情報、
右側手部輪郭キーポイントラベリング情報：例えば、１個の右手手先キーポイントラベリング情報及び１個の右手掌中点キーポイントラベリング情報、
左側腕輪郭キーポイントラベリング情報のうちの左手首輪郭キーポイントラベリング情報（内側外側それぞれ１個）、左肘輪郭キーポイントラベリング情報（内側外側それぞれ１個）及び１個の左腕の付け根部内側輪郭キーポイントラベリング情報（即ち、左腋窩キーポイントラベリング情報）、
右側腕輪郭キーポイントラベリング情報のうちの右手首輪郭キーポイントラベリング情報（内側外側それぞれ１個）、右肘輪郭キーポイントラベリング情報（内側外側それぞれ１個）及び１個の右腕の付け根部内側輪郭キーポイントラベリング情報（即ち、右腋窩キーポイントラベリング情報）、
左側肩部輪郭キーポイントラベリング情報のうちの１個の左肩頭接合キーポイントラベリング情報、
右側肩部輪郭キーポイントラベリング情報のうちの１個の右肩頭接合キーポイントラベリング情報、
左側足部輪郭キーポイントラベリング情報のうちの１個の股間キーポイントラベリング情報、左膝輪郭キーポイントラベリング情報（内側外側それぞれ１個）及び左踝輪郭キーポイントラベリング情報（内側外側それぞれ１個）、
右側足部輪郭キーポイントラベリング情報のうちの股間キーポイントラベリング情報（重複）、右膝輪郭キーポイントラベリング情報（内側外側それぞれ１個）と右踝輪郭キーポイントラベリング情報（内側外側それぞれ１個）、
左側脚部輪郭キーポイントラベリング情報：例えば、１個の左爪先キーポイントラベリング情報及び１個の左踵キーポイントラベリング情報、
右側脚部輪郭キーポイントラベリング情報：例えば、１個の右爪先キーポイントラベリング情報及び１個の右踵キーポイントラベリング情報。

選択可能な一例において、本願の所定の補助線設置方式は一般的には、一つの人体輪郭キーポイントを通過するように、２つの人体骨格キーポイントの連結線に垂直する垂線を設置することを含む。

第１の選択可能な例において、人体骨格キーポイントのうちの左肩キーポイントと左肘キーポイントとの連結線（以下、第１の連結線という）を作成し、第１の集合中の左腋窩キーポイントを通過するように該第１の連結線の垂線（以下、第１の垂線という）を設置し、該第１の垂線が本願の一補助線となる。同様に、人体骨格キーポイントのうちの右肩キーポイントと右肘キーポイントとの連結線（以下、第２の連結線という）を作成し、第１の集合中の右腋窩キーポイントを通過するように該第２の連結線の垂線（以下、第２の垂線という）を設置し、該第２の垂線が本願の一補助線となる。

第２の選択可能な例において、人体骨格キーポイントのうちの左寛骨キーポイントと左膝キーポイントとの連結線（以下、第３の連結線という）を作成し、第１の集合中の股間キーポイントを通過するように該第３の連結線の垂線（以下、第３の垂線という）を設置し、該第３の垂線が本願の一補助線となる。同様に、人体骨格キーポイントのうちの右寛骨キーポイントと右膝キーポイントとの連結線（以下、第４の連結線という）を作成し、第１の集合中の股間キーポイントを通過するように該第４の連結線の垂線（以下、第４の垂線という）を設置し、該第４の垂線が本願の一補助線となる。

選択可能な一例において、該操作Ｓ５１０はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動する人体輪郭キーポイントの検出装置１０００によって実行されてもよい。

Ｓ５２０において、補助線から選択された点に基づいて第２の集合内の人体輪郭キーポイントのラベリング情報を形成する。

選択可能な一例において、本願の画像サンプルの第２の集合内の人体輪郭キーポイントのラベリング情報のラベリング難度が一般的には第１の集合より高い。第２の集合内の人体輪郭キーポイントのラベリング情報は一般的には第１の集合内の人体輪郭キーポイントのラベリング情報に基づいて形成されたものである。本願は、補助線から点を選択する方式によって、例えば交点を選択する方式によって、第２の集合内の人体輪郭キーポイントのラベリング情報を形成することができる。補助線を作成する方式及び補助線から点を選択する方式によって第２の集合内の人体輪郭キーポイントのラベリング情報を形成することは、第２の集合内の人体輪郭キーポイントのラベリング情報の正確性や一致性を高めることに寄与する。

選択可能な一例において、本願は、第１の垂線とサンプル画像ブロックにおける人体外部輪郭との交点を左腕の付け根部外側輪郭キーポイントとし、左腕の付け根部外側輪郭キーポイントのサンプル画像ブロックでの位置座標を画像サンプルでの位置座標に変換することによって、該左腕の付け根部外側輪郭キーポイントの番号及びその画像サンプルでの位置座標により第２の集合中の左腕の付け根部外側輪郭キーポイントラベリング情報を形成することができる。該方式によれば、左腕の付け根部外側輪郭キーポイントラベリング情報の正確性や一致性を高めることに寄与する。

選択可能な一例において、本願は、第２の垂線とサンプル画像ブロックにおける人体外部輪郭との交点を右腕の付け根部外側輪郭キーポイントとし、右腕の付け根部外側輪郭キーポイントのサンプル画像ブロックでの位置座標を画像サンプルでの位置座標に変換することによって、該右腕の付け根部外側輪郭キーポイントの番号及びその画像サンプルでの位置座標により第２の集合中の右腕の付け根部外側輪郭キーポイントラベリング情報を形成することができる。該方式によれば、右腕の付け根部外側輪郭キーポイントラベリング情報の正確性や一致性を高めることに寄与する。

選択可能な一例において、本願は、第３の垂線とサンプル画像ブロックにおける人体外部輪郭との交点を左股の付け根部外側輪郭キーポイントとし、左股の付け根部外側輪郭キーポイントのサンプル画像ブロックでの位置座標を画像サンプルでの位置座標に変換することによって、該左股の付け根部外側輪郭キーポイントの番号及びその画像サンプルでの位置座標により第２の集合中の左股の付け根部外側輪郭キーポイントラベリング情報を形成することができる。該方式によれば、左股の付け根部外側輪郭キーポイントラベリング情報の正確性や一致性を高めることに寄与する。

選択可能な一例において、本願は、第４の垂線とサンプル画像ブロックにおける人体外部輪郭との交点を右股の付け根部外側輪郭キーポイントとし、右股の付け根部外側輪郭キーポイントのサンプル画像ブロックでの位置座標を画像サンプルでの位置座標に変換することによって、該右股の付け根部外側輪郭キーポイントの番号及びその画像サンプルでの位置座標により第２の集合中の右股の付け根部外側輪郭キーポイントラベリング情報を形成することができる。該方式によれば、右股の付け根部外側輪郭キーポイントラベリング情報の正確性や一致性を高めることに寄与する。

選択可能な一例において、該操作Ｓ５００、Ｓ５１０及びＳ５２０はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動する第１のラベリングモジュール９３０によって実行されてもよい。

Ｓ５３０において、第１の集合及び／又は第２の集合内の２つの人体輪郭キーポイント間の連結線におけるＮ１個の仕切点に基づいて、第３の集合内の人体輪郭キーポイントのラベリング情報を形成する。

選択可能な一例において、本願の画像サンプルの第３の集合内の人体輪郭キーポイントのラベリング情報のラベリング難度が一般的には第１の集合より高い。しかしながら、第３の集合のラベリング難度が必ず第２の集合のラベリング難度より高いというわけではない。選択可能な一例では、本願における人体輪郭キーポイントのラベリング情報は第１の集合中の２つの人体輪郭キーポイントの連結線上のＮ１個の仕切点のラベリング情報であってもよく、第２の集合内の２つの人体輪郭キーポイントの連結線上のＮ１個の仕切点のラベリング情報であってもよく、更に第１の集合中の一つの人体輪郭キーポイントと第２の集合中の一つの人体輪郭キーポイントの連結線上のＮ１個の仕切点のラベリング情報であってもよい。本願におけるＮ１個の仕切点は一般的にはＮ１個の平均仕切点であり、Ｎ１個の平均仕切点が即ちＮ１個の等分点であり、且つＮ１が１より大きい整数であり、例えば、２等分点（即ち、中点）又は５等分点又は６等分点等が挙げられる。

選択可能な一例では、本願は、左手首内側輪郭キーポイントと左肘内側輪郭キーポイントとの連結線上の中点を左前腕内側輪郭中点キーポイントとし、第３の集合中の左前腕内側輪郭中点キーポイントラベリング情報を形成することができる。本願は、左手首外側輪郭キーポイントと左肘外側輪郭キーポイントとの連結線上の中点を左前腕外側輪郭中点キーポイントとし、第３の集合中の左前腕外側輪郭中点キーポイントラベリング情報を形成することができる。

選択可能な一例では、本願は、右手首内側輪郭キーポイントと右肘内側輪郭キーポイントとの連結線上の中点を右前腕内側輪郭中点キーポイントとし、第３の集合中の右前腕内側輪郭中点キーポイントラベリング情報を形成することができる。本願は、右手首外側輪郭キーポイントと左肘外側輪郭キーポイントとの連結線上の中点を右前腕外側輪郭中点キーポイントとし、第３の集合中の右前腕外側輪郭中点キーポイントラベリング情報を形成することができる。

選択可能な一例では、本願は、左肘内側輪郭キーポイントと左腕の付け根部内側輪郭キーポイント（即ち、左腋窩キーポイント）との連結線上の中点を左上腕内側輪郭中点キーポイントとし、第３の集合中の左上腕内側輪郭中点キーポイントラベリング情報を形成することができる。本願は、左肘外側輪郭キーポイントと左腕の付け根部外側輪郭キーポイントとの連結線上の中点を左上腕外側輪郭中点キーポイントとし、第３の集合中の左上腕外側輪郭中点キーポイントラベリング情報を形成することができる。

選択可能な一例では、本願は、右肘内側輪郭キーポイントと右腕の付け根部内側輪郭キーポイント（即ち、右腋窩キーポイント）との連結線上の中点を右上腕内側輪郭中点キーポイントとし、第３の集合中の右上腕内側輪郭中点キーポイントラベリング情報を形成することができる。本願は、右肘外側輪郭キーポイントと右腕の付け根部外側輪郭キーポイントとの連結線上の中点を右上腕外側輪郭中点キーポイントとし、第３の集合中の右上腕外側輪郭中点キーポイントラベリング情報を形成することができる。

選択可能な一例では、本願は、左腕の付け根部外側輪郭キーポイントと左肩頭接合キーポイントとの連結線上の中点を左肩輪郭中点キーポイントとし、第３の集合中の左肩輪郭中点キーポイントラベリング情報を形成することができる。

選択可能な一例では、本願は、右腕の付け根部外側輪郭キーポイントと右肩頭接合キーポイントとの連結線上の中点を右肩輪郭中点キーポイントとし、第３の集合中の右肩輪郭中点キーポイントラベリング情報を形成することができる。

選択可能な一例では、本願は、左膝内側輪郭キーポイントと左踝内側輪郭キーポイントとの連結線上の中点を左すね内側輪郭中点キーポイントとし、第３の集合中の左すね内側輪郭中点キーポイントラベリング情報を形成することができる。本願は、左膝外側輪郭キーポイントと左踝外側輪郭キーポイントとの連結線上の中点を左すね外側輪郭中点キーポイントとし、第３の集合中の左すね外側輪郭中点キーポイントラベリング情報を形成することができる。

選択可能な一例では、本願は、右膝内側輪郭キーポイントと右踝内側輪郭キーポイントとの連結線上の中点を右すね内側輪郭中点キーポイントとし、第３の集合中の右すね内側輪郭中点キーポイントラベリング情報を形成することができる。本願は、右膝外側輪郭キーポイントと右踝外側輪郭キーポイントとの連結線上の中点を右すね外側輪郭中点キーポイントとし、第３の集合中の右すね外側輪郭中点キーポイントラベリング情報を形成することができる。

選択可能な一例では、本願は、左膝内側輪郭キーポイントと左股の付け根部内側輪郭キーポイント（即ち、股間キーポイント）との連結線上の中点を左股内側輪郭中点キーポイントとし、第３の集合中の左股内側輪郭中点キーポイントラベリング情報を形成することができる。本願は、左膝外側輪郭キーポイントと左股の付け根部外側輪郭キーポイントとの連結線上の中点を左股外側輪郭中点キーポイントとし、第３の集合中の左股外側輪郭中点キーポイントラベリング情報を形成することができる。

選択可能な一例では、本願は、右膝内側輪郭キーポイントと右股の付け根部内側輪郭キーポイント（即ち、股間キーポイント）との連結線上の中点を右股内側輪郭中点キーポイントとし、第３の集合中の右股内側輪郭中点キーポイントラベリング情報を形成することができる。本願は、右膝外側輪郭キーポイントと右股の付け根部外側輪郭キーポイントとの連結線上の中点を右股外側輪郭中点キーポイントとし、第３の集合中の右股外側輪郭中点キーポイントラベリング情報を形成することができる。

選択可能な一例では、本願は、左股の付け根部外側輪郭キーポイントと左腕の付け根部輪郭キーポイント（即ち、左腋窩キーポイント）との連結線を６等分にして５個の等分点を生成することができ、本願は、５個の等分点を５個の左側腰部輪郭キーポイントとし、第３の集合中の５個の左側腰部輪郭キーポイントラベリング情報を形成することができる。

選択可能な一例では、本願は、右股の付け根部外側輪郭キーポイントと右腕の付け根部輪郭キーポイント（即ち、右腋窩キーポイント）との連結線を６等分にして５個の等分点を生成することができ、本願は、５個の等分点を５個の右側腰部輪郭キーポイントとし、第３の集合中の５個の右側腰部輪郭キーポイントラベリング情報を形成することができる。

選択可能な一例において、該操作Ｓ５３０はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動する第２のラベリングモジュール９４０によって実行されてもよい。

図６は本願の画像処理方法の一実施形態のフローチャートである。図６に示すように、該実施例の方法は、操作Ｓ６００及び操作Ｓ６１０を含む。以下、図６における各操作について説明する。

Ｓ６００において、人体が含まれる画像ブロックの人体輪郭キーポイントを検出する。本願における人体輪郭キーポイントは、人体の外部輪郭を示すために用いられる。本願は上記図１に示す各操作によって人体輪郭キーポイントの検出を行うことができる。ここで再度説明することを省略する。

選択可能な一例において、該操作Ｓ６００はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動する人体輪郭キーポイントの検出装置１０００によって実行されてもよい。

Ｓ６１０において、人体輪郭キーポイントに基づいて画像ブロックに対してＡＲ（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ、拡張現実）効果のレンダリング処理を行う。

選択可能な一例において、本願は、画像ブロックの人体輪郭キーポイントとステッカー素材の位置関係を先に決定しておき、次に、該位置関係によりステッカー素材に基づいて、画像ブロックに対してＡＲ効果のレンダリング処理を行うことができる。選択可能な一例では、まず、ステッカーハンドルを作成するための第１のインターフェイス関数を呼び出してステッカーハンドルを作成し、次に、ステッカー素材を読み取るための第２のインターフェイス関数を呼び出してステッカー素材圧縮パッケージを内部メモリに読み込み、解析し、それにより解析結果に基づいてステッカー素材に関連する人体輪郭キーポイント、ステッカー素材の再生トリガ条件、ステッカー素材の再生状態パラメータ等のレンダリングに必要な情報を取得し、次に、ステッカー素材をレンダリングするための第３のインターフェイス関数を呼び出して解析結果に基づいて画像ブロックの人体輪郭キーポイントとステッカー素材の位置関係を確定し、上記ステッカーハンドルに基づいて解析結果と位置関係により画像ブロック上で内部メモリに読み込まれたステッカー素材パッケージに対してＡＲ効果のレンダリングを行う。レンダリングが終了した後、以上で作成したステッカーハンドルを廃棄する。

選択可能な一例において、本願におけるステッカー素材の再生状態パラメータは、再生所在レイヤ、リピート再生パラメータ及び拡大／縮小再生等を含んでよい。本願におけるＡＲ効果は、服装効果（例えば、着替え効果）、アクセサリー効果（例えば、アクセサリーをつける効果）、広告効果及び２Ｄ／３Ｄ特殊効果等であってよい。本願は再生状態パラメータに含まれる内容及びＡＲ効果の表現形態を限定しない。

選択可能な一例において、該操作Ｓ６１０はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動するレンダリングモジュール１０１０によって実行されてもよい。

図７は本願で被処理画像に対してステッカー処理を行う一実施形態のフローチャートである。図７に示すように、該実施例の方法は、操作Ｓ７００、操作Ｓ７１０、操作Ｓ７２０、操作Ｓ７３０、操作Ｓ７４０及び操作Ｓ７５０を含む。以下、図７における各操作について説明する。

Ｓ７００において、ステッカーハンドルを作成する。

選択可能な一例において、本願はステッカーハンドルを作成するインターフェイス関数を呼び出すことによってステッカーハンドルの作成を実現することができる。作成したステッカーハンドルには、ビデオフレーム及びステッカー素材等を記憶するために対応の記憶空間が残されている。また、本願は非ＧＬ（ＧｒａｐｈｉｃｓＬｉｂｒａｒｙ、グラフィックスライブラリ）環境でステッカーハンドルを作成することができる。本願で作成するステッカーハンドルは遅延に基づいてＧＬ中の資源を作成するステッカーハンドルであってよく、つまり、作成するステッカーハンドルにＧＬ中の資源を使用する要求があった場合に、資源を使用する時に作成するポリシーを採用可能であり、例えば、第１回のレンダリングの前に、ＧＬ環境で対応の資源を作成する。

Ｓ７１０において、ステッカー素材を読み取る。

選択可能な一例において、本願は、ステッカー素材を読み取るインターフェイス関数を呼び出すことによってステッカー素材の読み取りを実現することができ、例えば、該インターフェイス関数にステッカー素材のパス情報を供給することによって、対応のステッカー素材圧縮パッケージを内部メモリに読み込み、内部メモリ中で該圧縮パッケージ中のファイルを解析する。ステッカー素材圧縮パッケージには通常ｊｓｏｎファイルが含まれており、ｊｓｏｎファイルの解析によって、ステッカー素材を読み取るように、ステッカー素材圧縮パッケージ中のステッカー素材（例えば、２Ｄステッカー等）のピクチャー数及び大きさ等のステッカー素材の情報を取得でき、一方、異なるステッカー素材と人体輪郭キーポイントの位置関係及びステッカー素材のトリガ動作等を取得できる。本願は以上で作成したステッカーハンドルにステッカー素材、位置関係及びトリガ動作等のステッカー素材レンダリング情報を記憶できる。

選択可能な一例において、本願は、ステッカーハンドル中のステッカーレンダリング情報によりレンダリング要求があるフレーム数を取得し、且つ対応のビデオフレームを予め読み取るようになってよい。本願はバックグランドで資源読取スレッドを作動させることによって上記のビデオフレームを読み取る操作を完了することができる。

Ｓ７２０において、ステッカー素材をレンダリングする。

選択可能な一例において、本願は、ステッカー素材をレンダリングするインターフェイス関数を呼び出すことによってステッカー素材をレンダリングする操作を実現することができる。例えば、該インターフェイス関数はステッカー素材レンダリング情報及び検出されたビデオフレーム中の動作により、該ビデオフレームで対応のステッカー素材をレンダリングする必要があるか否か（例えば、ビデオフレーム中の動作が各ステッカー素材のそれぞれに対応するトリガ動作に属するか否か等）を判断することができ、ビデオフレームで対応のステッカー素材をレンダリングする必要があると判断された場合に、該ステッカー素材が再生状態に進み、本願はステッカー素材と人体輪郭キーポイントの位置関係等の情報により、対応のステッカー素材を所定数のビデオフレーム中の対応位置に表示可能である。選択可能に、再生状態に進むステッカー素材の位置行列を計算し、位置行列をステッカーハンドルに記憶するようにしてよく、表示時に、表示プロセッサにより処理するように、先に対応のステッカー素材をフレームバッファ中の画像テクスチャに変換し、次に、取得された位置行列により、画像テクスチャのビデオフレームでの位置を決定し、レンダリングするようにしてよい。

Ｓ７３０において、ステッカーハンドルを廃棄する。

選択可能な一例において、本願は、ステッカー素材をレンダリングし続ける必要がない場合に、ステッカーハンドルを廃棄するインターフェイス関数を呼び出すことによって以上で作成したステッカーハンドルを廃棄し、特徴ハンドルの占用する対応資源を解放することができる。

選択可能な一例において、該操作Ｓ７００、Ｓ７１０、Ｓ７２０及びＳ７３０はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動するレンダリングモジュール１０１０によって実行されてもよい。

本願の実施例で提供されるいずれか１種の方法はデータ処理能力を有するいかなる適切な機器によって実行されてもよく、端末装置とサーバ等を含むが、それらに限定されない。又は、本願の実施例で提供されるいずれか１種の方法はプロセッサによって実行されてもよく、例えば、プロセッサはメモリに記憶された対応のコマンドを呼び出すことで本願の実施例におけるいずれか１種の方法を実行する。以下、詳細な説明を省略する。

当業者であれば、上記方法の実施例を実現する全てまたは一部の操作はプログラムによって関連ハードウェアに命令を出すことにより完成できることを理解でき、前記プログラムは、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含むコンピュータ読み取り可能記憶媒体に記憶可能であり、該プログラムは実行される時に、上記方法の実施例を含む操作を実行する。

図８は本願の人体輪郭キーポイントの検出装置の一実施形態の構成模式図である。図８に示すように、該実施例の装置は主に、画像特徴取得モジュール８００、予測結果取得モジュール８１０及び輪郭キーポイント取得モジュール８２０を含む。選択可能に、該装置は更に、ニューラルネットワークのトレーニング装置８３０を含んでよい。

画像特徴取得モジュール８００は主に、人体が含まれる画像ブロックの画像特徴を取得するために用いられる。画像特徴取得モジュール８００に実行される操作については、上記方法の実施形態での図１の操作Ｓ１００に対する説明を参照してもよい。ここで、重複説明を省略する。

予測結果取得モジュール８１０は主に、第１のニューラルネットワークにより上記画像特徴取得モジュール８００の取得した画像特徴により、人体の人体輪郭キーポイント予測結果を取得するために用いられる。予測結果取得モジュール８１０に実行される操作については、上記方法の実施形態での図１の操作Ｓ１１０に対する説明を参照してもよい。ここで、重複説明を省略する。

輪郭キーポイント取得モジュール８２０は主に、人体輪郭キーポイント予測結果により画像ブロック中の人体輪郭キーポイントを取得するために用いられる。人体輪郭キーポイントは、人体の外部輪郭を表すために用いられる。輪郭キーポイント取得モジュール８２０に実行される操作については、上記方法の実施形態での図１の操作Ｓ１２０に対する説明を参照してもよい。ここで、重複説明を省略する。

ニューラルネットワークのトレーニング装置８３０は主に、第１のニューラルネットワークをトレーニングするために用いられる。ニューラルネットワークのトレーニング装置８３０は、更に入力ニューラルネットワーク及び第２のニューラルネットワークをトレーニングするためにも用いられる。ニューラルネットワークのトレーニング装置８３０は、更に画像サンプルをラベリングするためにも用いられる。ニューラルネットワークのトレーニング装置８３０に実行される操作については、上記方法の実施形態での図３、図４及び図５に対する説明を参照してもよい。ニューラルネットワークのトレーニング装置８３０の構造については、下記実施形態での図９に対する説明を参照してもよい。ここで、重複説明を省略する。

図９は本願のニューラルネットワークのトレーニング装置の一実施形態の構成模式図である。図９に示すように、該実施例の装置は主に、第１のモジュール９００、第２のモジュール９１０及び第３のモジュール９２０を含む。選択可能に、該装置は更に、第１のラベリングモジュール９３０と第２のラベリングモジュール９４０を含んでよい。

第１のモジュール９００は主に、人体が含まれるサンプル画像ブロックの画像特徴を取得するために用いられる。

選択可能な一例において、第１のモジュール９００は、検出サブモジュール、第１の取得サブモジュール及び第２の取得サブモジュールを含む。この検出サブモジュールは主に、画像サンプルに対して人体検出を行うために用いられる。この第１の取得サブモジュールは主に、人体検出結果及び画像サンプルをトレーニング待ちの入力ニューラルネットワークに提供して、トレーニング待ちの入力ニューラルネットワークにより人体が含まれる所定の大きさのサンプル画像ブロックを取得するために用いられる。この第２の取得サブモジュールは主に、トレーニング待ちの第２のニューラルネットワークを用いてサンプル画像ブロックの画像特徴を取得するために用いられる。第１のモジュール９００及びそれに含まれる各サブモジュールに実行される操作については、上記方法の実施形態での図３の操作Ｓ３００及び図４の操作Ｓ４００、Ｓ４１０、Ｓ４２０、Ｓ４３０に対する説明を参照してもよい。ここで、重複説明を省略する。

第２のモジュール９１０は主に、トレーニング待ちの第１のニューラルネットワークにより画像特徴に基づいて人体の人体輪郭キーポイント予測結果を取得するために用いられる。第２のモジュール９１０に実行される操作については、上記方法の実施形態での図３の操作Ｓ３１０及び図４の操作Ｓ４４０に対する説明を参照してもよい。ここで、重複説明を省略する。

第３のモジュール９２０は主に、人体輪郭キーポイント予測結果と人体輪郭キーポイントのラベリング情報との差異を教師情報として、トレーニング待ちの第１のニューラルネットワークに対して教師あり学習を行うために用いられる。第３のモジュール９２０は、更に、人体輪郭キーポイント予測結果と人体輪郭キーポイントのラベリング情報との差異を教師情報として、トレーニング待ちの入力ニューラルネットワーク及びトレーニング待ちの第２のニューラルネットワークに対して教師あり学習を行うために用いられる。第３のモジュール９２０に実行される操作については、上記方法の実施形態での図３の操作Ｓ３２０及び図４の操作Ｓ４５０に対する説明を参照してもよい。ここで、重複説明を省略する。

第１のラベリングモジュール９３０は主に、画像サンプルの人体骨格キーポイントを取得し、設置された第１の集合内の人体輪郭キーポイントのラベリング情報及び／又は人体骨格キーポイントに基づいて、補助線を設置し、且つ補助線から選択された点に基づいて第２の集合内の人体輪郭キーポイントのラベリング情報を形成するために用いられる。第１のラベリングモジュール９３０に実行される操作については、上記方法の実施形態での図５の操作Ｓ５００、Ｓ５１０及びＳ５２０に対する説明を参照してもよい。ここで、重複説明を省略する。

第２のラベリングモジュール９４０は主に、第１の集合及び／又は第２の集合内の２つの人体輪郭キーポイント間の連結線におけるＮ１個の仕切点に基づいて、第３の集合内の人体輪郭キーポイントのラベリング情報を形成するために用いられ、ここで、Ｎ１が１より大きい整数である。第２のラベリングモジュール９４０に実行される操作については、上記方法の実施形態での図５のＳ５３０に対する説明を参照してもよい。ここで、重複説明を省略する。

図１０は本願の画像処理装置の一実施形態の構成模式図である。図１０における装置は主に、人体輪郭キーポイントの検出装置１０００及びレンダリングモジュール１０１０を含む。

人体輪郭キーポイントの検出装置１０００は主に、人体が含まれる画像ブロックの人体輪郭キーポイントを検出するために用いられる。この人体輪郭キーポイントは、人体の外部輪郭を表すために用いられる。該人体輪郭キーポイントの検出装置１０００に実行される操作については、上記方法の実施形態での図１、図３、図４及び図５に対する説明を参照してもよい。ここで、重複説明を省略する。

レンダリングモジュール１０１０は主に、人体輪郭キーポイントに基づいて画像ブロックに対してＡＲ効果のレンダリング処理を行うために用いられる。レンダリングモジュール１０１０に実行される操作については、上記方法の実施形態での図６の操作Ｓ６１０及び図７に対する説明を参照してもよい。ここで、重複説明を省略する。

例示的機器
図１１は本願を実現するのに適する例示的装置１１００を示し、装置１１００は自動車に配置されるコントロールシステム／電子システム、携帯端末（例えば、スマートフォン等）、パーソナルコンピュータ（ＰＣ；例えば、デスクトップコンピュータ又はノートパソコン等）、タブレット型コンピュータ及びサーバ等であってよい。図１１において、装置１１００は一つ又は複数のプロセッサ、通信部などを含み、前記一つ又は複数のプロセッサは、例えば、一つ又は複数の中央処理ユニット（ＣＰＵ）１１０１、及び／又は一つ又は複数の加速ユニット１１１３などであり、加速ユニット１１１３はＧＰＵ、ＦＰＧＡ、他の種類の専用プロセッサ等を含んでよいが、それらに限定されなく、プロセッサは、読み取り専用メモリ（ＲＯＭ）１１０２に記憶された実行可能コマンド又は記憶部１１０８からランダムアクセスメモリ（ＲＡＭ）１１０３にロードされた実行可能コマンドによって各種の適切な動作及び処理を実現することができる。通信部１１１２はネットワークカードを含んでよいが、それに限定されなく、前記ネットワークカードはＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含んでよいが、それに限定されない。プロセッサは読み取り専用メモリ１１０２及び／又はランダムアクセスメモリ１１０３と通信して実行可能コマンドを実行し、通信バス１１０４を介して通信部８１２に接続され、通信部１１１２を介して他のターゲットデバイスと通信してよく、それにより本願における対応の操作を完成する。

上記各コマンドに実行される操作については上記の方法の実施例での関連説明を参照してもよく、ここで詳細な説明を省略する。また、ＲＡＭ１１０３には、装置の動作に必要な各種のプログラムやデータが格納されていてもよい。ＣＰＵ１１０１、ＲＯＭ１１０２及びＲＡＭ１１０３は、通信バス１１０４を介して相互に接続される。ＲＡＭ１１０３を有する場合に、ＲＯＭ１１０２は選択可能なモジュールである。ＲＡＭ１１０３は実行可能コマンドを格納するか、または動作時に実行可能コマンドをＲＯＭ１１０２に書き込み、実行可能コマンドによって中央処理ユニット１１０１に上記物体分割方法に含まれる操作を実行させる。入力／出力（Ｉ／Ｏ）インターフェイス１１０５も通信バス１１０４に接続される。通信部１１１２は、統合的に設置されてもよく、複数のサブモジュール（例えば複数のＩＢネットワークカード）を有し、通信バスのリンク上にあるように設置されてもよい。

キーボード、マウスなどを含む入力部１１０６と、陰極線管（ＣＲＴ）、液晶ディスプレイー（ＬＣＤ）など及びスピーカなどを含む出力部１１０７と、ハードディスクなどを含む記憶部１１０８と、ＬＡＮカード、モデムなどのネットワークインターフェイスカードを含む通信部１１０９とがＩ／Ｏインターフェイス１１０５に接続されている。通信部１１０９は例えばインターネットのようなネットワークを介して通信処理を行う。ドライブ１１１０も必要に応じてＩ／Ｏインターフェイス１１０５に接続される。磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのリムーバブル媒体１１１１は、必要に応じてドライブ１１１０上に装着され、そこから読み出されたコンピュータプログラムを必要に応じて記憶部１１０８にインストールする。

なお、図１１に示す構造は選択可能な一実施形態に過ぎず、具体的な実践過程では、実際の必要に応じて上記図１１の部品の数及び種類を選択、削除、追加、または置換することができ、異なる機能部品の設置上でも、分離設置または統合設置などの実施形態を採用でき、例えばＧＰＵとＣＰＵは分離設置するかまたは加速ユニットをＣＰＵに統合するようにしてよく、通信部は分離設置するか、またはＣＰＵや加速ユニットに統合設置することなども可能であることを特に説明する必要がある。これらの置換可能な実施形態はいずれも本願の保護範囲に属する。

特に、本願の実施例によれば、フローチャートを参照しながら上述したプロセスはコンピュータソフトウェアプログラムとして実現できる。例えば、本願の実施例はコンピュータプログラム製品を含み、それは機械可読媒体に有形に具現化された、フローチャートに示す操作を実行するためのプログラムコードを含むコンピュータプログラムを含み、プログラムコードは本願により提供される方法の操作を対応して実行する対応のコマンドを含んでよい。

このような実施例では、該コンピュータプログラムは通信部１１０９によってネットワークからダウンロード及びインストールされ、及び／又はリムーバブル媒体１１１１からインストールされ得る。中央処理ユニット（ＣＰＵ）１１０１によって該コンピュータプログラムを実行する時に、本願に記載の上記対応の操作を実現するコマンドを実行する。

一つ又は複数の選択可能な実施形態では、本願の実施例は、コンピュータ可読コマンドを記憶するためのコンピュータプログラム製品であって、前記コマンドが実行される時に、コンピュータが上記いずれか一つの実施例に記載の人体輪郭キーポイントの検出方法又はニューラルネットワークのトレーニング方法又は画像処理方法を実行するコンピュータプログラム製品を更に提供する。

該コンピュータプログラム製品は具体的にはハードウェア、ソフトウェア又はそれらの組合せにより実現可能である。選択可能な一例において、前記コンピュータプログラム製品は具体的にはコンピュータ記憶媒体として実現され、別の選択可能な一例において、前記コンピュータプログラム製品は具体的には、例えばソフトウェア開発キット（ＳｏｆｔｗａｒｅＤｅｖｅｌｏｐｍｅｎｔＫｉｔ、ＳＤＫ）などのソフトウェア製品として実現される。

一つ又は複数の選択可能な実施形態では、本願の実施例は、上記のいずれか一つの可能な実施例における人体輪郭キーポイントの検出方法又はニューラルネットワークトレーニング方法又は画像処理方法を第２の装置に実行させるための人体輪郭キーポイント検出指示又はニューラルネットワークトレーニング指示又は画像処理指示を第１の装置から第２の装置に送信するステップと、第１の装置により第２の装置から送信される人体輪郭キーポイント検出結果又はニューラルネットワークトレーニング結果又は画像処理結果を受信するステップと、を含む別の人体輪郭キーポイントの検出方法、ニューラルネットワークのトレーニング方法、画像処理方法及びそれらに対応する装置と電子機器、コンピュータ記憶媒体、コンピュータプログラム並びにコンピュータプログラム製品を更に提供する
いくつかの実施例では、該人体輪郭キーポイント検出指示又はニューラルネットワークトレーニング指示又は画像処理指示は呼び出しコマンドであってよく、第１の装置は呼び出すことで、人体輪郭キーポイント検出操作又はニューラルネットワークトレーニング操作又は画像処理操作を第２の装置に実行させるように指示することができ、それに対して、呼び出しコマンドを受信したことに応答して、第２の装置は上記人体輪郭キーポイントの検出方法又はニューラルネットワークのトレーニング方法又は画像処理方法の任意の実施例における操作及び／又はフローを実行することができる。

本願の実施例における「第１の」、「第２の」などの用語は区別するためのものに過ぎず、本願の実施例に対する限定と理解してはならないことを理解すべきである。更に、本願では、「複数の」は２つ又は２つ以上を指してよく、「少なくとも一つの」は一つ、２つ又は２つ以上を指してよいことを理解すべきである。更に、本願で言及された任意の部材、データ又は構造は、明確に限定され又は明細書の前後で反対的に示唆された場合でなければ、一般的には一つ又は複数と理解してよいことを理解すべきである。更に、本願ではそれぞれの実施例についての説明はそれぞれの実施例の相違点を重点として強調し、その同一又は類似的な点について相互に参照してよく、簡単化するために、ここで一つずつに繰り返して説明しないことを理解すべきである。

本願の方法、装置、電子機器及びコンピュータ可読記憶媒体は、様々な形態で実現され得る。例えば、ソフトウェア、ハードウェア、ファームウェアまたはソフトウェア、ハードウェア、ファームウェアの任意の組合わせによって本願の方法、装置、電子機器及びコンピュータ可読記憶媒体を実現することができる。前記方法の操作のための上記順序は説明することのみを目的とし、本願の方法の操作は、特に断らない限り、以上で具体的に説明した順序に限定されない。また、いくつかの実施形態では、本願は記録媒体に記憶されたプログラムとしてもよく、これらのプログラムは本願の方法を実現するための機械可読コマンドを含む。従って、本願は本願の方法を実行するためのプログラムが記憶された記録媒体も含む。

本願の説明は、例示及び説明のために提示されたものであり、網羅的なものでありもしくは開示された形式に本願を限定するというわけでない。当業者にとっては多くの修正及び変形を加えることができるのは明らかであろう。実施例は本願の原理及び実際応用をより明瞭に説明するため、かつ当業者が本願を理解して特定用途に適した各種の修正を加えた各種の実施例を設計可能にするように選択され説明されたものである。

以下、図面及び実施形態を通じて本願の技術的手段をさらに詳しく説明する。
例えば、本願は以下の項目を提供する。
（項目１）
人体が含まれる画像ブロックの画像特徴を取得するステップと、
第１のニューラルネットワークにより上記画像特徴に基づいて上記人体の人体輪郭キーポイント予測結果を取得するステップと、
上記人体輪郭キーポイント予測結果に基づいて上記画像ブロックにおける人体輪郭キーポイントを取得するステップと、を含み、
上記人体輪郭キーポイントが人体の外部輪郭を表すために用いられることを特徴とする人体輪郭キーポイントの検出方法。
（項目２）
人体が含まれる画像ブロックの画像特徴を取得する上記ステップは、
被処理画像に対して人体検出を行うステップと、
人体検出結果により上記被処理画像における人体が含まれる上記画像ブロックを取得するステップと、を含むことを特徴とする項目１に記載の方法。
（項目３）
上記画像ブロックは上記被処理画像であり、又は、
上記画像ブロックは上記被処理画像における人体が含まれる局所画像であり、又は、
上記画像ブロックは上記被処理画像における人体が含まれる局所画像に基づいて処理して得られた画像ブロックであることを特徴とする項目２に記載の方法。
（項目４）
被処理画像に対して人体検出を行う上記ステップは、人体検出器を用いて上記被処理画像に対して人体検出を行って、人体外接枠の中心位置及び人体スケール因子を取得するステップであって、上記人体外接枠の中心位置及び人体スケール因子が被処理画像内の人体外接枠の位置を確定するために用いられるステップを含むことを特徴とする項目２〜３のいずれか一項に記載の方法。
（項目５）
第１のニューラルネットワークにより上記画像特徴に基づいて上記人体の人体輪郭キーポイント予測結果を取得する上記ステップは、
上記第１のニューラルネットワークにより上記画像特徴に基づいて、少なくとも一つの人体輪郭キーポイントのそれぞれに対応する少なくとも一つの人体輪郭キーポイント対応マップを形成するステップを含むことを特徴とする項目１〜４のいずれか一項に記載の方法。
（項目６）
上記人体輪郭キーポイント対応マップは、人体輪郭キーポイント信頼度マップを含むことを特徴とする項目５に記載の方法。
（項目７）
上記人体輪郭キーポイント予測結果に基づいて上記画像ブロックにおける人体輪郭キーポイントを取得する上記ステップは、
一つの人体輪郭キーポイント信頼度マップに対して、上記信頼度マップから所定の信頼度要求を満たす一つの点を選択し、上記点の上記画像ブロックにおけるマッピング位置点を上記信頼度マップの対応する人体輪郭キーポイントとするステップを含むことを特徴とする項目６に記載の方法。
（項目８）
上記人体輪郭キーポイントは、頭部輪郭キーポイント、腕輪郭キーポイント、手部輪郭キーポイント、肩部輪郭キーポイント、足部輪郭キーポイント、腰部輪郭キーポイント及び／又は脚部輪郭キーポイントを含むことを特徴とする項目１〜７のいずれか一項に記載の方法。
（項目９）
上記頭部輪郭キーポイントは、頭頂部キーポイント、鼻先端部キーポイント及び顎キーポイントのうちの１種又は複数種を含み、及び／又は、
上記腕輪郭キーポイントは、手首輪郭キーポイント、肘輪郭キーポイント、腕の付け根部輪郭キーポイント、手首輪郭キーポイントと肘輪郭キーポイントとの間の中点位置に位置する前腕輪郭中点キーポイント、及び肘輪郭キーポイントと腕の付け根部輪郭キーポイントとの間の中点位置に位置する上腕中点キーポイントのうちの１種又は複数種を含み、及び／又は
上記手部輪郭キーポイントは、手先キーポイント及び掌中点キーポイントのうちの１種又は複数種を含み、及び／又は
上記肩部輪郭キーポイントは、肩部と頭部の接合位置に位置する肩頭接合キーポイント及び腕の付け根部輪郭キーポイントと肩頭接合キーポイントとの間の中点位置に位置する肩輪郭中点キーポイントのうちの１種又は複数種を含み、及び／又は
上記足部輪郭キーポイントは、股間キーポイント、膝輪郭キーポイント、踝輪郭キーポイント、股の付け根部外側輪郭キーポイント、膝輪郭キーポイントと踝輪郭キーポイントとの間の中点位置に位置するすね輪郭中点キーポイント、膝内側輪郭キーポイントと股間キーポイントとの間の中点位置に位置する股内側輪郭中点キーポイント、及び膝外側輪郭キーポイントと股の付け根部外側輪郭キーポイントとの間の中点位置に位置する股外側輪郭中点キーポイントのうちの１種又は複数種を含み、及び／又は
上記腰部輪郭キーポイントは、股の付け根部外側輪郭キーポイントと腕の付け根部輪郭キーポイントとの間をＮ等分にして生成するＮ個の等分点のうちの１種又は複数種を含み、上記Ｎが１より大きく、及び／又は
上記脚部輪郭キーポイントは、爪先キーポイント及び踵キーポイントのうちの１種又は複数種を含むことを特徴とする項目８に記載の方法。
（項目１０）
上記第１のニューラルネットワークは、人体輪郭キーポイントのラベリング情報が含まれるトレーニング画像集合により予めトレーニングされたものであることを特徴とする項目１〜９のいずれか一項に記載の方法。
（項目１１）
上記第１のニューラルネットワークのトレーニングには
人体が含まれるサンプル画像ブロックの画像特徴を取得するステップと、
トレーニング待ちの第１のニューラルネットワークにより上記画像特徴に基づいて上記人体の人体輪郭キーポイント予測結果を取得するステップと、
上記人体輪郭キーポイント予測結果と人体輪郭キーポイントのラベリング情報との差異を教師情報として、上記トレーニング待ちの第１のニューラルネットワークに対して教師あり学習を行うステップと、を含むことを特徴とする項目１０に記載の方法。
（項目１２）
人体が含まれるサンプル画像ブロックの画像特徴を取得する上記ステップは、
トレーニングデータ集合から画像サンプルを取得するステップと、
画像サンプル内の人体が含まれるサンプル画像ブロックの画像特徴を取得するステップと、を含むことを特徴とする項目１１に記載の方法。
（項目１３）
トレーニング待ちの第１のニューラルネットワークにより上記画像特徴に基づいて上記人体の人体輪郭キーポイント予測結果を取得する上記ステップは、
上記トレーニング待ちの第１のニューラルネットワークにより上記画像特徴に基づいて、少なくとも一つの人体輪郭キーポイントのそれぞれに対応する少なくとも一つの人体輪郭キーポイント対応マップを形成するステップを含むことを特徴とする項目１１〜１２のいずれか一項に記載の方法。
（項目１４）
上記人体輪郭キーポイント対応マップは、人体輪郭キーポイント信頼度マップを含むことを特徴とする項目１３に記載の方法。
（項目１５）
上記人体輪郭キーポイント予測結果と人体輪郭キーポイントのラベリング情報との差異を教師情報として、上記トレーニング待ちの第１のニューラルネットワークに対して教師あり学習を行う上記ステップは、
少なくとも一つの人体輪郭キーポイントのラベリング情報に対して、それぞれ人体輪郭キーポイント信頼度マップを生成するステップと、
上記トレーニング待ちの第１のニューラルネットワークから出力された人体輪郭キーポイント信頼度マップと上記生成した人体輪郭キーポイント信頼度マップとの差異を教師情報として、上記トレーニング待ちの第１のニューラルネットワークに対して教師あり学習を行うステップと、を含むことを特徴とする項目１４に記載の方法。
（項目１６）
少なくとも一つの人体輪郭キーポイントのラベリング情報に対して、それぞれ人体輪郭キーポイント信頼度マップを生成する上記ステップは、
少なくとも一つの人体輪郭キーポイントのラベリング情報に対して、対応する人体輪郭キーポイントのラベリング情報のそれぞれの対応するサンプル画像ブロック内の位置の所定周囲領域内で、ガウス応答をそれぞれ形成し、且つ上記ガウス応答に基づいて、少なくとも一つの人体輪郭キーポイントのラベリング情報のそれぞれの対応する人体輪郭キーポイント信頼度マップを形成するステップを含むことを特徴とする項目１５に記載の方法。
（項目１７）
上記人体輪郭キーポイント予測結果と人体輪郭キーポイントのラベリング情報との差異を教師情報として、上記トレーニング待ちの第１のニューラルネットワークに対して教師あり学習を行う上記ステップは、
一つの人体輪郭キーポイント信頼度マップに対して、上記信頼度マップから所定の信頼度要求を満たした点を選択し、上記点の上記画像サンプルにおけるマッピング位置点を上記信頼度マップの対応する人体輪郭キーポイントとするステップと、
上記信頼度マップの対応する人体輪郭キーポイントと上記画像サンプルの人体輪郭キーポイントのラベリング情報との差異を教師情報として、上記トレーニング待ちの第１のニューラルネットワークに対して教師あり学習を行うステップと、を含むことを特徴とする項目１４に記載の方法。
（項目１８）
人体が含まれるサンプル画像ブロックの画像特徴を取得する上記ステップは、
上記画像サンプルに対して人体検出を行うステップと、
人体検出結果及び画像サンプルをトレーニング待ちの入力ニューラルネットワークに提供して、トレーニング待ちの入力ニューラルネットワークにより人体が含まれる所定の大きさのサンプル画像ブロックを取得するステップと、
トレーニング待ちの第２のニューラルネットワークを用いて上記サンプル画像ブロックの画像特徴を取得するステップと、を含むことを特徴とする項目１１〜１７のいずれか一項に記載の方法。
（項目１９）
上記第１のニューラルネットワークをトレーニングする上記ステップは、
上記人体輪郭キーポイント予測結果と上記人体輪郭キーポイントのラベリング情報との差異を教師情報として、上記トレーニング待ちの入力ニューラルネットワーク及びトレーニング待ちの第２のニューラルネットワークに対して教師あり学習を行うステップを更に含むことを特徴とする項目１８に記載の方法。
（項目２０）
上記画像サンプルに含まれる人体輪郭キーポイントのラベリング情報の設置プロセスは、
画像サンプルの人体骨格キーポイントを取得するステップと、
設置された第１の集合内の人体輪郭キーポイントのラベリング情報及び／又は上記人体骨格キーポイントに基づいて補助線を設置するステップと、
上記補助線から選択された点に基づいて第２の集合内の人体輪郭キーポイントのラベリング情報を形成するステップと、を含むことを特徴とする項目１１〜１９のいずれか一項に記載の方法。
（項目２１）
上記画像サンプルに含まれる人体輪郭キーポイントのラベリング情報の設置プロセスは、
第１の集合及び／又は第２の集合内の２つの人体輪郭キーポイント間の連結線におけるＮ１個の仕切点に基づいて、第３の集合内の人体輪郭キーポイントのラベリング情報を形成するステップを更に含み、
Ｎ１が１より大きい整数であることを特徴とする項目２０に記載の方法。
（項目２２）
設置された第１の集合内の人体輪郭キーポイントのラベリング情報及び／又は上記人体骨格キーポイントに基づいて補助線を設置する上記ステップは、
上記人体骨格キーポイントに基づいて腕の付け根部内側輪郭キーポイントを通過し且つ上腕方向に垂直する第１の補助線を決定するステップを含み、
上記補助線から選択された点に基づいて第２の集合内の人体輪郭キーポイントのラベリング情報を形成する上記ステップは、
上記第１の補助線と上腕外側輪郭との交点に基づいて第２の集合中の腕の付け根部外側輪郭キーポイントのラベリング情報を形成するステップを含むことを特徴とする項目２０〜２１のいずれか一項に記載の方法。
（項目２３）
設置された第１の集合内の人体輪郭キーポイントのラベリング情報及び／又は上記人体骨格キーポイントに基づいて補助線を設置する上記ステップは、
股間キーポイントを通過し且つ人体骨格キーポイントで形成された股方向に垂直する第２の補助線を設置するステップを含み、
上記補助線から選択された点に基づいて第２の集合内の人体輪郭キーポイントのラベリング情報を形成する上記ステップは、
上記第２の補助線と股外側輪郭の交点に基づいて第２の集合中の股の付け根部外側輪郭キーポイントのラベリング情報を形成するステップを含むことを特徴とする項目２０〜２２のいずれか一項に記載の方法。
（項目２４）
上記人体輪郭キーポイントに基づいて上記画像ブロックに対して拡張現実ＡＲ効果のレンダリング処理を行うステップを更に含むことを特徴とする項目１〜２３のいずれか一項に記載の方法。
（項目２５）
上記人体輪郭キーポイントに基づいて上記画像ブロックに対してＡＲ効果のレンダリング処理を行う上記ステップは、
上記画像ブロックの人体輪郭キーポイントとステッカー素材の位置関係を確定するステップと、
上記位置関係により上記ステッカー素材に基づいて上記画像ブロックに対してＡＲ効果のレンダリング処理を行うステップと、を含むことを特徴とする項目２４に記載の方法。
（項目２６）
人体が含まれる画像ブロックの人体輪郭キーポイントを検出するステップであって、上記人体輪郭キーポイントが人体の外部輪郭を表すために用いられるステップと、
上記人体輪郭キーポイントに基づいて上記画像ブロックに対して拡張現実ＡＲ効果のレンダリング処理を行うステップと、を含むことを特徴とする画像処理方法。
（項目２７）
人体が含まれる画像ブロックの人体輪郭キーポイントを検出する上記ステップは、
項目１〜２５のいずれか一項に記載の方法を用いて上記人体輪郭キーポイントを検出するステップを含むことを特徴とする項目２６に記載の方法。
（項目２８）
上記人体輪郭キーポイントに基づいて上記画像ブロックに対してＡＲ効果のレンダリング処理を行う上記ステップは、
上記画像ブロックの人体輪郭キーポイントとステッカー素材の位置関係を確定するステップと、
上記位置関係により上記ステッカー素材に基づいて上記画像ブロックに対してＡＲ効果のレンダリング処理を行うステップと、を含むことを特徴とする項目２６〜２７のいずれか一項に記載の方法。
（項目２９）
上記人体輪郭キーポイントに基づいて上記画像ブロックに対してＡＲ効果のレンダリング処理を行う上記ステップは、
ステッカーハンドルを作成するための第１のインターフェイス関数を呼び出してステッカーハンドルを作成するステップと、
ステッカー素材を読み取るための第２のインターフェイス関数を呼び出してステッカー素材圧縮パッケージを内部メモリに読み込み、解析するステップと、
ステッカー素材をレンダリングするための第３のインターフェイス関数を呼び出して解析結果により上記画像ブロックの人体輪郭キーポイントとステッカー素材の位置関係を確定し、上記ステッカーハンドルに基づいて上記解析結果と上記位置関係により上記画像ブロック上で内部メモリに読み込まれたステッカー素材パッケージに対してＡＲ効果のレンダリングを行うステップと、を含むことを特徴とする項目２６〜２８のいずれか一項に記載の方法。
（項目３０）
上記解析結果は、ステッカー素材に関連する人体輪郭キーポイント、ステッカー素材の再生トリガ条件、ステッカー素材の再生状態パラメータのうちの１種又は複数種を含むことを特徴とする項目２９に記載の方法。
（項目３１）
レンダリングが終了した後、上記ステッカーハンドルを廃棄するステップを更に含むことを特徴とする項目２９〜３０のいずれか一項に記載の方法。
（項目３２）
人体が含まれるサンプル画像ブロックの画像特徴を取得するステップと、
トレーニング待ちの第１のニューラルネットワークにより上記画像特徴に基づいて上記人体の人体輪郭キーポイント予測結果を取得するステップと、
上記人体輪郭キーポイント予測結果と人体輪郭キーポイントのラベリング情報との差異を教師情報として、上記トレーニング待ちの第１のニューラルネットワークに対して教師あり学習を行うステップと、を含むことを特徴とするニューラルネットワークのトレーニング方法。
（項目３３）
人体が含まれるサンプル画像ブロックの画像特徴を取得する上記ステップは、
トレーニングデータ集合から画像サンプルを取得するステップと、
画像サンプル内の人体が含まれるサンプル画像ブロックの画像特徴を取得するステップと、を含むことを特徴とする項目３２に記載の方法。
（項目３４）
トレーニング待ちの第１のニューラルネットワークにより上記画像特徴に基づいて上記人体の人体輪郭キーポイント予測結果を取得する上記ステップは、
上記トレーニング待ちの第１のニューラルネットワークにより上記画像特徴に基づいて、少なくとも一つの人体輪郭キーポイントのそれぞれに対応する少なくとも一つの人体輪郭キーポイント対応マップを形成するステップを含むことを特徴とする項目３２〜３３のいずれか一項に記載の方法。
（項目３５）
上記人体輪郭キーポイント対応マップは、人体輪郭キーポイント信頼度マップを含むことを特徴とする項目３４に記載の方法。
（項目３６）
上記人体輪郭キーポイント予測結果と人体輪郭キーポイントのラベリング情報との差異を教師情報として、上記トレーニング待ちの第１のニューラルネットワークに対して教師あり学習を行う上記ステップは、
少なくとも一つの人体輪郭キーポイントのラベリング情報に対して、それぞれ人体輪郭キーポイント信頼度マップを生成するステップと、
上記トレーニング待ちの第１のニューラルネットワークから出力された人体輪郭キーポイント信頼度マップと上記生成した人体輪郭キーポイント信頼度マップとの差異を教師情報として、上記トレーニング待ちの第１のニューラルネットワークに対して教師あり学習を行うステップと、を含むことを特徴とする項目３５に記載の方法。
（項目３７）
少なくとも一つの人体輪郭キーポイントのラベリング情報に対して、それぞれ人体輪郭キーポイント信頼度マップを生成する上記ステップは、
少なくとも一つの人体輪郭キーポイントのラベリング情報に対して、対応する人体輪郭キーポイントのラベリング情報のそれぞれの対応するサンプル画像ブロック内の位置の所定周囲領域内で、ガウス応答をそれぞれ形成し、且つ上記ガウス応答に基づいて、少なくとも一つの人体輪郭キーポイントのラベリング情報のそれぞれの対応する人体輪郭キーポイント信頼度マップを形成するステップを含むことを特徴とする項目３６に記載の方法。
（項目３８）
上記人体輪郭キーポイント予測結果と人体輪郭キーポイントのラベリング情報との差異を教師情報として、上記トレーニング待ちの第１のニューラルネットワークに対して教師あり学習を行う上記ステップは、
一つの人体輪郭キーポイント信頼度マップに対して、上記信頼度マップから所定の信頼度要求を満たした点を選択し、上記点の上記画像サンプルにおけるマッピング位置点を上記信頼度マップの対応する人体輪郭キーポイントとするステップと、
上記信頼度マップの対応する人体輪郭キーポイントと上記画像サンプルの人体輪郭キーポイントのラベリング情報との差異を教師情報として、上記トレーニング待ちの第１のニューラルネットワークに対して教師あり学習を行うステップと、を含むことを特徴とする項目３５に記載の方法。
（項目３９）
人体が含まれるサンプル画像ブロックの画像特徴を取得する上記ステップは、
上記画像サンプルに対して人体検出を行うステップと、
人体検出結果及び画像サンプルをトレーニング待ちの入力ニューラルネットワークに提供して、トレーニング待ちの入力ニューラルネットワークにより人体が含まれる所定の大きさのサンプル画像ブロックを取得するステップと、
トレーニング待ちの第２のニューラルネットワークを用いて上記サンプル画像ブロックの画像特徴を取得するステップと、を含むことを特徴とする項目３２〜３８のいずれか一項に記載の方法。
（項目４０）
上記第１のニューラルネットワークをトレーニングする上記ステップは、
上記人体輪郭キーポイント予測結果と上記人体輪郭キーポイントのラベリング情報との差異を教師情報として、上記トレーニング待ちの入力ニューラルネットワーク及びトレーニング待ちの第２のニューラルネットワークに対して教師あり学習を行うステップを更に含むことを特徴とする項目３９に記載の方法。
（項目４１）
上記画像サンプルに含まれる人体輪郭キーポイントのラベリング情報の設置プロセスは、
画像サンプルの人体骨格キーポイントを取得するステップと、
設置された第１の集合内の人体輪郭キーポイントのラベリング情報及び／又は上記人体骨格キーポイントに基づいて補助線を設置するステップと、
上記補助線から選択された点に基づいて第２の集合内の人体輪郭キーポイントのラベリング情報を形成するステップと、を含むことを特徴とする項目３２〜４０のいずれか一項に記載の方法。
（項目４２）
上記画像サンプルに含まれる人体輪郭キーポイントのラベリング情報の設置プロセスは、
第１の集合及び／又は第２の集合内の２つの人体輪郭キーポイント間の連結線におけるＮ１個の仕切点に基づいて、第３の集合内の人体輪郭キーポイントのラベリング情報を形成するステップを更に含み、
Ｎ１が１より大きい整数であることを特徴とする項目４１に記載の方法。
（項目４３）
設置された第１の集合内の人体輪郭キーポイントのラベリング情報及び／又は上記人体骨格キーポイントに基づいて補助線を設置する上記ステップは、
上記人体骨格キーポイントに基づいて腕の付け根部内側輪郭キーポイントを通過し且つ上腕方向に垂直する第１の補助線を決定するステップを含み、
上記補助線から選択された点に基づいて第２の集合内の人体輪郭キーポイントのラベリング情報を形成する上記ステップは、
上記第１の補助線と上腕外側輪郭との交点に基づいて第２の集合中の腕の付け根部外側輪郭キーポイントのラベリング情報を形成するステップを含むことを特徴とする項目４１〜４２のいずれか一項に記載の方法。
（項目４４）
設置された第１の集合内の人体輪郭キーポイントのラベリング情報及び／又は上記人体骨格キーポイントに基づいて補助線を設置する上記ステップは、
股間キーポイントを通過し且つ人体骨格キーポイントで形成された股方向に垂直する第２の補助線を設置するステップを含み、
上記補助線から選択された点に基づいて第２の集合内の人体輪郭キーポイントのラベリング情報を形成する上記ステップは、
上記第２の補助線と股外側輪郭の交点に基づいて第２の集合中の股の付け根部外側輪郭キーポイントのラベリング情報を形成するステップを含むことを特徴とする項目４１〜４３のいずれか一項に記載の方法。
（項目４５）
人体が含まれる画像ブロックの画像特徴を取得するための画像特徴取得モジュールと、
第１のニューラルネットワークにより上記画像特徴に基づいて上記人体の人体輪郭キーポイント予測結果を取得するための予測結果取得モジュールと、
上記人体輪郭キーポイント予測結果に基づいて上記画像ブロックにおける人体輪郭キーポイントを取得するための輪郭キーポイント取得モジュールであって、上記人体輪郭キーポイントが人体の外部輪郭を表すために用いられる輪郭キーポイント取得モジュールと、を含むことを特徴とする人体輪郭キーポイントの検出装置。
（項目４６）
上記画像特徴取得モジュールは、被処理画像に対して人体検出を行い、且つ人体検出結果により上記被処理画像における人体が含まれる上記画像ブロックを取得することを特徴とする項目４５に記載の装置。
（項目４７）
上記画像ブロックは上記被処理画像であり、又は、
上記画像ブロックは上記被処理画像における人体が含まれる局所画像であり、又は、
上記画像ブロックは上記被処理画像における人体が含まれる局所画像に基づいて処理して得られた画像ブロックであることを特徴とする項目４６に記載の装置。
（項目４８）
上記画像特徴取得モジュールは、人体検出器を用いて上記被処理画像に対して人体検出を行って、人体外接枠の中心位置及び人体スケール因子を取得するために用いられ、上記人体外接枠の中心位置及び人体スケール因子が被処理画像内の人体外接枠の位置を確定するために用いられることを特徴とする項目４６〜４７のいずれか一項に記載の装置。
（項目４９）
上記予測結果取得モジュールは、上記第１のニューラルネットワークにより上記画像特徴に基づいて、少なくとも一つの人体輪郭キーポイントのそれぞれに対応する少なくとも一つの人体輪郭キーポイント対応マップを形成することを特徴とする項目４５〜４８のいずれか一項に記載の装置。
（項目５０）
上記人体輪郭キーポイント対応マップは、人体輪郭キーポイント信頼度マップを含む項目４９に記載の装置ことを特徴とする。
（項目５１）
上記輪郭キーポイント取得モジュールは、一つの人体輪郭キーポイント信頼度マップに対して、上記信頼度マップから所定の信頼度要求を満たす一つの点を選択し、上記点の上記画像ブロックにおけるマッピング位置点を上記信頼度マップの対応する人体輪郭キーポイントとすることを特徴とする項目５０に記載の装置。
（項目５２）
上記人体輪郭キーポイントは、頭部輪郭キーポイント、腕輪郭キーポイント、手部輪郭キーポイント、肩部輪郭キーポイント、足部輪郭キーポイント、腰部輪郭キーポイント及び／又は脚部輪郭キーポイントを含むことを特徴とする項目４５〜５１のいずれか一項に記載の装置。
（項目５３）
上記頭部輪郭キーポイントは、頭頂部キーポイント、鼻先端部キーポイント及び顎キーポイントのうちの１種又は複数種を含み、及び／又は、
上記腕輪郭キーポイントは、手首輪郭キーポイント、肘輪郭キーポイント、腕の付け根部輪郭キーポイント、手首輪郭キーポイントと肘輪郭キーポイントとの間の中点位置に位置する前腕輪郭中点キーポイント、及び肘輪郭キーポイントと腕の付け根部輪郭キーポイントとの間の中点位置に位置する上腕中点キーポイントのうちの１種又は複数種を含み、及び／又は
上記手部輪郭キーポイントは、手先キーポイント及び掌中点キーポイントのうちの１種又は複数種を含み、及び／又は
上記肩部輪郭キーポイントは、肩部と頭部の接合位置に位置する肩頭接合キーポイント及び腕の付け根部輪郭キーポイントと肩頭接合キーポイントとの間の中点位置に位置する肩輪郭中点キーポイントのうちの１種又は複数種を含み、及び／又は
上記足部輪郭キーポイントは、股間キーポイント、膝輪郭キーポイント、踝輪郭キーポイント、股の付け根部外側輪郭キーポイント、膝輪郭キーポイントと踝輪郭キーポイントとの間の中点位置に位置するすね輪郭中点キーポイント、膝内側輪郭キーポイントと股間キーポイントとの間の中点位置に位置する股内側輪郭中点キーポイント、及び膝外側輪郭キーポイントと股の付け根部外側輪郭キーポイントとの間の中点位置に位置する股外側輪郭中点キーポイントのうちの１種又は複数種を含み、及び／又は
上記腰部輪郭キーポイントは、股の付け根部外側輪郭キーポイントと腕の付け根部輪郭キーポイントとの間をＮ等分にして生成するＮ個の等分点のうちの１種又は複数種を含み、上記Ｎが１より大きく、及び／又は
上記脚部輪郭キーポイントは、爪先キーポイント及び踵キーポイントのうちの１種又は複数種を含むことを特徴とする項目５２に記載の装置。
（項目５４）
人体輪郭キーポイントのラベリング情報が含まれるトレーニング画像集合を用いて上記第１のニューラルネットワークをトレーニングするためのニューラルネットワークのトレーニング装置を更に含むことを特徴とする項目４５〜５３のいずれか一項に記載の装置。
（項目５５）
人体が含まれる画像ブロックの人体輪郭キーポイントを検出するための人体輪郭キーポイントの検出装置であって、上記人体輪郭キーポイントが人体の外部輪郭を表すために用いられる人体輪郭キーポイントの検出装置と、
上記人体輪郭キーポイントに基づいて上記画像ブロックに対してＡＲ効果のレンダリング処理を行うためのレンダリングモジュールと、を含むことを特徴とする画像処理装置。
（項目５６）
上記人体輪郭キーポイントの検出装置は、項目４５〜５４のいずれか一項に記載の装置を用いて上記人体輪郭キーポイントを検出することを特徴とする項目５５に記載の装置。
（項目５７）
上記レンダリングモジュールは、上記画像ブロックの人体輪郭キーポイントとステッカー素材の位置関係を確定し、且つ上記位置関係により上記ステッカー素材に基づいて上記画像ブロックに対してＡＲ効果のレンダリング処理を行うことを特徴とする項目５５〜５６のいずれか一項に記載の装置。
（項目５８）
上記レンダリングモジュールは、ステッカーハンドルを作成するための第１のインターフェイス関数を呼び出してステッカーハンドルを作成し、ステッカー素材を読み取るための第２のインターフェイス関数を呼び出してステッカー素材圧縮パッケージを内部メモリに読み込み、解析し、ステッカー素材をレンダリングするための第３のインターフェイス関数を呼び出して解析結果により上記画像ブロックの人体輪郭キーポイントとステッカー素材の位置関係を確定し、上記ステッカーハンドルに基づいて上記解析結果と上記位置関係により上記画像ブロック上で内部メモリに読み込まれたステッカー素材パッケージに対してＡＲ効果のレンダリングを行うことを特徴とする項目５５〜５７のいずれか一項に記載の装置。
（項目５９）
上記解析結果は、ステッカー素材に関連する人体輪郭キーポイント、ステッカー素材の再生トリガ条件、ステッカー素材の再生状態パラメータのうちの１種又は複数種を含むことを特徴とする項目５８に記載の装置。
（項目６０）
上記レンダリングモジュールは、レンダリングが終了した後、上記ステッカーハンドルを廃棄することを特徴とする項目５８〜５９のいずれか一項に記載の装置。
（項目６１）
人体が含まれるサンプル画像ブロックの画像特徴を取得するための第１のモジュールと、
トレーニング待ちの第１のニューラルネットワークにより上記画像特徴に基づいて上記人体の人体輪郭キーポイント予測結果を取得するための第２のモジュールと、
上記人体輪郭キーポイント予測結果と人体輪郭キーポイントのラベリング情報との差異を教師情報として、上記トレーニング待ちの第１のニューラルネットワークに対して教師あり学習を行うための第３のモジュールと、を含むことを特徴とするニューラルネットワークのトレーニング装置。
（項目６２）
上記第１のモジュールは、
上記画像サンプルに対して人体検出を行うための検出サブモジュールと、
人体検出結果及び画像サンプルをトレーニング待ちの入力ニューラルネットワークに提供して、トレーニング待ちの入力ニューラルネットワークにより人体が含まれる所定の大きさのサンプル画像ブロックを取得するための第１の取得サブモジュールと、
トレーニング待ちの第２のニューラルネットワークを用いて上記サンプル画像ブロックの画像特徴を取得するための第２の取得サブモジュールと、を含むことを特徴とする項目６１に記載の装置。
（項目６３）
上記第３のモジュールは、更に、
上記人体輪郭キーポイント予測結果と上記人体輪郭キーポイントのラベリング情報との差異を教師情報として、上記トレーニング待ちの入力ニューラルネットワーク及びトレーニング待ちの第２のニューラルネットワークに対して教師あり学習を行うために用いられることを特徴とする項目６２に記載の装置。
（項目６４）
画像サンプルの人体骨格キーポイントを取得し、設置された第１の集合内の人体輪郭キーポイントのラベリング情報及び／又は上記人体骨格キーポイントに基づいて補助線を設置し、且つ上記補助線から選択された点に基づいて第２の集合内の人体輪郭キーポイントのラベリング情報を形成するための第１のラベリングモジュールを更に含むことを特徴とする項目６１〜６３のいずれか一項に記載の装置。
（項目６５）
第１の集合及び／又は第２の集合内の２つの人体輪郭キーポイント間の連結線におけるＮ１個の仕切点に基づいて、第３の集合内の人体輪郭キーポイントのラベリング情報を形成するための第２のラベリングモジュールを更に含み、Ｎ１が１より大きい整数であることを特徴とする項目６４に記載の装置。
（項目６６）
上記第１のラベリングモジュールは、上記人体骨格キーポイントに基づいて腕の付け根部内側輪郭キーポイントを通過し且つ上腕方向に垂直する第１の補助線を決定し、且つ上記第１の補助線と上腕外側輪郭との交点に基づいて第２の集合中の腕の付け根部外側輪郭キーポイントのラベリング情報を形成することを特徴とする項目６４〜６５のいずれか一項に記載の装置。
（項目６７）
上記第１のラベリングモジュールは、股間キーポイントを通過し且つ人体骨格キーポイントで形成された股方向に垂直する第２の補助線を設置し、且つ上記第２の補助線と股外側輪郭の交点に基づいて第２の集合中の股の付け根部外側輪郭キーポイントのラベリング情報を形成することを特徴とする項目６４〜６６のいずれか一項に記載の装置。
（項目６８）
コンピュータプログラムを記憶するためのメモリと、
上記メモリに記憶されたコンピュータプログラムを実行するためのプロセッサと、を含み、上記コンピュータプログラムが実行される時に、上記項目１〜４４のいずれか一項に記載の方法が実現されることを特徴とする電子機器。
（項目６９）
コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、上記コンピュータプログラムがプロセッサにより実行される時に、上記項目１〜４４のいずれか一項に記載の方法が実現されることを特徴とするコンピュータ可読記憶媒体。
（項目７０）
コンピュータコマンドを含むコンピュータプログラムであって、上記コンピュータコマンドが機器のプロセッサで作動する時に、上記項目１〜４４のいずれか一項に記載の方法が実現されることを特徴とするコンピュータプログラム。

Claims

人体が含まれる画像ブロックの画像特徴を取得するステップと、
第１のニューラルネットワークにより前記画像特徴に基づいて前記人体の人体輪郭キーポイント予測結果を取得するステップと、
前記人体輪郭キーポイント予測結果に基づいて前記画像ブロックにおける人体輪郭キーポイントを取得するステップと、を含み、
前記人体輪郭キーポイントが人体の外部輪郭を表すために用いられることを特徴とする人体輪郭キーポイントの検出方法。
人体が含まれる画像ブロックの画像特徴を取得する前記ステップは、
被処理画像に対して人体検出を行うステップと、
人体検出結果により前記被処理画像における人体が含まれる前記画像ブロックを取得するステップと、を含むことを特徴とする請求項１に記載の方法。
前記画像ブロックは前記被処理画像であり、又は、
前記画像ブロックは前記被処理画像における人体が含まれる局所画像であり、又は、
前記画像ブロックは前記被処理画像における人体が含まれる局所画像に基づいて処理して得られた画像ブロックであることを特徴とする請求項２に記載の方法。
被処理画像に対して人体検出を行う前記ステップは、人体検出器を用いて前記被処理画像に対して人体検出を行って、人体外接枠の中心位置及び人体スケール因子を取得するステップであって、前記人体外接枠の中心位置及び人体スケール因子が被処理画像内の人体外接枠の位置を確定するために用いられるステップを含むことを特徴とする請求項２〜３のいずれか一項に記載の方法。
第１のニューラルネットワークにより前記画像特徴に基づいて前記人体の人体輪郭キーポイント予測結果を取得する前記ステップは、
前記第１のニューラルネットワークにより前記画像特徴に基づいて、少なくとも一つの人体輪郭キーポイントのそれぞれに対応する少なくとも一つの人体輪郭キーポイント対応マップを形成するステップを含むことを特徴とする請求項１〜４のいずれか一項に記載の方法。
前記人体輪郭キーポイント対応マップは、人体輪郭キーポイント信頼度マップを含むことを特徴とする請求項５に記載の方法。
前記人体輪郭キーポイント予測結果に基づいて前記画像ブロックにおける人体輪郭キーポイントを取得する前記ステップは、
一つの人体輪郭キーポイント信頼度マップに対して、前記信頼度マップから所定の信頼度要求を満たす一つの点を選択し、該点の前記画像ブロックにおけるマッピング位置点を前記信頼度マップの対応する人体輪郭キーポイントとするステップを含むことを特徴とする請求項６に記載の方法。
前記人体輪郭キーポイントは、頭部輪郭キーポイント、腕輪郭キーポイント、手部輪郭キーポイント、肩部輪郭キーポイント、足部輪郭キーポイント、腰部輪郭キーポイント及び／又は脚部輪郭キーポイントを含むことを特徴とする請求項１〜７のいずれか一項に記載の方法。
前記頭部輪郭キーポイントは、頭頂部キーポイント、鼻先端部キーポイント及び顎キーポイントのうちの１種又は複数種を含み、及び／又は、
前記腕輪郭キーポイントは、手首輪郭キーポイント、肘輪郭キーポイント、腕の付け根部輪郭キーポイント、手首輪郭キーポイントと肘輪郭キーポイントとの間の中点位置に位置する前腕輪郭中点キーポイント、及び肘輪郭キーポイントと腕の付け根部輪郭キーポイントとの間の中点位置に位置する上腕中点キーポイントのうちの１種又は複数種を含み、及び／又は
前記手部輪郭キーポイントは、手先キーポイント及び掌中点キーポイントのうちの１種又は複数種を含み、及び／又は
前記肩部輪郭キーポイントは、肩部と頭部の接合位置に位置する肩頭接合キーポイント及び腕の付け根部輪郭キーポイントと肩頭接合キーポイントとの間の中点位置に位置する肩輪郭中点キーポイントのうちの１種又は複数種を含み、及び／又は
前記足部輪郭キーポイントは、股間キーポイント、膝輪郭キーポイント、踝輪郭キーポイント、股の付け根部外側輪郭キーポイント、膝輪郭キーポイントと踝輪郭キーポイントとの間の中点位置に位置するすね輪郭中点キーポイント、膝内側輪郭キーポイントと股間キーポイントとの間の中点位置に位置する股内側輪郭中点キーポイント、及び膝外側輪郭キーポイントと股の付け根部外側輪郭キーポイントとの間の中点位置に位置する股外側輪郭中点キーポイントのうちの１種又は複数種を含み、及び／又は
前記腰部輪郭キーポイントは、股の付け根部外側輪郭キーポイントと腕の付け根部輪郭キーポイントとの間をＮ等分にして生成するＮ個の等分点のうちの１種又は複数種を含み、前記Ｎが１より大きく、及び／又は
前記脚部輪郭キーポイントは、爪先キーポイント及び踵キーポイントのうちの１種又は複数種を含むことを特徴とする請求項８に記載の方法。
前記第１のニューラルネットワークは、人体輪郭キーポイントのラベリング情報が含まれるトレーニング画像集合により予めトレーニングされたものであることを特徴とする請求項１〜９のいずれか一項に記載の方法。
前記第１のニューラルネットワークのトレーニングには
人体が含まれるサンプル画像ブロックの画像特徴を取得するステップと、
トレーニング待ちの第１のニューラルネットワークにより前記画像特徴に基づいて前記人体の人体輪郭キーポイント予測結果を取得するステップと、
前記人体輪郭キーポイント予測結果と人体輪郭キーポイントのラベリング情報との差異を教師情報として、前記トレーニング待ちの第１のニューラルネットワークに対して教師あり学習を行うステップと、を含むことを特徴とする請求項１０に記載の方法。
人体が含まれるサンプル画像ブロックの画像特徴を取得する前記ステップは、
トレーニングデータ集合から画像サンプルを取得するステップと、
画像サンプル内の人体が含まれるサンプル画像ブロックの画像特徴を取得するステップと、を含むことを特徴とする請求項１１に記載の方法。
トレーニング待ちの第１のニューラルネットワークにより前記画像特徴に基づいて前記人体の人体輪郭キーポイント予測結果を取得する前記ステップは、
前記トレーニング待ちの第１のニューラルネットワークにより前記画像特徴に基づいて、少なくとも一つの人体輪郭キーポイントのそれぞれに対応する少なくとも一つの人体輪郭キーポイント対応マップを形成するステップを含むことを特徴とする請求項１１〜１２のいずれか一項に記載の方法。
前記人体輪郭キーポイント対応マップは、人体輪郭キーポイント信頼度マップを含むことを特徴とする請求項１３に記載の方法。
前記人体輪郭キーポイント予測結果と人体輪郭キーポイントのラベリング情報との差異を教師情報として、前記トレーニング待ちの第１のニューラルネットワークに対して教師あり学習を行う前記ステップは、
少なくとも一つの人体輪郭キーポイントのラベリング情報に対して、それぞれ人体輪郭キーポイント信頼度マップを生成するステップと、
前記トレーニング待ちの第１のニューラルネットワークから出力された人体輪郭キーポイント信頼度マップと前記生成した人体輪郭キーポイント信頼度マップとの差異を教師情報として、前記トレーニング待ちの第１のニューラルネットワークに対して教師あり学習を行うステップと、を含むことを特徴とする請求項１４に記載の方法。
少なくとも一つの人体輪郭キーポイントのラベリング情報に対して、それぞれ人体輪郭キーポイント信頼度マップを生成する前記ステップは、
少なくとも一つの人体輪郭キーポイントのラベリング情報に対して、対応する人体輪郭キーポイントのラベリング情報のそれぞれの対応するサンプル画像ブロック内の位置の所定周囲領域内で、ガウス応答をそれぞれ形成し、且つ前記ガウス応答に基づいて、少なくとも一つの人体輪郭キーポイントのラベリング情報のそれぞれの対応する人体輪郭キーポイント信頼度マップを形成するステップを含むことを特徴とする請求項１５に記載の方法。
前記人体輪郭キーポイント予測結果と人体輪郭キーポイントのラベリング情報との差異を教師情報として、前記トレーニング待ちの第１のニューラルネットワークに対して教師あり学習を行う前記ステップは、
一つの人体輪郭キーポイント信頼度マップに対して、前記信頼度マップから所定の信頼度要求を満たした点を選択し、該点の前記画像サンプルにおけるマッピング位置点を前記信頼度マップの対応する人体輪郭キーポイントとするステップと、
前記信頼度マップの対応する人体輪郭キーポイントと前記画像サンプルの人体輪郭キーポイントのラベリング情報との差異を教師情報として、前記トレーニング待ちの第１のニューラルネットワークに対して教師あり学習を行うステップと、を含むことを特徴とする請求項１４に記載の方法。
人体が含まれるサンプル画像ブロックの画像特徴を取得する前記ステップは、
前記画像サンプルに対して人体検出を行うステップと、
人体検出結果及び画像サンプルをトレーニング待ちの入力ニューラルネットワークに提供して、トレーニング待ちの入力ニューラルネットワークにより人体が含まれる所定の大きさのサンプル画像ブロックを取得するステップと、
トレーニング待ちの第２のニューラルネットワークを用いて前記サンプル画像ブロックの画像特徴を取得するステップと、を含むことを特徴とする請求項１１〜１７のいずれか一項に記載の方法。
前記第１のニューラルネットワークをトレーニングする前記ステップは、
前記人体輪郭キーポイント予測結果と前記人体輪郭キーポイントのラベリング情報との差異を教師情報として、前記トレーニング待ちの入力ニューラルネットワーク及びトレーニング待ちの第２のニューラルネットワークに対して教師あり学習を行うステップを更に含むことを特徴とする請求項１８に記載の方法。
前記画像サンプルに含まれる人体輪郭キーポイントのラベリング情報の設置プロセスは、
画像サンプルの人体骨格キーポイントを取得するステップと、
設置された第１の集合内の人体輪郭キーポイントのラベリング情報及び／又は前記人体骨格キーポイントに基づいて補助線を設置するステップと、
前記補助線から選択された点に基づいて第２の集合内の人体輪郭キーポイントのラベリング情報を形成するステップと、を含むことを特徴とする請求項１１〜１９のいずれか一項に記載の方法。
前記画像サンプルに含まれる人体輪郭キーポイントのラベリング情報の設置プロセスは、
第１の集合及び／又は第２の集合内の２つの人体輪郭キーポイント間の連結線におけるＮ１個の仕切点に基づいて、第３の集合内の人体輪郭キーポイントのラベリング情報を形成するステップを更に含み、
Ｎ１が１より大きい整数であることを特徴とする請求項２０に記載の方法。
設置された第１の集合内の人体輪郭キーポイントのラベリング情報及び／又は前記人体骨格キーポイントに基づいて補助線を設置する前記ステップは、
前記人体骨格キーポイントに基づいて腕の付け根部内側輪郭キーポイントを通過し且つ上腕方向に垂直する第１の補助線を決定するステップを含み、
前記補助線から選択された点に基づいて第２の集合内の人体輪郭キーポイントのラベリング情報を形成する前記ステップは、
前記第１の補助線と上腕外側輪郭との交点に基づいて第２の集合中の腕の付け根部外側輪郭キーポイントのラベリング情報を形成するステップを含むことを特徴とする請求項２０〜２１のいずれか一項に記載の方法。
設置された第１の集合内の人体輪郭キーポイントのラベリング情報及び／又は前記人体骨格キーポイントに基づいて補助線を設置する前記ステップは、
股間キーポイントを通過し且つ人体骨格キーポイントで形成された股方向に垂直する第２の補助線を設置するステップを含み、
前記補助線から選択された点に基づいて第２の集合内の人体輪郭キーポイントのラベリング情報を形成する前記ステップは、
前記第２の補助線と股外側輪郭の交点に基づいて第２の集合中の股の付け根部外側輪郭キーポイントのラベリング情報を形成するステップを含むことを特徴とする請求項２０〜２２のいずれか一項に記載の方法。
前記人体輪郭キーポイントに基づいて前記画像ブロックに対して拡張現実ＡＲ効果のレンダリング処理を行うステップを更に含むことを特徴とする請求項１〜２３のいずれか一項に記載の方法。
前記人体輪郭キーポイントに基づいて前記画像ブロックに対してＡＲ効果のレンダリング処理を行う前記ステップは、
前記画像ブロックの人体輪郭キーポイントとステッカー素材の位置関係を確定するステップと、
前記位置関係により前記ステッカー素材に基づいて前記画像ブロックに対してＡＲ効果のレンダリング処理を行うステップと、を含むことを特徴とする請求項２４に記載の方法。
人体が含まれる画像ブロックの人体輪郭キーポイントを検出するステップであって、前記人体輪郭キーポイントが人体の外部輪郭を表すために用いられるステップと、
前記人体輪郭キーポイントに基づいて前記画像ブロックに対して拡張現実ＡＲ効果のレンダリング処理を行うステップと、を含むことを特徴とする画像処理方法。
人体が含まれる画像ブロックの人体輪郭キーポイントを検出する前記ステップは、
請求項１〜２５のいずれか一項に記載の方法を用いて前記人体輪郭キーポイントを検出するステップを含むことを特徴とする請求項２６に記載の方法。
前記人体輪郭キーポイントに基づいて前記画像ブロックに対してＡＲ効果のレンダリング処理を行う前記ステップは、
前記画像ブロックの人体輪郭キーポイントとステッカー素材の位置関係を確定するステップと、
前記位置関係により前記ステッカー素材に基づいて前記画像ブロックに対してＡＲ効果のレンダリング処理を行うステップと、を含むことを特徴とする請求項２６〜２７のいずれか一項に記載の方法。
前記人体輪郭キーポイントに基づいて前記画像ブロックに対してＡＲ効果のレンダリング処理を行う前記ステップは、
ステッカーハンドルを作成するための第１のインターフェイス関数を呼び出してステッカーハンドルを作成するステップと、
ステッカー素材を読み取るための第２のインターフェイス関数を呼び出してステッカー素材圧縮パッケージを内部メモリに読み込み、解析するステップと、
ステッカー素材をレンダリングするための第３のインターフェイス関数を呼び出して解析結果により前記画像ブロックの人体輪郭キーポイントとステッカー素材の位置関係を確定し、前記ステッカーハンドルに基づいて前記解析結果と前記位置関係により前記画像ブロック上で内部メモリに読み込まれたステッカー素材パッケージに対してＡＲ効果のレンダリングを行うステップと、を含むことを特徴とする請求項２６〜２８のいずれか一項に記載の方法。
前記解析結果は、ステッカー素材に関連する人体輪郭キーポイント、ステッカー素材の再生トリガ条件、ステッカー素材の再生状態パラメータのうちの１種又は複数種を含むことを特徴とする請求項２９に記載の方法。
レンダリングが終了した後、前記ステッカーハンドルを廃棄するステップを更に含むことを特徴とする請求項２９〜３０のいずれか一項に記載の方法。
人体が含まれるサンプル画像ブロックの画像特徴を取得するステップと、
トレーニング待ちの第１のニューラルネットワークにより前記画像特徴に基づいて前記人体の人体輪郭キーポイント予測結果を取得するステップと、
前記人体輪郭キーポイント予測結果と人体輪郭キーポイントのラベリング情報との差異を教師情報として、前記トレーニング待ちの第１のニューラルネットワークに対して教師あり学習を行うステップと、を含むことを特徴とするニューラルネットワークのトレーニング方法。
人体が含まれるサンプル画像ブロックの画像特徴を取得する前記ステップは、
トレーニングデータ集合から画像サンプルを取得するステップと、
画像サンプル内の人体が含まれるサンプル画像ブロックの画像特徴を取得するステップと、を含むことを特徴とする請求項３２に記載の方法。
トレーニング待ちの第１のニューラルネットワークにより前記画像特徴に基づいて前記人体の人体輪郭キーポイント予測結果を取得する前記ステップは、
前記トレーニング待ちの第１のニューラルネットワークにより前記画像特徴に基づいて、少なくとも一つの人体輪郭キーポイントのそれぞれに対応する少なくとも一つの人体輪郭キーポイント対応マップを形成するステップを含むことを特徴とする請求項３２〜３３のいずれか一項に記載の方法。
前記人体輪郭キーポイント対応マップは、人体輪郭キーポイント信頼度マップを含むことを特徴とする請求項３４に記載の方法。
前記人体輪郭キーポイント予測結果と人体輪郭キーポイントのラベリング情報との差異を教師情報として、前記トレーニング待ちの第１のニューラルネットワークに対して教師あり学習を行う前記ステップは、
少なくとも一つの人体輪郭キーポイントのラベリング情報に対して、それぞれ人体輪郭キーポイント信頼度マップを生成するステップと、
前記トレーニング待ちの第１のニューラルネットワークから出力された人体輪郭キーポイント信頼度マップと前記生成した人体輪郭キーポイント信頼度マップとの差異を教師情報として、前記トレーニング待ちの第１のニューラルネットワークに対して教師あり学習を行うステップと、を含むことを特徴とする請求項３５に記載の方法。
少なくとも一つの人体輪郭キーポイントのラベリング情報に対して、それぞれ人体輪郭キーポイント信頼度マップを生成する前記ステップは、
少なくとも一つの人体輪郭キーポイントのラベリング情報に対して、対応する人体輪郭キーポイントのラベリング情報のそれぞれの対応するサンプル画像ブロック内の位置の所定周囲領域内で、ガウス応答をそれぞれ形成し、且つ前記ガウス応答に基づいて、少なくとも一つの人体輪郭キーポイントのラベリング情報のそれぞれの対応する人体輪郭キーポイント信頼度マップを形成するステップを含むことを特徴とする請求項３６に記載の方法。
前記人体輪郭キーポイント予測結果と人体輪郭キーポイントのラベリング情報との差異を教師情報として、前記トレーニング待ちの第１のニューラルネットワークに対して教師あり学習を行う前記ステップは、
一つの人体輪郭キーポイント信頼度マップに対して、前記信頼度マップから所定の信頼度要求を満たした点を選択し、該点の前記画像サンプルにおけるマッピング位置点を前記信頼度マップの対応する人体輪郭キーポイントとするステップと、
前記信頼度マップの対応する人体輪郭キーポイントと前記画像サンプルの人体輪郭キーポイントのラベリング情報との差異を教師情報として、前記トレーニング待ちの第１のニューラルネットワークに対して教師あり学習を行うステップと、を含むことを特徴とする請求項３５に記載の方法。
人体が含まれるサンプル画像ブロックの画像特徴を取得する前記ステップは、
前記画像サンプルに対して人体検出を行うステップと、
人体検出結果及び画像サンプルをトレーニング待ちの入力ニューラルネットワークに提供して、トレーニング待ちの入力ニューラルネットワークにより人体が含まれる所定の大きさのサンプル画像ブロックを取得するステップと、
トレーニング待ちの第２のニューラルネットワークを用いて前記サンプル画像ブロックの画像特徴を取得するステップと、を含むことを特徴とする請求項３２〜３８のいずれか一項に記載の方法。
前記第１のニューラルネットワークをトレーニングする前記ステップは、
前記人体輪郭キーポイント予測結果と前記人体輪郭キーポイントのラベリング情報との差異を教師情報として、前記トレーニング待ちの入力ニューラルネットワーク及びトレーニング待ちの第２のニューラルネットワークに対して教師あり学習を行うステップを更に含むことを特徴とする請求項３９に記載の方法。
前記画像サンプルに含まれる人体輪郭キーポイントのラベリング情報の設置プロセスは、
画像サンプルの人体骨格キーポイントを取得するステップと、
設置された第１の集合内の人体輪郭キーポイントのラベリング情報及び／又は前記人体骨格キーポイントに基づいて補助線を設置するステップと、
前記補助線から選択された点に基づいて第２の集合内の人体輪郭キーポイントのラベリング情報を形成するステップと、を含むことを特徴とする請求項３２〜４０のいずれか一項に記載の方法。
前記画像サンプルに含まれる人体輪郭キーポイントのラベリング情報の設置プロセスは、
第１の集合及び／又は第２の集合内の２つの人体輪郭キーポイント間の連結線におけるＮ１個の仕切点に基づいて、第３の集合内の人体輪郭キーポイントのラベリング情報を形成するステップを更に含み、
Ｎ１が１より大きい整数であることを特徴とする請求項４１に記載の方法。
設置された第１の集合内の人体輪郭キーポイントのラベリング情報及び／又は前記人体骨格キーポイントに基づいて補助線を設置する前記ステップは、
前記人体骨格キーポイントに基づいて腕の付け根部内側輪郭キーポイントを通過し且つ上腕方向に垂直する第１の補助線を決定するステップを含み、
前記補助線から選択された点に基づいて第２の集合内の人体輪郭キーポイントのラベリング情報を形成する前記ステップは、
前記第１の補助線と上腕外側輪郭との交点に基づいて第２の集合中の腕の付け根部外側輪郭キーポイントのラベリング情報を形成するステップを含むことを特徴とする請求項４１〜４２のいずれか一項に記載の方法。
設置された第１の集合内の人体輪郭キーポイントのラベリング情報及び／又は前記人体骨格キーポイントに基づいて補助線を設置する前記ステップは、
股間キーポイントを通過し且つ人体骨格キーポイントで形成された股方向に垂直する第２の補助線を設置するステップを含み、
前記補助線から選択された点に基づいて第２の集合内の人体輪郭キーポイントのラベリング情報を形成する前記ステップは、
前記第２の補助線と股外側輪郭の交点に基づいて第２の集合中の股の付け根部外側輪郭キーポイントのラベリング情報を形成するステップを含むことを特徴とする請求項４１〜４３のいずれか一項に記載の方法。
人体が含まれる画像ブロックの画像特徴を取得するための画像特徴取得モジュールと、
第１のニューラルネットワークにより前記画像特徴に基づいて前記人体の人体輪郭キーポイント予測結果を取得するための予測結果取得モジュールと、
前記人体輪郭キーポイント予測結果に基づいて前記画像ブロックにおける人体輪郭キーポイントを取得するための輪郭キーポイント取得モジュールであって、前記人体輪郭キーポイントが人体の外部輪郭を表すために用いられる輪郭キーポイント取得モジュールと、を含むことを特徴とする人体輪郭キーポイントの検出装置。
前記画像特徴取得モジュールは、被処理画像に対して人体検出を行い、且つ人体検出結果により前記被処理画像における人体が含まれる前記画像ブロックを取得することを特徴とする請求項４５に記載の装置。
前記画像ブロックは前記被処理画像であり、又は、
前記画像ブロックは前記被処理画像における人体が含まれる局所画像であり、又は、
前記画像ブロックは前記被処理画像における人体が含まれる局所画像に基づいて処理して得られた画像ブロックであることを特徴とする請求項４６に記載の装置。
前記画像特徴取得モジュールは、人体検出器を用いて前記被処理画像に対して人体検出を行って、人体外接枠の中心位置及び人体スケール因子を取得するために用いられ、前記人体外接枠の中心位置及び人体スケール因子が被処理画像内の人体外接枠の位置を確定するために用いられることを特徴とする請求項４６〜４７のいずれか一項に記載の装置。
前記予測結果取得モジュールは、前記第１のニューラルネットワークにより前記画像特徴に基づいて、少なくとも一つの人体輪郭キーポイントのそれぞれに対応する少なくとも一つの人体輪郭キーポイント対応マップを形成することを特徴とする請求項４５〜４８のいずれか一項に記載の装置。
前記人体輪郭キーポイント対応マップは、人体輪郭キーポイント信頼度マップを含む請求項４９に記載の装置ことを特徴とする。
前記輪郭キーポイント取得モジュールは、一つの人体輪郭キーポイント信頼度マップに対して、前記信頼度マップから所定の信頼度要求を満たす一つの点を選択し、該点の前記画像ブロックにおけるマッピング位置点を前記信頼度マップの対応する人体輪郭キーポイントとすることを特徴とする請求項５０に記載の装置。
前記人体輪郭キーポイントは、頭部輪郭キーポイント、腕輪郭キーポイント、手部輪郭キーポイント、肩部輪郭キーポイント、足部輪郭キーポイント、腰部輪郭キーポイント及び／又は脚部輪郭キーポイントを含むことを特徴とする請求項４５〜５１のいずれか一項に記載の装置。
前記頭部輪郭キーポイントは、頭頂部キーポイント、鼻先端部キーポイント及び顎キーポイントのうちの１種又は複数種を含み、及び／又は、
前記腕輪郭キーポイントは、手首輪郭キーポイント、肘輪郭キーポイント、腕の付け根部輪郭キーポイント、手首輪郭キーポイントと肘輪郭キーポイントとの間の中点位置に位置する前腕輪郭中点キーポイント、及び肘輪郭キーポイントと腕の付け根部輪郭キーポイントとの間の中点位置に位置する上腕中点キーポイントのうちの１種又は複数種を含み、及び／又は
前記手部輪郭キーポイントは、手先キーポイント及び掌中点キーポイントのうちの１種又は複数種を含み、及び／又は
前記肩部輪郭キーポイントは、肩部と頭部の接合位置に位置する肩頭接合キーポイント及び腕の付け根部輪郭キーポイントと肩頭接合キーポイントとの間の中点位置に位置する肩輪郭中点キーポイントのうちの１種又は複数種を含み、及び／又は
前記足部輪郭キーポイントは、股間キーポイント、膝輪郭キーポイント、踝輪郭キーポイント、股の付け根部外側輪郭キーポイント、膝輪郭キーポイントと踝輪郭キーポイントとの間の中点位置に位置するすね輪郭中点キーポイント、膝内側輪郭キーポイントと股間キーポイントとの間の中点位置に位置する股内側輪郭中点キーポイント、及び膝外側輪郭キーポイントと股の付け根部外側輪郭キーポイントとの間の中点位置に位置する股外側輪郭中点キーポイントのうちの１種又は複数種を含み、及び／又は
前記腰部輪郭キーポイントは、股の付け根部外側輪郭キーポイントと腕の付け根部輪郭キーポイントとの間をＮ等分にして生成するＮ個の等分点のうちの１種又は複数種を含み、前記Ｎが１より大きく、及び／又は
前記脚部輪郭キーポイントは、爪先キーポイント及び踵キーポイントのうちの１種又は複数種を含むことを特徴とする請求項５２に記載の装置。
人体輪郭キーポイントのラベリング情報が含まれるトレーニング画像集合を用いて前記第１のニューラルネットワークをトレーニングするためのニューラルネットワークのトレーニング装置を更に含むことを特徴とする請求項４５〜５３のいずれか一項に記載の装置。
人体が含まれる画像ブロックの人体輪郭キーポイントを検出するための人体輪郭キーポイントの検出装置であって、前記人体輪郭キーポイントが人体の外部輪郭を表すために用いられる人体輪郭キーポイントの検出装置と、
前記人体輪郭キーポイントに基づいて前記画像ブロックに対してＡＲ効果のレンダリング処理を行うためのレンダリングモジュールと、を含むことを特徴とする画像処理装置。
前記人体輪郭キーポイントの検出装置は、請求項４５〜５４のいずれか一項に記載の装置を用いて前記人体輪郭キーポイントを検出することを特徴とする請求項５５に記載の装置。
前記レンダリングモジュールは、前記画像ブロックの人体輪郭キーポイントとステッカー素材の位置関係を確定し、且つ前記位置関係により前記ステッカー素材に基づいて前記画像ブロックに対してＡＲ効果のレンダリング処理を行うことを特徴とする請求項５５〜５６のいずれか一項に記載の装置。
前記レンダリングモジュールは、ステッカーハンドルを作成するための第１のインターフェイス関数を呼び出してステッカーハンドルを作成し、ステッカー素材を読み取るための第２のインターフェイス関数を呼び出してステッカー素材圧縮パッケージを内部メモリに読み込み、解析し、ステッカー素材をレンダリングするための第３のインターフェイス関数を呼び出して解析結果により前記画像ブロックの人体輪郭キーポイントとステッカー素材の位置関係を確定し、前記ステッカーハンドルに基づいて前記解析結果と前記位置関係により前記画像ブロック上で内部メモリに読み込まれたステッカー素材パッケージに対してＡＲ効果のレンダリングを行うことを特徴とする請求項５５〜５７のいずれか一項に記載の装置。
前記解析結果は、ステッカー素材に関連する人体輪郭キーポイント、ステッカー素材の再生トリガ条件、ステッカー素材の再生状態パラメータのうちの１種又は複数種を含むことを特徴とする請求項５８に記載の装置。
前記レンダリングモジュールは、レンダリングが終了した後、前記ステッカーハンドルを廃棄することを特徴とする請求項５８〜５９のいずれか一項に記載の装置。
人体が含まれるサンプル画像ブロックの画像特徴を取得するための第１のモジュールと、
トレーニング待ちの第１のニューラルネットワークにより前記画像特徴に基づいて前記人体の人体輪郭キーポイント予測結果を取得するための第２のモジュールと、
前記人体輪郭キーポイント予測結果と人体輪郭キーポイントのラベリング情報との差異を教師情報として、前記トレーニング待ちの第１のニューラルネットワークに対して教師あり学習を行うための第３のモジュールと、を含むことを特徴とするニューラルネットワークのトレーニング装置。
前記第１のモジュールは、
前記画像サンプルに対して人体検出を行うための検出サブモジュールと、
人体検出結果及び画像サンプルをトレーニング待ちの入力ニューラルネットワークに提供して、トレーニング待ちの入力ニューラルネットワークにより人体が含まれる所定の大きさのサンプル画像ブロックを取得するための第１の取得サブモジュールと、
トレーニング待ちの第２のニューラルネットワークを用いて前記サンプル画像ブロックの画像特徴を取得するための第２の取得サブモジュールと、を含むことを特徴とする請求項６１に記載の装置。
前記第３のモジュールは、更に、
前記人体輪郭キーポイント予測結果と前記人体輪郭キーポイントのラベリング情報との差異を教師情報として、前記トレーニング待ちの入力ニューラルネットワーク及びトレーニング待ちの第２のニューラルネットワークに対して教師あり学習を行うために用いられることを特徴とする請求項６２に記載の装置。
画像サンプルの人体骨格キーポイントを取得し、設置された第１の集合内の人体輪郭キーポイントのラベリング情報及び／又は前記人体骨格キーポイントに基づいて補助線を設置し、且つ前記補助線から選択された点に基づいて第２の集合内の人体輪郭キーポイントのラベリング情報を形成するための第１のラベリングモジュールを更に含むことを特徴とする請求項６１〜６３のいずれか一項に記載の装置。
第１の集合及び／又は第２の集合内の２つの人体輪郭キーポイント間の連結線におけるＮ１個の仕切点に基づいて、第３の集合内の人体輪郭キーポイントのラベリング情報を形成するための第２のラベリングモジュールを更に含み、Ｎ１が１より大きい整数であることを特徴とする請求項６４に記載の装置。
前記第１のラベリングモジュールは、前記人体骨格キーポイントに基づいて腕の付け根部内側輪郭キーポイントを通過し且つ上腕方向に垂直する第１の補助線を決定し、且つ前記第１の補助線と上腕外側輪郭との交点に基づいて第２の集合中の腕の付け根部外側輪郭キーポイントのラベリング情報を形成することを特徴とする請求項６４〜６５のいずれか一項に記載の装置。
前記第１のラベリングモジュールは、股間キーポイントを通過し且つ人体骨格キーポイントで形成された股方向に垂直する第２の補助線を設置し、且つ前記第２の補助線と股外側輪郭の交点に基づいて第２の集合中の股の付け根部外側輪郭キーポイントのラベリング情報を形成することを特徴とする請求項６４〜６６のいずれか一項に記載の装置。
コンピュータプログラムを記憶するためのメモリと、
前記メモリに記憶されたコンピュータプログラムを実行するためのプロセッサと、を含み、前記コンピュータプログラムが実行される時に、上記請求項１〜４４のいずれか一項に記載の方法が実現されることを特徴とする電子機器。
コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、該コンピュータプログラムがプロセッサにより実行される時に、上記請求項１〜４４のいずれか一項に記載の方法が実現されることを特徴とするコンピュータ可読記憶媒体。
コンピュータコマンドを含むコンピュータプログラムであって、前記コンピュータコマンドが機器のプロセッサで作動する時に、上記請求項１〜４４のいずれか一項に記載の方法が実現されることを特徴とするコンピュータプログラム。